(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2019145940
(43)【公開日】20190829
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
   H04N 1/40 20060101AFI20190802BHJP
【FI】
   !H04N1/40 F
【審査請求】未請求
【請求項の数】15
【出願形態】OL
【全頁数】15
(21)【出願番号】2018026814
(22)【出願日】20180219
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
【住所又は居所】東京都大田区下丸子3丁目30番2号
(74)【代理人】
【識別番号】110001243
【氏名又は名称】特許業務法人 谷・阿部特許事務所
(72)【発明者】
【氏名】市橋 幸親
【住所又は居所】東京都大田区下丸子3丁目30番2号 キヤノン株式会社内
【テーマコード(参考)】
5C077
【Fターム(参考)】
5C077LL19
5C077MP01
5C077PP27
5C077PQ19
5C077TT02
(57)【要約】
【課題】領域分割処理の結果、物体の領域が、正反射光領域と拡散反射光領域とに分割されてしまっても、物体の光沢度を適切に判定すること。
【解決手段】画像処理装置は、画像を取得する取得手段と、前記取得した画像の領域を分割する分割手段と、前記分割手段によって分割された領域のうち、正反射光領域と当該正反射光領域に隣接する隣接領域とを統合をする統合手段と、統合した領域を含む各領域の光沢性を判定する判定手段と、を備える。
【選択図】図4
【特許請求の範囲】
【請求項1】
画像を取得する取得手段と、
前記取得した画像の領域を分割する分割手段と、
前記分割手段によって分割された領域のうち、正反射光領域と当該正反射光領域に隣接する隣接領域とを統合をする統合手段と、
統合した領域を含む各領域の光沢性を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記統合手段は、前記正反射光領域と前記隣接領域との境界付近にフレア特性があるかを判定し、フレア特性がある場合、前記正反射光領域と前記隣接領域とを統合することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記統合手段は、前記正反射光領域と前記隣接領域との境界付近にフレア特性があるかを判定し、フレア特性がない場合、前記正反射光領域と前記隣接領域とを統合しないことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記統合手段は、前記正反射光領域を前記隣接領域の方向に拡張した判定領域における明度の分布に基づいて前記フレア特性の判定を行うことを特徴とする請求項2または3に記載の画像処理装置。
【請求項5】
前記統合手段は、前記明度の分布において、グラデーションが現れている場合、前記フレア特性があると判定することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記統合手段は、前記正反射光領域の中心点から前記隣接領域との境界の点を超えた第一の位置までの画素における明度の分布に基づいて前記フレア特性の判定を行うことを特徴とする請求項2または3に記載の画像処理装置。
【請求項7】
前記統合手段は、前記中心点から前記第一の位置に向かうに従って前記明度の変化があるときに、当該変化の方向が一方向に現れている場合、前記フレア特性があると判定することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記統合手段は、前記分割手段によって分割された領域のうち、前記取得した画像の最大明度値に基づいて前記正反射光領域を決定することを特徴とする請求項1から7のいずれか一項に記載の画像処理装置。
【請求項9】
前記統合手段は、複数の隣接領域がある場合、前記正反射光領域と前記隣接領域とを統合しないことを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
【請求項10】
前記判定手段は、各領域の明度の歪度に基づいて各領域の光沢性を判定することを特徴とする請求項1から9のいずれか一項に記載の画像処理装置。
【請求項11】
前記判定手段による判定結果に基づいて、光沢に関する画像処理を行う処理手段をさらに備えることを特徴とする請求項1から10のいずれか一項に記載の画像処理装置。
【請求項12】
画像を取得する取得手段と、
前記取得した画像の領域を分割する分割手段と、
前記分割手段によって分割された領域のうち、正反射光領域の候補の候補領域を決定する決定手段と、
前記候補領域のうち、隣接する隣接領域との境界付近にフレア特性がある候補領域と、当該隣接領域とを統合する統合手段と、
統合した領域を含む各領域の光沢性を判定する判定手段と、
を備えることを特徴とする画像処理装置。
【請求項13】
画像を取得するステップと、
前記取得した画像の領域を分割するステップと、
前記分割された領域のうち、正反射光領域と当該正反射光領域に隣接する隣接領域とを統合をするステップと、
統合した領域を含む各領域の光沢性を判定するステップと、
を備えることを特徴とする画像処理方法。
【請求項14】
画像を取得するステップと、
前記取得した画像の領域を分割するステップと、
前記分割された領域のうち、正反射光領域の候補の候補領域を決定するステップと、
前記候補領域のうち、隣接する隣接領域との境界付近にフレア特性がある候補領域と、当該隣接領域とを統合するステップと、
統合した領域を含む各領域の光沢性を判定するステップと、
を備えることを特徴とする画像処理方法。
【請求項15】
コンピュータを請求項1から12のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光沢感を制御するための画像処理の技術に関する。
【背景技術】
【0002】
近年、複合機やプリンタなどの画像処理装置から印刷される印刷画像において、色味や階調性に加え、質感や光沢感を表現することが求められている。画像中の物体が光沢を有しているか否かを判定する光沢判定方法として、非特許文献1に記載された方法がある。
【0003】
非特許文献1では、心理物理実験を通して、明度ヒストグラムの歪みと知覚的な光沢および明るさとに高い相関関係があることを開示している。より具体的には、例えば光沢が強い画像の表面ほど、明度ヒストグラムが正の方向に歪む(高い明度の方に画素の出現頻度がなだらかに広がる)ことを示している。よって、明度ヒストグラムの歪度に基づいて画像の表面の光沢度を評価することが可能になる。この明度ヒストグラムの歪みは、二色性反射モデルに基づいている。二色性反射モデルとは、光源からの光が物体の表面に当ったとき、正反射光および拡散反射光の二種類の反射光が発生するというモデルである。正反射光とは、光沢感を有する物体を照らす光源が直接反射した光であり、画像上では光沢部を決める要素となる。拡散反射光とは、光源と、物体の表面性や色とが影響して反射される光であり、画像上では、色味、質感を決める要素となる。
【0004】
非特許文献1では、正反射光および拡散反射光の結果として表される明度ヒストグラムの歪み(歪度)が正であれば、人間は光沢度を感じやすいことを示している。ここで、非特許文献1に記載された方法を用いて光沢度を判定する為には、写真画像の中から光沢度を持つ物体領域を特定する必要がある。光沢度は、個々の物体の材質及び形状等によって異なるものだからである。つまり、二色性反射モデルは、それぞれの物体によって異なるものとなるからである。
【0005】
物体領域を分割する方法として、画素の値に基づいて領域分割を行う方法がある。非特許文献2には、物体領域を分割する方法として、SLICと呼ばれる領域分割処理が開示されている。SLIC処理においては、各画素について、画素間の座標の距離とCIE−L*a*b*空間の距離とに応じてグループ分けが行われる。このような領域分割処理を適用して画像内の物体領域を確定させ、その後に、非特許文献1の方法を用いてその物体領域に光沢が有るか否かを判定することが可能である。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】“Image statistics and the perception of surface qualities”, Nature, 447, 206-209, (2007))
【非特許文献2】“SLIC Superpixels Compared to State-of-the-art Superpixel Method” IEEE Pattern and machine intelligence, 2274-2282 (2012-11))
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、画素の値に基づいて領域分割を行う場合、同一の物体であるにも関わらず、正反射光の領域と拡散反射光との領域とで別々の物体領域として分割されてしまうことがある。正反射光と拡散反射光とでは、画素値(あるいは、画素値を変換した明度値)が大きく異なるからである。このため、非特許文献1に記載の方法のような二色性反射モデルを考慮して光沢性を判定する処理を行う場合に、適切な結果が得られないことがある。
【0008】
本発明は、領域分割処理の結果、物体の領域が、正反射光領域と拡散反射光領域とに分割されてしまっても、物体の光沢度を適切に判定することを目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様に係る画像処理装置は、画像を取得する取得手段と、前記取得した画像の領域を分割する分割手段と、前記分割手段によって分割された領域のうち、正反射光領域と当該正反射光領域に隣接する隣接領域とを統合をする統合手段と、統合した領域を含む各領域の光沢性を判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【0010】
本発明によれば、領域分割処理の結果、物体の領域が、正反射光領域と拡散反射光領域とに分割されてしまっても、物体の光沢度を適切に判定することができる。
【図面の簡単な説明】
【0011】
【図1】システム構成の例を示す図である。
【図2】画像処理部の構成の例を示す図である。
【図3】全体的な処理のフローチャートである。
【図4】光沢感処理のフローチャートである。
【図5】領域分割と領域統合の例を示す図である。
【図6】領域統合処理のフローチャートである。
【図7】正反射光領域の候補を抽出する処理のフローチャートである。
【図8】フレア特性の判定処理のフローチャートである。
【図9】フレア特性を判定する処理の説明図である。
【図10】領域統合処理の説明図である。
【図11】フレア特性の判定処理のフローチャートである。
【図12】フレア特性を判定する処理の説明図である。
【発明を実施するための形態】
【0012】
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【0013】
<<実施形態1>>
<システム構成>
図1は、実施形態1におけるプリントシステムの構成例である。プリントシステムは、画像処理装置100と、PC(パーソナルコンピュータ)110と、プリンタ120とを備えている。
【0014】
画像処理装置100は、制御部101、ROM102、RAM103、プリンタI/F部104、ネットワークI/F部、画像処理部106、および操作部107を備えている。画像処理装置100は、プリンタI/F部104を介してプリンタ120に接続されている。画像処理装置100は、ネットワークI/F部105を介してネットワーク130に接続されている。画像処理装置100は、ネットワーク130を通じてPC110とデータのやり取りが可能である。
【0015】
制御部101は、例えばCPUで構成され、画像処理装置100の各種の制御を行う。ROM102は、所定の処理を実行するためのプログラム等を格納する。RAM103は、データを一時的に格納するために用いられる。画像処理部106は、PC110から送られた印刷データに基づいて各種の画像処理を行う。本実施形態では、PC110からPDL(Print Description Language)データが送られ、画像処理部106は、PDLデータに対して処理を行う。操作部107は、外部からの入力を受け付けるものである。以降で説明する処理は、主に画像処理部106で行われる処理であるものとして説明する。なお、ROM102に格納されたプログラムに従って制御部101がRAM103を用いて各種の画像処理を行う形態を用いることができる。即ち、制御部101が画像処理部106として機能してよい。あるいは、画像処理部106は、処理を高速で実現する特別な演算回路を有してもよい。この場合、以降で説明する処理を画像処理部106単体で実行してもよいし、制御部101と画像処理部106とで処理を分担してもよい。
【0016】
図2は、画像処理部106の構成の例を示す図である。画像処理部106は、画像データ取得部210、領域分割部220、領域統合部230、光沢判定部240、および光沢処理部250を有する。
【0017】
画像データ取得部210は、画像データを取得する。領域分割部220は、画像データ取得部210で取得した画像データに対応する画像の領域を分割する処理を行う。詳細は後述する。領域統合部230は、領域分割部220で分割された領域のうち、所定の領域を統合する処理を行う。詳細は後述する。光沢判定部240は、領域統合部230で統合された領域を含む各領域に対して光沢判定処理を行う。光沢判定部240は、例えば非特許文献1で説明したような、画像の明度の歪度に基づいて、各領域が光沢性を有するか否かを判定する。光沢処理部250は、光沢判定部240での判定結果に基づいて、光沢に関する画像処理を行う。
【0018】
<全体の処理>
図3は、全体の処理の流れを示すフローチャートである。ステップS301において制御部101は、PC110から受信した印刷データを取得する。印刷データは、例えばPDLデータである。ステップS302において制御部101は、PDLデータの解釈を行い、ビットマップ画像を生成する。PDLデータには、写真画像などのイメージ、および、グラフィックの描画データ等が含まれている。制御部101は、PDLデータを解釈して、RGBの各画素値で構成されるカラーのビットマップ画像を生成する。生成されたビットマップ画像は、一旦、RAM103に格納される。画像処理部106がビットマップ画像を生成する形態でもよい。なお、説明のため、本実施形態のビットマップ画像は、特定の物体を撮影した写真の画像であるものとする。
【0019】
ステップS303において画像処理部106は、光沢感に関する処理を行う。例えば、画像中において光沢性を有する光沢領域を特定し、光沢領域に対して所定の画像処理を行う。本実施形態では、所定の領域を統合した上で、光沢性を有するか否かの判定が行われる。詳細については後述する。
【0020】
ステップS304において制御部101は、ステップS303において画像処理が行われた画像データを用いて印刷処理を行う。
【0021】
<光沢感処理>
図4は、図3のステップS303の光沢感処理の詳細を説明するフローチャートである。ステップS401において画像データ取得部210は、ビットマップ画像を取得する。
【0022】
ステップS402において領域分割部220は、ビットマップ画像に対して領域分割処理を実施する。本実施形態では、非特許文献2に記載されている、SLIC処理を用いる形態を例に挙げて説明する。なお、他の領域分割方法を用いてもよい。SLIC処理においては、画像を複数の領域(以下では、クラスタともいう)に分割する。具体的には、画像中の各画素とクラスタのセンターに位置する画素とのCIE−L*a*b*空間での色差と、クラスタのセンターに位置する座標から各画素の座標の距離と、に応じて各画素の領域(クラスタ)が決定される。
【0023】
図5は、具体的な例を示す図である。図5(a)は、ビットマップ画像の例を示している。図5(a)は、自動車の写真の画像を模式的に示したものである。図中の車体の左側には、正反射光によって光源の光が入り込んでいる領域500がある。図5(b)および図5(c)は、図5(a)に示す画像に対して領域分割処理を行う例を説明するための図である。図5(b)は、初期状態の領域分割の結果を示している。ここでは、画像中の各領域として、クラスタ501からクラスタ509を均等分割で割り当てている。図5(b)の破線は、各領域の境界を示している。図5(c)は、SLIC処理によって領域分割を行った結果の例を示している。図5(b)の初期分割状態から、画素毎に、クラスタのセンターからの色差と距離とに応じてクラスタを変更する処理を繰り返すと、図5(c)のような分割状態になる。なお、分割される領域数は、初期状態の分割数と一致していなくてもよい。
【0024】
図5(c)の中で光沢に関係するクラスタは、クラスタ504およびクラスタ505である。クラスタ505は、ビットマップ画像内の物体色であり、拡散反射光の領域である。一方、クラスタ504は、光源色であり、正反射光の領域となる。通常の写真がビットマップ化された場合は、二色性反射モデルから考えると、クラスタ505よりもクラスタ504の方が明るくなる。また、クラスタ505とクラスタ504とにおいては、CIE−L*a*b*の値が大きく異なる。従って、領域分割処理の結果としては、図5(c)のように別々のクラスタとして処理されてしまう。本来であれば、クラスタ504とクラスタ505とは、いずれも車体という同一の物体の領域である。従って、これらが一体となっている領域を、物体領域として特定し、その物体領域に対して光沢度の判定処理が行われることが好ましい。クラスタ504とクラスタ505とが別々の物体の領域として扱われると、その後の光沢度の判定処理で、適切な判定結果が得られなくなるからである。このため、本実施形態では、領域統合処理が行われる。
【0025】
ステップS403において領域統合部230は、ステップS402で分割された領域の統合処理を行う。図5(c)の例で説明すると、クラスタ505とクラスタ504は元々同じ物体の領域である。従って、図5(d)で示すように、両者を統合して一つの領域とする処理が行われる。統合処理の詳細については後述する。
【0026】
ステップS404において光沢判定部240は、ステップS403の統合処理の結果、統合された領域を含む各領域の光沢判定処理を行う。即ち、図5(d)の各領域の光沢判定処理を行う。光沢判定部240は、各領域に対して明度ヒストグラムを生成し、各領域の明度の歪度を求める。歪度が、正の場合は、その領域は光沢していると判定することができる。詳細については、非特許文献1を参照されたい。
【0027】
ステップS405において光沢処理部250は、光沢度が高い領域に光沢用の画像処理を実施する。例えば、光沢領域の明度諧調特性、又は、光沢領域以外の明度諧調性を調整することで光沢感を上げる処理をする。あるいは、プリンタ120が透明トナーや光沢トナーなどの特殊トナー処理を持つ場合には、ビットマップ画像に光沢情報を付加し、光沢領域の印刷時に色変換を変えてもよい。
【0028】
<領域統合処理>
図6は、図4のステップS403における領域統合処理の詳細を説明するフローチャートである。ステップS601において領域統合部230は、ステップS402で分割された各クラスタ501〜509から、正反射光領域の候補となる領域を抽出する。図7を用いてステップS601の詳細を説明する。
【0029】
ステップS701において領域統合部230は、分割されている領域(クラスタ501〜509)の一つを選択する。ステップS702において領域統合部230は、ステップS701で選択した領域のRGB輝度値をCIE−L*a*b*のL*(明度)に変換して、領域内の全画素の明度平均値を算出する。なお、領域分割処理の際に色変換したCIE−L*a*b*の値を保持しておき、その保持している値を用いて明度平均値を算出してもよい。
【0030】
ステップS703において領域統合部230は、ステップS702で算出した平均明度値が閾値以上であるかを判定する。正反射光領域は、写真を撮影した時の光源が反射して映り込んでいる領域である。このため、正反射光領域は、最大明度の領域となる。よって、閾値は、写真全体(ビットマップ画像)の最大明度に基づいて決定される。例えば、以下の式1に従って閾値が決定される。
閾値 = α × Lmax (式1)
【0031】
ここで、αは、1.0以下の任意の正の値である。Lmaxは、ビットマップ画像全体の最大明度である。式1のαは、最大明度に対して、何割まで誤差を許容するかを決める値である。αは予め決定されたものを用いることができる。
【0032】
平均明度値が、上記の閾値以上である場合、ステップS704に進む。そうでない場合、ステップS704を飛ばしてステップS705に進む。平均明度値が閾値以上である場合、ステップS704において領域統合部230は、ステップS701で選択している領域は、正反射光領域の候補であると決定する。そして、ステップS705に進む。ステップS705において領域統合部230は、全ての領域を選択して処理したかを判定し、未処理の領域がある場合、ステップS701に戻り処理を繰り返す。このような処理を行うと、図5(c)の例では、クラスタ504の領域が正反射光領域の候補として決定されることになる。
【0033】
図6に戻り説明を続ける。ステップS602において領域統合部230は、ステップS601の処理の結果、正反射光領域の候補があるかを判定する。正反射光領域の候補がある場合、ステップS603に進む。そうでない場合、図6の処理を終了する。この時点においては、平均明度値が閾値以上であるか否かに基づいて正反射光領域の候補が抽出されているに過ぎない。このため、その候補としては、正反射光領域が適切に抽出される場合もあれば、正反射光領域ではない領域が抽出される場合もある。例えば、物体が、閾値以上の明さの部分と暗い部分との模様を有しており、その明るい部分の領域が正反射光領域の候補として抽出される場合がある。また、閾値以上の明さを有する物体と暗い物体とが重なっている場合もある。このように、元々の物体(あるいはその一部)の明るさが閾値以上の場合には、正反射光領域でないにも関わらず、正反射光領域の候補として抽出されるものがある。即ち、平均明度値と閾値とに基づいて抽出された候補は、正反射光領域である場合もあれば、そうでない場合もある。そこで、以下では、正反射光領域の候補の中から、正反射光領域を特定する処理が行われる。以下、正反射光領域の候補のことを、候補領域という。
【0034】
ステップS603において領域統合部230は、ステップS601で抽出した候補領域を1つ選択する。ステップS604において領域統合部230は、ステップS603で選択した候補領域に隣接する隣接領域を選択する。例えば、図5(c)の例では、候補領域であるクラスタ504に隣接するクラスタ505が、隣接領域として選択される。
【0035】
ステップS605において領域統合部230は、ステップS603で選択された候補領域と、ステップS604で選択された隣接領域との境界部にフレア特性があるかを判定する処理を行う。フレア特性とは、正反射光から拡散反射光の境界で現れるグラデーションである。フレア特性が現れている場合、その候補領域は、正反射光領域であると決定することができる。一方、フレア特性が現れていない場合、例えば前述したように、その候補の領域は、元々が明るい物体であったり、明るい部分の模様が抽出された領域であるなど、正反射光領域ではないと決定することができる。
【0036】
図8は、ステップS604のフレア領域の判定処理の詳細を説明するフローチャートである。図8のフローチャートを使って、フレア特性(グラデーション)の判定方法を説明する。
【0037】
ステップS801において領域統合部230は、フレア特性を判定するための領域を決定する。フレア特性は、領域分割の方法や、画像内の物体等によって、分割された領域のうち、正反射光領域に含まれる場合もあれば、拡散反射光領域に含まれる場合もある。いずれにせよ、正反射光と拡散反射光との境界部分において現れる。このため、ステップS801では、ステップS603で選択された候補領域から、所定の距離、隣接領域の方向に領域を拡大した領域を、フレア特性を判定するための領域として決定する。
【0038】
図5(e)の破線で囲まれた領域540は、図5(c)のクラスタ504の正反射光領域にフレア特性があるかを判定するための判定領域の例を示している。このような判定領域の決定方法として、図5(c)のクラスタ504とクラスタ505の境界線(破線)において、候補領域であるクラスタ504から隣接領域の方向に規定画素分外側の範囲を選択する。規定画素分とは、例えば、クラスタ505のうち、クラスタ504以外の境界に出ない範囲であり、クラスタ505の画素数が十分に取得できる範囲(例えばクラスタ504の領域の外側10%以上)が取得できれば良い。
【0039】
ステップS802において領域統合部230は、ステップS801で決定した判定領域の明度の分布を取得する。ここでは、明度ヒストグラムを取得する。図9(a)は、明度ヒストグラムの例を示す図である。図9(a)において横軸は、ステップS801で決定した判定領域の明度(CIE−L*)である。縦軸は画素数(出現頻度)である。図5(c)の例では、判定領域は、正反射光領域(クラスタ504)と拡散反射光領域(クラスタ505)の一部とを含む。このため、明度ヒストグラムでは、2つの山が形成されることになる。
【0040】
ステップS803において領域統合部230は、ステップS603で選択している候補領域(正反射光領域の候補)の明度下限値を決定する。明度の下限値を決定する場合、例えば、図9(a)の明度ヒストグラムの最大明度から、10%程度低い明度を下限値とする。具体的には、前述したように、式1で説明したように、最大明度値に所定の係数αを乗算した値を、明度の下限値とすることができる。図9(a)の場合、最大明度は100であるから、α=0.9の場合、候補領域の明度下限値は90となる。
【0041】
ステップS804において領域統合部230は、ステップS604で選択している隣接領域(即ち、拡散反射光領域)の明度上限値を決定する。図9(b)は、図9(a)のヒストグラムの変化量を表している。図9(b)において、隣接領域(拡散反射光領域)の明度上限値は、拡散反射光領域(明度が低い側)がプラスからマイナスに変化し、更にマイナスからプラスに変化する明度値である。
【0042】
ステップS805において領域統合部230は、フレア領域の連続性を確認する。例えば図9(a)において、ステップS803で決定した明度上限値と、ステップS804で決定した明度下限値との間に存在する明度を持つ画素(フレア領域)の連続性を確認する。連続性の確認方法については、例えば明度上限値から、明度下限値までの各明度、又は明度分割区分(ビン)で、常に画素が存在するか否かを確認する事で、連続性を確認することができる。ステップS603で選択している候補領域が、元々が明るい物体などのように、正反射光領域ではない場合、明度上限値と明度下限値との間には、画素の連続性が現れない。すなわち、グラデーションが現れない。一方、フレアが発生している場合には、図9(a)で示すように、画素の連続性が現れる(グラデーションが現れる)ことになる。
【0043】
ステップS806において領域統合部230は、明度ヒストグラムにおいて、明度上限値と明度下限値との間に画素の連続性が現れているかを判定する。現れている場合、ステップS807に進み、隣接領域との境界部に、フレア特性があると判定する。現れていない場合、ステップS808に進み、隣接領域との境界部に、フレア特性がないと判定する。
【0044】
図6に戻り、処理の説明を続ける。ステップS606において領域統合部230は、ステップS605の結果、隣接領域との境界部にフレア特性があるか判定する。フレア特性がある場合、ステップS607に進み、ステップS604で選択している隣接領域を統合する候補の領域(以下、統合候補という)に追加する。そして、ステップS608に進む。フレア特性がない場合、ステップS607の処理をスキップする。
【0045】
ステップS608において領域統合部230は、候補領域に隣接する領域のすべてを選択したかを判定する。選択してない隣接領域がある場合、ステップS604に戻り、処理を繰り返す。すべてを選択した場合、ステップS609に進む。図5(c)の例では、隣接する領域が1つの場合を例に挙げて説明したが、隣接する領域が複数ある場合がある。
【0046】
図10(a)は、候補領域に隣接する領域が複数ある場合の例を示している。正反射光が車体と背景との境界部分に映り込んでいる。このため、図10(b)で示すように、候補領域のクラスタ1001に隣接する領域は、クラスタ1002およびクラスタ1003である。ここで、図6のステップS605の処理では、フレア判定する領域を、候補領域から、その候補領域に隣接する隣接領域の方向に向けて拡張した領域を用いている。このため、図10(b)の例では、クラスタ1002を隣接領域として選択した場合には、フレア特性が現れる一方で、クラスタ1003を隣接領域として選択した場合には、フレア特性が現れない。従って、隣接領域が複数ある場合であっても、その隣接方向に向けて拡張した判定領域を用いてフレア特性を判定することで、適切な領域を統合候補として追加することができる。
【0047】
図6に戻り説明を続ける。ステップS609において領域統合部230は、ステップS608において統合候補として追加されている隣接領域があれば、その隣接領域とステップS603で選択している候補領域とを統合する。図5(c)の場合では、クラスタ504とクラスタ505とを統合する。クラスタ504の各画素のクラスタをクラスタ505としてもよいし、クラスタ505の各画素のクラスタをクラスタ504としてもよい。図5(d)は、統合結果の例を示す図である。図5(d)では、クラスタ504が消えていることが分かる。よって、正反射光も含めた領域が、物体の1つのクラスタとなる。このため、2色性反射モデルを用いた光沢の判定において適切な判定結果が得られることになる。
【0048】
なお、ステップS608で追加された統合候補が複数存在する場合がある。以下では、統合候補が複数存在する場合を説明する。図10(c)は、物体(車体)に模様がある例を示しており、図5(a)と同様の位置に正反射光が映り込んでいる画像である。図10(c)の画像に対して領域分割処理を行うと、模様の影響により、図10(d)示すように、物体領域が、クラスタ1052とクラスタ1053とに分かれてしまう。このとき、図10(d)に示すように、正反射光領域(クラスタ1051)がクラスタ1052とクラスタ1053とにまたがる場合は、後の処理で正確な光沢判定ができなくなる。もともとのクラスタ1052とクラスタ1053との明度が異なるので、明度の歪度を用いた光沢判定が適切に行われなくなってしまうからである。従って、統合候補が複数ある場合には、統合処理を行わなくてよい。なお、クラスタ1052とクラスタ1053とが十分に近い明度である場合は、クラスタ1051〜クラスタ1053を統合してもよい。
【0049】
図6に戻り説明を続ける。ステップS610において領域統合部230は、ステップS601で抽出した候補領域を全て選択したかを判定する。選択していない候補がある場合、ステップS603に戻り処理を繰り返す。全ての候補を選択している場合には、図6の処理を終了する。
【0050】
以上説明したように、本実施形態においては、領域分割処理の結果、正反射光領域と拡散反射光領域が別の領域として分割されてしまっても、適切な光沢判定を行うことが可能となる。すなわち、正反射光領域と拡散反射光領域とを統合し、その統合した領域を用いて光沢判定を行うことで、適切な光沢判定を行うことができる。
【0051】
また、本実施形態では、候補領域と隣接領域との境界にフレア特性があるかを判定する際に、判定領域を決定し、その判定領域の明度ヒストグラムに基づいてフレア特性の判定を行っている。このような処理によれば、候補領域と隣接領域との間における実際の画素の配置関係を判定要素として用いていないので、処理を高速に行うことができる。
【0052】
<<実施形態2>>
実施形態2では、図6のステップS605で説明した、隣接領域との境界部のフレア特性を判定する処理が異なる例を説明する。実施形態1では、実際の画素の配置関係を判定要素として用いていないので、処理を高速に行うことができる反面、特定の条件の画像によっては誤判定をする可能性がある。例えば、実施形態1で説明した判定領域内に、ノイズ等によって中間調の画像領域が離散的に含まれている場合には、明度ヒストグラムが、フレア特性と同じ結果になってしまう可能性がある。つまり、フレア特性がないにも関わらず、フレア特性があると判定してしまう可能性がある。本実施形態では、実際の画素の配置関係を判定要素として用いることでより高精度にフレア特性を判定する形態を説明する。以下、実施形態1との差分を中心に説明する。
【0053】
図11は、ステップS605の隣接領域との境界部のフレア特性を判定する処理の、実施形態2における詳細なフローチャートである。
【0054】
ステップS1101において領域統合部230は、ステップS603で選択している候補領域(図5のクラスタ504)の中心点の座標を求める。中心点の座標の求め方としては、クラスタ504の全画素の座標平均を求めることで、中心点の座標を求めることができる。図12(a)は、図5(c)のクラスタ504(候補領域)と周囲のクラスタ505(隣接領域)とを拡大した図である。図12(a)において、候補領域(正反射光領域の候補)の中心点1201が示されている。図12(a)の点線は、クラスタ504とクラスタ505との境界を示す。
【0055】
ステップS1102において領域統合部230は、ステップS604で選択している隣接領域との境界上にサンプル点を設定する。サンプル点の数は1つ以上の任意の数とすることができる。複数のサンプル点を設定する場合、各サンプル点の座標が離れている方が好ましいが、座標が近くてもよい。図12(a)においては、境界上に4つのサンプル点1202が示されている。なお、本処理では、ステップS604で選択している隣接領域との境界上にサンプル点が設定される。図12(a)では、クラスタ504(候補領域)に隣接する隣接領域が1つのクラスタ505である例を示しているが、複数の隣接領域が存在する場合には、ステップS604で選択している隣接領域との境界上に対してサンプル点が設定される。即ち、複数の隣接領域のうち、ステップS604で選択していない隣接領域との境界上には、サンプル点は設定されない。
【0056】
ステップS1103において領域統合部230は、ステップS1101で求めた中心点から、ステップS1102で設定した1つのサンプル点を通り、中心点からサンプル点までの距離の2倍程度の位置(第一の位置)までの各画素の明度データを取得する。図10(a)では、4つのサンプル点1202に対してそれぞれ明度取得ラインが仮想的に引かれている。図12(b)は、図12(a)で示した明度取得ラインのうちの、1つの明度取得ライン上の明度データを示している。なお、サンプル点を超えた(即ち、境界を越えた)位置の画素についてまで明度を取得する理由は、実施形態1で説明した理由と同様である。即ち、フレア特性は、境界を越えた位置において(隣接領域において)現れる場合があるからである。なお、ここでは中心点からサンプル点までの距離の2倍程度の位置までを明度変化の連続性の判定対象としているが、この例に限られるものではない。候補領域から隣接領域を超えた位置についての明度変化の連続性の判定ができればよい。
【0057】
ステップS1104において領域統合部230は、明度の変化があるときにその変化の方向が一方向に連続しているかを判定する。例えば、図12(b)において、候補領域の中心からの距離が、0からサンプル点から2倍の距離までにおいて、以下の式2に示す条件が全ての点(画素)について該当するか否かを判定する。
−β ≦ L[x]−L[x+1] ≦ 0 (式2)
【0058】
ここで、xは、正反射光の中心点からの距離である。βは、許容する明度段差の最大値である。即ち、上記式2は、候補領域の中心から距離が遠くなるに従い、明度が同じであるか、または、許容する段差内に変化する、という条件を示している。条件に合致している場合、候補領域の中心から境界の外に対して一方向に明度変化の連続性があると判定される。即ち、実施形態1で説明したように、境界付近にグラデーション(フレア特性)が生じていると判定することができる。
【0059】
連続性があればステップS1105に進む。そうでなければ、ステップS1107に進み、ステップS1107において領域統合部230は、境界はフレア特性でないと決定する。ステップS1105において領域統合部230は、ステップS1102で設定された全てのサンプル点について連続性を検証したかを判定し、検証していないサンプル点があれば、ステップS1103に戻り処理を繰り返す。すべてのサンプル点についての検証が終了している場合、ステップS1106に進み、領域統合部230は、境界はフレア特性であると判定する。
【0060】
以上説明したように、本実施形態では、実際の画素の配置関係を判定要素として用いてフレア特性を判定する処理を行う。このため、より高精度にフレア特性を判定することができる。
【0061】
<<その他の実施形態>>
上述した実施形態では、画像を印刷する形態を例に説明しているが、これに限られるものではない。画像を表示する形態でもよい。例えば画像をディスプレイに表示する場合には、光沢判定の結果に応じて、HDR(High Dynamic Range)処理などで光沢感を高めても良い。
【0062】
画像データの例としては、PDLデータを解析して得られたビットマップ画像を例に挙げて説明したが、これに限られるものではなく、任意の形態の画像データを用いることができる。
【0063】
領域分割処理の一例として、SLIC処理を用いる形態を例に挙げて説明したが、これに限られるものではない。例えばヒストグラムを用いて所定の閾値に応じて領域を分割する方法を用いても良いし、画像中のエッジを抽出してエッジの連続性等によって領域を分割する方法でもよい。いずれの形態においても、画像の画素値(あるいは明度変換した明度値)に基づいて領域の分割が行われるので、同じ物体であっても正反射光領域と拡散反射光領域とで別の領域として扱われてしまう可能性がある。上述した実施形態は、SLIC処理以外の処理で分割された領域に対しても適用することが可能である。
【0064】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0065】
210 画像データ取得部
220 領域分割部
230 領域統合部
240 光沢判定部
250 光沢処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】