(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021005197
(43)【公開日】20210114
(54)【発明の名称】画像処理装置、判別方法、およびプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20201211BHJP
【FI】
   !G06T7/00 510F
   !G06T7/00 660A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】16
(21)【出願番号】2019118212
(22)【出願日】20190626
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
【住所又は居所】東京都港区芝五丁目7番1号
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100124154
【弁理士】
【氏名又は名称】下坂 直樹
(72)【発明者】
【氏名】指原 利之
【住所又は居所】東京都港区芝五丁目7番1号 日本電気株式会社内
【テーマコード(参考)】
5B043
5L096
【Fターム(参考)】
5B043AA09
5B043BA04
5B043DA05
5B043EA02
5B043EA05
5B043GA02
5B043GA13
5L096AA06
5L096BA08
5L096CA02
5L096DA02
5L096GA30
5L096GA51
5L096JA03
5L096JA09
5L096JA11
5L096KA04
(57)【要約】
【課題】 人物の判別の精度を向上させる。
【解決手段】 人物検出部(10)は、画像から人物を検出し、特徴抽出部(20)は、人物の特徴を抽出し、人物判別部(40)は、人物の特徴に基づいて、人物を判別し、トリガー検出部(30)は、トリガーを検出し、人物判別部(40)は、髪型判別部(41)を含み、トリガーが検出されたとき、髪型判別部(41)は、人物の髪型を判別する。
【選択図】 図1
【特許請求の範囲】
【請求項1】
画像から人物を検出する人物検出手段と、
前記人物の特徴を抽出する特徴抽出手段と、
前記人物の特徴に基づいて、前記人物を判別する人物判別手段と、
トリガーを検出するトリガー検出手段とを備え、
前記人物判別手段は、髪型判別手段を含み、
前記トリガーが検出されたとき、前記髪型判別手段は、前記人物の髪型を判別する
画像処理装置。
【請求項2】
前記トリガー検出手段は、前記特徴抽出手段が前記人物の特徴を抽出することに失敗したことを、前記トリガーとして検出する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記人物判別手段は、前記人物の顔と、候補の人物の顔とを照合することによって、前記人物の顔を判別する顔判別手段を含み、
前記顔判別手段は、前記人物の顔と、前記候補の人物の顔とが同一であることの確からしさを表すスコアを計算する
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記顔判別手段は、前記スコアが閾値を超える候補の人物が存在しない場合、前記人物の顔の判別に失敗したと判断する
ことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記顔判別手段は、前記スコアが最も高い候補の人物と、前記スコアが2番目に高い候補の人物との間で、前記スコアの差が所定の値を超えない場合、前記人物の顔の判別に失敗したと判断する
ことを特徴とする請求項3または4に記載の画像処理装置。
【請求項6】
前記トリガー検出手段は、前記顔判別手段が前記人物の顔を判別することに失敗したことを、前記トリガーとして検出する
ことを特徴とする請求項4または5に記載の画像処理装置。
【請求項7】
前記トリガー検出手段は、第2のトリガーをさらに検出し、
前記第2のトリガーが検出されたとき、前記髪型判別手段は、前記人物の髪型を判別する処理を停止する
ことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
【請求項8】
画像から人物を検出し、
前記人物の特徴を抽出し、
前記人物の特徴に基づいて、前記人物を判別する人物判別方法であって、
トリガーが検出されたとき、前記人物の髪型を判別する
人物判別方法。
【請求項9】
画像から人物を検出することと、
前記人物の特徴を抽出することと、
前記人物の特徴に基づいて、前記人物を判別することを、コンピュータに実行させるためのプログラムであって、
トリガーが検出されたとき、前記人物の髪型を判別すること
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
画像処理装置、人物判別方法、およびプログラムに関し、特に、人物の特徴に基づいて、人物を照合する画像処理装置、人物判別方法、およびプログラムに関する。
【背景技術】
【0002】
監視カメラを用いて人物を撮影し、撮影された画像から、人物の顔や虹彩などの特徴を抽出し、抽出した人物の特徴を用いて、人物を判別(照合)する関連技術がある。例えば、特許文献1には、人物を撮影した画像において、人物の目の位置などから、マスクによって隠された鼻や口などの部位の位置を推定することにより、人物を判別する精度を向上させることが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−061465号公報
【特許文献2】特開2017−201516号公報
【特許文献3】特開2019−008480号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の関連技術では、サングラスおよびマスクなどによって、人物の顔がほとんど完全に隠れているとき、人物の顔を判別できない。また、人物が監視カメラに対して反対側に顔を向けている間、人物の顔を、監視カメラにより明瞭に撮影することができない。その結果、特許文献1に記載の関連技術は、画像から人物の顔を判別できない。
【0005】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、人物の判別の精度を向上させることにある。
【課題を解決するための手段】
【0006】
本発明の一態様に係わる画像処理装置は、画像から人物を検出する人物検出手段と、前記人物の特徴を抽出する特徴抽出手段と、前記人物の特徴に基づいて、前記人物を判別する人物判別手段と、トリガーを検出するトリガー検出手段とを備え、前記人物判別手段は、髪型判別手段を含み、前記トリガーが検出されたとき、前記髪型判別手段は、前記人物の髪型を判別する。
【0007】
本発明の一態様に係わる人物判別方法は、画像から人物を検出し、前記人物の特徴を抽出し、前記人物の特徴に基づいて、前記人物を判別する人物判別方法であって、トリガーが検出されたとき、前記人物の髪型を判別する。
【0008】
本発明の一態様に係わるプログラムは、画像から人物を検出することと、前記人物の特徴を抽出することと、前記人物の特徴に基づいて、前記人物を判別することを、コンピュータに実行させるためのプログラムであって、トリガーが検出されたとき、前記人物の髪型を判別することをコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、人物の判別の精度を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】実施形態1に係わる画像処理装置の構成を示すブロック図である。
【図2】実施形態1に係わる画像処理装置が実行する処理の流れを示すフローチャートである。
【図3】実施形態2に係わる画像処理装置の構成を示すブロック図である。
【図4】監視カメラによる人物の撮影と、画像データの流れとを示す図である。
【図5】実施形態2に係わる画像処理装置が実行する処理の流れを示すフローチャートである。
【図6】実施形態3に係わる画像処理装置が実行する処理の流れを示すフローチャートである。
【図7】実施形態4に係わる情報処理装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0011】
〔実施形態1〕
(画像処理装置1)
図1を参照して、本実施形態1に係わる画像処理装置1の構成を説明する。図1は、画像処理装置1の構成を示すブロック図である。図1に示すように、画像処理装置1は、人物検出部10、特徴抽出部20、トリガー検出部30、および人物判別部40を備えている。
【0012】
人物検出部10は、画像から人物を検出する。人物検出部10は、人物検出手段の一例である。
【0013】
例えば、人物検出部10は、図示しない監視カメラが撮影した1または複数の画像のデータ(以下、画像データと略称する場合がある)を、監視カメラまたは記録媒体から取得する。人物検出部10は、1または複数の画像データから、背景および固定物を除く物体を検出し、検出した物体のうち、人物らしい特徴を有する物体を、人物として検出する。人物検出部10は、人物らしさを学習したモデル(識別器とも呼ぶ)を用いて、人物を検出してもよい。人物検出部10は、検出した人物を含む画像の領域(以下では、人物画像と呼ぶ場合がある)のデータを、特徴抽出部20へ送信する。
【0014】
特徴抽出部20は、人物の特徴を抽出する。特徴抽出部20は、特徴抽出手段の一例である。具体的には、特徴抽出部20は、人物検出部10から、人物画像のデータを受信する。特徴抽出部20は、人物画像から、人物の特徴を抽出する。以下では、人物の特徴は、人物特徴と呼ぶ場合がある。
【0015】
例えば、特徴抽出部20は、人物画像から、人物の顔または他の身体の一部の特徴を、前述した人物特徴として抽出する。特徴抽出部20は、抽出した人物特徴を示す情報を含むデータ(以下では、特徴データと呼ぶ場合がある)を、人物判別部40へ送信する。
【0016】
トリガー検出部30は、トリガーを検出する。トリガー検出部30は、トリガー検出手段の一例である。本実施形態1において、トリガー検出部30は、人物の髪型を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントを、トリガーとして検出する。
【0017】
例えば、人物が監視カメラと反対側に顔を向けたとき、特徴抽出部20は、人物の顔の特徴を抽出することが困難になる。したがって、一例に係わるトリガーは、特徴抽出部20が人物の顔の特徴を抽出することに失敗したことであってもよい。なお、人物が監視カメラと反対側に顔を向けた場合であっても、特徴抽出部20は、人物の頭髪に関する特徴、すなわち人物の髪型を抽出することはできる。
【0018】
トリガー検出部30は、トリガーを検出したとき、トリガー検出信号を人物判別部40の髪型判別部41へ送信する。
【0019】
人物判別部40は、人物の特徴(人物特徴)に基づいて、人物を判別する。人物判別部40は、髪型判別部41を含む。人物判別部40は、人物判別手段の一例である。
【0020】
具体的には、人物判別部40は、特徴抽出部20から、判別対象である人物の特徴を示す情報(特徴データ)を受信する。特徴データは、例えば、人物の特徴を示す特徴ベクトルである。トリガー検出部30からトリガー検出信号を受信するまで、人物判別部40は、人物の髪型の特徴を人物の判別の処理に使わず、受信した特徴データのみを用いて、人物を判別する。
【0021】
一例では、人物判別部40は、図示しない人物データベースを参照して、特徴抽出部20によって特徴が抽出された人物の特徴に一致または類似する特徴を備えた候補の人物を、人物データベースに登録された候補の人物(すでに判別された人物)の中から検索する。ここで、人物データベースには、候補の人物に関する情報が格納されている。例えば、人物データベースには、候補の人物のID(Identification)または名前、候補の人物の画像、候補の人物の特徴に関する特徴データ(例えば候補の人物の特徴を示す特徴ベクトル)、および、候補の人物の様々な属性を示す情報が格納されている。人物データベースは、候補の人物に関する情報として、候補の人物の髪型の特徴を示す情報も記憶している。
【0022】
人物判別部40は、人物データベースを使用して、判別対象である人物(すなわち人物画像の人物)と特徴が類似する候補の人物を検索する。具体的には、人物判別部40は、特徴抽出部20から受信した特徴データと、人物データベース内の候補の人物の特徴に関する特徴データとを照合する。そして、人物判別部40は、受信した特徴データと一致または類似する、候補の人物に関する特徴データを抽出する。人物判別部40は、抽出した特徴データに対応する候補の人物を、前述の人物画像の人物であると判別する。
【0023】
人物判別部40は、人物の判別に成功した場合、すなわち、受信した特徴データと一致または類似する、候補の人物に関する特徴データを人物データベースから検索したのち、検索した特徴データに対応する候補の人物に関する情報を、人物データベースから取得する。取得した候補の人物に関する情報は、例えば、候補の人物に関する特徴データのほか、候補の人物の名前またはID、年齢、性別、および顔画像などを含む。
【0024】
人物判別部40は、このようにして得られた候補の人物に関する情報を、人物の判別結果として出力する。例えば、人物判別部40は、判別結果として、前述したような、判別した人物に関する情報(判別した人物の特徴データ、IDまたは名前、判別した人物の顔画像など)を出力する。
【0025】
髪型判別部41は、トリガー検出部30から、トリガーを検出したことを示すトリガー検出信号を受信する。トリガー検出信号を受信すると、人物判別部40の髪型判別部41は、人物の髪型を判別する。髪型判別部41は、髪型判別手段の一例である。
【0026】
人物の髪型を判別する処理において、例えば、髪型判別部41は、人物検出部10から、人物画像のデータを取得して、人物画像から人物の頭髪の領域を抽出する。そして、髪型判別部41は、図示しない髪型データベースに格納されている多様な髪型のモデルの画像データを用いて、人物の頭髪と、髪型のモデルとをマッチングすることによって、人物の髪型を判別する。
【0027】
あるいは、髪型判別部41は、人物の頭髪の長さ、色、形状、質感、光沢、および毛髪の量など、人物の頭髪に係わる特徴を、人物画像から抽出し、人物の頭髪の特徴を予め学習したモデル(識別器)を用いて、人物の頭髪に係わる特徴に基づいて、人物の髪型を判別してもよい。
【0028】
髪型判別部41は、こうして判別した人物の髪型を示す情報を、判別した人物の名前を示す情報またはIDと紐付けて、前述した人物データベースに格納してもよい。髪型を示す情報は、髪型の名称であってもよいし、頭髪に係わる特徴を示す特徴ベクトルであってもよい。
【0029】
さらに、髪型判別部41は、図示しない追跡部から、人物の動線の情報を取得してもよい。そして、髪型判別部41は、人物の髪型を示す情報を、人物の動線の情報と紐付けて、人物データベースに格納してもよい。これにより、髪型判別部41が後に人物の髪型を判別する際に、人物データベースに格納された人物の髪型を示す情報を参照することによって、現在の人物の髪型と、過去の人物の髪型とを照合することができる。
【0030】
(画像処理装置1の動作フロー)
図2を参照して、本実施形態1に係わる画像処理装置1の動作を説明する。図2は、画像処理装置1の動作の流れを示すフローチャートである。
【0031】
図2に示すように、人物検出部10は、画像データを受信する。例えば、人物検出部10は、任意の監視場所に設置された監視カメラから、画像データを受信する。人物検出部10は、受信した画像データから人物を検出する(S1)。人物検出部10は、検出した人物の領域を含む人物画像のデータを、特徴抽出部20へ送信する。
【0032】
特徴抽出部20は、人物検出部10から、人物画像のデータを受信する。特徴抽出部20は、人物画像のデータから、人物の特徴を抽出する(S2)。特徴抽出部20は、抽出した人物の特徴(人物特徴)を示す情報(以下、特徴データと呼ぶ場合がある)を、人物判別部40へ送信する。人物特徴は、人物の顔の特徴であってもよいが、これに限定されない。
【0033】
人物判別部40は、特徴抽出部20から、人物特徴を示す特徴データを受信する。人物判別部40は、受信した特徴データに基づいて、人物を判別する(S3)。そして、人物判別部40は、人物の判別結果を出力する。
【0034】
トリガー検出部30は、トリガーを検出する。本実施形態1では、トリガー検出部30は、人物の髪型を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントを、トリガーとして検出する。
【0035】
例えば、トリガーは、特徴抽出部20が人物の特徴を抽出することに失敗したことであってもよい。この場合、トリガー検出部30は、特徴抽出部20から、人物の特徴を抽出することに失敗したことを示すエラー検出情報を受信したことを、トリガーとして検出する。
【0036】
トリガー検出部30は、所定の期間内にトリガーを検出した場合(S4でYES)、トリガー検出信号を、人物判別部40の髪型判別部41へ送信する。一方、トリガー検出部30が所定の期間内にトリガーを検出しなかった場合(S4でNO)、フローはステップS1へ戻る。
【0037】
人物判別部40の髪型判別部41は、トリガー検出部30から、トリガー検出信号を受信する。トリガー検出信号を受信したとき、すなわち、トリガーが検出されたとき(S4でYES)、髪型判別部41は、人物の髪型を判別する(S5)。
【0038】
髪型判別部41は、人物の髪型の判別結果を出力する。例えば、髪型判別部41は、判別した人物の髪型を示す情報を出力する。
【0039】
以上で、画像処理装置1の動作は終了する。
【0040】
(本実施形態の効果)
本実施形態の構成によれば、人物検出部10は、画像から人物を検出する。特徴抽出部20は、人物の特徴を抽出する。トリガー検出部30は、トリガーを検出する。人物判別部40は、人物の特徴を抽出する。人物判別部40は、人物の特徴に基づいて、人物を判別する。トリガーが検出されたとき、人物判別部40の髪型判別部41は、人物の髪型を判別する。
【0041】
このように、人物判別部40は、トリガーが検出されたときに、人物の髪型を判別する髪型判別部41を備えている。例えば、特徴抽出部20が人物の顔の特徴を抽出できないため、人物判別部40が人物の顔を判別できないことが、トリガーとして検出される。このように、トリガーの検出の有無に応じて、人物を判別する方法を変更することができるので、画像処理装置1は、人物の判別の精度を向上させることができる。
【0042】
〔実施形態2〕
図3〜図5を参照して、実施形態2について説明する。
【0043】
(画像処理装置2)
図3は、本実施形態2に係わる画像処理装置2の構成を示すブロック図である。図3に示すように、画像処理装置2は、人物検出部10、特徴抽出部20、トリガー検出部30、および人物判別部240を備えている。人物判別部240は、髪型判別部41および顔判別部42を含む。
【0044】
すなわち、本実施形態2に係わる画像処理装置2は、前記実施形態1で説明した画像処理装置1の人物判別部40の代わりに、人物判別部240を備えている。この点で、本実施形態2に係わる画像処理装置2は、前記実施形態1に係わる画像処理装置1と異なる。
【0045】
(監視カメラ100)
図4を参照して、人物を撮影する監視カメラ100について説明する。図4では、固定された監視カメラ100が監視エリア(すなわち監視カメラ100の視野)内にいる人物を撮影している。監視カメラ100は、動画を撮影する機能を有する。あるいは、監視カメラ100は、所定時間ごとに、または、センサによって移動物体を感知するごとに、静止画を撮影してもよい。なお、図示しないが、監視カメラ100は複数あってもよい。
【0046】
例えば、監視カメラ100は、都市、街頭、大規模商業施設、空港、ターミナル駅、プラットフォーム、レジャー施設、スポーツ施設、スタジアム、または監視の必要があるその他の場所に設置される。
【0047】
監視カメラ100は、撮影した人物の画像データを生成する。監視カメラ100は、生成した画像データを、画像処理装置2の人物検出部10(図3参照)へ送信する。このとき、監視カメラ100は、有線または無線のネットワークを介して、画像データを画像処理装置2へ直接的に送信してもよい。あるいは、監視カメラ100は、画像データを画像データベースに蓄積しておき、画像データベースに蓄積された画像データベースを参照するように、画像処理装置2に指示してもよい。
【0048】
(人物判別部240)
前述したように、人物判別部240は、髪型判別部41および顔判別部42を備えている。
【0049】
本実施形態2の髪型判別部41は、前記実施形態1の髪型判別部41と同様に、トリガーが検出されたとき、人物の髪型を判別する。髪型判別部41は、髪型判別手段の一例である。
【0050】
より詳細には、髪型判別部41は、トリガー検出部30から、トリガー検出信号を受信する。前記実施形態1で説明したように、トリガー検出信号は、トリガー検出部30がトリガーを検出したことを示す。トリガー検出部30は、トリガーを検出したとき、トリガー検出信号を髪型判別部41へ送信する。
【0051】
髪型判別部41は、トリガー検出部30から、トリガー検出信号を受信したとき、人物の髪型を判別する。例えば、髪型判別部41は、図示しない髪型データベースに格納されている多様な髪型のモデルを参照して、人物の髪型と、髪型のモデルとをマッチングする。あるいは、髪型判別部41は、人物の髪型の特徴を学習したモデル(識別器)を用いて、人物の髪型を判別してもよい。
【0052】
こうして、髪型判別部41は、人物の髪型を判別した後、人物の髪型の判別結果を出力する。または、髪型判別部41は、人物の髪型を示す情報(例えば、髪型の名称)を、図示しない髪型データベースに格納してもよい。
【0053】
顔判別部42は、人物の顔と、候補の人物の顔とを照合することによって、人物の顔を判別する。顔判別部42は、顔判別手段の一例である。具体的には、特徴抽出部20から、人物の顔に関する特徴(以下では、顔特徴とも呼ばれる)を示す特徴データ(以下、顔特徴データとも呼ばれる)を受信する。
【0054】
顔判別部42は、図示しない人物データベースを参照して、判別対象である人物と顔特徴が一致または類似する候補の人物を、人物データベースに登録された候補の人物の中から検索する。
【0055】
人物データベースには、候補の人物(すでに判別された人物)に関する様々な情報が格納されている。例えば、人物データベースには、候補の人物のID(Identification)、名前、候補の人物の顔の領域を含む顔画像、および候補の人物の顔の特徴(以下、顔特徴と呼ぶ場合がある)を示す特徴ベクトルのほか、候補の人物の属性を示す情報が格納されている。候補の人物の顔特徴を示す特徴ベクトルは、前述した顔特徴データの一例である。
【0056】
顔判別部42は、判別対象である人物の顔特徴データと、人物データベースに格納された候補の人物の顔特徴データとの間の類似度を示すスコアを計算する。人物データベースに、複数の候補の人物の顔画像が格納されている場合、顔判別部42は、候補の人物の各々と、判別対象である人物との間で、それぞれスコアを計算する。
【0057】
例えば、顔判別部42は、候補の人物の顔特徴を示す特徴ベクトルに基づいて、特徴ベクトル間の距離が短いほど大きく、特徴ベクトル間の距離が長いほど小さいスコアを計算する。例えば、スコアは、特徴ベクトル間の距離の逆数である。
【0058】
顔判別部42は、スコアが閾値を超える候補の人物のうち、スコアが最も高い候補の人物を、判別対象である人物と同一人物として判別する。
【0059】
より詳細には、スコアが閾値を超える候補の人物を少なくとも1人以上、人物データベースから発見した場合、顔判別部42は、スコアが最も高い候補の人物を、判別対象である物であると判別する。顔判別部42は、判別した人物に関する情報を、人物データベースから取得して、人物の判別結果として出力する。
【0060】
一方、顔判別部42は、スコアが閾値を超える候補の人物が存在しない場合、人物の顔の判別に失敗したと判断する。この場合、顔判別部42は、人物の顔の判別に失敗したことを示すエラー検出信号を、トリガー検出部30へ送信する。
【0061】
また、スコアが閾値を超える候補の人物が2人以上存在する場合であって、かつ、スコアが最も高い候補の人物と、スコアが2番目に高い候補の人物との間で、スコアの差が所定の値以下である場合、顔判別部42は、人物の顔の判別に失敗したと判断する。この場合も、顔判別部42は、人物の顔の判別に失敗したことを示すエラー検出信号を、トリガー検出部30へ送信する。
【0062】
(画像処理装置2の動作)
図5を参照して、本実施形態2に係わる画像処理装置2の動作を説明する。図5は、画像処理装置2の動作の流れを示すフローチャートである。
【0063】
図5に示すように、人物検出部10は、監視カメラ100(図4参照)から画像データを受信する。人物検出部10は、受信した画像データから人物を検出する(S201)。人物検出部10は、検出した人物の領域を含む人物画像のデータを、特徴抽出部20へ送信する。
【0064】
特徴抽出部20は、人物検出部10から、人物画像のデータを受信する。特徴抽出部20は、人物画像のデータから、人物の顔特徴を抽出する(S202)。
【0065】
特徴抽出部20は、人物画像のデータから、人物の顔特徴を抽出することに成功した場合(S203でYES)、抽出した顔特徴(すなわち人物の顔特徴)を示す情報(以下、顔特徴データと呼ぶ場合がある)を、人物判別部240の顔判別部42へ送信する。
【0066】
一方、特徴抽出部20が、人物画像のデータから、人物の顔特徴を抽出することに失敗した場合(S203でNO)、特徴抽出部20は、人物の顔特徴の抽出に失敗したことを示すエラー検出信号を、トリガー検出部30へ送信する。この場合、動作フローは、後述するステップS206へ進む。
【0067】
顏判別部42は、特徴抽出部20から、顔特徴を示す情報(顔特徴データ)を受信する。顔判別部42は、受信した顔特徴データに基づいて、人物の顔を判別する(S204)。
【0068】
具体的には、顔判別部42は、図示しない人物データベースを参照して、判別対象である人物と顔特徴が一致または類似する候補の人物を、人物データベースに登録された人物の中から検索する。人物データベースには、候補の人物(すでに判別された人物)に関する情報が格納されている。例えば、人物データベースには、候補の人物のID(Identification)、名前、顔画像、および顔画像から抽出された顔特徴を示す情報のほか、候補の人物の様々な属性を示す情報が格納されている。
【0069】
顔判別部42は、判別対象である人物の顔特徴データと、人物データベースに格納された候補の人物の顔特徴データとの間の類似度を示すスコアを計算する。人物データベースに、複数の候補の人物の顔画像が格納されている場合、顔判別部42は、候補の人物の各々と、判別対象である人物との間で、それぞれスコアを計算する。
【0070】
顏判別部42は、計算したスコアに基づいて、人物の顔の判別に成功したかそれとも失敗したかを判断する(S205)。
【0071】
具体的には、顔判別部42は、スコアが閾値を超える候補の人物が存在しない場合、人物の顔の判別に失敗したと判断する(S205でNO)。また、スコアが閾値を超える候補の人物が2人以上存在する場合であって、スコアが最も高い候補の人物と、スコアが2番目に高い候補の人物との間で、スコアの差が所定の値以下である場合も、顔判別部42は、人物の顔の判別に失敗したと判断する(S205でNO)。
【0072】
一方、上記の2つの失敗の場合のいずれかに該当しない場合、顔判別部42は、人物の顔の判別に成功したと判断する(S205でYES)。この場合、画像処理装置2の動作フローは終了する。顔判別部42は、人物の判別結果の一つとして、判別した人物に関する情報を出力してもよい。
【0073】
人物の顔の判別に失敗した場合(S205でNO)、顔判別部42は、人物の顔の判別に失敗したことを示すエラー検出信号を、トリガー検出部30へ送信する。
【0074】
特徴抽出部20が、人物画像のデータから、人物の顔特徴を抽出することに失敗した場合(S203でNO)、トリガー検出部30は、特徴抽出部20から、人物の顔特徴の抽出に失敗したことを示すエラー検出信号を受信する。この場合、トリガー検出部30は、特徴抽出部20が人物の顔特徴の抽出に失敗したことを、トリガーとして検出する(S206)。
【0075】
また、顔判別部42が、人物の顔の判別に失敗した場合(S205でNO)、トリガー検出部30は、顔判別部42から、人物の顔の判別に失敗したことを示すエラー検出信号を受信する。この場合、トリガー検出部30は、顔判別部42が人物の顔の判別に失敗したことを、トリガーとして検出する(S206)。ステップS206において、トリガー検出部30は、以下の(1)または(2)の場合に、トリガーを検出する。
【0076】
(1)スコアが最も高い候補の人物と、スコアが2番目に高い候補の人物との間で、スコアの差が所定の値を超えない。
【0077】
(2)スコアが閾値を超える候補の人物が存在しない。
【0078】
ステップS206の後、トリガー検出部30は、トリガー検出信号を、人物判別部240の髪型判別部41へ送信する。
【0079】
人物判別部40の髪型判別部41は、トリガー検出部30から、トリガー検出信号を受信する。トリガー検出信号を受信したとき、すなわち、トリガーが検出されたとき(S4でYES)、髪型判別部41は、人物の髪型を判別する(S207)。
【0080】
髪型判別部41は、人物の判別結果の一つとして、人物の髪型の判別結果を出力する。例えば、髪型判別部41は、判別した人物の髪型に関する情報(髪型の名称など)を出力する。髪型判別部41は、判別した人物の髪型に関する情報と対比するために、顔判別部42によって計算されたスコアが最も高い候補の人物の髪型を示す情報を、さらに出力してもよい。
【0081】
以上で、画像処理装置2の動作は終了する。
【0082】
(変形例)
一変形例では、上記の(1)および(2)のいずれにも該当しない場合であっても、スコアが最も高い候補の人物のスコアが閾値プラスα(αは、適宜に決められる)を超えない場合、髪型判別部41が人物の髪型を判別するとともに、顔判別部42が人物の顔を判別してもよい。これにより、画像処理装置2は、人物の髪型の判別結果と、人物の顔の判別結果とを併用して、人物の判別の精度をより向上させることができる。
【0083】
(本実施形態の効果)
本実施形態の構成によれば、人物検出部10は、画像から人物を検出する。特徴抽出部20は、人物の特徴を抽出する。トリガー検出部30は、トリガーを検出する。人物判別部40は、人物の特徴を抽出する。
【0084】
人物判別部40の顔判別部42は、人物の顔と、候補の人物の顔とを照合することによって、人物の顔を判別する。また顔判別部42は、人物の顔と、候補の人物の顔とが同一であることの確からしさを表すスコアを計算する。
【0085】
トリガー検出部30は、特徴抽出部20が人物の顔特徴を抽出することに失敗したことを、トリガーとして検出する。またトリガー検出部30は、顔判別部42が人物の顔の判別に失敗したことを、トリガーとして検出する。
【0086】
人物判別部40は、人物の特徴に基づいて、人物を判別する。トリガーが検出されたとき、人物判別部40の髪型判別部41は、人物の髪型を判別する。このように、トリガーの検出の有無に応じて、人物を判別する方法を変更する。例えば、人物の髪型の判別結果と、人物の顔の判別結果とを併用してもよい。これにより、画像処理装置2は、人物の判別の精度をより向上させることができる。
【0087】
〔実施形態3〕
図6を参照して、実施形態3について説明する。前記実施形態1、2では、人物の髪型の判別を開始するトリガーについて説明した。本実施形態3では、人物の髪型の判別を終了するトリガー(以下では、終了トリガーと呼ぶ場合がある)について説明する。終了トリガーは、第2のトリガーの一例である。
【0088】
(画像処理装置の構成)
本実施形態3に係わる画像処理装置の構成は、前記実施形態2において説明した画像処理装置1(図2参照)と同じである。
【0089】
(顔の判別処理の終了)
図6を参照して、本実施形態3に係わる画像処理装置の動作を説明する。図6は、本実施形態3に係わる画像処理装置が実行する顔の判別の終了処理の流れを示すフローチャートである。なお、以下で説明する処理が開始される前に、髪型判別部41が、人物の髪型の判別を開始している。
【0090】
図6に示すように、トリガー検出部30は、終了トリガーを検出する(S301)。終了トリガーは、前記実施形態1および2で説明したトリガーと対で使用される。
【0091】
前記実施形態1および2で説明したトリガーは、人物の髪型を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントである。一方、本実施形態3に係わる終了トリガーは、人物の髪型よりも人物の顔を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントである。
【0092】
例えば、終了トリガーは、前記実施形態2において説明した動作フローのステップS202において、特徴抽出部20が人物の特徴を抽出することに成功したことであってもよい。または、終了トリガーは、前記実施形態2において説明した動作フローのステップS204において、人物判別部40の顔判別部42が人物の顔を判別することに成功したことであってもよい。
【0093】
具体的には、トリガー検出部30は、以下の(1)および(2)の条件の両方が満たされる場合に、顔判別部42が人物の顔の判別に成功したことに基づく終了トリガーを検出する。
【0094】
(1)スコアが閾値を超える候補の人物が少なくとも1人存在する。
【0095】
(2)スコアが最も高い候補の人物と、スコアが2番目に高い候補の人物との間で、スコアの差が所定の値以上である。
【0096】
終了トリガーを検出したとき、トリガー検出部30は、終了トリガー検出信号を、髪型判別部41へ送信する。
【0097】
加えて、トリガー検出部30は、終了トリガー検出信号を、顔判別部42にも送信してもよい。顔判別部42は、トリガー検出部30から終了トリガー信号を検出したとき、人物の顔の判別を開始あるいは再開してもよい。
【0098】
髪型判別部41は、トリガー検出部30から、終了トリガー検出信号を受信したとき、人物の髪型を判別する処理を停止する(S302)。
【0099】
以上で、本実施形態3に係わる画像処理装置の動作は終了する。
【0100】
(変形例)
なお、上記の(1)の場合において、スコアが最も高い候補の人物のスコアが閾値プラスα(αは、適宜に決められる)を超えない場合、前記実施形態2の変形例のように、髪型判別部41が人物の髪型を判別するとともに、顔判別部42が人物の顔を判別してもよい。これにより、本実施形態3に係わる画像処理装置は、人物の髪型の判別結果と、人物の顔の判別結果とを併用できるので、人物の判別の精度をより向上させることができる。
【0101】
本実施形態3において説明した構成は、前記実施形態1で説明した構成に適用することもできる。その場合、終了トリガーが検出されたとき、顔判別部42によって人物の顔の判別が開始あるいは再開される代わりに、人物判別部40によって人物の他の部位が判別されてもよい。
【0102】
(本実施形態の効果)
本実施形態の構成によれば、トリガー検出部30は、終了トリガーを検出する。終了トリガーは、人物の髪型よりも人物の顔を判別することが、人物を精度よく判別するための有効な手段となり得るときに検出されるイベントである。トリガー検出部30が終了トリガーを検出したとき、髪型判別部41は、人物の髪型を判別することを停止する。これにより、画像処理装置の省エネルギー化及び処理負担の軽減を図ることができる。また、人物の髪型を判別することを停止する一方で、人物の顔を判別することを開始または再開することによって、画像処理装置は、人物の判別の精度を向上させることができる。
【0103】
〔実施形態4〕
図7を参照して、実施形態4について以下で説明する。
【0104】
(ハードウェア構成について)
前記実施形態1〜3で説明した画像処理装置の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図7に示すような情報処理装置900により実現される。図7は、情報処理装置900のハードウェア構成の一例を示すブロック図である。
【0105】
図7に示すように、情報処理装置900は、一例として、以下のような構成を含む。
【0106】
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
前記実施形態1〜3で説明した画像処理装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
【0107】
(本実施形態の効果)
本実施形態の構成によれば、前記実施形態において説明した画像処理装置が、ハードウェアとして実現される。したがって、前記実施形態において説明した効果と同様の効果を奏することができる。
【0108】
〔変形例〕
前記実施形態1から3で説明した画像処理装置1〜2が実行する処理の全部または一部を、インテリジェントカメラが代わりに実行してもよい。インテリジェントカメラは、内部に解析機能を備え、IP(Internet Protocol)アドレスを割り当てられる。インテリジェントカメラは、IPカメラ、ネットワークカメラ、あるいはスマートカメラとも呼ばれる。
【0109】
以上、実施形態(及び実施例)を参照して本発明を説明したが、本発明は上記実施形態(及び実施例)に限定されるものではない。上記実施形態(及び実施例)の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0110】
1 画像処理装置
2 画像処理装置
10 人物検出部
20 特徴抽出部
30 トリガー検出部
40 人物判別部
41 髪型判別部
42 顏判別部
240 人物判別部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】