(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO2013108686
(43)【国際公開日】20130725
【発行日】20150511
(54)【発明の名称】情報処理装置および方法、並びにプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20150414BHJP
   G06T 7/20 20060101ALI20150414BHJP
   G06T 1/00 20060101ALI20150414BHJP
   G06F 17/30 20060101ALI20150414BHJP
【FI】
   !H04N7/18 D
   !H04N7/18 G
   !G06T7/20 A
   !G06T7/20 B
   !G06T1/00 340B
   !G06F17/30 170D
【審査請求】有
【予備審査請求】未請求
【全頁数】61
【出願番号】2013554271
(21)【国際出願番号】JP2013050209
(22)【国際出願日】20130109
(31)【優先権主張番号】2012007538
(32)【優先日】20120117
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
【住所又は居所】東京都港区港南1丁目7番1号
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】小野 優嗣
【住所又は居所】東京都港区港南1丁目7番1号 ソニー株式会社内
(72)【発明者】
【氏名】竹内 英人
【住所又は居所】東京都港区港南1丁目7番1号 ソニー株式会社内
【テーマコード(参考)】
5B057
5C054
5L096
【Fターム(参考)】
5B057AA19
5B057DA07
5B057DA12
5B057DB02
5B057DB09
5B057DC16
5B057DC19
5B057DC36
5C054CH08
5C054DA09
5C054FC12
5C054FC13
5C054FE02
5C054FE18
5C054FE25
5C054GB01
5C054HA19
5C054HA31
5L096AA02
5L096BA02
5L096CA04
5L096CA05
5L096CA14
5L096DA04
5L096EA37
5L096EA43
5L096FA06
5L096FA34
5L096FA35
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA38
5L096GA51
5L096GA55
5L096HA02
5L096HA03
5L096HA05
5L096JA03
(57)【要約】
本技術は、複数のカメラにより撮像した画像より、探索追尾したい人物を、高精度で探索し、追尾することができる情報処理装置および方法、並びにプログラムに関する。
検索追尾結果を示す画面P211上の、撮像エリアCamAを撮像する監視カメラで撮像された動体画像PAに対して、手H1で示されるように、使用者が検索対象者であることを確定する確定情報を入力することにより、プロットAとプロットEの検出結果との時空間の比較から、プロットAからプロットEまでの移動時間が5秒(1:00:05−1:00:00)であるにも拘わらず、平均的な人間の移動速度では、5秒程度では移動できない離れた位置であることから、検索追尾結果からプロットEを削除することにより、検索追尾結果の精度を向上させることが可能となる。本技術は、セキュリティシステムやマーケティング調査システムに適用することができる。
【特許請求の範囲】
【請求項1】
画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部と、
検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出部と、
前記動体画像尤度算出部により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定部と、
前記動体画像閾値判定部により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶部と、
前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力部と、
前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除する時空間尤度閾値判定部と
を含む情報処理装置。
【請求項2】
前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを新たに確定する確定情報の入力を受け付け、
前記時空間尤度算出部は、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報の、前記確定情報が新たに入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除し、
前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
請求項1に記載の情報処理装置。
【請求項3】
前記動体情報には、含まれている動体画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
前記検索対象となる動体の動体画像を含む動体情報である検索対象動体情報、および、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられた確定動体情報のうち、それぞれの動体画像を撮像した複数の撮像部を識別するIDが異なる2の前記動体画像に基づいて、前記撮像部間の色変化を補正するBTF(Brightness Transfer Function)を計算するBTF計算部と、
前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報のうち、前記BTFが求められているIDの撮像部により撮像された動体画像を含む動体情報の動体画像にBTFを施すBTF処理部と、
前記確定動体情報の動体画像に対する、前記BTF処理部によりBTFが施された動体画像を含む動体情報の、前記動体画像に基づいた尤度からなるBTF動体画像尤度を算出するBTF動体画像尤度算出部と、
前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF動体画像閾値判定部とをさらに含み、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF動体画像閾値判定部は、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF動体画像尤度が所定の閾値よりも低いとき、前記BTF動体画像尤度が所定の閾値よりも低い動体画像を含む動体情報を、前記検索結果動体情報記憶部より削除する
請求項2に記載の情報処理装置。
【請求項4】
前記動体画像尤度算出部は、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像と、前記検索対照動体情報以外の動体情報に含まれる動体画像とのそれぞれに含まれる動体画像に基づいて、それぞれの動体がどの程度類似しているのかを示す類似度を、前記動体画像尤度として算出する
請求項1に記載の情報処理装置。
【請求項5】
前記時空間尤度算出部は、前記確定動体情報以外の動体情報と、前記確定情報が入力された確定動体情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
請求項1に記載の情報処理装置。
【請求項6】
画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出処理と、
前記動体画像尤度算出処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定処理と、
前記動体画像閾値判定処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶処理と、
前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶処理により記憶された動体情報より削除する時空間尤度閾値判定処理と
を含む情報処理方法。
【請求項7】
画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出ステップと、
前記動体画像尤度算出ステップの処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定ステップと、
前記動体画像閾値判定ステップの処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶ステップと、
前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶ステップの処理により記憶された動体情報より削除する時空間尤度閾値判定ステップと
をコンピュータに実行させるためのプログラム。
【請求項8】
画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部と、
検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出部と、
前記人物画像尤度算出部により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定部と、
前記人物画像閾値判定部により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶部と、
前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力部と、
前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定部と
を含む情報処理装置。
【請求項9】
前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを新たに確定する確定情報の入力を受け付け、
前記時空間尤度算出部は、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報の、前記確定情報が新たに入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除し、
前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
請求項8に記載の情報処理装置。
【請求項10】
前記人物情報には、含まれている人物画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報のうち、それぞれの人物画像を撮像した複数の撮像部を識別するIDが異なる2の前記人物画像に基づいて、前記撮像部間の色変化を補正するBTF(Brightness Transfer Function)を計算するBTF計算部と、
前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報のうち、前記BTFが求められているIDの撮像部により撮像された人物画像を含む人物情報の人物画像にBTFを施すBTF処理部と、
前記確定人物情報の人物画像に対する、前記BTF処理部によりBTFが施された人物画像を含む人物情報の、前記人物画像に基づいた尤度からなるBTF人物画像尤度を算出するBTF人物画像尤度算出部と、
前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF人物画像閾値判定部とをさらに含み、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低いとき、前記BTF人物画像尤度が所定の閾値よりも低い人物画像を含む人物情報を、前記検索結果人物情報記憶部より削除する
請求項9に記載の情報処理装置。
【請求項11】
前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報を、前記検索対象人物と同一人物の人物情報として保持する同一人物情報保持部と、
前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか、または、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、前記所定の閾値よりも低い人物画像を含む人物情報を、前記検索対象人物とは他人の人物情報である他人情報を保持する他人情報保持部と、
前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により前記検索対象人物を検索するための固有特徴を選択する固有特徴検索部と、
前記検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の、前記固有特徴に基づいた尤度である固有特徴尤度を算出する固有特徴尤度算出部と、
前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する固有特徴尤度閾値判定部とをさらに含み、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低くないとき、前記固有特徴尤度閾値判定部は、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する
請求項10に記載の情報処理装置。
【請求項12】
前記固有特徴尤度閾値判定部により前記所定の閾値よりも低い固有特徴尤度の人物情報が、前記検索結果人物情報記憶部より削除されるとき、前記他人情報保持部は、前記所定の閾値よりも低い固有特徴尤度の人物情報を他人の人物情報である他人情報として保持する
請求項11に記載の情報処理装置。
【請求項13】
前記固有特徴検索部は、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により、前記同一人物情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が高くなるような特徴量であって、かつ、前記他人情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が低くなるような特徴量を、固有特徴として選択する
請求項8に記載の情報処理装置。
【請求項14】
前記固有特徴尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像の固有特徴に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記固有特徴尤度として算出する
請求項8に記載の情報処理装置。
【請求項15】
前記人物画像尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記人物画像尤度として算出する
請求項8に記載の情報処理装置。
【請求項16】
前記時空間尤度算出部は、前記確定人物情報以外の人物情報と、前記確定情報が入力された確定人物情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
請求項8に記載の情報処理装置。
【請求項17】
画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出処理と、
前記人物画像尤度算出処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定処理と、
前記人物画像閾値判定処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶処理と、
前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶処理により記憶された人物情報を削除する時空間尤度閾値判定処理と
を含む情報処理装置。
【請求項18】
画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出ステップと、
前記人物画像尤度算出ステップの処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定ステップと、
前記人物画像閾値判定ステップの処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶ステップと、
前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置および方法、並びにプログラムに関し、特に、複数のカメラにより撮像した画像より、検索追尾したい人物を、高精度で探索し、追尾できるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【0002】
従来から、ホテルや、ビル、コンビニエンスストア、更には市街地等の不特定多数の人が行き交う場所には防犯やマーケティング等の目的で映像監視システムが設置されている。このような監視システムにおいて、不審者がどのように移動したかや、デパート内で顧客がどのように移動したかを確認するという業務は至る所で行われている。
【0003】
しかしながら、それぞれの人物が監視エリア内をどのように移動したのかを確認するためには、複数のカメラで取得された映像を見直し、カメラ映像内での人物の移動を追いかけ、カメラ間に跨って移動する人物を対応付けて追いかけるといった作業が必要となり、非常に膨大な時間がかかっており、作業者にとって非常に大きな負担となっている。
【0004】
そこで、複数のカメラ映像内で動体を追跡するシステムや、検索するシステムが提案されている。例えば、単一カメラ映像内で人物を追跡し、複数のカメラでそれを紐付けるという手法を行うというものが提案されている(特許文献1参照)。また、類似画像検索を利用して、人物追跡を行うものとして、撮影画像内の前景領域をブロック状に分割し、ブロック単位で類似画像検索を行い、そのマッチング結果によって同一人物か否かを判定するというものが提案されている(非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0005】
【特許文献1】特開2006−245795号公報
【非特許文献1】疎分散カメラ環境における類似画像検索を用いた人物追跡信学技報, vol. 110, no. 330, PRMU2010-130, pp. 25-30, 2010年12月.
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に記載の技術では、実際には単一カメラ内で人物を追跡し続ける事は難しく、人物同士の重なりや柱等の裏に人物が隠れてしまう事によって追跡が途切れ、全体としての追跡精度が低下してしまう事があった。
【0007】
また、非特許文献1の技術の場合、ブロック状に分割した前景領域全てに対して類似しているかどうかを判定するには撮影時間が増えれば増える程、処理時間の増加を招き、更に精度の低下を招く恐れがあった。
【0008】
本技術はこのような状況に鑑みてなされたものであり、特に、複数のカメラにより撮像された画像のうち、検索に適さないものを削除すると共に、検索処理結果に対して、使用者が検索対象画像に適切な画像を確定情報として特定した後、検索処理を修正する処理を繰り返すようにすることで、人物の検索追尾処理の精度を向上できるようにするものである。
【課題を解決するための手段】
【0009】
本技術の第1の側面の情報処理装置は、画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部と、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出部と、前記動体画像尤度算出部により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定部と、前記動体画像閾値判定部により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶部と、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力部と、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除する時空間尤度閾値判定部とを含む。
【0010】
前記操作入力部には、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを新たに確定する確定情報の入力を受け付けさせ、前記時空間尤度算出部には、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報の、前記確定情報が新たに入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出させ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定させ、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除させ、前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部には、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返させるようにすることができる。
【0011】
前記動体情報には、含まれている動体画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含ませるようにすることができ、前記検索対象となる動体の動体画像を含む動体情報である検索対象動体情報、および、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられた確定動体情報のうち、それぞれの動体画像を撮像した複数の撮像部を識別するIDが異なる2の前記動体画像に基づいて、前記撮像部間の色変化を補正するBTF(Brightness Transfer Function)を計算するBTF計算部と、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報のうち、前記BTFが求められているIDの撮像部により撮像された動体画像を含む動体情報の動体画像にBTFを施すBTF処理部と、前記確定動体情報の動体画像に対する、前記BTF処理部によりBTFが施された動体画像を含む動体情報の、前記動体画像に基づいた尤度からなるBTF動体画像尤度を算出するBTF動体画像尤度算出部と、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF動体画像閾値判定部とをさらに含ませるようにすることができ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定させ、前記所定の閾値よりも低くない場合、前記BTF動体画像閾値判定部には、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定させ、前記BTF動体画像尤度が所定の閾値よりも低いとき、前記BTF動体画像尤度が所定の閾値よりも低い動体画像を含む動体情報を、前記検索結果動体情報記憶部より削除させるようにすることができる。
【0012】
前記動体画像尤度算出部には、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像と、前記検索対照動体情報以外の動体情報に含まれる動体画像とのそれぞれに含まれる動体画像に基づいて、それぞれの動体がどの程度類似しているのかを示す類似度を、前記動体画像尤度として算出させるようにすることができる。
【0013】
前記時空間尤度算出部には、前記確定動体情報以外の動体情報と、前記確定情報が入力された確定動体情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出させるようにすることができる。
【0014】
本技術の第1の側面の情報処理方法は、画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出処理と、前記動体画像尤度算出処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定処理と、前記動体画像閾値判定処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶処理と、前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力処理と、前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶処理により記憶された動体情報より削除する時空間尤度閾値判定処理とを含む。
【0015】
本技術の第1の側面のプログラムは、画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出ステップと、前記動体画像尤度算出ステップの処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定ステップと、前記動体画像閾値判定ステップの処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶ステップと、前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる算出する時空間尤度算出ステップと、前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶ステップの処理により記憶された動体情報より削除する時空間尤度閾値判定ステップとをコンピュータに実行させる。
【0016】
本技術の第2の側面の情報処理装置は、画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部と、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出部と、前記人物画像尤度算出部により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定部と、前記人物画像閾値判定部により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶部と、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力部と、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定部とを含む。
【0017】
前記操作入力部には、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを新たに確定する確定情報の入力を受け付けさせ、前記時空間尤度算出部には、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報の、前記確定情報が新たに入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出させ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除され、前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部には、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返すようにさせることができる。
【0018】
前記人物情報には、含まれている人物画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含ませるようにすることができ、前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報のうち、それぞれの人物画像を撮像した複数の撮像部を識別するIDが異なる2の前記人物画像に基づいて、前記撮像部間の色変化を補正するBTF(Brightness Transfer Function)を計算するBTF計算部と、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報のうち、前記BTFが求められているIDの撮像部により撮像された人物画像を含む人物情報の人物画像にBTFを施すBTF処理部と、前記確定人物情報の人物画像に対する、前記BTF処理部によりBTFが施された人物画像を含む人物情報の、前記人物画像に基づいた尤度からなるBTF人物画像尤度を算出するBTF人物画像尤度算出部と、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF人物画像閾値判定部とをさらに含ませるようにすることができ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定させ、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部には、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定させ、前記BTF人物画像尤度が所定の閾値よりも低いとき、前記BTF人物画像尤度が所定の閾値よりも低い人物画像を含む人物情報を、前記検索結果人物情報記憶部より削除させるようにすることができる。
【0019】
前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報を、前記検索対象人物と同一人物の人物情報として保持する同一人物情報保持部と、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか、または、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、前記所定の閾値よりも低い人物画像を含む人物情報を、前記検索対象人物とは他人の人物情報である他人情報を保持する他人情報保持部と、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により前記検索対象人物を検索するための固有特徴を選択する固有特徴検索部と、前記検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の、前記固有特徴に基づいた尤度である固有特徴尤度を算出する固有特徴尤度算出部と、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する固有特徴尤度閾値判定部とをさらに含ませるようにすることができ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いかかを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低くないとき、前記固有特徴尤度閾値判定部は、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する。
【0020】
前記固有特徴尤度閾値判定部により前記所定の閾値よりも低い固有特徴尤度の人物情報が、前記検索結果人物情報記憶部より削除されるとき、前記他人情報保持部には、前記所定の閾値よりも低い固有特徴尤度の人物情報を他人の人物情報である他人情報として保持させるようにすることができる
【0021】
前記固有特徴検索部には、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により、前記同一人物情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が高くなるような特徴量であって、かつ、前記他人情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が低くなるような特徴量を、固有特徴として選択させるようにすることができる。
【0022】
前記固有特徴尤度算出部には、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像の固有特徴に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記固有特徴尤度として算出させるようにすることができる。
【0023】
前記人物画像尤度算出部には、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記人物画像尤度として算出させるようにすることができる。
【0024】
前記時空間尤度算出部には、前記確定人物情報以外の人物情報と、前記確定情報が入力された確定人物情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出させるようにすることができる。
【0025】
本技術の第2の側面の情報処理方法は、画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置の情報処理方法であって、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出処理と、前記人物画像尤度算出処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定処理と、前記人物画像閾値判定処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶処理と、前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力処理と、前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶処理により記憶された人物情報を削除する時空間尤度閾値判定処理とを含む。
【0026】
本技術の第2の側面のプログラムは、画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出ステップと、前記人物画像尤度算出ステップの処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定ステップと、前記人物画像閾値判定ステップの処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶ステップと、前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定ステップとを含む処理をコンピュータに実行させる。
【0027】
本技術の第1の側面においては、画像が撮像され、動体が検出され、検出された前記動体の画像からなる動体画像が抽出され、前記動体画像に基づいて、前記動体の空間位置座標が検出され、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報が出力され、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度が算出され、算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かが判定され、前記所定の閾値よりも高い動体画像尤度の動体情報が、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索され、検索結果動体情報として検索された動体情報が記憶され、検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者による、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられ、検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度が算出され、算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かが判定され、前記所定の閾値よりも低い時空間尤度の動体情報が、前記検索結果動体情報として記憶された動体情報より削除される。
【0028】
本技術の第2の側面においては、画像が撮像され、人物が検出され、検出された前記人物の画像からなる人物画像が抽出され、前記人物画像に基づいて、前記人物の空間位置座標が検出され、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報が出力され、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度が算出され、算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かが判定され、前記所定の閾値よりも高い人物画像尤度の人物情報が、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索され、検索結果人物情報として検索された人物情報が記憶され、検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられ、検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度が算出され、算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かが判定され、前記所定の閾値よりも低い時空間尤度の人物情報が、削除される。
【0029】
本技術の情報処理装置は、独立した装置であっても良いし、情報処理を行うブロックであっても良い。
【発明の効果】
【0030】
本技術の一側面によれば、複数のカメラにより撮像した画像より、探索追尾したい人物を、高精度で探索し、追尾することが可能となる。
【図面の簡単な説明】
【0031】
【図1】本技術を適用した監視システムの一実施の形態の構成例を示す図である。
【図2】監視カメラの第1の構成例を説明するブロック図である。
【図3】人物検索追尾サーバの第1の構成例を説明するブロック図である。
【図4】図2の監視カメラによる撮像処理を説明するフローチャートである。
【図5】動体情報フィルタリング処理を説明するフローチャートである。
【図6】前景領域に偏りがある動体画像および前景画像を示す図である。
【図7】前景領域と背景領域との相関が高い動体画像および前景画像を示す図である。
【図8】前景領域が正しく求められていない動体画像、前景画像、およびエッジ画像を示す図である。
【図9】単一人物と複数の人物が撮像された動体画像および前景画像を示す図である。
【図10】動体情報フィルタリング処理によりフィルタリングされる動体画像の例を示す図である。
【図11】動体情報マッチング処理を説明するフローチャートである。
【図12】動体情報マッチング処理により表示される人物検索追尾結果を示す表示画面の例を説明する図である。
【図13】図11のマッチング修正処理を説明するフローチャートである。
【図14】図11のマッチング修正処理を説明する図である。
【図15】図11のマッチング修正処理を説明する図である。
【図16】監視カメラの第2の構成例を説明するブロック図である。
【図17】人物検索追尾サーバの第2の構成例を説明するブロック図である。
【図18】図16の監視カメラによる撮像処理を説明するフローチャートである。
【図19】人物検出を説明する図である。
【図20】人物情報フィルタリング処理を説明するフローチャートである。
【図21】人物情報マッチング処理を説明するフローチャートである。
【図22】図21のマッチング修正処理を説明するフローチャートである。
【図23】図21のマッチング修正処理を説明するフローチャートである。
【図24】図21のマッチング修正処理を説明する図である。
【図25】図21のマッチング修正処理を説明する図である。
【図26】固有特徴の学習による選択を説明する図である。
【図27】図21のマッチング修正処理を説明する図である。
【図28】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【0032】
以下、発明を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1. 第1の実施の形態(動体検出を用いた一例)
2. 第2の実施の形態(人物検出を用いた一例)
【0033】
<1.第1の実施の形態>
[監視システムの構成例]
図1は、本技術を適用した監視システムの一実施の形態の構成例を示している。図1の監視システム1は、人物の検索や追尾が必要となる監視エリア内における複数のエリアを撮像し、撮像された画像に基づいて、監視エリア内の人物の検索と、その人物の移動経路を追尾するものである。監視システム1は、監視カメラ11−1乃至11−n、人物検索追尾サーバ12、およびネットワーク13より構成されている。
【0034】
監視カメラ11−1乃至11−nは、それぞれ監視システム1により網羅する監視エリアのn箇所に分けて設置され、それぞれの監視エリアの画像を撮像して、撮像した画像内の動体を検出して、検出した動体の画像を抽出する。そして、監視カメラ11−1乃至11−nは、それぞれインタネット、公衆回線、または専用回線などからなるネットワーク13を介して、抽出した動体の動体画像を含む動体情報を人物検索追尾サーバ12に供給する。動体情報は、動体画像に加えて、撮像時刻、動体画像の前景画像、動体画像より求められる動体の世界座標、および監視カメラ11を識別するIDを含む情報である。ここで、世界座標とは、動体の空間内における位置を特定する座標情報であり、例えば、地球上の位置を特定する座標情報である、緯度および経度からなる座標情報である。尚、以降において、監視カメラ11−1乃至11−nのそれぞれを特に区別する必要がない場合、単に監視カメラ11と称するものとし、その他の構成についても同様に称するものとする。
【0035】
人物検索追尾サーバ12は、監視カメラ11より供給されてくる動体情報を取得して、動体情報に含まれる動体画像および動体画像の前景画像に基づいて、検索に不適切な画像をフィルタリングして排除し、検索に適切な動体画像を含む動体情報を保持する。また、人物検索追尾サーバ12は、保持された動体情報の中から、使用者により指定される人物の情報に基づいて、動体情報マッチング処理を実行して、指定された人物の動体情報を抽出する。さらに、人物検索追尾サーバ12は、動体情報マッチング処理により抽出された動体情報に基づいて、指定された人物の移動経路からなる検索追尾結果の表示画像を生成して表示する。さらに、人物検索追尾サーバ12は、検索追尾結果である動体情報の一部に対して、使用者が指定した人物のものであることを確定する確定情報の入力を受け付け、確定情報が受け付けられた動体情報を用いて、マッチング修正処理を実行することで、検索追尾結果を修正し、更新する。人物検索追尾サーバ12は、このように動体情報マッチング処理またはマッチング修正処理により検索追尾結果を表示しては、使用者の確定情報の入力を受け付けて、マッチング修正処理を繰り返すことにより、検索追尾結果の精度を向上させる。
【0036】
[監視カメラの第1の構成例]
次に、図2のブロック図を参照して、監視カメラ11の第1の構成例について説明する。
【0037】
監視カメラ11は、監視エリアの複数の位置に配置されており、監視カメラ11−1乃至11−nにより撮像された画像をそれぞれ組み合わせることで、全体として監視エリアの全領域をカバーできるように配置される。監視カメラ11は、撮像部31、動体検出部32、前景画像抽出部33、カメラID記憶部34、撮像位置座標算出部35、撮像時刻検出部36、および動体情報出力部37を備えている。
【0038】
撮像部31は、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などからなり、監視カメラ11が設置された位置から撮像可能な範囲の画像を連続的に撮像する。撮像部31は、連続的に時系列に静止画として扱える画像からなる動画像を撮像する。したがって、撮像部31により撮像された画像は、フレーム、またはフィールド単位で1枚の画像として処理することが可能であると共に、それらを連続的に再生することにより動画像として処理することも可能である。尚、以降においては、静止画からなる画像が連続的に撮像されるものとして説明を進めるものとする。したがって、以降において、画像とは、静止画を示すものとする。
【0039】
動体検出部32は、撮像部31により撮像された画像のそれぞれについて、時系列で前後する画像との関係から画像内に動体が撮像されている領域を検出し、動体が存在する領域を含む矩形状の画像を動体画像として抽出する。
【0040】
前景画像抽出部33は、動体検出部32により抽出された動体画像より、前景領域とそれ以外の領域の2値の画素からなる前景画像を抽出する。前景画像は、例えば、前景領域が白色で表示され、それ以外の領域が黒色で表示される画像である。尚、2値はこれ以外の色を表現する値であってもよいものであり、また、白色および黒色の関係が反転した画像であってもよい。一般に、動体画像には、動体が撮像されている領域が前景領域を構成することが多いため、前景画像は、動体画像のうち、動体が表示された領域と、それ以外の領域とに、それぞれ画素値が分けられた画像として抽出される。
【0041】
カメラID記憶部34は、監視カメラ11−1乃至11−nをそれぞれ識別するためのカメラIDを記憶しており、動体情報出力部37において、動体情報が生成される際、読み出される。
【0042】
撮像位置座標算出部35は、撮像部31において撮像された画像の情報に基づいて、動体として検出された物体の世界座標を算出する。すなわち、撮像位置座標算出部35は、例えば、図示せぬGPS(Global Positioning System)などにより自らの設置位置を認識すると供に、地磁気に対する撮像方向に対してのずれ角を認識し、画像内の動体の大きさや位置などから、動体として検出された物体までの距離を求め、これらの情報に基づいて、世界座標を算出する。
【0043】
撮像時刻検出部36は、図示せぬリアルタイムクロックなどの時刻情報を発生する機能を内蔵しており、撮像部31により撮像される画像の1枚1枚について撮像されたタイミングにおける時刻を撮像時刻として検出する。
【0044】
動体情報出力部37は、撮像部31により撮像される画像より抽出される動体画像の1枚1枚について、対応する前景画像、カメラID、動体の世界座標、および撮像時刻の情報より、これらを含む動体情報を生成し、ネットワーク13を介して人物検索追尾サーバ12に出力する。
【0045】
[人物検索追尾サーバの第1の構成例]
次に、図3のブロック図を参照して、人物検索追尾サーバ12の第1の構成例について説明する。
【0046】
人物検索追尾サーバ12は、動体情報取得部51、動体情報フィルタリング処理部52、動体情報保持部53、動体情報尤度算出処理部54、動体情報尤度閾値判定部55、結果記憶部56、表示画像生成部57、表示部58、マッチング修正処理部59、および操作入力部60より構成される。
【0047】
動体情報取得部51は、ネットワーク13を介して、監視カメラ11より供給されてくる動体情報を取得し、一時的に記憶すると供に、動体情報フィルタリング処理部52に動体情報を供給する。
【0048】
動体情報フィルタリング処理部52は、動体情報取得部51より供給されてくる動体情報を、所定の条件によりフィルタリングして、人物を検索するのに適している動体情報のみを抽出し、動体情報保持部53に保持させると供に、適していない動体情報を破棄する。
【0049】
より詳細には、動体情報フィルタリング処理部52は、検知枠サイズ判定部71、前景偏り判定部72、前景背景相関判定部73、エッジ長判定部74、および複数人数判定部75を備えている。
【0050】
検知枠サイズ判定部71は、動体画像の枠サイズが所定のサイズよりも大きいか否かにより人物検索に適した動体情報であるか否かを判定し、人物検索に適した動体情報でないと判定した場合、その動体情報を破棄する。この所定のサイズは、経験的に人物検索に必要とされる最小のサイズとするようにしてもよい。また、検知枠サイズ判定部71は、動体画像の枠サイズに基づいて、動体として検出されている人物の身長などを推定し、推定された身長の人物を検索するのに、最適な枠サイズであるか否かを判定するようにしてもよい。すなわち、長身の人物については、枠サイズが小さな動体画像では、解像度が低くなるので、人物検索には不適切であるとみなされる。一方、身長が低い人物であれば、動体画像の枠サイズが小さくでも、長身の人物ほど解像度が低下しないこともあるので、このような場合については、人物検索に適切であるものとみなす。
【0051】
前景偏り判定部72は、動体画像のうち、前景画像の前景領域が占める割合を算出し、その割合が所定の閾値よりも高い場合、その動体画像を含む動体情報を、人物検索に適した動体情報でないものとみなし破棄する。すなわち、前景領域の画像のみが撮像されているような動体画像だけでは、人物の検索には適さないものであるため、このような動体画像を含む動体情報については、人物検索に適さないものであるものとして破棄される。
【0052】
前景背景相関判定部73は、動体画像および前景画像に基づいて、動体画像の前景領域と、背景領域との相関を求めて、相関が高い場合、すなわち、本来検索する人物が撮像されているべき前景領域が背景領域とほぼ同じような画像である場合、その動体情報を破棄する。すなわち、このような場合、前景領域とみなされている領域には、動体、すなわち、人物が撮像されていない可能性が高いので、人物検索には適さないものとみなし、前景背景相関判定部73は、このような動体画像を含む動体情報を破棄する。
【0053】
エッジ長判定部74は、前景画像に基づいて、背景画像との境界であるエッジ画像を生成し、エッジの長さが所定の長さより長い場合、その動体画像を含む動体情報は、人物検索には適さないものであるとみなし、破棄する。すなわち、動体である人物が、前景として正しく抽出されている前景画像であれば、その動体画像は正確に人物が撮像された領域が抽出されたものとみなされる。しかしながら、動体画像から、正しく人物が抽出できていない場合、前景領域は、人物の形状とは無関係な斑状に抽出されることが多く、結果として、前景領域と背景領域の境界であるエッジの長さが長くなるので、エッジ長判定部74は、このような動体画像を含む動体情報については、人物検索には適さないものとみなし、破棄する。
【0054】
複数人数判定部75は、前景画像の水平方向の画素位置を横軸として、垂直方向に配置される画素値の積算値を縦軸として波形を生成し、その波形の外形が、極大値が複数に存在するか否かにより、人物検索に適したものであるか否かを判定し、人物検索に適さない動体情報を破棄する。すなわち、前景画像の水平方向の画素位置を横軸として、垂直方向に配置される画素値の積算値を縦軸として求めた波形は、動体画像内に撮像された人物が1人である場合には、極大値が1の上に凸の形状が1だけの波形となるものと考えられる。しかしながら、複数の人物が撮像されている場合、波形には、極大値が人数分発生することになるので、このような場合、人物検索には適さないものとみなされる。
【0055】
動体情報保持部53は、動体情報フィルタリング処理部52により人物検索に適した動体情報を保持し、必要に応じて動体情報尤度算出処理部54および表示画像生成部57に供給する。
【0056】
動体情報尤度算出処理部54は、動体情報保持部53に保持されている動体情報に含まれる動体画像のうち、検索対象として指定された動体情報の動体画像を含む検索対象である基準動体情報に対する、それ以外の動体情報の動体画像について、それぞれ動体画像尤度を動体情報毎に算出して、動体情報尤度閾値判定部55に供給する。
【0057】
動体情報尤度閾値判定部55は、動体情報尤度算出処理部54により算出された動体画像に基づいて求められた動体画像尤度が閾値よりも高いか否かを判定し、動体画像尤度が高い動体画像を含む動体情報を結果記憶部56に記憶させる。すなわち、動体情報尤度閾値判定部55は、検索対象である基準動体情報に対する、その他の動体情報の、動体画像尤度に基づいた動体画像マッチング処理を実行し、動体画像尤度の高い動体画像を含む動体情報を動体画像に基づいてマッチングしたものとして抽出する。そして、動体情報尤度閾値判定部55は、抽出した動体情報を、検索対象である基準動体情報とのマッチング結果として結果記憶部56に記憶させる。
【0058】
表示画像生成部57は、検索対象である人物を特定する基準動体情報とマッチングしたものとして、結果記憶部56に記憶されている動体情報に基づいて、検索対象である人物の検索追尾結果を表示する表示画像を生成する。そして、表示画像生成部57は、生成した表示画像を、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)などからなる表示部58に表示する。また、表示部58は、表示画像を表示すると供に、操作入力部60が用いられることにより、表示画像に対しての操作入力を受け付ける。操作入力部60は、タッチパネルやポインタとしての表示画像への操作内容に応じた操作信号を発生し、動体情報尤度算出処理部54、およびマッチング修正処理部59に供給する。
【0059】
マッチング修正処理部59は、表示部58に表示された検索追尾結果に表示される動体画像に基づいて、使用者が検索対象の人物の動体画像であることを確定するとき、操作入力部60が操作されて入力される確定情報に基づいて、マッチング修正処理を実行する。マッチング修正処理部59は、マッチング修正処理を実行した後にも、再び、確定情報が入力されるような場合、さらに、再びマッチング修正処理を実行し、確定情報が入力される度に、繰り返しマッチング修正処理を実行する。
【0060】
より詳細には、マッチング修正処理部59は、操作入力認識部91、BTF算出部92、時空間尤度算出部93、時空間尤度閾値判定部94、BTF画像処理部95、BTF画像尤度算出部96、およびBTF画像尤度閾値判定部97を備えている。
【0061】
操作入力認識部91は、操作入力部60の操作信号に基づいて、表示部58に表示された検索追尾結果のうち、選択された動体情報について、確定情報が入力されたことを認識する。
【0062】
BTF算出部92は、検索対象として指定された動体画像と、動体画像マッチング処理、または、マッチング修正処理により検索された動体画像とのカメラIDを比較し、一致しないとき、確定情報が入力された動体画像間、または、検索対象として指定された動体画像と確定情報が入力された動体画像間の画素信号に基づいて、監視カメラ11の固体差、または、環境差などにより生じる画像を構成する色の変化を補正するBTF(Brightness Transfer Function)を算出する。すなわち、異なる監視カメラ11により撮像される画像は、現実の色が同一色であっても、固体差や環境差により異なる発色となる。しかしながら、検索対象として指定された動体画像と、実際に検索された動体画像とが、マッチングしていることが使用者により確認されて確定情報が入力されることにより、両者の動体画像内において同一の部位を構成する領域は同一の色であることが確定されることになる。そこで、BTF算出部92は、これらの関係から基準動体画像を基準として、マッチングが確認される動体画像の色を補正するBTFを算出する。
【0063】
時空間尤度算出部93は、確定情報が入力された動体情報に含まれる世界座標と、結果記憶部56に記憶されている他の動体情報に含まれる世界座標との差分から移動距離を求め、その移動距離を人間の平均的な移動速度により要する平均所要時間と、動体情報の撮像時刻間の時間とから、動体情報の時空間尤度を算出する。
【0064】
すなわち、時空間尤度が、動体情報間の平均所要時間に対する、撮像時刻間の時間の割合に対応するものである場合、その割合が1に近いほど時空間尤度が高いと考えられ、その割合が1から離れるに従って時空間尤度は低くなるものと考えられる。さらに、この場合、その割合が0に近づくにつれて、時空間尤度は極端に小さくなり、その割合が1を越えて大きくなるほどに、時空間尤度は徐々に小さくなる。すなわち、撮像時刻間の時間が0に近い場合、その空間的な距離が遠いほど移動することは事実上不可能な状態となり、このようなとき時空間尤度は極端に小さくなる。一方、撮像時刻間の時間が長い場合、その空間的な距離を平均的な移動速度よりもゆっくりと移動している可能性があるので、このようなとき時空間尤度は割合が1であるときよりも低いものの、実現可能なので、撮像時刻間の時間が0であるときよりも高い値となる。
【0065】
時空間尤度閾値判定部94は、確定情報が入力された動体情報と、それ以外の結果記憶部56に記憶されている動体情報との時空間尤度が所定の閾値よりも低いか否かを判定し、時空間尤度が所定の閾値よりも低い場合、その動体情報を結果記憶部56から削除する。
【0066】
BTF画像処理部95は、時空間尤度が所定の閾値よりも低くない場合、確定情報が入力されていない結果記憶部56に記憶されている動体情報のうち、確定情報が入力された動体情報との間に動体画像間のBTFが求められているとき、動体情報に含まれる動体画像に対してBTF色変換処理を施す。
【0067】
BTF画像尤度算出部96は、確定情報が入力された動体情報の動体画像と、確定情報が入力されていない、BTF色変換処理が施された動体画像との、それぞれの画素信号を用いた動体画像間の尤度であるBTF画像尤度を算出する。
【0068】
BTF画像尤度閾値判定部97は、BTF画像尤度算出部96により算出されたBTF画像尤度と所定の閾値を比較し、所定の閾値よりも低い動体画像を含む動体情報を結果記憶部56より削除する。
【0069】
[図2の監視カメラによる撮像処理]
次に、図4のフローチャートを参照して、図2の監視カメラ11による撮像処理について説明する。
【0070】
ステップS1において、監視カメラ11の撮像部31は、設置された位置より監視可能な監視エリアの静止画または動画からなる画像を連続的に撮像する。
【0071】
ステップS2において、動体検出部32は、撮像部31により撮像された各画像について、その前後の画像との比較により動体を検出し、検出した動体が存在する領域を含む矩形状の動体画像を生成する。例えば、撮像部31により撮像される画像が固定撮像されるような場合、動きのない背景領域には、変化が生じない。一方、画像内における動体が存在する領域は、何らかの動きにより画像上に変化が生じるため、動体検出部32は、この変化が生じている領域を動体の存在する領域として検出し、検出された動体が存在する領域を含む矩形画像をトリミングすることにより動体画像を生成する。
【0072】
ステップS3において、前景画像抽出部33は、動体検出部32により生成された動体画像より前景画像を抽出し、例えば、前景領域を白色とし、それ以外の領域を黒色とする2値からなる前景画像を生成する。
【0073】
ステップS4において、撮像位置座標算出部35は、動体画像における動体の存在する位置や大きさから撮像方向、角度、および距離を算出し、さらに、自らが設置されている世界座標とから、被写体である動体の世界座標を算出する。すなわち、撮像位置座標算出部35は、例えば、動体画像に基づいて、動体の地球上の緯度経度などからなる座標位置を世界座標として算出する。
【0074】
ステップS5において、撮像時刻検出部36は、図示せぬリアルタイムクロックにより発生される時刻情報に基づいて、画像が撮像されたタイミングにおける時刻情報を撮像時刻として検出する。
【0075】
ステップS6において、動体情報出力部37は、カメラID記憶部34よりカメラIDを読み出し、動体画像、前景画像、世界座標、および撮像時刻をまとめて動体情報を生成する。
【0076】
ステップS7において、動体情報出力部37は、インタネットに代表されるネットワーク13を介して、生成した動体情報を人物検索追尾サーバ12に出力する。
【0077】
以上の処理により、監視カメラ11のそれぞれにおいて、監視エリア毎に画像が撮像されて、撮像された画像における動体が検出されて、動体画像が抽出される。そして、動体画像と供に、動体画像の前景画像、動体画像における動体の世界座標、および画像が撮像された撮像時刻の情報からなる動体情報が生成されて、人物検索追尾サーバ12に供給される。
【0078】
[動体情報フィルタリング処理]
次に、図5のフローチャートを参照して、人物検索追尾サーバ12による動体情報フィルタリング処理について説明する。
【0079】
ステップS21において、動体情報取得部51は、監視サーバ11より順次ネットワーク13を介して供給されてくる動体情報を取得し記憶する。
【0080】
ステップS22において、動体情報フィルタリング処理部52は、動体情報取得部51に記憶されている動体情報のうち、未処理の動体情報のいずれかを処理対象である注目動体情報に設定する。
【0081】
ステップS23において、検知枠サイズ判定部71は、注目動体情報に含まれている動体画像を抽出する。
【0082】
ステップS24において、検知枠サイズ判定部71は、注目動体情報の動体画像の枠サイズが所定の範囲内のサイズであるか否かを判定する。すなわち、動体画像の枠サイズが小さいような場合、例えば、人物検索に使用する特徴量の抽出などが困難になるため、検知枠サイズ判定部71は、人物の検索に必要とされる特徴量などが十分に抽出可能な人物検索に適切な所定の範囲内の枠サイズであるか否かを判定する。
【0083】
ステップS24において、検知枠サイズ判定部71は、注目動体情報の動体画像の枠サイズが所定の範囲内のサイズであり、人体検索に不適切な動体画像ではないとみなされた場合、処理は、ステップS25に進む。尚、ステップS24において、注目動体情報の動体画像の枠サイズが所定の判定内のサイズではないと判定された場合、ステップS34において、動体情報フィルタリング処理部52は、注目動体情報を破棄する。
【0084】
ステップS25において、前景偏り判定部72は、注目動体情報より前景画像を抽出する。
【0085】
ステップS26において、前景偏り判定部72は、抽出した前景画像となる領域において、動体画像全体に対して前景領域の分布が占める割合を算出し、所定の閾値より高く、動体画像内において、前景領域に偏りが存在しないか否かを判定する。すなわち、例えば、図6の画像P1で示されるような動体画像である場合、人物の後頭部および肩付近の背中が映し出されている。このような場合、前景画像は、図6の画像P2で示されるようなものとなる。画像P2の場合、直線の方形で囲まれた範囲は、前景領域の割合が高いため、人物検索に適していない画像であるといえる。そこで、このような場合、前景偏り判定部72は、前景領域の分布が占める割合が所定の閾値よりも高く、前景領域の割合に偏りがあり、人物検索には適していないものとみなし、ステップS34において、注目動体情報が破棄される。
【0086】
一方、ステップS26において、前景画像の情報に基づいて、前景領域が動体画像に対する所定の閾値よりも小さく、前景領域の割合に偏りがない場合、処理は、ステップS27に進む。
【0087】
ステップS27において、前景背景相関判定部73は、動体画像および前景画像に基づいて、動体画像における、前景領域を構成する白色の領域と、それ以外の領域、すなわち、背景領域との相関を算出する。前景背景相関判定部73は、例えば、前景領域と背景領域とのそれぞれの色毎のヒストグラムを生成し、最多となる色同士の差分の逆数を相関として求める。この場合、相関値は、相関が高いほど大きくなり、逆に、相関が低いほど小さくなる。
【0088】
ステップS28において、前景背景相関判定部73は、求められた相関が所定の閾値よりも高く、すなわち、前景画像と背景画像との変化がなく、前景が動体ではないものとみなされるか否かを判定する。ステップS28において、例えば、図7で示されるように、動体画像が画像P11であり、前景画像が画像P12であるような場合、画像P12で示されるように白色の領域と黒色の領域との相関が高く、動体が存在しないものとみなされるため、前景背景相関判定部73は、相関値が所定の閾値よりも高いものとみなし、ステップS34において、注目動体情報が破棄される。
【0089】
尚、図7で示されるような動体画像P11、および前景画像P12は、例えば、人物である動体が、撮像範囲内の同一位置に長時間存在することにより、人物が撮像されている領域が背景画像の領域であるものとみなされた後、人物が撮像範囲外に移動することで、それまで人物が存在した領域が動体として検出されることにより生じる。すなわち、前景画像P12において白色で示される領域に人物が長時間存在していたため、人物が存在していた領域を含めて背景画像であるものとみなされた。その後、人物が移動して撮像範囲外に移動することにより、それまで人物が存在していた前景画像の白色の領域が動体の存在領域であるものとみなされたため、動体画像P11は、本来の動体であるべき人物が存在しないにも拘らず、動体が検出された結果の画像となっている。
【0090】
一方、ステップS28において、相関値が所定の閾値よりも低く、前景領域に動体が存在し、それ以外の領域が背景領域であるものとみなされた場合、処理は、ステップS29に進む。
【0091】
ステップS29において、エッジ長判定部74は、前景画像に基づいて、前景画像と背景画像との境界からなるエッジ画像を求め、さらに、求められたエッジ画像に含まれるエッジの長さであるエッジ長を求める。
【0092】
ステップS30において、エッジ長判定部74は、求められたエッジ長が所定の閾値よりも短いか否かを判定し、所定の閾値よりも短くなければ、処理は、ステップS34に進み、注目動体情報が破棄される。すなわち、例えば、図8の画像P21で示されるように、人物の背面画像であるような場合、人物が着ている衣服の色と、背景の色とが似通っているので、前景領域が正しく抽出できず、前景画像が画像P22で示されるようなものとなってしまうことがある。画像P22で示されるように、前景領域が斑に抽出されてしまうと人物検索には適していないものとなる。このような場合、前景画像である画像P22に基づいてエッジ画像を抽出すると画像P23で示されるような画像となる。この場合、斑に前景領域が求められることにより、エッジ長が長くなる。そこで、エッジ画像に基づいて、エッジ長が求められ、所定の閾値より長ければ、正しく前景領域が求められなかったものとみなされ、注目動体情報が破棄される。
【0093】
一方、ステップS30において、エッジ長が所定の長さよりも短いとみなされた場合、処理は、ステップS31に進む。
【0094】
ステップS31において、複数人数判定部75は、前景画像を抽出し、水平方向の座標位置毎に垂直方向に存在する画素値の総和を要素とするベクトルを生成する。すなわち、図9の画像P31で示されるような動体画像に対応する前景画像が画像P32であるような場合、画像P32の上部に示されるような、前景画像の水平方向の座標位置を横軸として、水平方向の座標位置毎の垂直方向の画素値の総和を縦軸とした波形が求められることになる。そこで、複数人数判定部75は、この波形に対応するベクトルVを算出する。例えば、前景画像の座標が(x,y)(x=x1,x2,x3・・・xn,y=y1,y2,y3・・・xm)で表現され、前景画像の画素値がP(x,y)で表現されるとき、求められるベクトルVは、以下のように表現される。
【0095】
V=(P(x1,y1)+P(x1,y2)+・・・+P(x1,ym),P(x2,y1)+P(x2,y2)+・・・+P(x2,ym),P(x3,y1)+P(x3,y2)+・・・+P(x3,ym)+・・,P(xn,y1)+P(xn,y2)+・・・+P(xn,ym))
【0096】
ステップS32において、複数人数判定部75は、動体画像内に単一人物が撮像されている場合のベクトルV1と、ベクトルVとの相関を算出し、算出された相関が所定の閾値よりも高いか否かを判定する。すなわち、図9の画像P31で示されるように、動体画像として単一人物が撮像されている場合、前景画像P32の水平方向の座標位置を横軸とし、水平方向の座標位置毎の垂直方向の画素値の総和を縦軸とした波形は、1個の極大値を含む上に凸の波形が1個形成される外形となる。これに対して、例えば、画像P41で示されるように4人の人物が撮像されている場合、前景画像は、画像P42となるため、水平方向の座標位置毎の垂直方向の画素値の総和の波形は、画像P42の上部で示されるように、人数に応じた4個の極大値を含む上に凸の波形が4個形成される外形となる。
【0097】
上述したベクトルVは、この波形の外形形状に対応したものとなるため、単一人物が撮像されている場合のベクトルV1は、画像P32の上部で示されるような1個の極大値を含む上に凸の波形に対応したものとなるので、その相関が高くなる。一方、複数の人数が撮像されている前景画像の場合は、画像P42の上部で示されるような複数の極大値を含む上に凸の波形が複数個形成される外形となるため、ベクトルVとベクトルV1との相関は低くなる。
【0098】
そこで、ステップS32において、複数人数判定部75は、算出された相関が所定の閾値よりも高くない場合、動体画像内に複数の人物が含まれているものとみなし、処理は、ステップS34に進み、注目動体情報が破棄される。
【0099】
一方、ステップS32において、算出された相関が所定の閾値よりも高い場合、動体画像内に単一の人物のみが含まれているものとみなし、処理は、ステップS33に進む。
【0100】
ステップS33において、動体情報フィルタリング処理部52は、注目動体情報が人物検索に適した動体情報であるものとみなし、動体情報保持部53に保持させる。
【0101】
ステップS35において、動体情報フィルタリング処理部52は、未処理の動体情報が動体情報取得部51に存在するか否かを判定し、未処理の動体情報が存在する場合、処理は、ステップS22に戻る。すなわち、未処理の動体情報が存在しない状態になるまで、ステップS22乃至S35の処理が繰り返される。そして、ステップS35において、未処理の動体情報がないと判定された場合、処理は、終了する。
【0102】
すなわち、以上の処理により、監視カメラ11より順次供給されてくる動体情報のうち、枠サイズが所定の範囲内であり、前景画像に偏りがなく、前景画像と背景画像との相関が所定の閾値よりも小さく、前景画像のエッジ画像におけるエッジ長が所定の長さより短く、単一人物が撮像されているとみなされたものだけが、人物検索に適した動体画像であるものとみなされ、このような動体画像を含む動体情報についてだけが、動体情報フィルタリング処理により人物検索に適したものとして動体情報保持部53に保持されることになる。
【0103】
例えば、監視カメラ11より供給されてくる動体情報に含まれる動体画像が、図10で示される状態L1で示されるように動体画像P101乃至P118である場合、動体情報フィルタリング処理により、動体情報は以下のようにフィルタリングされることになる。
【0104】
ステップS23,S24の処理により、状態L2で示されるように、枠サイズが所定の範囲内ではない、枠サイズが小さな、図中の斜線が引かれている動体画像P106,P107,P112を含む動体情報が破棄され、状態L3で示される動体画像を含む動体情報が残される。
【0105】
次に、ステップS25,S26の処理により、状態L3で示されるように、前景画像に偏りのある、前景領域の割合が高い動体画像P104,P105,P110,P115を含む動体情報が破棄され、状態L4で示される動体画像を含む動体情報が残される。
【0106】
さらに、ステップS27,S28の処理により、状態L4で示されるように、前景画像と背景画像との相関が高く、動体である人物がほとんど含まれていない動体画像P101,P117,P118を含む動体情報が破棄され、状態L5で示される動体画像を含む動体情報が残される。尚、動体画像P118は、図7の画像P11に対応する画像であり、前景画像はP12となる。
【0107】
また、ステップS29,S30の処理により、状態L5で示されるように、前景画像の前景領域が正しく抽出されていない動体画像P108を含む動体情報が破棄され、状態L6で示される動体画像を含む動体情報が残される。尚、動体画像P108は、図8の画像P21に対応する画像である。
【0108】
さらに、ステップS31,S32の処理により、状態L6で示されるように、複数の人物が撮像されている動体画像P103,P111,P116を含む動体情報が破棄され、状態L7で示される動体画像を含む動体情報が残される。
【0109】
このように、監視カメラ11より供給されてくる動体画像P101乃至P118のうち、人物検索に最適な動体画像P102,P109,P113,P114を含む動体情報のみが動体情報保持部53に保持されることになる。
【0110】
結果として、動体情報フィルタリング処理により、人物検索に適している動体画像を含む動体情報だけをフィルタリングして動体情報保持部53に保持させるようにすることができるので、人物検索の精度を向上させることが可能となる。また、人物検索に適していない動体情報を破棄することで、人物検索に必要な図11を参照して後述する動体情報マッチング処理を高速化することが可能となる。
【0111】
[動体情報マッチング処理]
次に、図11のフローチャートを参照して、人物検索追尾サーバ12による動体情報マッチング処理について説明する。
【0112】
ステップS51において、表示画像生成部57は、動体情報保持部53に保持されている動体情報のうち、動体画像の一覧を表示部58に表示し、検索対象の人物を指定する動体画像の選択を促す表示画像を表示する。
【0113】
ステップS52において、動体情報尤度算出処理部54は、操作入力部60が操作されて、検索対象となる人物を指定する動体画像が選択されたか否かを判定する。検索対象となる人物を指定する動体画像が選択されない場合、処理は、ステップS51に戻る。すなわち、検索対象となる人物を指定する動体画像が指定されるまで、ステップS51,S52の処理が繰り返される。そして、ステップS52において、検索対象となる人物を指定する動体画像が指定された場合、処理は、ステップS53に進む。
【0114】
ステップS53において、動体情報尤度算出処理部54は、動体情報保持部53に保持されている動体情報のうち、検索対象として指定された動体画像に対応する動体情報を基準動体情報に設定し、その他の動体情報を未処理の動体情報に設定する。
【0115】
ステップS54において、動体情報尤度算出処理部54は、動体情報保持部53に保持されている未処理の動体情報のいずれかを読み出し、注目動体情報に設定する。
【0116】
ステップS55において、動体情報尤度算出処理部54は、基準動体情報に含まれている動体画像と、注目動体情報に含まれている動体画像との尤度である動体画像尤度を算出し、注目動体情報と供に動体画像尤度閾値判定部55に供給する。すなわち、動体情報尤度算出処理部54は、例えば、基準動体情報および注目動体情報のそれぞれの動体画像に撮像されている人物が類似している程、高い値となる類似度などに基づいた動体画像尤度を算出する。
【0117】
ステップS56において、動体画像尤度閾値判定部55は、供給されてきた動体画像尤度が所定の閾値よりも高いか否かを判定する。すなわち、動体画像尤度閾値判定部55は、動体画像尤度が所定の閾値よりも高いか否かに基づいて、基準動体情報と注目動体情報との動体画像の人物が一致するものであるか否かを判定する。ステップS56において、動体画像尤度が所定の閾値よりも高く、基準動体情報と注目動体情報との動体画像の人物がマッチングする(一致する)ものであるとみなされる場合、処理は、ステップS57に進む。
【0118】
ステップS57において、動体画像尤度閾値判定部55は、注目動体情報を結果記憶部56に記憶させる。このとき、動体情報尤度算出処理部54は、動体情報保持部53において保持されている注目動体情報を処理済みの動体情報に設定する。
【0119】
一方、ステップS56において、動体画像尤度が所定の閾値よりも高くなく、基準動体情報と注目動体情報との動体画像の人物がマッチングしない(一致しない)ものであるとみなされる場合、処理は、ステップS59に進む。
【0120】
ステップS59において、動体画像尤度閾値判定部55は、注目動体情報を破棄する。そして、動体情報尤度算出処理部54は、動体情報保持部53において保持されている注目動体情報を処理済みの動体情報に設定する。
【0121】
ステップS58において、動体情報尤度算出処理部54は、動体情報保持部53に未処理の動体情報が保持されているか否かを判定し、例えば、未処理の動体情報が保持されている場合、処理は、ステップS54に戻る。すなわち、動体情報保持部53に未処理の動体情報が、存在しない状態になるまで、ステップS54乃至S59の処理が繰り返されて、全ての動体情報に対して、基準動体情報との動体画像におけるマッチング処理が繰り返される。
【0122】
そして、ステップS58において、動体情報保持部53に未処理の動体情報が保持されていないとみなされた場合、処理は、ステップS60に進む。
【0123】
ステップS60において、表示画像生成部57は、結果記憶部56に記憶されている動体情報に基づいて、検索追尾結果を示す表示画像を生成する。
【0124】
ステップS61において、表示画像生成部57は、検索追尾結果を示す表示画像を表示部58に表示する。検索追尾結果を示す表示画像は、例えば、図12で示されるような画像P201である。
【0125】
図12で示される画像P201には、結果記憶部56に記憶されている動体情報に基づいて、監視領域Zにおける世界座標に対応する位置に、検索対象となっている人物と同一の人物の動体画像が撮像された位置を示すプロットA乃至Eが表示されている。尚、領域Z1,Z2は、監視エリア内のオブジェクトを示している。また、検索対象であるものとみなされている人物が検出された位置を示すプロットA乃至Eのそれぞれの上部には、動体情報のそれぞれに含まれる動体画像が撮像された撮像時刻が表示されている。今の場合、プロットA乃至Eのそれぞれの撮像時刻は、1:00:00、1:00:05、1:00:09、1:00:18、および1:00:20であることが示されている。さらに、プロットA乃至Eには、それぞれ引き出し線によりそれぞれの位置で撮像された動体画像が付されており、プロットA乃至Eは、それぞれ動体画像PA乃至PEが付されている。
【0126】
このような検索追尾結果を示す画像P201が表示されることにより、使用者は、検索対象として指定した人物が、プロットAで示される位置から、順に、プロットB、プロットC、プロットD、プロットEで示される位置を、どの時刻に通過していることを認識することが可能となる。
【0127】
また、表示画像P201における各プロットA乃至Eより引き出し線で結ばれた状態で表示されている動体画像PA乃至PEは、使用者が、目視により確認し、検索対象の人物であることを確認したとき、操作入力部60により選択することで確定情報を入力することができる。この確定情報が入力されることにより、図13のフローチャートを参照して、後述するマッチング修正処理が実行され、検索追尾結果を修正して、より高い精度の検索追尾結果を求めることができる。
【0128】
ここで、図11のフローチャートの説明に戻る。
【0129】
ステップS62において、マッチング修正処理部59は、表示画像生成部57より供給される表示画像P201の情報と、操作入力部60より供給される操作信号に基づいて、表示画像P201で示される動体画像PA乃至PEのいずれかが選択されて、確定情報が入力され、マッチング修正処理が指示されたか否かを判定する。
【0130】
ステップS62において、表示画像P201で示される動体画像PA乃至PEのいずれかが選択されて、確定情報が入力された場合、マッチング修正処理が指示されたものとみなして、処理は、ステップS63に進む。
【0131】
ステップS63において、マッチング修正処理部59は、マッチング修正処理を実行し、修正処理がなされた、人物検索追尾結果を表示する。尚、マッチング修正処理については、図13を参照して、詳細を後述する。
【0132】
ステップS64において、マッチング修正処理部59は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップS61に戻る。すなわち、人物検索追尾結果を示す表示画面P201が表示部58に表示され続ける。そして、ステップS64において、終了が指示された場合、処理は、終了する。
【0133】
以上の動体情報マッチング処理により、検索対象となる人物の動体画像を指定するだけで、動体画像に基づいて、検索対象となる人物に一致する動体情報を検索し、検索結果である動体情報から、検索対象となる人物の移動経路を示す検索追尾結果を表示することが可能となる。尚、以上においては、検索対象となる人物を指定するにあたり、動体情報保持部53に保持されている動体情報の動体画像から指定する例について説明してきたが、監視カメラ11により撮像された画像以外の画像を別途入力できるようにして、動体画像と同様に扱うことにより検索対象となる人物を指定するようにしても良い。
【0134】
[図11のマッチング修正処理]
次に、図13のフローチャートを参照して、人物検索追尾サーバ12による図11のマッチング修正処理につい説明する。
【0135】
ステップS81において、マッチング修正処理部59は、操作入力部60により確定情報が入力された動体画像を含むことを示す情報を動体情報に対応付けて記憶する。尚、確定情報が入力された動体情報は、動体画像マッチング処理により適切に抽出された動体情報であることが確定しているので、以降の処理においては、検索対象から除外され、結果記憶部53に記憶され続けることになる。
【0136】
ステップS82において、マッチング修正処理部59は、結果記憶部56に記憶されている動体情報のうち、確定情報が入力されていない、全ての動体情報を未処理の動体情報に設定する。
【0137】
ステップS83において、マッチング修正処理部59は、結果記憶部56に記憶されている動体情報のうち、直近で確定情報が入力された動体情報を基準動体情報に設定する。
【0138】
ステップS84において、BTF算出部92は、BTFが算出可能であるか否かを判定する。ステップS84において、BTFが算出可能である条件は、第1には、基準動体情報に含まれるカメラIDとは異なるカメラIDであって、確定情報が入力された他の動体画像を含む動体情報があるときである。また、第2には、2以上の確定情報が入力された動体画像があり、それぞれがカメラIDが異なる監視カメラ11により撮像されたものであるときである。したがって、BTF算出部92は、上記の2つの条件のいずれかを満たす動体情報が結果記憶部56に存在するか否かに基づいて、BTFが算出可能であるか否かを判定する。ステップS84において、BTFが算出可能である場合、ステップS85において、BTF算出部92は、カメラIDは異なるが、確定情報が入力されている動体画像または基準動体情報に含まれる動体画像間の画素値の情報を利用して、BTF算出処理を実行し、BTFを算出する。BTFは、2の異なるカメラIDで特定される監視カメラ11により撮像された同一の被写体を含む動体画像間の色の相互の対応関係を示す関数である。したがって、このBTFが算出されることにより、確定情報の有無に拘わらず、カメラIDが異なる2の監視カメラ11により撮像された動体画像のいずれかを、BTFを用いて色変換することにより、色補正することが可能となる。この色補正処理により、異なる監視カメラ11間の監視エリアの撮像環境光の違いや、撮像部31の撮像素子の固体差などにより生じる色変化を補正することが可能となる。結果として、2の異なる監視カメラ11により撮像された動体画像が、同一の監視カメラ11により撮像されたように色が補正されることになるので、動体画像間の動体画像尤度をより正確に算出することが可能となる。
【0139】
尚、BTF算出処理の詳細については、O.Javed,K.Shafique and M.Shah,“Appearance modeling for tracking in multiple non-overlapping cameras”.In IEEE Int.Conf.on Computer Vision and Pattern Recognition pp.26-33,2005.を参照されたい。
【0140】
一方、ステップS84において、例えば、確定情報が入力された動体画像が1種類の監視カメラ11で撮像されたものだけであるような場合、BTFは算出できないものとみなされ、ステップS85の処理はスキップされる。
【0141】
ステップS86において、時空間尤度算出部93は、結果記憶部56に記憶されている動体情報であって、基準動体情報を除く動体情報のうち、未処理の動体情報のいずれかを注目動体情報に設定する。
【0142】
ステップS87において、時空間尤度算出部93は、基準動体情報と注目動体情報に含まれる世界座標および撮像時刻の情報に基づいて、時空間尤度を算出する。より詳細には、時空間尤度算出部93は、例えば、基準動体情報に含まれる世界座標と、注目動体情報に含まれる世界座標との差分から移動距離を求め、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合に基づいて、動体情報の時空間尤度を算出する。
【0143】
ステップS88において、時空間尤度閾値判定部94は、算出された時空間尤度が所定の閾値よりも高いか否かを判定する。例えば、人物検索追尾結果を示す表示画像が図14の上部に示される表示画像であるような場合、手H1で示されるように、プロットAに対応する動体画像PAが操作入力部60により選択されて、確定情報が入力されるとき、プロットAに対応する動体情報が基準動体情報となる。尚、図14の表示画像の場合、プロットA乃至Eに対応する動体情報においては、撮像時刻がそれぞれ1:00:00、1:00:05、1:00:10、1:00:15、および1:00:05である。また、プロットA,Bは、同一の点線からなる三角形で示される撮像エリアCamAを撮像する同一の監視カメラ11により撮像された動体画像PA,PBに対応する動体情報である。同様に、プロットC,Dは、点線からなる三角形で示される撮像エリアCamBを撮像する同一の監視カメラ11により撮像された動体画像PC,PDに対応する動体情報である。さらに、プロットEは、点線からなる三角形で示される撮像エリアCamCを撮像する監視カメラ11により撮像された動体画像PEに対応する動体情報である。
【0144】
この場合、プロットBに対応する動体情報が注目動体情報であるとき、プロットAB間の距離が距離ABであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合は、5/(AB/w)となる。ここで、wは、人間の平均的な移動速度である。例えば、距離ABが5mであり、人間の平均的な移動速度が1m/sであるものとすれば、その割合は1となり、時空間尤度は最も高い値となる。同様に、プロットC,Dに対応する動体情報が注目動体情報であるとき、プロットAC,AD間の距離が距離AC,ADであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合は、それぞれ10/(AC/w),15/(AD/w)となる。例えば、距離AC,ADがそれぞれ10m,15mであり、人間の平均的な移動速度が1m/sであるものとすれば、その割合はいずれも1となり、時空間尤度は最も高い値となる。
【0145】
ステップS88において、このように時空間尤度が最も高い値である場合、時空間尤度閾値判定部94は、所定の閾値よりも高いとみなし、処理は、ステップS89に進む。
【0146】
一方、プロットEに対応する動体情報が注目動体情報であるとき、プロットAE間の距離が距離AEであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合は、5/(AE/w)となる。すなわち、例えば、距離AEが25mであり、人間の平均的な移動速度が1m/sであるものとすれば、25mを5秒程度で移動したことになるため、その割合は0.2となり、時空間尤度は低い値となる。ステップS88において、このように時空間尤度が低い場合、時空間尤度閾値判定部94は、所定の閾値よりも低いとみなし、処理は、ステップS96に進む。
【0147】
ステップS96において、マッチング修正処理部59は、注目動体情報を結果記憶部56から削除する。すなわち、図14の画像P211で示されるような検索追尾結果を示す画像が表示されている場合、プロットAに対応する動体画像PAに確定情報が入力されると、時空間の情報に基づいて、図14の表示画像の下部の表で示されるように、同一人物が存在し得ないプロットEの動体情報が削除される。このような処理により、動体画像のみを用いた動体情報マッチング処理で生じる誤検出となる検索追尾結果を排除することが可能となり、より高い精度で検索対象となる人物の検索追尾を実現することが可能となる。
【0148】
ステップS89において、BTF画像処理部95は、BTFが求められているか否かを判定し、例えば、BTFが求められていない場合、処理は、ステップS93に進む。
【0149】
ステップS93において、マッチング修正処理部59は、結果記憶部56に記憶されている動体情報のうち、注目動体情報であった動体情報を処理済みとして設定する。
【0150】
ステップS94において、表示画像生成部57は、結果記憶部56の更新結果を反映して、検索追尾結果を示す画像を更新して生成し、表示部58に表示する。すなわち、例えば、図15の上部の表示画面で示されるように、プロットEに対応する表示を消去して表示する。尚、図15においては、表示が消去されていることを示すため、バツ印により表記されているが、実際には、表示そのものが消去される。
【0151】
ステップS95において、時空間尤度算出部93は、結果記憶部56に記憶されている動体情報であって、基準動体情報を除く動体情報のうち、未処理の動体情報が存在するか否かを判定し、未処理の動体情報が存在する場合、処理は、ステップS86に戻る。すなわち、未処理の動体情報が存在する限り、ステップS86乃至S96の処理が繰り返される。そして、ステップS95において、未処理の動体情報が存在しないとみなされた場合、処理は、ステップS97に進む。
【0152】
ステップS97において、操作入力認識部91は、操作入力部60が操作されて、いずれかの動体情報に対応する動体画像が選択されて、確定情報の入力がなされることにより、更なるマッチング修正処理が指示されたか否かを判定する。ステップS97において、例えば、図15の手H2で示されるように、操作入力部60が操作されて、プロットCに対応する動体画像PCが選択されて、確定情報が入力されると、処理は、ステップS81に戻り、更なるマッチング修正処理が実行される。
【0153】
このとき、ステップS84においては、確定情報が入力された動体画像が動体画像PA,PCの2枚となり、さらに、それぞれの動体画像を撮像した監視カメラ11を識別するカメラIDがそれぞれ異なるため、BTFは算出可能であるものとみなされる。
【0154】
したがって、この場合、ステップS85においては、BTF算出部92は、プロットCに対応する動体情報の動体画像PCと、プロットAに対応する動体情報の動体画像PAとを用いて、BTFを算出する。この場合、基準動体情報がプロットCに対応する動体画像PCの動体情報であるので、求められるBTFは、撮像エリアCamBを撮像する監視カメラ11により撮像される動体画像PCの色を基準とした、撮像エリアCamAを撮像する監視カメラ11により撮像される動体画像PAの色変化を補正するためのものとされる。
【0155】
この結果、注目動体情報が、撮像エリアCamAで撮像された動体画像PBに対応する動体情報である場合、ステップS89においては、BTFが求められているものとみなされるので、処理は、ステップS90に進む。
【0156】
ステップS90において、BTF画像処理部95は、算出されたBTFを用いて、注目動体情報の動体画像を色変換することにより色補正を行う。すなわち、今の場合、BTF画像処理部95は、図15における動体画像PBにBTFを施すことにより、基準動体情報の動体画像PCの撮像エリアCamBを撮像した監視カメラ11の色に対応するように色補正する。
【0157】
ステップS91において、BTF画像尤度算出部96は、基準動体情報の動体画像と、注目動体情報の動体画像であって、BTFによる色変換がなされた動体画像との尤度である、BTF画像尤度を算出する。尚、BTF画像尤度は、動体情報尤度算出処理部54における尤度と基本的に同様のものである。
【0158】
ステップS92において、BTF画像尤度閾値判定部97は、算出されたBTF画像尤度が所定の閾値よりも高いか否かに基づいて、基準動体情報の動体画像と、BTFによる色変換が施された注目動体情報の動体情報とがマッチングするか否かを判定する。ステップS92において、BTF画像尤度が所定の閾値よりも高い場合、処理は、ステップS93に進む。すなわち、この場合、注目動体情報の動体情報は、結果記憶部56に残されることになる。
【0159】
一方、ステップS92において、BTF画像尤度が所定の閾値よりも低い場合、処理は、ステップS96に進む。すなわち、この場合、ステップS96の処理により、注目動体情報の動体情報は、結果記憶部56から削除されることになる。
【0160】
すなわち、図15の下部の表で示されるように、プロットAに対応する動体画像PAに確定情報が入力された後、プロットCに対応する動体画像PCに確定情報が入力されると、撮像エリアCamBを撮像した監視カメラ11により撮像された画像の色を基準として、撮像エリアCamAを撮像した監視カメラ11により撮像された画像の色を補正するためのBTFが求められる。そして、時空間尤度が所定の閾値よりも高く、かつ、BTF画像尤度が所定の閾値よりも高い動体画像を含むプロットBに対応する動体情報は結果記憶部56に残される。一方、時空間尤度が所定の閾値よりも高いが、BTF画像尤度が所定の閾値よりも低い動体画像を含むプロットDに対応する動体情報は結果記憶部56から削除される。尚、図15の下部における表においてプロットAについて斜線が引かれているのは、既に、確定情報が入力されている動体情報であるので、処理対象外であるからである。
【0161】
すなわち、以上のマッチング修正処理により、使用者が確定情報を入力することで、確定情報に基づいて、再度、マッチング補正処理が繰り返し実行されるので、確定情報を入力するほどに、検索追尾結果の精度を向上させることが可能となる。また、異なる監視カメラ11により撮像された動体画像に対して確定情報が入力されることにより、BTFを求めることが可能となるので、時空間尤度を考慮した上で、さらに、監視カメラ11間での色変化に対応したBTF画像尤度に基づいて、マッチング修正処理がなされるので、さらに高い精度で人物検索追尾をすることが可能となる。
【0162】
また、BTFは、基準動体情報の動体画像と、注目動体情報の動体画像との、2台のみの監視カメラ11に対応するBTFを算出するのみでよいため、BTFを算出するための処理負荷を低減させ、BTF算出に係る処理速度を向上させることが可能となる。
【0163】
尚、以上においては、検索対象の人物を指定して、検索対象となる人物の動体情報を検索し、検索結果から人物検索追尾結果を示す表示画像を表示した後、確定情報を入力することでマッチング修正処理を繰り返す例について説明してきたが、検索対象の人物を様々に変化させることにより、本技術は様々な用途に利用することが可能となる。
【0164】
例えば、検索対象となる人物を、怪しい人物や不審人物に設定することで、人物検索追尾結果から、怪しい人物や不審人物の移動履歴を確認し、実際に不審な点が無かったかどうかを確認することが可能となる。より具体的には、例えば、社内において、社外の不審な人物を発見したような場合、その不審人物を検索対象人物に設定することで、移動履歴を確認することが可能となり、例えば、社員証を持っていなければ入場不能な場所に侵入しているような場合、これを確認することが可能となり、いわゆるセキュリティシステムとして利用することが可能となる。
【0165】
また、例えば、検索対象となる人物を、店舗におけるフロアの複数の利用者に設定することにより、人物検索追尾結果から、各フロアの利用者がどういった移動経路でフロア内を移動しているかを確認することが可能となり、その情報を店舗に反映させることが可能となる。より詳細には、例えば、使用者が顧客のフロア内の移動履歴を確認することが可能となり、その移動履歴に基づいて商品のレイアウトを最適に変更することが可能となり、いわゆる、マーケティング調査システムとして利用することが可能となる。
【0166】
<2.第2の実施の形態>
以上においては、動体検出により検出された動体情報を利用して人物の移動履歴を求める例について説明してきたが、動体検出に代えて、人物検出により検出された人物情報を利用することにより、より高い精度で移動履歴を求めるようにしてもよい。以下、第2の実施の形態として、人物検出による例について説明するが、図1で示される監視システムの構成については、同一であるので、その説明は省略するものとする。また、以降において、図1乃至図15を参照して説明した構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は適宜省略するものとする。
【0167】
[監視カメラの第2の構成例]
次に、図16のブロック図を参照して、監視カメラ11の第2の構成例について説明する。
【0168】
図16の監視カメラ11の基本的な構成については、図2の監視カメラ11と同様のものであるが、動体検出部32、および動体情報出力部37に代えて、人物検出部121、および人物情報出力部122を設けた点で異なる。
【0169】
人物検出部121は、撮像部31により撮像された画像のそれぞれより特徴量を抽出し、抽出した特徴量に基づいて人物の撮像されている領域を検出し、例えば、検出した人物が撮像されている領域を1とし、それ以外の領域を0とするような人物の撮像領域を示す画像情報を人物画像として抽出する。より詳細には、人物検出部121は、画像特徴量としてHOG(Histograms of Oriented Gradients)を利用するような場合、撮像された画像に対してエッジ抽出処理を施すことで、撮像された画像より、被写体のシルエットを認識するためのエッジ画像を抽出する。そして、人物検出部121は、エッジ抽出した画像に対して、局所領域毎に勾配方向で区間分割し、ヒストグラムをとってこれを特徴量とする。人物検出部121は、このようにして抽出した特徴量に基づいて、そのシルエットが人物であるか否かを判定し、人物であると判定した場合、人物であるとみなされる領域を1とし、それ以外の領域を0とするような画像を生成して人物画像として検出する。
【0170】
人物情報出力部122は、撮像部31により撮像される画像より抽出される人物画像の1枚1枚について、撮像された画像、画像を撮像した撮像部31のカメラID、人物の世界座標、および撮像時刻の情報より、これらを含む人物情報を生成し、ネットワーク13を介して人物検索追尾サーバ12に出力する。
【0171】
[人物検索追尾サーバの第2の構成例]
次に、図17のブロック図を参照して、人物検索追尾サーバ12の第2の構成例について説明する。
【0172】
人物検索追尾サーバ12は、人物情報取得部151、人物情報フィルタリング処理部152、人物情報保持部153、人物情報尤度算出処理部154、人物情報尤度閾値判定部155、結果記憶部156、表示画像生成部157、表示部158、マッチング修正処理部159、および操作入力部160より構成される。尚、表示画像生成部157、表示部158、および操作入力部160は、それぞれ表示画像生成部57、表示部58、および操作入力部60と同一の構成であるので、その説明は省略する。
【0173】
人物情報取得部151は、ネットワーク13を介して、監視カメラ11より供給されてくる人物情報を取得し、一時的に記憶すると供に、人物情報フィルタリング処理部152に供給する。
【0174】
人物情報フィルタリング処理部152は、人物情報取得部151より供給されてくる人物情報を、所定の条件によりフィルタリングして、人物を検索するのに適している人物情報のみを抽出し、人物情報保持部153に保持させると供に、適していない人物情報を破棄する。より具体的には、人物情報フィルタリング処理部152は、人物情報に含まれる人物画像が人物の全身を撮像した画像であるか否かによりフィルタリングし、人物の全身が撮像された画像のみを人物情報保持部153に保持させると供に、適していない、人物の全身が撮像されていない人物情報を破棄する。
【0175】
人物情報保持部153は、人物情報フィルタリング処理部152により人物検索に適した、人物の全身が撮像されている人物画像を含む人物情報のみを保持し、必要に応じて人物情報尤度算出処理部154および表示画像生成部157に供給する。
【0176】
人物情報尤度算出処理部154は、人物情報保持部153に保持されている人物情報に含まれる人物画像のうち、検索対象として指定された人物情報の人物画像を含む検索対象である基準人物情報に対する、それ以外の人物情報の人物画像について、それぞれ人物画像尤度を人物情報毎に算出して、人物情報尤度閾値判定部155に供給する。
【0177】
人物情報尤度閾値判定部155は、人物情報尤度算出処理部154により算出された人物画像に基づいて求められた人物画像尤度が閾値よりも高いか否かを判定し、人物画像尤度が高い人物画像を含む人物情報を結果記憶部156に記憶させる。すなわち、人物情報尤度閾値判定部155は、検索対象である基準人物情報に対する、その他の人物情報の、人物画像尤度に基づいた人物画像マッチング処理を実行し、人物画像尤度の高い人物画像を含む人物情報を人物画像に基づいてマッチングしたものとして抽出する。そして、人物情報尤度閾値判定部155は、抽出した人物情報を、検索対象である基準人物情報とのマッチング結果として結果記憶部156に記憶させる。
【0178】
マッチング修正処理部159は、表示部158に表示された検索追尾結果に表示される人物画像に基づいて、使用者が検索対象の人物画像であることを確定するとき、操作入力部160が操作されて入力される確定情報に基づいて、マッチング修正処理を実行する。マッチング修正処理部159は、マッチング修正処理を実行した後にも、再び、確定情報が入力されるような場合、さらに、再びマッチング修正処理を実行し、確定情報が入力される度に、繰り返しマッチング修正処理を実行する。
【0179】
より詳細には、マッチング修正処理部159は、操作入力認識部181、他人情報保持部182、同一人物情報保持部183、固有特徴選択部184、固有特徴尤度算出部185、固有特徴尤度閾値判定部186、およびBTF時空間処理部187を備えている。
【0180】
操作入力認識部181は、操作入力部160の操作信号に基づいて、表示部158に表示された検索追尾結果のうち、選択された人物情報について、確定情報が入力されたことを認識する。
【0181】
他人情報保持部182は、確定情報が入力されていない人物画像であって、BTF時空間処理部187により検索対象として指定された人物画像ではないとして、破棄された人物情報の人物画像を、検索対象とされた人物とは異なる他人の人物画像であるものとして保持する。
【0182】
同一人物情報保持部183は、確定情報が入力された人物画像を含む人物情報、および検索対象として指定された人物の人物画像を含む人物情報とを、検索対象の人物と同一人物の人物情報であるものとして保持する。
【0183】
固有特徴選択部184は、他人情報保持部182に登録されている、検索対象の人物の人物画像ではない、すなわち、他人の人物画像であるとみなされた人物画像の情報に基づいて学習し、学習結果となる検索対象の人物ではない人物画像の特徴量を抽出する。また、固有特徴選択部184は、同一人物情報保持部183に登録されている、検索対象の人物と同一の人物の人物画像であるとみなされた人物画像の情報に基づいて学習し、学習結果となる検索対象の人物の人物画像の特徴量を抽出する。そして、固有特徴選択部184は、学習により、他人の人物画像である可能性の低い特徴量であって、かつ、同一人物の人物画像であるとみなされる可能性の高い特徴量を、固有特徴として抽出し、固有特徴尤度算出部185に供給する。
【0184】
固有特徴尤度算出部185は、抽出された固有特徴に基づいて、人物情報保持部153に保持されている人物情報に含まれる人物画像のうち、検索対象として指定された人物情報の人物画像を含む検索対象である基準人物情報に対する、それ以外の人物情報の人物画像について、それぞれ固有特徴尤度を人物情報毎に算出して、固有特徴尤度閾値判定部186に供給する。
【0185】
固有特徴尤度閾値判定部186は、固有特徴尤度算出処理部185により算出された人物画像に基づいて求められた固有特徴尤度が閾値よりも高いか否かを判定し、固有特徴尤度が高い人物画像を含む人物情報を結果記憶部156に記憶させる。すなわち、固有特徴尤度閾値判定部186は、検索対象である基準人物情報に対する、その他の人物情報の、固有特徴尤度に基づいた人物画像マッチング処理を実行し、固有特徴尤度の高い人物画像を含む人物情報を人物画像に基づいてマッチングしたものとして抽出する。そして、固有特徴尤度閾値判定部186は、抽出した人物情報を、検索対象である基準人物情報とのマッチング結果として結果記憶部156に記憶させる。
【0186】
BTF時空間処理部187は、第1の実施の形態において説明した処理と同様に、時空間、およびBTF画像を利用した判定処理を実行する。より詳細には、BTF時空間処理部187は、BTF算出部191、時空間尤度算出部192、時空間尤度閾値判定部193、BTF画像処理部194、BTF画像尤度算出部195、およびBTF画像尤度閾値判定部196を備えている。尚、BTF算出部191、時空間尤度算出部192、時空間尤度閾値判定部193、BTF画像処理部194、BTF画像尤度算出部195、およびBTF画像尤度閾値判定部196は、それぞれ、BTF算出部92、時空間尤度算出部93、時空間尤度閾値判定部94、BTF画像処理部95、BTF画像尤度算出部96、およびBTF画像尤度閾値判定部97と同一であるので、その説明は省略するものとする。
【0187】
[図16の監視カメラによる撮像処理]
次に、図4のフローチャートを参照して、図16の監視カメラ11による撮像処理について説明する。
【0188】
ステップS101において、監視カメラ11の撮像部31は、設置された位置より監視可能な監視エリアの静止画または動画からなる画像を連続的に撮像する。
【0189】
ステップS102において、人物検出部121は、撮像部31により撮像された各画像より人物が撮像されているか否かを判定するために必要とされる特徴量を抽出し、抽出した特徴量に基づいて人物の撮像されている領域を検出する。そして、例えば、人物検出部121は、検出した人物が撮像されている領域を1とし、それ以外の領域を0とするような人物の撮像領域を示す画像情報を人物画像として抽出する。
【0190】
より詳細には、人物検出部121は、画像特徴量としてHOG(Histograms of Oriented Gradients)を利用するような場合、撮像された画像に対してエッジ抽出処理を施すことで、撮像された画像より、被写体のシルエットを認識するためのエッジ画像を抽出する。そして、人物検出部121は、エッジ抽出した画像に対して、局所領域毎に勾配方向で区間分割し、ヒストグラムをとってこれを特徴量とする。人物検出部121は、このようにして抽出した特徴量に基づいて、そのシルエットが人物であるか否かを判定し、人物であると判定した場合、人物であるとみなされる領域を1とし、それ以外の領域を0とするような人物画像を生成して検出結果として出力する。
【0191】
すなわち、図19の画像P111で示されるような画像が撮像された場合、人物検出部121は、画像P101で示されるような人物のシルエットを検出するための、実線で示される線分からなる特徴量を保持しており、これを撮像された画像P111と重ねる。このとき、画像P121の点線からなる線分で示されるような局所領域毎の勾配方向の区間分割されたヒストグラムを特徴量として抽出する。そして、人物検出部121は、抽出した特徴量に基づいて人物であるか否かを判定し、人物であると判定した場合、その人物領域と、それ以外の領域とからなる画像を人物画像として抽出する。図19の場合、画像P111は、点線で示される特徴量が、予め記憶されていた特徴量と一致することから人物が存在するものと見なされる。尚、撮像された画像P112乃至P114についても、それぞれ同様の処理がなされて、画像P122乃至P124で示されるような線分からなる局所領域毎の勾配方向の区間分割されたヒストグラムが特徴量として抽出される。
【0192】
尚、HOG(Histograms of Oriented Gradients)については、例えば、Histograms of Oriented Gradients for Human Detection N. Dalal, B. Trigg : Computer Vision and Pattern Recognition, San Diego, CA, June 20-25, 2005を参照されたい。また、人物検出をするための特徴量の抽出方法は、HOG以外の手法であっても良く、例えば、Haar Like featureや、HOGにより抽出された特徴量を複数に利用するようにしてもよい。ここで、Haar Like featureについては、An Extended Set of Haar-like Features for Rapid Object Detection Rainer Lienhart and Jochen Maydt: IEEE ICIP 2002,Vol. 1, pp. 900-903, Sep. 2002.を参照されたい。また、HOGにより抽出された特徴量を複数に利用する手法については、特開2009−301104号公報を参照されたい。
【0193】
ステップS103において、撮像位置座標算出部35は、人物画像における人物の存在する位置や大きさから撮像方向、角度、および距離を算出し、さらに、自らが設置されている世界座標とから、被写体である人物の世界座標を算出する。すなわち、撮像位置座標算出部35は、例えば、人物画像に基づいて、人物の地球上の緯度経度などからなる座標位置を世界座標として算出する。
【0194】
ステップS104において、撮像時刻検出部36は、図示せぬリアルタイムクロックにより発生される時刻情報に基づいて、画像が撮像されたタイミングにおける時刻情報を撮像時刻として検出する。
【0195】
ステップS105において、人物情報出力部122は、カメラID記憶部34よりカメラIDを読み出し、人物画像、世界座標、および撮像時刻をまとめて人物情報を生成する。
【0196】
ステップS106において、人物情報出力部122は、インタネットに代表されるネットワーク13を介して、生成した人物情報を人物検索追尾サーバ12に出力する。
【0197】
以上の処理により、監視カメラ11のそれぞれにおいて、監視エリア毎に画像が撮像されて、撮像された画像における人物が検出されて、人物画像が抽出される。そして、人物画像と供に、人物画像における人物の世界座標、および画像が撮像された撮像時刻の情報からなる人物情報が生成されて、人物検索追尾サーバ12に供給される。
【0198】
[人物情報フィルタリング処理]
次に、図20のフローチャートを参照して、人物検索追尾サーバ12による人物情報フィルタリング処理について説明する。
【0199】
ステップS121において、人物情報取得部151は、監視サーバ11より順次ネットワーク13を介して供給されてくる人物情報を取得し記憶する。
【0200】
ステップS122において、人物情報フィルタリング処理部152は、人物情報取得部151に記憶されている人物情報のうち、未処理の人物情報のいずれかを処理対象である注目人物情報に設定する。
【0201】
ステップS123において、人物情報フィルタリング処理部152は、注目人物情報に含まれる人物画像のシルエットから、単一人物の全身画像であるか否かを判定する。
【0202】
そして、ステップS123において、注目人物情報に含まれる人物画像のシルエットから、単一人物の全身画像であると判定された場合、処理は、ステップS124に進む。
【0203】
ステップS124において、人物情報フィルタリング処理部152は、注目人物情報が人物検索に適した人物情報であるものとみなし、人物情報保持部153に保持させる。
【0204】
一方、ステップS123において、注目人物情報に含まれる人物画像のシルエットから、単一人物の全身画像ではないと判定された場合、処理は、ステップS125に進む。
【0205】
ステップS125において、人物情報フィルタリング処理部152は、注目人物情報が人物検索に適した人物情報ではないものとみなし、取得した注目人物情報に設定した人物情報を破棄する。
【0206】
ステップS126において、人物情報フィルタリング処理部152は、未処理の人物情報が人物情報取得部151に存在するか否かを判定し、未処理の人物情報が存在する場合、処理は、ステップS122に戻る。すなわち、未処理の人物情報が存在しない状態になるまで、ステップS122乃至S126の処理が繰り返される。そして、ステップS126において、未処理の人物情報がないと判定された場合、処理は、終了する。
【0207】
すなわち、以上の処理により、監視カメラ11より順次供給されてくる人物情報のうち、単一人物の全身画像が撮像されているとみなされたものだけが、人物検索に適した人物画像であるものとみなされ、このような人物画像を含む人物情報だけが、人物情報フィルタリング処理により人物情報保持部153に保持されることになる。
【0208】
結果として、人体情報フィルタリング処理により、人物検索に適している人物画像を含む人物情報だけをフィルタリングして人物情報保持部153に保持させるようにすることができるので、人物検索の精度を向上させることが可能となる。また、人物検索に適していない人物情報を破棄することで、人物検索に必要な図21を参照して後述する人物情報マッチング処理を高速化することが可能となる。
【0209】
[人物情報マッチング処理]
次に、図21のフローチャートを参照して、人物検索追尾サーバ12による人物情報マッチング処理について説明する。尚、人物情報マッチング処理の流れは、図11のフローチャートを参照して説明した動体情報マッチング処理と類似した処理となる。
【0210】
すなわち、ステップS151において、表示画像生成部157は、人物情報保持部153に保持されている人物情報のうち、人物画像の一覧を表示部158に表示し、検索対象の人物を指定する人物画像の選択を促す表示画像を表示する。
【0211】
ステップS152において、人物情報尤度算出処理部154は、操作入力部160が操作されて、検索対象となる人物を指定する人物画像が選択されたか否かを判定する。検索対象となる人物を指定する人物画像が選択されない場合、処理は、ステップS151に戻る。すなわち、検索対象となる人物を指定する人物画像が指定されるまで、ステップS151,S152の処理が繰り返される。そして、ステップS152において、検索対象となる人物を指定する人物画像が指定された場合、処理は、ステップS153に進む。
【0212】
ステップS153において、人物情報尤度算出処理部154は、人物情報保持部153に保持されている人物情報のうち、検索対象として指定された人物画像に対応する人物情報を基準人物情報に設定し、その他の人物情報を未処理の人物情報に設定する。また、このとき、操作入力認識部181は、操作入力部160の操作信号に基づいて、検索対象として指定された人物画像に対応する人物情報を同一人物情報保持部183に保持させる。
【0213】
ステップS154において、人物情報尤度算出処理部154は、人物情報保持部153に保持されている未処理の人物情報のいずれかを読み出し、注目人物情報に設定する。
【0214】
ステップS155において、人物情報尤度算出処理部154は、基準人物情報に含まれている人物画像と、注目人物情報に含まれている人物画像との尤度である人物画像尤度を算出し、注目人物情報と供に人物情報尤度閾値判定部155に供給する。すなわち、人物情報尤度算出処理部154は、例えば、基準人物情報および注目人物情報のそれぞれの人物画像に撮像されている人物が類似している程、高い値となる類似度などに基づいた人物画像尤度を算出する。
【0215】
ステップS156において、人物情報尤度閾値判定部155は、供給されてきた人物画像尤度が所定の閾値よりも高いか否かを判定する。すなわち、人物情報尤度閾値判定部155は、人物画像尤度が所定の閾値よりも高いか否かに基づいて、基準人物情報と注目人物情報との人物画像の人物が一致するものであるか否かを判定する。ステップS156において、人物画像尤度が所定の閾値よりも高く、基準人物情報と注目人物情報との人物画像の人物がマッチングする(一致する)ものであるとみなされる場合、処理は、ステップS157に進む。
【0216】
ステップS157において、人物情報尤度閾値判定部155は、注目人物情報を結果記憶部156に記憶させる。このとき、人物情報尤度算出処理部154は、人物情報保持部153において保持されている注目人物情報を処理済みの人物情報に設定する。
【0217】
一方、ステップS156において、人物画像尤度が所定の閾値よりも高くなく、基準人物情報と注目人物情報との人物画像の人物がマッチングしない(一致しない)ものであるとみなされる場合、処理は、ステップS159に進む。
【0218】
ステップS159において、人物情報尤度閾値判定部155は、注目人物情報を破棄する。そして、人物情報尤度算出処理部154は、人物情報保持部153において保持されている注目人物情報を処理済みの人物情報に設定する。
【0219】
ステップS158において、人物情報尤度算出処理部154は、人物情報保持部153に未処理の人物情報が保持されているか否かを判定し、例えば、未処理の人物情報が保持されている場合、処理は、ステップS154に戻る。すなわち、人物情報保持部153に未処理の人物情報が、存在しない状態になるまで、ステップS154乃至S159の処理が繰り返されて、全ての人物情報に対して、基準人物情報との人物画像におけるマッチング処理が繰り返される。
【0220】
そして、ステップS158において、人物情報保持部153に未処理の人物情報が保持されていないとみなされた場合、処理は、ステップS160に進む。
【0221】
ステップS160において、表示画像生成部157は、結果記憶部156に記憶されている人物情報に基づいて、検索追尾結果を示す表示画像を生成する。
【0222】
ステップS161において、表示画像生成部157は、検索追尾結果を示す表示画像を表示部158に表示する。
【0223】
ステップS162において、マッチング修正処理部159は、表示画像生成部157より供給される表示画像の情報と、操作入力部160より供給される操作信号に基づいて、表示画像で示される人物画像のいずれかが選択されて、確定情報が入力され、マッチング修正処理が指示されたか否かを判定する。
【0224】
ステップS162において、表示画像で示される人物画像のいずれかが選択されて、確定情報が入力された場合、マッチング修正処理が指示されたものとみなして、処理は、ステップS163に進む。
【0225】
ステップS163において、マッチング修正処理部159は、マッチング修正処理を実行し、修正処理がなされた、人物検索追尾結果を表示する。尚、マッチング修正処理については、図22,図23を参照して、詳細を後述する。
【0226】
ステップS164において、マッチング修正処理部159は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップS161に戻る。すなわち、人物検索追尾結果を示す表示画面が表示部158に表示され続ける。そして、ステップS164において、終了が指示された場合、処理は、終了する。
【0227】
以上の人物情報マッチング処理により、検索対象となる人物の人物画像を指定するだけで、人物画像に基づいて、検索対象となる人物に一致する人物情報を検索し、検索結果である人物情報から、検索対象となる人物の移動経路を示す検索追尾結果を表示することが可能となる。尚、以上においては、検索対象となる人物を指定するにあたり、人物情報保持部153に保持されている人物情報の人物画像から指定する例について説明してきたが、監視カメラ11により撮像された画像以外の画像を別途入力できるようにして、人物画像と同様に扱うことにより検索対象となる人物を指定するようにしても良い。
【0228】
[図21のマッチング修正処理]
次に、図22,図23のフローチャートを参照して、人物検索追尾サーバ12による図21のマッチング修正処理につい説明する。
【0229】
ステップS181において、マッチング修正処理部159は、操作入力部160により確定情報が入力された人物画像を含むことを示す情報を人物情報に対応付けて記憶する。尚、確定情報が入力された人物情報は、人物画像マッチング処理により適切に抽出された人物情報であることが確定しているので、以降の処理においては、検索対象から除外され、結果記憶部153に記憶され続けることになる。同時に、操作入力認識部183は、確定情報が入力された人物情報を、同一人物情報保持部183に保持させる。
【0230】
ステップS182において、マッチング修正処理部159は、結果記憶部156に記憶されている人物情報のうち、確定情報が入力されていない、全ての人物情報を未処理の人物情報に設定する。
【0231】
ステップS183において、マッチング修正処理部159は、結果記憶部156に記憶されている人物情報のうち、直近で確定情報が入力された人物情報を基準人物情報に設定する。
【0232】
ステップS184において、BTF時空間処理部187のBTF算出部191は、BTFが算出可能であるか否かを判定する。ステップS184において、BTFが算出可能である条件は、第1には、基準人物情報に含まれるカメラIDとは異なるカメラIDであって、確定情報が入力された他の人物画像を含む人物情報があるときである。また、第2には、2以上の確定情報が入力された人物画像があり、それぞれがカメラIDが異なる監視カメラ11により撮像されたものであるときである。したがって、BTF算出部92は、上記の2つの条件のいずれかを満たす人物情報が結果記憶部156に存在するか否かに基づいて、BTFが算出可能であるか否かを判定する。ステップS184において、BTFが算出可能である場合、ステップS185において、BTF算出部191は、カメラIDは異なるが、確定情報が入力されている人物画像または基準人物情報に含まれる人物画像間の画素値の情報を利用して、BTF算出処理を実行し、BTFを算出する。BTFは、2の異なるカメラIDで特定される監視カメラ11により撮像された同一の被写体を含む人物画像間の色の相互の対応関係を示す関数である。したがって、このBTFが算出されることにより、確定情報の有無に拘わらず、カメラIDが異なる2の監視カメラ11により撮像された人物画像のいずれかを、BTFを用いて色変換することにより、色補正することが可能となる。この色補正処理により、異なる監視カメラ11間の監視エリアの撮像環境光の違いや、撮像部31の撮像素子の固体差などにより生じる色変化を補正することが可能となる。結果として、2の異なる監視カメラ11により撮像された人物画像が、同一の監視カメラ11により撮像されたように色が補正されることになるので、人物画像間の人物画像尤度をより正確に算出することが可能となる。
【0233】
一方、ステップS184において、例えば、確定情報が入力された人物画像が1種類の監視カメラ11で撮像されたものだけであるような場合、BTFは算出できないものとみなされ、ステップS185の処理はスキップされる。
【0234】
ステップS186において、時空間尤度算出部192は、結果記憶部156に記憶されている人物情報であって、基準人物情報を除く人物情報のうち、未処理の人物情報のいずれかを注目人物情報に設定する。
【0235】
ステップS187において、時空間尤度算出部192は、基準人物情報と注目人物情報に含まれる世界座標および撮像時刻の情報に基づいて、時空間尤度を算出する。より詳細には、時空間尤度算出部192は、例えば、基準人物情報に含まれる世界座標と、注目人物情報に含まれる世界座標との差分から移動距離を求め、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合に基づいて、人物情報の時空間尤度を算出する。
【0236】
ステップS188(図23)において、時空間尤度閾値判定部94は、算出された時空間尤度が所定の閾値よりも高いか否かを判定する。例えば、人物検索追尾結果を示す表示画像が図24の上部に示される表示画像であるような場合、手H1で示されるように、プロットAに対応する人物画像PAが操作入力部160により選択されて、確定情報が入力されるとき、プロットAに対応する人物情報が基準人物情報となる。尚、図25の表示画像の場合、プロットA乃至Gに対応する人物情報においては、撮像時刻がそれぞれ1:00:00、1:00:05、1:00:10、1:00:15、1:00:13、1:00:14、および1:00:05である。また、プロットA,Bは、同一の点線からなる三角形で示される撮像エリアCamAを撮像する同一の監視カメラ11により撮像された人物画像PA,PBに対応する人物情報である。同様に、プロットC乃至Fは、点線からなる三角形で示される撮像エリアCamBを撮像する同一の監視カメラ11により撮像された人物画像PC乃至PFに対応する人物情報である。さらに、プロットGは、点線からなる三角形で示される撮像エリアCamCを撮像する監視カメラ11により撮像された人物画像PEに対応する人物情報である。
【0237】
この場合、プロットBに対応する人物情報が注目人物情報であるとき、プロットAB間の距離が距離ABであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合は、5/(AB/w)となる。ここで、wは、人間の平均的な移動速度である。例えば、距離ABが5mであり、人間の平均的な移動速度が1m/sであるものとすれば、その割合は1となり、時空間尤度は最も高い値となる。同様に、プロットC,Dに対応する人物情報が注目人物情報であるとき、プロットAC,AD,AE,AF間の距離が距離AC,AD,AE,AFであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合は、それぞれ10/(AC/w),15/(AD/w),14/(AE/w),13/(AF/w)となる。例えば、距離AC,AD,AE,AFがそれぞれ10m,15m,14m,13mであり、人間の平均的な移動速度が1m/sであるものとすれば、その割合はいずれも1となり、時空間尤度は最も高い値となる。
【0238】
ステップS188において、このように時空間尤度が最も高い値である場合、時空間尤度閾値判定部193は、所定の閾値よりも高いとみなし、処理は、ステップS189に進む。
【0239】
一方、プロットGに対応する人物情報が注目人物情報であるとき、プロットAG間の距離が距離AGであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合は、5/(AE/w)となる。すなわち、例えば、距離AGが25mであり、人間の平均的な移動速度が1m/sであるものとすれば、25mを5秒程度で移動したことになるため、その割合は0.2となり、時空間尤度は低い値となる。ステップS188において、このように時空間尤度が低い場合、時空間尤度閾値判定部193は、所定の閾値よりも低いとみなし、処理は、ステップS198に進む。
【0240】
ステップS198において、マッチング修正処理部159は、注目人物情報を結果記憶部156から削除すると共に、他人情報保持部182に保持させる。すなわち、図24の上部で示されるような検索追尾結果を示す画像が表示されている場合、プロットAに対応する人物画像PAに確定情報が入力されると、時空間の情報に基づいて、図24の表示画像の下部の表で示されるように、同一人物が存在し得ないプロットGの人物情報が削除される。このような処理により、人物画像のみを用いた人物情報マッチング処理で生じる誤検出となる検索追尾結果を排除することが可能となり、より高い精度で検索対象となる人物の検索追尾を実現することが可能となる。
【0241】
ステップS189において、BTF画像処理部194は、BTFが求められているか否かを判定し、例えば、BTFが求められていない場合、処理は、ステップS197に進む。
【0242】
ステップS197において、マッチング修正処理部159は、結果記憶部156に記憶されている人物情報のうち、注目人物情報であった人物情報を処理済みとして設定する。
【0243】
ステップS199において、表示画像生成部157は、結果記憶部156の更新結果を反映して、検索追尾結果を示す画像を更新して生成し、表示部158に表示する。すなわち、例えば、図25の上部の表示画面で示されるように、プロットGに対応する表示を消去して表示する。尚、図25においては、表示が消去されていることを示すため、バツ印により表記されているが、実際には、表示そのものが消去される。
【0244】
ステップS200において、時空間尤度算出部192は、結果記憶部156に記憶されている人物情報であって、基準人物情報を除く人物情報のうち、未処理の人物情報が存在するか否かを判定し、未処理の人物情報が存在する場合、処理は、ステップS186(図22)に戻る。すなわち、未処理の人物情報が存在する限り、ステップS186乃至S200の処理が繰り返される。そして、ステップS200において、未処理の人物情報が存在しないとみなされた場合、処理は、ステップS201に進む。
【0245】
ステップS201において、操作入力認識部181は、操作入力部160が操作されて、いずれかの人物情報に対応する人物画像が選択されて、確定情報の入力がなされることにより、更なるマッチング修正処理が指示されたか否かを判定する。ステップS201において、例えば、図25の手H2で示されるように、操作入力部160が操作されて、プロットCに対応する人物画像PCが選択されて、確定情報が入力されると、処理は、ステップS181(図22)に戻り、更なるマッチング修正処理が実行される。
【0246】
このとき、ステップS184においては、確定情報が入力された人物画像が人物画像PA,PCの2枚となり、さらに、それぞれの人物画像を撮像した監視カメラ11を識別するカメラIDがそれぞれ異なるため、BTFは算出可能であるものとみなされる。
【0247】
したがって、この場合、ステップS185においては、BTF算出部191は、プロットCに対応する人物情報の人物画像PCと、プロットAに対応する人物情報の人物画像PAとを用いて、BTFを算出する。この場合、基準人物情報がプロットCに対応する人物画像PCの人物情報であるので、求められるBTFは、撮像エリアCamBを撮像する監視カメラ11により撮像される人物画像PCの色を基準とした、撮像エリアCamAを撮像する監視カメラ11により撮像される人物画像PAの色変化を補正するためのものとされる。
【0248】
この結果、注目人物情報が、撮像エリアCamAで撮像された人物画像PBに対応する人物情報である場合、ステップS189においては、BTFが求められているものとみなされるので、処理は、ステップS190に進む。
【0249】
ステップS190において、BTF画像処理部194は、算出されたBTFを用いて、注目人物情報の人物画像を色変換することにより色補正を行う。すなわち、今の場合、BTF画像処理部194は、図25における人物画像PBにBTFを施すことにより、基準人物情報の人物画像PCの撮像エリアCamBを撮像した監視カメラ11の色に対応するように色補正する。
【0250】
ステップS191において、BTF画像尤度算出部196は、基準人物情報の人物画像と、注目人物情報の人物画像であって、BTFによる色変換がなされた人物画像との尤度である、BTF画像尤度を算出する。尚、BTF画像尤度は、人物情報尤度算出処理部154における尤度と基本的に同様のものである。
【0251】
ステップS192において、BTF画像尤度閾値判定部97は、算出されたBTF画像尤度が所定の閾値よりも高いか否かに基づいて、基準人物情報の人物画像と、BTFによる色変換が施された注目人物情報の人物情報とがマッチングするか否かを判定する。ステップS192において、BTF画像尤度が所定の閾値よりも高い場合、処理は、ステップS193に進む。
【0252】
一方、ステップS192において、BTF画像尤度が所定の閾値よりも低い場合、処理は、ステップS198に進む。すなわち、この場合、ステップS198の処理により、注目人物情報の人物情報は、結果記憶部156から削除されると共に、他人情報保持部182に保持されることになる。
【0253】
すなわち、図25の下部の表で示されるように、プロットAに対応する人物画像PAに確定情報が入力された後、プロットCに対応する人物画像PCに確定情報が入力されると、撮像エリアCamBを撮像した監視カメラ11により撮像された画像の色を基準として、撮像エリアCamAを撮像した監視カメラ11により撮像された画像の色を補正するためのBTFが求められる。そして、時空間尤度が所定の閾値よりも高く、かつ、BTF画像尤度が所定の閾値よりも高い人物画像を含むプロットBに対応する人物情報は結果記憶部156に残される。一方、時空間尤度が所定の閾値よりも高いが、BTF画像尤度が所定の閾値よりも低い人物画像を含むプロットDに対応する人物情報は結果記憶部156から削除されて、他人情報保持部182に保持される。尚、図25の下部における表においてプロットAについて斜線が引かれているのは、既に、確定情報が入力されている人物情報であるので、処理対象外であるからである。
【0254】
さらに、ステップS193において、固有特徴選択部184は、他人情報記憶部182に記憶されている人物情報と、同一人物情報記憶部183に記憶されている人物情報に基づいた学習により固有特徴を選択する。
【0255】
すなわち、図18のステップS102の処理において、人物検出部121により人物を検出する際、HOGを用いた特徴量を利用して人物画像を検出した場合、図26の画像P201で示されるような数種類の線分からなる特徴量が人物画像の検出に利用されていると、図26の画像P211乃至P214のいずれの画像も、それぞれ画像P221乃至P224で示されるように、いずれかの線分の特徴量と一致するため人物が存在するものとして検出される。
【0256】
ここでは、固有特徴選択部184が、さらに、線分で示される特徴量の情報を学習により解析し、同一人物として適合する可能性が高く、かつ、他人として適合する可能性の低い特徴量を固有特徴として選択し、選択結果を固有特徴算出部185に供給する。
【0257】
すなわち、図26の画像P211,P212の同一人物として確定情報が入力された人物情報に含まれる人物画像に対しては、画像P221,P222の点線からなる線分で示される特徴量が、同一人物として適合する可能性の高い特徴量として学習により特定される。また、画像P213,P214の他人であるものとみなされた人物情報に含まれる人物画像に対しては、画像P223,P224における実線からなる線分で囲まれている特徴量が、同一人物ではない他人として適合する可能性の低い特徴量が学習により特定される。従って、図26においては、このような学習により、画像P251における、一点鎖線の楕円で囲まれた、線分からなる特徴量が、いずれの条件も満たす有用な固有特徴として選択されることになる。
【0258】
尚、学習は、同一人物情報保持部183、および他人情報保持部182に対して、新たな人物情報が登録される度に繰り返されることにより、固有特徴は、より高い精度のものが選択されることになるため、学習が繰り返される毎に、人物の追跡精度が向上されていくことになる。
【0259】
また、学習については、“A decision-theoretic generalization of on-line learningand an application to boosting. Unpublished manuscript available electronically.Yoav Freund and Robert E. Schapir”、および“J. Friedman, T. Hastie, and R. Tibshirani. Additive logistic regression: a statistical view of boosting. Annals of statistics, 38:337-374,2000.”等に記述されているアルゴリズムを利用するようにしてもよい。
【0260】
ステップS194において、固有特徴尤度算出部185は、基準人物情報の人物画像、および注目人物情報の人物画像の、それぞれから固有特徴として選択された特徴量を抽出する。
【0261】
ステップS195において、固有特徴尤度算出部185は、基準人物情報の人物画像、および注目人物情報の人物画像の、それぞれから固有特徴として抽出した特徴量を用いて固有特徴尤度を算出し、算出結果を固有特徴尤度閾値判定部186に供給する。すなわち、固有特徴尤度算出部185は、例えば、基準人物情報の人物画像、および注目人物情報の人物画像の、それぞれから固有特徴に基づいた相互の類似度などを固有特徴尤度として算出する。
【0262】
ステップS196において、固有特徴尤度閾値判定部186は、算出された固有特徴尤度が所定の閾値よりも高く、相互が類似しているか否かを判定する。ステップS196において、固有特徴尤度が所定の閾値よりも高くなく、類似していないと判定された場合、処理は、ステップS198に進む。
【0263】
すなわち、この場合、ステップS198の処理により、注目人物情報の人物情報は、結果記憶部156から削除されると共に、他人情報保持部182に保持されることになる。
【0264】
一方、ステップS196において、固有特徴尤度が所定の閾値よりも高いと判定された場合、処理は、ステップS197に進む。
【0265】
従って、この場合、注目人物情報の人物情報は、結果記憶部156に残されることになる。
【0266】
すなわち、図27の下部の表で示されるように、プロットAに対応する人物画像PAに確定情報が入力された後、プロットCに対応する人物画像PCに確定情報が入力されると、撮像エリアCamBを撮像した監視カメラ11により撮像された画像の色を基準として、撮像エリアCamAを撮像した監視カメラ11により撮像された画像の色を補正するためのBTFが求められる。そして、時空間尤度が所定の閾値よりも高く、かつ、BTF画像尤度が所定の閾値よりも高い人物画像を含むプロットB,D,Eに対応する人物情報は結果記憶部156に残される。一方、時空間尤度が所定の閾値よりも高いが、BTF画像尤度が所定の閾値よりも低い人物画像を含むプロットDに対応する人物情報は結果記憶部156から削除されて、他人情報保持部182に保持される。さらに、人物情報を利用した固有特徴尤度が求められることにより、固有特徴尤度が閾値以下となるプロットDが削除され、最終的にプロットB,Fが結果記憶部156に残されることになる。
【0267】
すなわち、以上のマッチング修正処理により、使用者が確定情報を入力することで、確定情報に基づいて、再度、マッチング補正処理が繰り返し実行されるので、確定情報を入力するほどに、検索追尾結果の精度を向上させることが可能となる。また、異なる監視カメラ11により撮像された人物画像に対して確定情報が入力されることにより、BTFを求めることが可能となるので、時空間尤度を考慮した上で、さらに、監視カメラ11間での色変化に対応したBTF画像尤度に基づいて、マッチング修正処理がなされることにより、さらに高い精度で人物検索追尾をすることが可能となる。
【0268】
また、BTFは、基準人物情報の人物画像と、注目人物情報の人物画像との、2台のみの監視カメラ11に対応するBTFを算出するのみでよいため、BTFを算出するための処理負荷を低減させ、BTF算出に係る処理速度を向上させることが可能となる。
【0269】
さらに、BTFを利用した処理に加えて、学習により求められる固有特徴により固有特徴尤度に基づいて、マッチング修正処理が繰り返されることにより、固有特徴の精度が向上し、結果として、より高い精度で人物検索追尾を実現することが可能となる。
【0270】
尚、以上においては、検索対象の人物を指定して、検索対象となる人物の人物情報を検索し、検索結果から人物検索追尾結果を示す表示画像を表示した後、確定情報を入力することでマッチング修正処理を繰り返す例について説明してきたが、検索対象の人物を様々に変化させることにより、本技術は様々な用途に利用することが可能となる。
【0271】
例えば、検索対象となる人物を、怪しい人物や不審人物に設定することで、人物検索追尾結果から、怪しい人物や不審人物の移動履歴を確認し、実際に不審な点が無かったかどうかを確認することが可能となる。より具体的には、例えば、社内において、社外の不審な人物を発見したような場合、その不審人物を検索対象人物に設定することで、移動履歴を確認することが可能となり、例えば、社員証を持っていなければ入場不能な場所に侵入しているような場合、これを確認することが可能となり、いわゆるセキュリティシステムとして利用することが可能となる。
【0272】
また、例えば、検索対象となる人物を、店舗におけるフロアの複数の利用者に設定することにより、人物検索追尾結果から、各フロアの利用者がどういった移動経路でフロア内を移動しているかを確認することが可能となり、その情報を店舗に反映させることが可能となる。より詳細には、例えば、使用者が顧客のフロア内の移動履歴を確認することが可能となり、その移動履歴に基づいて商品のレイアウトを最適に変更することが可能となり、いわゆる、マーケティング調査システムとして利用することが可能となる。
【0273】
以上の処理により、複数の監視カメラで監視エリアにおける人物の検索追尾を高精度で実現することが可能となる。
【0274】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【0275】
図16は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタ-フェイス1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
【0276】
入出力インタ-フェイス1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブルメディア1011に対してデータを読み書きするドライブ1010が接続されている。
【0277】
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア1011から読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0278】
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0279】
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0280】
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
【0281】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0282】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0283】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0284】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0285】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0286】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0287】
尚、本技術は、以下のような構成も取ることができる。
(1) 画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部と、
検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出部と、
前記動体画像尤度算出部により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定部と、
前記動体画像閾値判定部により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶部と、
前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力部と、
前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除する時空間尤度閾値判定部と
を含む情報処理装置。
(2) 前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを新たに確定する確定情報の入力を受け付け、
前記時空間尤度算出部は、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報の、前記確定情報が新たに入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除し、
前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
(1)に記載の情報処理装置。
(3) 前記動体情報には、含まれている動体画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
前記検索対象となる動体の動体画像を含む動体情報である検索対象動体情報、および、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられた確定動体情報のうち、それぞれの動体画像を撮像した複数の撮像部を識別するIDが異なる2の前記動体画像に基づいて、前記撮像部間の色変化を補正するBTF(Brightness Transfer Function)を計算するBTF計算部と、
前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報のうち、前記BTFが求められているIDの撮像部により撮像された動体画像を含む動体情報の動体画像にBTFを施すBTF処理部と、
前記確定動体情報の動体画像に対する、前記BTF処理部によりBTFが施された動体画像を含む動体情報の、前記動体画像に基づいた尤度からなるBTF動体画像尤度を算出するBTF動体画像尤度算出部と、
前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF動体画像閾値判定部とをさらに含み、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF動体画像閾値判定部は、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF動体画像尤度が所定の閾値よりも低いとき、前記BTF動体画像尤度が所定の閾値よりも低い動体画像を含む動体情報を、前記検索結果動体情報記憶部より削除する
(2)に記載の情報処理装置。
(4)
前記動体画像尤度算出部は、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像と、前記検索対照動体情報以外の動体情報に含まれる動体画像とのそれぞれに含まれる動体画像に基づいて、それぞれの動体がどの程度類似しているのかを示す類似度を、前記動体画像尤度として算出する
(1)または(2)に記載の情報処理装置。
(5) 前記時空間尤度算出部は、前記確定動体情報以外の動体情報と、前記確定情報が入力された確定動体情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
(1),(2),(4)のいずれかに記載の情報処理装置。
(6) 画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出処理と、
前記動体画像尤度算出処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定処理と、
前記動体画像閾値判定処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶処理と、
前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶処理により記憶された動体情報より削除する時空間尤度閾値判定処理と
を含む情報処理方法。
(7) 画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出ステップと、
前記動体画像尤度算出ステップの処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定ステップと、
前記動体画像閾値判定ステップの処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶ステップと、
前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶ステップの処理により記憶された動体情報より削除する時空間尤度閾値判定ステップと
をコンピュータに実行させるためのプログラム。
(8) 画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部と、
検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出部と、
前記人物画像尤度算出部により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定部と、
前記人物画像閾値判定部により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶部と、
前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力部と、
前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定部と
を含む情報処理装置。
(9) 前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを新たに確定する確定情報の入力を受け付け、
前記時空間尤度算出部は、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報の、前記確定情報が新たに入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除し、
前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
(8)に記載の情報処理装置。
(10) 前記人物情報には、含まれている人物画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報のうち、それぞれの人物画像を撮像した複数の撮像部を識別するIDが異なる2の前記人物画像に基づいて、前記撮像部間の色変化を補正するBTF(Brightness Transfer Function)を計算するBTF計算部と、
前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報のうち、前記BTFが求められているIDの撮像部により撮像された人物画像を含む人物情報の人物画像にBTFを施すBTF処理部と、
前記確定人物情報の人物画像に対する、前記BTF処理部によりBTFが施された人物画像を含む人物情報の、前記人物画像に基づいた尤度からなるBTF人物画像尤度を算出するBTF人物画像尤度算出部と、
前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF人物画像閾値判定部とをさらに含み、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低いとき、前記BTF人物画像尤度が所定の閾値よりも低い人物画像を含む人物情報を、前記検索結果人物情報記憶部より削除する
(9)に記載の情報処理装置。
(11) 前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報を、前記検索対象人物と同一人物の人物情報として保持する同一人物情報保持部と、
前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか、または、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、前記所定の閾値よりも低い人物画像を含む人物情報を、前記検索対象人物とは他人の人物情報である他人情報を保持する他人情報保持部と、
前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により前記検索対象人物を検索するための固有特徴を選択する固有特徴検索部と、
前記検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の、前記固有特徴に基づいた尤度である固有特徴尤度を算出する固有特徴尤度算出部と、
前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する固有特徴尤度閾値判定部とをさらに含み、
前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低くないとき、前記固有特徴尤度閾値判定部は、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する
(10)に記載の情報処理装置。
(12) 前記固有特徴尤度閾値判定部により前記所定の閾値よりも低い固有特徴尤度の人物情報が、前記検索結果人物情報記憶部より削除されるとき、前記他人情報保持部は、前記所定の閾値よりも低い固有特徴尤度の人物情報を他人の人物情報である他人情報として保持する
(11)に記載の情報処理装置。
(13) 前記固有特徴検索部は、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により、前記同一人物情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が高くなるような特徴量であって、かつ、前記他人情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が低くなるような特徴量を、固有特徴として選択する
(8)に記載の情報処理装置。
(14) 前記固有特徴尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像の固有特徴に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記固有特徴尤度として算出する
(8)に記載の情報処理装置。
(15) 前記人物画像尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記人物画像尤度として算出する
(8)に記載の情報処理装置。
(16) 前記時空間尤度算出部は、前記確定人物情報以外の人物情報と、前記確定情報が入力された確定人物情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
(8)に記載の情報処理装置。
(17) 画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出処理と、
前記人物画像尤度算出処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定処理と、
前記人物画像閾値判定処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶処理と、
前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶処理により記憶された人物情報を削除する時空間尤度閾値判定処理と
を含む情報処理方法。
(18) 画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出ステップと、
前記人物画像尤度算出ステップの処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定ステップと、
前記人物画像閾値判定ステップの処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶ステップと、
前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【0288】
1 監視システム, 11,11−1乃至11−n 監視カメラ, 12 人物検索追尾サーバ, 13 ネットワーク, 31 撮像部, 32 動体検出部, 33 前景画像抽出部, 34 カメラID, 35 撮像位置座標算出部, 36 撮像時刻検出部, 37 動体情報出力部, 51 動体情報取得部, 52 動体情報フィルタリング処理部, 53 動体情報保持部, 54 動体情報尤度算出処理部, 55 動体情報尤度閾値判定部, 56 結果記憶部, 57 表示画像生成部, 58 表示部, 59 マッチング修正処理部, 60 操作入力部, 71 検知枠サイズ判定部, 72 前景偏り判定部, 73 前景背景相関判定部, 74 エッジ長判定部, 75 複数人数判定部, 91 操作入力認識部, 92 BTF算出部, 93 時空間尤度算出部, 94 時空間尤度閾値判定部, 95 BTF画像処理部, 96 BTF画像尤度算出部, 97 BTF画像尤度閾値判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【国際調査報告】