(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO2018229812
(43)【国際公開日】20181220
【発行日】20200227
(54)【発明の名称】三次元計測装置、および方法
(51)【国際特許分類】
   G06T 7/593 20170101AFI20200131BHJP
   G01B 11/00 20060101ALI20200131BHJP
【FI】
   !G06T7/593
   !G01B11/00 H
【審査請求】有
【予備審査請求】未請求
【全頁数】25
【出願番号】2019524550
(21)【国際出願番号】JP2017021587
(22)【国際出願日】20170612
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
【住所又は居所】東京都千代田区丸の内一丁目6番6号
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール特許業務法人
(72)【発明者】
【氏名】笹谷 聡
【住所又は居所】日本国東京都千代田区丸の内一丁目6番6号 株式会社日立製作所内
(72)【発明者】
【氏名】伊藤 誠也
【住所又は居所】日本国東京都千代田区丸の内一丁目6番6号 株式会社日立製作所内
(72)【発明者】
【氏名】三木 亮祐
【住所又は居所】日本国東京都千代田区丸の内一丁目6番6号 株式会社日立製作所内
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA53
2F065BB05
2F065DD02
2F065DD06
2F065DD07
2F065EE00
2F065FF01
2F065FF05
2F065FF09
2F065JJ03
2F065JJ05
2F065JJ26
2F065RR01
2F065RR07
5L096AA09
5L096CA05
5L096FA69
(57)【要約】
歩行する人物のように形状が複雑な物体の物体検出に必要な三次元点群情報を取得できる三次元計測装置、および方法を提供することを目的とする。計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、撮像画像について計測対象の物体の点群情報を抽出する物体点群情報抽出部と、対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、補正パラメータにより計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。
【特許請求の範囲】
【請求項1】
計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、該三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、前記撮像画像について前記計測対象の物体の点群情報を抽出する物体点群情報抽出部と、前記計測対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと前記計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、前記補正パラメータにより前記計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。
【請求項2】
請求項1に記載の三次元計測装置であって、
前記三次元センサは、2つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記2つのカメラの内部パラメータを補正することを特徴とする三次元計測装置。
【請求項3】
請求項1または請求項2に記載の三次元計測装置であって、
前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を3次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測装置。
【請求項4】
請求項1から請求項3のいずれか1項に記載の三次元計測装置であって、
前記補正パラメータ算出手段は、前記物体形状モデルと前記計測対象の物体の点群情報を比較することで、3次元空間の位置毎に前記計測対象の物体の点群情報の補正パラメータを推定することを特徴とする三次元計測装置。
【請求項5】
請求項1から請求項4のいずれか1項に記載の三次元計測装置であって、
前記補正パラメータ算出手段により得られた前記補正パラメータにより、前記物体点群情報抽出部で得られた点群情報を補正することを特徴とする三次元計測装置。
【請求項6】
請求項1から請求項5のいずれか1項に記載の三次元計測装置であって、
前記補正パラメータ算出手段は、位置情報、物体の三次元点群情報の密度情報、三次元センサと物体の距離情報、物体から三次元センサへの方向情報の少なくとも1つ以上を用いて、物体の点群情報と物体形状モデルを対応付けることを特徴とする三次元計測装置。
【請求項7】
請求項1から請求項6のいずれか1項に記載の三次元計測装置であって、
予め計測範囲を複数の三次元空間に分割した後、前記三次元空間ごとに補正パラメータ算出手段によって点群情報を補正可能な補正パラメータを算出することを特徴とする三次元計測装置。
【請求項8】
請求項7に記載の三次元計測装置であって、
分割された三次元空間ごとに前記パラメータにより点群情報を補正することを特徴とする三次元計測装置。
【請求項9】
請求項1から請求項8のいずれか1項に記載の三次元計測装置であって、
前記三次元センサの情報を抽出する計測装置情報抽出手段と、抽出した前記三次元センサの情報と物体の点群情報と物体形状モデルから前記三次元センサのパラメータを補正する三次元センサパラメータ補正部を有することを特徴とする三次元計測装置。
【請求項10】
請求項9に記載の三次元計測装置であって、
前記点群情報補正手段は、前記三次元センサパラメータ補正部によって補正された三次元センサのパラメータによって点群情報を補正することを特徴とする三次元計測装置。
【請求項11】
請求項9または請求項10に記載の三次元計測装置であって、
前記三次元センサは2台以上の撮像装置を使用したステレオカメラであることを特徴とする三次元計測装置。
【請求項12】
請求項11に記載の三次元計測装置であって、
前記三次元センサパラメータ補正部によって補正されるパラメータが、歪み補正係数、焦点距離の少なくとも1つ以上であることを特徴とする三次元計測装置。
【請求項13】
計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、前記撮像画像について前記計測対象の物体の点群情報を抽出し、前記計測対象の物体の形状を物体形状モデルとして記憶し、前記物体形状モデルと前記計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、前記補正パラメータにより前記計測対象の物体の点群情報を補正することを特徴とする三次元計測方法。
【請求項14】
請求項13に記載の三次元計測方法であって、
前記三次元センサは、2つのカメラを備えたステレオカメラであり、前記物体形状モデルと前記計測対象の物体の点群情報の比較結果を用いて前記2つのカメラの内部パラメータを補正することを特徴とする三次元計測方法。
【請求項15】
請求項13または請求項14に記載の三次元計測方法であって、
前記計測対象の物体の形状を表す物体形状モデルは、前記計測対象の物体の形状を3次元の各方向から見た時の形状として記憶していることを特徴とする三次元計測方法。
【請求項16】
請求項13から請求項15のいずれか1項に記載の三次元計測方法であって、
前記物体形状モデルと前記計測対象の物体の点群情報を比較することで、3次元空間の位置毎に前記計測対象の物体の点群情報の補正パラメータを推定することを特徴とする三次元計測方法。
【請求項17】
請求項13から請求項16のいずれか1項に記載の三次元計測方法であって、
前記補正パラメータにより、前記点群情報を補正することを特徴とする三次元計測方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラなどの計測装置が取得した点群情報から対象の物体を検出する三次元計測装置、および方法に関する。
【背景技術】
【0002】
近年、計測装置が計測した情報を用いて、物体を検出する物体検出技術へのニーズが高まっている。
【0003】
計測装置としては、監視カメラ、ステレオカメラ、距離センサ、レーザレーダ、赤外線タグなどが多く活用されている。これらの計測装置のなかでも特に、装置を新設するための導入コストが安く、かつ既設の装置を利用できればコストを抑えて物体検出技術を適用できることから、監視カメラへの期待が高い。しかし、監視カメラからの一般的な画像による物体検出技術では、入力画像と予めデータベースに保存した大量のサンプルデータ(サンプル画像)を比較する手法を採用するため、照明条件などにより物体の見え方がサンプルデータと大きく異なる場合に、物体を検出することが困難となるという問題がある。
【0004】
そこで、物体の三次元形状を計測することで、物体を高精度に検出する技術に注目が集まっている。このような技術として、例えば、ステレオカメラを用いた物体検出技術が挙げられる。この技術では、ステレオカメラが撮像した左右一対のカメラ画像を比較して算出した視差により、撮像範囲内の三次元の点群情報を取得することで、物体の三次元形状を計測して物体検出を実行する。この場合に正確な三次元の点群情報を取得するためには、視差を高精度に算出する必要があり、具体的には、左右のカメラ間の位置関係を求めるキャリブレーション作業の精度を上げる、あるいは視差を高密度に算出するといった方法がある。
【0005】
しかし、前者の方法では製品の開発コスト増大に繋がり、後者の方法では処理負荷の増大に繋がるため、視差算出後に物体を検出する場合に処理負荷が大きい高度なアルゴリズムを適用することが困難となる。
【0006】
そのため、視差の算出精度は上げず三次元の点群情報を直接補正する技術が求められる。例えば、特許文献1では、床などの平面モデルを利用して三次元点群を直線や曲線に当てはめることで、三次元の点群情報を補正している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2003−248814号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献1では、床などの一定の直線や曲線を持つ物体であれば三次元点群情報を補正できるものの、歩行する人物のように形状が複雑な物体を補正できず、物体検出に必要な三次元点群情報を取得できない。
【0009】
以上のことから本発明においては、歩行する人物のように形状が複雑な物体の物体検出に必要な三次元点群情報を取得できる三次元計測装置、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
以上のことから本発明においては、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサと、三次元センサからの三次元情報を点群情報として取得する三次元点群情報取得部と、撮像画像について計測対象の物体の点群情報を抽出する物体点群情報抽出部と、対象の物体の形状を物体形状モデルとして記憶する物体形状モデルデータベースと、前記物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出する補正パラメータ算出手段と、補正パラメータにより計測対象の物体の点群情報を補正する点群情報補正手段を有することを特徴とする三次元計測装置。」としたものである。
【0011】
また本発明は、「計測対象の物体を含む撮像画像を三次元情報として得る三次元センサからの三次元情報を点群情報として取得し、撮像画像について計測対象の物体の点群情報を抽出し、計測対象の物体の形状を物体形状モデルとして記憶し、物体形状モデルと計測対象の物体の点群情報から、物体の点群の座標を補正する補正パラメータを算出し、補正パラメータにより計測対象の物体の点群情報を補正することを特徴とする三次元計測方法。」としたものである。
【発明の効果】
【0012】
以上述べた特徴により本発明の三次元計測装置を適用することで、物体の検出に必要な精度の三次元点群情報を算出できる。
【0013】
また本発明の実施例によれば、ステレオカメラのような三次元情報の計測装置において、計測範囲全体の三次元点群情報から計測対象である物体の点群情報を抽出し、物体形状モデルと比較することで、点群情報の補正パラメータを求め、新たに入力された三次元点群情報を前記パラメータにて補正することで、物体の検出に必要な精度の三次元点群情報を取得するができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施例1に係る三次元計測装置のブロック構成例を示す図。
【図2】本発明の実施例1に係る三次元点群情報取得部4の構成例を示す図。
【図3】ステレオカメラ2による撮像画像D2R、D2L(D3R、D3L)の例を示す図。
【図4】本発明の実施例1に係る物体点群情報抽出部5の処理の考え方を示す図。
【図5】本発明の実施例1に係る補正パラメータ算出部6の構成例を示す図。
【図6】視点変換画像作成部40により作成された視点変換画像の一例を示す図。
【図7】物体形状モデルデータベースDB2に記憶された物体形状モデルデータ300の一例を示す図。
【図8】本発明の実施例1に係る物体形状モデル比較部41の処理フローを示す図。
【図9】物体形状モデル比較部41の処理ステップS1、S2により求めた物体の位置情報と物体形状モデルの位置の一例を示す図。
【図10】本発明の実施例1に係る物体形状モデル41の処理ステップS3の処理内容を説明する図。
【図11】物体形状モデル41の処理内容を補足説明するための図。
【図12】本発明の実施例2に係る三次元計測装置のブロック構成例を示す図。
【図13】三次元空間分割部91の処理内容を説明する図。
【図14】本発明の実施例2により出力される補正パラメータの一例を示す図。
【図15】本発明の実施例3に係る三次元計測装置のブロック構成例を示す図。
【図16】実施例3に係るカメラパラメータ補正部112の処理フローを示す図。
【発明を実施するための形態】
【0015】
以下、本発明の具体的な実施形態について、図面を参照しながら説明する。
【実施例1】
【0016】
図1は本発明の実施例1に係る三次元計測装置のブロック構成例図である。図1に示す三次元計測装置1は、2台のカメラ2R、2L(撮像装置)を隣接して構成されたステレオカメラ2を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき事前に求めたパラメータによって補正する装置である。なお、図1の三次元計測装置1における、画像取得部3、三次元点群情報取得部4、物体点群情報抽出部5、補正パラメータ算出部6、点群情報補正部7の各機能は、演算装置、主記憶装置、外部記憶装置を有するカメラ、あるいはカメラとは別に用意した計算機において実現される。
【0017】
図1に示す各機能の概要をまず説明すると、画像取得部3はステレオカメラ2から画像を取得する機能であり、三次元点群情報取得部4は前記画像の情報から計測範囲の三次元点群情報を算出する機能であり、物体点群情報抽出部5は前記三次元点群情報から計測対象となる物体に対応する三次元点群情報のみを抽出する機能であり、補正パラメータ算出部6は前記抽出した物体の三次元点群情報と物体形状モデルを比較することで点群情報の補正パラメータを算出する機能であり、点群情報補正部7は算出した補正パラメータを用いて、三次元点群情報取得部4により新たに取得された点群情報を補正する機能である。以下、各機能の詳細について説明する。
【0018】
画像取得部3は、右画像取得部3Rと左画像取得部3Lから構成され、ステレオカメラ2を構成する左右のカメラ2R、2Lからデジタル画像データD2R、D2Lを取得する。以下の説明では、画像取得部3がカメラ2から取得するデジタル画像データD2R、D2Lを単に「撮像画像」と呼ぶ。また画像取得部3が出力するデジタル画像データD3R、D3Lも「撮像画像」と呼ぶものとする。
【0019】
このようにしてデジタル画像データD3R、D3Lを得るためのステレオカメラ2、あるいはさらには画像取得部3を含む構成は、その視野内に計測対象の物体を含む撮像画像を得るものであり、得られた撮像画像は三次元情報として把握可能な情報である。このことから、この機能部分は三次元センサを構成したものということができる。なお、計測対象の物体を含む撮像画像を三次元情報として把握可能な機構、手段は、上記以外に種々のものがあり、本発明はこれらに限定されるものではない。
【0020】
図2は、本発明の実施例1に係る三次元点群情報取得部4の構成例を示す図である。図2を用いて、ステレオカメラ2を利用した三次元点群情報取得部4の機能について説明する。三次元点群情報取得部4は、左右の画像取得部3R、3Lからそれぞれ取得した撮像画像D3R、D3Lを用いて視差を算出する機能である視差算出部10と、算出した視差から計測範囲の三次元点群情報の座標値を計算する機能である三次元点群座標算出部11を持つ。
【0021】
図3は、ステレオカメラ2による撮像画像D2R、D2L(D3R、D3L)の例を示している。この撮影事例では、ステレオカメラ2の視野内に歩行する人物Mと基本的に移動しない背景としての木Tが撮影されている。また右画像取得部3Rの撮像画像D3Rと左画像取得部3Lの撮像画像D3Lは、いずれも人物Mと背景の木Tを視野内に入れているものの、視認する領域や角度は相違している。
【0022】
視差算出部10では、例えばブロックマッチングという一般的な手法を利用して左右の撮影画像間の視差を算出する。まず、画像取得部3Rにより一方のカメラ2Rから取得した撮像画像D3Rを基準画像、画像取得部3Lにより他方のカメラ2Lから取得した撮像画像D3Lを比較画像として、2枚の画像D3R、D3Lを左右に並べた場合に画像内の物体が同じ高さになるよう平行化処理を実施する。次に、基準画像D3Rから例えば32×32画像の大きさの小領域を選定する。そして、比較画像D3Lにおいて、基準画像D3Rの小領域と相違度が最小となる同一の大きさの小領域を、基準画像D3Rの小領域と同じ位置から1画素ずつ水平方向に探索する。この水平方向の探索幅を、基準画像D3Rにて選定した小領域内の特定の画素(例えば左上の位置にある画素)の視差として決定し、基準画像D3R内の全ての範囲で同一の処理を適応することで、全画素の視差を算出する。なお、小領域の相違度を計算する方法としては、(1)式に示すSAD(sum of squared difference)などの方法があり、特に限定しない。また、本例以外にも2枚の画像における視差を算出可能な方法であれば、特に限定しない。
【0023】
【数1】
なお(1)式において、T1は小領域(基準画像D3R)の輝度値、T2は小領域(比較画像D3L)の輝度値、Mは小領域の横幅、Nは小領域の縦幅、(i、j)は右下を(M−1、N−1)とし、左上を(0、0)とする座標である。
【0024】
三次元点群座標算出部11は、視差算出部10により求めた各画素の視差とカメラパラメータデータベースDB1に記憶されたカメラパラメータデータ200を用いて三次元空間内の点群の座標値を計算する。まず、算出した視差dと、カメラの撮影した画像上に設置した座標である画像座標(v、u)を用いて、(2)式によりカメラ座標Xを求める。ここでカメラ座標Xとは、カメラの位置を中心とした三次元空間内の座標を示しており、スキューがなく、アスペクト比を1と仮定した場合では(2)式を用いて画像座標から算出できる。
【0025】
【数2】
なお(2)式において、(u、v)は画像座標、(u、v)は画像中心、bは基線長、fは焦点距離、pitは画素ピッチであり、このうち基線長b、焦点距離f、画素ピッチpitは、既知でありカメラパラメータ200に含まれているものとする。
【0026】
次に、(3)式によりカメラ座標Xを世界座標xwに変換する。
【0027】
【数3】
なお(3)式において、tはカメラ位置を表す並進ベクトル、Rはカメラの設置角度(姿勢)を表す回転行列であり、カメラパラメータ200から算出可能である。本実施例では、(3)式によって求めた世界座標xwを三次元点群情報取得部4により取得される三次元点群座標の座標値とする。
【0028】
図4は本発明の実施例1に係る物体点群情報抽出部5の処理の考え方を示す図である。ここでは図2の三次元点群情報取得部4により取得される三次元点群座標の座標値の例が、図3の例に則して示されている。図3の人物Mと背景の木Tは、三次元の基準画像30が示す領域内に位置付けられている。これに対し、背景の木Tのみを含む領域を想定したものが三次元の背景画像32であり、三次元の基準画像30から三次元の背景画像32を除外したとすると、ここには計測対象である人物Mのみの三次元の画像33が得られることになる。
【0029】
物体点群情報抽出部5においては、図4の処理により背景に含まれない計測対象(人物)のみの三次元点群座標33を抽出する。具体的には物体点群情報抽出部5は、三次元点群情報取得部4によって取得したステレオカメラ3の計測範囲全体の点群情報から、計測対象の物体Mに対応する点群情報を抽出する。計測対象が含まれる領域の選定方法としては、図4のように、計測対象である物体Mが存在する基準画像30と予め保持した背景画像32の差分を取り、求めた背景差分の画像33を活用するといった背景差分法などの一般的な手法がある。背景差分法などにより求めた背景差分の画像33について、計測対象Mが存在する画像領域34を求め、画像領域34内の各画素の視差から計算した三次元点群情報のみを抽出することで、物体の点群情報を取得できる。
【0030】
なお、物体点群情報抽出部5は背景差分法のみに限らず、例えば画像の特徴量抽出や視差の値などにより基準画像内から物体の領域を決定する方法、物体が存在する場合と存在しない場合の三次元空間の点群情報を直接比較することで必要な点群情報を取得する方法などでも良い。
【0031】
図5は、本発明の実施例1に係る補正パラメータ算出部6の構成例を示す図である。図5を用いて補正パラメータ算出部6について説明する。
【0032】
補正パラメータ算出部6は、物体点群情報抽出部5から取得した物体の点群情報から視点変換画像を作成する視点変換画像作成部40と、作成した前記視点変換画像と物体形状モデルデータベースDB2より取得した物体形状モデル300を比較して補正パラメータを計算する物体形状モデル比較部41と、計算した前記補正パラメータを出力して点群情報補正部7に受け渡す補正パラメータ出力部42を備える。以下、視点変換画像作成部40、物体形状モデルデータベースDB2、物体形状モデル比較部41について説明する。
【0033】
視点変換画像作成部40は計測対象の物体Mの三次元情報から視点変換画像を作成する。ここで、計測対象の物体Mの三次元情報とは、物体点群情報抽出部5において求めた計測対象Mが存在する画像領域34を含む領域の画像であり、これを物体の三次元情報として表示している。
【0034】
図6は物体の三次元情報から作成した視点変換画像の一例を示しており、51は物体の三次元情報50を物体に対して真正面の視点Zから見た正面視点画像、52は物体に対して右側面の視点Xから見た右側面視点画像、53は物体に対して真上の視点Yから見た直上視点画像である。図6のように、視点画像は三次元点群の座標値を二次元の画像情報に変換しており、正面視点画像51では横軸がx値、縦軸がy値、右側面視点画像52では横軸がz値、縦軸がy値、直上視点画像53では横軸がx値、縦軸がz値を示している。
【0035】
本実施例では、(4)式から(7)式を利用して、三次元点群座標(世界座標)xwから視点変換画像を作成する。なお物体の三次元情報50についての三次元点群座標(世界座標)xwは(4)式で表現され、視点変換画像のうち、正面視点画像51は(5)式、右側面視点画像52は(6)式、直上視点画像53は(7)式により表現することができるが、特に本手法に限定されるものでは無い。
【0036】
【数4】
【0037】
【数5】
【0038】
【数6】
【0039】
【数7】
図7は計測対象の物体が人物の場合における、物体形状モデルデータベースDB2に記憶された物体形状モデルデータ300の一例を示している。
【0040】
図7において、60は物体形状モデルデータベースDB2の記憶内容の一覧表であり、61、62、63は三次元点群が高密度な場合における人物Mの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示し、61a、62a、63aは三次元点群が低密度な場合における人物Mの真正面視点点群、右側面視点点群、直上視点点群をそれぞれ示している。
【0041】
ステレオカメラ2では基準画像の各画素に対応する視差の値から三次元点群情報を取得するため、基準画像自体の解像度やステレオカメラ2と物体の距離によって、物体の解像度が変化し取得可能な点群情報の密度が変化する。
【0042】
例えば、基準画像の解像度が高い場合やステレオカメラ2と物体Mとの距離が短い場合は、61、62、63のような人のシルエットがはっきり判別できる高密度な点群情報を取得でき、基準画像の解像度が低い場合やステレオカメラ2と物体との距離が長い場合は、61a、62a、63aのような人のシルエットが粗くなる低密度な点群情報を取得できる。
【0043】
点群情報の指標値としては例えば(8)式を利用する方法がある。なお(8)式においてαは正規化定数、Wは撮影画像の横幅、Hは撮影画像の縦幅、Dは物体とステレオカメラ2との間の距離である。その他点群情報の指標値を得る手法としては、点群の数を計測しその合計数に応じてグループ化するなどの点群数を利用する方法などがあるが、特に限定するものではない。
【0044】
【数8】
なお図7では、三次元点群の密度を(1)から(10)までの10段階に分割して、人物Mの真正面視点点群、右側面視点点群、直上視点点群を予め準備した例を示しているが、特に分割数などは限定しないものとし、使用する点群情報の視点数についても3つに限定されるものでなく、真正面、右側面、直上以外の視点を使用しても良い。また、図7では計測対象の物体を人物とした場合のデータベースについて示したが、物体形状モデルを予め用意できる物体であれば計測対象の物体は特に限定されない。
【0045】
図7に物体形状モデル比較部41の処理フローを示す。物体形状モデル比較部41では、まず処理ステップS1において、視点変換画像作成部40により作成した物体の視点変換画像から物体の三次元空間上での位置を算出し、処理ステップS2において算出した物体の位置情報に応じて物体形状モデルデータベースDB2から取得した物体形状モデル300の位置を決定する。そして処理ステップS3において、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報を比較してフィッティングすることで補正量を算出し、処理ステップS4において補正量の情報から最も適した補正パラメータを決定する。
【0046】
以下、上記の各処理ステップS1からS4によって、直上視点画像における物体の三次元情報と物体形状モデルをフィッティングさせて補正パラメータを出力する例について説明する。図9は、直上視点画像における物体の三次元情報と物体形状モデルの例を示している。図9において左側のx−Z座標上の領域53は図6の直上視点画像53の一例を示しており、x−Z座標により位置づけられた複数の点群により計測対象の物体が形成されている。図9において右側のx−Z座標上の点群72は、図5の物体形状モデルデータベースDB2から取得した物体形状モデル300の一例を示している。
【0047】
図8の処理ステップS1では、図9左側のx−Z座標上の直上視点画像53について、直上視点画像53内の点群から物体の位置情報(x1、z1)を計算する。物体の位置情報(x1、z1)の計算方法としては、直上視点画像53の物体の点群情報を活用して、各x値、z値の平均値をx1、z1とする方法、各x値の平均値をx1としx値が平均値に近く値が最小となるz値をz1とする方法、z値が最小となる点のx値、z値をx1、z1とする方法などがあり、特に限定するものではない。
【0048】
図8の処理ステップS2では、まず処理ステップS1によって求めた物体の位置情報に対して最適な物体形状モデルデータ300を物体形状モデルデータベースDB2より取得する。取得方法としては、物体の位置情報からカメラと物体の距離を求めて(5)式により点群密度を算出することで、該当する物体形状モデルを選定できる。点群密度を考慮して抽出された物体形状モデルの一例を示す点群が図9右側の72である。
【0049】
そして、選定した物体形状モデル300において、例えば点群情報の各x値、z値の平均値、あるいは各x値の平均値かつx値が平均値に近く値が最小となるz値、あるいはz値が最小となる点のx値、z値を処理ステップS1で求めた(x1、z1)と一致するよう物体形状モデル300を配置する。なお、物体形状モデル300の位置を決める方法としては、処理ステップS1と同様の手法あるいは異なる手法のどちらでも良く、特に限定しない。
【0050】
図9では処理ステップS1、S2により求めた物体の位置情報と物体形状モデルの位置を示している。図9において、53は直上視点画像、71は処理ステップS1により求めた直上視点画像53上での物体の位置情報(x1、z1)の一例、72は物体形状モデル300の一例、73は処理ステップS2により求めた物体形状モデルの位置を示す点の一例である。処理ステップS2では、点71と点73が一致するように物体形状モデルを配置する。
【0051】
図10は、本発明の実施例1に係る物体形状モデル41の処理ステップS3の処理内容を説明する図である。図10を用いて処理ステップS3について説明する。図10は直上視点画像80において、物体の点群情報と物体形状モデルの各点群情報からいくつか抜粋した点を示しており、81a、81b、81c、81d、81eは物体Mの点群情報、82a、82b、82c、82d、82eは物体形状モデルの点群情報、83は物体Mから見たステレオカメラ2の方向である。
【0052】
ステレオカメラ2では性質上、カメラより遠方になるほど視差の精度が下がり、視差から計算される三次元点群情報の算出精度も低下する。そのため、処理ステップS3では、物体の点群情報81a、81b、81c、81d、81eと物体形状モデルの点群82a、82b、82c、82d、82e同士をフィッティングさせる際に、カメラに近い点から順番にフィッティングする手法を適応し、補正量を算出する。
【0053】
具体的には、まず物体の点群情報81a、81b、81c、81d、81eの内最もカメラと最近傍の位置にある81eに対して、カメラ方向83の向きにフィッティングされていない物体形状モデルの点が存在するかを探索する。存在する場合は該当の点と81eを対応付けることとし、存在しない場合は、z値が小さい点の中でx値における相対距離が最も小さい点と81eを対応付ける。これを全ての物体の点群に適応することで、物体の点群情報と物体形状モデルをフィッティングさせる。図10の図示例では、カメラと最近傍の位置にある81eに対して、カメラ方向83の向きにフィッティングされていない物体形状モデルの点が存在していないが、z値が小さい点の中でx値における相対距離が最も小さい点である82eを81eと対応付けたことを示している。
【0054】
最後に、対応付けた各点82e、81e同士において(9)(10)式によりx軸、z軸方向のそれぞれの補正量を算出する。なお(9)(10)式において、P、Pは、x値、z値の補正量、xt、ztは物体形状モデルの点のx値、z値、xm、zmは物体の三次元情報のx値、z値を示している。
【0055】
【数9】
【0056】
【数10】
処理ステップS4では、処理ステップS3により求めた各点同士の補正量から最終的な補正パラメータを決定する。決定方法としては、x軸、z軸方向に対する各補正量P、Pの平均値を補正パラメータとする方法や、各方向に対して最大の補正量を補正パラメータとする方法など、特に限定しない。
【0057】
物体形状モデル比較部41では、以上説明した処理の流れにより補正パラメータを算出でき、y軸方向に対する補正パラメータを求める場合には、右側面視点画像に対して処理ステップS1から処理ステップS4の同様の処理を適応することで対応できる。なお、処理ステップS3、処理ステップS4において、補正パラメータを算出する手段として、カメラに近い点から順番にフィッティングして求めた補正量から補正パラメータを算出する方法以外に、最適化を利用する方法でも良い。
【0058】
例えば、処理ステップS3において最近傍探索手法などにより点群同士をフィッティングさせ、出力したx軸、z軸方向における各点同士の補正量の差が最小となるように最適化する手法などがあり、特に限定しない。また、処理ステップS4の補正パラメータの決定方法として、必ず各方向に対して1つのパラメータを割り当てるのではなく、距離に応じて異なるパラメータを割り当てる方法を利用しても良い。
【0059】
図11は、物体形状モデル41の処理内容を補足説明するための図であり、例えば、図11に示すように、物体形状モデルの点群情報82a、82b、82c、82d、82eの中で最もz値が小さい点82eを基準として、点82eからの距離が等間隔となる直線84a、84b、84cにより空間85a、85b、85cを作成する。そして、各空間にある点群情報からS3により各空間に対応する補正量P、Pを求め、空間ごとの補正量を二次関数に近似したものを補正パラメータとして使用しても良い。
【0060】
また、本実施例では、物体の点群情報81a、81b、81c、81d、81eを全て使用し、点群数などを用いて物体の点群情報に対して適切な物体形状モデルを選定する方法を採用したが、物体の点群情報に対してダウンサンプリング処理などを実施して点群数を減らした後で、適切な物体形状モデルを選定する方法を利用しても良い。また、本実施例では、同一の向きの物体形状モデルを利用したが、複数の向きの物体形状モデルを用意しておき、物体と三次元計測装置との三次元空間上の位置関係によって、最適な向きの物体形状モデルを選定して使用するなどの方法でも良い。
【0061】
点群情報補正部7では、三次元点群情報取得部4によって取得した三次元点群の座標値を、物体形状モデル比較部41により算出した補正パラメータを用いて(11)式により補正する。なお(11)式において、xwは補正前の三次元点群座標(世界座標)、X´は補正後の三次元点群座標(世界座標)であり、Pは、x、y、z軸成分についての三次元の補正パラメータである。
【0062】
【数11】
本発明の実施例1では以上説明した機能構成により、計測範囲から抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を補正することで、物体検出に必要な精度の三次元点群情報を算出できる。
【0063】
なお、実施例1では、三次元点群情報の補正パラメータとしてx軸、y軸、z軸の3方向に補正するパラメータを出力したが、必要に応じて、3方向の内、1方向または2方向のみ補正するという方法を用いても良い。
【0064】
また、実施例1において、計測対象である物体の全体の点群情報を用いて補正パラメータを出力する必要は無い。例えば、計測対象を人物とした場合、物体点群情報抽出部5により人物の頭部の三次元点群情報を抽出して、予め用意した人物の頭部のみの物体形状モデルと比較することで補正パラメータを算出するなどといった、物体の一部の情報のみを利用する方法でも良い。
【実施例2】
【0065】
図12は本発明の実施例2に係る三次元計測装置のブロック構成例図である。図12に示す三次元計測装置1は、実施例1と同じく2台のカメラ2R、2Lを隣接したステレオカメラ2を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づき三次元空間の位置ごとに事前に求めたパラメータにより補正する装置である。
【0066】
実施例2では、三次元計測装置の計測範囲を複数の三次元空間に分割した後、各三次元空間に存在する計測対象の点群情報と物体形状モデルを比較することで三次元空間ごとの補正パラメータを算出し、新規に入力された三次元点群情報を分割した空間ごとに算出したパラメータによって補正できる。
【0067】
図12において、画像取得部3、三次元点群情報取得部4の機能については実施例1と同一である。三次元空間分割部91は、計測範囲における三次元空間を複数の領域に分割する機能であり、実施例2において新たに追加された機能である。物体点群情報抽出部5’、補正パラメータ算出部6’、点群情報補正部7’の機能は、実施例1の物体点群情報抽出部5、補正パラメータ算出部6、点群情報補正部7の機能をほぼ踏襲しているが、三次元空間分割部91において計測範囲における三次元空間を複数の領域に分割したことに関連して、複数の分割領域ごとに処理する点で相違している。物体点群情報抽出部5’は三次元空間分割部91によって分割された領域ごとに物体の点群を抽出する機能であり、補正パラメータ算出部6’は分割領域ごとに補正パラメータを算出する機能であり、点群情報補正部7’は分割領域ごとに補正パラメータ算出部6’によって算出された補正パラメータを用いて点群情報を補正する機能である。以下、三次元空間分割部91の具体的な機能について説明する。
【0068】
図13は、三次元空間分割部91の処理内容を説明する図である。図13では、上部に人物が存在する三次元空間の例を示し、下部にx−Z座標上の直上視点画像の例を示している。図13は、三次元空間分割部91によって計測範囲における三次元空間を9つの領域に分割する一例を示している。
【0069】
図13において、100は計測範囲の三次元空間、101は計測対象の人物、102は三次元空間100にある床平面、103は三次元空間100の直上視点画像を示している。
【0070】
三次元空間分割部91では、図13のように、三次元空間の床平面102を基準として領域を等分割する方法や、直上視点画像103を基準として領域を等分割する方法があるが、特に三次元の空間を分割する方法であれば特に限定しない。例えば、直上視点画像103をディスプレイに表示して、GUIなどによりユーザが直線などを引いて領域を分割しても良い。また、領域を分割する際に、必ずしも全ての領域が等しい大きさになる必要は無く、正方形以外の形状に分割しても良い。
【0071】
図14は、本発明の実施例2により出力される補正パラメータの一例を示す図である。三次元計測装置1では、図14のように、三次元空間分割部91により分割された各領域上において、物体点群情報抽出部5’、補正パラメータ算出部6’により補正パラメータを出力する。そして、点群情報補正部7’によって、三次元点群情報取得部4から新規に取得した三次元点群情報を各領域の補正パラメータにより補正する。領域ごとに物体の点群情報を抽出する方法としては、例えば、カメラを設置後、計測範囲内を人物に移動してもらい、領域の中心位置ごとに停止してもらい停止中の点群情報を抽出する方法や、画像処理などにより領域への出入りを自動で判定して抽出する方法などがあり、特に限定しない。
【0072】
本発明の実施例2では以上説明した機能構成により、計測範囲を複数の領域に分割した後、領域ごとに抽出した物体の点群情報から視点画像を作成し、視点画像上にて物体の点群情報と予め用意した物体形状モデルを比較することで補正パラメータを求め、そのパラメータ値にて新規に入力される三次元点群情報を分割した領域ごとに補正することで、物体検出に必要な精度の三次元点群情報を算出できる。
【実施例3】
【0073】
図15は本発明の実施例3に係る三次元計測装置のブロック構成例を示す図である。図15に示す三次元計測装置1は、2台のカメラ2R、2Lを隣接したステレオカメラ2を用いて取得した三次元点群情報を、計測対象の物体形状モデルに基づきカメラのパラメータを補正する装置である。実施例3では、計測範囲内に存在する計測対象の点群情報と物体形状モデルを比較し、予め取得したカメラのパラメータを補正することで、新規に入力された三次元点群情報を補正できる。
【0074】
図15において、画像取得部3、三次元点群情報取得部4、物体点群情報抽出部5の機能については実施例1と同一である。カメラ情報抽出部111は、実施例3において新規に追加された構成であり、2台のカメラ2R、2Lを隣接したステレオカメラ2の情報からカメラの焦点距離や歪み補正係数といった三次元計測装置1によって補正するパラメータを取得する機能である。カメラパラメータ補正部112も実施例3において新規に追加された構成であり、計測対象の点群情報と物体形状モデルを比較することで前記パラメータを補正する機能である。以下、カメラパラメータ補正部112の機能について詳細に説明する。
【0075】
図16はカメラパラメータ補正部112のフローを示している。カメラパラメータ補正部112では、最初の処理ステップS10においてカメラ情報抽出部111により選定されたカメラパラメータを取得し、物体形状モデル比較部41の処理である処理ステップS1と処理ステップS2を実施した後、処理ステップS11において物体の三次元点群情報と物体形状モデルの点群情報の一致率を算出する。そして、処理ステップS12において一致率が閾値以上か否かを判定し、閾値未満である場合は処理ステップS13に移りカメラパラメータを更新して視点変換画像を作成し、閾値以上である場合は処理ステップS14に移り最新のカメラパラメータを出力する。以下、処理ステップS11、処理ステップS13について詳細に説明する。
【0076】
処理ステップS11では、視点変換画像における物体の三次元点群情報と物体形状モデルの点群情報との一致率を算出する。一致率の算出方法としては、視点変換画像に直上視点画像を用いる場合を例にすると、処理ステップS3と同様に直上視点画像における物体の点群情報と物体形状モデルの点群情報をフィッティングさせた後、(12)(13)式により算出する方法がある。また、右側面視点画像も活用して点群のy値も一致率に利用する方法などもあり、2つの点群同士を比較可能な方法であれば、特に限定しない。
【0077】
【数12】
【0078】
【数13】
処理ステップS13では、カメラパラメータを更新して再度三次元点群の座標値を計算した後、処理ステップS1にて使用する視点変換画像を作成する。例えば、修正するパラメータが焦点距離の場合は、焦点距離の値を更新し、(2)式によりカメラ座標Xcを算出し、カメラ座標Xcより三次元点群座標の世界座標xwを求める方法などがある。
【0079】
また、実施例1でも述べた通り、ステレオカメラでは、ブロックマッチングを用いて視差を算出するが、算出の精度を向上させるためにカメラ特有のレンズ歪みを補正する歪み補正処理を基準画像と比較画像に適応して、画像座標(v、u)を修正する場合が多い。歪み補正処理のためにはカメラ独自の歪み係数と呼ばれるカメラパラメータを利用し、三次元計測装置1ではこの歪み係数パラメータを補正する手段としても使用できる。例えば、画像座標(v、u)を一般的な歪み補正の数式である(14)式により補正する場合、カメラの歪み補正パラメータが5つ存在するため、これら5つのパラメータを更新し、三次元点群の座標値を再度計算することで、新たな視点変換画像を作成できる。なお(14)式において、ひずみ補正後の画像座標(v、u)の表示について、記号v、uの上部に波の形の記号を付して区別している。また(14)式において、k、k、k、p、pは、ひずみ補正パラメータである。
【0080】
【数14】
さらに、カメラパラメータの更新幅としては、特に限定せず、カメラの特性や経験則などにより決定しても良い。また、更新するカメラパラメータの種類としては、計測範囲における三次元点群の座標値を算出する際に使用するパラメータであれば、特に限定しない。
【0081】
本発明の実施例3では以上説明した機能構成により、カメラパラメータを更新して算出した物体の点群情報と、予め用意した物体形状モデルの点群情報を比較して、点群同士の一致度合が最大となるようカメラパラメータを随時更新することで、物体検出に必要な精度の三次元点群情報を算出可能なカメラパラメータを推定できる。
【0082】
なお、実施例3では、実施例2のように、予め計測範囲を複数の三次元空間に分割しておき、空間ごとに最適なカメラパラメータを算出することで、新規に三次元点群情報が取得された際に、各空間における最適なカメラパラメータを用いて三次元点群の座標値を再度計算し直すという方法を用いても良い。
【0083】
本発明においては、実施例1、実施例2、実施例3のいずれか、またはその組み合わせ事例を用いることで、例えば、カメラの焦点距離やレンズ歪み係数の推定精度が低い場合においても、物体検出に必要な精度の三次元点群情報を取得できるため、後段に物体認識や物体追跡といった処理が追加された状況においても、高精度に処理を実施することが可能である。
【0084】
また、カメラを設置した時のみ本実施例1、2、3のいずれかの処理を実施するだけでなく、一定間隔ごとに処理を実施して三次元点群情報の補正パラメータを更新することで、監視用途などのような長時間の計測により発生し得る計測装置の経年劣化などの問題を解決できる。
【0085】
また、本実施例1、2、3のいずれかを用いる場合、計測範囲の全ての三次元点群情報を補正するのではなく、例えば計測装置から一定距離離れた遠方の計測範囲に存在する三次元点群情報のみを補正するという手段を利用しても良い。
【0086】
なお、実施例1、実施例2、実施例3では三次元情報を計測する装置としてステレオカメラを利用する場合について説明したが、距離センサなどの計測範囲における三次元点群情報を取得できる装置であれば、特に限定しない。
【符号の説明】
【0087】
1:三次元計測装置,2:ステレオカメラ,2R、2L:カメラ(撮像装置),3:画像取得部,4:三次元点群情報取得部,5:物体点群情報抽出部,6:補正パラメータ算出部,7:点群情報補正部,10:視差算出部,11:三次元点群座標算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】