(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2019144210
(43)【公開日】20190829
(54)【発明の名称】物体検出システム
(51)【国際特許分類】
   G01S 17/89 20060101AFI20190802BHJP
   G08G 1/16 20060101ALN20190802BHJP
【FI】
   !G01S17/89
   !G08G1/16 C
【審査請求】未請求
【請求項の数】8
【出願形態】OL
【全頁数】16
(21)【出願番号】2018031126
(22)【出願日】20180223
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
【住所又は居所】東京都千代田区丸の内二丁目7番2号
(74)【代理人】
【識別番号】100109221
【弁理士】
【氏名又は名称】福田 充広
(72)【発明者】
【氏名】▲高▼村 俊介
【住所又は居所】東京都千代田区丸の内二丁目7番2号 コニカミノルタ株式会社内
(72)【発明者】
【氏名】吉澤 将則
【住所又は居所】東京都千代田区丸の内二丁目7番2号 コニカミノルタ株式会社内
【テーマコード(参考)】
5H181
5J084
【Fターム(参考)】
5H181AA01
5H181CC03
5H181EE11
5H181LL04
5J084AA02
5J084AB01
5J084AB07
5J084AB16
5J084AC07
5J084AD01
5J084BA03
5J084BA20
5J084BA48
5J084BB26
5J084DA01
5J084DA09
5J084EA02
(57)【要約】
【課題】背景を正確に設定して誤検知の発生を抑えた物体検出システムを提供すること。
【解決手段】物体検出システム100は、距離画像を検出する距離画像検出部21と、距離画像から所定条件を満たす物体を抽出する物体抽出部82とを備え、物体抽出部82は、予め検出した距離画像から得た背景データを記憶部83に登録し、計測時の距離画像において背景データと異なる画素を所定条件を満たす物体に対応する画素の候補として抽出し、物体抽出部82は、測定した距離が既定の背景物体GR,WAまでの距離よりも所定以上遠くなる画素を除いて背景データを生成する。
【選択図】図5
【特許請求の範囲】
【請求項1】
距離画像を検出する距離画像検出部と、
前記距離画像から所定条件を満たす物体を抽出する物体抽出部とを備え、
前記物体抽出部は、予め検出した距離画像から得た背景データを記憶部に登録し、計測時の距離画像において前記背景データと異なる画素を前記所定条件を満たす物体に対応する画素の候補として抽出し、
前記物体抽出部は、測定した距離が既定の背景物体までの距離よりも所定以上遠くなる画素を除いて背景データを生成することを特徴とする物体検出システム。
【請求項2】
前記既定の背景物体は、地面又は建物の壁面であることを特徴とする請求項1に記載の物体検出システム。
【請求項3】
前記物体抽出部は、所定のタイミングで検出した距離画像を用いて前記背景データを更新するとともに、前記背景データを更新する際に検出した距離が前記既定の背景物体までの距離よりも遠くなるか否かを判断して背景データを生成することを特徴とする請求項1及び2のいずれか一項に記載の物体検出システム。
【請求項4】
前記物体抽出部は、検出した距離が前記既定の背景物体までの距離よりも所定の閾値以上大きい画素を除いて背景データを生成することを特徴とする請求項3に記載の物体検出システム。
【請求項5】
前記物体抽出部は、測定した距離が前記既定の背景物体までの距離よりも遠くなる場合、前記既定の背景物体の位置に基づいて背景データを生成することを特徴とする請求項1〜4のいずれか一項に記載の物体検出システム。
【請求項6】
前記物体抽出部は、前記既定の背景物体の位置に基づいて背景データを生成する際に、前記既定の背景物体までの距離から所定の距離だけ近い位置を背景データとすることを特徴とする請求項5に記載の物体検出システム。
【請求項7】
前記物体抽出部は、測定した距離が前記既定の背景物体である既定の地面までの距離よりも遠くなる深層画素について、前記既定の地面に対して対称な位置に画素が存在するか否かの判定に基づいて、当該深層画素から背景データを生成することを特徴とする請求項1〜6のいずれか一項に記載の物体検出システム。
【請求項8】
前記物体抽出部は、前記深層画素及び前記深層画素の周辺画素を含めて前記既定の地面に対して対称な位置に画素が存在する場合、前記深層画素から背景データを生成することを特徴とする請求項7に記載の物体検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、距離画像を検出する物体検出システムに関し、特に距離画像から移動体その他の物体を検出する物体検出システムに関する。
【背景技術】
【0002】
物体を検知する物体検出システムとして、レーザーレーダーにより距離情報を計測するものであって、予め取得した背景距離マップとその後の検出動作時に取得した計測距離とを比較し、差分が所定以上になった場合に移動物体が配置されているとして、移動物体を検出するものが公知となっている(特許文献1)。この際、定期的に、初期化しないで得た計測距離を用いて背景を更新することが行われている。
【0003】
別の物体検出システムとして、車両に搭載したレーザーレーダーの取り付け姿勢を、複数の路面候補点から算出される路面平面と取付姿勢から定まる基準面とがなす角度から推定し、取り付け姿勢を更新するものが公知となっている(特許文献2)。
【0004】
しかしながら、特許文献1の技術では、検出範囲内の地面に水溜りがあり、さらにその奥に壁等が映るような配置の場合、水溜りで反射した光がその奥の壁から戻ってくることで、地面の下に物体が存在するかのような距離画像が生成される。この距離画像をそのまま用いて背景の生成や更新を行うと、地面より下に背景が設定されてしまい、その後水溜りが乾いたときに、地面が物体として誤検知されてしまう。
【0005】
また、特許文献2の技術では、地面を検出することが開示されているが、装置の取り付け姿勢の計算及び座標の修正に用いられているのみで、検出した地面を元に計測距離データの扱いを変えるということは考えられていない。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2005−300259号公報
【特許文献2】特開2015−75382号公報
【発明の概要】
【0007】
本発明は、上記背景技術の問題点に鑑みてなされたものであり、背景を正確に設定して誤検知の発生を抑えた物体検出システムを提供することを目的とする。
【0008】
上記目的を達成するため、本発明に係る物体検出システムは、距離画像を検出する距離画像検出部と、距離画像から所定条件を満たす物体を抽出する物体抽出部とを備え、物体抽出部は、予め検出した距離画像から得た背景データを記憶部に登録し、計測時の距離画像において背景データと異なる画素を所定条件を満たす物体に対応する画素の候補として抽出し、物体抽出部は、測定した距離が既定の背景物体までの距離よりも所定以上遠くなる画素を除いて背景データを生成する。
【0009】
上記物体検出システムでは、物体抽出部は、測定した距離が既定の背景物体までの距離よりも所定以上遠くなる画素を除いて背景データを生成するので、予め検出した距離画像から背景データを得る場合の誤検知を少なくすることができる。
【0010】
本発明の具体的な側面によれば、上記物体検出システムにおいて、既定の背景物体は、地面又は建物の壁面である。既定の背景物体が地面の場合、例えば水溜まりによって実際と異なる遠方が背景となることを防止でき、既定の背景物体が壁面の場合、例えば壁面の前に存在する黒色の車両によって実際と異なる遠方が背景となることを防止できる。
【0011】
本発明の別の側面によれば、物体抽出部は、所定のタイミングで検出した距離画像を用いて背景データを更新するとともに、背景データを更新する際に検出した距離が既定の背景物体までの距離よりも遠くなるか否かを判断して背景データを生成する。この場合、背景データの適切な更新が可能になる。
【0012】
本発明のさらに別の側面によれば、物体抽出部は、検出した距離が既定の背景物体までの距離よりも所定の閾値以上大きい画素を除いて背景データを生成する。この場合、距離画像検出部のセンサーの測定誤差や分解能によって背景の誤判断が生じることを防止できる。
【0013】
本発明のさらに別の側面によれば、物体抽出部は、測定した距離が既定の背景物体までの距離よりも遠くなる場合、既定の背景物体の位置に基づいて背景データを生成する。この場合、背景の欠落を既定の背景物体を参酌して補間することができる。
【0014】
本発明のさらに別の側面によれば、物体抽出部は、既定の背景物体の位置に基づいて背景データを生成する際に、既定の背景物体までの距離から所定の距離だけ近い位置を背景データとする。この場合、距離画像検出部のセンサーの測定誤差や分解能の影響により、背景物体そのものが移動体等として検知されてしまうことを防ぐことができる。
【0015】
本発明のさらに別の側面によれば、物体抽出部は、測定した距離が既定の背景物体である既定の地面までの距離よりも遠くなる深層画素について、既定の地面に対して対称な位置に画素が存在するか否かの判定に基づいて、当該深層画素から背景データを生成する。つまり、深層画素が計測されても、地面に対しての鏡像が形成されているのでなければ、深層画素を地面に対応するものであるとして扱うことで地面に関する背景データの生成が適切なものとなる。
【0016】
本発明のさらに別の側面によれば、物体抽出部は、深層画素及び深層画素の周辺画素を含めて既定の地面に対して対称な位置に画素が存在する場合、深層画素から背景データを生成する。この場合、距離画像検出部のセンサーの測定誤差等によって画素ずれが生じていたとしても、その画素ずれに対応する深層画素を実際の地面に対応するものとして誤判定することを防止できる。
【図面の簡単な説明】
【0017】
【図1】本発明の第1実施形態に係る物体検出システムを説明する図である。
【図2】図1の物体検出システムを構成するレーザーレーダーユニットの構造を説明する概略図である。
【図3】測定結果に基づいてディスプレイ上に表示された投光視野の距離画像を例示している。
【図4】図1の物体検出システムの動作を説明する図である。
【図5】背景データの作成方法を説明する図である。
【図6】背景データの作成方法を説明する図である。
【図7】背景データの作成方法を説明する図である。
【図8】(A)は、ユーザーによって指定された背景データを得る場合を説明する図であり、(B)は、修正された背景データを得る場合を説明する図であり、(C)は、地面上に3点以上の指標を設置して地面の近似平面を規定する場合を説明する図である。
【図9】(A)は、最低面検出による背景の修正方法を説明する図であり、最低面として複数の候補面が検出された場合を示し、(B)は、壁面の前に黒色の車両が停車している場合における背景の修正を説明する図であり、(C)は、壁面に窓がある場合における背景の修正を説明する図である。
【図10】第2実施形態の物体検出システムの動作を説明する図である。
【発明を実施するための形態】
【0018】
[第1実施形態]
以下、添付した図面を参照しながら、第1実施形態の物体検出システムについて説明する。
【0019】
図1に示す物体検出システム100は、取得した3次元情報に基づいて移動する物体を検出する3次元情報取得システムであり、レーザーレーダーユニット21と、支持体23と、制御装置80とを備える。図示の場合、距離検出部であるレーザーレーダーユニット21は、対象を俯瞰するような監視を可能にするため、所定の高度を有する支持体23上部に対して天地を逆にした状態で取り付けられている。
【0020】
図2を参照して、レーザーレーダーユニット21の構造の一例について説明する。図示のレーザーレーダーユニット21は、倒立状態で示されている。レーザーレーダーユニット21は、外界に存在する物体までの距離を計測することによって外界について距離画像を検出する距離検出部であり、回転する走査用ミラー53aによって光ビームを走査しつつその伝搬時間から反射体である検出対象OBまでの距離を計測する。レーザーレーダーユニット(距離検出部)21は、投光部51と、受光部52と、回転反射部53と、駆動回路55と、外装部品56とを備える。これらのうち、投光部51と、受光部52と、回転反射部53とは、走査型の光学系59を構成している。
【0021】
投光部51は、後述する回転反射部53の走査用ミラー53aに対して光ビーム又は投光ビームの元になるレーザー光L1を射出する。投光部51は、赤外その他の波長域に設定されたレーザー光L1を発生する光源51aを有する。
【0022】
受光部52は、外装部品56の光学窓56aを介して入射する検出対象OBからの反射光又は光ビームであって、回転反射部53の走査用ミラー53aで反射された戻り光L2を受光する。受光部52は、戻り光L2を検出するため、縦の副走査方向に関して例えば6つの画素を有する受光素子52aを有する。検出領域内に静的又は動的な検出対象OBがあると、レーザーレーダーユニット(距離検出部)21から射出されたレーザー光(投光ビーム)L1が検出対象OBで反射等され、検出対象OBで反射等された光の一部が戻り光(反射光)L2としてレーザーレーダーユニット21における走査用ミラー53aを介して受光部52に入射する。
【0023】
回転反射部53は、走査用ミラー53aと回転駆動部53bとを有する。走査用ミラー53aは、2回反射型のポリゴンミラーであり、光路折り曲げ用の第1反射部53iと第2反射部53jとを有する。第1及び第2反射部53i,53jは、紙面の上下に対応するy方向に平行に延びる回転軸RXに沿って上下にそれぞれ配置されている。第1及び第2反射部53i,53jは角錐状の形状を有している。第1及び第2反射部53i,53jの反射面の傾斜角は、走査用ミラー53aの回転位置(図示の例では90°単位で4方位を向く位置)に伴って徐々に変化するものになっている(第1及び第2反射部53i,53jの具体的な形状については、国際公開第2014/168137号参照)。
【0024】
第1反射部53iの反射面は、紙面上で左方向である+z方向から入射したレーザー光(投光ビーム)L1を略直交する方向に反射し、紙面上で下方向である+y方向の第2反射部53jの鏡面に導く。第2反射部53jの鏡面は、紙面上で上方向から入射したレーザー光L1を略直交する方向に反射し、紙面上で左方向の検出対象OB側へ導く。検出対象OBで反射された一部の戻り光(反射光)L2は、レーザー光L1の経路と逆の経路をたどり、受光部52で検出される。つまり、走査用ミラー53aは、検出対象OBで反射された戻り光L2を、第2反射部53jの鏡面で再度反射させ、第1反射部53iの鏡面に導く。続いて、戻り光L2を第1反射部53iの鏡面で再度反射させ、受光部52側へ導く。
【0025】
走査用ミラー53aが回転すると、縦のy軸方向に直交する横の平面(つまり、xz面)内において、レーザー光L1の進行方向が変化する。つまり、レーザー光L1は、走査用ミラー53aの回転に伴って、y軸のまわりに走査される。レーザー光L1によって走査される角度領域が検出領域となる。投光用のレーザー光L1の進行方向において縦のy軸方向に関する縦の開き角が副走査方向の投光角度であり、走査開始点でのレーザー光L1の進行方向と走査終了点でのレーザー光L1の進行方向とが横のxz面内でなす角度が、主走査方向の照射角度である。このような投光角度と照射角度とによって検出領域に対応する投光視野が形成される。なお、投光視野は、具体例において、走査用ミラー53aの90°単位の回転位置に応じて上下方向に関して4段階で変化するので、全体としての投光視野は、単一の走査で達成される投光視野に対して上下方向に4倍の広がりを有するものとなっている。
【0026】
駆動回路55は、投光部51の光源51a、受光部52の受光素子52a、回転反射部53の回転駆動部53b等の動作を制御する。また、駆動回路55は、受光部52の受光素子52aに入射した戻り光L2の変換によって得た電気信号から検出対象OBの物体情報を得る。具体的には、受光素子52aにおける出力信号が所定の閾値以上である場合、駆動回路55において、受光素子52aが検出対象OBからの戻り光L2を受光したと判断される。この場合、光源51aでの発光タイミングと受光素子52aでの受光タイミングとの差から、検出対象OBまでの距離が求められる。また、受光素子52aへの戻り光L2の副走査方向に関する受光位置及び走査用ミラー53aの主走査方向に相当する回転角に基づいて、検出対象OBの主走査方向及び副走査方向に関する方位情報を求めることができる。駆動回路55には、加速度センサー等からなる姿勢判別センサー55sを組み込むことができ、この場合、距離検出部であるレーザーレーダーユニット21の上下その他の姿勢を直接的に判定することができる。
【0027】
外装部品56は、レーザーレーダーユニット21の内蔵部品を覆い、保護するためのものである。
【0028】
図1に戻って、支持体23は、レーザーレーダーユニット21を支持するだけの機械部品であってもよいが、制御装置80の制御下でレーザーレーダーユニット21の向き又は姿勢を調整する機能を有するものとできる。この際、支持体23は、レーザーレーダーユニット21の大まかな姿勢を検出して制御装置80に出力するものとできる。
【0029】
制御装置80は、ユーザーが操作するパソコンその他の端末装置であり、有線又は無線の通信媒体CMを介してレーザーレーダーユニット21に接続されている。
【0030】
制御装置80は、ユーザーとのインターフェースである入出力部81と、プログラムに基づいてデータ等に対する演算処理、外部装置の制御等を行う演算処理部82と、外部からのデータ、演算処理結果等を保管する記憶部83と、外部装置と通信するための通信部84とを備える。
【0031】
入出力部81は、キーボード、入力キーその他からなる操作部81aを利用してユーザーからの指示を取り込むとともに、演算処理部82による処理結果を表示部としてのディスプレイ81bその他を介してユーザーに提示する。
【0032】
演算処理部82は、CPU(Central Processing Unit)等の演算部、インターフェース回路等の付属回路を有しており、背景データの作成、計測画像の取得、移動体候補の抽出、クラスタリング、移動体判定等の各種工程を含む物体検出プログラムを実行する。演算処理部82は、物体抽出部として機能する。具体的には、演算処理部82は、演算処理部82は、移動体抽出部として、予めレーザーレーダーユニット(距離画像検出部)21に背景画像を取得させるとともに背景画像から背景データを作成する。演算処理部82は、背景データを適宜のタイミングで更新する機能を有する。また、演算処理部82は、移動体抽出部として、計測時においてレーザーレーダーユニット(距離検出部)21に計測画像を取得させる。演算処理部82は、移動体抽出部として、計測画像の背景データに対する差分として移動体候補を抽出し、移動体候補の画素について隣接するものをグループ化するクラスタリングを行い、得られたクラスタについてフィルタリングを行って移動体を抽出する。
【0033】
記憶部83は、物体検出プログラムやその実行に必要な諸データを記憶する。また、記憶部83は、物体検出プログラムによって抽出した対象に関するデータを逐次記録して、演算処理部82による対象の移動状態の監視を可能にする。具体的には、記憶部83には、レーザーレーダーユニット21の出力から算出した背景データ、レーザーレーダーユニット21の出力である計測画像等が保管される。
【0034】
通信部84は、演算処理部82とレーザーレーダーユニット21との通信を可能にし、演算処理部82がレーザーレーダーユニット21等からのデータを取り込むことを可能にするとともに、演算処理部82からの指令をレーザーレーダーユニット21に送信することを可能にする。
【0035】
なお、ユーザーは、操作部81aを利用してディスプレイ(表示部)81b上に表示された距離画像内の任意の点(距離画素)を選択することができる。これにより、後に詳述するが、距離画像内において地面に対応する複数の距離画素をユーザーが抽出する処理が可能になる。
【0036】
図3は、投光視野又は検出領域の距離画像であって、レーザーレーダーユニット21による測定結果に基づいてディスプレイ81b上に表示された距離画像を例示している。距離画像は、離散的な距離画素を含む2次元画像であり、図示の場合、背景に建物B1、建物の前に地面B2、車両B3、人物B4等に対応する点群が表示されている。距離画像は、測定点マーカーとも呼ばれ、測定点毎に距離情報又は反射光量情報を含んでいる。ここで、測定点毎の距離情報は、方位毎の距離データに相当する。なお、距離画像又は2次元距離画像をディスプレイ81bに表示させる場合、演算処理部82は、距離を可視化する着色処理を行う。具体的には、例えば距離の増加に伴って赤その他の暖色から青その他の寒色に変化する色彩を割り当てる。
【0037】
以下、図4を参照して、図1に示す物体検出システム100を用いた物体検出方法について説明する。
【0038】
まず、制御装置80の演算処理部(物体抽出部)82は、本測定前の事前準備として、レーザーレーダーユニット(距離画像検出部)21を動作させることで背景データを生成する(ステップS11)。初回の背景データの生成は、移動体検出(ステップS12以降の処理)に先立って行われるものであり、演算処理部82は、検出したいエリアに所定条件を満たす移動体が存在しない状態、具体的には歩行者等の障害物がない状態でレーザーレーダーユニット21を動作させて距離画像を取得し、それを背景として記憶部83に登録する。
【0039】
図5及び6は、初期設定に際しての背景データの生成方法を説明するフローチャートである。初期設定で行われる背景データの生成は、レーザーレーダーユニット21の新規取り付け時、検出動作終了後の再起動時等に伴って行われるものである。
【0040】
制御装置80の演算処理部82は、一回の全画面走査によって得た極座標の背景計測データ(D,θH,θV)をレーザーレーダーユニット21から取り込んで(ステップS31)、結果を記憶部83に保管する。ここで、値Dは、測定した距離を示し、値θHは、主走査に対応する横の角度を示し、値θVは、副走査に対応する縦の角度を示す。
【0041】
次に、演算処理部(物体抽出部)82は、既定の背景物体である地面について背景の修正を行うか否かを確認する(ステップS32)。地面について背景の修正を行うとは、地面について得た背景計測データが異常を示すものとならないように、背景データを手動又は自動で設定することを意味する。初回の場合、原則として地面について背景の修正を行うが、ユーザーが不要と判断した場合、地面についての背景の修正を省略することもできる。
【0042】
地面について背景の修正を行う場合、演算処理部82は、地面に関する背景の修正方法を選択を受け付ける(ステップS33)。ユーザーが操作部81a及びディスプレイ81bを用いて演算処理部82に指示することで、地面に関する背景の修正方法の選択が行われる。修正方法には、(1)画面指定入力、(2)指標判定入力、及び(3)最低面検出が含まれる。第1の画面指定入力は、ユーザーがディスプレイ81bに表示された距離画像から地面に対応する3つ以上の画素を指定するものであり、第2の指標判定入力は、ユーザーが地面上において3つ以上の指標を適所に設置して地面の座標を指定するものであり、第3の最低点検出は、演算処理部82がディスプレイ81bに表示された距離画像から最低面を抽出し地面として取り扱うものである。
【0043】
ステップS33で画面指定入力による修正方法が選択された場合、演算処理部(物体抽出部)82は、ディスプレイ81bにステップS11で得た背景データに対応する距離画像を表示させた状態とし、ユーザーが操作部81aを用いて距離画像内の地面と認められる点(距離画素)を選択することを受け付ける(ステップS41)。ディスプレイ81bに表示する距離画像は、レーザーレーダーユニット21を動作させて得た元の距離画像に限らず、これを加工した距離画像とできる。
【0044】
図8(A)に示すように、上記ステップS41において、距離画像において地面GRと認められる3点以上の距離画素G1〜G3を選択することで、地面GRの近似平面PGを規定することができる。なお、図面上では、距離画素G1〜G3が一列に並んでいるように見えるが、実際の距離画素G1〜G3は、直線上に配列されていない。
【0045】
その後、演算処理部(物体抽出部)82は、ステップS31で得た背景計測データを構成する多数の距離画素において、ステップS41で得た地面の近似平面よりも遠い画素がある場合、このような遠い画素又はデータ群に対応する背景計測データの座標を地面の近似平面PGとの交点に置き換えて修正した距離画素とし、修正した距離画素から修正された背景データを得る(ステップS42)。この背景データは、当初の背景データとして記憶部83に保管される。ここで、ステップS42では、修正された背景データを得るとしているが、地面よりも遠い画素がない場合に実際には背景データが修正されないが、地面と比較された背景データも、修正された背景データとして取り扱う。
【0046】
図8(B)に示すように、水溜りPUの存在により、測定した距離が地面GRまでの距離よりも所定以上遠くなる深層画素Gxが計測されている場合、このような深層画素Gxを除いて背景データを生成する。つまり、地面GRまでの距離よりも所定の閾値TH以上遠い深層画素Gxは、背景計測データ又は背景データから除去される。或いは、地面GRまでの距離よりも所定の閾値TH以上遠い深層画素Gxは、地面の近似平面の標準画素Gsに修正され、ステップS42の背景データに組み込まれる。なお、深層画素Gxには、戻り光L2が検出されない場合又は無限遠の場合も含めることができる。また、以上では、水溜りPUによって地面GRよりも深い位置又は無限遠に背景が設定される可能性を説明したが、地面GR上に黒色の車両が停車している場合も、上記と同様の理由で車両へ入射したレーザー光L1が車両の表面で吸収されるので、地面GRよりも深い位置又は無限遠に背景が設定される可能性がある。以上で用いた閾値THは、例えば10cmといった値に設定される。また、閾値THは、レーザー光L1の地面GRに対する角度が分かる場合やレーザーレーダーユニット21の姿勢を考慮した座標変換が行われる場合、距離から深さに換算して評価することができる。
【0047】
図8(A)に示すようにユーザーによって指定された背景データを得る場合、或いは図8(B)に示すように修正された背景データを得る場合、地面GRの近似平面PGそのものではなく、マージンを考慮して地面の近似平面PGに平行で所定距離だけ上方の基準面PSを背景データとして用いることができる。この場合、地面GRの近似平面PGよりも遠い画素に対応する背景計測データの座標を地面GRの近似平面PGに平行で所定距離だけ上方の基準面PSとの交点に置き換えて修正した距離画素G1’〜G3’とし、修正した距離画素G1’〜G3’から修正された背景データを得る(図8(A)参照)。
【0048】
ステップS33で指標判定入力による修正方法が選択された場合、演算処理部(物体抽出部)82は、距離画像において指標を検出する(ステップS43)。具体的には、演算処理部82は、距離画像において指標に相当する3つ以上の特徴点を抽出し、これらの特徴点を地面の近似平面を規定するものとして取り扱う。指標は、ユーザーが予め多角形を形成するように地面GR上に設置する。特徴点の抽出には、指標の輪郭、反射光量、指標内に形成された反射パターン等を利用することができる。特徴点の抽出は、ユーザーが目視で行うこと、演算処理部82が距離画像に対してデータ処理を行うこと等によって得られる。
【0049】
図8(C)に示すように、上記ステップS44については、地面GR上に3点以上の指標F1〜F3が設置されており、距離画像において指標F1〜F3に相当する特徴点を抽出又は検出することで、地面GRの近似平面PGを規定することができる。
【0050】
その後、演算処理部(物体抽出部)82は、ステップS31で得た背景計測データを構成する多数の距離画素において、ステップS43で得た地面の近似平面よりも深い画素がある場合、この深い画素又はデータ群に対応する背景計測データの座標を地面の近似平面との交点に置き換えて修正した距離画素とし、修正した距離画素から修正された背景データを得る(ステップS44)。この背景データは、当初の背景データとして記憶部83に保管される。修正された背景データを得る場合、ステップS42の場合と同様に、地面の近似平面PGそのものではなく、マージンを考慮して地面の近似平面PGに平行で所定距離だけ上方の基準面PSを用いることができる。
【0051】
ステップS33で最低面検出による修正方法が選択された場合、演算処理部(物体抽出部)82は、背景データに対応する距離画像において所定面積以上の平面であって最低面を検出する(ステップS45)。具体的には、ステップS31で得た背景計測データについて重力基準の座標変換を行って、最低高さ位置を与える距離画素を選択し、これらの距離画素から最低面を得る。この場合において、特定高さ位置を与える距離画素の数が所定以上存在し、かつ、これらの距離画素互いに近くにあって一群となっていなければ、最低高さ位置を与える距離画素として取り扱わない。つまり、最低面は、地面と推測されるものであり、単に低いだけでは足りず、一定の面積領域に亘って存在するものだけに限定される。さらに、最低面は、重力基準の鉛直線に対して略直交することも要件とすることができ、この場合、最低面が地面を検出したものであることをより確実にする。以上において、レーザーレーダーユニット21の駆動回路55に設けた姿勢判別センサー55sの出力を利用することで、背景計測データ(D,θH,θV)を鉛直線を基準とするデータに変換することができ、高さ判定が容易になる。
【0052】
その後、演算処理部(物体抽出部)82は、背景計測データを構成する多数の距離画素において、ステップS45で得た地面の近似平面よりも深い画素がある場合、この深い画素又はデータ群に対応する背景計測データの座標を地面の近似平面との交点に置き換えて修正した距離画素とし、修正した距離画素から修正された背景データを得る(ステップS46)。この背景データは、当初の背景データとして記憶部83に保管される。修正された背景データを得る場合、ステップS42の場合と同様に、地面の近似平面そのものではなく、マージンを考慮して地面の近似平面に平行で所定距離だけ上方の基準面を用いることができる。
【0053】
図9(A)に例示する場合では、最低面として2つの候補面GR1,GR2が検出され、距離画素G1〜G3に対応する候補面GR1は、距離画素G11〜G13に対応する候補面GR2よりも高くなっている。この場合、相対的に低い候補面GR2が最低面LPとなり、この最低面LPが地面の近似平面PGとなる。そして、ステップS46において背景データを得る際には、マージンを考慮して地面の近似平面PGに平行で所定距離だけ上方の基準面PSを用いることができる。
【0054】
図6を参照して、演算処理部82は、既定の背景物体である壁面について背景の修正を行うか否かを確認する(ステップS34)。初回の場合、原則として壁面について背景の修正を行うが、ユーザーが不要と判断した場合、壁面についての背景の修正を省略することもできる。
【0055】
壁面について背景の修正を行う場合、演算処理部82は、壁面に関する背景の修正方法の選択を受け付ける(ステップS35)。ユーザーが操作部81a及びディスプレイ81bを用いて演算処理部82に指示することで、壁面に関する背景の修正方法の選択が行われる。修正方法には、(1)画面指定入力、及び(2)指標判定入力が含まれる。
【0056】
ステップS35で画面指定入力による修正方法が選択された場合、演算処理部82は、ディスプレイ81bにステップS11で得た背景データに対応する距離画像を表示させた状態とし、ユーザーが操作部81aを用いて距離画像内の壁面と認められる点(距離画素)及び輪郭領域を選択することを受け付ける(ステップS51)。
【0057】
その後、演算処理部82は、背景計測データを構成する多数の距離画素において、ステップS51で得た壁面の近似平面よりも遠い画素がある場合、このような遠い画素又はデータ群に対応する背景計測データの座標を壁面の近似平面との交点に置き換えて修正した距離画素とし、修正した距離画素から修正された背景データを得る(ステップS52)。この背景データは、当初の背景データとして記憶部83に保管される。修正された背景データを得る場合、壁面の近似平面そのものではなく、マージンを考慮して壁面の近似平面に平行で所定距離だけ手前の基準面を用いることができる。
【0058】
ステップS35で指標判定入力による修正方法が選択された場合、演算処理部82は、距離画像において指標を検出する(ステップS53)。具体的には、演算処理部82は、距離画像において指標に相当する3つ以上の特徴点を抽出し、これらの特徴点を壁面の近似平面を規定するものとして取り扱う。この際、ユーザーが操作部81aを用いて距離画像内の壁面と認められる輪郭領域を選択できるようにすることが望ましい。
【0059】
その後、演算処理部82は、背景計測データを構成する多数の距離画素において、ステップS53で得た壁面の近似平面よりも深い画素がある場合、この深い画素又はデータ群に対応する背景計測データの座標を壁面の近似平面との交点に置き換えて修正した距離画素とし、修正した距離画素から修正された背景データを得る(ステップS54)。この背景データは、当初の背景データとして記憶部83に保管される。修正された背景データを得る場合、ステップS42の場合と同様に、壁面の近似平面そのものではなく、マージンを考慮して壁面の近似平面に平行で所定距離だけ手前の基準面を用いることができる。
【0060】
図9(B)に例示するように、壁面WAの前に黒色の車両VAが停車している場合、車両VAへ入射したレーザー光L1は、車両VAの表面で吸収され、背景データが欠落するか、無限遠に設定される。よって、ステップS51等で行われる画面指定入力による修正、又は、ステップS53等で行われる指標判定入力による背景データの修正によって、壁面WAが移動体として抽出されることを防止できる。
【0061】
図9(C)に例示するように、壁面WAに窓WIがある場合、壁面WAへ入射したレーザー光L1は、壁面WAのガラス面で反射され、背景データが欠落するか、無限遠に設定される。或いは、壁面WAのガラス面で反射された光L4が人物PAでさらに反射される可能性もあり、この場合、人物PAが壁面WAの背後の虚像として観察される。これらの場合も、背景データを本来の壁面WAに基づいて修正することで、壁面WAが移動体として抽出されることを防止できる。
【0062】
図4に戻って、制御装置80は、移動体検出のための計測を開始し、一回の全画面走査によって得た極座標の計測データ(D,θH,θV)をレーザーレーダーユニット(距離画像検出部)21から取り込んで(ステップS12)、結果を現在の距離画像として記憶部83に保管する。
【0063】
次に、演算処理部82は、ステップS12で得た現在の距離画像からステップS11で得た背景データを差し引いて正の値をとる背景よりも手前側又は近距離側の移動体候補画素を得る(ステップS13)。つまり、背景データと異なる距離画素を所定条件を満たす移動体に対応する画素の候補として抽出する。より具体的には、背景より手前の画素を移動体候補画素として抽出する。
【0064】
ステップS13において相対的距離差を算出する判定する際には、そのまま比較するだけではなく、最低変化距離の閾値を設け、背景の距離よりも当該閾値以上に手前である画素のみを移動体候補画素として抽出するようにしてもよい。これにより、誤差やノイズで偶発的に背景より手前になった画素を誤って抽出することを防ぐことができる。
【0065】
次に、演算処理部82は、ステップS13で得た移動体候補画素に対してクラスタリングを行って(ステップS14)、結果を記憶部83に保管する。クラスタリングは、隣接する画素又は計測点を繋ぐこと等によって検出点を部分集合化し、対象のサイズや輪郭的な情報を得るための処理である。以上のクラスタリングには、得られた複数のクラスタの連結等の処理を追加することができる。クラスタリングに際しては、ステップS12で得た極座標の計測データ(D,θH,θV)を直交座標系(x,y,z)又は(X,Y,Z)の計測データに変換することで、データの加工や取り扱いが容易になる。
【0066】
次に、演算処理部82は、ステップS17のクラスタリングによって得た各クラスタについて各種演算処理を行って、各クラスタの位置及びサイズを決定する(ステップS15)。クラスタの位置の決定には、例えばクラスタを構成する画素点の平均位置又は重心を利用することができる。
【0067】
その後、演算処理部82は、ステップS14で得た各クラスタからサイズを考慮して、サイズの小さなものを除去するノイズ判定を行って、着目に値する移動体を選別する(ステップS16)。つまり、演算処理部82は、ノイズレベルよりも大きなクラスタを前方物体と判断し、このように抽出した対象を所定条件を満たす移動体としてラベリングし、記憶部83に保管する。
【0068】
次に、演算処理部82は、通信部84等を介して処理終了の指示があったか否かを確認し(ステップS17)、処理終了の指示がなかった場合、背景データの更新を行うタイミングか否かを確認する(ステップS18)。背景データの更新を行うタイミングでない場合(ステップS18でN)、ステップS12に戻って移動体を抽出するための計測を開始し、背景データの更新を行うタイミングである場合(ステップS18でY)、ステップS11に戻って背景データの更新を行う。
【0069】
ステップS16で1以上の移動体が選別された場合、詳細な説明を省略するが、演算処理部82は、例えば所定エリアへの侵入者を監視している用途であれば、上位の管理システムに通報を発するといった通報処理を行う。
【0070】
図7は、図4のステップS18でYと判断され、背景データを更新する際の背景データの生成方法を説明するフローチャートである。背景データの更新は、レーザーレーダーユニット21の設置時に行われる初期設定後に追加して行われるものであり、環境の変化に適合させた背景データを得るために行われる。背景データの更新は、演算処理部82に設定されたスケジュールに従って一定の基準で行われ、例えば定期的に行うことができるが、天候等の環境変動を検知して行うことができる。
【0071】
演算処理部82は、今回の背景計測データの取り込みが背景データの更新に相当する場合、今回の背景計測データのうち既定の背景(例えば地面又は壁面)に対応する方向のデータ群において既定の背景よりも深い部分があるか否かを判断する(ステップS23)。ここで、背景計測データについて深いとは、同一方位において既定の背景よりも遠くなる計測値が得られることを意味し、計測値が得られない無限遠の場合も含めることができる。ステップS23において既定の背景よりも深い部分があるか否かを判断する際には、検出距離が既定の背景物体までの距離よりも所定の閾値以上大きいか否かを判断することができる。背景計測データは、移動体の計測中に得た計測データを流用するものであってもよい。
【0072】
演算処理部82は、既定の背景よりも深い部分がある場合、深い部分又は遠い部分のデータ群に対応する背景計測データ(具体的には地面又は壁面)を、図5及び6に示す手法で取得した当初の背景データで部分的に置き換えて背景データとし、この背景データを記憶部83に保管する(ステップS24)。一方、演算処理部82は、既定の背景よりも深い部分又は遠い部分がない場合、今回の背景計測データをそのまま背景データとし、この背景データを記憶部83に保管する(ステップS25)。ステップS23において検出距離が既定の背景物体までの距離よりも所定の閾値以上大きいか否かを判断する場合、検出した距離が既定の背景物体までの距離よりも所定の閾値以上大きい背景計測データについては、背景データとして採用されない。この場合、誤検出や背景の欠落を補間して背景データの適切な更新が可能となる。この際、所定の閾値を設けることで、受光素子52a等の測定誤差や分解能による背景物体付近での誤判断をなくすためである。
【0073】
以上で説明した第1実施形態の物体検出システム100では、物体抽出部としての演算処理部82が測定した距離が既定の背景物体GR,WAまでの距離よりも所定以上遠くなる画素を除いて背景データを生成するので、予め検出した距離画像から背景データを得る場合の誤検知を少なくすることができる。
【0074】
[第2実施形態]
以下、第2実施形態に係る物体検出システムについて説明する。なお、第2実施形態の物体検出システムは第1実施形態の物体検出システムを変形したものであり、特に説明しない事項は第1実施形態と同様である。
【0075】
第2実施形態の物体検出システム100は、図1に示す物体検出システム100と同一の構造を有する。第2実施形態の物体検出システム100では、図5のステップS32で既定の背景物体である地面について背景の修正を行うか否かを確認する際に、深層画素及び深層画素の周辺画素を含めて既定の地面に対して対称な位置に画素が存在か否かを判断する。
【0076】
図10に示すように、水溜りPUに壁面WAが映っている場合、地面GRまでの距離よりも所定以上遠くなる深層画素Gxが計測される。この場合、深層画素Gxについて、地面に対して対称な位置に壁面WAの部分Gyを検出したときは、深層画素Gxが水溜りPUに映った虚像であることがわかる。このような現象を利用すれば、深層画素Gxのうち虚像に該当するものを背景データから除き、或いは対称面に対応する水溜りPUの表面を背景データに組み込むことができる。ここで、対称な位置に距離画素が存在するかの判定を着目点の周辺画素を含めて判定を行うことには、例えば、周辺画素でもっとも多く出現している距離(つまり、最も確からしい距離)同士で判定する、或いは、周辺画素の距離を平均した距離で判定することが含まれる。このように、周辺画素を含めて判定を行うことにより、センサーの測定誤差等で1画素不正な距離が出てきたとしても、それにより誤ってその画素を深層に実際にある画素として誤判定することを防ぐことができる。
【0077】
以上、実施形態に即して本発明を説明したが、本発明は、上記実施形態等に限定されるものではない。例えば、上記実施形態では、既定の背景物体が地面や壁面であるとして説明したが、既定の背景物体を建造物の床面、屋上等を基準面としてもよい。
【0078】
レーザーレーダーユニット21の構造は単なる例示であり、様々な構造及び走査手法の距離検出部を用いることができる。
【0079】
移動体又は対象を抽出した場合、その抽出した対象の移動を軌跡として捉えることも可能である。この場合、抽出した対象の同一性を形状やサイズから判定する必要がある。
【符号の説明】
【0080】
21…レーザーレーダーユニット(距離画像検出部)、 51…投光部、 52…受光部、 53…回転反射部、 53a…走査用ミラー、 53b…回転駆動部、 55…駆動回路、 55s…姿勢判別センサー、 56a…光学窓、 59…走査型の光学系、 80…制御装置、 81…入出力部、 82…演算処理部(物体抽出部)、 83…記憶部、 100…物体検出システム、 G1-G3…距離画素、 GR…地面(背景物体)、 GR1,GR2…候補面、 Gs…標準画素、 Gx…深層画素、 L1…レーザー光、 L2…戻り光、 OB…検出対象、 PG…近似平面、 PS…基準面、 RX…回転軸、 VA…車両、 WA…壁面(背景物体)
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】