(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO2014050535
(43)【国際公開日】20140403
【発行日】20160822
(54)【発明の名称】撮像装置及び撮像方法
(51)【国際特許分類】
   G03B 7/093 20060101AFI20160725BHJP
   G01N 21/17 20060101ALI20160725BHJP
   G03B 15/00 20060101ALI20160725BHJP
【FI】
   !G03B7/093
   !G01N21/17 A
   !G03B15/00 T
【審査請求】有
【予備審査請求】未請求
【全頁数】18
【出願番号】2014538352
(21)【国際出願番号】JP2013074333
(22)【国際出願日】20130910
(11)【特許番号】5962765
(45)【特許公報発行日】20160803
(31)【優先権主張番号】2012210671
(32)【優先日】20120925
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
【住所又は居所】神奈川県横浜市神奈川区宝町2番地
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100100712
【弁理士】
【氏名又は名称】岩▲崎▼ 幸邦
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】松野 洋介
【住所又は居所】神奈川県横浜市神奈川区宝町2番地 日産自動車株式会社内
(72)【発明者】
【氏名】西内 秀和
【住所又は居所】神奈川県横浜市神奈川区宝町2番地 日産自動車株式会社内
(72)【発明者】
【氏名】三ツ石 広喜
【住所又は居所】神奈川県横浜市神奈川区宝町2番地 日産自動車株式会社内
(72)【発明者】
【氏名】松本 淳
【住所又は居所】神奈川県横浜市神奈川区宝町2番地 日産自動車株式会社内
【テーマコード(参考)】
2G059
2H002
【Fターム(参考)】
2G059AA03
2G059BB08
2G059EE02
2G059FF01
2G059JJ11
2G059KK04
2G059MM01
2G059MM10
2H002CC01
2H002GA35
(57)【要約】
撮像装置(1)は、投光している状態で撮像した画像の出力値から、投光していない状態で撮像した画像の出力値を減算して同期検波画像(KG1〜KG3)を求め、露光条件が異なる2以上の同期検波画像(KG1〜KG3)を生成し、露光条件が異なる2以上の同期検波画像(KG1〜KG3)の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて同期検波画像(SYKG)を生成する。
【特許請求の範囲】
【請求項1】
受光量に応じて出力値が変化する受光素子を用いて、画像を撮像する撮像部と、
前記撮像部による撮像に同期して、前記撮像部が画像を撮像する領域に投光する投光部と、
前記投光部が投光している状態で撮像した画像の出力値から、投光部が投光していない状態で撮像した画像の出力値を減算して同期検波画像を求める同期検波処理部と、
露光条件が異なる2以上の同期検波画像が得られるように、前記撮像部及び前記投光部を制御する露光制御部と、
前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて同期検波画像を生成する画像生成部と、
を備えることを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記画像生成部は、前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1つの画素を選び、選んだ1つの画素を各画素の位置に従って配列して前記同期検波画像を生成することを特徴とする撮像装置。
【請求項3】
請求項2に記載の撮像装置において、
前記画像生成部は、前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も高い画素を選び、選んだ画素を各画素の位置に従って配列して前記同期検波画像を生成することを特徴とする撮像装置。
【請求項4】
請求項1に記載の撮像装置において、
前記画像生成部は、前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から2以上の画素を選び、選んだ2以上の画素を合成した画素を各画素の位置に従って配列して前記同期検波画像を生成することを特徴とする撮像装置。
【請求項5】
請求項1〜4のいずれか一項に記載の撮像装置において、
前記露光制御部は、前記撮像部の露光時間及び絞り値の少なくとも一方を制御することにより、前記露光条件を変化させることを特徴とする撮像装置。
【請求項6】
請求項1〜5のいずれか一項に記載の撮像装置において、
前記露光制御部は、前記投光部の投光量及び投光時間の少なくとも一方を制御することにより、前記露光条件を変化させることを特徴とする撮像装置。
【請求項7】
請求項1〜6のいずれか一項に記載の撮像装置において、
前記露光制御部は、前記投光部により投光された光に対する前記撮像部の露光量が一定となるように前記撮像部及び前記投光部を制御することを特徴とする撮像装置。
【請求項8】
受光量に応じて出力値が変化する受光素子を用いて、画像を撮像し、
前記画像の撮像に同期して、前記画像を撮像する領域に投光し、
投光している状態で撮像した画像の出力値から、投光していない状態で撮像した画像の出力値を減算して同期検波画像を求め、
前記画像の撮像における露光条件が異なる2以上の同期検波画像が得られるように、前記画像の撮像及び投光を制御し、
前記2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて同期検波画像を生成する
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び撮像方法に関するものである。
【背景技術】
【0002】
投光器よりビーム状光線を被計測雪面上に投射し、受光器内の光検出器により雪面からの反射光を受光評価して積雪の深さを計測する積雪計測装置が知られている(特許文献1参照)。特許文献1の積雪計測装置では、変調した光を投射し、光検出器内の受光素子で受光した光を変調周波数に基づいて同期検波する。これにより、雪面からの反射光のうち投光した光の成分のみを抽出して、外乱光の影響を軽減している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開昭58−87486号公報
【発明の概要】
【0004】
しかし、受光素子の受光感度特性において、高輝度側或いは低輝度側に低感度領域が含まれているのが一般的である。このため、例えば、撮像された画像内に日向の領域及び日陰の領域が含まれている場合、同期検波画像内においてコントラストのばらつきが大きくなり、画像全体でコントラストが安定した同期検波画像を得ることができない。
【0005】
本発明は、上記課題に鑑みて成されたものであり、その目的は、画像全体でコントラストが安定した同期検波画像を生成することができる撮像装置及び撮像方法を提供することである。
【0006】
上記目的を達成するため、本発明の一態様に係わる撮像装置は、投光している状態で撮像した画像の出力値から、投光していない状態で撮像した画像の出力値を減算して同期検波画像を求め、露光条件が異なる2以上の同期検波画像を生成し、露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて同期検波画像を生成する。
【図面の簡単な説明】
【0007】
【図1】図1は、本発明の実施形態に係わる撮像装置の構成を示すブロック図である。
【図2】図2は、一検波周期内において露光条件が異なる2以上の同期検波画像を得るためのフレーム毎の露光条件の一例を示す表である。
【図3】図3は、撮像部12の受光素子に入射する光の輝度(受光量)と撮像部12の出力値との関係を示すグラフである。
【図4】図4は、図2に示したフレーム1〜3の各々に相当する輝度画像FG1〜FG3、図2の同期検波画像KG1〜KG3、及び同期検波画像SYKGの一例を示す図である。
【図5】図5は、図1の撮像装置1を用いた本発明の実施形態に係わる撮像方法を示すフローチャートである。
【発明を実施するための形態】
【0008】
<撮像装置>
以下、図面を参照して本発明の実施形態を説明する。図1を参照して、本発明の実施形態に係わる撮像装置1の構成を説明する。撮像装置1は、例えば車両などの移動体上に設けられるものであり、図1に示すように、投光部11、撮像部12、同期検波処理部13、露光制御部14、画像生成部15、画像情報記憶部16、参照信号生成部17、及び画像出力部18を備える。
【0009】
撮像部12は、受光量に応じて出力値が画素毎に変化するCMOSセンサ、CCDセンサなどの半導体素子(受光素子)を用いて画像を撮像する。撮像部12は、例えば路面上にある白線などの撮像対象Pの画像を撮像する。
【0010】
投光部11は、撮像部12による撮像に同期して、撮像部12が画像を撮像する領域に投光する。すなわち、投光部11は、撮像タイミングに同期して撮像対象Pに向けて光を照射する。投光部11は、参照信号生成部17により生成された参照信号に基づいて、強度が変調された光を撮影対象Pに向けて投光する。
【0011】
参照信号生成部17は、例えば正弦波からなる参照信号を生成し、参照信号からPWM信号などの同期パスル信号を生成する。生成された同期パスル信号は、露光制御部14を介して、投光部11及び撮像部12に転送される。投光部11は、受信した同期パスル信号の受信タイミングに同期して投光する。撮像部12は、受信した同期パスル信号の受信タイミングに同期して画像を撮像する。
【0012】
露光制御部14は、撮像部12の撮像タイミング、投光部11の投光タイミング、及び撮像部12及び投光部11の露光条件を制御する。具体的には、露光制御部14は、撮像部12の露光条件として、撮像部12の露光時間及び撮像部12が備えるレンズの絞り値の少なくとも一方を制御する。露光制御部14は、投光部11の露光条件として、投光部11の投光量及び投光時間の少なくとも一方を制御する。露光制御部14は、投光部11が投光している状態で撮像部12が画像を撮像するのみならず、投光部11が投光していない状態で撮像部12が画像を撮像するように、撮像部12の撮像タイミング及び投光部11の投光タイミングを制御する。露光制御部14は、露光条件が異なる2以上の同期検波画像が得られるように、撮像部12及び投光部11を制御する。
【0013】
画像情報記憶部16は、撮像部12により撮像された画像の電子データを一時的に記憶し、記憶している一検波周期内の画像データを読み出して同期検波処理部13へ転送する。
【0014】
同期検波処理部13は、一検波周期内の画像データと、参照信号生成部17より出力される参照信号に基づいて同期検波処理を行い、一検波周期内に露光条件が異なる2以上の同期検波画像を生成する。具体的には、同期検波処理部13は、投光部11が投光している状態で撮像した画像の出力値から、投光部11が投光していない状態で撮像した画像の出力値を減算して同期検波画像を求める。
【0015】
画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて1つの同期検波画像を生成する。出力値が最も低い画素を除く他の画素の中から1つの画素を選んだ場合、選んだ画素を各画素の位置に従って配列することにより、同期検波画像を生成することができる。例えば、画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、出力値が最も高い画素を選び、選んだ画素を各画素の位置に従って配列することにより、同期検波画像を生成することができる。
【0016】
ここで、画像生成部15が選択する画素とは、撮像部12が備える受光素子のピクセル及び撮像部12が撮像した画像のピクセルのみならず、隣接する複数のピクセルを纏めた画素ブロックを含むものとする。つまり、画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置のピクセルのうち、出力値が最も低いピクセルを除く他のピクセルの中から1以上のピクセルを選び、選んだ1以上のピクセルを用いて同期検波画像を生成する。或いは、画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置の画素ブロックのうち、出力値が最も低い画素ブロックを除く他の画素ブロックの中から1以上の画素ブロックを選び、選んだ1以上の画素ブロックを用いて同期検波画像を生成する。画素ブロックの出力値は、画素ブロックを構成する各ピクセルの出力値の平均値とすればよい。
【0017】
画像出力部18は、画像生成部15により生成された同期検波画像を下位のシステムへ出力する。
【0018】
<露光制御>
次に、図2を参照して、露光制御部14が、一検波周期内において露光条件が異なる2以上の同期検波画像が得られるように、撮像部12及び投光部11を制御する方法について説明する。図2の「フレーム番号」は、一検波周期内において撮像されるフレームを示す識別番号である。なお、「フレーム」とは、撮像タイミングが連続する1以上の画像からなる。「露光時間」は、各フレームにおいて受光素子がレンズを通じて受光している時間、つまり露光時間を規格化して示す。つまり、フレーム1における露光時間を1とした場合に、フレーム2における露光時間は1/2であり、フレーム3における露光時間は1/4である。「投光強度ピーク」は、各フレームの撮像に同期して投光部11から投光される投光量を規格化して示す。つまり、フレーム1における投光量を1とした場合に、フレーム2における投光量は2であり、フレーム3における投光量は4である。
【0019】
フレーム1において、撮像部12が投光部11により投光された光(投光量1)を露光時間(1)だけ受光した場合、撮像部12の露光量は1×1=1である。フレーム2において、撮像部12が投光部11により投光された光(投光量1/2)を露光時間(2)だけ受光した場合、撮像部12の露光量は1/2×2=1である。フレーム3において、撮像部12が投光部11により投光された光(投光量1/4)を露光時間(4)だけ受光した場合、撮像部12の露光量は1/4×4=1である。このように、露光制御部14は、フレーム1〜3において、投光部11により投光された光に対する撮像部12の露光量が一定となるように、撮像部12及び投光部11の露光条件を制御する。露光制御部14は、フレーム4〜6においても同様に、撮像部12及び投光部11の露光条件を制御する。露光制御部14は、撮像部12の露光条件として、撮像部12の露光時間の代わりにレンズの絞り値を制御することができる。露光時間を長くする代わりに、絞り値を小さくすればよい。また、露光制御部14は、投光部11の露光条件として、投光部11の投光量の代わりに投光部11の投光時間を制御することができる。投光部11の投光量を増やす代わりに、投光時間を長くすればよい。
【0020】
フレーム4〜6の露光時間及び投光量は、フレーム1〜3とそれぞれ同じである。フレーム7〜9の露光時間も、フレーム1〜3とそれぞれ同じである。ただし、フレーム7〜9の投光量は、いずれも零である。つまり、フレーム7〜9は、投光部11が投光していない状態で撮像部12が撮像した画像に相当する。
【0021】
同期検波処理部13は、投光部11が投光している状態で撮像したフレーム1〜6の出力値から、投光部11が投光していない状態で撮像したフレーム7〜9の出力値を減算して同期検波画像KG1〜KG3を求める。例えば、投光状態で撮像したフレーム1及びフレーム4の出力値を平均したフレームから、フレーム1及びフレーム4と露光時間が等しいフレーム7の出力値を減算する。これにより、撮像対象Pからの反射光のうち投光した光の成分のみを抽出して、環境光の影響を軽減した同期検波画像が生成される。同様に、フレーム2及びフレーム5の出力値を平均したフレームから、フレーム2及びフレーム5と露光時間が等しいフレーム8の出力値を減算する。そして、フレーム3及びフレーム6の出力値を平均したフレームから、フレーム3及びフレーム6と露光時間が等しいフレーム9の出力値を減算する。このようにして、露光制御部14は、露光条件が異なる3つの同期検波画像KG1〜KG3が得られるように、撮像部12の露光時間及び投光部11の投光量を制御する。
【0022】
<同期検波ゲイン特性>
図3を参照して、撮像部12の受光素子に入射する光の輝度(受光量)と撮像部12の出力値との関係を説明する。図3の横軸は撮像部12の受光素子に入射する光の輝度(受光量)を示し、図3の縦軸は撮像部12の出力値を示す。線TCに示すように、受光量の増加に従って撮像部12の出力値は単調に増加する。しかし、受光量に対する出力値の増加率(同期検波ゲイン)は、受光素子の受光量に応じて変化する。具体的には、受光量が多い高輝度側及び受光量が少ない低輝度側の同期検波ゲインは、中間領域の同期検波ゲインに比べて低くなる。よって、撮像部12の出力特性を示す線TCには、高感度領域HSR、低感度領域LSR1及び領域LSR2が含まれる。
【0023】
同期検波画像KG1〜KG3は、投光部11が投光している状態で撮像したフレーム1〜6の出力値と、投光部11が投光していない状態で撮像したフレーム7〜9の出力値との差分からなる画像である。つまり、同期検波画像KG1〜KG3は、撮像部12が受光した光のうち投光部11が投光した光の成分のみを抽出した画像となる。しかし、撮像部12が受光した光のうち投光部11が投光した光の成分を除いた太陽光などの環境光の成分は、投光部11が投光した光の成分に比べて大きいのが一般的である。したがって、上記した撮像部12の出力特性によって、環境光の光量に応じて同期検波画像KG1〜KG3のコントラストにばらつきが生じてしまう場合がある。
【0024】
具体的には、環境光の光量が少ない同期検波画像では、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF1となる。環境光の光量が多い同期検波画像では、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF3となる。領域HOF1及び領域HOF3は低感度領域LSR1、LSR2に相当する。このため、投光部11が投光した光量(領域HOF1、領域HOF3)に対する撮像部12の出力値ROV1、ROV3の割合、つまり同期検波ゲインは小さくなる。
【0025】
これに対して、撮像部12が受光した光のうち投光部11が投光した光の成分が、図3の領域HOF2となる場合、同期検波画像は、撮像部12の高感度領域HSRを用いることができる。このため、投光部11が投光した光量(領域HOF2)に対する撮像部12の出力値ROV2、つまり同期検波ゲインは、大きくなる。
【0026】
したがって、1つの同期検波画像内に、例えば日向と日陰等の、環境光の光量が異なる複数の領域が含まれている場合、その領域毎に、撮像部12の感度領域HSR、LSR1、LSR2が異なってしまう。このため、1つの画像内でコントラストのばらつきが大きくなってしまう。
【0027】
<同期検波処理及び画像合成処理>
図4を参照して、同期検波処理部13による同期検波処理、及び画像生成部15による画像合成処理の具体例を説明する。図4は、図2に示したフレーム1〜3の各々に相当する輝度画像FG1〜FG3、図2の同期検波画像KG1〜KG3、及び同期検波画像KG1〜KG3を合成することにより生成された同期検波画像SYKGの一例を示す。
【0028】
図4に示す画像は、総て、画面の中央を水平方向に延びる白線WL(撮像対象P)を撮像した画像である。画面の左上の部分は日陰SHDの領域であり、画面の右下の部分は日向SUNの領域である。輝度画像FG1〜FG3において、撮像部12が受光した光のうち投光部11が投光した光の成分は等しいが、輝度画像FG1〜FG3の露光時間は異なる。このため、環境光の影響により、画像全体の輝度がFG1、FG2、FG3の順番で高くなる。
【0029】
同期検波画像KG1のうち、日向SUNの領域は、環境光の光量が多い領域であるため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF3となる。よって、同期検波画像KG1のうち、日向SUNの領域は、図3の低感度領域LSR2で撮像された画像となる。一方、同期検波画像KG1のうち、日陰SHDの領域は、環境光の光量が多くない領域であるため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF2となる。よって、同期検波画像KG1のうち、日陰SHDの領域は、図3の高感度領域HSRで撮像された画像となる。
【0030】
また、同期検波画像KG3は、同期検波画像KG1の比べて画像全体の輝度が低い。よって、同期検波画像KG3における日向SUNの領域は、環境光の光量が多くない領域となる。このため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF2となる。よって、同期検波画像KG3における日向SUNの領域は、図3の高感度領域HSRで撮像された画像となる。一方、同期検波画像KG1のうち、日陰SHDの領域は、環境光の光量が少ない領域となるため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF1となる。よって、同期検波画像KG1における日陰SHDの領域は、図3の低感度領域HOF1で撮像された画像となる。
【0031】
なお、同期検波画像KG2の画像全体の輝度は、同期検波画像KG1と同期検波画像KG3の間に位置する。よって、日向SUNの領域は、図3の高感度領域HSRと低感度領域LSR2の間の領域で撮像された画像となる。また、日陰SHDの領域は、図3の高感度領域HSRと低感度領域LSR1の間の領域で撮像された画像となる。したがって、図4の同期検波画像KG2のコントラストは、同期検波画像KG1の日陰SHDにおけるコントラストや、同期検波画像KG3の日向SUNにおけるコントラストに比べて、低くなってしまう。ただし、同期検波画像KG2の日向SUNの領域と日陰SHDの領域との間でコントラストの差は大きくならない。
【0032】
次に、画像生成部15による画像合成処理について説明する。画像生成部15は、露光条件が異なる3つの同期検波画像KG1〜KG3の出力値を同じ位置の画素同士で比較し、出力値が最も高い画素を選ぶ。具体的には、日陰SHDの領域について、3つの同期検波画像KG1〜KG3のうち同期検波画像KG1の出力値が最も高い。よって、日陰SHDの領域について同期検波画像KG1の画素を選択する。日向SUNの領域について、3つの同期検波画像KG1〜KG3のうち同期検波画像KG3の出力値が最も高い。よって、日向SUNの領域について同期検波画像KG3の画素を選択する。このように、同期検波画像を構成する画素の位置毎に、出力値が最も高い画素を選ぶ。そして、同期検波画像KG3の日向SUNの画素、及び同期検波画像KG1の日陰SHDの画素を各画素の位置に従って配列することにより、1つの同期検波画像SYKGを生成する。このようにして、画像生成部15は、露光条件が異なる3つの同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選び、選んだ画素を合成して同期検波画像を生成することができる。
【0033】
<撮像方法>
次に、図5を参照して、図1の撮像装置1を用いた本発明の実施形態に係わる撮像方法を説明する。
【0034】
先ず、ステップS101において、露光制御部14は、参照信号生成部17から出力される参照信号を読み出す。ステップS102に進み、露光制御部14は、投光部11により投光される投光量及び撮像部12の露光時間を設定する。
【0035】
ステップS103に進み、投光部11は、受信した同期パスル信号の受信タイミングに同期して投光し、撮像部12は、受信した同期パスル信号の受信タイミングに同期して画像を撮像する。投光部11は、PWM信号により強度変調された光を撮像対象Pに向けて照射する。
【0036】
ステップS104に進み、撮像装置1は、撮像した画像に光を照射したことを示す照射フラグ、及び周期情報を付加する。即ち、一検波周期で撮像される画像のうちの、何番目の画像であるかを示す情報を付加する。ステップS105に進み、画像情報記憶部16は、撮像した画像を記憶する。
【0037】
ステップS106に進み、撮像装置1は、一検波周期分の総てのフレーム1〜9が撮像されたか否かを判断する。一検波周期分の総てのフレーム1〜9が撮像されていない場合(S106でNO)、ステップS101に戻って、次のフレームを撮像する。一方、一検波周期分の総てのフレーム1〜9が撮像されている場合には(S106でYES)、ステップS107に進む。
【0038】
ステップS107において、撮像装置1は、図2に示した露光条件が異なる3種類のフレームが撮像されたか否かを判断する。露光条件が異なる3種類のフレームを撮像していない場合(S107でNO)、ステップS101に戻り、次のフレームを撮像する。露光条件が異なる3種類のフレームを撮像した場合(S107でYES)、ステップS108に進む。
【0039】
ステップS108において、同期検波処理部13は、画像情報記憶部16に記憶されている一検波周期分の輝度画像(フレーム1〜9)を読み出す。ステップS109に進み、同期検波処理部13は、一検波周期分の輝度画像に基づいて同期検波処理を行い、露光条件が異なる3種類の同期検波画像を生成する。
【0040】
ステップS110に進み、露光条件の異なる総ての同期検波画像KG1〜KG3が生成されたか否かを判断する。露光条件の異なる総ての同期検波画像KG1〜KG3が生成されていない場合(S110でNO)、ステップS108に戻り、次の同期検波画像を生成する。露光条件の異なる総ての同期検波画像KG1〜KG3が生成されている場合(S110でYES)、ステップS111に進む。
【0041】
ステップS111において、画像生成部15は、露光条件の異なる総ての同期検波画像KG1〜KG3の同じ位置の画素の出力値を読み出す。ステップS112に進み、画像生成部15は、同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選ぶ。ステップS113に進み、画像生成部15は、選んだ画素を各画素の位置に従って配列することにより、1つの同期検波画像SYKGを生成する。ステップS114に進み、画像出力部18は、生成された同期検波画像SYKGを下位システムへ出力する。ステップS115において、電源がオフされたと判断された場合、本処理を終了する。
【0042】
以上説明したように、本発明の実施形態によれば、以下の作用効果が得られる。
【0043】
露光制御部14が、露光条件が異なる2以上の同期検波画像KG1〜KG3が得られるように、撮像部12及び投光部11を制御する。画像生成部15が、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて同期検波画像SYKGを生成する。これにより、露光条件が異なる2以上の同期検波画像KG1〜KG3の中から、同期検波画像の出力値が高い領域を画素ごとに選んで1つの同期検波画像SYKGを生成することができる。よって、露光条件が異なる2以上の同期検波画像KG1〜KG3を用いて、画像全体でコントラストが安定した同期検波画像SYKGを生成することができる。
【0044】
画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1つの画素を選び、選んだ1つの画素を各画素の位置に従って配列して同期検波画像SYKGを生成する。これにより、2つ以上の画素を選択する場合に比べて画像生成部15が行う計算量が減少するので、画像処理速度が速くなる。
【0045】
画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選び、選んだ画素を各画素の位置に従って配列して配列して同期検波画像SYKGを生成する。これにより、コントラストが安定し、且つコントラストの強い同期検波画像SYKGを生成することができる。
【0046】
露光制御部14は、撮像部12の露光時間及び絞り値の少なくとも一方を制御することにより、露光条件を変化させる。これにより、露光条件が異なる2以上の同期検波画像KG1〜KG3を得ることができる。
【0047】
露光制御部14は、投光部11の投光量及び投光時間の少なくとも一方を制御することにより、露光条件を変化させる。これにより、露光条件が異なる2以上の同期検波画像KG1〜KG3を得ることができる。
【0048】
露光制御部14は、投光部11により投光された光に対する撮像部12の露光量が一定となるように撮像部12及び投光部11を制御する。これにより、画像全体でコントラストが安定した同期検波画像KG1〜KG3を生成することができる。
【0049】
<その他の実施形態>
上記した実施形態において、画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1つの画素を選んでいた。しかし、本発明はこれに限定されない。画像生成部15は、出力値が最も低い画素を除く他の画素の中から2つ以上の画素を選んでも構わない。この場合、画像生成部15は、選んだ2以上の画素を合成した画素を各画素の位置に従って配列して同期検波画像を生成することができる。ここで、「選んだ2以上の画素を合成した画素」には、選んだ2以上の画素の出力値を平均した画素が含まれる。また、選択した2つ以上の画素の出力値の大きさに応じて、選択した2つ以上の画素の出力値に対して重みづけを行ってもよい。
【0050】
画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選んでいた。しかし、本発明はこれに限定されない。画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が2番目に高い画素、3番目に高い画素、・・を選択しても構わない。
【0051】
露光制御部14は、図2に示したように、露光条件が異なる3つの同期検波画像KG1〜KG3を生成した。しかし、露光条件が異なる同期検波画像の数は3に限定されず、2或いは4以上であっても構わない。
【0052】
特願2012−210671号(出願日:2012年9月25日)の全内容は、ここに援用される。
【0053】
以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。
【産業上の利用可能性】
【0054】
本発明の実施形態に係わる撮像装置及び撮像方法によれば、露光条件が異なる2以上の同期検波画像の中から、同期検波画像の出力値が高い領域を画素ごとに選んで1つの同期検波画像を生成することができる。よって、画像全体でコントラストが安定した同期検波画像を生成することができる。本発明の実施形態に係わる撮像装置及び撮像方法は産業上利用可能性を有する。
【符号の説明】
【0055】
1 撮像装置
11 投光部
12 撮像部
13 同期検波処理部
14 露光制御部
15 画像生成部
KG1〜KG3 同期検波画像
SYKG 同期検波画像
【図1】
【図2】
【図3】
【図5】
【図4】

【手続補正書】
【提出日】20150415
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】変更
【補正の内容】
【0025】
これに対して、撮像部12が受光した光のうち投光部11が投光した光の成分が、図3の領域HOF2となる場合、同期検波画像は、撮像部12の高感度領域HSRを用いることができる。このため、投光部11が投光した光量(領域HOF2)に対する撮像部12の出力値ROV2の割合、つまり同期検波ゲインは、大きくなる。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0030
【補正方法】変更
【補正の内容】
【0030】
また、同期検波画像KG3は、同期検波画像KG1比べて画像全体の輝度が低い。よって、同期検波画像KG3における日向SUNの領域は、環境光の光量が多くない領域となる。このため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF2となる。よって、同期検波画像KG3における日向SUNの領域は、図3の高感度領域HSRで撮像された画像となる。一方、同期検波画像KG1のうち、日陰SHDの領域は、環境光の光量が少ない領域となるため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF1となる。よって、同期検波画像KG1における日陰SHDの領域は、図3の低感度領域LSR1で撮像された画像となる。

【手続補正書】
【提出日】20160427
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
上記目的を達成するため、本発明の一態様に係わる撮像装置は、投光している状態で撮像した画像の出力値から、投光していない状態で撮像した画像の出力値を減算して同期検波画像を求め、露光条件が異なる2以上の同期検波画像を生成し、露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて合成した同期検波画像を生成する。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項1
【補正方法】変更
【補正の内容】
【請求項1】
受光量に応じて出力値が変化する受光素子を用いて、画像を撮像する撮像部と、
前記撮像部による撮像に同期して、前記撮像部が画像を撮像する領域に投光する投光部と、
前記投光部が投光している状態で撮像した画像の出力値から、投光部が投光していない状態で撮像した画像の出力値を減算して同期検波画像を求める同期検波処理部と、
露光条件が異なる2以上の同期検波画像が得られるように、前記撮像部及び前記投光部を制御する露光制御部と、
前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて合成した同期検波画像を生成する画像生成部と、
を備えることを特徴とする撮像装置。
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項8
【補正方法】変更
【補正の内容】
【請求項8】
受光量に応じて出力値が変化する受光素子を用いて、画像を撮像し、
前記画像の撮像に同期して、前記画像を撮像する領域に投光し、
投光している状態で撮像した画像の出力値から、投光していない状態で撮像した画像の出力値を減算して同期検波画像を求め、
前記画像の撮像における露光条件が異なる2以上の同期検波画像が得られるように、前記画像の撮像及び投光を制御し、
前記2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて合成した同期検波画像を生成する
ことを特徴とする撮像方法。

【国際調査報告】