(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2019522442
(43)【公表日】20190808
(54)【発明の名称】リセット及び平均信号値による適応的XDR
(51)【国際特許分類】
   H04N 5/355 20110101AFI20190712BHJP
   H04N 5/374 20110101ALI20190712BHJP
【FI】
   !H04N5/355
   !H04N5/355 720
   !H04N5/374
【審査請求】未請求
【予備審査請求】未請求
【全頁数】27
(21)【出願番号】2019504748
(86)(22)【出願日】20170728
(85)【翻訳文提出日】20190328
(86)【国際出願番号】US2017044503
(87)【国際公開番号】WO2018023065
(87)【国際公開日】20180201
(31)【優先権主張番号】62/368,142
(32)【優先日】20160728
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】507310307
【氏名又は名称】インテヴァック インコーポレイテッド
【住所又は居所】アメリカ合衆国 カリフォルニア州 95054 サンタ クララ バセット ストリート 3560
(74)【代理人】
【識別番号】100121728
【弁理士】
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100165803
【弁理士】
【氏名又は名称】金子 修平
(74)【代理人】
【識別番号】100170900
【弁理士】
【氏名又は名称】大西 渉
(72)【発明者】
【氏名】チエウ, シメオン ス−ミン
【住所又は居所】アメリカ合衆国 カリフォルニア 95135 サンノゼ ボルテア・ストリート 4242
(72)【発明者】
【氏名】ウィルク, エミル アブラハム
【住所又は居所】アメリカ合衆国 カリフォルニア 95127 サンノゼ フェラー・アヴェニュー 901
【テーマコード(参考)】
5C024
【Fターム(参考)】
5C024CX43
5C024GX03
5C024GY31
5C024GZ01
5C024HX29
5C024JX41
(57)【要約】
光センサのダイナミックレンジを動的に制御して、特に画像の暗領域及び明領域において画像細部を改善する。少なくとも1つのリセットしきい値と1つのリセット値が設定される。フレーム積分の終了時に、平均画素値とリセットされなかった最明画素値とが決定され、それに基づいて、リセットしきい値とリセット値との少なくとも1つを変化させる。変化により、より多い・より少ない画素をリセットするようにリセットしきい値を減少・増加させる、リセット値を減少・増加させることで、画素をより小さい・より大きい値にリセットさせる、又はリセットのタイミングを変化させる。一部の実施形態において、リセットしきい値及びリセット値のための演算値は前のNフレームの演算値と平均され、結果を次のフレームに適用する。
【選択図】図1
【特許請求の範囲】
【請求項1】
光センサの出力信号の積分を動的に制御する方法であって、
積分期間tにおいて前記光子センサの各画素に対して前記出力信号を連続的に積分するフレームを開始するステップと、
前記積分期間tより短い第1リセット時間tを定めるステップと、
それを超える画素がリセットされる値を定める第1リセットしきい値を設定するステップと、
画素がリセットされる値を定める第1リセット値を設定するステップと、
前記第1リセット時間において、前記第1リセットしきい値よりも大きい値を有するすべての画素を前記第1リセット値にリセットするステップと、
前記積分期間の終了時に平均画素値を決定するステップと、
前記平均画素値に基づいて、次のフレームのための前記第1リセットしきい値と前記第1リセット値との少なくとも1つに新しい値を設定するかどうかを判定するステップと、を含む方法。
【請求項2】
前記第1リセットしきい値に新しい値を設定することは、前記フレームの終了時の平均画素値に等しくなるように前記第1リセットしきい値を設定することを含む、請求項1に記載の方法。
【請求項3】
前記第1リセットしきい値に新しい値を設定することは、前記フレームの終了時のリセットされなかった最明画素値に等しくなるように前記第1リセットしきい値を設定することを含む、請求項1に記載の方法。
【請求項4】
前記第1リセットしきい値に新しい値を設定することは、前記平均画素値をビンの総数で除算することで平均画素値比率を演算すること、前記平均画素値比率を1から減算してミラー化平均画素値比率を得ること、及び前記ミラー化平均画素値比率を前記ビンの総数で乗算することを含む、請求項1に記載の方法。
【請求項5】
前記第1リセット値に新しい値を設定することは、前記フレームのヒストグラムにおいて、最暗画素値からリセットされなかった最明画素値までの直線上にある画素値を演算することを含む、請求項1に記載の方法。
【請求項6】
前記第1リセット値に新しい値を設定することは、前記フレームのヒストグラムにおいて、時間tと、最暗画素値からリセットされなかった最明画素値までの直線との交点上の画素値を演算することを含む、請求項1に記載の方法。
【請求項7】
スケール因子を設定すること、及び、次のフレームのための前記第1リセットしきい値と前記第1リセット値との少なくとも1つを変化させる必要があると判定したとき、次のフレームのための前記第1リセットしきい値と前記第1リセット値との少なくとも1つに前記スケール因子を適用することをさらに含む、請求項1に記載の方法。
【請求項8】
次のフレームのための前記第1リセットしきい値と前記第1リセット値との少なくとも1つを変化させる必要があると判定したとき、前記第1リセット時間tの値を変更することをさらに含む、請求項1に記載の方法。
【請求項9】
次のフレームのための前記第1リセットしきい値と前記第1リセット値との少なくとも1つを変化させると判定したとき、ヒステリシスを適用することをさらに含む、請求項1に記載の方法。
【請求項10】
ヒステリシスを適用することは移動平均を適用することを含む、請求項1に記載の方法。
【請求項11】
前記積分期間tより短いが前記第1リセット時間tより長い第2リセット時間tを定めること、
第2リセットしきい値を定めること、
第2リセット値を定めること、及び
前記積分期間の終了時に、次のフレームのための前記第2リセットしきい値と前記第2リセット値との少なくとも1つに新しい値を設定するかどうかを判定することをさらに含む、請求項1に記載の方法。
【請求項12】
前記第2リセットしきい値に新しい値を設定することは、前記第1リセットしきい値より大きい値を有する画素のみを使用して演算した平均画素値に相当する第2の平均画素値に基づいて前記第2リセットしきい値を設定することを含む、請求項11に記載の方法。
【請求項13】
前記第2リセットしきい値に新しい値を設定することは、前記フレームの終了時の1回のみリセットされた最明画素値に等しくなるように前記第2リセットしきい値を設定することを含む、請求項11に記載の方法。
【請求項14】
前記第2リセットしきい値に新しい値を設定することは、前記第2の平均画素値をビンの総数で除算して第2の平均画素値比率を得ることをさらに含む、請求項12に記載の方法。
【請求項15】
前記第2の平均画素値比率を前記第1リセットしきい値より大きい値のビンの総数で乗算することをさらに含む、請求項14に記載の方法。
【請求項16】
前記第2の平均画素値比率を1から減算してミラー化比率を得ること、及び前記ミラー化比率を前記第1リセットしきい値より大きい値のビンの総数で乗算することをさらに含む、請求項14に記載の方法。
【請求項17】
前記第1リセットしきい値に等しいオフセット値を加算することをさらに含む、請求項16に記載の方法。
【請求項18】
光学センサを動的に制御する方法であって、
フレームを開始して、期間tにおいて前記センサのすべての画素の出力信号を積分するステップと、
前記フレームの終了前に、プリセット時間tにおいて、リセットしきい値Rよりも大きい輝度値を有するすべての画素をRよりも小さいリセット値R´にリセットするステップと、
期間tに達すると前記すべての画素の出力信号の積分を終了して、前記フレームの平均画素値を演算するステップと、
前記平均画素値に基づいてRとR´との少なくとも1つのための新しい値を演算するステップと、を含むステップを再帰的に行うことでなされる方法。
【請求項19】
前記平均画素値が明画像に相当するとき、RとR´との少なくとも1つのための新しい値を演算することは、現在の値より小さい値を演算することを含む、請求項18に記載の方法。
【請求項20】
前記平均画素値が暗画像に相当するとき、RとR´との少なくとも1つのための新しい値を演算することは、現在の値より大きい値を演算することを含む、請求項18に記載の方法。
【請求項21】
前記平均画素値が明画像に相当するとき、前記方法は、時間tのためのより小さい値を演算することをさらに含む、請求項18に記載の方法。
【請求項22】
前記平均画素値が暗画像に相当するとき、前記方法は、時間tのためのより大きい値を演算することをさらに含む、請求項18に記載の方法。
【請求項23】
時間tの後だが期間tよりも前である第2プリセット時間tにおいて、Rよりも大きいものである第2リセットしきい値Rよりも大きい輝度値を有するすべての画素を第2リセット値R´にリセットすること、及び
期間tの後、Rよりも大きい値を有する画素のみを使用して演算した第2の平均画素値に基づいてRとR´との少なくとも1つのための新しい値を演算することをさらに含む、請求項18に記載の方法。
【請求項24】
のための新しい値を演算することは、
【数1】
又は
【数2】
又は
【数3】
の関係のうちの1つを使用して行われ、Rのための新しい値を演算することは、
【数4】
又は
【数5】
又は
【数6】
の関係のうちの1つを使用して行われ、Lは前記センサのビンの総数であり、S1及びS2はスケール因子を含む、請求項23に記載の方法。
【請求項25】
R´のための新しい値を演算することは、
【数7】
の関係を使用して行われ、R´のための新しい値を演算することは、
【数8】
の関係を使用して行われ、O平均は、前記センサの最暗画素値である、請求項24に記載の方法。
【請求項26】
前記新しい値を、N個の前のフレームに対して演算した新しい値と平均して、平均の新しい値を得ること、及び前記平均の新しい値を次のフレームに適用することをさらに含む、請求項18に記載の方法。

【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本願は、2016年7月28日に出願した米国仮出願第62/368,142号の優先権を主張し、その開示のすべてが本明細書に援用される。
【背景技術】
【0002】
[1.技術分野]
本発明は、特に低光量において、有用な画像をイメージング又は検出するソフトウエア、デバイス、及び方法に関する。画像は、任意のデジタルカメラの任意の光センサを使用して取得することができる。低光での利用において、画像は、低光量、すなわち暗視で検出又はイメージングするために光電陰極を用いて電子衝撃モードで受動型画素センサを使用して取得することができる。
【0003】
[2.関連技術]
イメージングセンサは、フレーム期間に入射信号又は信号のアレイ(画素)を積分することで画像を構成する。この期間に、信号がデバイス内に捕集されると、各画素の読み出しレベルが変化し、画素によって検知された光の相対量を示す。
【0004】
最小測定可能信号は、累積信号の読み取りに使用されるセンサの感度(感度しきい値)及びデバイスの精度によって制限される。感度の増大はより小さい信号の検出を可能にする一方で、精度は異なる信号レベルを解像するセンサの性能に対応する。最大積分信号は、この捕集信号を記憶するセンサの容量によって制限される。より大きな信号はより早く累積し、積分期間によってはそれを測定する画素の能力を超えることがある。最大信号量を記憶するとセンサは飽和したとされ、任意のさらなる信号は失われる。したがって、センサは、用途に基づいて、感度しきい値と、読み出し精度と、容量との均衡をはかる必要がある。
【0005】
Intevac Silicon Imaging Engine(ISIE)は、フレーム内部分リセット機能を取り入れている。この「ソフトリセット」は、所定の段階において飽和値を上げる効果がある。一般に、リセットという用語は画素がゼロにリセットされるときに使用される。しかしながら本記載の文脈では、「リセット」という省略表現は、「ソフトリセット」を指すように使用され、画素がゼロにリセットされるのではなく、現在の値より小さいゼロでない値にリセットされることを意味する。例えば、標準の256グレーレベルにおいて、積分期間終了前のある時点で、例えば180を超える値を有するすべての画素は、すべての画素の積分を継続しながら、例えば120にリセットすることができる。
【0006】
ソフトリセット後、ISIEセンサは、全積分期間の残りにおいて積分を継続する。ソフトリセットしきい値を超えた画素は、オフセットとしてのリセットしきい値からこの新しい積分期間を開始する。ソフトリセットより低い画素は信号の正常な捕集を継続する。複数リセットレベルと分数積分期間は単一フレーム内に配置することができる。特定数の積分期間後、カメラはこれらの積分を画像空間にマッピングする。積分期間とリセットレベルとが既知である限り、マッピングは複雑ではない。
【0007】
例えば、懐中電灯を持つひとが別の暗いシーンに入る場合、懐中電灯に照らされるすべての画素は飽和する。センサ画素は、コンデンサに光電子を捕集する。明光源がコンデンサをその容量が許容するよりも多い光電子で飽和させると、さらなる信号情報は失われる。つまり、懐中電灯で照らされた物体は画像において細部を失う。積分期間を短くする、又はより暗いレンズを使用する場合、明領域の細部は解像され得るが、暗領域の細部は失われるか又は得られにくくなる。さらに、懐中電灯自体は、それが照らすシーンよりも100〜1000倍明るく、これはレンズフレア、鏡面曇り(specular haze)、又は他のグレア関連アーチファクトをもたらし得る。
【0008】
既知のフレーム分数でソフトリセットを実行することで、センサは、シーンの暗部分の細部を保持し、またより明るい領域に対してより短い期間、信号の捕集を継続し、同じシーンの連続的により明るい部分に対して再びリセットと積分とを行うことができると考えられる。
【0009】
ISIEを用いたセンサは、信号を積分するためのリセットレベルと時間定数とを利用して、種々の照度レベルのシーンのダイナミックレンジを増大可能である。これは、センサの精度を上げるわけではないが、特定の積分期間に記憶した信号の大きさに時間成分を加えて、有効な画素容量をスケーリング可能にする。
【0010】
デジタルカメラなどのデジタル画像デバイスのダイナミックレンジは、デバイスが正確に測定できるとともに固有画像雑音(電気、熱など)から区別できる最小光量に対する、デバイスが飽和せずに撮像できる最大光量の比率である。
【0011】
通常の画像センサでは、積分期間後の各フレームの終了時、画像センサはコンデンサ電圧をリセットして次のフレームの光電子を受け取る。この構成において、画素は飽和になり得る。拡張ダイナミックレンジ(extended dynamic range、XDR)センサは、フレームの積分期間が完了する前に、光ダイオードにおける電圧レベルが所定の電圧しきい値を超えたときのみ、画素電圧を部分的にリセットすることで、失われた信号を取得するために使用される。これらの部分リセットの目的は、明光源が画素を飽和させるとき、これらの飽和画素の積分時間を延長して、さらなる光電子を捕集することである。リセット電圧を制御する可能な方法は、リセット電圧をスケーリングするためにデジタル−アナログ変換器(DAC)を使用することであり得る。
【0012】
標準XDRでは、XDRパラメータは固定され、フレームごとに変化しない。固定XDRの主な不利な点は、シーンが変わるときにXDRパラメータは最適でないことがあり、リセットピクセルが多くなるか少なくなって、不十分なコントラスト又は非常に雑音の多い画像を生成することである。つまり、シーンは実験室では十分にキャリブレーションされているが、現場に持っていくと所望の画像を描写できないことがある。例えば、すべての可能な偶発性に適する最良のXDRパラメータにより、適度な町の明かりで照らされて平坦で不自然に見えるシーンとなる。他の例では、カメラは直線性ダイナミックレンジを最大化するように構成されて、所定の画素に対する十分なダイナミックレンジを配分できなかったということである。このため、例えば明光源に近接した領域がウォッシュアウトされ、画像の細部が失われた、「コットンボール効果」をもたらす低コントラストの領域が生成され得る。
【0013】
さらなる情報を得るため、読者には特許文献1及び特許文献2、及び特許文献3を提示する。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】米国特許第6,307,586号明細書
【特許文献2】米国特許第7,411,168号明細書
【特許文献3】米国特許出願公開第2014/0002694号明細書
【発明の概要】
【0015】
以下の発明の概要は、本発明におけるいくつかの態様及び特徴の基本的な理解を得るために含まれる。この発明の概要は本発明の広範囲の概略ではなく、それ自体特に本発明の不可欠又は重要な要素を特定すること、又は本発明の範囲を詳述することを意図しない。その唯一の目的は、以下に記載されるより詳細な説明の前置きとして簡易な形態の本発明のいくつかの概念を提示することにある。
【0016】
本発明の実施形態では、画像センサのリセットパラメータの動的な(実行中の)調節が可能になる。これらの実施形態では、画像の非常に明るい領域又は非常に暗い領域を、特に、画像シーケンスが生成されるときこれらの明るい及び/又は暗い領域が経時で変化し得る場合に扱う画像センサの性能が向上する。一例は、画像が主にダイナミックレンジのローエンドの画素からなるような、暗い部屋に入ることであり、懐中電灯を点灯すると、主にダイナミックレンジのハイエンドの画素を有する画像が生成され得る。XDRパラメータの動的制御を使用して、暗画像と明画像との細部を向上させることができる。
【0017】
開示の実施形態において、光センサのダイナミックレンジは、特に画像の暗領域と明領域において画像細部を改善するために動的に制御される。少なくとも1つのリセットしきい値と1つのリセット値とが設定される。フレーム積分の終了時に、平均画素値とリセットされなかった最明画素値とが決定され、それに基づいて、リセットしきい値とリセット値との少なくとも1つを変化させる。変化により、より多い・より少ない画素をリセットするようにリセットしきい値を減少・増加させる、リセット値を減少・増加させることで、画素をより小さい・より大きい値にリセットさせる、又はリセットのタイミングを変化させる。一部の実施形態において、リセットしきい値及びリセット値のための演算値は前のNフレームの演算値と平均し、結果を次のフレームに適用する。
【0018】
開示の実施形態において、光子センサの出力信号の積分を動的に制御する方法が提供され、積分期間tにおいて光子センサの各画素に対して出力信号を連続的に積分するフレームを開始するステップと、積分期間tより短い第1リセット時間tを定めるステップと、それを超える画素がリセットされる値を定める第1リセットしきい値を設定するステップと、画素がリセットされる値を定める第1リセット値を設定するステップと、第1リセット時間において、第1リセットしきい値よりも大きい値を有するすべての画素を第1リセット値にリセットするステップと、積分期間の終了時に、平均画素値を決定するステップと、平均画素値に基づいて、次のフレームのための第1リセットしきい値と第1リセット値との少なくとも1つに新しい値を設定するかどうかを判定するステップと、を含む。第1リセットしきい値に新しい値を設定することは、フレームの終了時の平均画素値に等しくなるように、又はフレームの終了時のリセットされなかった最明画素値に等しくなるように、第1リセットしきい値を設定することを含むことができる。第1リセットしきい値に新しい値を設定する方法は、平均画素値をビンの総数で除算することで平均画素値比率を演算すること、平均画素値比率を1から減算してミラー化平均画素値比率を得ること、及びミラー化平均画素値比率をビンの総数で乗算すること、を含むことができる。第1リセット値に新しい値を設定する方法は、フレームのヒストグラムにおいて、最暗画素値からリセットされなかった最明画素値までの直線上にある画素値を演算すること、又は、フレームのヒストグラムにおいて、第1リセット時間tと、最暗画素値からリセットされていない最明画素値までの直線との交点上の画素値を演算すること、を含むことができる。該方法は、スケール因子を設定すること、及び、次のフレームのための第1リセットしきい値と第1リセット値との少なくとも1つを変化させる必要があると判定したとき、次のフレームのための第1リセットしきい値と第1リセット値との少なくとも1つにスケール因子を適用することをさらに含むことができる。該方法は、次のフレームのための第1リセットしきい値と第1リセット値との少なくとも1つを変化させる必要があると判定したとき、第1リセット時間tの値を変更することをさらに含むことができる。該方法は、ヒステリシスしきい値を設定すること、及び、次のフレームのための第1リセットしきい値と第1リセット値との少なくとも1つを変化させると判定したとき、変化値を算出して、変化値がヒステリシスしきい値を超える場合のみ第1リセットしきい値と第1リセット値との少なくとも1つを変化させることさらに含むことができる。
【0019】
該方法は、積分期間tより短いが第1リセット時間tよりも長い第2リセット時間tを定めること、第2リセットしきい値を定めることと、第2リセット値を定めること、積分期間の終了時に、第2の平均画素値を決定すること、及び第2の平均画素値に基づいて、次のフレームのための第2リセットしきい値と第2リセット値との少なくとも1つに新しい値を設定するかどうかを判定すること、を含む。第2リセットしきい値に新しい値を設定することは、第1リセットしきい値より大きい値を有する画素のみを使用して演算した平均画素値に相当する第2の平均画素値に基づいて第2リセットしきい値を設定すること、又は、フレームの終了時の1回のみリセットされた最明画素値に等しくなるように第2リセットしきい値を設定することを含むことができる。第2リセットしきい値に新しい値を設定することは、第2の平均画素値をビンの総数で除算して第2の平均画素値比率を得ること、及び第2の平均画素値比率を第1リセットしきい値より大きい値のビンの総数で乗算すること、をさらに含むことができる。該方法は、第2の平均画素値比率を1から減算してミラー化第2比率を得ること、及びミラー化第2比率を第1リセットしきい値より大きい値のビンの総数で乗算すること、をさらに含むことができる。該方法は、第1リセットしきい値に等しいオフセット値を加算することをさらに含むことができる。
【0020】
さらなる開示の態様において、光学センサを動的に制御する方法は、フレームを開始して、期間tにおいて、センサのすべての画素の出力信号を積分するステップと、フレームの終了前に、プリセット時間tにおいてリセットしきい値Rよりも大きい輝度値を有するすべての画素をRよりも小さいリセット値R´にリセットするステップと、期間tに達するとすべての画素の出力信号の積分を終了してフレームの平均画素値を演算するステップと、平均画素値に基づいてRとR´との少なくとも1つのための新しい値を演算するステップと、を含むステップを再帰的に行うことでなされる。該方法において、平均画素値が明画像に相当するとき、RとR´との少なくとも1つのための新しい値を演算することは、現在の値より小さい値を演算することを含み、平均画素値が暗画像に相当するとき、RとR´との少なくとも1つのための新しい値を演算することは、現在の値より大きい値を演算することを含む。また、該方法は、平均画素値が明画像に相当するとき、時間tのためのより小さい値を演算すること、平均画素値が暗画像に相当するとき、時間tのためのより大きい値を演算することをさらに含むことができる。
【0021】
該方法は、時間tの後だが期間tよりも前である第2プリセット時間tにおいて、Rよりも大きいものである第2リセットしきい値Rよりも大きい輝度値を有するすべての画素を第2リセット値R´にリセットすること、及び期間tの後、Rよりも大きい値を有する画素のみを使用して演算した第2の平均画素値に基づいてRとR´との少なくとも1つのための新しい値を演算することをさらに含むことができる。
【0022】
該方法において、Rのための新しい値を演算することは、
【数1】
又は
【数2】
又は
【数3】
の関係のうちの1つを使用して行うことができ、
のための新しい値を演算することは、
【数4】
又は
【数5】
又は
【数6】
の関係のうちの1つを使用して行うことができ、
Lはセンサのビンの総数であり、S1及びS2はスケール因子を含む。
また、R´のための新しい値を演算することは、
【数7】
の関係を使用して行うことができ、
R´のための新しい値は、
【数8】
の関係を使用して得ることができ、
平均は、センサの最暗画素値である。
【0023】
該方法は、新しい値を、N個の前のフレームに対して演算した新しい値と平均して、平均の新しい値を得ること、及び平均の新しい値を次のフレームに適用することをさらに含むことができる。
【0024】
この明細書に含まれるともにこの明細書の一部をなす添付の図面は、本発明の実施形態を例示するものであり、詳細な説明とともに、本発明の原理を記載して示す役割を担う。図面は、概略的に例示の実施形態の主な特徴を示すことを意図する。図面は、実際の実施形態のすべての特徴も示される要素の相対的寸法も示すことを意図するものではなく、正確な縮尺で描かれていない。
【図面の簡単な説明】
【0025】
【図1】図1は、デュアルスロープ領域において狭いダイナミックレンジを有する画像のヒストグラムを示す。
【図2】図2は、デュアルスロープ領域においてダイナミックレンジの増大したヒストグラムを示す。
【図3】図3において、図3Aは、ダイナミックレンジの減少した最初の固定XDRヒストグラムを示し、図3Bは、ダイナミックレンジの増大した適応的XDRヒストグラムを示す。
【図4】図4は、フレーム期間における、リセットしきい値及びリセット平均値対積分時間を示す。
【図5】図5は、一実施形態における光センサ回路を示す。
【発明を実施するための形態】
【0026】
ここで、創意に富んだ適応的XDRの実施形態を図面に関して記載する。種々の実施形態又はそれらの組合せは、異なる用途に、又は異なる有利性を得るために、用いることができる。得ようとする結果によって、本明細書に開示の種々の特徴を、部分的に又はそのすべて、単独又は他の特徴と組み合わせて使用して、利点を要件や制約と両立させることができる。ゆえに、特定の有利性が種々の実施形態において強調されるが、開示の実施形態に限定されるわけではない。すなわち、本明細書に開示の特徴は、それらが記載される実施形態に限定されるわけではなく、他の特徴と「様々に組み合わせられ」て、他の実施形態に組み込むことができる。また、特に記載されないが、すべての実施形態において、光センサの出力は最終的にスクリーンに表示される。
【0027】
種々の画像のヒストグラムが図1〜図3Bに示される。X軸は、特定のグレーレベルの画素ビン(例えば、標準のL=256グレーレベルでは、ゼロは黒色で軸であり、255は白色で右側である)であり、Y軸は、特定のグレーレベルで読み取ったセンサの画素数である。ヒストグラムにおいて、0〜Rの領域はシングルスロープ領域と呼ばれ、Rは第1リセットしきい値である。Rより大きい値を有する画素は第1の時間にリセットされる。第1リセットに含まれる画素はR〜Rである。R〜Rの領域は、デュアルスロープ領域と呼ばれる。デュアルスロープ領域の画素は、シングルスロープ領域の画素より低いSNRを有する。Rより大きい値を有する画素は第2の時間にリセットされる。第2リセットに含まれる画素はR〜L(標準グレーレベルスケールではL=256、又は、より高解像度のシステムでは1024などより大きい数である)である。R〜Lの領域は、トリプルスロープ領域と呼ばれる。トリプルスロープ領域の画素は、デュアルスロープ領域の画素より低いSNRを有する。
【0028】
図1は、不十分なコントラストの像を含むウォッシュアウト領域をもたらす懐中電灯のヒストグラムを示す。これは、いわゆる「コットンボール効果」の例である。開示の実施形態において、この課題を解決する手段は、動的シーンに適応するように動的にXDRパラメータを変えることである。この適応的XDR方法は、シーンにおいて必要なときダイナミックレンジを増大させ、また、できるだけ少ない画素をリセットすることで、全体的な信号対雑音比(SNR)を大きくすることができる。一部の開示の実施形態では、これはR及びRの値を動的に変化させて行われる一方、他の実施形態では、R´及びR´の値並びに/又はリセットのタイミングも変化させることができる。他の変形は、特定の実施例に関して以下に記載する。
【0029】
開示の実施形態において、XDRパラメータの動的制御は、すべての画素にリアルタイムで行うことができる。この文脈において、「リアルタイム」という用語は、画像又は画像データを受信又は撮像すると直ちに画像を処理することを指す。つまり、リアルタイムとは、画像を受信する(又は撮像する)のと少なくとも同じ速度で画像を処理することを指す。例えば、30fpsの速度では、XDRパラメータは30回演算されるが、各フレームに変化は必要ない、又は適用されないことがある。一方で、一部の適用では、XDRパラメータの動的制御はリアルタイムである必要はなく、例えばx個のフレーム毎後に、又はヒストグラムにおける変化がプリセットしきい値を超えたときのみなど、むしろより遅い速度で行われる。他の選択肢は、変化を前のN個のフレームの変化と平均するために、変化毎に変化を演算して、移行を滑らかにすることである。実施形態の操作は、以下のようになされ得る。
【0030】
時間tとする、フレーム捕捉開始時に、すべての画素はゼロのビンにある(雑音より大きくてシステムが判別できる最暗レベル)。暴露時間に、画素は輝度を積分して、その対応するビンに分散し始める。所定のプリセット時間tにおいて、リセットしきい値Rを超える(すなわちより明るい)すべての画素は、R´とされる、より小さい値にリセットされる(図1の点線矢印で示す)。積分がさらに進行すると、tとされる第2の時間において、Rを超えるすべての画素はより小さい値R´にリセットされる。フレーム終了時、すなわち積分時間t終了時に、図1に示すヒストグラムが得られる。
【0031】
フレームから得られたヒストグラムには、デュアルスロープ領域において大きいピークがあるので、デュアルスロープ領域のピークに起因する高照度のため、画像の多くの細部が失われる。開示の実施形態において、画像のダイナミックレンジを調節することで画像を向上させる。これは、XDRパラメータの値を調節することで行うことができる。
【0032】
図2は、R及びRの値を移動させることでダイナミックレンジをさらにウォッシュアウト領域に配分して、コントラストを増大し、さらなる細部を与えることを示す。この例では、Rは左に移動した(設定点減少)。Rの値も少量だが減少して、RとRとの距離が長くなった、すなわち、2重スロープ領域の距離が大きくなった。つまり、この実施形態を考える1つの方法は以下のとおりである。光センサのダイナミックレンジを向上させる方法は、フレーム期間tにおいて、光センサのすべての画素の出力信号を積分すること、第1リセットしきい値Rと第2リセットしきい値Rとを設定して、第1リセットしきい値Rと第2リセットしきい値Rとの間の幅を有するスロープ領域を定めること、スロープ領域における画素の集中度を判定すること、及び第1リセットしきい値Rと第2リセットしきい値Rとの少なくとも1つを調節してスロープ領域の幅を変化させることを含む。また、実施形態は光センサのダイナミックレンジを向上させる方法として記載されることができ、フレーム期間tにおいて、光センサのすべての画素の出力信号を積分すること、0〜Nの値を有する複数の輝度ビンを設定すること、0〜Nの値を有する第1リセットしきい値RとR〜Nの値を有する第2リセットしきい値Rとを設定して、0〜Rの幅を有する第1スロープ領域とR〜Rの幅を有する第2スロープ領域とR〜Nの幅を有する第3スロープ領域とを定めること、第1スロープ領域と第2スロープ領域と第3スロープ領域とにおける画素の集中度を判定すること、及び第1リセットしきい値Rと第2リセットしきい値Rとの少なくとも1つを調節して第1スロープ領域と第2スロープ領域と第3スロープ領域との少なくとも1つの幅を変化させることを含む。
【0033】
以下の数値例はこの操作の理解を助けるものである。図1のフレームのものについてみると、Rは130に設定され、Rは220に設定された。また、R´は110に設定され、R´は200に設定された。時間tにおいて、130よりも明るいすべての画素は110にリセットされる。そして、tにおいて、220よりも明るいすべての画素は200にリセットされる。図1の例の特定の場合に、いわゆる「コットンボール効果」になる。この効果を避けるため、次のフレームに対して値が調節され、例えばRを100に設定し(すなわち第1リセットは図1のリセットには含まれないいくつかの画素を含む)、第1スロープ領域の幅が狭くなる。Rの値は200に設定されて、第3スロープ領域の幅が広くなる。Rも左に移動するが、Rの移動より少ないビン数だけ移動して、RとRとの距離、すなわち第2スロープ領域の幅が90から100に広がる。また、この例において、R´の値は80に設定され、R´の値は180に設定される。本質的に、この方法の効果は、各リセットの際にリセットされる画素数を動的に変化させることである。さらに、この方法は、各リセットの際にリセット値を動的に変化させるために使用することができる。すなわち、R及びRの値は、リセットの際にリセットされる画素数を制御する一方で、R´及びR´の値は、リセットの際にリセット画素がとるリセット値を制御する。本発明の実施形態において、カットオフビンの値(リセットしきい値R及びR)とリセット値(R´及びR´)とのいずれか又は両方を動的に変化させることができる。
【0034】
本方法の操作のさらなる例は以下のとおりである。例えば、任意の明光源をシーンに含まない場合、全体的なSNRとダイナミックレンジとを増大させることから、シングルスロープ領域内の領域を最大化することが望ましいことがある。例えば、センサが影の多い暗領域をイメージングするとき、画像の多くの細部が失われ得る。図3bは、原画像である図3aと比較して、適応的XDRがダイナミックレンジを増大させた場合を示す。この特定の場合に、Rの値は大きくしたがRの値は小さくした。Rの値を大きくすることにより、より多くの画素がリセットされることなく信号を積分する、又は少なくとも第1リセットを回避することができた。すなわち、第1スロープ領域の幅が広くなる。Rの値を小さくすることにより、いくつかの画素をトリプルスロープ領域に入れることができて、全般的に画像が明るくなるが、飽和を避けることができる。RとRとの距離が狭くなる、すなわち、2重スロープ領域が狭くなるので、Rの増加によりいくつかの画素が飽和になる可能性がある場合に、第2リセットにそれらの画素を含むこと、すなわち第3スロープ領域の幅を広くすることによりそうした結果を避けることができる。
【0035】
経時でシーンが変わって、センサから異なる反応を得るようになり得るので、開示の実施形態では、R及びR並びに/又はR´及びR´を実行中に調節することでセンサを動的に最適化する。このように、画像を生成するとき各シーンに対して最適リセットレベルを得ること、又は、例えば、設定しきい値を超えてヒストグラムの変化をもたらす量だけシーンの全般的な照明が変わるとき適切な変化を行うことができる。
【0036】
以下は、XDRニーポイント(すなわちR及びRのカットオフビン値)を動的に得るための例示の実施形態を提示するものである。種々の状況の実施例としていくつかの実施形態が示されるが、実施形態のいずれか1つ又は組合せを実施することができることが理解される必要がある。
【実施例】
【0037】
XDRニー、実施例1
この実施形態は、これらに限定されないが、薄暗い、鏡面の、又は拡散した照明などの状況において使用することができる。この実施例では、R及びRの2つのニーポイント(リセットしきい値)を使用する。Rの目的は、影を光から分けることである。例えば、以下に示すようにR及びRを演算することで、2つのリセットしきい値の場合を実施することができる。
【0038】
第1ニーポイント(リセットしきい値としても言及されることがある)Rは、
【数9】
によって得られる。L=ビン総数(例えば、標準グレースケールでは256、拡張グレースケールでは1024など)である。総画素数で除算した全画素値の合計は、フレームの平均画素値を表す。そして、平均画素値をビン総数であるLで除算して、0〜1の値を生成する。この結果は平均画素値比率を表す。この特定の実施例において、1と比率との相違を計算して比率をミラー化し、これがRを暗いシーンに関して上へと移動させ、明るいシーンに関して下に移動させることを可能にする。すなわち、平均画素値比率の値が0.5未満である場合(より暗いシーンを表す)、ミラー化することでRの値を右に移動する一方で、平均画素値比率の値が0.5を超える場合(より明るいシーンを表す)、ミラー化することでRの値を左に移動する。最後に、単に0〜1の比率の数であるミラー化した結果を、Lで乗算することでデジタル数に変換する。
【0039】
の目的は、直射光源を鏡面光又は減衰光から分けることである。第2リセットしきい値を得るために、Rより大きい画素値のみが使用される。ゆえに、Rの値はRによってオフセットされ、
【数10】
によって得られる。
【0040】
平均画素値は、Rより大きい値を有する画素のみを使用して演算される。結果をLで除算して、Rより大きい値を有するすべての画素に対して平均画素値比率を取得する。この実施例において、1と比率との相違を計算して比率をミラー化する。そして、ミラー化した比率を(L−R)で乗算することで、比率をR〜Lのビン範囲に合わせるようにスケーリングする。最後に、オフセット値としてオフセットRを加算する。
【0041】
この実施例において、平均画素値が400であり、1024ビンの高解像度センサである場合、400/L=0.391である。この値をミラー化すると1−0.391=0.609となる。しかし、画素値は0〜Lの範囲であるので、これを可能な画素値の範囲にスケーリングして戻す必要がある。これは、Rを演算する場合に(L−R)で、Rを演算する場合にLで乗算することで行われる。実施例では、Rを演算するとき、R=300とする。すると、0.391×(1023−300)=282.693となり、この特定の実施例では過大包含(over inclusive)とするために282に切り下げられる。しかしながら、この値はRからオフセットされる必要があり、オフセットとしてRを加算して、R=282+300=582を得る。
【0042】
及びRの値は、1)直射源が存在しないときシングルスロープ領域においてダイナミックレンジを増大するため(すなわち、第1スロープ領域の幅を広くする)、2)薄暗い光源のみが存在して直射照明がないときデュアルスロープ領域においてダイナミックレンジを増大するため(すなわち、第2スロープ領域の幅を広くする)、及び3)Rより大きい値を有する画素の平均画素値が飽和に近いとき高い値の画素をより積極的に減衰させるため(すなわち、第3スロープ領域の幅を広くする)、の状況の少なくとも1つのために設計されている。
【0043】
本明細書に記載するこの実施例又は任意の他の実施例において実施され得る他の特徴において、1つ以上のスケール因子を追加することができる。一部の実施形態では、カメラ操作者がその好ましい使用状況に対してアルゴリズムを微調整又は較正することができるように、スケール因子の制御をカメラ操作者が利用可能になっている。スケール因子は、平均画素値比率を生成するときに適用することができる。そうした適用において、単に平均画素値をLで除算するのではなく、平均画素値をまたスケール因子で乗算する。実施例1の実施形態では、これは、
【数11】
及び
【数12】
のとおり適用可能であり、S1及びS2は同じ又は異なるスケール因子であってもよい。記載されるように、これは例示の実施例のいずれにも適用可能であって、比率1/Lがこの説明に出てきたときはいつでもSx/Lの選択肢を含むものとして考えられ、xは、異なるスケール因子を用いるときに異なるしきい値に適用されるスケール因子を区別するために使用することができる。
【0044】
XDRニー、実施例2
この実施形態は、これらに限定されないが、直射光、低光、又は光学系がレンズフレア、ベーリンググレア、又は鏡面曇りなどのアーチファクトを生成する場合などの状況において使用することができる。例えば、2つのリセットしきい値の場合を以下のように実施することができる。
【0045】
第1リセットしきい値Rは、
【数13】
によって得られ、L=ビン総数である。
【0046】
の目的は、影を光から分けることである。画素値合計と画素総数との比率は、ビン総数であるLで除算したとき、0〜1の値を生成する。この結果は平均画素値比率を表す。そして、1と比率との相違を計算して比率をミラー化し、これがRを暗いシーンに関して上へと移動させ、明るいシーンに関して下に移動させることを可能にする。最後に、ミラー化した結果をLで乗算することでデジタル数に変換する。
【0047】
によってオフセットされる第2リセットしきい値Rは、
【数14】
によって得られる。
【0048】
の目的は、直射光源を鏡面光又は減衰光から分けることである。第2リセットしきい値を得るために、Rより大きい画素値のみが使用される。Rより大きい値を有する画素の平均画素値比率を得た後、比率をR〜Lのビン範囲に合わせるようにスケーリングする。この実施例ではミラー化されないということが言及される。最後に、オフセット値としてオフセットRを加算する。例えば、R=156及びL=256である場合、ビン範囲は100であり、平均画素値を0〜100にスケーリングする。平均画素値比率=0.5である場合、Rに加算する平均画素値は50であり、R=206である。
【0049】
この実施例では、R及びRは、1)直射光源が存在しないときシングルスロープ領域においてダイナミックレンジを増大するため(すなわち、第1スロープ領域の幅を広くする)、2)「コットンボール効果」など、直射光源の存在下でデュアルスロープ領域においてダイナミックレンジを増大するため(すなわち、第2スロープ領域の幅を広くする)、及び3)全体的なSNRを大きくするため雑音の多いトリプルスロープ領域において画素数を制限するため(すなわち、第3スロープ領域の幅を狭くする)、の状況の少なくとも1つのために設計されている。
【0050】
XDRニー、実施例3
この実施形態は、これらに限定されないが、シングルスロープのダイナミックレンジを最大化する必要があるとき又は雑音を最小に維持する必要があるときなどの状況において使用することができる。例えば、2つのリセットしきい値の場合を以下のように実施することができる。
【0051】
第1リセットしきい値Rは、
【数15】
によって得られ、L=ビン総数である。
【0052】
の目的は、影を光から分けることである。画素値合計と画素総数との比率は、ビン総数であるLで除算したとき、0〜1の値を生成する。この結果は平均画素値比率を表す。結果は、Lで乗算することでデジタル数に変換される。つまり、本質的に、この実施例においてRの値は平均画素値に設定されている。
【0053】
によってオフセットされる第2リセットしきい値Rは、
【数16】
によって得られる。
【0054】
の目的は、直射光源を鏡面光又は減衰光から分けることである。第2リセットしきい値を得るために、Rより大きい画素値のみが使用される。Rより大きい値を有する画素の平均画素値比率を得た後、比率をR〜Lのビン範囲に合わせるようにスケーリングする。最後に、オフセット値としてオフセットRを加算する。例えば、R=156及びL=256である場合、ビン範囲は100であり、平均画素値を0〜100にスケーリングする。平均画素値比率=0.4である場合、Rに加算する平均画素値は40であり、R=196である。一方、平均画素値比率=0.6である場合、Rに加算する平均画素値は60であり、R=216である。
【0055】
この実施例では、R及びRは、多くの照明条件においてシングルスロープ領域のダイナミックレンジを増大させて、全体的なSNRを大きくする状況のために設計されている。
【0056】
XDRニー、実施例4
この実施形態は、これらに限定されないが、直射光及び鏡面光などの状況において使用することができる。例えば、2つのリセットしきい値の場合を以下のように実施することができる。
第1リセットしきい値Rは、
【数17】
によって得られ、L=ビン総数である。
【0057】
の目的は、影を光から分けることである。画素値合計と画素総数との比率は、ビン総数であるLで除算したとき、0〜1の値を生成する。この結果は平均画素値比率を表す。結果は、Lで乗算することでデジタル数に変換される。因数Lは分数1/Lを相殺するので、この実施例においてRは事実上平均画素値になるように設定されている。
【0058】
によってオフセットされる第2リセットしきい値Rは、
【数18】
によって得られる。
【0059】
の目的は、直射光源を鏡面光又は減衰光から分けることである。第2リセットしきい値を得るために、Rより大きい画素値のみが使用される。Rより大きい値を有する画素の平均画素値比率を得た後、1と比率の相違を計算して比率をミラー化する。結果をR〜Lのビン範囲に合うようにスケーリングして、値Rをオフセット値として加算する。例えば、R=156及びL=256である場合、ビン範囲は100であり、平均画素値を0〜100にスケーリングする。平均画素値比率=0.4である場合、Rに加算する平均画素値は60であり、R=216である。一方、平均画素値比率=0.6である場合、Rに加算する平均画素値は40であり、R=196である。
【0060】
この実施例では、R及びRは、1)シングルスロープ領域においてダイナミックレンジを増大するため、2)鏡面光源及び直射光源を積極的に減衰させるため、及び3)直射光源からさらに細部を解像可能であるようにトリプルスロープ領域においてダイナミックレンジ増大させるため、の状況の少なくとも1つのために設計されている。
【0061】
1つのXDRニー、実施例5
ここで、1つのフレームの積分プロットを示す図4を参照する。x軸は任意単位の積分時間であり、y軸は任意単位の積分信号である。時間tは第1リセットが実施される時間であり、時間tは第2リセットが実施される時間であり、時間tは積分終了時間であり、フレームが読み取られる。Rとtとの交点は、リセットされなかった最明画素値を示し、Rとtとの交点は、1回のみ、すなわちtにおいてリセットされた最明画素値を示す。
【0062】
上述のように、開示の実施形態において、リセット画素はゼロにリセットされないが、その現在の値より小さい値にリセットされる。R´とtとの交点は、すべての画素が時間tでリセットされる値を示す。ゆえに、R´とtとの交点はまた、第1リセット時間tにおける最明画素の値を示す。R´とtとの交点は、Rより大きいすべての画素が時間tでリセットされる値を示す。ゆえに、R´とtとの交点はまた、第2リセット時間tにおける最明画素の値を示す。
【0063】
センサが雑音レベルを超えて感知できるゼロ値であるとともにフレームの積分を始める前に画素を開始する値である初期値から、リセットされなかった最明画素値である最大値に延びる直線上にあるようにRの値を演算すると、最良の結果が得られることが本発明者らにより見出された。
【0064】
リセットパルス時における最大未リセット画素の値は全積分が完了するまで読み取ることができないので、これは前のフレームから外挿する必要がある。この値にはR´の値を割り当てる。R´は、
【数19】
として規定され、
・値「t」は、第1リセットパルスが発生するフレーム内の時間であり、
・値「t」は、フルフレーム積分時間であり、
・O平均は、センサの平均暗値(すなわち、光のない平坦な画像又は最暗画素値)である。
【0065】
−O平均の値は最大値の値を与え、総積分時間と第1リセットの時間との比率、すなわちt/tで乗算すると、O平均からtの直線におけるリセット時間tの最明画素の値を与える。しかしながら、O平均を加算することで画素の最小感度のためのオフセットを再導入する必要がある。画像を適切に表現するために、
・最新のフレームの平均輝度、
・リセットされた直後のリセット画素の平均輝度、
・リセットが実行されるフルフレーム期間の分数、
・フレームの期間、
・暗いシーンの「輝度」、の情報を使用する。
【0066】
最新のフレームの平均輝度は、上述のように、以前に導出されている。
【数20】
【0067】
上述のように、R値は、現在のフレームにおけるリセット画素の平均輝度に相当する。これらが求められる方法は、ユーザのニーズによりよく対応するため前述のように変更されてもよい。
【0068】
適切なリセットレベル及びスケール因子を割り当てるため、最大未リセット画素のフルフレーム輝度をバックアウトする必要がある。これは、リセットをする直前及び直後の両方でリセットしきい値に等しい画素に相当する。この値を超えるものすべてはリセット後積分期間に照らしてスケーリングされる。すなわち、積分期間終了時に、Rより大きい値を有する任意の画素は必然的にリセットされている。ゆえに、その真値(すなわちリセットされていない場合)を得るために、画素は、リセットの影響を「取り除く」ためにスケーリングし戻す必要がある。このように、Rより大きい値pを有する画素の真値は、Q=(p-R)*((1-tn/tf)-1)+Rとして演算可能である。
【0069】
この適用は、1)視野にはない電灯で照らされた暗い通り、又は2)月の出又は月の入りの地平線シーンなどの、明光源を含む単一シーン、である明確な照明領域の少なくとも1つがあるシーンに有用である。
【0070】
この実施例において、時間tは、シーンの照明領域に十分な積分時間を与えるように調節されることができる、又は月などの明光源がシーンの残りの部分の細部を覆わないように設定することができる。
【0071】
2つのXDRニー、実施例6
実施例5において、第1リセット値を導出する方法が示され、これは1つのリセットのみが使用される場合に、又は1つ以上のリセット値を使用するときに第1リセット値として、用いることができる。以下の記載は、少なくとも2つのリセットがある場合にどのようにリセット値R´を導出するかを示す。
【0072】
第2リセットにおいて、値は、
【数21】
であり、
・Rは、例えば実施例1〜4における、上述の実施例のいずれかを使用して導出され、
・R´は、実施例5に示す方法を使用して導出され、
・R´は、全積分後にRと等しくなり、かつ時間tにおいて所望のリセットしきい値に相当する画素値であり、
・値「t」は、第1リセットパルスが発生するフレーム内の時間であり、
・値「t」は、第2リセットパルスが発生するフレーム内の時間であり、
・値「t」は、フルフレーム積分時間である。
画像を適切に表現するために、
・最新のフレームの平均輝度、
・リセットされた直後のリセット画素の平均輝度、
・リセットが実行されるフルフレーム期間の分数、
・フレームの期間、
・暗いシーンの「輝度」、すなわちO平均、の情報を使用する。
【0073】
最新のフレームの平均輝度は、上述のように、以前に導出されている。
【数22】
【0074】
上述のように、R値は、現在のフレームにおけるリセット画素の平均輝度に相当する。これらが求められる方法は、ユーザのニーズによりよく対応するため前述のように変更されてもよい。
【0075】
適切なリセットレベル及びスケール因子を割り当てるため、最大未リセット画素のフルフレーム輝度をバックアウトする必要がある。これは、リセットをする直前及び直後の両方でリセットしきい値に等しい画素に相当する。この値を超えるものすべてはリセット後積分期間に照らしてスケーリングされる。
【0076】
遠くに見えるシーンは、街、空港、及び駐車場など、暗領域と照明領域とを含み得る。これらのシーンは街灯や滑走路灯、又は車のライトなど、照明の直射源を含むことがある。この条件で、暗い地域及び照明地域のためのダイナミックレンジと直射源の減衰との両方を提供するために、センサを2回リセットすることができる。この実施例において、前述のように、t値もまた状況によりよく対応するために変更することができる。例えば、第1リセットtまでの時間を短くすることは、直射光源が画素を飽和させる又は周囲領域の画像のウォッシュアウトすることを避けるのに利用することができる。一方で、第1リセットtのタイミングを遅延させることは、極端な暗領域からより多くの光子を捕集するのに利用することができる。アレイ上のすべての画素は同時に、また個別にリセットすることができるので、R´値を超える画素のみをその対応するリセット時間にリセットする。
【0077】
複数のXDRニー、実施例7
本発明の態様は、1つ又は2つのリセットに限定されるものではなく、任意の数のリセットがなされる。前述の方法を使用して、センサが許容する限りの多くのXDRニーを含むことができる。
【数23】
・Rは、Rと類似することが理解され(実施例1〜4を参照)、Rn−1を超える画素の平均を用いて決定する。
・Rn−1´は、Rと同様に、前述の式から導出される。
・R´は、全積分後にRと等しくなり、かつ時間tにおいて所望のリセットしきい値に相当する画素値である。
・値「tn−1」は、対象のパルスの前のリセットパルスが発生するフレーム内の時間である。
・値「t」は、n回目のリセットパルスが発生するフレーム内の時間である。
・値「t」は、フルフレーム積分時間である。
画像を適切に表現するために、
・最新のフレームの平均輝度、
・リセットされた直後のリセット画素の平均輝度、
・リセットが実行されるフルフレーム期間の分数、
・フレームの期間、
・暗いシーンの「輝度」、の情報を使用する。
【0078】
最新のフレームの平均輝度は、上述のように、以前に導出されている。
【数24】
【0079】
上述のように、R値は、現在のフレームにおけるリセット画素の平均輝度に相当する。これらが求められる方法は、ユーザのニーズによりよく対応するため前述のように変更されてもよい。
【0080】
適切なリセットレベル及びスケール因子を割り当てるため、最大未リセット画素のフルフレーム輝度をバックアウトする必要がある。これは、リセットをする直前及び直後の両方でリセットしきい値に等しい画素に相当する。この値を超えるものすべてはリセット後積分期間に照らしてスケーリングされる。
【0081】
この方法は、明るいシーンの上限の維持に有用であると理解できる。複数のリセットパルスを実行してリセット間の時間を変化させることで、センサは、明光源、又は特定のしきい値を超えるすべてを制限するように設定することができる。このため、センサは極端な明光源によってウォッシュアウトされることなく複数の照明領域を解像することができるが、センサ自体がそれら光源によって損傷されることはない。
【0082】
この意味で、この実施形態は、フレームtの積分期間を設定するステップと、複数のn個のリセット期間tを設定し、nは正の自然数であるステップと、複数のn個のリセット値R´を設定するステップと、i)時間tにおいてリセット値R´を用いてリセット操作を行いながら、積分期間において光センサのすべての画素の出力信号を積分することで、積分信号を得るステップ、ii)積分信号をスクリーンに表示するステップ、iii)積分信号から、時間n−1でリセットされなかった最明画素値として規定される最大値Rを演算するステップ、及びn個のリセット値R´のそれぞれを
【数25】
の関係に基づいて演算するステップを再帰的に行うステップとを含む、光センサのダイナミックレンジを向上させる方法として規定することができる。
【0083】
複数スロープ(MULTISLOPE、MS)レベル
複数スロープ(MS)レベルは、デジタル−アナログ変換器(DAC)によってアナログリセット電圧に変換することができるデジタル数である。センサは、一般に、8ビット(L=256)、10ビット(L=1024)、12ビット(L=4095)などのビット深度を有することができる。一方、DACは、例えば6ビットなどの異なるビット深度を有し得る。ゆえに、センサのビット深度がMSレベルのビット深度と異なる場合のため、以下において、(この特定の実施例では2つの画素リセットレベルに対して)センサのビット深度からMSレベルのビット深度への変換を示す。
【数26】
【数27】
Δbは、センサとMSレベルとの間のビット深度の違いである(例えば、10ビットのビット深度を有するセンサと6ビットのビット深度を有するDACとではΔb=10−6=4)。MSレベルの数(上述の実施例では2)は、画素リセットの数と等しい。言い換えると、DACがより小さいビット深度を有する場合、リセット値の利用可能な数は、センサの利用可能なビン(L)の数にマッピングされる。上述の実施例を用いて説明すると、センサは10ビット深度を有する一方で、DACは6ビット深度を有するのみであるので、Δb=4である。例えば、R´は720、R´は960になるように演算される。上述の関係を用いて、R´はms=45に、及びR´はms=60にマッピングされる。このように、実際のリセット値の粒度をいくらか下げて、センサで利用可能な粒度を生成する。しかしながら、リセット値の変化は、DACが有する粒度を超えるまで発生しないので、これは固有フィルタとして機能することができる。
【0084】
Nタップ無限インパルス応答(IIR)移動平均フィルタは、特定の条件下で振動を引き起こす可能性があるMSレベルの大きな動きに対応するために使用することができる。各MSレベルは、それ自体のNタップIIR移動平均フィルタを有する。最後のN−1ファーストイン・ファーストアウト(FIFO)値は前のフレームから保存されて、MSレベルを以下のようにともに平均する。
【数28】
【0085】
改良したリセット処理を実施する回路の実施形態を図5に示す。図5の図面は1画素のみを示すが、同じ回路が各画素に対して繰り返される。すべての画素からの信号は最終的にスクリーン500に表示するために送信される。センサの画素Pは、グランドレベルと積分トランジスタTのゲートとの間、及びにグランドレベルとリセットトランジスタTのドレインとの間に接続されている。両方のトランジスタT及びTのソースはVccに接続されている。光が画素にあたると、画素Pの出力は、積分信号Sが出力されて積分可能になるように(図示せず)、積分トランジスタTのゲートを開く。画素をリセットすることが望ましいとき、DACからリセットトランジスタTのゲートに電位を与える。しかしながら、それぞれ演算したリセット信号をDACに単に与えることで画像に不要な人工的効果をもたらすということが発明者らにより見出されている。ゆえに、図5の実施形態において、DACの上流にヒステリシスゲートHを挿入する。一実施形態において、ヒステリシスゲートはソフトウエア上で実行されるとともにしきい値として機能して、ms信号がしきい値を下回る場合に信号がDACに供給されず、画素がリセットされないというようになる。上述のように、ヒステリシスはまた、各リセット値に対して移動平均を用いて導入することもできる。一方、ヒステリシスゲートは、ハードウェアで実行される場合、インダクタを用いて実行することができる。また、それぞれ演算したmsを与えるのではなく、演算したN個の複数スロープを平均することもできる。
【0086】
本明細書に記載の処理や技術は本質的に任意の特定の装置に関するものではなく、任意の適切な構成要素の組合せによって実施することができる、ということが理解される必要がある。さらに、本明細書の記載に従って、種々のタイプの汎用デバイスを使用することができる。本発明は、特定の実施形態に関して記載されているが、これらはあらゆる点で限定ではなく例示を目的としている。本発明の実施に数多くの異なる組合せが適するということを当業者は理解するであろう。
【0087】
さらに、本発明の他の態様は、本明細書を考慮し、本明細書に開示の本発明を実施することから、当業者には明らかになる。記載の実施形態の種々の態様及び/又は構成要素は単独で又は任意の組合せで使用することができる。明細書及び実施例は例示のみとして考慮され、本発明の真の範囲及び趣旨は以下の特許請求の範囲によって示されるということが意図されている。

【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】