(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2017519250
(43)【公表日】20170713
(54)【発明の名称】撮像システム、方法及び用途
(51)【国際特許分類】
   G03B 37/00 20060101AFI20170616BHJP
   H04N 5/225 20060101ALI20170616BHJP
   G03B 15/00 20060101ALI20170616BHJP
【FI】
   !G03B37/00 A
   !H04N5/225 D
   !H04N5/225 Z
   !G03B15/00 W
【審査請求】未請求
【予備審査請求】未請求
【全頁数】21
(21)【出願番号】2017511155
(86)(22)【出願日】20150505
(85)【翻訳文提出日】20161222
(86)【国際出願番号】US2015029146
(87)【国際公開番号】WO2015171544
(87)【国際公開日】20151112
(31)【優先権主張番号】61/989,136
(32)【優先日】20140506
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】516331269
【氏名又は名称】ザカリヤ ニアジ
【氏名又は名称原語表記】Zakariya Niazi
【住所又は居所】アメリカ合衆国,ニューヨーク州 11101‐4433,ロング アイランド シティ,スキルマン アヴェニュー 2632
【住所又は居所原語表記】2632 Skillman Avenue,Long Island City,New York 11101‐4433,U.S.A
(74)【代理人】
【識別番号】100169904
【弁理士】
【氏名又は名称】村井 康司
(74)【代理人】
【識別番号】100175617
【弁理士】
【氏名又は名称】三崎 正輝
(72)【発明者】
【氏名】ザカリヤ ニアジ
【住所又は居所】アメリカ合衆国,ニューヨーク州 11101‐4433,ロング アイランド シティ,スキルマン アヴェニュー 2632
【テーマコード(参考)】
2H059
5C122
【Fターム(参考)】
2H059BA02
2H059BA11
5C122EA33
5C122FA03
5C122FA18
5C122FB02
5C122FB06
5C122FH06
(57)【要約】
視差を有しない多重カメラパノラマ撮像システムである。例において、多重カメラパノラマ撮像システムは、並んだアレイに配置された複数の別個の撮像システムを含み、各別個の撮像システムの視野は、各隣接する別個の撮像システムの視野と結合され、更に、別個の撮像システムにおけるいずれか一撮像システムの視野のエッジにおける主光線のステンシルは、主光線のほぼ平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに集束するように見えるように、別個の撮像システムの任意の隣接する撮像システムの視野のエッジにおける主光線のステンシルとほぼ平行である。視差を有しない物体の画像を形成するための方法である。
【特許請求の範囲】
【請求項1】
物体の画像を形成するための方法であって、
パノラマ撮像システムを提供することであって、前記パノラマ撮像システムが、視野によってそれぞれ特徴付けられる複数の別個の撮像システムを含むことと、
主光線の平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに集束するように見えるように、前記別個の撮像システムにおける真隣の撮像システムの前記視野のエッジにおける主光線の前記ステンシルとほぼ平行になるように、前記別個の撮像システムにおけるあらゆる撮像システムの前記視野の前記エッジにおける主光線の前記ステンシルを制約することと、
を含み、
前記撮像システムが無視差である方法。
【請求項2】
20度以下だけ平行から逸脱するように主光線の前記ステンシルの少なくとも50%を制約することを更に含む、請求項1に記載の方法。
【請求項3】
(ほぼ)視差のないパノラマ撮像システムを設計するための方法であって、
全体的なパノラマ撮像システムジオメトリを決定することであって、前記全体的なパノラマ撮像システムが、隣接する撮像システムの前記視野が結合するように、それぞれの視野を並んだアレイに配置する複数の別個の撮像システムを含むことと、
主光線の前記ほぼ平行なステンシルが、物体空間から見られた場合に共通ポイントに集束するように見えるように、前記別個の撮像システムにおける一撮像システムの視野のエッジにおける主光線のステンシルが、前記別個の撮像システムの隣接する一撮像システムの前記視野のエッジにおける主光線の前記ステンシルとほぼ平行になるように前記別個の撮像システムを設計することと、
を含む方法。
【請求項4】
前記全体的なパノラマ撮像システムが、複数の同一で別個の撮像システムを含む、請求項3に記載の方法。
【請求項5】
前記別個の撮像システムを設計する際に、前記複数の別個の撮像システムのどの間にも物理的な重複がないことを保証する、請求項3に記載の方法。
【請求項6】
前記別個の撮像システムを設計する際に、前記明白な集束ポイントが、各別個の撮像システムのそれぞれの画像センサの背後に位置することを保証する、請求項3に記載の方法。
【請求項7】
多重カメラパノラマ撮像システムであって、
並んだアレイに配置された複数の別個の撮像システムであって、各別個の撮像システムの視野が、各隣接する別個の撮像システムの視野と結合され、更に、前記別個の撮像システムにおけるいずれか一撮像システムの前記視野の前記エッジにおける主光線のステンシルが、主光線のほぼ平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに集束するように見えるように、前記別個の撮像システムの任意の隣接する撮像システムの前記視野の前記エッジにおける主光線のステンシルとほぼ平行である複数の別個の撮像システムを含む多重カメラパノラマ撮像システム。
【請求項8】
複数の同一で別個の撮像システムを含む、請求項7に記載の多重カメラパノラマ撮像システム。
【請求項9】
主光線の前記ステンシルの少なくとも50%が、20度以下だけ平行から逸脱する、請求項7に記載の多重カメラパノラマ撮像システム。
【請求項10】
前記別個の撮像システムのそれぞれが、画像センサを含み、更に、前記明白な集束ポイントが、前記別個の撮像システムのそれぞれにおける前記画像センサの背後に位置する、請求項7に記載の多重カメラパノラマ撮像システム。
【請求項11】
前記別個の撮像システムのどれも、物理的に重複しない、請求項7に記載の多重カメラパノラマ撮像システム。
【請求項12】
前記システムが、十二面体ジオメトリを有し、更に、前記システムが、360度FOVによって特徴付けられる、請求項7に記載の多重カメラパノラマ撮像システム。
【請求項13】
前記別個の撮像システムのそれぞれにおける前部レンズが、単一の隣接する自由形状の光学装置の一部である、請求項7に記載の多重カメラパノラマ撮像システム。
【請求項14】
各画像センサが、波面センサである、請求項10に記載の多重カメラパノラマ撮像システム。
【請求項15】
前記別個の撮像システムのそれぞれが、前記撮像システムの歪み及びペッツバル湾曲に適合するために、湾曲画像面を有する、請求項7に記載の多重カメラパノラマ撮像システム。
【請求項16】
前記撮像システムによって形成された隣接する360度画像における歪曲収差を補正するためにアルゴリズムを用いることを更に含む、請求項1又は3に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2014年5月6日出願の米国仮出願第61/989,136号明細書の優先権を主張し、その米国仮出願の主題は、その全体において参照により本明細書に援用される。
【0002】
本発明の態様及び実施形態は、最も一般的には光学撮像システム、それに関連する方法及びその用途に関し、より具体的にはパノラマ光学撮像システム、それに関連する方法及びその用途に関し、最も具体的には視差がゼロ又はほぼゼロのパノラマ光学撮像システム、それに関連する方法及びその用途に関する。
【背景技術】
【0003】
視差のない現在の360度システムは、画像を走査するためのミラーの配置を用い、且つ10フレーム/秒(fps)の撮像速度によって制限される。Googleは、そのストリートビューソフトウェア用の写真を撮るために、Immersive Mediaによって開発された屈折レンズを備えた360度カメラを用いる。写真は、視差用に後処理され補正されなければならず、時間がかかり、それは、Googleのストリートビュー構想を極めるGoogleの能力を低下させる。魚眼レンズは、広角撮像をもたらすが、しかし高い歪みという代償を払ってである。歪みは、大きな球体を小さく平らな画像面にマッピングすることの物理的な結果である。
【0004】
幾つかの会社は、パノラマ画像を撮るプロセスを単純化するための光学システムを開発した。多数のショットを得るためにカメラを回転させるのではなく、写真の全ては、現場における異なる部分を撮像する多数のカメラを用いて同時に捕捉される。Immersive Media及びGreypoint Imagingは、10,000ドルと100,000ドルとの間で変わる価格で入手可能なワンショット360度カメラを開発した。両社は、画像に生成されたアーチファクト(視差)を自動的に補正し、且つ1台のカメラ、例えばiPhone(登録商標)カメラによって撮られたパノラマより優れた解決法を提供するためのソフトウェアを開発する。しかしながら、そのソフトウェアは、完全ではなく、多くのアーチファクトが、やはり画像に存在する。逸話として、Googleは、1人の人間に、グランドキャニオンのあちこちへDodeca360カメラ(Immersive Mediaによって提供された)を持って行かせ、且つ視差によって引き起こされたアーチファクトのために、フレームごとに画像を補正するプログラマを雇用しなければならなかった。
【0005】
光学システムの視差及び主光線
視差は、「影響、即ち、それによって、物体の位置又は方向が、例えばカメラのファインダ及びレンズを通して様々な位置から見られた場合に、異なるように見えるという影響」として定義される。視差は、それぞれ世界の自らの独特な見方を備えた多数のカメラからの画像をつなぎ合わせることの結果として生成される。
【0006】
図1を参照すると、光学システムの主光線は、物体のエッジでスタートし、開口絞りで光軸の中心を横断し、且つ検出器において画像のエッジで終了するメリジオナル光線である。従って、主光線は、画像のサイズを画定する。
【0007】
主光線は、複像をつなぎ合わせることによって生成された視差において重大な役割を果たす。図2は、並んだ2つの光学システム(カメラ)を示す。上部のレンズユニットに関し、正方形、三角形及び長方形が、画像の同じポイントにマッピングされるのに対し、下部のレンズユニットに関し、それらは、図示のように3つの別個のポイントにマッピングされる。上部の撮像システムにおいて、それらが、同じ主光線によって撮像されるのに対して、下部の撮像システムに関し、それらは、3つの別個の主光線によって撮像される。図3において2つの画像を組み合わせると、視差が発生することになり、図4に示されているような画像が生じることになる。
【0008】
視差を補正できるアルゴリズムの追求が何年も続いている。多くの解決法が開発されたが、しかし現在までの最も精巧なアルゴリズムを用いてさえ、アーチファクトは、やはりパノラマ画像に残される。人によっては、これは、フレームごとに画像を修正するためにソフトウェアエンジニアを雇うことかできるので、問題にならない場合がある。しかしながら一般消費者にとって、各画像を補正するこの選択肢は、実現可能ではない。かかるシステムが、消費者市場で入手可能になり得る前に、視差を効果的に補正するより優れた解決法が必要とされる。画像における視差を計算的にではなく光学的に低減する問題を解決することが望ましい。
【0009】
ワンショットパノラマ撮像用に作成された現在の設計は、それらが、重複する視野を備えた撮像システムから作成されるので、視差に悩まされる。図5は、米国特許第2,696,758号明細書から取られた。この図は、今日利用可能な360度撮像システムにおいて視差がどのように生成されるかを示す。視野は重複し、下部レンズシステム用のFOVのエッジに現れる三角形は、上部の撮像システムにおいて、約0.707×FOVの所に現れる。従って、三角形は、各カメラに対して異なる像点にマッピングされる。下部において、それは、完全なFOV(画像のエッジ)にマッピングされる。
【発明の概要】
【課題を解決するための手段】
【0010】
従って、本発明者は、視差がない、且つ視差が、後処理ソフトウェアによってではなく光学的に除去されるパノラマ撮像システム及び関連する方法の利点及び利益を認識した。かかるシステムは、地球の通りをマッピングするスケーラブルな方法を提供することと、都市及び民間機関両方の仮想ツアーの生成を可能にすることと、高フレームレートビデオ監視と、無人機及びタンク技術を含む軍事用途と、高い歪みの代償を払う広角撮像を提供する魚眼レンズ用の代替と、を含む用途を有することになろう。
【図面の簡単な説明】
【0011】
【図1】光学システムの主光線を示す。主光線は、画像の高さと同様に物体の高さも画定する。
【図2】現場の画像を捕捉するために多数の屈折撮像システムが使用される場合に、なぜ視差が発生するかを示す。上部のレンズユニットにおいて、3つの物体は、同じ像点にマッピングされる。下部のレンズユニットにおいて、それらは、3つの別個の像点にマッピングされる。
【図3】(左)が、図2における上部のレンズユニットによって形成された画像を示すのに対して、右の画像は、下部のレンズユニットによって形成された画像である。
【図4】図3における2つの画像を組み合わせることから生じるであろう画像を示す。
【図5】今日作製されるカメラにおいて、視差がどのように生じるかを示す。視野は重複し、下部のレンズシステム用のFOVのエッジに現れる三角形は、上部の撮像システムでは約0.707×FOVの所に現れる。従って、三角形は、各カメラ用に異なる像点にマッピングされる。下部において、それは、完全なFOV(画像のエッジ)にマッピングされる。
【図6】視差を有しない並んだ2つの撮像システムを示す。各システムのエッジにおける主光線は、互いに平行に位置するように制約される。従って、この線に沿って位置する物体は、画像面における同じポイントに撮像される。
【図7】図示された両方の撮像システム用の(以下で定義されるような)非視差(NP)ポイントの位置を示す。
【図8】FOVのエッジにおける主光線が平行ではなく、従ってNPポイントが異なる位置にあることを示す。
【図9】NPポイントが画像センサの前に位置する撮像システムを示す。
【図10】各1つのFOVのエッジにおける主光線が、もう一方に平行であるように整列された2つの撮像システムを示す。
【図11】NPポイントが画像面の背後にある撮像システムを示す。
【図12】NPポイントが同じ場所に位置する多重ユニット撮像システムを示す。
【図13】エッジ光線が各十二面体フェースに沿って位置するように制約された360度レンズシステムの3次元表現を示す。
【図14】レンズが五角形ではなく円である場合に生成されるであろう盲点を示す、五角形に内接された円を示す。
【図15】正五角形に外接するように最初に設計された、各システムの第1のレンズ素子を示す。
【図16】第1のレンズ素子の直径は、1.7013aであるように制約され、aは、正五角形の辺長である。
【図17】第1のレンズ素子の中心から十二面体の中心(NPポイント)までの距離は、1.1135aであり、aは、五角形の辺長である。
【図18】五角形フェースの上端からNPポイントまでの距離は、1.31aであるように制約され、aは、正五角形の辺長である。ここで、NPポイントは、十二面体の中心である。
【図19】十二面体の中心に関して第1のレンズ素子に課された制約を示す図である。「a」は、十二面体における各正五角形の辺長である。
【図20】任意の要素の最大長さが、十二面体の中心から出る光の31.717度半角円錐内に収まるように制約されることを示す図である。
【図21】十二面体の中心と五角形エッジの中心との間の十二面体の1/12及び角度の三次元表現である。
【図22】十二面体の中心と五角形エッジのエッジとの間の十二面体の1/12及び角度の三次元表現である。
【図23】光線1及び光線37までの高さ示すペンタゴン形レンズ素子である。
【図24】光線1及び37をモデルで示す現在のレンズ設計のゼマックス(Zemax)図である。
【図25】後側からの現在のレンズ設計の三次元ゼマックス図である。
【図26】側部からの三次元ゼマックス図である。
【発明を実施するための形態】
【0012】
本発明の態様は、視差を有しない多重カメラパノラマ撮像システムである。非限定的な実施形態によれば、多重カメラパノラマ撮像システムは、並んだアレイに配置された複数の別個の撮像システムを含み、各別個の撮像システムの視野は、各隣接する別個の撮像システムの視野と結合され、更に、別個の撮像システムにおけるいずれか一撮像システムの視野のエッジにおける主光線のステンシルは、主光線のほぼ平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに集束するように見えるように、別個の撮像システムの任意の隣接する撮像システムの視野のエッジにおいて、主光線のステンシルとほぼ平行である。様々な非限定的な実施形態において、多重カメラパノラマ撮像システムは、以下の機構、制限、特徴を含むか、又はそれらによって単独で若しくはそれらの様々な組み合わせで更に特徴付けられ得る。
− 複数の同一で別個の撮像システムを含む。
− 主光線のステンシルの少なくとも50%が、20度以下だけ平行から逸脱する。
− 別個の撮像システムのそれぞれが、画像センサを含み、更に、明白な集束ポイントは、別個の撮像システムのそれぞれにおける画像センサの背後に位置する。
− 別個の撮像システムのどれも、物理的に重複しない。
− システムは、十二面体ジオメトリを有し、更にシステムは、360度FOVによって特徴付けられる。
− 別個の撮像システムのそれぞれにおける前部レンズは、単一の隣接する自由形状の光学装置の一部である。
− 各画像センサは、波面センサである。
− 別個の撮像システムのそれぞれは、撮像システムの歪み及びペッツバル湾曲に適合するために、湾曲画像面を有する。
【0013】
本発明の態様は、視差を有しない物体の画像を形成するための方法である。非限定的な実施形態によれば、方法は、パノラマ撮像システムを提供することであって、パノラマ撮像システムが、視野によってそれぞれ特徴付けられる複数の別個の撮像システムを含むことと、主光線の平行なステンシルの全てが、物体空間から見られた場合に共通ポイントに集束するように見えるように、別個の撮像システムの真隣の撮像システムの視野のエッジにおける主光線のステンシルとほぼ平行になるように、別個の撮像システムにおけるあらゆる撮像システムの視野のエッジにおける主光線のステンシルを制約することと、を含み、撮像システムは、無視差である。様々な非限定的な実施形態において、パノラマ撮像方法は、以下の機構、制限、特徴、ステップを含むか、又はそれらによって単独で若しくはそれらの様々な組み合わせで更に特徴付けられ得る。
− 20度以下だけ平行から逸脱するように主光線のステンシルの少なくとも50%を制約することを更に含む。
− 撮像システムによって形成された360度画像における歪曲収差を補正するためにアルゴリズムを用いることを更に含む。
【0014】
本発明の態様は、(ほぼ)視差のないパノラマ撮像システムを設計するための方法である。非限定的な実施形態によれば、方法は、全体的なパノラマ撮像システムジオメトリを決定することであって、全体的なパノラマ撮像システムが、隣接する撮像システムの視野が結合するように、それぞれの視野を並んだアレイに配置する複数の別個の撮像システムを含むことと、主光線のほぼ平行なステンシルが、物体空間から見られた場合に共通ポイントに集束するように見えるように、別個の撮像システムにおける一撮像システムの視野のエッジにおける主光線のステンシルが、別個の撮像システムの隣接する一撮像システムの視野のエッジにおける主光線のステンシルとほぼ平行になるように別個の撮像システムを設計することと、を含む。様々な非限定的な実施形態において、パノラマ撮像方法は、以下の機構、制限、特徴、ステップを含むか、又はそれらによって単独で若しくはそれらの様々な組み合わせによって更に特徴付けられ得る。
− 全体的なパノラマ撮像システムは、複数の同一で別個の撮像システムを含む。
− 別個の撮像システムを設計する際に、複数の別個の撮像システムのどの間にも物理的な重複がないことを保証する。
− 別個の撮像システムを設計する際に、明白な集束ポイントが、各別個の撮像システムのそれぞれの画像センサの背後に位置することを保証する。
【0015】
パノラマカメラが最小の視差を達成するために、撮像システムの視野(FOV)、重複してはならない。従って、FOVのエッジにおける主光線は、隣接する光学システムのエッジにおける主光線と平行に光学システムに接近しなければならない。
【0016】
図6は、視差を有しない並んだ2つの撮像システムを示す。各システムのエッジにおける主光線は、互いに平行に位置するように制約される。従って、この線に沿って位置する物体は、画像面における同じポイントに撮像される。これは、個々のレンズ素子を設計するために利用できるアプローチである。視野は、互いに重複しない。何故なら、混合角度における主光線が、互いに平行になり、共通ポイントに集束するように制約されるからである。共通ポイントは、レンズが入れられるジオメトリに依存する。換言すれば、主光線は、物体空間からレンズシステムを見た場合に、主光線が同じポイントで光軸を横断するように見えるように、平行に制約される。実際には、それらは、仮想ポイントの前に位置する画像センサにおいて光軸を横断するが、しかし物体空間からレンズシステムをのぞくと、それらは、同じポイントで横断するように見える。
【0017】
NPポイント(非視差ポイント)
前の概念の理解を助けるために、我々は、非視差ポイント(NPポイント)と呼ばれる用語を定義する。NPポイントは、FOVのエッジにおける主光線が、どのように互いに平行に位置するように物理的にされ得るか、及びそれらがどの規則に従うべきかを理解するために用いられる抽象概念である。NPポイントは、視差のないパノラマ撮像システム用の物体空間からシステムを見た場合に、隣接する光学システムのエッジにおける主光線が、光軸と交差するポイントである。
【0018】
具体化された本発明によれば、各撮像システムのNPポイントは、同じ位置に存在しなければならない。即ち、隣接する光学システムの光線は、平行でなければならない。図9は、NPポイントが撮像センサの前に位置する撮像システムを示す。図10は、各撮像システムのFOVのエッジにおける主光線がもう一方と平行であるように整列された2つの撮像システムを示す。この制約は、NPポイントが、両システム用に同じ位置になければならないことを意味する。NPポイントが画像センサの前にある場合に、レンズ素子が重複することなしにNPポイントを整列させることは不可能である。このシステムは、どんな視差も有しないであろうが、しかしそれは、実現することが物理的に不可能である。これは、光学システムを設計する場合に、要素が互いに物理的に重複しないように、NPポイントが、撮像システムにおける全ての要素の背後にあるべきであることを示す。
【0019】
図11は、NPポイントが画像面の背後に位置するシステムを示す。この事例の場合に、図12に示されているように、視野が重複しないように多数の撮像システムを配置することが可能である。NPポイントの正確な位置は、レンズ配置のジオメトリによって決定される。任意に位置を選ぶこと、即ち、主光線が画像面の背後で光軸を横断するように見えるように、光線高さ及び入射角を任意に選択することによって、レンズシステムのジオメトリは、完全な360度画像を撮るために、何百ものレンズユニットを必要とする可能性がある。NPポイントの位置は、レンズ用に用いたいと人が望み得るジオメトリを検討した後で、決定されなければならない。
【0020】
本発明の実施形態は、多重カメラパノラマ撮像システムに関し、そこにおいて、隣接する撮像ユニットの視野は、図7の概略図に示されているように、全撮像システムの合成視野を形成するために結合する。従来のパノラマ撮像システムは、それらのそれぞれの視野が、図8の概略図に示されているように重複するような方法で撮像ユニットを組み立てるが、それは、結果としての画像における視差につながり、且つ視差を除去するように画像をつなぎ合わせる補正ソフトウェアを必要とする。
【0021】
この例示的な実施形態において、1つの撮像ユニットのエッジに当たる光線は、両方の撮像システムが同じエッジ光線セットを共有するように、隣接する撮像ユニットの入射光線と平行に位置するように制約される。図13の3次元モデルで見られるように、1つの撮像ユニットのエッジにおける光線は、隣接する撮像ユニットのエッジにおける光線と同じである。光線は、十二面体エッジの表面に沿って位置するように制約された灰色の線である。各五角形状のレンズのエッジにおける灰色の光線は、その隣接する表面に入る光線に一致する。エッジ光線の下の半径における全ての光線は、これらの光線が、隣接するシステムからの光線と重複しないように、より小さな入射角に位置する。
【0022】
具体化されたパノラマ撮像システムは、NPポイントが画像センサの背後にある撮像システムを設計する前述の技術を利用し、且つ視差が最小か又はない360度FOVカメラを作製するために、多数のレンズシステムを十二面体ジオメトリに組み合わせる。
【0023】
第1のレンズ素子は、正五角形の表面に形作られる。完全なシステムは、12の個別の撮像ユニットから構成され、それぞれは、五角形のエッジに沿った、且つ十二面体のジオメトリによって指定されたジオメトリを満たす入射角を有するように制約された光線用の共通のNPポイントを備える。
【0024】
十二面体は、12の表面を備えた多面体である。多面体は、エッジにおいて連結された多角形の集まりからなる3次元の固体である。十二面体の各側面は、正五角形(等しい長さの側面を備えた五角形)である。十二面体は、ジオメトリを利用してレンズシステムを設計するために理解されなければならない幾つかの重要な幾何学的特性を有する。特性は、なぜ第1のレンズが五角形の表面に形作られなければならないかを簡単に論じた後で、次に順番に論じられる。
【0025】
円形に縁取られたレンズを十二面体ジオメトリにおける第1の素子として使用することにより、エッジ光線を整列させる現在の技術を用いて360度視野における全ての情報を捕捉することは不可能である。第1のレンズが、五角形に内接される際の欠けたエリア(図14における網掛け領域)は、盲点を生成する。視野が決して重複しないので、この情報は、決して捕捉されない。円エリアと円エリアが内接される五角形エリアとの間の比率は、π/5又は62.83%と等しいことを計算することができる。これは、我々のまわりの360度視野用に我々が記録できる最大の情報量である。レンズと五角形との間に生成される盲点は、360度画像における情報のほぼ40%を削除する。
【0026】
次の説明は、十二面体のジオメトリを示すように意図され、且つ前述のNP技術及び十二面体ジオメトリを利用してレンズシステムを生成する場合に必要であるが、しかし本明細書で具体化される、視差のないパノラマ撮像システムを生成するために不可欠ではない。
【0027】
特性1:正五角形に外接する円の直径
12の個々のレンズシステムのそれぞれに関し、第1のレンズは、それが、図15に示されているように十二面体の正五角形のそれぞれに外接するように設計される。正五角形に外接する円の直径は、次の通りである。
D=a/sin(36°)=1.7013a
【0028】
上記の式において、「a」は、正五角形の辺長である。各システムの第1のレンズ素子は、各五角形に完全に外接し、従って、各システム用の第1のレンズ素子の直径は、図16に示されているように1.7013aとして与えられる。
【0029】
特性2:各五角形の中心に接する内接された球
内接された球の半径(十二面体フェースのそれぞれに対する接線)は、次の通りである。
【数1】
この半径は、この設計における各レンズ用のNPポイントである十二面体の中心、及び五角形のフェースの中心、即ち、その五角形を占めるシステムにおける第1のレンズ素子の中心(光軸)と一致する五角形フェースの中心からの距離である。このポイントは、各五角形フェースの中心にある。NPポイントと十二面体の中心との間の長さは、1.1135aになるように制約され、aは、図17に示されているように、五角形側面の1つにおける長さである。
【0030】
特性3:十二面体の中間半径
中間半径は、十二面体の中心及び各エッジの中間を接続するポイントである。この長さは、次のように与えられる。
【数2】
この式は、図18に示されているように、五角形フェースの上端とNPポイントとの間の距離を制約する。
【0031】
制約
十二面体の幾何学的特性は、十二面体を具体化する12のレンズの設計を制約する。特に、我々は、上記で与えられた説明に基づく次の4つのパラメータを有する。
1.第1のレンズ素子の直径:1.7013a
2.第1のレンズ素子から十二面体の中心までの距離:1.1135a
3.第1のレンズ素子の上端から十二面体の中心までの距離:1.31a
4.FOV=37.3777度
最初の3つの制約のうち任意の2つを与えられたとすると、レンズの光軸と第1のレンズ素子の上端との間の角度が、37.3777度(図19を参照)であることを得る。
tan−1((1.7013/2)/1.1135)−37.377°
我々は、37.37度のこの角度がレンズの視野であることを望む。これは、NPポイント、即ち、混合(混合角度は完全なFOVである)の主光線が物体空間において光軸と交差するポイントが、十二面体の中心に位置することを保証する。他の制約の全ては、レンズ素子が、NPポイントの前に位置すること、及び要素が、光の31.717度半角円錐内に入ることを保証する。
【0032】
他のレンズ素子及びセンサの直径
4つの制約が上記で与えられたとすると、我々は、十二面体ジオメトリに収まるために第1のレンズ素子後の各レンズ素子のサイズが、何でなければならないかが分かる。先行するレンズ素子が収まるために、どんなレンズ又はセンサ素子も、十二面体の中心で始まる、且つ第1のレンズ素子の直径に接する光の31.717度円錐内に収まらなければならない。第1のレンズ素子からの距離が増加すると共に、先行するレンズ素子の直径は、比例して減少する(図20を参照)。
【0033】
第1のレンズ素子に先行するどんなレンズ素子又はセンサの最大部直径も、(1.1135a−D)tan(31.716度)以下であることが幾何学的に分かる。この式で、Dは、第1のレンズ素子からのその素子の距離である。
【0034】
従って、ここで、我々は、このレンズシステムが、十二面体のジオメトリと一致し、且つ360度撮像をできるようにする5つの制約を有する。
1.第1のレンズ素子の直径:1.3763a。
2.第1のレンズ素子から十二面体の中心までの距離:1.1135a。
3.第1のレンズ素子の上端から十二面体の中心までの距離:1.31a。
4.FOV=37.377度
5.φLi<(1.1135a−DLI、Li)tan(31.717°)
この式でφLiは、距離DLI、Liによって第1のレンズ素子から分離された任意のレンズ素子の直径である。全てのレンズが、十二面体の中心から出る光の31.717度円錐内に入るように設計される上記の5つの制約が与えられたとすると、視差のないレンズシステムを構成することが可能である。
【0035】
システム設計
レンズ用のジオメトリが選択された。プラトンの固体は、それらが、等しいジオメトリ及び体積の多くの固体で構成されるという特性を有する。360度を撮像するシステム用に、これは、同じ複製されたレンズ設計から複合撮像システムを作製できるようにする。十二面体ジオメトリは、それがそのジオメトリにおいてほぼ球状であるので選択された。
【0036】
1つの撮像ユニットのエッジ光線が、隣接ユニットのエッジ光線と平行に位置するために、それらは、同じ角度で入射しなければならない。両方の撮像ユニットによって共有される角度は、十二面体エッジ面の角度である。エッジ面の中心において、十二面体中心の中心に対する角度は、図21に示されているように、31.717度である。エッジ面のコーナーにおいて、十二面体中心の中心に対する角度は、図22に示されているように、37.377度である。
【0037】
隣接する撮像ユニットに沿った光線を一致させるために、撮像ユニットの第1のレンズは、十二面体の表面と一致する五角形に切り込まれる。エッジの中心において、表面に当たる光線は、31.717度の入射角で入射する。エッジのコーナーにおいて、入射光線の入射角は、37.377度である。レンズのエッジに沿った全てのポイントにおいて、入射光線の入射角は、十二面体表面のジオメトリと一致するようにされる。
【0038】
五角形レンズのエッジに沿った37の光線用の入射角は、十二面体の中心から五角形フェースの中心までの距離を知り、且つ十二面体の中心から、図21及び22に示されているような問題のエッジポイントまでの距離を知り、三角法を用いて計算された。各光線の高さは、五角形エッジに沿って位置するように制約された。例えば、表面1の外接円を示す120mmの半径を用いると、ポイント1の光線は、48.54mmの高さ及び31.717度の入射角を有する。ポイント37の光線は、60mmの高さ及び37.377度の入射角を有する。表Iは、図23におけるポイント1〜ポイント36の37ポイント用の光線高さ及び入射角の値を示す。
【0039】
【表1】
【0040】
光線制約を示す図が、図24に示されている。光線1は、48.54mmの高さ及び31.717度の入射角を有する。光線1は、図24においてポイント1を通過する光線である。光線2は、60mmの高さ及び37.377度の入射角を有し、図24においてポイント37を通過する光線である。全ての37の光線は、上記の表に指定された光線高さ及び角度によって制約される。このように制約されて、全ての光線は、十二面体の表面と同じ角度でレンズに入射する。別の方法でそれらの同じ光線を見ると、我々は、光線が、図25及び26に示されているように、正確な入射角で五角形ジオメトリに適切に制約されることが分かる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【国際調査報告】