(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2019521774
(43)【公表日】20190808
(54)【発明の名称】個別の狭帯域同期照明によるカラー画像形成
(51)【国際特許分類】
   A61B 1/045 20060101AFI20190712BHJP
   A61B 1/06 20060101ALI20190712BHJP
   A61B 1/00 20060101ALI20190712BHJP
   G01N 21/27 20060101ALI20190712BHJP
【FI】
   !A61B1/045 610
   !A61B1/06 610
   !A61B1/045 632
   !A61B1/00 510
   !G01N21/27 A
【審査請求】未請求
【予備審査請求】未請求
【全頁数】18
(21)【出願番号】2018569100
(86)(22)【出願日】20170627
(85)【翻訳文提出日】20190221
(86)【国際出願番号】IL2017050715
(87)【国際公開番号】WO2018002923
(87)【国際公開日】20180104
(31)【優先権主張番号】62/354,821
(32)【優先日】20160627
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】518461621
【氏名又は名称】ウォシャブスキ,オムリ
【氏名又は名称原語表記】WARSHAVSKI,Omri
【住所又は居所】イスラエル エム ピー ミスガブ,アツモン セゲヴ 2017000,ピーオー ボックス 20170,ハ‐スノニット ストリート 16
【住所又は居所原語表記】16 Ha−Snonit Street,PO Box 20170,2017000 Atzmon Segev,M.P Misgav,ISRAEL
(74)【代理人】
【識別番号】100105946
【弁理士】
【氏名又は名称】磯野 富彦
(72)【発明者】
【氏名】ウォシャブスキ,オムリ
【住所又は居所】イスラエル エム ピー ミスガブ,アツモン セゲヴ 2017000,ピーオー ボックス 20170,ハ‐スノニット ストリート 16
【テーマコード(参考)】
2G059
4C161
【Fターム(参考)】
2G059AA05
2G059AA06
2G059BB08
2G059BB12
2G059EE02
2G059EE07
2G059EE12
2G059FF01
2G059FF04
2G059FF20
2G059GG02
2G059GG03
2G059GG09
2G059JJ17
2G059KK04
2G059MM18
2G059NN01
2G059PP04
4C161AA01
4C161AA04
4C161BB01
4C161BB08
4C161CC06
4C161HH51
4C161HH52
4C161HH53
4C161JJ17
4C161LL01
4C161MM03
4C161NN01
4C161NN05
4C161QQ03
4C161QQ04
4C161QQ07
4C161QQ09
4C161RR04
4C161RR26
4C161SS05
4C161SS06
4C161SS21
4C161TT13
4C161WW15
4C161WW17
(57)【要約】
カラー画像形成システム及び方法であり、方法は、照明の複数の所定の波長帯域に対して、特定の色空間に対する各波長帯域の寄与を示す重み係数を計算し、それぞれが異なる所定の狭波長帯域における導波路を介して照明を提供するように構成された複数の照明源のそれぞれの照明間隔を個別的に制御し、イメージセンサを制御して、〜照明間隔と同期して一連の単色画像フレームを捕捉し、捕捉した一連の単色画像フレームを受取り、それぞれ対応する係数により重み付けられた一連の画像フレームの組み合わせを計算して、カラー画像を形成することを備える。
【特許請求の範囲】
【請求項1】
照明の複数の所定の波長帯域に対して、特定の色空間に対する各波長帯域の寄与を示す重み係数を計算し、
それぞれが異なる所定の狭波長帯域における導波路を介して照明を提供するように構成された複数の照明源のそれぞれの照明間隔を個別的に制御し、
イメージセンサを制御して、前記照明間隔と同期して一連の単色画像フレームを捕捉し、
捕捉した前記一連の単色画像フレームを受取り、
それぞれ対応する前記係数により重み付けられた前記一連の画像フレームの組み合わせを計算して、カラー画像を形成することを備えるカラー画像形成方法。
【請求項2】
前記照明源の少なくとも1つを介して送られる照明と同期して単色の前記イメージセンサの露光時間を調整することを備える請求項1記載の方法。
【請求項3】
照明の1つ以上の所定のプログラムされた操作プロトコルに従って、前記照明源を操作することを備える請求項1記載の方法。
【請求項4】
前記照明の前記プロトコルは、複数の照明間隔を備え、各照明間隔にて、他の照明波長域の他の照明源が動作する請求項3記載の方法。
【請求項5】
前記照明の前記プロトコルは、複数の照明間隔を備え、少なくとも2つの照明間隔は異なる継続時間を有する請求項3記載の方法。
【請求項6】
前記照明の前記プロトコルは、複数の照明間隔を備え、所定の波長帯域は、1つの以上の照明間隔で動作する請求項3記載の方法。
【請求項7】
前記照明の前記プロトコルは、複数の照明間隔を備え、1つ以上の照明帯域は、少なくとも1つの照明間隔の間に同時に動作する請求項3記載の方法。
【請求項8】
一定の期間の間照明を提供しないように前記照明源を制御して、前記照明源により照明が提供されないときに前記イメージセンサにより画像データを捕捉することにより基本照明レベルを検出し、検出した前記基本照明レベルに基ついて、前記画像データ及び/又は生成されたカラー画像をキャリブレートすることを備える請求項3記載の方法。
【請求項9】
蛍光、自家蛍光、スペックルパターン及びストラクチャード・ライトを含むリストの少なくとも1つについての情報を受け取った前記フレームから抽出することを備える請求項1記載の方法。
【請求項10】
人間の可視範囲外であるが、前記イメージセンサの検知範囲内である波長の照明を備える請求項1記載の方法。
【請求項11】
受け取った前記フレームに含まれる検知された反射光のコヒーレンスから情報を抽出することを備える請求項1記載の方法。
【請求項12】
ストラクチャード・ライトパターンの変形から深度情報を抽出することを備える請求項1記載の方法。
【請求項13】
照明間隔の間にコヒーレント照明が適用されるとき、捕捉された光帯域のいくつかにおいて識別されたスペックルパターンにおける画像強度の標準偏差における時間的変化を抽出することを備える請求項1記載の方法。
【請求項14】
それぞれが異なる所定の狭波長帯域における導波路を介して照明を提供するように構成された複数の照明源と、
コードを実行するように構成されたプロセッサと、を備え、
前記コードは、
前記複数の照明源のそれぞれの照明間隔を個別的に制御し、
イメージセンサを制御して、前記照明間隔と同期して一連の単色画像フレームを捕捉し、
捕捉した前記一連の単色画像フレームを受取り、
受け取った捕捉した前記画像フレームからカラー画像データを生成する、命令を含むカラー画像形成システム。
【請求項15】
異なる前記照明源から照明を送るように構成された1つ以上の導波路と、単色イメージセンサとを備える検知モジュール備える請求項14記載のシステム。
【請求項16】
前記プロセッサは、照明の所定のプログラムされた操作プロトコルに従って、前記照明源を動作させる請求項14記載のシステム。
【請求項17】
前記プロセッサは、照明のダイナミック制御操作プロトコルに従って、前記照明源を動作させる請求項14記載のシステム。
【請求項18】
前記照明の前記プロトコルは、複数の照明間隔を備え、各照明間隔にて、他の照明波長域の他の照明源が動作する請求項16記載の方法。
【請求項19】
前記照明の前記プロトコルは、複数の照明間隔を備え、少なくとも2つの照明間隔は異なる継続時間を有する請求項16記載の方法。
【請求項20】
前記照明の前記プロトコルは、複数の照明間隔を備え、所定の波長帯域は、1つの以上の照明間隔で動作する請求項16記載の方法。
【請求項21】
前記照明の前記プロトコルは、複数の照明間隔を備え、1つ以上の照明帯域は、少なくとも1つの照明間隔の間に動作する請求項3記載の方法。
【請求項22】
前記プロセッサは、一定の期間の間照明を提供しないように前記照明源を制御して、前記照明源により照明が提供されないときに前記イメージセンサにより画像データを捕捉することにより基本照明レベルを検出し、検出した前記基本照明レベルに基ついて、前記画像データ及び/又は生成されたカラー画像をキャリブレートするように構成される請求項16記載のシステム。
【請求項23】
前記プロセッサは、蛍光、自家蛍光、スペックルパターン及びストラクチャード・ライトを含むリストの少なくとも1つについての情報を受け取った前記フレームから抽出するように構成される請求項14記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、暗い中空環境に関する情報を取得するための方法に関し、より具体的には内視鏡検査及びロボット手術に関する。
【背景技術】
【0002】
カラー画像は、一般に、自然の広帯域光(「白色光」)及びイメージセンサ上に適用された3つのフィルタのセットを使用して取り込まれる。カラー画像は、通常、人間の目の錐体細胞の分光感度を模した3つの異なるカラー層(赤、緑、青)を含む。カラー画像内の各画素がこれらの3つの値又はそれらの派生物のうちの1つによって表される場合、異なるカラー層を組み合わせてカラー画像を作成する。いくつかの既知の内視鏡検査方法は、色を分離するために光源及び複数のフィルタを使用し、それにより光強度の大部分を失う。これは、イメージセンサの露光時間の延長及び/又は内視鏡の入力における非常に強くて扱いにくい照明光源の利用を必要とする。
【0003】
さらに、いくつかの画像形成方法は、スペクトル情報、例えばマルチスペクトル又はハイパースペクトル情報を記録すること、及び/又は高品質のカラー画像を生成するために大量のスペクトルチャネルを使用することを目的としている。いくつかの方法は、画像内の見えにくい特徴を強化ために、カラー画像から反射スペクトルを推定するために既知のスペクトルの大量の画像のセットを使用する。
【発明の概要】
【課題を解決するための手段】
【0004】
本発明のいくつかの実施形態の態様によれば、照明の複数の所定の波長帯域に対して、特定の色空間に対する各波長帯域の寄与を示す重み係数を計算し、それぞれが異なる所定の狭波長帯域における導波路を介して照明を提供するように構成された複数の照明源のそれぞれの照明間隔を個別的に制御し、イメージセンサを制御して、照明間隔と同期して一連の単色画像フレームを捕捉し、捕捉した一連の単色画像フレームを受取り、それぞれ対応する係数により重み付けられた一連の画像フレームの組み合わせを計算して、カラー画像を形成することを備えるカラー画像形成方法を提供する。
【0005】
任意選択的に、方法は、照明源の少なくとも1つを介して送られる照明と同期して単色のイメージセンサの露光時間を調整することを備える。
【0006】
任意選択的に、方法は、照明の1つ以上の所定のプログラムされた操作プロトコルに従って、照明源を操作することを備える。
【0007】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、各照明間隔にて、他の照明波長域の他の照明源が動作する。
【0008】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、少なくとも2つの照明間隔は異なる継続時間を有する。
【0009】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、所定の波長帯域は、1つの以上の照明間隔で動作する。
【0010】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、1つ以上の照明帯域は、少なくとも1つの照明間隔の間に同時に動作する。
【0011】
任意選択的に、方法は、一定の期間の間照明を提供しないように照明源を制御して、照明源により照明が提供されないときにイメージセンサにより画像データを捕捉することにより基本照明レベルを検出し、検出した基本照明レベルに基ついて、画像データ及び/又は生成されたカラー画像をキャリブレートすることを備える。
【0012】
任意選択的に、方法は、蛍光、自家蛍光、スペックルパターン及びストラクチャード・ライトを含むリストの少なくとも1つについての情報を受け取ったフレームから抽出することを備える。
【0013】
任意選択的に、方法は、人間の可視範囲外であるが、イメージセンサの検知範囲内である波長の照明を備える。
【0014】
任意選択的に、方法は、受け取ったフレームに含まれる検知された反射光のコヒーレンスから情報を抽出することを備える。
【0015】
任意選択的に、方法は、ストラクチャード・ライトパターンの変形から深度情報を抽出することを備える。
【0016】
任意選択的に、方法は、照明間隔の間にコヒーレント照明が適用されるとき、捕捉された光帯域のいくつかにおいて識別されたスペックルパターンにおける画像強度の標準偏差における時間的変化を抽出することを備える請求項1記載の方法。
【0017】
本発明のいくつかの実施形態の態様によれば、それぞれが異なる所定の狭波長帯域における導波路を介して照明を提供するように構成された複数の照明源と、コードを実行するように構成されたプロセッサと、を備え、コードは、複数の照明源のそれぞれの照明間隔を個別的に制御し、イメージセンサを制御して、照明間隔と同期して一連の単色画像フレームを捕捉し、捕捉した一連の単色画像フレームを受取り、受け取った捕捉した画像フレームからカラー画像を生成する、命令を含むカラー画像形成システムを提供する。
【0018】
任意選択的に、システムは、異なる照明源から照明を送るように構成された1つ以上の導波路と、単色イメージセンサとを備える検知モジュール備える。
【0019】
任意選択的に、プロセッサは、照明の所定のプログラムされた操作プロトコルに従って、照明源を動作させる。
【0020】
任意選択的に、プロセッサは、照明のダイナミック制御操作プロトコルに従って、照明源を動作させる。
【0021】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、各照明間隔にて、他の照明波長域の他の照明源が動作する。
【0022】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、少なくとも2つの照明間隔は異なる継続時間を有する。
【0023】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、所定の波長帯域は、1つの以上の照明間隔で動作する。
【0024】
任意選択的に、照明のプロトコルは、複数の照明間隔を備え、1つ以上の照明帯域は、少なくとも1つの照明間隔の間に動作する。
【0025】
任意選択的に、プロセッサは、一定の期間の間照明を提供しないように照明源を制御して、照明源により照明が提供されないときにイメージセンサにより画像データを捕捉することにより基本照明レベルを検出し、検出した基本照明レベルに基ついて、画像データ及び/又は生成されたカラー画像をキャリブレートするように構成される。
【0026】
任意選択的に、プロセッサは、蛍光、自家蛍光、スペックルパターン及びストラクチャード・ライトを含むリストの少なくとも1つについての情報を受け取ったフレームから抽出するように構成される。
【図面の簡単な説明】
【0027】
開示された主題のいくつかの非限定的な例示的実施形態又は特徴は、以下の図面に示されている。
【図1】図1は本発明のいくつかの実施形態に係るカラー画像形成システムの模式図である。
【図2A】図2Aは本発明のいくつかの実施形態に係る例示的な操作プロトコル201を示したタイムテーブルである。
【図2B】図2Bは本発明のいくつかの実施形態に係る例示的な操作プロトコル202を示したタイムテーブルである。
【図3】図3は本発明のいくつかの実施形態に係る模式的なグラフである。
【図4】図4は本発明のいくつかの実施形態に係る計算する方法を示す概略フローチャートである。
【発明を実施するための形態】
【0028】
ここで詳細に図面を具体的に参照すると、示される詳細は例示であり、本発明の実施形態の例示的な説明の目的のためであることを強調する。この点に関して、図面と共に行われる説明は、本発明の実施形態がどのように実施され得るかを当業者に明らかにする。
【0029】
1つ又は複数の図面に現れる同一又は重複又は同等又は類似の構造、要素、又は部分は、全般的に、同一の符号、任意選択的に追加の文字、又は類似の物又は物の変形を区別するための文字を付し、繰り返し符号を付す及び/又は説明をしない。以前に示した要素の言及は、それらが現れる図面又は説明を更に引用する必要なく暗示されている。
【0030】
図面に示される構成要素及び特徴の寸法は、提示の便宜又は明確さのために選択されており、必ずしも一定の縮尺又は正確な視点で示されているわけではない。便宜上又は明確にするために、いくつかの要素又は構造は示されていないか、又は部分的に及び/又は異なる視点で又は異なる観点から示されている。
【0031】
本発明のいくつかの実施形態は、例えば人体の内部及び/又は別の閉じた中空空間等の空間光がない暗い非照明環境のカラー画像形成(color imaging)のためのシステム及び方法を提供する。
【0032】
本発明のいくつかの例示的な実施形態は、胃腸内視鏡検査及び/又は任意の他の体内の内腔の撮像に適用可能である。しかしながら、本発明はこれに関して限定されず、他の適切な用途に適用してもよい。
【0033】
例えば、色の分離のためのフィルタの使用及び/又は高品質のカラー画像の生成のための大量のカラーチャネルの使用により、情報の捕捉及び送信の限定された効率を可能にする画像化方法がある。上述のように、いくつかの画像形成方法は、スペクトル情報、例えばマルチスペクトル又はハイパースペクトル情報を記録することを目的としている。しかしながら、これらの方法は、スペクトル情報を捕捉するために、画像情報、例えば空間的又は時間的な画像の次元(dimensions)を失わせる。加えて、そのような方法は通常、低いフレームレート及び/又は劣化した空間解像度を有する画像及び/又は他のデータを提供し、リアルタイム用途には不適当になり、及び/又は一度に特定の領域の検査又はイメージセンサにより視野の交互の走査を必要とする。
【0034】
本発明のいくつかの実施形態は、効率の問題を解決し、撮像装置によって暗い環境で捕捉した向上した情報コンテンツを提供し、同時に低待ち時間及び高解像度で忠実度が高いカラー画像を提供する。解決には、カラーフィルタを使用せずに、さまざまなスペクトル帯域の照明間隔と同期して画像を捕捉するモノクロイメージセンサが含まれる。いくつかの実施形態では、単色画像は、各スペクトル帯域ごとに異なる間隔で、所定の別個のスペクトル帯域のセットのそれぞれで照明しながら捕捉される。さらに、いくつかの実施形態では、捕捉されたスペクトルデータのいくつかは、オブジェクトの反射スペクトルから追加の情報内容、例えば従来のカラー空間の赤、緑及び青(RGB)画像で表現されない情報を得るために使用される。
【0035】
本発明のいくつかの実施形態は、システム、方法、及び/又はコンピュータプログラム製品を含むことができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有する有形の非一時的なコンピュータ可読記憶媒体(又は複数の媒体)を含むことができる。本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は任意のオブジェクト指向プログラミング言語及び/又は従来の手続き型プログラミング言語を含む、1つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかであることができる。
【0036】
本発明の少なくとも1つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明及び/又は図面及び/又は実施例に示される、構成の詳細及び構成要素の配置及び/又は方法に必ずしも限定されないことを理解されたい。本発明は、他の実施形態も可能であり、又は様々な方法で実施又は実行することが可能である。
【0037】
ここで本発明のいくつかの実施形態によるカラー画像形成システム100の概略図である図1を参照する。システム100は、照明モジュール10、内視鏡などの検知モジュール11、及び少なくとも1つのハードウェアプロセッサ12を含むことができる。プロセッサ12は、非一時的なハードウェアメモリ14を含む及び/又は通信することができる。メモリ14は、プロセッサ12によって実行可能なコード命令を格納することができる。いくつかの実施形態において、格納された命令を実行することは、プロセッサ12に本明細書に記載された方法を実行させる。
【0038】
照明モジュール10は、コントローラ13と複数の照明源、例えば照明源10a〜10fとを含むことができる。本発明は、特定の数の照明源に限定されない。いくつかの実施形態では、照明源の数は4から50の間である。コントローラ13はプロセッサ12から命令を受け取り、及び/又はコントローラ13及び/又はメモリ14に格納されたコード命令のセットを実行することによって動作する。コントローラ13は、照明源10a〜10fを別々に制御することができ、例えば所定の照明パターンに従って、例えばそれぞれ異なる間隔で異なるスペクトル帯域で照明する。いくつかの実施形態では、コントローラ13は、それぞれが特定の期間及び/又は特定の強度で照明するように制御される1つ又は複数の光源の組み合わせで、各間隔で照明するように構成することができる。
【0039】
照明源10a〜10fはそれぞれ、例えば所定の波長域にわたって広がる20ナノメートル(nm)未満の異なる狭波長域で照明を提供することができる。例えば、波長域は、光源10a〜10fによって照明された物体から反射された光を捕捉するように指定された光センサの感度範囲に従って定義される。例えば、その範囲は、紫外線A波(UVA)から近赤外線(NIR)の光、例えば300nm〜1100nmの範囲であってもよい。照明源10a〜10fは、発光ダイオード(LED)、レーザ、レーザダイオード、又は他の任意の適切な狭帯域照明源を含むことができる。本明細書でより詳細に説明するように、いくつかの実施形態では、照明源10a〜10fは、それぞれが検知モジュール11の導波路11a〜11fの対応する導波路とそれぞれ結合するためのサイズ及び形状において適切である。例えば、導波路は、長さ数メートルのガラス光ファイバで形成されていてもよく、約10〜600マイクロメートルの幅を有していてもよい。例えば、直径約200マイクロメートルの7本の光ファイバを直径約600マイクロメートルの六角形に束ねることができる。同様に、同様の六角形状の束の中の19本の同一の繊維は、約1ミリメートルの直径を有することができる。
【0040】
検知モジュール11は、複数の導波路、例えば導波路11a〜11f、及び単色光センサ18を含みことができる。本発明は、特定の数の導波路に限定されない。 例えば、導波路11a〜1ffの数は照明源10a〜10fの数に対応してもよく、各照明源はそれぞれの導波路に結合されてもよい。導波路11a〜11fは、例えば、光ファイバ及び/又は任意の他の適切な光導波路を含むことができる。 いくつかの実施形態では、導波路11a〜11fは、例えば、体内腔及び/又は他の暗い中空の空隙に中に平行して、導波路を一緒に通過させることを容易にするために、導波路の束又は導波路の複数の束に配置することができる。
【0041】
いくつかの例示的な実施形態では、導波路10a〜10fから検知モジュール11の先端までの間に、導波路のうちの少なくともいくつかがより小さなものに併合され、及び/又はより多数の導波路に分けられる。例えば、検知モジュール11の先端のスペースを節約するために、及び/又は検知モジュール11と照明モジュール10とを接続及び切断する作業を単純化するために、導波路を併合することができる。 例えば、導波路を通過するエネルギーの量を減らす、又は検知モジュール11の先端の異なる位置に複数の照明源を作るために、導波路を分けることができる。
【0042】
単色光センサ18は、例えば、電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)、N型金属酸化膜半導体(NMOS)、及び/又は任意の他の適切なものを含むことができる。単色光センサ18は、プロセッサ12及び/又はコントローラ13によって制御されて、デジタル単色画像を捕捉する、すなわち、対応する導波路11a〜10fを介して各光源10a〜10fから発光される照明と同期して照射された物体から反射される光を捕捉する。例えば、センサ18は、光源10a〜10fの動作と同期して開閉するように構成され、プロセッサ12及び/又はコントローラ13によって制御可能なシャッタ、例えば電子シャッタを含むことができる。例えば、センサ18は、光源10a〜10fの動作と同期してセンサをオン及びオフにするように構成され、プロセッサ12及び/又はコントローラ13によって制御可能な電子スイッチを含むことができる。
【0043】
本発明のいくつかの実施形態では、プロセッサ12は、照明プロトコルを開始するために同期信号をコントローラ13に送信する。本発明のいくつかの実施形態では、コントローラ13は、照明源の起動時に同期信号をプロセッサ12及び/又はイメージセンサ18に送信し、そして受信した同期信号に応答してイメージセンサ18の同期動作を引き起こす。本発明のいくつかの他の実施形態では、同期信号は代替的にイメージセンサ18又は照明源10a〜10fのうちの少なくとも1つによって発生させることができ、したがってイメージセンサと照明間隔との間の同期動作を保証する。
【0044】
プロセッサ12は、例えば直接又はコントローラ13によって、例えば毎秒80フレーム(fps)を超える高いフレームレートで、単色センサ18を動作させることができる。プロセッサ12は、センサ18のフレームレートと同じレートで光源10a〜10fを動作させるようにコントローラ13に命令を生成及び/又は提供することができる。受信した命令に基づいて、例えば、各照明間隔において、コントローラ13は導波路11a〜11fを介して照明するように他の光源又は光源のグループを動作させ、一方センサ18は照射された物体から反射された光を捕捉する。例えば、プロセッサ12は、どの照明スペクトル帯域が各照明間隔で動作するかについてのデータを記憶し、一定の照明間隔でセンサ18によって捕捉された単色画像と、同じ一定の照明間隔で動作するそれぞれの照明スペクトル帯域に関するデータとを一致させる。したがって、各単色画像は、それが捕捉された既知の照明スペクトル帯域、すなわち既知の狭い波長帯域、又はいくつかの同時照明スペクトル帯域と関連付けられる。
【0045】
本発明のいくつかの実施形態では、プロセッサ12は、事前にプログラムされた照明及び撮像画像から抽出される特定のタイプの情報を指定される光捕捉の動作プロトコルに従ってセンサ18及び/又は照明源10a〜10fを動作させることができる。いくつかの実施形態では、プロセッサ12は、例えばユーザインタフェースを介してコマンドを受信し、受信したコマンドに従って動作して、例えばメモリ14に格納された照明及び捕捉のいくつかの事前プログラム動作プロトコルのうちの1つを実行することができる。例えば、事前にプログラムされる。
【0046】
ここで、 本発明のいくつかの実施形態に係る例示的な動作プロトコル201及び202を示す概略タイムテーブルである図2A及び図2Bを参照する。例えば、図2Aに示すように、反復照明プロトコルの1サイクルは照明間隔T1〜T5を含むことができ、各間隔では別のそれぞれの照明スペクトル帯域の別の照明源が動作する。各照明間隔T1〜T5の間に、単色センサ18はその照明間隔内に反射光を捕捉することによって画像を取得する。本発明のいくつかの実施形態では、照明間隔T1〜T5及び/又はこれらの照明間隔内の捕捉し(取り込み)時間は、異なる継続時間を有することができる。例えば、いくつかの照明スペクトル帯域は、例えば、あるスペクトル帯域の明るさを人間の目の特性及び/又は表示装置などの特定の機器の特性に適合させるために、センサ18のより長い露光を必要とすることがある。
【0047】
例えば、図2Bに示されるように、反復照明プロトコルのサイクルは、特定の照明スペクトル帯域について複数の照明間隔をさらに含むことができる。例えば、照明源3は、照明間隔T2とT6の両方で動作させることができる。 追加的又は代替的に、サイクルは、例えば特定の種類の情報の抽出のために、照明間隔T7のように、複数の照明源が動作している間の照明間隔を含んでもよい。
【0048】
本発明のいくつかの実施形態では、コントローラ13は、一定の期間中に照明を提供しないように照明源を制御し、プロセッサ12は、照明源から照明が提供されないときにイメージセンサによって画像データを捕捉することによって基本照明レベルを検出する。プロセッサ12は、検出された基本照明レベルに基づいてイメージセンサ及び/又は生成されたカラー画像を較正することができる。
【0049】
本発明のいくつかの実施形態によれば、プロセッサ12は、画像が捕捉されるそれぞれ異なる照明スペクトル帯域に関連する一連の捕捉されたデジタル単色画像を組み合わせることによって、RGBカラー画像、例えば高忠実度RGBカラー画像を計算することができる。 いくつかの実施形態では、プロセッサ12は、RGB画像を計算し、例えば一連の画像内の最後の画像を捕捉した時点から100ミリ秒未満の待ち時間で画像をディスプレイに出力する。
【0050】
例えば、プロセッサ12は、各照明スペクトル帯に重み係数を割り当てることによって一連のデジタル単色画像を組み合わせ、各画像がその関連する1つ又は複数の照明スペクトル帯に応じて重み付けされるようにしてもよい。 例えば、係数は、各スペクトル帯域の人間の目によって知覚される強度を考慮して計算される。 例えば、より低い明るさとして知覚されるスペクトル帯域は、より低い知覚された輝度を反映するように、より低い重み係数を付与してもよい。 いくつかの実施形態では、係数は、XYZ色空間(CIE 1931 XYZ色空間)又は任意の他の適切な色空間などの特定の色空間に従って計算される。
【0051】
次に、本発明のいくつかの実施形態に係るXYZ色空間に基づく、R、G、B係数の計算を示す概略グラフ300である図3を参照する。グラフ300は、異なる波長の照明に対する赤、緑、青の目の受容体のそれぞれの相対レスポンスの推定を示す。各波長xについて、赤の係数Rx、緑の係数Gx及び青の係数Bxは、それぞれ赤、緑及び青の目の受容体の波長xの照明に対する相対リスポンスに従って決定される赤、緑及び青の明度である。例えば、図3に示すように、450nmの照明のとき、係数はR450、G450及びB450である。 470nmの照明のとき、係数はR470、G470及びB470である。 530nmの照明のとき、係数はR530、G530及びB530である。 590nmの照明のとき、係数はR590、G590及びB590である。630nmの照明のとき、係数はR630、G630及びB630である。 したがって、いくつかの実施形態では、係数は、隣接するスペクトル帯域間の不均一なサンプリングを補償するための追加のスカラー因子(scalar factor)を含んでもよい。
【0052】
次に、本発明のいくつかの実施形態に係る高忠実度RGBカラー画像を計算する方法400を示す概略フローチャートである図4を参照する。 ブロック410に示すように、プロセッサ12は、イメージセンサ18によって捕捉されたデータを受信することができる。ブロック420に示すように、単色画像が捕捉される照明の色ごとに、プロセッサ12は、 赤、緑、青のそれぞれの人間の目の色受容体の照明の色に対する反応を表す重み計数を計算することができる。
【0053】
ブロック430に示されるように、プロセッサ12は、それぞれ対応するR係数によって重み付けされた一連の画像の組み合わせを計算することによって赤の画像データを計算し、それぞれに対応するG係数によって重み付けされた一連の画像の組み合わせを計算することによって緑の画像データを計算し、それぞれに対応するB係数によって重み付けされた一連の画像の組み合わせを係数計算することによって青の画像データを計算することができる。ブロック440に示すように、プロセッサ12は、結果として得られる赤、緑及び青の画像データを高忠実度RGB画像データとして出力することができる。 例えば、450nm、470nm、530nm、590nm及び630nmを中心とする5つの狭い波長帯域の照明については、RGB画像データは次の変換に従って計算することができる。
【0054】
【数1】
【0055】
ここで、R、G及びBは、赤、緑及び青の画像データを表す行列であり、Ixは、波長xでの照明中に捕捉された単色画像を表す行列である。 したがって、いくつかの実施形態では、係数は、隣接するスペクトル帯域間の不均一なサンプリング及び/又はイメージングセンサのスペクトル応答性を補償するための追加のスカラー因子を含むことができる。
【0056】
本発明のいくつかの実施形態では、プロセッサ12は、例えば、画像データの計算に含まれるべきである照明の異なる波長帯域の数等スペクトル密度に依存するフレームレートでRGBデータを出力することができることを理解されたい。 本発明のいくつかの実施形態では、動作プロトコルを適合させることによりフレームレートを適合させることが可能であり、例えば動作及び/又は計算に含まれる照明波長帯域の数を変更することにより、又は必要に応じてより遅いフレームレートを提供して、RBG画像の色を改善することにより可能である。一般的に、RGB画像データは以下によって計算される。
【0057】
【数2】
ここで、R、G及びBは、赤、緑及び青の画像データを表す行列であり、R、G及びBの係数は、波長Iでの照明のR、G及びBの係数であり、Iiは、波長iでの照明中に捕捉された単色画像を表す行列である。
【0058】
本発明はRGB画像データの生成に限定されず、同様の方法は、色相、彩度及び輝度(HSL)、色相、彩度及び明度(HSV)、XYZ、Lab等のような他の色空間の画像データを生成するために実行することができることに留意されたい。
【0059】
本明細書に記載されるように、本発明のいくつかの実施形態によって提供されるシステム及び方法は、狭帯域照明源を使用して高忠実度カラー画像の取得を可能にし、イメージセンサで有効スペクトルを個別的にカバーする。この方法は、画像解像度、画像システム効率を向上し、空間解像度を犠牲にすることなく、そして機械的走査を導入することなく、高フレームレートでマルチ/ハイパースペクトルデータへのアクセスを可能にする。
【0060】
ブロック450に示すように、本発明のいくつかの実施形態では、プロセッサ12は、イメージセンサ18によって捕捉されたデータから補助情報を抽出する。物体から反射された光でセンサ18によって捕捉された画像は、RGB画像データ以外の情報の抽出に使用することができる。例えば、蛍光、自家蛍光、スペックルパターン、ストラクチャード・ライト(structured light)、及び反射光のスペクトル分析によって得られる他の適切なデータなどのデータである。いくつかの実施形態では、情報は、人間の可視範囲外(すなわち、400〜680ナノメートル)であるが、依然としてセンサ18の検知範囲内にある波長、例えば、300nmから1150nmの間での照明によって抽出される。
【0061】
例えば、検知された反射光のコヒーレンス又は他のスペクトル特性から情報を抽出することができる。 抽出された情報は、カラー画像の分析、カラー画像の強調、及び/又はカラー画像と並行して追加の情報を提供するために使用されてもよい。例えば、プロセッサ12は、捕捉された反射光において、人間の目及び/又は脳及び/又は知覚によって見えない及び/又は認識することが困難であり得るスペクトルパターン及び/又は特性を識別することができる 例えば、識別されたスペクトル特性は、ストラクチャード・ライトパターンの変形から識別され得る深さの解釈及び/又は推定を含むことができる。 例えば、識別されたスペクトル特性はスペックルパターンにおける標準偏差を含むことができ、いくつかの照明帯域等のいくつかの捕捉された画像レイヤにおいて識別されることができる。
【0062】
識別されたパターンは、対応する表示カラー画像上及び/又は対応する表示カラー画像以外の上にオーバーレイによって表示することができ、及び/又はカラー画像のさらなる処理及び/又は分類のための追加情報層としてプロセッサ12によって使用することができ、及び/又は生データ又は次の処理のための部分処理データとして、システム内又はデジタルデータストレージの他の方法(例えば、クラウド内)により格納することができる。
【0063】
本発明のいくつかの実施形態では、いくつかの種類のスペクトル情報を取得するために、検知モジュール11は、回折素子及び/又は導波路11a〜11fの少なくともいくつかの遠位端を覆う他の形態の光学レンズを含むことができる。回折素子及び/又はレンズは、所定の角度で、及び/又は所定の回折関数及び/又は回折パターンに従って、例えば対応する波長の捕捉された反射光に対して実行される対応する特定のスペクトル分析に従って回折するように構成されてもよい。したがって、いくつかの実施形態は、特定の波長の照明に対して所定の回折構造を提供する。 例えば、いくつかの実施形態では、プロセッサ12は、画像平面法線に対して既知の拡がり角でサンプル上を照らされた既知の光パターンの変形から、捕捉された画像についての深度情報を抽出することができる。
【0064】
本発明のいくつかの実施形態では、プロセッサ12は、例えば、検知された反射光における強め合う及び弱め合う干渉パターン等のスペックルパターンを検出及び/又は分析することによって、移動する物体及び/又は血流などの検知された環境におけるダイナミクスを識別、解像及び/又は定量化することができる。 例えば、プロセッサ12は、照明間隔の間にコヒーレント照明が適用されるとき、捕捉された光帯域のいくつかにおいて識別されたスペックルパターンにおける画像強度の標準偏差の時間的変化を抽出することができる。
【0065】
ある場合には、そこから捕捉された光が反射されるいくつかの照らされた物体は、反射された光の波長を変えるエネルギー伝達のプロセスを経ることがある。いくつかの場合、物体は自家蛍光又はある種の誘導蛍光を受けることがある。 プロセッサ12は、照明と光の捕捉を同期させて、照明中の画像と付加的な画像とを照明と捕捉との間の遅延を伴って捕捉し、直接反射光を蛍光と比較し、それにより蛍光による波長の変化の付加的な情報層を作成できる。いくつかの実施形態では、プロセッサ12は、例えば反射光の時間変調によって、及び光センサ18の感度に従って、蛍光を識別し、及び/又は蛍光の時間応答を計算することができる。
【0066】
本開示のいくつかの実施形態の文脈において、限定ではなく例として、「動作中(operating)」又は「実行中(executing)」などの用語は、それぞれ「動作可能(operable)」又は「実行可能(executable)」などの可能性の意味も含まれる。
【0067】
例として、「物特性(a thing property)」のような接合語は、その文脈から明らかに明らかでない限り、その物の特性(a property of the thing)を意味する。
【0068】
本明細書では、「プロセッサ」又は「コンピュータ」、あるいはそれらのシステムという用語は、場合によりメモリ又は通信ポート等の追加のコンポーネントを含む、汎用プロセッサ、又はスマートフォン又はタブレットコンピュータなどの携帯機器、又はマイクロプロセッサ、又はRISCプロセッサ、又はDSP等の技術の通常の文脈として使用される。任意選択的又は追加的に、「プロセッサ」又は「コンピュータ」又はその派生語は、提供された又は組み込まれたプログラムを実行することができ、及び/又はデータ記憶装置及び/又は入出力ポート等の他の装置を制御及び/又はアクセスできる装置を表す。 「プロセッサ」又は「コンピュータ」という用語はまた、接続されている、及び/又はリンクされている、及び/又は通信し、場合によりメモリ及び/又はクラウドベースのストレージなどの1つ又は複数の他のリソースを共有する複数のプロセッサ又はコンピュータを表す。
【0069】
「ソフトウェア」、「プログラム」、「ソフトウェアプロシージャ」又は「プロシージャ」又は「ソフトウェアコード」又は「コード」又は「アプリケーション」という用語は、その文脈に従って互換的に使用されてもよく、そして一般にアルゴリズム及び/又は他のプロセスもしくは方法を表す一連の動作を実行するための1つ又は複数の命令、又は指示又は電子回路を表す。プログラムは、RAM、ROM、又はディスク等の媒体、及び/又はクラウドストレージ、又は半導体ベースのディスク様ストレージ、又は任意の種類のRAIDストレージなどに格納されているか、又はプロセッサ又は他の回路等の装置によりアクセス可能で実行可能な回路に埋め込まれる。 プロセッサ及びプログラムは、プログラムされた一連の動作を実行するように設計されたFPGA又はASICなどの電子ゲートのアレイなど、任意選択でプロセッサ又は他の回路を含むか又はそれらとリンクされた同じ装置を少なくとも部分的に構成してもよい。
【0070】
目的又はその変形のための「構成する」及び/又は「適応する」という用語は、目的を達成するために、設計及び/又は実装及び/又は動作可能な又は動作するソフトウェア及び/又は電子回路及び/又は補助装置を少なくとも使用することを意味する
【0071】
プログラム及び/又はデータを格納及び/又は含む装置は、製造品を構成する。 他に特定されない限り、プログラム及び/又はデータは、非一時的媒体の中又は上に格納される。
【0072】
電気又は電子機器が開示されている場合、その動作には適切な電源が使用されると想定される。
【0073】
フローチャート及びブロック図は、本開示の発明の主題の様々な実施形態に係るシステム、方法及びコンピュータプログラム製品の可能な構成のアーキテクチャ、機能性又は動作を示す。 これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実施するための1つ又は複数の実行可能命令を含むモジュール、セグメント、又はプログラムコードを表してもよい。 また、いくつかの代替実施形態では、図示又は説明された動作は、同じ又は同等の効果を達成するために、一連の動作の代わりに異なる順序で、あるいは組み合わせて、又は同時動作として行うこともできる。
【0074】
添付の特許請求の範囲における対応する構成、材料、動作、及び全てのミーンズプラスファンクション又はステップの要素の均等物は、請求項に記載された他の構成要素との組み合わせで機能を実行するための構成、材料又は動作を含むことを意図する。 本明細書で使用されるとき、単数形「a」、「an」及び「the」は、文脈が明らかにそうでないと示さない限り、複数形も含むことを意図している。 本明細書で使用されるとき、「含む、備える(comprising)」、「含む(including)」及び/又は「有する(having)」という用語及びこれらの用語の他の活用形は、記述された特徴、整数、ステップ、動作、要素、及びコンポーネントの存在を特定するが、1つ又は複数の他の特徴、整数、ステップ、動作、要素、コンポーネント、及び/又はそれらのグループの存在又は追加を除外するものではない
【0075】
本明細書で使用される用語は、他に特定されない限り、限定として理解されるべきではなく、特定の実施形態を説明する目的のためだけであり、開示された主題を限定することを意図しない。 開示された主題の特定の実施形態を例示し説明してきたが、本開示が本明細書に説明した実施形態に限定されないことは明らかである。 多数の修正、変更、変形、代替及び均等物は除外されない。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【手続補正書】
【提出日】20190531
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
4から20個の独立した狭帯域照明源の複数の所定の系列を用いて照明プロトコルサイクルを実行することにより内腔を照明し、
前記照明と同期して単色イメージセンタにより前記内腔の個別の狭帯域画像フレームを捕捉し、
特定の色空間に対する前記狭帯域画像フレームのそれぞれの寄与を示す所定の重み係数を使用して、前記重み係数を使用して異なる前記画像フレームの重み付き合計として、対応する高忠実度カラー画像を生成し、
前記高充実度カラー画像をリアルタイムで表示することを備え
前記重み係数の各々は、前記照明プロトコルサイクルにおける、生成された前記高忠実度カラー画像に対する捕捉された前記個別の狭帯域画像フレームの各々の寄与を表すカラー画像形成方法。
【請求項2】
前記個別の狭帯域画像フレームと、前記照明プロトコルサイクルの照明源とは異なる照明源を使用して補足された追加のフレームを使用して、
前記個別の狭帯域画像フレームと、前記追加のフレームを後処理することにより情報を抽出することを更に備え、
抽出された前記情報は、対応する前記高充実度カラー画像を計算するために使用された追加の情報であり、
前記個別の狭帯域画像フレームと、前記照明プロトコルサイクルのデータは、高忠実度カラー画像と共に維持される請求項1記載の方法。
【請求項3】
前記照明源は、20nm未満のスペクトルパワー分布を有する狭帯域照明源である請求項1記載の方法。
【請求項4】
外部コマンド又は所定の応答に従って、前記照明プロトコルサイクルの特性に対するシステムコントローラによる動的制御を更に備え、
前記動的制御は、
(i)前記照明プロトコルサイクルにおける狭帯域波長を選択する、
(ii)前記狭帯域照明源の照明の順序を変更する、
(iii)前記照明プロトコルサイクルにおける前記単色イメージセンサのフレームの個別の露光時間を制御する、
(iv)前記照明源の個別の強度レベルを制御する、
(v)前記照明源の個別の照明間隔を制御する、
特性のうち少なくとも1つを備え、
前記照明プロトコルサイクルは、単一のカラー画像フレームの構成用のデータを生成し、前記照明プロトコルサイクルは、追加の抽出された情報と共に、リアルタイムで高充実度カラー画像生成を行うために、連続サイクルモードで動作される請求項3記載の方法。
【請求項5】
前記個別の狭帯域画像フレームと、前記照明プロトコルサイクルの照明源とは異なる照明源を使用して補足された追加のフレームを使用して、前記個別の狭帯域画像フレームと前記照明プロトコルサイクルのデータを対応する処理された高忠実度カラー画像と共に維持しながら、前記個別の狭帯域画像フレームを後処理することにより情報の抽出を実行する請求項3記載の方法。
【請求項6】
抽出された前記情報は、(i)蛍光、(ii)自家蛍光、(iii)流動パターン空間分布、(iV)流動パターンダイナミクス、(V)オキシメトリ、(iV)シーン深度のうち少なくとも1つのを有する請求項記載の方法。
【請求項7】
人間の可視領域外の波長での狭帯域照明フレームを更に備え、前記狭帯域の波長は、前記人間の可視領域外であり、前記照明スペクトルは、前記単色イメージセンサの分光感度内である請求項記載の方法。
【請求項8】
前記照明プロトコルサイクルは、少なくとも2つの狭帯域照明を同時に動作させることから構成され、又は、前記照明プロトコルサイクルは、同一の狭帯域波長で照明することにより複数の画像フレームを構成する請求項5記載の方法。
【請求項9】
一定の期間の間照明を提供しないように前記照明源を制御して、前記照明源により照明が提供されないときに前記イメージセンサにより画像データを捕捉することにより基本照明レベルを検出し、前記フレームは、キャリブレーション、修正、又はリアルタイムな画像品質有効性のための背景照明レベルを決定する請求項3記載の方法。
【請求項10】
それぞれが異なる所定の狭波長帯域にて導波路を介して照明を提供するように構成された少なくとも4つの複数の照明源と、
コードを実行するように構成されたプロセッサと、を備え、
前記コードは、
前記複数の照明源のそれぞれの照明間隔を個別的に制御し、
単色イメージセンサを制御して、前記照明間隔と同期して一連の画像フレームを捕捉し、
捕捉した前記一連の画像フレームを受取り、
受け取った捕捉した前記画像フレームから高充実度カラー画像データを生成する、命令を含むカラー画像形成システム。
【請求項11】
検知モジュールを更に備え、前記検知モジュールは、異なる前記照明源から照明を送るように構成された1つ以上の導波路と、単色イメージセンサとを備える請求項10記載のシステム。
【請求項12】
前記プロセッサは、
(i)照明の所定のプログラムされた操作プロトコル、
(ii)動的制御された照明の操作プロトコル
のうちの少なくとも1つに従って、前記照明源を動作させ
前記プロセッサは、(i)使用する照明源、(ii)照明源の照明継続時間、(iii)照明源の強度、(iv)照明源の変調デューティサイクル、(v)照明源の変調周波数、(vi)照明源変調モード、(vii)センサの露光継続時間、(viii)センサのフレームレートのうちの少なくとも1つについて前記照明源の各々と、前記単色イメージセンサを個別的に制御し、
前記変調モードは、アナログ又はデジタルである請求項10記載のシステム。
【国際調査報告】