(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021068954
(43)【公開日】20210430
(54)【発明の名称】受光装置及び電子機器
(51)【国際特許分類】
   H04N 5/225 20060101AFI20210402BHJP
   H04N 5/376 20110101ALI20210402BHJP
   H04N 5/369 20110101ALI20210402BHJP
【FI】
   !H04N5/225 300
   !H04N5/376 500
   !H04N5/369
【審査請求】未請求
【請求項の数】17
【出願形態】OL
【全頁数】33
(21)【出願番号】2019191449
(22)【出願日】20191018
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
【住所又は居所】神奈川県厚木市旭町四丁目14番1号
(74)【代理人】
【識別番号】100091982
【弁理士】
【氏名又は名称】永井 浩之
(74)【代理人】
【識別番号】100091487
【弁理士】
【氏名又は名称】中村 行孝
(74)【代理人】
【識別番号】100105153
【弁理士】
【氏名又は名称】朝倉 悟
(72)【発明者】
【氏名】鈴木 伸治
【住所又は居所】神奈川県厚木市旭町4丁目14−1 ソニーセミコンダクタソリューションズ株式会社内
【テーマコード(参考)】
5C024
5C122
【Fターム(参考)】
5C024HX23
5C024HX51
5C024JX41
5C024JX43
5C024JX44
5C122EA22
5C122FC07
5C122FC08
5C122HB02
(57)【要約】
【課題】処理回路における負荷電流の増加を低減する。
【解決手段】受光装置は、複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、前記デジタル画像データに対するデータ処理を実行するデータ処理部であって、前記変換部が変換を実行しない期間と比較して、前記変換部が変換を実行する期間における前記データ処理の負荷を軽減する、データ処理部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
前記デジタル画像データに対するデータ処理を実行するデータ処理部であって、前記変換部が変換を実行しない期間と比較して、前記変換部が変換を実行する期間における前記データ処理の負荷を軽減する、データ処理部と、
を備える受光装置。
【請求項2】
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を前記データ処理部へ出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を前記データ処理部の少なくとも一部へ出力する、クロック制御部と、
をさらに備え、
前記データ処理部は、前記クロック制御部が出力したクロック信号に基づいて、前記データ処理を実行する、
請求項1に記載の受光装置。
【請求項3】
前記撮像部が撮像するタイミングを制御する、撮像制御部と、
前記撮像制御部が制御するタイミングに基づいて、前記データ処理の負荷を軽減する期間を指定する、期間指定部と、
をさらに備える、
請求項2に記載の受光装置。
【請求項4】
前記クロック制御部は、前記期間指定部が指定した期間において、クロック信号を前記所定周波数よりも低い周波数へと制御する、
請求項3に記載の受光装置。
【請求項5】
前記撮像制御部は、撮像するタイミングにおいて、同期信号を前記期間指定部へと出力し、
前記期間指定部は、前記同期信号に基づいて前記クロック制御部がクロック信号を前記所定周波数よりも低く制御する期間を指定する、
請求項3に記載の受光装置。
【請求項6】
前記撮像制御部は、撮像する画像の第1方向の撮像タイミングに対する同期信号である第1同期信号と、撮像する画像の前記第1方向と交差する方向である第2方向の撮像タイミングに対する同期信号である第2同期信号と、を前記期間指定部へと出力する、
請求項5に記載の受光装置。
【請求項7】
前記期間指定部は、前記第1同期信号を基準とした第1所定期間を、前記クロック制御部が前記所定周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第1所定期間において、前記クロック生成部が生成した前記所定周波数のクロック信号を出力する、
請求項6に記載の受光装置。
【請求項8】
前記期間指定部は、前記第2同期信号を基準とした第2所定期間を、前記クロック制御部が前記所定周波数よりも低い周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第2所定期間において、前記クロック生成部が生成したクロック信号を前記所定周波数よりも低い周波数のクロック信号へと制御して出力する、
請求項6に記載の受光装置。
【請求項9】
前記クロック制御部は、前記変換部が変換を実行する期間において、クロック信号を出力しない制御を行う、
請求項2に記載の受光装置。
【請求項10】
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える請求項2に記載の受光装置。
【請求項11】
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える請求項1に記載の受光装置。
【請求項12】
前記撮像部、前記変換部及び前記データ処理部は、同一の基板上に形成される、
請求項1に記載の受光装置。
【請求項13】
前記撮像部が形成される、第1基板と、
前記第1基板に積層される、前記変換部及び前記データ処理部が形成される、第2基板と、
を備える請求項1に記載の受光装置。
【請求項14】
前記第1基板と前記第2基板とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又は、WoW(Wafer on Wafer)方式のいずれかで貼り合わされる、
請求項13に記載の受光装置。
【請求項15】
撮像された画像データを出力する、受光装置と、
前記画像データに対して所定の信号処理を行う、プロセッサと、
を備え、
前記受光装置は、
複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を出力する、クロック制御部と、
前記クロック制御部が出力するクロック信号に基づいて、前記デジタル画像データに対するデータ処理を実行する、データ処理部と、
を備え、
前記データ処理部の出力が前記プロセッサに入力される、
電子機器。
【請求項16】
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える請求項15に記載の電子機器。
【請求項17】
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える請求項15に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、受光装置及び電子機器に関する。
【背景技術】
【0002】
近年では、イメージセンサで撮像された画像データに対して種々の信号処理を高速に行うことが求められている。また、半導体プロセス技術の進展により、イメージセンサチップ、メモリチップ及び信号処理チップなどの複数のチップ同士をバンプで接続してパッケージングした半導体デバイスや、イメージセンサが配置されたダイと、メモリや信号処理回路等が配置されたダイとを積層してパッケージングした半導体デバイスが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開WO2018/051809A1
【発明の概要】
【発明が解決しようとする課題】
【0004】
このようなデジタル回路を有するイメージセンサにおいては、信号処理の負荷の時間変化により電流変動が生じる蓋然性が高い。この電流変動は、A/D(Analog to Digital)変換を含む画素読み出し回路へのノイズ混入の原因となる。この結果、出力される画素値にノイズが付加される問題が発生する。特に、AI搭載センサ等、DSP(Digital Signal Processor)や複雑な信号処理回路を含むイメージセンサにおいては、各処理シーケンスで処理負荷が大きく変動するため、画素値への影響がより顕著になる。
【0005】
そこで、本開示では、処理回路における負荷電流の増加を低減する受光装置及び電子機器を提供する。
【課題を解決するための手段】
【0006】
一実施形態によれば、受光装置は、複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、撮像部が取得したアナログ画像信号をデジタル画像データに変換する、変換部と、デジタル画像データに対するデータ処理を実行するデータ処理部であって、変換部が変換を実行しない期間と比較して、変換部が変換を実行する期間におけるデータ処理の負荷を軽減する、データ処理部と、を備える。
【0007】
受光装置は、所定周波数のクロック信号を生成する、クロック生成部と、クロック生成部から所定周波数のクロック信号を受信し、変換部が変換処理を実行していない期間において所定周波数のクロック信号をデータ処理部へ出力し、変換部が変換処理を実行している期間において所定周波数よりも低い周波数へと制御したクロック信号をデータ処理部へ出力する、クロック制御部と、をさらに備えてもよく、データ処理部は、クロック制御部が出力したクロック信号に基づいて、データ処理を実行してもよい。このように、データ処理部のクロック周波数を制御することにより負荷電流を低減させてもよい。
【0008】
受光装置は、撮像部が撮像するタイミングを制御する、撮像制御部と、撮像制御部が制御するタイミングに基づいて、データ処理の負荷を軽減する期間を指定する、期間指定部と、をさらに備えてもよい。このように、データ処理部のクロック周波数を、撮像制御に用いる同期信号に基づいて制御してもよい。
【0009】
クロック制御部は、期間指定部が指定した期間において、クロック信号を所定周波数よりも低い周波数へと制御してもよい。このように、クロック制御部は、指定された期間において、クロック周波数を低く制御してもよい。
【0010】
撮像制御部は、撮像するタイミングにおいて、同期信号を期間指定部へと出力してもよく、期間指定部は、同期信号に基づいてクロック制御部がクロック信号を所定周波数よりも低く制御する期間を指定してもよい。
【0011】
撮像制御部は、撮像する画像の第1方向の撮像タイミングに対する同期信号である第1同期信号と、撮像する画像の第1方向と交差する方向である第2方向の撮像タイミングに対する同期信号である第2同期信号と、を期間指定部へと出力してもよい。例えば、撮像部に備えられる画素アレイについて、垂直同期信号(Vsync)と水平同期信号(Hsync)を撮像制御部が期間指定部へと出力してもよい。
【0012】
期間指定部は、第1同期信号を基準とした第1所定期間を、クロック制御部が所定周波数のクロック信号を出力する期間として指定してもよく、クロック制御部は、期間指定部の出力に基づいて、第1所定期間において、クロック生成部が生成した所定周波数のクロック信号を出力してもよい。このように、Vsync信号に基づいて、期間指定部は、所定クロック周波数のクロック信号を出力する期間として指定してもよい。
【0013】
期間指定部は、第2同期信号を基準とした第2所定期間を、クロック制御部が所定周波数よりも低い周波数のクロック信号を出力する期間として指定してもよく、クロック制御部は、期間指定部の出力に基づいて、第2所定期間において、クロック生成部が生成したクロック信号を所定周波数よりも低い周波数のクロック信号へと制御して出力してもよい。このように、Hsync信号に基づいて、期間指定部は、所定周波数よりも低いクロック周波数のクロック信号を出力する制御をする期間として指定してもよい。
【0014】
クロック制御部は、変換部が変換を実行する期間において、クロック信号を出力しない制御を行ってもよい。このように、クロック制御部は、変換部がデータ変換を実行する期間において、クロック信号を出力しない制御をしてもよい。また、変換部が変換を実行する前後の期間をマージンとして含む期間において、クロック信号を出力しない制御をしてもよい。
【0015】
データ処理部は、デジタル画像データの画像処理をクロック制御部が出力するクロック信号に基づいて実行する、画像処理部を備えていてもよい。
【0016】
データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部を備えていてもよい。このように、データ処理部は、複数の処理を各々が実行する処理部を備えていてもよい。
【0017】
撮像部、変換部及びデータ処理部は、同一の基板上に形成されてもよい。このように、1の基板に上述の各構成要素が形成される半導体装置として、受光装置が形成されてもよい。
【0018】
受光装置は、撮像部が形成される、第1基板と、第1基板に積層される、変換部及びデータ処理部が形成される、第2基板と、を備えてもよい。このように、積層型の半導体装置として、受光装置が形成されてもよい。
【0019】
第1基板と第2基板とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又は、WoW(Wafer on Wafer)方式のいずれかで貼り合わされてもよい。このように、積層の手法は、適切に選択されたものであればよい。
【0020】
一実施形態によれば、電子機器は、撮像された画像データを出力する、受光装置と、画像データに対して所定の信号処理を行う、プロセッサと、を備え、受光装置は、複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、撮像部が取得したアナログ画像信号をデジタル画像データに変換する、変換部と、所定周波数のクロック信号を生成する、クロック生成部と、クロック生成部から所定周波数のクロック信号を受信し、変換部が変換処理を実行していない期間において所定周波数のクロック信号を出力し、変換部が変換処理を実行している期間において所定周波数よりも低い周波数へと制御したクロック信号を出力する、クロック制御部と、クロック制御部が出力するクロック信号に基づいて、デジタル画像データに対するデータ処理を実行する、データ処理部と、を備え、データ処理部の出力がプロセッサに入力される。このように、上述した受光装置は、外部のプロセッサを接続され、外部からの制御により動作を実行してもよい。
【0021】
電子機器の受光装置は、上述した受光装置の特徴を任意に備えてもよい。
【0022】
また、電子機器の受光装置は、上述した任意の受光装置の構成であってもよい。
【図面の簡単な説明】
【0023】
【図1】一実施形態に係る受光装置のブロック図。
【図2】一実施形態に係るデータ処理部の負荷電流を示す図。
【図3】一実施形態に係る受光装置のブロック図。
【図4】一実施形態に係る撮像の様子を示す図である。
【図5】一実施形態に係るクロック制御の一例を示す図。
【図6】一実施形態に係るクロック制御の一例を示す図。
【図7】一実施形態に係るクロック制御の一例を示す図。
【図8】一実施形態に係るクロック制御の一例を示す図。
【図9】一実施形態に係る受光装置の実装例を示す図。
【図10】一実施形態に係る第1基板のレイアウト例を示す図。
【図11】一実施形態に係る第2基板のレイアウト例を示す図。
【図12】本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図。
【図13】撮像部の設置位置の例を示す図。
【図14】本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図。
【図15】図12に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図。
【図16】本開示に係る技術が適用される診断支援システムの概略的な構成の一例を示す図。
【発明を実施するための形態】
【0024】
以下、図面を参照して、受光装置及び電子機器の実施形態について説明する。以下では、受光装置及び電子機器の主要な構成部分を中心に説明するが、受光装置及び電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
【0025】
(第1実施形態)
図1は第1実施形態に係る受光装置の概略構成を示すブロック図である。受光装置1は、撮像部10と、変換部11と、データ処理部12と、出力インタフェース(以下、出力I/F)制御部15と、クロック生成部17と、クロック制御部18と、期間指定部19と、メモリ20と、を備える。図1においては、受光に関するデータの流れを実線で示し、クロック信号に関する信号の流れを破線で示す。
【0026】
撮像部10は、例えば、受光素子を備える複数の画素を有する画素アレイと、当該画素アレイに適切に集光させる光学系と、を備える。受光素子は、例えば、フォトダイオードである。撮像部10は、例えば、このフォトダイオードが受光して出力した信号を適切に処理する、CMOS(Complementary Metal-Oxide-Semiconductor Field-Effect-Transistor)イメージセンサ、CCD(Charge Coupled Device)イメージセンサ等のセンサを備え、受光した光をアナログ画像データに変換して出力する。
【0027】
変換部11は、撮像部10と接続され、撮像部10から出力されたアナログ画像データをデジタル画像データへと変換して出力する。変換部11は、例えば、アナログデジタル変換回路(以下、ADC:Analog to Digital Converter)を備える。また、構成の一部として、デジタルアナログ変換回路(以下、DAC:Digital to Analog Converter)を備えていてもよい。
【0028】
データ処理部12は、変換部11と接続され、変換部11から出力されたデジタル画像データに対して所定の処理を実行する。データ処理部12は、図1に示すように、例えば、画像処理部(以下、ISP:Image Signal Processor)13と、デジタル信号処理部(以下、DSP:Digital Signal Processor)14と、を備える。データ処理部12は、変換部11がデータ変換を行うタイミング(期間)において負荷が軽減、すなわち、負荷電流を抑制する制御がされる。
【0029】
ISP13は、変換部11が出力したデジタル画像データに対して任意の画像処理を実行して出力する。画像処理は、例えば、サイズ変換、回転、ノイズ除去、ブラー除去、エッジ強調、等の処理を含むが、これらに限定されるものではない。
【0030】
DSP14は、変換部11が出力したデジタル画像データに対して任意の信号処理を実行して出力する。信号処理は、例えば、認識、検出、特徴量抽出等の処理を含むが、これらに限定されるものではない。DSP14は、例えば、訓練済のニューラルネットワークモデルを用いて信号処理を実行する。また、外部からの要求により、強化学習、再訓練等を実行してもよい。
【0031】
出力I/F制御部15は、データ処理部12と、図示しない出力I/Fと、を接続する。出力I/F15は、出力I/Fを制御してデータ処理部12により処理されたデータの外部への出力を制御する。出力I/F制御部15が出力I/Fを制御して、例えば、ISP13、DSP14が適切に処理したデータ等を外部のプロセッサ、メモリ等へと出力する。
【0032】
また、図示しないが、受光装置1は、入力I/F及び入力I/F制御部を備えていてもよい。この場合、外部から入力I/Fを介して受光装置1へと適切な処理を実行するような要求を送信することも可能であるし、撮像する対象、撮像するタイミングを指定することもできる。このように、受光装置1は、入出力I/Fを介して外部のプロセッサ、メモリ等と信号、データの送受信を行うことができる。また、外部からの要求により、受光装置1を動作させることも可能である。
【0033】
上記の各部は、例えば、クロック信号に基づいて処理を実行する。例えば、データ処理部12は、クロック信号により同期、リフレッシュされ、適切に動作が行われる。
【0034】
クロック生成部17は、受光装置1の処理を実行する各部へと出力するクロック信号を出力する。クロック生成部17は、例えば、所定周波数を有する信号を出力し、当該信号をクロック信号として出力する。所定周波数は、必ずしも常時一定である必要は無く、受光装置1の環境等に基づいて適切に変更できるものであってもよい。例えば、受光装置1を起動するタイミングにおいて、外部からの指示により、許容される範囲において所定周波数が決定できるものであってもよい。
【0035】
クロック制御部18は、特に、データ処理部12に入力されるクロック信号を制御する。例えば、変換部11においてAD変換(Analog to Digital変換)が実行されるタイミングにおいて、データ処理部12が処理を実行していると当該処理に起因する負荷電流により、デジタル画像データにノイズが混入することがある。このノイズを抑制するために、変換部11がAD変換を実行するタイミングにおいては、データ処理部12の動作を抑制するようにクロック生成部17が生成したクロック信号を制御してデータ処理部12へと出力する。
【0036】
クロック制御部18は、例えば、クロック信号をクロック生成部17が生成した所定周波数よりも低い周波数を有する信号へと変換して出力する。所定周波数よりも低い周波数を有するとは、クロック信号を遮断することをも含む概念である。クロック制御部18は、例えば、条件によりクロック信号を遮断する回路、又は、条件によりクロック信号を分周する回路を備える。
【0037】
クロック制御部18は、データ処理部12の全ての構成要素に対して一括して同じクロック信号を出力してもよい。この場合、クロック制御部18からデータ処理部12への信号線、出力バス等は、一系統であってもよい。
【0038】
クロック制御部18は、別の例として、図1に示すようにISP13、DSP14のそれぞれ、すなわち、データ処理部12の任意の要素に対して任意のクロック信号を出力してもよい。この場合、クロック制御部18からデータ処理部12への信号線、出力バス等は、複数あってもよい。例えば、ISP13のクロック周波数をクロック生成部17が生成した所定周波数とし、DSP14のクロック周波数を所定周波数よりも低い周波数として制御してもよい。このように、データ処理部12における各構成要素において別々の制御をしたクロック信号を出力してもよい。
【0039】
例えば、ISP13の電流変動が少ない場合には、クロック制御部18は、期間指定部19からの指定に拘わらずISP13には所定周波数のクロック信号を出力する。一方で、クロック制御部18は、DSP14に対しては、期間指定部19からの指定により所定周波数よりも低い周波数に制御されたクロック信号を出力してもよい。すなわち、クロック制御部18は、データ処理部12の少なくとも一部に対してクロック生成部17が生成したクロック信号を制御して出力してもよい。
【0040】
期間指定部19は、クロック制御部18と接続され、クロック制御部18がデータ処理部12へと出力するクロック信号を制御する期間を指定する。期間指定部19は、例えば、変換部11からAD変換を実行する期間を取得し、クロック制御部18へとこの期間を通知する。変換部11は、例えば、期間指定部19に、自らがAD変換を実行するタイミングを通知してもよく、期間指定部19が当該通知に基づいて期間を指定し、クロック制御部18へと期間を通知してもよい。
【0041】
メモリ20は、受光装置1において必要となるデータを格納する。例えば、DSP14において訓練済のニューラルネットワークモデルを用いる場合には、当該モデルに用いられるパラメータが格納されてもよい。データ処理部12においてフィルタ処理が実行される場合には、当該フィルタ処理に用いられる係数が格納されてもよい。また、撮像部10、変換部11等が取得したデータ、データ処理部12が処理したデータの格納をしてもよい。また、その他任意のデータ、例えば、受光装置1の制御に用いるデータを格納してもよい。図1においてはデータの流れが記載されていないが、メモリ20は、適切に必要な構成と接続される。
【0042】
図2は、データ処理部12における負荷電流と時間との関係の一例を示す図である。図2において、破線で挟まれて示される期間P1、P2は、変換部11が信号の変換を実行している期間である。この期間において、データ処理部12がデータ処理を実行すると、点線で示されるデータ処理部12の負荷電流により、変換部11が出力するデジタル画像データにノイズが混入する可能性がある。
【0043】
そこで、この期間P1、P2においてクロック制御部18がクロック信号を制御して所定周波数よりも低いクロック信号へと変換し、データ処理部12のデータ処理の処理速度(リフレッシュレートを含む)を制御する。クロック制御部18がクロック周波数を制御することにより、例えば、データ処理部12の負荷電流は、少なくとも期間P1、P2を含む期間において点線で示されていたものから実線で示されるように抑制される。この結果、変換部11におけるデータ変換の際に混入するノイズを低減することが可能となる。
【0044】
図2に一点鎖線で示される期間のように、期間P1、P2に対してマージンを持ってクロック制御を実行してもよい。そこで、期間指定部19は、クロック制御部18に、マージンを有する期間を指定して通知してもよい。変換部11は、AD変換の実行開始のタイミングよりも前のタイミングで期間指定部19へと開始タイミングを通知してもよい。このように変換部11が通知することにより、よりノイズ低減効果を図ることができる。
【0045】
上述したように、クロック制御部18は、データ処理部12へと出力するクロック周波数を停止する制御をしてもよいし、所定周波数よりも低い周波数のクロック信号へと変換する制御をしてもよい。停止しない制御の場合には、例えば、変換部11の変換におけるノイズの影響が無い、あるいは、十分に小さい、と判断される範囲となるデータ処理部12のクロック周波数をあらかじめ計測しておき、当該クロック周波数以下の周波数となるように制御してもよい。
【0046】
図3は、受光装置1の別の形態を示す例である。受光装置1はさらに、撮像制御部16を備えていてもよい。撮像制御部16は、撮像部10が撮像するタイミングを制御する。撮像制御部16は、自動的に、又は、図示しない入力I/Fを介して、任意のタイミングにおいて、撮像のタイミングを制御する。
【0047】
撮像制御部16は、撮像部10、変換部11、期間指定部19に撮像タイミングを通知する。撮像部10は、通知されたタイミングに基づいて撮像を行う。変換部11は、通知されたタイミングに基づいて撮像部10からアナログ画像データ受信のタイミングを取得し、当該データ受信にタイミングに基づいてデータ変換を実行する。期間指定部19は、通知されたタイミングに基づいて変換部11がデータ変換を実行する期間を取得し、クロック制御部18がクロック周波数を低くする期間を指定する。
【0048】
このように撮像制御部16が撮像タイミングを撮像部10、変換部11、期間指定部19へと通知することにより、図2に一点鎖線で示される期間、すなわち、期間P1、P2において十分に負荷電流が少なくなるようにクロック周波数を制御することが可能となる。
【0049】
次に、撮像制御部16からの撮像タイミングの通知に基づいて、期間指定部19が期間を指定する動作について説明する。
【0050】
図4は、一実施形態に係る画素アレイにおける撮像の様子を示す図である。図の左下に示すように、第1方向及び第1方向と交差する第2方向を定義する。画素アレイは、その全てが撮像に用いられるわけでは無く、設定された撮像領域に属する画素において受光し、アナログ信号を生成してもよい。この図4においては、例えば、撮像領域の左上の画素から信号の取得が開始され、まず、第2方向に沿った画素について連続して信号の取得がされる。一番上の行の一番右の画素まで信号が取得されると、第1方向にずれた次の行の一番左の画素から同様に信号が取得される。
【0051】
撮像制御部16は、撮像を開始するタイミングにおいて、第1同期信号を生成し、出力する。
【0052】
撮像部10は、この第1同期信号を受信することにより、第1方向におけるアナログ信号の取得、すなわち、撮像領域全体としての撮像を開始する。撮像部10は、第1同期信号を受信すると、画素アレイのうち、撮像領域における最初の行から1行におけるアナログ信号の取得を第2方向に向かって開始する。なお、1行では無く、同じタイミングで複数行のアナログ信号を取得してもよい。行数については、以下1行として説明するが、同様に複数行であってもよい。
【0053】
撮像制御部16は、第2方向に1行の撮像が終わり、次の行の撮像を開始するタイミングで、第2同期信号を出力する。
【0054】
撮像部10は、第2同期信号を受信すると、撮像が終わった行の次の行からの撮像を開始する。このように、撮像部10は、撮像制御部16が第2同期信号を出力するタイミングから、第2方向へ沿って撮像する。
【0055】
画素アレイのうち撮像に用いられる領域の全てにおいてアナログ信号が取得されるまで、この動作が繰り返される。すなわち、撮像制御部16は、撮像が終了するまで、第2同期信号を出力し、それに基づいて、撮像部10が1行分の撮像を第2方向に向かって実行する。
【0056】
変換部11は、撮像部10が取得したアナログ画像信号を所定のタイミングでデジタル画像データへと変換する。例えば、第1方向においてブランキング期間が設定されている場合、変換部11は、ブランキング期間においては変換を行わない。ブランキング期間は、例えば、図4において右上がりの斜線で示される期間である。図4の例によれば、変換部11は、第1同期信号を受信した後、VstartからVendの間は、条件に基づいてデータの変換を実行する。すなわち、変換部11は、第1同期信号を受信してからVstartが過ぎるまで、及び、Vendを過ぎた後においては、データ変換を行わなくてもよい。
【0057】
このVstart及びVendは、例えば、撮像条件により設定された値である。このため、変換部11は、この撮像条件を取得することにより、Vstart、Vendの値を取得することが可能である。すなわち、第1同期信号を受信することにより、処理を実行しないブランキング期間を判断することが可能である。
【0058】
変換部11は、第1同期信号からVstart〜Vendの期間においては、所定タイミングでデータの変換を実行する。例えば、図4に左上がりの斜線の期間で示すように、第2同期信号からHstart0〜Hend0、Hstart1〜Hend1、Hstart2〜Hend2、Hstart3〜Hend3のタイミングにおいてアナログ画像信号からデジタル画像データへの変換処理を実行する。図4において、画素アレイ上に期間が示されているが、これは、当該画素において撮像部10が撮像を行っている期間に、変換部11がデータの変換を実行することを意味する。
【0059】
このHstart0、Hend0、Hstart1、Hend1、Hstart2、Hend2、Hstart3、Hend3の値もVstart、Vendと同様に撮像条件に基づいて決定される値であるため、変換部11は、撮像条件を取得することにより、これらの値を取得することが可能である。すなわち、第2同期信号を受信することにより、変換部11は、変換を実行するタイミングを適切に設定し、設定された期間においてデータ変換を実行することが可能となる。
【0060】
期間指定部19も同様に、Vstart、Vend、及び、Hstart0、Hend0、Hstart1、Hend1、Hstart2、Hend2、Hstart3、Hend3の各同期信号からのオフセット情報を取得することが可能である。このため、第1同期信号及び第2同期信号を受信することにより、変換部11がデータ変換をする期間を取得することが可能である。
【0061】
期間指定部19は、例えば、第1同期信号を受信してからVstartの間は、変換部11がデータ変換を実行しない期間であると判断し、クロック制御部18に所定周波数のクロック信号を出力する期間として通知することが可能である。また、同様に、期間指定部19は、第1同期信号を受信してからVendが経過した後は、変換部11がデータ変換を実行しない期間であると判断し、クロック制御部18に所定周波数のクロック信号を出力する期間として通知することが可能である。
【0062】
例えば、期間指定部19は、第1同期信号を受信した時刻を基準として、この時刻からVstartが過ぎる以前までの時間、及び、この時刻の後でVendが過ぎた以降の時間を第1所定期間としてもよい。期間指定部19は、所定周波数を出力する期間として、この第1所定期間をクロック制御部18へと出力してもよい。
【0063】
第1所定期間以外の期間において、期間指定部19は、上述のようにHstart0等のオフセット情報を取得しているので、第2同期信号を受信すると、変換部11がデータ変換をする期間を抽出することができる。このため、期間指定部19は、変換部11がデータ変換を行う期間においてデータ処理部12の負荷を軽減させるべくクロック信号を制御する期間を指定する。
【0064】
図5は、第1所定期間以外の期間における期間指定部19の期間の指定及びクロック制御部18のクロック信号の制御の一例をタイミングチャートである。一例として、Hstart0、Hend0、Hstart1、Hend1を含む期間の制御について示しているが、他の期間についても同様である。図中におけるHstart0、Hend0、Hstart1、Hend1は、第2同期信号を受信した時刻を基準とする。
【0065】
撮像制御部16は、第2同期信号を出力する。クロック生成部17は、所定周波数を有するクロック信号を出力し続ける。期間指定部19は、第2同期信号を受信し、その後Hstart0〜Hend0を少なくとも含む期間、及び、Hstart1〜Hend1を少なくとも含む期間を第2所定期間と指定してクロック制御部18へと出力する。クロック制御部18は、期間指定部19により指定された期間において、クロック信号を出力しないように制御する。この結果、データ処理部12における処理を第2所定期間において中止することができ、変換部11がデータ変換を実行する期間のノイズを低減することができる。上述したように、クロック制御部18は、データ処理部12の全構成ではなく、少なくとも一部の任意の構成に対して、第2所定期間においてクロック周波数を制御して出力してもよい。この場合、データ処理部12のその他の構成に対しては、クロック制御部18は、所定周波数を有するクロック信号を出力する。
【0066】
期間指定部19は、例えば、Hstart0、Hend0、Hstart1、Hend1に対して、図に示すように、多少のマージンを有して期間を指定してもよい。例えば、Hstart0、Hstart1よりも少し前の時間からHend0、Hend1の少し後の時間までを第2所定期間として指定してもよい。この時間は、例えば、図に示すように所定周波数の1/4周期ほどであってもよいが、この図5に限定されるものではない。例えば、所定周波数の1周期等、他のマージンを取ってもよい。このマージンの取り方は、設定により変更できるものであるとする。
【0067】
図6は、クロック制御部18の別の制御例を示す図である。例えば、クロック制御部18は、期間指定部19が指定した期間において、クロック信号を所定周波数よりも低い周波数を有するクロック信号へと制御してもよい。例えば、図6に示すように、クロック生成部17が生成したクロック信号を1/2分周し、出力してもよい。このように、所定周波数よりも低い周波数を有するクロック信号へと制御することによっても、データ処理部12の負荷電流を低減させることが可能となる。
【0068】
図7は、期間指定部19の期間指定の別の例を示す図である。期間指定部19は、第2所定期間の開始及び終了のタイミングでパルスを出力し、期間を指定してもよい。クロック制御部18は、受信したパルスに基づいて、クロック周波数の制御を切り替える。期間指定部19は、図5、図6に示すように、例えば、トグル信号によりモードを切り替えるように期間を指定してもよいし、図7に示すように、トリガ信号により制御を切り替えるように期間を指定してもよい。もちろん、図7においては、クロック制御部18がクロック信号の出力を中止制御する場合を示しているが、これには限られない。図6に示すよう制御のように、クロック制御部18は、パルス信号を受信して所定周波数よりも低いクロック周波数を有するように制御を行ってもよい。
【0069】
図8は、ブランキング期間、すなわち、第1所定期間におけるクロック出力の例を示す図である。第1所定期間である場合、期間指定部19は、第2同期信号を受信しても、Hstart0等の所定の時間によらず、クロックを制御する信号を出力しない。期間を指定しないことにより、クロック制御部18からはクロック生成部17が生成した所定周波数を有するクロック信号が出力される。このように、第1所定期間であることを期間指定部19が判断し、第1所定期間である場合には、所定周波数よりも低い周波数を有するクロック信号へと制御しないようにしてもよい。
【0070】
なお、Vstart、Vend、及び、Hstart0、Hend0、Hstart1、Hend1、Hstart2、Hend2、Hstart3、Hend3のタイミングは、図4に示されたものに限定されるものではない。例えば、ブランキング期間は、3以上の期間があってもよい。変換部11がデータ変換を実行する期間は、図4に示すより多くてもよいし、少なくてもよい。また、Vendが過ぎた後にもデータ変換が行われる期間があってもよい。例えば、最終行の撮像が終わった後、最終行において取得されたアナログ画像信号のデータ変換を実行するための期間が存在していてもよい。また、例えば、第1同期信号を受信してからVstart前においては、期間指定部19は、第2同期信号及びHstart0、Hend0等に基づいて、クロック信号を所定周波数よりも低くする。
【0071】
以上のように、本実施形態によれば、撮像部10が取得したアナログ画像信号を変換部11がデジタル画像データへと変換する期間において、データ処理部12の処理を軽減させ、すなわち、データ処理部12における負荷電流を低減させることにより、変換部11における変換処理におけるノイズの混入を抑制することが可能となる。撮像において出力されている同期信号を取得してクロック信号を制御し、データ処理部12における負荷電流を低減させることにより、複雑な回路を備えること無く、すなわち、回路面積をそれほど大きくすること無く上記の作用を奏することが可能となる。このように、受光装置1の内部で信頼性の高い認識処理や検出処理などの情報処理を行うことが可能である一方、画像処理、及び、信号処理のタイミングにおいても、ノイズの混入を低減することができ、単に撮像を行うだけでない認識処理や検出処理などの情報処理も行えるインテリジェントな受光装置1が提供される。
【0072】
(受光装置1のチップ構造)
次に、図1の受光装置1のチップ構造について説明する。図9は図1の受光装置1のチップ構造の一例を示す図である。図9の受光装置1は、第1基板30と第2基板31を積層した積層体である。第1基板30と第2基板31は、ダイと呼ばれることもある。図9の例では、第1基板30と第2基板31が矩形状の例を示しているが、第1基板30と第2基板31の具体的な形状とサイズは任意である。また、第1基板30と第2基板31は同じサイズでもよいし、互いに異なるサイズでもよい。
【0073】
第1基板30には、図1に示した撮像部10の画素アレイが配置されている。また、第1基板30には、撮像部10の光学系の少なくとも一部がオンチップで実装されてもよい。
【0074】
第2基板31には、図1に示した変換部11と、データ処理部12と、出力I/F制御部15と、撮像制御部16と、クロック生成部17と、クロック制御部18と、期間指定部19と、メモリ20と、が配置されている。この他、第2基板31には、不図示の入力/出力インタフェース部、電源回路、各種プロセッサ(CPU:Central Processing Unit)、セレクタ等が配置されてもよい。
【0075】
貼合せの具体的形態として、第1基板30と第2基板31を例えばウエハから切り出して個片化した後に、上下に重ねて貼り合わされる、いわゆるCoC(Chip on Chip)方式を採用してもよい。あるいは、第1基板30と第2基板31の一方(例えば第1基板30)をウエハから切り出して個片化した後、個片化された第1基板30を個片化前の第2基板31に貼り合わせる、いわゆるCoW(Chip on Wafer)方式を採用してもよい。あるいは、第1基板30と第2基板31をウエハの状態で貼り合わせる、いわゆるWoW(Wafer on Wafer)方式を採用してもよい。
【0076】
第1基板30と第2基板31の接合方法には、例えばプラズマ接合等を用いることができる。ただし、それ以外の種々の接合方法を用いてもよい。
【0077】
図10及び図11は第1基板30及び第2基板31のレイアウトの一例を示す図である。図10は、撮像部10の画素アレイ100が配置される第1基板30のレイアウト例を示している。図10の例では、画素アレイ100は、第1基板30の4つの辺L301〜L304のうち、1つの辺L301側に片寄って配置されている。言い換えれば、画素アレイ100は、その中心部O301が第1基板30の中心部O300よりも辺L301側に寄って配置されている。なお、第1基板30における画素アレイ100が設けられた面が長方形である場合、辺L301は、例えば、第1基板30の短い方の辺であってもよい。ただし、これに限定されず、長い方の辺に、画素アレイ100が片寄って配置されてもよい。
【0078】
画素アレイ100の4つの辺のうちの辺L301に近接する領域、言い換えれば、辺L301と画素アレイ100との間の領域には、画素アレイ100中の各単位画素301aを第2基板31に配置された変換部11に電気的に接続させるための配線として、第1基板30を貫通する複数の貫通配線(Through Silicon Via:以下、TSVという)が配列するTSVアレイ302が設けられている。このように、TSVアレイ302を画素アレイ100が近接する辺L301に近接させることで、第2基板31において、変換部11等の配置スペースを確保し易くなる。
【0079】
なお、TSVアレイ302は、辺L301と交わる2つの辺L303及びL304のうち一方の辺L304(ただし、辺L303であってもよい)に近接する領域、言い換えれば、辺L304(又は、辺L303)と画素アレイ100との間の領域にも設けられていてよい。
【0080】
第1基板30の4つの辺L301〜L304のうち、画素アレイ100が片寄って配置されていない辺L302〜L303それぞれには、直線状に配列された複数のパッドを有するパッドアレイ303が設けられている。パッドアレイ303は、例えば、画素アレイ100や変換部11などのアナログ回路用の電源電圧が印加されるパッド(電源ピンともいう)を含んでいてもよい。また、パッドアレイ303は、変換部11、データ処理部12、出力I/F制御部15、撮像制御部16、クロック生成部17、クロック制御部18、期間指定部19、メモリ20等のデジタル回路用の電源電圧が印加されるパッド(電源ピンともいう)を含んでいてもよい。あるいは、パッドアレイ303は、MIPI(Mobile Industry Processor Interface)、SPI(Serial Peripheral Interface)などのインタフェース用のパッド(信号ピンともいう)を含んでいてもよい。あるいは、パッドアレイ303は、クロックやデータの入出力のためのパッド(信号ピンともいう)を含んでいてもよい。各パッドは、例えば、外部の電源回路やインタフェース回路とワイヤを介して電気的に接続される。各パッドアレイ303とTSVアレイ302とは、パッドアレイ303中の各パッドに接続されたワイヤからの信号の反射の影響を無視できる程度に十分に離れていることが好ましい。
【0081】
図11は、変換部11と、データ処理部12と、出力I/F制御部15と、撮像制御部16と、クロック生成部17と、クロック制御部18と、期間指定部19と、メモリ20と、が配置される第2基板31のレイアウト例を示している。第2基板31には、変換部11と、データ処理部12と、出力I/F制御部15と、撮像制御部16と、クロック生成部17と、クロック制御部18と、期間指定部19と、メモリ20と、が少なくとも配置されている。図11のレイアウト例では、変換部11がADC11aとDAC11bとの2つの領域に分かれている。DAC11bは、ADC11aにAD変換用の参照電圧を供給する回路であり、変換部11の一部に含まれる。また、図11には図示されていないが、出力I/F制御部15、セレクタ、CPU等も第2基板31に配置されている。
【0082】
また、第2基板31には、第1基板30を貫通するTSVアレイ302中の各TSV(以下、単にTSVアレイ302とする)と接触することで電気的に接続される配線322が設けられている。さらに、第2基板31には、第1基板30のパッドアレイ303における各パッドと電気的に接続される複数のパッドが直線状に配列されたパッドアレイ323が設けられている。
【0083】
TSVアレイ302と配線322との接続には、例えば、第1基板30に設けられたTSVと第1基板30から第2基板31にかけて設けられたTSVとの2つのTSVをチップ外表で接続する、いわゆるツインTSV方式が採用されてもよい。あるいは、第1基板30から第2基板31にかけて設けられた共通のTSVで接続する、いわゆるシェアードTSV方式が採用されてもよい。ただし、これらに限定されず、例えば、第1基板30の接合面と第2基板31の接合面とにそれぞれ露出させた銅(Cu)同士を接合する、いわゆるCu−Cuボンディング方式など、種々の接続形態が採用可能である。
【0084】
第1基板30のパッドアレイ303における各パッドと、第2基板31のパッドアレイ323における各パッドとの接続形態は、例えば、ワイヤボンディングである。ただし、これに限定されず、スルーホールやキャスタレーション等の接続形態であってもよい。
【0085】
第2基板31のレイアウト例では、例えば、TSVアレイ302と接続される配線322の近傍を上流側とし、画素アレイ100から読み出された信号の流れに沿って、上流から順に、ADC11aと、ISP13と、DSP14とが配置されている。すなわち、画素アレイ100から読み出された画素信号が最初に入力されるADC11aが最も上流側である配線322の近傍に配置され、次いで、ISP13が配置され、配線322から最も遠い領域にDSP14が配置されている。
【0086】
クロック生成部17は、例えば、CPUに所定周波数のクロック信号を出力するように、配置される。このクロック生成部17が出力するクロック信号は、クロック制御部18において適切な周波数を有するクロック信号へと制御され、ISP13、DSP14へと出力される。期間指定部19は、撮像制御部16と隣接して配置され、さらに、クロック制御部18が期間指定部19と隣接して配置されてもよい。
【0087】
このように、変換部11からDSP14までを信号の流れに沿って上流側から配置したレイアウトとすることで、各部を接続する配線を短縮することができる。それにより、信号遅延の低減、信号の伝搬損失の低減、S/N比の向上、消費電力の削減などを図ることができる。
【0088】
また、CPUは、例えば、上流側である配線322の近傍に配置されている。図11では、変換部11とISP13と接するようにCPUが配置されている。このようなレイアウトを採用することで、CPUが画素アレイ100を制御する際の信号遅延の低減、信号の伝搬損失の低減、S/N比の向上、消費電力の低減などを図れる。また、アナログ回路用の信号ピンや電源ピンをアナログ回路の近傍(例えば、図11中の下側)にまとめて配置し、残りのデジタル回路用の信号ピンや電源ピンをデジタル回路の近傍(例えば、図11中の上側)にまとめて配置し、又は、アナログ回路用の電源ピンとデジタル回路用の電源ピンとを十分に離して配置することもできる。
【0089】
また、図11に示すレイアウトでは、DSP14が最も下流側であるADC11aとは反対側に配置されている。このようなレイアウトを採用することで、言い換えれば、第1基板30と第2基板31との積層方向(以下、単に上下方向という)において、画素アレイ100と重畳しない領域に、DSP14を配置することができる。
【0090】
このように、上下方向において破線で示す領域にある画素アレイ100とDSP14とが重畳しない構成とすることで、DSP14が信号処理を実行することで発生したノイズが画素アレイ100に入り込むことを低減することができる。上述のようにクロック制御部18によりクロック信号を制御することにより、さらに、変換部11における変換のタイミングにおいて重畳されるノイズをも翼背得することが可能尾なる。その結果、DSP14を学習済みモデルに基づいた演算を実行する処理部として動作させた場合でも、デジタル画像データへのDSP14の信号処理に起因したノイズの入り込みを低減することができるため、品質の劣化が低減された画像を取得することができる。
【0091】
メモリ20は、ISP13、及びDSP14の近傍に配置されている。メモリ20には、デジタル画像データ及び学習済の計算モデルに関する各種情報が記憶されている。DSP14は、必要に応じてISP13が出力し、メモリ20の所定領域に格納したデジタル画像データを読み出し、信号処理を実行し、メモリ20の同一又は異なる所定領域に格納する。
【0092】
DSP14は、メモリ20から計算モデルに関する情報及びISP13が出力したデジタル画像データを読み出し、計算モデルを用いて演算処理を行い、演算処理の結果をメモリ20に記憶する。また、DSP14は、メモリ20に演算結果を格納すること無く、図示しない出力I/Fを介して外部へと演算結果を出力してもよい。
【0093】
このように、ISP13、DSP14の近傍にメモリ20を配置することで、メモリ20にアクセスする際の信号伝搬時間を短縮でき、ISP13、DSP14はメモリ20に高速でアクセスすることができる。
【0094】
パッドアレイ323は、例えば、第1基板30のパッドアレイ303と上下方向において対応する第2基板31上の位置に配置される。ここで、パッドアレイ323に含まれるパッドのうち、ADC11aの近傍に位置するパッドは、アナログ回路(主にADC11a)用の電源電圧やアナログ信号の伝搬に使用される。一方、CPU、ISP13、DSP14、撮像制御部16、クロック生成部17、クロック制御部18、期間指定部19、メモリ20の近傍に位置するパッドは、デジタル回路(主に、CPU、ISP13、DSP14、撮像制御部16、クロック生成部17、クロック制御部18、期間指定部19、メモリ20)用の電源電圧やデジタル信号の伝搬に使用される。このようなパッドレイアウトとすることで、各パッドと各部とを接続する配線上の距離を短くすることができる。それにより、信号遅延の低減、信号や電源電圧の伝搬損失の低減、S/N比の向上、消費電力の低減などを実現できる。
【0095】
図11は、一例として挙げたものであり、第2基板31における各部の配置は、これに限られるものではない。
【0096】
また、上記においては、撮像部10と、他の構成が別の層に形成され、積層されたものとしたが、これには限られない。例えば、同一の基板上に撮像部10と、他の構成とを形成してもよい。この場合においても、データ処理部12の負荷電流を低減することができるので、撮像部10の取得したアナログ信号をデジタルデータへと変換する変換部11の近くにデータ処理部12を配置することが可能となる。
【0097】
(他のセンサへの適用)
なお、上述した第1及び第2の実施形態では、2次元画像を取得する受光装置(イメージセンサ)1に対して本開示に係る技術を適用した場合を例示したが、本開示に係る技術の適用先は受光装置に限定されるものではない。例えば、ToF(Time of Flight)センサや赤外線(IR)センサやDVS(Dynamic Vision Sensor)等、種々の受光センサに対して本開示に係る技術を適用することが可能である。すなわち、受光センサのチップ構造を積層型とすることで、センサ結果に含まれるノイズの低減やセンサチップの小型化等を達成することが可能である。
【0098】
(移動体への応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0099】
図12は本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム12000の概略的な構成例を示すブロック図である。
【0100】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図12に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、図12に示した例では、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053を備える。
【0101】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0102】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付けて、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0103】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0104】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0105】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0106】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0107】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0108】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0109】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図12の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0110】
図13は撮像部12031の設置位置の例を示す図である。図13では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
【0111】
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0112】
なお、図13には、撮像部12101ないし12104の撮影範囲の一例が一点鎖線で示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0113】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0114】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0115】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0116】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0117】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031等に適用され得る。撮像部12031等に本開示に係る技術を適用することにより、撮像部12031等を小型化することが可能となるため、車両12100のインテリアやエクステリアの設計が容易となる。また、撮像部12031等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像をドライバに提供することができる。それにより、ドライバの疲労を軽減することが可能になる。
【0118】
(内視鏡手術システムへの応用例)
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【0119】
図14は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0120】
図14では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
【0121】
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0122】
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0123】
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
【0124】
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0125】
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
【0126】
光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
【0127】
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
【0128】
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0129】
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0130】
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0131】
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
【0132】
図15は図14に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
【0133】
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
【0134】
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0135】
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
【0136】
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
【0137】
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
【0138】
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
【0139】
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0140】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
【0141】
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
【0142】
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
【0143】
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0144】
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
【0145】
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
【0146】
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
【0147】
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0148】
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
【0149】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド11102の撮像部11402等に適用され得る。カメラヘッド11102に本開示に係る技術を適用することにより、カメラヘッド11102等を小型化することが可能となるため、内視鏡手術システム11000をコンパクト化が可能となる。また、カメラヘッド11102等に本開示に係る技術を適用することにより、ノイズの低減されたクリアな画像を取得することが可能となるため、より見やすい撮影画像を術者に提供することができる。それにより、術者の疲労を軽減することが可能になる。
【0150】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【0151】
(WSI(Whole Slide Imaging)システムへの応用例)
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやその支援システム等(以下、診断支援システムと称する)に適用されてもよい。この診断支援システムは、デジタルパソロジー技術を利用して取得された画像に基づいて病変を診断又はその支援をするWSI(Whole Slide Imaging)システムであってもよい。
【0152】
図16は本開示に係る技術が適用される診断支援システム5500の概略的な構成の一例を示す図である。図16に示すように、診断支援システム5500は、1以上の病理システム5510を含む。さらに医療情報システム5530と、導出装置5540とを含んでもよい。
【0153】
1以上の病理システム5510それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム5510は、互いに異なる病院に導入されてもよく、それぞれWAN(Wide Area Network)(インターネットを含む)やLAN(Local Area Network)や公衆回線網や移動体通信網などの種々のネットワークを介して医療情報システム5530及び導出装置5540に接続される。
【0154】
各病理システム5510は、顕微鏡5511と、サーバ5512と、表示制御装置5513と、表示装置5514とを含む。
【0155】
顕微鏡5511は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。
【0156】
サーバ5512は、顕微鏡5511によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ5512は、表示制御装置5513から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索された病理画像を表示制御装置5513に送る。
【0157】
表示制御装置5513は、ユーザから受け付けた病理画像の閲覧要求をサーバ5512に送る。そして、表示制御装置5513は、サーバ5512から受け付けた病理画像を、液晶、EL(Electro‐Luminescence)、CRT(35Cathode Ray Tube)などを用いた表示装置5514に表示させる。なお、表示装置5514は、4Kや8Kに対応していてもよく、また、1台に限られず、複数台であってもよい。
【0158】
ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。
【0159】
薄切片の染色には、HE(Hematoxylin-Eosin)染色などの組織の形態を示す一般染色や、IHC(Immunohistochemistry)染色などの組織の免疫状態を示す免疫染色など、種々の染色が適用されてよい。その際、1つの薄切片が複数の異なる試薬を用いて染色されてもよいし、同じブロック片から連続して切り出された2以上の薄切片(隣接する薄切片ともいう)が互いに異なる試薬を用いて染色されてもよい。
【0160】
顕微鏡5511は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡5511は、撮像対象に応じて解像度が変更されてもよい。
【0161】
観察対象物が収容されたガラススライドは、顕微鏡5511の画角内に位置するステージ上に載置される。顕微鏡5511は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡5511は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全36体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やQRコード(登録商標)等であってよい。
【0162】
顕微鏡5511で取得された高解像度画像は、サーバ5512に入力される。サーバ5512は、各高解像度画像をより小さいサイズの部分画像(以下、タイル画像と称する)に分割する。例えば、サーバ5512は、1つの高解像度画像を縦横10×10個の計100個のタイル画像に分割する。その際、隣接する分割領域が重複していれば、サーバ5512は、テンプレートマッチング等の技法を用いて互いに隣り合う高解像度画像にスティッチング処理を施してもよい。その場合、サーバ5512は、スティッチング処理により貼り合わされた高解像度画像全体を分割してタイル画像を生成してもよい。ただし、高解像度画像からのタイル画像の生成は、上記スティッチング処理の前であってもよい。
【0163】
また、サーバ5512は、タイル画像をさらに分割することで、より小さいサイズのタイル画像を生成し得る。このようなタイル画像の生成は、最小単位として設定されたサイズのタイル画像が生成されるまで繰り返されてよい。
【0164】
このように最小単位のタイル画像を生成すると、サーバ5512は、隣り合う所定数のタイル画像を合成することで1つのタイル画像を生成するタイル合成処理を、全てのタイル画像に対して実行する。このタイル合成処理は、最終的に1つのタイル画像が生成されるまで繰り返され得る。このような処理により、各階層が1つ以上のタイル画像で構成されたピラミッド構造のタイル画像群が生成される。このピラミッド構造では、ある層のタイル画像とこの層とは異なる層のタイル画像との画素数は同じであるが、その解像度が異なっている。例えば、2×2個の計4つのタイル画像を合成して上層の1つのタイル画像を生成する場合、上層のタイル画像の解像度は、合成に用いた下層のタイル画像の解像度の1/2倍となっている。
【0165】
このようなピラミッド構造のタイル画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の37詳細度を切り替えることが可能となる。例えば、最下層のタイル画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層のタイル画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。
【0166】
生成されたピラミッド構造のタイル画像群は、例えば、各タイル画像を一意に識別可能な識別情報(タイル識別情報と称する)とともに、不図示の記憶部に記憶される。サーバ5512は、他の装置(例えば、表示制御装置5513や導出装置5540)からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。
【0167】
なお、病理画像であるタイル画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎にタイル画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。
【0168】
また、サーバ5512は、ピラミッド構造のタイル画像群をサーバ5512以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のようなタイル画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。
【0169】
表示制御装置5513は、ユーザからの入力操作に応じて、ピラミッド構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置5514に出力する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置5513は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
【0170】
なお、高解像度画像の撮像方法は、どの様な方法を用いてもよい。ステー38ジの停止、移動を繰り返しながら分割領域を撮像して高解像度画像を取得してもよいし、所定の速度でステージを移動しながら分割領域を撮像してストリップ上の高解像度画像を取得してもよい。また、高解像度画像からタイル画像を生成する処理は必須の構成ではなく、スティッチング処理により貼り合わされた高解像度画像全体の解像度を段階的に変化させることで、解像度が段階的に変化する画像を生成してもよい。この場合でも、広いエリア域の低解像度画像から狭いエリアの高解像度画像までを段階的にユーザに提示することが可能である。
【0171】
医療情報システム5530は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ5512を介して保存された後、表示制御装置5513によって表示装置5514に表示され得る。病理システム5510を利用する病理医は、表示装置5514に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム5530に記憶される。
【0172】
導出装置5540は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。導出装置5540は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、導出装置5540は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。導出装置5540によって導出されたこれらの情報は、診断支援情報として、病理システム5510の表示装置5514に表示されてもよい。
【0173】
なお、導出装置5540は、1台以上のサーバ(クラウドサーバを含む)等で構成されたサーバシステムであってもよい。また、導出装置5540は、病理システム5510内の例えば表示制御装置5513又はサーバ5512に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム5510内で実行されてもよい。39
【0174】
本開示に係る技術は、以上説明した構成のうち、例えば、顕微鏡5511に好適に適用され得る。具体的には、顕微鏡5511における低解像度撮像部及び/又は高解像度撮像部に本開示に係る技術を適用することができる。本開示に係る技術を低解像度撮像部及び/又は高解像度撮像部に適用することで、低解像度撮像部及び/又は高解像度撮像部の小型化、強いては、顕微鏡5511の小型化が可能となる。それにより、顕微鏡5511の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、本開示に係る技術を低解像度撮像部及び/又は高解像度撮像部に適用することで、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡5511内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。
【0175】
なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。
【0176】
さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴を機械学習を用いて解析することが可能となる。
【0177】
なお、本技術は以下のような構成を取ることができる。
【0178】
(1)
複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
前記デジタル画像データに対するデータ処理を実行するデータ処理部であって、前記変換部が変換を実行しない期間と比較して、前記変換部が変換を実行する期間における前記データ処理の負荷を軽減する、データ処理部と、
を備える受光装置。
【0179】
(2)
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を前記データ処理部へ出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を前記データ処理部へ出力する、クロック制御部と、
をさらに備え、
前記データ処理部は、前記クロック制御部が出力したクロック信号に基づいて、前記データ処理を実行する、
(1)に記載の受光装置。
【0180】
(3)
前記撮像部が撮像するタイミングを制御する、撮像制御部と、
前記撮像制御部が制御するタイミングに基づいて、前記データ処理の負荷を軽減する期間を指定する、期間指定部と、
をさらに備える、
(2)に記載の受光装置。
【0181】
(4)
前記クロック制御部は、前記期間指定部が指定した期間において、クロック信号を前記所定周波数よりも低い周波数へと制御する、
(3)に記載の受光装置。
【0182】
(5)
前記撮像制御部は、撮像するタイミングにおいて、同期信号を前記期間指定部へと出力し、
前記期間指定部は、前記同期信号に基づいて前記クロック制御部がクロック信号を前記所定周波数よりも低く制御する期間を指定する、
(3)又は(4)に記載の受光装置。
【0183】
(6)
前記撮像制御部は、撮像する画像の第1方向の撮像タイミングに対する同期信号である第1同期信号と、撮像する画像の前記第1方向と交差する方向である第2方向の撮像タイミングに対する同期信号である第2同期信号と、を前記期間指定部へと出力する、
(5)に記載の受光装置。
【0184】
(7)
前記期間指定部は、前記第1同期信号を基準とした第1所定期間を、前記クロック制御部が前記所定周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第1所定期間において、前記クロック生成部が生成した前記所定周波数のクロック信号を出力する、
(6)に記載の受光装置。
【0185】
(8)
前記期間指定部は、前記第2同期信号を基準とした第2所定期間を、前記クロック制御部が前記所定周波数よりも低い周波数のクロック信号を出力する期間として指定し、
前記クロック制御部は、前記期間指定部の出力に基づいて、前記第2所定期間において、前記クロック生成部が生成したクロック信号を前記所定周波数よりも低い周波数のクロック信号へと制御して出力する、
(6)又は(7)に記載の受光装置。
【0186】
(9)
前記クロック制御部は、前記変換部が変換を実行する期間において、クロック信号を出力しない制御を行う、
(2)から(8)のいずれかに記載の受光装置。
【0187】
(10)
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える(2)から(9)のいずれかに記載の受光装置。
【0188】
(11)
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える(1)から(10)のいずれかに記載の受光装置。
【0189】
(12)
前記撮像部、前記変換部及び前記データ処理部は、同一の基板上に形成される、
(1)から(11)のいずれかに記載の受光装置。
【0190】
(13)
前記撮像部が形成される、第1基板と、
前記第1基板に積層される、前記変換部及び前記データ処理部が形成される、第2基板と、
を備える(1)から(11)のいずれかに記載の受光装置。
【0191】
(14)
前記第1基板と前記第2基板とは、CoC(Chip on Chip)方式、CoW(Chip on Wafer)方式、又は、WoW(Wafer on Wafer)方式のいずれかで貼り合わされる、
(13)に記載の受光装置。
【0192】
(15)
撮像された画像データを出力する、受光装置と、
前記画像データに対して所定の信号処理を行う、プロセッサと、
を備え、
前記受光装置は、
複数の画素において受光した光を光電変換し、アナログ画像信号を取得する、撮像部と、
前記撮像部が取得した前記アナログ画像信号をデジタル画像データに変換する、変換部と、
所定周波数のクロック信号を生成する、クロック生成部と、
前記クロック生成部から前記所定周波数のクロック信号を受信し、前記変換部が変換処理を実行していない期間において前記所定周波数のクロック信号を出力し、前記変換部が変換処理を実行している期間において前記所定周波数よりも低い周波数へと制御したクロック信号を出力する、クロック制御部と、
前記クロック制御部が出力するクロック信号に基づいて、前記デジタル画像データに対するデータ処理を実行する、データ処理部と、
を備え、
前記データ処理部の出力が前記プロセッサに入力される、
電子機器。
【0193】
(16)
前記データ処理部は、前記デジタル画像データの画像処理を前記クロック制御部が出力するクロック信号に基づいて実行する、画像処理部、
を備える(15)に記載の電子機器。
【0194】
(17)
前記データ処理部は、訓練済のニューラルネットワークモデルによる処理を実行する、信号処理部、
を備える(15)又は(16)に記載の電子機器。
【0195】
(18)
(3)から(9)のいずれかの特徴を任意に備える、
(15)から(17)のいずれかに記載の電子機器。
【0196】
(19)
(12)から(14)のいずれかの構成である、
(15)から(18)のいずれかに記載の電子機器。
【0197】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【0198】
また、上述の移動体、医療への適用の他、監視カメラ等、動きを検知して認識処理を受光装置1内で行う機器に対しても応用することが可能である。
【符号の説明】
【0199】
1:受光装置、
10:撮像部、
100:画素アレイ、
11:変換部、
12:データ処理部、
13:ISP、
14:DSP、
15:出力I/F制御部、
16:撮像制御部、
17:クロック生成部、
18:クロック制御部、
19:期間指定部、
20:メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】