(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2019523932
(43)【公表日】20190829
(54)【発明の名称】光ニューラルネットワークのための装置および方法
(51)【国際特許分類】
   G06N 3/067 20060101AFI20190802BHJP
   G02F 3/00 20060101ALI20190802BHJP
【FI】
   !G06N3/067
   !G02F3/00
【審査請求】未請求
【予備審査請求】未請求
【全頁数】30
(21)【出願番号】2018563066
(86)(22)【出願日】20170602
(85)【翻訳文提出日】20190128
(86)【国際出願番号】US2017035668
(87)【国際公開番号】WO2017210550
(87)【国際公開日】20171207
(31)【優先権主張番号】62/344,621
(32)【優先日】20160602
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】596060697
【氏名又は名称】マサチューセッツ インスティテュート オブ テクノロジー
【住所又は居所】アメリカ合衆国マサチューセッツ州02139ケンブリッジ,マサチューセッツ・アヴェニュー・77
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100107319
【弁理士】
【氏名又は名称】松島 鉄男
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100170379
【弁理士】
【氏名又は名称】徳本 浩一
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(74)【代理人】
【識別番号】100096769
【弁理士】
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】ハリス,ニコラス・クリストファー
【住所又は居所】アメリカ合衆国マサチューセッツ州02215,ボストン,ボイルストン・ストリート 1074,アパートメント 1
(72)【発明者】
【氏名】キャロラン,ジャック・ジョハネス
【住所又は居所】アメリカ合衆国マサチューセッツ州02143,サマーヴィル,ハンソン・ストリート 19
(72)【発明者】
【氏名】プラブ,ミヒカ
【住所又は居所】アメリカ合衆国マサチューセッツ州02142,ケンブリッジ,メモリアル・ドライヴ 100,アパートメント 2−10A
(72)【発明者】
【氏名】イングランド,ダーク・ロバート
【住所又は居所】アメリカ合衆国マサチューセッツ州02139,ケンブリッジ,パシフィック・ストリート 100,ナンバー 9
(72)【発明者】
【氏名】スカーロ,スコット
【住所又は居所】アメリカ合衆国マサチューセッツ州02214,ボストン,マートル・ストリート 84
(72)【発明者】
【氏名】シェン,イーチェン
【住所又は居所】アメリカ合衆国マサチューセッツ州02141,ケンブリッジ,モンシニョール・オブライエン・ハイウェイ 169,ユニット 315
(72)【発明者】
【氏名】ソーリャチッチ,マリン
【住所又は居所】アメリカ合衆国マサチューセッツ州02478,ベルモント,ウェストルンド・ロード 44
【テーマコード(参考)】
2K102
【Fターム(参考)】
2K102AA13
2K102AA21
2K102BA31
2K102BA33
2K102BB01
2K102BB04
2K102BC04
2K102BD01
2K102CA18
2K102DA04
2K102DB02
2K102DB04
2K102DC09
2K102EA21
2K102EA25
2K102EB20
2K102EB22
(57)【要約】
フォトニック集積回路に基づいて光ニューラルネットワークを構築して、神経形態学的コンピューティングを実行する。光ニューラルネットワークでは、入力光信号の配列に任意の重み付け行列乗算を適用することができる1つ以上の光干渉ユニットを用いて行列乗算を実施する。可飽和吸収などの非線形光学効果を基にすることができる光非線形ユニットによって非線形活性化が実現される。これらの計算を光学的に実施することにより、光ニューラルネットワークで計算速度が高速になり、電力消費が低くなる。
【選択図】図1
【特許請求の範囲】
【請求項1】
人工ニューラルネットワークを実施する装置であって、
光信号の第1の配列を受信する入力導波路の配列と、
入力導波路の前記配列と光学的に通信し、光信号の前記第1の配列を光信号の第2の配列に線形変換する光干渉ユニットと、
前記光干渉ユニットと光学的に通信し、光信号の前記第2の配列を導く出力導波路の配列であって、入力導波路の前記配列中の少なくともon入力導波路は前記光干渉ユニットを介して出力導波路の前記配列中の各出力導波路と光学的に通信する、出力導波路の配列と、を備える装置。
【請求項2】
前記光干渉ユニットは、
複数の相互接続したマッハツェンダ干渉計(MZI)を備えており、前記複数の相互接続したMZI中の各MZIは、
前記MZIの分割比を変更するように構成されている第1の位相シフタと、
前記MZIの1つの出力の位相をシフトするように構成されている第2の位相シフタと、を備える、請求項1に記載の装置。
【請求項3】
前記複数の相互接続したMZIは、特異値分解(SVD)を介して光信号の前記第1の配列の前記線形変換を実行するように構成されている、請求項2に記載の装置。
【請求項4】
前記複数の相互接続したMZIは、
光信号の前記第1の配列のユニタリ変換を実行して、変換済み光信号の第1の配列を生成するMZIの第1のセットと、
MZIの前記第1のセットと光学的に通信するMZIの第2のセットであって、MZIの前記第2の配列中の各MZIは変換済み光信号の前記第1の配列のうちのそれぞれの変換済み光信号を受信して、第1の出力を非線形ユニットに伝送し、変換済み光信号の前記第1の配列の全強度を変更して変換済み光信号の前記第1の配列の非ユニタリ対角行列乗算を実行するように、MZIの前記第2の配列中の各MZIの第2の出力が光学的にブロックされる、MZIの第2のセットと、を備える、請求項2に記載の装置。
【請求項5】
前記光干渉ユニットは、
光信号の前記第1の配列のユニタリ変換を実行する複数の相互接続したMZIと、
前記複数のMZIと光学的に通信し、前記複数のMZIの後の光信号の前記第1の配列の強度を変更する光減衰器または増幅器の配列と、を備える、請求項1に記載の装置。
【請求項6】
前記光干渉ユニットは、フォトニック結晶のネットワークを備える、請求項1に記載の装置。
【請求項7】
フォトニック結晶の前記ネットワーク中の少なくとも1つのフォトニック結晶上にコーティングされた位相変更材料をさらに備える、請求項6に記載の装置。
【請求項8】
前記光干渉ユニットは、リング共振器の2次元(2D)配列を備える、請求項1に記載の装置。
【請求項9】
光信号の前記第1の配列は第1の数の光信号を含み、前記光信号の前記第2の配列は第2の数の光信号を含み、前記第1の数は前記第2の数とは異なる、請求項1に記載の装置。
【請求項10】
前記光干渉ユニットと光学的に通信し、光信号の第3の配列を生成するように光信号の前記第2の配列に非線形変換を実行する光非線形ユニットをさらに備える、請求項1に記載の装置。
【請求項11】
前記光非線形ユニットは可飽和吸収体の配列を備え、可飽和吸収体の前記配列中の各可飽和吸収体は、光信号の前記第2の配列中の対応する光信号を吸収するように構成される、請求項10に記載の装置。
【請求項12】
前記光非線形ユニットは双安定光スイッチの配列を備え、双安定光の前記配列中の各双安定光スイッチは、光信号の前記第2の配列中の対応する光信号を受信する、請求項10に記載の装置。
【請求項13】
前記光非線形ユニットは、リング共振器の配列を備え、リング共振器の前記配列中の各リング共振器は、前記干渉ユニットから対応する第2の光信号を受信する、請求項10に記載の装置。
【請求項14】
前記光非線形ユニットと光学的に通信し、光信号の前記第3の配列を検出するディテクタアレイをさらに備える、請求項10に記載の装置。
【請求項15】
前記光干渉ユニット、前記光非線形ユニットおよび前記ディテクタアレイに動作可能に接続され、前記ディテクタアレイによって検出される光信号の前記第3の配列に少なくとも部分的に基づいて前記光干渉ユニットまたは前記光非線形ユニットの少なくとも1つの設定を調節する制御回路、をさらに備える、請求項14に記載の装置。
【請求項16】
前記光非線形ユニットと光学的に通信し、光信号の前記第3の配列の少なくとも一部を導いて入力導波路の前記配列に戻す、少なくとも1つの光チャンネルをさらに備える、請求項14に記載の装置。
【請求項17】
前記ディテクタアレイは光信号の前記第3の配列の検出に応じて電気信号の配列を生成し、前記装置は、
入力導波路の前記配列と光学的に通信する光源と、
電気信号の前記配列を前記光源に伝送するフィードバック回路であって、前記光源は電気信号の前記配列に基づいて光信号の第4の配列を発光する、フィードバック回路と、をさらに備える、請求項14に記載の装置。
【請求項18】
人工ニューラルネットワーク計算のための方法であって、
入力導波路の配列を用いて光信号の第1の配列を受信することと、
入力導波路の前記配列と光学的に通信し、光信号の前記第1の配列を光信号の第2の配列に線形変換する光干渉ユニットを用いて、光信号の前記第1の配列に干渉することと、
出力導波路の配列を用いて光信号の前記第2の配列を導くことであって、入力導波路の前記配列中の少なくともon入力導波路は前記光干渉ユニットを介して出力導波路の前記配列中の各出力導波路と光学的に通信する、導くことと、を含む、方法。
【請求項19】
光信号の前記第1の配列に干渉することは、
光信号の前記第1の配列を複数の相互接続したマッハツェンダ干渉計(MZI)に伝搬させることと、
前記複数の相互接続したMZI中の少なくとも1つのMZIの分割比を変更することと、
前記少なくとも1つのMZIの1つの出力の位相をシフトすることと、を含む、請求項18に記載の方法。
【請求項20】
光信号の前記第1の配列を前記複数の相互接続したMZIに伝搬させることは、特異値分解(SVD)を介して光信号の前記第1の配列に対する線形変換を実行することを含む、請求項19に記載の方法。
【請求項21】
光信号の前記第1の配列を前記複数の相互接続したMZIに伝搬させることは、
MZIの第1のセットを用いて光信号の前記第1の配列のユニタリ変換を実行して、変換済み光信号の第1の配列を生成することと、
MZIの前記第1のセットと光学的に通信するMZIの第2のセットを用いて変換済み光信号の前記第1の配列の全強度を変更することであって、MZIの前記第2の配列中の各MZIは、変換済み光信号の前記第1の配列のうちのそれぞれの変換済み光信号を受信して、非線形ユニットに第1の出力を伝送し、MZIの前記第2の配列中の各MZIの第2の出力は光学的にブロックされる、変更することと、を含む、請求項19に記載の方法。
【請求項22】
光信号の前記第1の配列に干渉することは、
複数の相互接続したMZIを用いて光信号の前記第1の配列のユニタリ変換を実行することと、
前記複数のMZIと光学的に通信する光減衰器の配列を用いて光信号の前記第1の配列を減衰または増幅することと、を含む、請求項18に記載の方法。
【請求項23】
光信号の前記第1の配列に干渉することは、光信号の前記第1の配列をフォトニック結晶のネットワークに伝搬させることを含む、請求項18に記載の方法。
【請求項24】
光信号の前記第1の配列の干渉を変更するように、フォトニック結晶の前記ネットワーク中の少なくとも1つのフォトニック結晶上にコーティングされている位相変更材料の位相を変更することをさらに含む、請求項23に記載の方法。
【請求項25】
光信号の前記第1の配列に干渉することは、光信号の第1の配列をリング共振器の2次元(2D)配列に伝搬させることを含む、請求項18に記載の方法。
【請求項26】
前記光干渉ユニットと光学的に通信する光非線形ユニットを用いて、光信号の第3の配列を生成するように、光信号の前記第2の配列を非線形変換することをさらに含む、請求項18に記載の方法。
【請求項27】
光信号の前記第2の配列を非線形変換することは、
可飽和吸収体の配列を用いて光信号の前記第2の配列中の少なくとも1つの光信号を減衰させることであって、可飽和吸収体の前記配列中の各可飽和吸収体は、光信号の前記第2の配列中のそれぞれの光信号と光学的に通信する、減衰させることを含む、請求項18に記載の方法。
【請求項28】
光信号の前記第2の配列を非線形変換することは、
光信号の前記第2の配列中の少なくとも1つの光信号の強度を光双安定スイッチの配列を用いて変更することであって、光双安定スイッチの前記配列中の各光双安定スイッチは、光信号の前記第2の配列中のそれぞれの光信号と光学的に通信する、変更することを含む、請求項18に記載の方法。
【請求項29】
光信号の前記第3の配列の少なくとも一部を導いて入力導波路の前記配列に戻すことと、
前記光干渉ユニットおよび前記光非線形ユニットを用いて光信号の前記第3の配列の少なくとも一部を変換することと、をさらに含む、請求項18に記載の方法。
【請求項30】
光信号の前記第3の配列に少なくとも部分的に基づいて前記光干渉ユニットまたは前記光非線形ユニットの少なくとも1つの設定を調節することをさらに含む、請求項18に記載の方法。
【請求項31】
光信号の第1の配列を受信する入力導波路の配列と、
入力導波路の前記配列と光学的に通信し、光信号の前記第1の配列中での干渉を介して光信号の前記第1の配列を光信号の第2の配列に線形変換する複数の相互接続したマッハツェンダ干渉計(MZI)であって、前記複数のMZI中の各MZIは、
前記MZIの分割比を変更するように構成されている第1の位相シフタと、
前記MZIの1つの出力の位相をシフトするように構成される第2の位相シフタと、を備える、複数の相互接続したマッハツェンダ干渉計(MZI)と、
前記複数の相互接続したMZIと光学的に通信し、光信号の前記第2の配列を光信号の第3の配列に非線形変換する可飽和吸収体の配列であって、可飽和吸収体の前記配列中の各可飽和吸収体は、光信号の前記第2の配列中の対応する光信号を受信する、可飽和吸収体の配列と、
前記光非線形ユニットと光学的に通信し、光信号の前記第3の配列を検出するディテクタアレイと、を備える、光ニューラルネットワーク。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、「光ニューラルネットワークの方法および設計」と題する米国特許出願第62/344,621号(2016年6月2日出願)の優先権を主張する。米国特許出願第62/344,621号の全体は参照によって本明細書に援用される。
【0002】
政府の支援
本発明は、陸軍調査事務所(Army Research Office)によって認められた契約第W911NF−13−D−0001号に基づく政府の支援によってなされた。政府は発明上の所定の権利を有する。
【背景技術】
【0003】
フォンノイマンアーキテクチャに基づく既存のコンピュータは、これに対する生体対応物(中枢神経系)よりも、知覚、通信、学習、意思決定などの広範な問題について一般的にエネルギ消費量が多く、効果が薄い。ビッグデータ処理に関連するデータ量の増加にともない、膨大な情報を迅速かつ効率的に学習し、組み合わせて、解析することができるコンピュータを開発することが有効になっている。たとえば、音声認識ソフトウェア(たとえばアップル社のSiri)については、関連する計算が携帯電話器のハードウェアにとって一般的に能力を試されるものであるので、一般的にはクラウドで実行される。
【0004】
フォンノイマンコンピューティングアーキテクチャの欠点に対処する1つの解決手段は、人工ニューラルネットワーク(artificial neural network)(ANNW)を開発することである。ANNWは脳内の信号処理アーキテクチャをほぼ模倣し、近年、爆発的に注目を受けている。音声認識、視覚的対象物認識、物体検出、ならびに創薬およびゲノミクスなどの他の多くの領域を飛躍的に改善することができる。従来の人工ニューラルネットワークは、通常、特定用途向け集積回路(ASIC)およびフィールドプログラマブルゲートアレイ(FPGA)などの電子アーキテクチャを用いる。しかし、これらのハードウェアアーキテクチャで達成される計算速度および電力効率は、電子クロックレートおよび抵抗損失によって依然として制限される。
【発明の概要】
【0005】
本技術の実施形態は、概して人工ニューラルネットワークに関する。一例では、人工ニューラルネットワークを実施する装置は、光信号の第1の配列を受信する入力導波路の配列を含む。光干渉ユニットは、入力導波路の配列と光学的に通信し、光信号の第1の配列を光信号の第2の配列に線形変換する。この装置は、光干渉ユニットと光学的に通信し、光信号の第3の配列を生成するように光信号の第2の配列に非線形変換を実行する光非線形ユニットも含む。ディテクタアレイが光非線形ユニットと光学的に通信し、光信号の第3の配列を検出する。
【0006】
別の例では、人工ニューラルネットワーク計算のための方法は、入力導波路の配列を用いて光信号の第1の配列を受信することを含む。この方法は、入力導波路の配列と光学的に通信し、光信号の第1の配列を光信号の第2の配列に線形変換する光干渉ユニットを用いて、光信号の第1の配列に干渉することも含む。この方法は、光干渉ユニットと光学的に通信する光非線形ユニットを用いて、光信号の第3の配列を生成するように、光信号の第2の配列を非線形変換することも含む。この方法は、光信号の第3の配列を検出することをさらに含む。
【0007】
さらに別の例では、光ニューラルネットワークは、光信号の第1の配列を受信する入力導波路の配列を含む。ネットワークは、入力導波路の配列と光学的に通信し、光信号の第1の配列中での干渉を介して光信号の第1の配列を光信号の第2の配列に線形変換する複数の相互接続したマッハツェンダ干渉計(MZI)も含む。複数のMZI中の各MZIは、MZIの分割比を変更するように構成されている第1の位相シフタと、MZIの1つの出力の位相をシフトするように構成されている第2の位相シフタとを含む。ネットワークは、複数の相互接続したMZIと光学的に通信し、光信号の第2の配列を光信号の第3の配列に非線形変換する可飽和吸収体の配列も含む。可飽和吸収体の配列中の各可飽和吸収体は、光信号の第2の配列中の対応する光信号を受信する。ネットワークは、光非線形ユニットと光学的に通信し、光信号の第3の配列を検出するディテクタアレイをさらに含む。
【0008】
前述の概念および以降でより詳細に説明されるさらなる概念のすべての組み合わせ(ただし、このような概念が相互に矛盾しない場合)が、ここで開示されている発明主題の一部であると考えられると解するべきである。特に、本開示の最後に登場する請求主題のすべての組み合わせは、ここで開示されている発明主題の一部であると考える。また、ここで明示的に用いられており、参照により援用されている任意の開示にも登場する場合がある用語は、ここで開示されている特定の概念と最も合致する意味で解釈するべきであると解するべきである。
【図面の簡単な説明】
【0009】
当業者であれば、図面は主に図示のためのものであって、ここで説明されている発明主題の範囲を限定することを意図していないと解する。図面は必ずしも一律に拡大縮小したものではなく、場合によっては、ここで開示されている発明主題の様々な態様は、異なる特徴の理解を容易にするために、図面を誇張、すなわち拡大して示されている。図面中、同様の参照符号は、ほとんどの場合、同様の特徴(たとえば、機能的に類似かつ/または構造的に類似する要素)を指す。
【0010】
【図1】図1は、フォトニック集積回路を基にする光ニューラルネットワークの概略図を示す。
【図2A】図2Aは、図1に示されているものとほぼ同様の光ニューラルネットワークに用いることができる光干渉ユニット200の概略図を示す。
【図2B】図2Bは、図1に示されているものとほぼ同様の光ニューラルネットワークに用いることができる光干渉ユニット200の概略図を示す。
【図3】図3は、図1に示されているものとほぼ同様の光ニューラルネットワークに用いることができる制御回路の概略図を示す。
【図4A】図4Aは、1つの入力層、複数の隠れ層および出力層を含む光ニューラルネットワークの概略図を示す。
【図4B】図4Bは、SVD分解を実施する、図4Aに示されている光ニューラルネットワーク中の隠れ層の概略図を示す。
【図4C】図4Cは、光線形変換のためのマッハツェンダ干渉計(MZI)を用いる、図4Aに示されている光ニューラルネットワーク中の隠れ層の概略図を示す。
【図4D】図4Dは、相互接続したMZIを用いて母音認識を実施する光ニューラルネットワークの概略図を示す。
【図5】図5は、可飽和吸収を基にする非線形ユニットの光学的応答を示す。
【図6】図6Aは、図1に示されているものとほぼ同様の光ニューラルネットワーク中の光非線形ユニットに用いることができる光双安定体を示す。 図6Bは、図1に示されているものとほぼ同様の光ニューラルネットワーク中の光非線形ユニットに用いることができる光双安定性を示す。
【図7】図7は、チューナブルリング共振器を含む光非線形ユニットの概略図を示す。
【図8】図8は、マッハツェンダ干渉計を含む光非線形ユニットの概略図を示す。
【図9】図9Aは、リング共振器を含む光非線形ユニットを用いる光ニューラルネットワークを示す図である。 図9Bは、リング共振器を含む光非線形ユニットを用いる光ニューラルネットワークを示す図である。 図9Cは、リング共振器を含む光非線形ユニットを用いる光ニューラルネットワークを示す図である。 図9Dは、リング共振器を含む光非線形ユニットを用いる光ニューラルネットワークを示す図である。
【図10】図10は、リカレント光ニューラルネットワークの概略図を示す。
【図11A】図11Aは、相互接続したMZIの複数の列を含む光ニューラルネットワークの概略図を示す。
【図11B】図11Bは、実験的に製造した5×5ユニットのオンチップ光干渉ユニットの顕微鏡画像である。
【図12】図12は、図11Aおよび図11Bに示されているニューラルネットワークで訓練された単純な2次元3クラス分類問題の決定境界を示す。
【図13】図13Aは、実験的に製造した22モードオンチップ光干渉ユニットの光学顕微鏡写真を示す。 図13Bは、図13Aに示されている光ニューラルネットワークの概略図である。 図13Cは、図13Aに示されている光ニューラルネットワーク中のMZIに用いられる1つの位相シフタの概略図である。
【図14】図14Aは、様々な位相符号化誤差(σ)および光検出誤差(σ)に対する母音認識問題の正解率を示す。 図14Bは、誤りなし訓練行列に対するシミュレーションおよび実験による母音認識結果を示す。 図14Cは、誤りなし訓練行列に対するシミュレーションおよび実験による母音認識結果を示す。 図14Dは、誤りなし訓練行列に対するシミュレーションおよび実験による母音認識結果を示す。 図14Eは、誤りなし訓練行列に対するシミュレーションおよび実験による母音認識結果を示す。
【発明を実施するための形態】
【0011】
概要
光ニューラルネットワーク(Optical neural network)(ONNW)は、マイクロエレクトロニクスおよびハイブリッド光電実施形態における計算効率および電力消費の限界を克服する有望な手法を提供する。ONNW(および人工ニューラルネットワーク一般)は、通常、入力層、少なくとも1つの隠れ層および出力層を含む。各層において、情報は、線形結合(たとえば、行列乗算)に続いて、線形結合の結果に適用される非線形活性化関数を介してニューラルネットワークを伝搬する。人工ニューラルネットワークモデルの訓練では、入力層にデータを供給することができ、出力は順伝搬ステップによって計算される。その後、逆伝搬手順によってパラメータを最適化することができる。各シナプスの重み付けパラメータ(すなわち、行列成分)が逆伝搬手順によって最適化される。
【0012】
ONNWでは、線形変換(および特定の非線形変換)を光速で実行することができ、フォトニックネットワークでは100GHzを超える速度で検出することができ、場合によっては電力消費が最小限に抑えられる。たとえば、一般的なレンズにより、なんら電力を消費せずにフーリエ変換を実行することができ、特定の行列演算を、電力を消費することなく光学的に実行することもできる。しかし、バルク品の光学部品(たとえば、ファイバおよびレンズ)でこのような変換を実施するのは、位相安定性が欠如しており、ネットワーク中の多数のニューロンを(たとえば、数百万のニューロンに達するオーダーで)集積化することが困難であるので、困難である。インテグレーテッドフォトニクスでは、大規模な位相安定性のある光学変換に対してスケーラブルなアーキテクチャを提供することによってこの問題を解決することができる。
【0013】
ここで説明されている装置および方法では、フォトニック集積回路を基にするオンチップのコヒーレントな光神経形態学的コンピューティング技術を用いる。大まかに言えば、神経形態学的コンピューティング技術における計算を一連の線形変換と非線形変換とに分解して、光信号を入力することができる。この技術では、入力光信号中のr番目の信号に任意の重み付け行列乗算を適用することができる1つ以上の光干渉ユニットを用いて行列乗算(すなわち、線形変換)を実施する。非線形活性化は、可飽和吸収などの非線形光学効果を基にすることができる光非線形ユニットによって実現される。
【0014】
フォトニック集積回路を基にする光ニューラルネットワークにはいくつかの利点がある。まず、フォトニクスにおいて、高速であること、バンド幅が広いこと、また、クロストークが少ないことが達成可能であることが超高速人工ニューラルネットワークプロセッサに好適である。さらに、フォトニックデバイスの電力変換効率(wall−plug efficiency)が高いことで、このような実現例はエネルギ使用量を低減しつつ同等の電子システム以上の性能を発揮することができる。量子光学デバイスおよびオンチップナノフォトニック回路の作製における既存の技術を用いて、実現可能なオンチップONNWアーキテクチャを設計することが可能である。
【0015】
図1は、フォトニック集積回路を基にする光ニューラルネットワーク100の概略図を示す。ネットワーク100は、画像認識用の画像信号または音声認識用の音声信号などのデジタル信号105aを光信号105bの配列に符号化する電子インタフェース110を含む。電子インタフェース110では、様々な符号化方式を用いることができる。たとえば、デジタル信号105aを光信号105bの偏光に符号化することができる。別の例では、デジタル信号105aを光信号105bの位相(または時間遅延)に符号化することができる。さらに別の例では、デジタル信号105aを光信号105bの強度に符号化することができる。さらに別の例では、デジタル信号105aを光信号105bの波長に符号化することができる。
【0016】
光信号105bの配列は入力導波路122の配列を介してフォトニック集積回路(photonic integrated circuit)(PIC)120に導かれる。本明細書で用いられているように、用語「導波路」は、光信号を閉じ込めて導くことができる任意の構造を含むことができる。たとえば、導波路は、ファイバ、基板に作製される半導体導波路、光信号を導くように構成されるフォトニック結晶構造、または任意の他の適切な構造を含むことができる。PIC120は、光信号105bの配列の線形変換を実行する光干渉ユニット124(行列積ユニット124とも称する)を含む。言い換えれば、光信号105bの配列はベクトル(たとえばX)として扱われ、光干渉ユニット124はベクトルを乗算するマトリックス(たとえばM)として機能する(すなわちMX)。行列乗算によって光信号105cが生成され、光信号105cは出力導波路128の配列を介して光非線形ユニット126に導かれる。
【0017】
場合によっては、光干渉ユニット124は各入力導波路122を出力導波路128のそれぞれすべてに接続する。言い換えれば、入力導波路122と出力導波路128とは最大限に接続される。場合によっては、光干渉ユニット124は、入力導波路122の配列中の入力導波路の部分セットを、出力導波路128中の出力導波路の部分セットのそれぞれすべてに接続する。たとえば、入力導波路122の配列中の2つの入力導波路を入力導波路128の配列中の2つの出力導波路と最大限に接続することができる。実際には、最大限に接続される任意の他の数の導波路も用いることができる。
【0018】
光非線形ユニット126は、光信号105cに対する非線形活性化関数の役割を果たし、光信号105dを生成するように構成されている。ネットワーク100にディテクタアレイ130を用いて光信号105dを検出し、検出信号105eを生成する。検出信号105eは電子インタフェース140によって変換されて多数の並列電子信号105fに戻される。
【0019】
図2Aおよび図2Bは、上述した光ニューラルネットワーク100に用いることができる光干渉ユニット200の概略図を示す。大まかに言えば、光干渉ユニット200は、光信号の配列に対する行列乗算を実行するように機能する。図示のために、光干渉ユニット220a,220bおよび220cについての3つの例が図2Aに示されている。実際には、線形変換を実行することができる任意の他のタイプの干渉ユニットを用いることができる。
【0020】
一例では、光干渉ユニット200はフォトニック結晶220aを含むことができる。図2Bに示されているように、フォトニック結晶220aは、基板222aと、基板222aに形成されている孔224bの2次元(2D)配列とを含む。孔224aの寸法(たとえば直径およびピッチ)および基板222aの材料は、フォトニック結晶220aに提供される光信号の干渉を引き起こすように構成することができる。光信号干渉に対するフォトニック結晶の使用に関するさらなる知識は、「スロットフォトニック結晶導波路とともに用いるマルチモード干渉カプラ」と題する米国特許出願公開第20100226608号に見ることができ、その全体は参照によって本明細書に援用される。
【0021】
場合によっては、光干渉ユニット200は単一のフォトニック結晶220aを含むことができる。その他の場合では、光干渉ユニット200は、N個の光モードの配列を受信し、受信した光モードに対して線形変換を実行した後、N個の光モードの配列を出力することができるフォトニック結晶の配列を含むことができる。
【0022】
図2Bに示されているように、フォトニック結晶220aは孔224aの配列を含む。また、他の構成を用いることもできる。たとえば、フォトニック結晶220aは、基板222a上に配置した微小ディスクの配列を含むことができる。別の例では、フォトニック結晶220aは積層薄膜を含むことができ、その場合、フォトニック結晶220aは1次元(1D)フォトニック結晶になり得る。フォトニック結晶220aの長さはほぼ20μm以上にすることができる(たとえば、約20μm、約30μm、約50μm、約100μm、約200μm、約30μm、約500μmまたはこれらを超える寸法で、間の任意の値および部分範囲を含む)。各孔224aの直径は、たとえば、ほぼ20nm以上にすることができる(たとえば、約20nm、約30nm、約50nm、約100nm、約200nm、約300nmまたはこれらを超える寸法で、間の任意の値および部分範囲を含む)。場合によっては、孔224aの配列のピッチdは、フォトニック結晶220aを伝播する光信号の波長λをフォトニック結晶220aの屈折率nで割った値、すなわちd=λ/nにほぼ等しくすることができる。場合によっては、基板222aはシリコンまたは任意の他の適切な材料で形成することができる。
【0023】
フォトニック結晶220aを位相変更材料でコーティングしてフォトニック結晶220aの光路長を変更することができる。光路長を変更することで、フォトニック結晶220a中を伝搬する光信号の干渉を変更することができる。これにより、得られる光ニューラルネットワークの各隠れ層の重みパラメータを調節することができる。
【0024】
別の例では、光干渉ユニット200は相互接続されたマッハツェンダ干渉計(Mach−Zehnder Interferometer)(MZI)220bの配列を含む。各MZIは、入力光信号を第1のアームと第2のアームとに分割した後、干渉のために2つのアームの光信号を組み合わせる。各MZIは、MZIの分割比を変更するように構成されている第1の位相シフタと、MZIの一方の出力の位相をシフトするように構成されている第2の位相シフタとをさらに含む。光干渉ユニット200におけるMZIの使用のさらなる詳細は図4A〜図4Dを参照して以降で説明される。
【0025】
さらに別の例では、光干渉ユニット200はマルチモード干渉計(multimode interferometer)(MMI)220cを含むことができる。MMIは、入力光信号を受信する単一モード導波路の配列と、受信した光信号が互いに干渉するマルチモード導波路とを含むことができる。マルチモード導波路は多数の導波モードを有し、各々は異なる伝搬定数を有する。モードは固有モードであるため、互いに独立して伝播する。入力光信号によってマルチモード干渉が励起されると、電磁場プロファイルを固有モードに分解することができる。通常、これらの固有モード間でエネルギの交換がない場合であっても、これらが異なる速度で伝播することで、マルチモード導波路の長手方向に変化する干渉パターンが生じる。マルチモード干渉に関するさらなる知識は、「マルチモード干渉デバイス」と題する米国特許第9097852号に見ることができ、その全体は参照によって本明細書に援用される。
【0026】
図3は、図1に示されている光ニューラルネットワーク100に用いることができる制御回路300の概略図を示す。制御回路300は、デジタルアナログコンバータ(DAC)320によってアナログ制御信号に変換されるデジタル制御信号を提供するコントローラ310を含む。信号をフォトニック集積回路305に印加する前にアナログ制御信号を増幅するのに制御回路300中でバッファ増幅器330を用いる。フォトニック集積回路305は、図1に示して上述したフォトニック集積回路120とほぼ同一にすることができる。
【0027】
実際には、制御回路300は、フォトニック集積回路305を含む光ニューラルネットワークを訓練するのに用いることができる。たとえば、フォトニック集積回路305は、相互接続したMZIの配列を含むことができ、MZIの各々は、MZIの分割比を制御する位相シフタと、出力の位相を制御する別の位相シフタとを含む。その後、制御回路300は、異なる行列変換を実施するように、各位相シフタによって与えられる位相を制御することができる。言い換えれば、制御回路300は、フォトニック集積回路305中の光干渉ユニットによって実施される変換行列Mの要素M(i,j)(重みパラメータとも称する)を変更することができる。
【0028】
訓練中、期待出力を用いたテストデータポイントのセットを光ニューラルネットワークに送信することができる。その後、実際の出力と期待出力を比較する。相違する場合、制御回路300は、フォトニック集積回路305が期待される結果を出すようにするようにフォトニック集積回路305の位相設定を変更することができる。期待される結果を出す位相設定が決定された後、光ニューラルネットワークを用いて未知のデータポイントを処理することができる。
【0029】
これの代わりに、重みパラメータを電子コンピュータで別に訓練することができる。その際、重みパラメータは、熱位相シフタを通じて光ニューラルネットワークにプログラムしたり(たとえば、光干渉ユニットにMZIが用いられる場合)、位相変更材料を通じて光ニューラルネットワークにハードコードしたりすることができる。
【0030】
マッハツェンダ干渉計を用いた光ニューラルネットワーク
図4A〜図4Cは、光線形変換のためのマッハツェンダ干渉計(MZI)を用いる光ニューラルネットワーク400の概略図を示す。図4Aは、光ニューラルネットワーク400が、入力層410と、一連の隠れ層420(1),420(2),…,420(n)(まとめて隠れ層420と称する)と、出力層430とを含む様子を示す。各層は複数のニューロン(図4Aでは丸として示されている)を含む。たとえば、入力層410は4つのニューロン411,412,413、および414(ノードとも称する)を含む。場合によっては、図4Aの丸で示されているような各ノードは導波路(たとえば、入力導波路122)を含むことができ、丸の列間の矢印は線形変換および/または非線形変換を実行するフォトニック回路(たとえば、図1の光干渉ユニット124および/または光非線形ユニット126)にすることができる。同様に、出力層430は、4つのニューロン431,432,433、および434を含む。実際には、任意の他の数のニューロンを各層に用いることができる。図4Aに見ることができるように、入力層410中の各ニューロンは、第1の隠れ層420(1)中の4つのニューロンのすべてに接続されている。同様に、第1の隠れ層420(1)中の各ニューロンは、第2の隠れ層420(2)中の4つのニューロンのすべてに接続され、以下同様である。
【0031】
光ニューラルネットワーク400では、各層(たとえば、420)で情報は線形結合(たとえば行列乗算)によって伝搬され、続いて非線形活性化関数が適用される。このネットワーク400では、光信号のベクトルを以下のように表わすことができる。
【0032】
【数1】
ここで、Eは導波路jでの電場(図4Bではパルスとして示されている)である。行列−ベクトル積Z=Wi−1Xは光干渉ユニットによって実行され、活性化関数f(Z(i))は光非線形ユニットを用いて実施される。ネットワーク400のユニットセル、光干渉ユニットおよび非線形ユニットをタイル配置してディープラーニングネットワークを実施することができる。
【0033】
ネットワーク400において、行列ベクトル積および非線形活性化は、Ln/c秒毎に評価することができる。ここで、Lはネットワーク400の物理的長さ、nは屈折率、cは光速である。たとえば、ネットワーク400の長さLを約1cm、屈折率を約3にすることができ、これにより、約100psの評価時間が得られる(順伝播時間とも称する)。この順伝播時間中に、総数D個の入力ベクトルがネットワーク400を伝播することで、Dc/nLの全バンド幅を得ることができる。したがって、クロックレートでの計算結果は数十ギガヘルツを容易に超え得る。このクロックレートは、光信号を電気信号に変換することが可能なレートからしか制限を受けないと考えられる(たとえば、現在の技術では約100GHz)。
【0034】
超高速順伝播に加えて、行列ベクトル積の評価に関連する計算時間は行列の大きさ(matrix dimension)Nに比例する。行列の大きさをNからN+1に増加させることは、ネットワーク400に1つの導波路を加えることに対応する。このシステムの1秒あたりの演算数(number of operations)はR=2m・N・1011演算/秒として与えられる。ここで、mはニューラルネットワーク400中の層の数である。
【0035】
図4Bは、各隠れ層420が光干渉ユニット425および光非線形ユニット427を含んで、入力光信号に対して任意の線形変換を達成するように特異値分解(singular value decomposition)(SVD)法を実施する様子を示す。SVD法では、一般的な実数行列(M)をM=USVのように分解することができる。ここで、Uはm×mユニタリ行列であり、Sは、対角上に負でない実数を有するm×n対角行列、Vは、n×nユニタリ行列Vの複素共役である。図4Bの光干渉ユニット425は、行列Vを用いて行列乗算を実施する第1のMZI配列421と、行列Sを用いて行列乗算を実施する減衰器422(または増幅器)の配列と、行列Uを用いて行列乗算を実施する第2のMZI配列423とを含む。このようにして、光干渉ユニット425は、行列Mを用いて入力信号に行列乗法を適用することができる。ここで、M=USVである。
【0036】
このようにして実施される行列乗算は、原理的には電力を消費しない。これにより、ニューラルネットワーク400のエネルギ効率は高くなる。
【0037】
行列Sの対角成分λは行列Mの特異値として一般的に知られている。一般的な慣習では降順に特異値を並べる。この場合、対角行列SはMによって一意的に決まる。対角行列Sは1セットの光増幅器を用いて得ることができる。光増幅器は、光信号を電気信号に変換することなく、光信号を直接増幅するデバイスである。光増幅器は、光キャビティを有したり有さなかったりするレーザ(たとえば、進行波増幅器やシングルパス増幅器)、またはキャビティからのフィードバックが抑制されるものを含むことができる。光ニューラルネットワーク400では、各光増幅器を出力ノードに適用し、信号を定数係数λの分だけ増幅または減衰させる。
【0038】
光非線形ユニット426は可飽和吸収体427の配列を含むことができる。これの代わりに、光非線形ユニット426は双安定材料の配列を含むことができる。一般的には、入力強度Iinに対して、光非線形ユニット426からの光出力強度は非線形関数Iout=f(Iin)によって与えられる。
【0039】
図4Cは、光干渉ユニット425および光非線形ユニット426の概略図を示す。光干渉ユニット425は相互接続したMZI428を含む。各MZI428は、2つの入力導波路442aおよび442bと、2つのアーム444aおよび444bと、2つの出力導波路446aおよび446bとを含む。各MZI428はさらに、一方のアーム444aに配置されている位相シフタ445aと、一方の出力導波路446aに配置されている別の位相シフタ445bも含む。
【0040】
導波路に電場を印加する電極の導波路を加熱するヒータで各位相シフタを実施することができる。位相シフタ445aは位相θを付加し、2つの出力導波路446aおよび446bによって提供される信号間の分割比を制御することができる。位相シフタ445bは位相φを付加し、2つの出力導波路446aおよび446bによって提供される信号間の位相遅延を制御することができる。この構成の場合、各MZIは、2つの入力導波路442aおよび442bが受信した光信号に対してユニタリ変換を実行することができ、ユニタリ変換は以下のように記述することができる。
【0041】
【数2】
【0042】
図4Dは、光干渉ユニット425および非線形ユニット426を示す光ニューラルネットワーク400を示す。各光干渉ユニット425は相互接続したMZIを含み、各非線形ユニット426は、可飽和吸収体または双安定材料を含む導波路の配列を含む。1つの光干渉ユニット425と1つの非線形ユニット426とが、光信号を伝搬する1つの層420を形成する。実際には、一連の層420が、たとえば、スピーカからの音声信号を受信した後、受信した音声信号を処理して音声信号の内容を認識(すなわち音声認識)することができるフォトニック集積回路を形成する。
【0043】
光非線形ユニット
ここで説明されている神経形態学的技術に光非線形ユニット(たとえば、図1の126または図4A〜図4Dの426)を用いて非線形活性化関数を適用する。特に、光非線形ユニットは入力パワーIinを使用し尽くして、Iout=f(Iin)のような非線形関数を通じて出力パワーにすることができる。
【0044】
一例では、光非線形性については可飽和吸収を基にすることができる。いかなる特定の理論や動作モードにも束縛されることなく、可飽和吸収体の非線形関数は以下のように記述することができる。
【0045】
【数3】
ここで、σは吸収断面積、τは、吸収体を形成する材料の発光寿命、Tは可飽和吸収体の最大透過率、Tは開始透過率、Iはピーク入射強度である。図5は、可飽和吸収を基にした非線形ユニットの光学的応答を示す。このユニットに用いられる可飽和吸収体は、たとえば、色素や半導体量子ドットにすることができる。
【0046】
図6Aおよび図6Bは、光非線形ユニットに用いることができる光双安定を示す。図6Aは、光双安定性を有するフォトニック結晶600の概略図を示す。フォトニック結晶600は、低屈折率誘電体基板610(たとえば、N〜1.5)に埋め込まれている高屈折率誘電体ロッド620(たとえば、N〜3.5)の配列を含む。一例では、ロッド620の配列のピッチをaで示して、ロッド620の配列中の各ロッドの半径はr=a/4である。
【0047】
図6Bは、図6Aに示されているフォトニック結晶の光学的応答を示す。いかなる特定の理論や動作モードにも束縛されることなく、フォトニック結晶600の非線形関係は以下のように記述することができる。
【0048】
【数4】
ここで、Iはフォトニック結晶600の特性強度であり、δは、フォトニック結晶600のジオメトリに依存するパラメータである。光双安定フォトニック結晶に関するさらなる知識は、Soljacic et al.(2002)Optimal bistable switching in nonlinear photonic crystals,PHYSICAL REVIEW E66,055601(R)に見ることができる。本文献の全体は参照によって本明細書に援用される。
【0049】
図7は、チューナブルリング共振器720を用いる光非線形ユニット700の概略図を示す。ユニット700は、入力光を受信する入力導波路710を含む。入力導波路710は、リング共振器720にエバネセントカップリングされる。リング共振器720にはプローブ導波路730もエバネセントカップリングされ、入力光の一部をディテクタ740に向けて分割する。検出信号に基づいて、ディテクタ740は制御信号を生成してリング共振器720をチューニングする。たとえば、制御信号により、リング共振器720の光学的応答を変更するようにリング共振器720の共振波長を変更することができる。また、ユニット700の透過率はニューラルネットワークにおいて非線形活性化関数を実施するように入力光のパワーに応答する。
【0050】
図8は、マッハツェンダ干渉計を用いる光非線形ユニット800の概略図を示す。ユニット800は、入力光を受けて入力光を2つのアーム820aおよび820bに分割する入力導波路810aを含む。アーム820bに位相シフタ830を配置して、調節可能な位相シフト量を加える。2つのアーム820aおよび820bからの光は、出力導波路810bで組み合わせる。アーム820b中を伝搬する光の一部はディテクタ840に伝送され、ディテクタ840によって検出される。検出信号に応じて、ディテクタ840は制御信号を生成して、位相シフタ830によって加えられる位相シフト量を制御することができる。
【0051】
図9A〜図9Dは、リング共振器を基にした光非線形ユニット924を用いる光ニューラルネットワーク900を示す。光ニューラルネットワーク900は、入力層910、一連の隠れ層920、出力層930、および検出層940を含む。各隠れ層920は、光干渉ユニット922および光非線形ユニット924を含む。
【0052】
図9Bは、光非線形ユニット924の概略図を示しており、光非線形ユニット924は図7に示して上述した光非線形ユニット700とほぼ同様とすることができる。図9Cは、光非線形ユニット924中のリング共振器の波長デチューニングに対する出力パワーおよび導関数のプロットである。図9Dは、様々なスペクトルデチューニング位置での入力パワー(Pin)に対する光出力パワー(Pout)を示す。1つの光非線形ユニットを設定することによって一群の曲線を実現することができる。
【0053】
光非線形ユニット924において、光キャビティに入射した光はフォトディテクタによって検出された後、光キャビティを共振させずに駆動する。この光電要素により、図9Dに示されているようにReLUおよびシグモイドを含む広範囲の高速非線形活性化関数を実施することができる。ローレンツ透過関数(Lorentzian transmission function)(図9C参照)をシフトさせるバイアス電圧を印加することによって異なる非線形関数を選択することで、入出力パワー関係を変更することができる。
【0054】
リカレント光ニューラルネットワーク
図10は、出力層の光信号を再循環させることができるリカレント光ニューラルネットワーク1000の概略図を示す。光ニューラルネットワーク1000は、隠れ層を形成する光干渉ユニット1010および光非線形ユニット1020を含む。図10には1つの隠れ層しか示されていないが、複数の隠れた層を用いることができる。出力部では、光信号がスイッチ1030に伝送され、スイッチ1030は、受信した信号の一部を検出のために読み出しユニット1040に送信し、受信した信号の別の部分を別の回の線形変換のために光干渉ユニット1010に返送する(その後、非線形活性化のために光非線形ユニット1020に送信する)。光信号を光ニューラルネットワーク1000の出力層から入力層に回し戻すことによって、同様の物理ハードウェアを用いて、重みを少数にしつつ一層大規模の変換を実施することができる。このリカレント構成は、ディープニューラルネットワーク、すなわち多数の隠れた層を有するニューラルネットワークを効率的に構築するのに用いることができる。
【0055】
一例では、出力層の光信号は別の回の変換のために入力層に直接返送される。別の例では、出力層の光信号は電気信号に変換された後、光源(図示せず)に送信される。電気信号は、出力層の光信号とほぼ同様の光信号を提供するように光源を制御する制御信号として用いることができる。換言すれば、光源は出力光信号を再生する。この構成により、入力層に光伝送して戻す間の損失またはディストーションを低減することができる。
【0056】
フォトニック集積回路を用いる光ニューラルネットワークの特性評価
図11Aは、相互接続したMZIの複数の列1110(0),1110(1),…および1110(L)を含む光ニューラルネットワーク1100の概略図を示す。各列1110中のMZI1120は、各MZI1120が2つの損失バランスとり用位相シフタ1125も含む点を除いて、図4Cに示されているMZIとほぼ同様である。一方の損失バランスとり用位相シフタはMZI1120のアームに配置され、他方の損失バランスとり用位相シフタはMZI1120の出力導波路に配置される。図11Bは、実験的に製造した5×5ユニットのオンチップ光干渉ユニットの顕微鏡画像である。
【0057】
図12は、図11Aおよび図11Bに示されているニューラルネットワークで訓練された単純な2次元3クラス分類問題の決定境界を示す。データの3つのカテゴリが図12に示されている。訓練では、バッチ順伝搬および逆伝播を用いてパラメータを最適化した。図12は、2つの入力ユニット、3つの出力ユニット、および1つの隠れ層についての分類結果を示し、8%未満の誤り率を示している。訓練の別の回では、786個の入力ユニット、6つの出力ユニット、1つの隠れ層を用いた。同様にして、10%未満の誤り率が達成された。
【0058】
図13Aは、実験的に製造した22モードオンチップ光干渉ユニットの光学顕微鏡写真を示す。光ニューラルネットワークプログラムの物理的領域が灰色で強調されている。このシステムは光フィールドプログラマブルゲートアレイとして機能し、光学実験のためのテストベッドになり得る。図13Bは、図13Aに示されている光干渉ユニットを含む光ニューラルネットワーク1300の概略図である。光ニューラルネットワーク1300により、完全に光学的に行列乗算と増幅との両方が実現される。図13Cは、マッハツェンダ干渉計(MZI)中の1つの位相シフタの概略図、およびMZIの内部位相シフタの調整のための透過率曲線である。
【0059】
光ニューラルネットワーク1300は、入力モードを受け、入力モードをSU(4)コア1310に伝送する入力導波路1305の配列を含む。SU(4)コア1310は相互接続したMZIの配列を含む。SU(4)コア1310には非ユニタリ対角行列乗算コア(diagonal matrix multiplication core)(DMMC)1320が接続されている。DMMC1320はMZIの縦の配列を含む。各MZIの一方の入力導波路はSU(4)コア1310に接続されている。各MZIの一方の出力導波路は、たとえば光非線形ユニットに接続され、他方の出力導波路はブロックされる。これの代わりに、出力導波路によって提供される信号の一部を検出するディテクタ1330に出力導波路を接続することができる。このようにして、DMMC1320は、ニューラルネットワーク1300が受信した光信号の全強度(またはパワー)を変更することができる。
【0060】
SU(4)1310コアでは、ユニタリ行列を位相シフタおよびビームスプリッタのセットに分解するギブンス回転アルゴリズムによって演算子UおよびVを実施する一方で、DMMC1320では、ベースライン振幅を基準にして、光モードに光を加えたり、光モードから光を除いたりするようにDMMC干渉計の分割比を制御することによって演算子Sを実施する。このようにして、SU(4)1310とDMMC1320との組み合わせによってSVD分解を行なうことができる。
【0061】
ニューラルネットワーク1300で母音認識を行なった。訓練およびテストデータセットを用意するのに、360個のデータポイントを用いた。各データポイントは、1つの音素の4つの対数面積比係数を含む。対数面積比係数、すなわち特徴ベクトルは、対数的に離間した異なる周波数バンドに含まれるパワーを表わし、ハミング窓関数をかけあわせた音声信号のフーリエ変換を計算することによって導出される。360個のデータポイントは、90人の異なる者が4つの異なる母音音素を発音することによって生成した。これらのデータポイントの半分は訓練に用い、残りの半分は訓練済みの光ニューラルネットワーク1300の特性をテストするのに用いた。行列パラメータは、従来のコンピュータで確率的勾配降下法を用いて標準的な逆伝播アルゴリズムで訓練した。
【0062】
コヒーレント光ニューラルネットワーク1300は、図13Aに示されているように、56個のマッハツェンダ干渉計(MZI)および213個の位相シフト要素の配列を含むプログラム可能なナノフォトニックプロセッサで実現される。各干渉計は、出力モードの分割比を制御する内部熱光位相シフタを挟む2つのエバネセントモード導波路カプラ含み、これに、出力モードの相対位相を制御する第2のモジュレータが後続する。これらの2つの位相シフタによって与えられる位相を制御することにより、これらのMZIによってSU(2)リー群におけるすべての回転が行なわれ、制御を施した入射位相がMZIの2つの電磁入力モードに与えられる。ナノフォトニックプロセッサは、たとえば、OPSISファウンドリを用いてシリコンオンインシュレータフォトニクスプラットフォーム中に作製することができる。
【0063】
実験で用いた720個の光干渉ユニットおよびDMMCコアの測定忠実度(measured fidelity)は99.8±0.003%であった。このアナログコンピュータでは、忠実度は、(1)チャンネルあたり16ビット電圧分解能の特製の240チャンネル電圧源を用いて光位相を設定可能にするのに有限の精度を用いたこと、(2)光検出ノイズおよび(3)位相設定の分解能のビット数を顕著に減少させる位相シフタ間の熱クロストーク、などの実際上の理想に反する事項によって制限された。デジタル浮動小数点計算の場合と同様に、値は特定のビット数の精度で表わされ、有限のダイナミックレンジと光強度のノイズとにより顕著な打切り誤差が生じる。
【0064】
この例では、非線形変換Iout=f(Iin)は、フォトディテクタアレイ上の光モード出力強度を測定し、信号Ioutを次のステージに入力することによって電子領域で実施した。この例では、fにより、回路の各光干渉ステージの後で導波路に直接組み込まれる実体的な可飽和吸収体(色素、半導体またはグラフェン可飽和吸収体または可飽和増幅器など)に関連する数学的関数をモデル化した。たとえば、入力強度Iが与えられると、上記の式(3)によるT(I)について解くことができ、出力強度はIout=I(I)として計算することができる。
【0065】
ナノフォトニックプロセッサをプログラミングして、各層に4つのニューロンを有する光干渉ユニットの4つの層を含む光ニューラルネットワークアーキテクチャを実施した後、ニューラルネットワークを母音認識に用いた。ネットワークは、シミュレーションによる正解度165/180(91.7%)と比較して、138/180個のケース(76.7%)を正しく識別した。
【0066】
図14Aは、様々な位相符号化誤差(σ)および光検出誤差(σ)に対する母音認識問題の正解率を示す。これらの2つの変数の定義は方法の記載部分に示されている。実線は、様々なレベルの正解割合についての等高線である。図14B〜図14Eは、誤りなし訓練行列に対するシミュレーションおよび実験による母音認識結果を示す。図14Bでは母音Aを発音した。図14Cでは母音Bを発音した。図14Dでは母音Cを発音した。図14Eでは母音Dを発音した。
【0067】
光ニューラルネットワーク1300はアナログ信号領域で情報を処理するので、このアーキテクチャは計算処理上のエラーに対して脆弱である場合がある。光検出および位相符号化はここに示されている光ニューラルネットワークの主なエラー源である。ONNWハードウェアアーキテクチャにおける位相符号化ノイズおよび光吸収ノイズの役割を理解し、その正確度についてモデルを発展させるために、位相符号化ノイズ(σ)および光吸収ノイズ(σ)の大きさを変えて訓練済みマトリックスの特性を数値シミュレーションした。σおよびσに対する正解割合の分布を図14Aに示す。これは、光ニューラルネットワークの実験上の特性を理解するための指針となる。
【0068】
光検出アレイおよび電圧コントローラに高精度のアナログデジタルコンバータを実装することで、光ニューラルネットワークの性能をデジタルコンピュータの性能に近づけることができる。フォトダイオードアレイを設計するのに既知の技術を適用することで、対数増幅器または多段利得増幅器を用いるなどしてきわめて高いダイナミックレンジを達成することができる。これらの対応可能な技術的問題に対処することで、光ニューラルネットワークの正解性をさらに高めて、誤り訂正されたデジタルコンピュータに近い正解割合を達成することができる。
【0069】
大規模なデータを高速かつ低電力で処理することは、コンピュータサイエンスの分野では中心的な問題になり得る。実際に、データセンタの電力およびプロセッサの大部分が順伝搬(テスト時間予測)を行なうのに費やされている。さらに、順伝搬速度が低いことで、高速並行画像認識を必要とする自動運転車を含む多くの分野で人工ニューラルネットワークの適用が制限されている。
【0070】
ここで説明されている光ニューラルネットワークアーキテクチャは、最先端の電子コンピュータアーキテクチャと比較して高速でエネルギ効率の高いニューラルネットワークを可能にする高検出率の高感度光子ディテクタを利用する。ナノフォトニックプロセッサ上でパラメータを訓練してプログラムした後、順伝搬計算をパッシブシステム上で光学的に実行する。この実現例では、位相モジュレータ設定の維持にモジュレータあたり平均約10mWのレベルのわずかな電力量しか消費しない。さらに、不揮発性の位相変更材料を用いて位相を設定することができ、維持にまったく電力を用いない。この変更を用いれば、全電力消費が物理的寸法、分散部品のスペクトルバンド幅(THz)、および光検出速度(たとえば、約100GHz)によってのみ限定されるということが可能である。原理的には、このようなシステムでは、電子的なニューラルネットワーク(GHzクロックレートに制限される)よりも少なくとも2桁高速であることが可能である。
【0071】
N個のノードを有し、N×N行列乗算のm個の層を実施し、典型的な100GHzの光検出率で演算する光ニューラルネットワークでは、システムの1秒あたりの演算回数は以下になり得る。
R=2m×N×1011演算/秒(5)
【0072】
計算中のONNの電力消費は、光非線形性を発現させ、フォトディテクタで十分に高い信号対雑音比(SNR)を実現する光パワーによって占められる場合がある。光非線形ユニットでは、保持可能な吸収を引き起こす閾値パワーpは約1mW/cmであると仮定することができる。たとえば、色素の閾値パワーは約0.3mW/cm〜1mW/cmとすることができる。グラフェンの閾値パワーは約0.5mW/cm〜0.8mW/cmとすることができる。
【0073】
導波路の断面Aは、約0.2μm×0.5μmのオーダーであるので、システムを動作させるための全パワーはP〜N mWと見積もられる。したがって、光ニューラルネットワークの1演算あたりのエネルギは、R/P=2m×N×1014演算/J(すなわちP/R=5/mN fJ/演算)になるように決めることができる。実施を可能にする非線形現象として可飽和吸収の代わりに光双安定性を用いる場合、ほぼ同じエネルギ特性および速度が得られる。非常に小規模なニューラルネットワークであっても、上記の電力効率は従来の電子的CPUおよびGPUよりも既に少なくとも3桁高い。この場合、P/R〜1pj/演算(データ移動に費やされる電力を含まない)である。その一方で、従来の画像認識タスクは通常、数千万の訓練パラメータおよび数千のニューロンを必要とする(mN〜10)。これらの考察は、サイズが基本的な問題を引き起こすので、ここで説明されている光ニューラルネットワークが従来のコンピュータよりも何千万倍も効率的であることが可能であることを示唆している。実際に、ニューラルネットワークが大きくなるほど、光学機器を用いる利点が大きくなる。これは、電子機器中のN×Nマトリックスを評価するのにO(N)のエネルギが用いられる一方で、光学機器では原理的には一切エネルギが使用されないからである。
【0074】
光ニューラルネットワークにより、人工ニューラルネットワークパラメータを訓練するための新しい方法も可能になる。従来のコンピュータでは、パラメータを逆伝播および勾配降下で訓練する。しかし、パラメータの有効数が区別可能なパラメータの数をほぼ超える人工ニューラルネットワーク(リカレントニューラルネットワーク(recurrent neural network)(RNN)および畳み込みニューラルネットワーク(convolutional neural network)(CNN)を含む)については、逆伝播を用いる訓練は非効率的であることが知られている。特に、RNNの反復性により、RNNには事実上のきわめて深い人工ニューラルネットワーク(深度=シーケンス長)としての役割が与えられる一方で、CNNでは、特徴の抽出のために画像の異なる部分に同じ重みパラメータが繰り返し用いられる。
【0075】
光ニューラルネットワークでは、各区別可能なパラメータの勾配を直接得る代替手法を逆伝播を用いずに実施することができる。この手法では、光ニューラルネットワークにおける順伝搬および有限差分法を用いることができる。
【0076】
この手法では、人工ニューラルネットワークの特定の区別可能な重みパラメータΔWijの勾配は、J(Wij)およびJ(Wij+δij)を計算する2つの順伝搬ステップを行なった後、ΔWij=J(Wij+δij)−J(Wij)/δijを評価することで取得ことができる(このステップでは2回の演算しか行なわない)。従来のコンピュータでは、順伝搬(J(W)の評価)は一般的に計算コストが高いので、この方式は好ましくない。しかし、光ニューラルネットワークでは、各順伝播ステップは、一定の時間(100GHzを超え得る光検出速度によって制限される)内に計算され、消費電力はニューロンの数に比例するにすぎない。さらに、このオンチップ訓練方式を用いれば、ユニタリ行列を容易にパラメータ化して訓練することができる。
【0077】
説明されている光ニューラルネットワークの物理的寸法に関して、本技術では、1000ニューロン体系を超える光ニューラルネットワークを実現することができる。たとえば、最大4096個の光学部品を有するフォトニック回路を製造することができる。3−Dフォトニックインテグレーションを用いれば、別の空間的自由度を付加することにより、大規模な光ニューラルネットワークであっても可能にすることができる。さらに、(たとえば、一度にすべてではなく)所定時間にわたって複数のパッチコードを介して入力信号(たとえば画像)を供給することによって、比較的少数の物理ニューロンで一層大規模で効果的なニューラルネットワークを実現することができる。
【0078】
結び
【0079】
様々な特許性を有する実施形態をここで説明し示してきたが、当業者であれば、機能を発揮し、かつ/または結果および/もしくはここで説明されている利点の1つ以上を得る様々な他の手段および/もしくは構造を容易に想到する。このような変形および/または修正の各々は、ここで説明されている特許性を有する実施形態の範囲内にあるとみなされる。より一般的には、当業者であれば、ここで説明されているすべてのパラメータ、寸法、材料および構成が例示的であることを意図しており、実際のパラメータ、寸法、材料および/または構成が、特定の用途または特許性を有する教示が用いられる用途に依存することになることを容易に理解する。当業者であれば、ここで説明されている特定の特許性を有する実施形態に対する多くの均等物を認めるし、きわめて平凡な実験を用いて確認することができる。したがって、前述の実施形態が例としてに限って示され、添付の請求項およびそれに対する均等物の範囲内で、特許性を有する実施形態を、具体的に説明され請求されている以外の仕方で実施してもよいと解する。本開示の特許性を有する実施形態は、ここで説明されている個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。さらに、2つ以上のこのような特徴、システム、物品、材料、キットおよび/または方法の任意の組み合わせは、このような特徴、システム、物品、材料、キットおよび/または方法が互いに相反しない場合、本発明の範囲に含まれる。
【0080】
また、様々な発明概念を1つ以上の方法として具体化してもよく、その一例が提供されている。方法の一部として実行される動作は、任意の適切な手法で順序付けてもよい。したがって、図示とは異なる順序で動作が行なわれる実施形態を構成してもよい。これは、いくつかの動作を同時に実行することを含んでもよい。図示の実施形態で連続する動作として示されていている場合であっても同時に実行する。
【0081】
ここで定義されて用いられているすべての定義は、辞書定義、参照により援用された文献中の定義、および/または定義された用語の通常の意味を支配すると解するべきである。
【0082】
本明細書および請求項に用いられている不定冠詞「a」および「an」は、反する記載が明確になされていない限り、「少なくとも1つ」を意味すると解するべきである。
【0083】
本明細書および請求項に用いられている語句「および/または(and/or)」は、それにしたがって等位接続された要素の「一方または両方」、すなわち、ある場合には共同的に存在し、別の場合には選言的に存在する要素を意味すると解するべきである。「および/または」とともに列挙される複数の要素を同一の仕方で解釈するべきである。すなわち、「および/または」とともに列挙される複数の要素はそれにしたがって等位接続された要素の「1つ以上」と解釈するべきである。「および/または」節によって特に特定されている要素以外の他の要素が、特に特定されているこれらの要素に関連するか否かにかかわらず、任意に存在してもよい。したがって、限定しない例として、「備える(comprising)」などのオープンエンドランゲージ(open−ended language)とあわせて用いられる場合、「Aおよび/またはB」に言及することは、ある実施形態では、Aのみを指し(B以外の要素を任意に含む)、別の実施形態では、Bのみを指し(A以外の要素を任意に含む)、さらに別の実施形態では、AとBとの両方を指す(他の要素を任意に含む)などの場合がある。
【0084】
本明細書および請求項に用いられているように、「または(or)」は、上記で定義されている「および/または(and/or)」と同じ意味を有すると解するべきである。たとえば、列挙物中の項目を区切っている場合、「または」または「および/または」は包含的であると解釈するべきである。すなわち、複数の要素または要素の列挙物の少なくとも1つを含むだけでなく、これらの1つ以上と、任意に、列挙されていないさらなる項目も含むと解釈するべきである。「のうちの1つのみ(only one of)」または「のうちの厳密に1つ(exactly one of)」または請求項で用いられている場合の「からなる(consisting of)」などの明確にそれとは反対に記載されている用語のみが、複数の要素または要素の列挙物のうちの厳密に1つの要素を含むことを指す。概して、ここで用いられている用語「または(or)」は、「いずれか(either)」、「のうちの1つ(one of)」、「のうちの1つのみ(only one of)」または「のうちの厳密に1つ(exactly one of)」などの排他性に関する用語が後続する(precede)場合、排他的な択一(すなわち、「一方または他方であるが両方ではない(one or the other but not both)」)を示すものとしてのみ解釈するものとする。請求項で用いられる場合の「実質的に〜からなる(consisting essentially of)」は、特許法の分野で用いられているその通常の意味を有するものとする。
【0085】
本明細書および請求項で用いられているように、1つ以上の要素の列挙物に言及する場合の語句「少なくとも1つの(at least one)」は、要素の列挙物のうちのいずれか1つ以上の要素から選択される少なくとも1つの要素を意味すると解するべきであるが、必ずしも、要素の列挙物中に特に列挙されているすべての要素のうちの少なくとも1つを含むわけではなく、また、要素の列挙物中の要素の任意の組み合わせを除外するわけではない。この定義により、語句「少なくとも1つの」が指す要素の列挙物中で特に特定されている要素以外の要素が、特に特定されているこれらの要素に関連するか否かにかかわらず、任意に存在することも可能になる。したがって、限定しない例として、「AおよびBの少なくとも1つ(at least one of A and B)」(または相当するものとして「AまたはBの少なくとも1つ(at least one of A or B)」または相当するものとして「Aおよび/またはBの少なくとも1つ(at least one of A and/or B)」)は、ある実施形態では、Bが存在しない(かつB以外の要素を任意に含む)状態で少なくとも1つのA(1つ以上のAを任意に含む)を指し、別の実施形態では、Aが存在しない(かつA以外の要素を任意に含む)状態で少なくとも1つのB(1つ以上のBを任意に含む)を指し、少なくとも1つのA(1つ以上のAを任意に含む)と、少なくとも1つのB(1つ以上のBを任意に含む)とを指す(他の要素を任意に含む)などの場合がある。
【0086】
請求項および上記の明細書では、「備える(comprising)」、「含む(including)」、「担持する(carrying)」、「有する(having)」、「包含する(containing)」、「含む(involving)」、「保持する(holding)」、「から構成される(composed of)」などのすべての移行句(transitional phrase)は、オープンエンドされる(open−ended)、すなわち、含むが、それに限定されないことを意味すると解するべきである。移行句「からなる(consisting of)」および「実質的に〜からなる(consisting essentially of)」のみが、米国特許商標庁の特許審査便覧のセクション2111.03に記載されているように、それぞれクローズまたはセミクローズ移行句(closed or semi−closed transitional phrase)であるものとする。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【国際調査報告】