(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021068145
(43)【公開日】20210430
(54)【発明の名称】頭部装着型表示装置の動作方法および頭部装着型表示装置
(51)【国際特許分類】
   G06F 3/01 20060101AFI20210402BHJP
   G09G 5/00 20060101ALI20210402BHJP
   G09G 5/36 20060101ALI20210402BHJP
   G09G 5/38 20060101ALI20210402BHJP
   H04N 5/66 20060101ALI20210402BHJP
   G02B 27/02 20060101ALI20210402BHJP
   G06F 3/0482 20130101ALI20210402BHJP
   H04N 7/18 20060101ALI20210402BHJP
【FI】
   !G06F3/01 510
   !G09G5/00 510G
   !G09G5/00 550C
   !G09G5/36 520P
   !G09G5/38 Z
   !H04N5/66 Z
   !G02B27/02 Z
   !G06F3/0482
   !H04N7/18 U
【審査請求】未請求
【請求項の数】10
【出願形態】OL
【全頁数】20
(21)【出願番号】2019192542
(22)【出願日】20191023
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
【住所又は居所】東京都新宿区新宿四丁目1番6号
(74)【代理人】
【識別番号】100116665
【弁理士】
【氏名又は名称】渡辺 和昭
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(72)【発明者】
【氏名】工藤 裕介
【住所又は居所】長野県諏訪市大和3丁目3番5号 セイコーエプソン株式会社内
【テーマコード(参考)】
2H199
5C054
5C058
5C182
5E555
【Fターム(参考)】
2H199CA12
2H199CA23
2H199CA25
2H199CA29
2H199CA30
2H199CA42
2H199CA71
2H199CA82
2H199CA92
2H199CA94
2H199CA97
5C054CA05
5C054CC05
5C054CD03
5C054FA07
5C054FD02
5C054FE07
5C054FE12
5C058AA18
5C058AB06
5C058BA35
5C058BB25
5C182AA02
5C182AA03
5C182AA04
5C182AA26
5C182AA31
5C182AB35
5C182AC03
5C182AC13
5C182BA01
5C182BA03
5C182BA06
5C182BA14
5C182BA27
5C182BC43
5C182CA32
5C182CA54
5C182CB12
5C182CB42
5C182CB44
5C182CB52
5C182CB54
5C182CC26
5C182DA14
5C182DA65
5E555AA23
5E555BA29
5E555BA38
5E555BB38
5E555BC01
5E555BE17
5E555CA42
5E555CB33
5E555CC05
5E555DA09
5E555DB07
5E555DB20
5E555DC09
5E555DC23
5E555DC45
5E555FA00
(57)【要約】
【課題】ユーザーの視界に表れる表示画像の位置によって、オブジェクト画像が見え難くなることを抑止可能な技術を提供する。
【解決手段】ユーザーの視界に表れる外景を表す外景光を透過し、オブジェクトを示すオブジェクト画像を表示する表示部を備える頭部装着型表示装置の動作方法は、前記外景の特定領域を撮像装置が撮像することによって生成される撮像データを受け、前記撮像データに基づいて、前記表示部において前記特定領域が表示される特定表示範囲を推定し、前記推定の結果に基づいて、前記表示部における前記オブジェクト画像の位置を決定することを含む。
【選択図】図10
【特許請求の範囲】
【請求項1】
ユーザーの視界に表れる外景を表す外景光を透過し、オブジェクトを示すオブジェクト画像を表示する表示部を備える頭部装着型表示装置の動作方法であって、
前記外景の特定領域を撮像装置が撮像することによって生成される撮像データを受け、
前記撮像データに基づいて、前記表示部において前記特定領域が表示される特定表示範囲を推定し、
前記推定の結果に基づいて、前記表示部における前記オブジェクト画像の位置を決定する、
ことを含む頭部装着型表示装置の動作方法。
【請求項2】
前記表示部における前記オブジェクト画像の位置を、前記特定表示範囲と重ならない位置に決定する、
請求項1に記載の頭部装着型表示装置の動作方法。
【請求項3】
前記表示部に対する前記特定表示範囲の占める割合が閾値に満たない場合、前記表示部における前記オブジェクト画像の位置を、前記特定表示範囲と重ならない位置に決定する、
請求項1に記載の頭部装着型表示装置の動作方法。
【請求項4】
前記表示部に対する前記特定表示範囲の占める割合が前記閾値以上である場合、前記表示部における前記オブジェクト画像の位置を、前記表示部における前記オブジェクト画像の少なくとも一部が前記特定表示範囲と重なる位置に決定する、
請求項3に記載の頭部装着型表示装置の動作方法。
【請求項5】
前記特定領域には、マーカーを示す光が投射され、
前記撮像データに基づく撮像画像における前記マーカーの位置に基づいて、前記表示部における前記特定表示範囲の位置を推定する、
請求項1から4のいずれか1項に記載の頭部装着型表示装置の動作方法。
【請求項6】
前記マーカーは点滅する、
請求項5に記載の頭部装着型表示装置の動作方法。
【請求項7】
前記マーカーの点滅は、60Hz以上の周波数を有する、
請求項6に記載の頭部装着型表示装置の動作方法。
【請求項8】
前記マーカーは、赤外光によって示される、
請求項5に記載の頭部装着型表示装置の動作方法。
【請求項9】
前記特定領域には、操作対象の表示装置によって、表示対象の画像を表す光が投射され、
前記オブジェクトは、前記操作対象の表示装置に対する操作を受ける操作部である、
請求項1から8のいずれか1項に記載の頭部装着型表示装置の動作方法。
【請求項10】
ユーザーの視界に表れる外景を表す外景光を透過し、オブジェクトを示すオブジェクト画像を表示する表示部を、備える頭部装着型表示装置であって、
前記外景の特定領域を撮像装置が撮像することによって生成される撮像データを受ける撮像データ受信部と、
前記撮像データに基づいて、前記表示部において前記特定領域が表示される特定表示範囲を推定する推定部と、
前記推定の結果に基づいて、前記表示部における前記オブジェクト画像の位置を決定する決定部と、
を含む頭部装着型表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部装着型表示装置の動作方法および頭部装着型表示装置に関する。
【背景技術】
【0002】
特許文献1には、表示装置の一例であるプロジェクターを操作可能なPC(Personal Computer)が記載されている。特許文献1に記載されているPCは、プロジェクターを操作するための操作画面を表示する。
また、ユーザーの視界に表れる外景を透過し、オブジェクトを示すオブジェクト画像を表示する表示部を、備える頭部装着型表示装置も知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019−110407号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
プロジェクターを操作するための装置として、特許文献1に記載されているPCの代わりに、頭部装着型表示装置が用いられる場合、頭部装着型表示装置は、特許文献1に記載されている操作画面を、オブジェクト画像として使用する。
このような状況において、頭部装着型表示装置のユーザーが、プロジェクターが表示面に表示している表示画像を見る場合、当該ユーザーの視界に表れる表示画像の位置によっては、オブジェクト画像が見え難くなるおそれがある。
【課題を解決するための手段】
【0005】
本発明に係る頭部装着型表示装置の動作方法の一態様は、ユーザーの視界に表れる外景を表す外景光を透過し、オブジェクトを示すオブジェクト画像を表示する表示部を、備える頭部装着型表示装置の動作方法であって、前記外景の特定領域を撮像装置が撮像することによって生成される撮像データを受け、前記撮像データに基づいて、前記表示部において前記特定領域が表示される特定表示範囲を推定し、前記推定の結果に基づいて、前記表示部における前記オブジェクト画像の位置を決定することを含む。
【0006】
本発明に係る頭部装着型表示装置の一態様は、ユーザーの視界に表れる外景を表す外景光を透過し、オブジェクトを示すオブジェクト画像を表示する表示部を、備える頭部装着型表示装置であって、前記外景の特定領域を撮像装置が撮像することによって生成される撮像データを受ける撮像データ受信部と、前記撮像データに基づいて、前記表示部において前記特定領域が表示される特定表示範囲を推定する推定部と、前記推定の結果に基づいて、前記表示部における前記オブジェクト画像の位置を決定する決定部と、を含む。
【図面の簡単な説明】
【0007】
【図1】第1実施形態に係る表示システム1000を示す図である。
【図2】プロジェクター1の一例を示す図である。
【図3】本体30が備える光学系の構成を示す模式図である。
【図4】制御装置39の一例を示す図である。
【図5】表示画像A1の一例を示す図である。
【図6】右画像QRの一例を示す図である。
【図7】第1重畳画像T1の一例を示す図である。
【図8】右画像QRの比較例である比較画像Hを示す図である。
【図9】右画像QRの代わりに比較画像Hが用いられた場合に生成される第1重畳画像T1aの例を示す図である。
【図10】HMD3における表示の制御動作を示すフローチャートである。
【図11】HMD3によるプロジェクター1の制御動作を示すフローチャートである。
【図12】第1重畳画像T1の例を示す図である。
【図13】マーカーKの他の例を示す図である。
【図14】マーカーKのさらに他の例を示す図である。
【図15】操作画像Rの他の例を含む右画像QRを示す図である。
【図16】表示画像A1が、図15に示す右画像QRに重畳されている第1重畳画像の一例を示す図である。
【図17】図15に示す図の比較例である比較画像H1を示す図である。
【図18】図15に示す図の代わりに比較画像H1が用いられた場合に生成される第1重畳画像の例を示す図である。
【発明を実施するための形態】
【0008】
A:第1実施形態
A1:表示システム1000の概要
図1は、第1実施形態に係る表示システム1000を示す図である。表示システム1000は、プロジェクター1と、HMD(Head Mounted Display)3と、を含む。プロジェクター1は、表示装置、さらに言えば、操作対象の表示装置の一例である。表示装置は、プロジェクターに限らず、ディスプレイ、例えば、FPD(Flat Panel Display)でもよい。FPDは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electro Luminescence)ディスプレイである。
【0009】
プロジェクター1は、画像を投射面4に投射することによって、当該画像を投射面4に表示する。例えば、プロジェクター1は、表示画像A1を投射面4に投射することによって、表示画像A1を投射面4に表示する。表示画像A1は、表示対象の画像の一例である。
表示画像A1は、マーカーKを含む。マーカーKは、表示画像A1の外縁A1aを表す枠状の形状を有する。マーカーKは、外縁A1aから離れていてもよい。マーカーKは、外縁A1aよりも内側に位置する部分を有する。マーカーKは、表示画像A1が位置する範囲を特定するために使用される。マーカーKは、例えば、ユーザーBが知覚可能な態様で示される。
【0010】
投射面4は、例えばスクリーンである。投射面4は、スクリーンに限らず、例えば、壁の一部分、扉またはホワイトボードでもよい。投射面4は、表示面および特定領域の一例である。
【0011】
HMD3は、頭部装着型表示装置である。HMD3は、ユーザーBに装着される。HMD3は、プロジェクター1を制御する。
【0012】
A2.プロジェクター1の一例
図2は、プロジェクター1の一例を示す図である。プロジェクター1は、操作部11と、第1通信部12と、投射部13と、第1記憶部14と、第1処理部15とを含む。
【0013】
操作部11は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。操作部11は、プロジェクター1の筐体に設けられている。操作部11は、ユーザーBの入力操作を受け取る。
【0014】
第1通信部12は、有線または無線で、HMD3、具体的には、後述の図4に示す第2通信部391と通信する。第1通信部12は、例えば、無線LAN(Local Area Network)で第2通信部391と通信する。第1通信部12と第2通信部391との無線通信の通信方式は、無線LANに限らず、他の通信方式、例えば、Bluetoothでもよい。Bluetoothは登録商標である。
【0015】
投射部13は、投射面4に表示画像A1を投射することによって投射面4に表示画像A1を表示する。投射部13は、画像処理部131と、フレームメモリー132と、ライトバルブ駆動部133と、光源134と、赤色用液晶ライトバルブ135Rと、緑色用液晶ライトバルブ135Gと、青色用液晶ライトバルブ135Bと、投射光学系136と、を含む。以下、赤色用液晶ライトバルブ135Rと、緑色用液晶ライトバルブ135Gと、青色用液晶ライトバルブ135Bとを相互に区別する必要がない場合、これらを「液晶ライトバルブ135」と称する。
【0016】
画像処理部131は、単数または複数のイメージプロセッサー等の回路によって構成される。画像処理部131は、例えば、第1処理部15から画像データを受け取る。画像処理部131は、不図示の画像供給装置から画像データを受け取ってもよい。画像供給装置は、例えば、PCである。画像供給装置は、PCに限らず、例えば、タブレット端末、スマートフォン、ビデオ再生装置、DVD(Digital Versatile Disc)プレーヤー、ブルーレイディスクプレーヤー、ハードディスクレコーダー、テレビチューナー装置またはビデオゲーム機でもよい。
【0017】
画像処理部131は、画像データをフレームメモリー132に展開する。フレームメモリー132は、例えば、RAM(Random Access Memory)等の記憶装置によって構成される。画像処理部131は、フレームメモリー132に展開された画像データに画像処理を施すことによって画像信号を生成する。
【0018】
画像処理部131が実行する画像処理は、例えば、投射部13が投射する画像の台形歪みを補正する幾何補正処理を包含する。画像処理部131は、幾何補正処理に加えて、他の画像処理、例えば、解像度変換処理を実行してもよい。解像度変換処理では、画像処理部131は、画像データの解像度を、例えば液晶ライトバルブ135の解像度に変換する。他の画像処理は、解像度変換処理に限らない。他の画像処理は、例えば、画像供給装置から提供される画像データが示す画像にOSD(On Screen Display)画像を重畳するOSD処理でもよい。
【0019】
ライトバルブ駆動部133は、例えば、ドライバー等の回路で構成される。ライトバルブ駆動部133は、画像処理部131から提供される画像信号に基づいて、駆動電圧を生成する。ライトバルブ駆動部133は、駆動電圧を液晶ライトバルブ135に印加することによって、液晶ライトバルブ135を駆動する。
【0020】
光源134は、例えば、LED(light emitting diode)である。光源134は、LEDに限らず、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源でもよい。光源134は、光を射出する。光源134から出射された光は、不図示のインテグレーター光学系に入射する。インテグレーター光学系は、光源134から出射された光における輝度分布のばらつきを低減する。光源134から出射された光は、インテグレーター光学系を通った後、不図示の色分離光学系によって光の3原色である赤色、緑色、青色の色光成分に分離される。赤色の色光成分は、赤色用液晶ライトバルブ135Rに入射する。緑色の色光成分は、緑色用液晶ライトバルブ135Gに入射する。青色の色光成分は、青色用液晶ライトバルブ135Bに入射する。
【0021】
液晶ライトバルブ135は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ135は、マトリクス状に位置する複数の画素135pを含む矩形の画素領域135aを有する。液晶ライトバルブ135では、液晶に対して画素135pごとに、画像信号に基づく駆動電圧が印加される。ライトバルブ駆動部133が、駆動電圧を各画素135pに印加すると、各画素135pは、駆動電圧に基づく光透過率に設定される。光源134から出射される光は、画素領域135aを通ることで変調される。このため、画像信号に基づく画像が色光ごとに形成される。液晶ライトバルブ135は、光変調装置の一例である。
【0022】
各色の画像は、図示しない色合成光学系によって画素135pごとに合成される。よって、カラー画像が生成される。カラー画像は、投射光学系136を介して投射される。投射光学系136は、不図示のレンズシフト機構によって移動される。投射光学系136の移動によって、投射面4における表示画像A1の位置が移動される。投射光学系136の移動によって、投射面4における表示画像A1の位置が移動する機能は「レンズシフト機能」と称さ得る。
【0023】
第1記憶部14は、第1処理部15が読み取り可能な記録媒体である。第1記憶部14は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)またはEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAMである。
【0024】
第1記憶部14は、第1処理部15によって実行される制御プログラムと、第1処理部15が使用する各種のデータと、を記憶する。
【0025】
第1処理部15は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第1処理部15は、単数または複数のCPU(Central Processing Unit)によって構成される。第1処理部15の機能の一部または全部は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等の回路によって実現されてもよい。第1処理部15は、各種の処理を並列的または逐次的に実行する。第1処理部15は、第1記憶部14から制御プログラムを読み取る。第1処理部15は、第1記憶部14から読み取られた制御プログラムを実行することによって種々の動作を実行する。
【0026】
A3.HMD3の一例
図1に戻って、HMD3は、本体30と、操作入力部300と、を含む。操作入力部300は、接続コード3000を介して本体30と電気的に接続する。操作入力部300は、有線ではなく無線で本体30と電気的に接続してもよい。操作入力部300は、例えば、携帯型の操作パネルである。操作入力部300は、ユーザーBの操作を受ける。操作入力部300は、ユーザーBの操作に基づく操作データを、本体30に出力する。
【0027】
本体30は、ユーザーBの頭部Cに装着される眼鏡型ウェラブル装置である。本体30は、眼鏡型ウェラブル装置に限らない。本体30は、ユーザーBの頭部Cに装着される装置であればよい。
【0028】
A4.本体30の一例
図3は、本体30が備える光学系の構成を示す模式図である。以下、図1および図3を参照して、本体30について説明する。本体30は、右保持部31と、左保持部32と、フレーム33と、右表示ユニット34と、右導光板35と、左表示ユニット36と、左導光板37と、カメラ38と、制御装置39と、を有する。
【0029】
右保持部31は、フレーム33の右端部33aから本体30の後方に延伸する。左保持部32は、フレーム33の左端部33bから本体30の後方に延伸する。
【0030】
右表示ユニット34は、右目用の画像光NRを出力する。以下、右目用の画像光NRを「右画像光NR」と称する。後述する図6に例示されるように、右画像光NRが示す右画像QRは、第1操作画像R1と第2操作画像R2を含む。以下、第1操作画像R1と第2操作画像R2を相互に区別する必要がない場合、これらを「操作画像R」と称する。右画像QRおよび操作画像Rは、それぞれ、図6に示す画像に限らず適宜変更可能である。
【0031】
第1操作画像R1は、第1操作部E1と、第2操作部E2と、第3操作部E3と、を示す。第2操作画像R2は、第4操作部F1と、第5操作部F2と、第6操作部F3と、第7操作部F4と、を示す。第1操作部E1と、第2操作部E2と、第3操作部E3と、第4操作部F1と、第5操作部F2と、第6操作部F3と、第7操作部F4との詳細については後述する。第1操作部E1と、第2操作部E2と、第3操作部E3と、第4操作部F1と、第5操作部F2と、第6操作部F3と、第7操作部F4とを相互に区別する必要がない場合、これらを「操作部E」と称する。
【0032】
操作部Eは、プロジェクター1に対する操作を受ける。操作部Eの形状は、図6に示される形状に限らず適宜変更可能である。操作部Eの数は、図6に示される数に限らず適宜変更可能である。操作部Eは、オブジェクトの一例である。操作画像Rは、オブジェクト画像の一例である。
【0033】
右表示ユニット34は、図3に例示されるように、右画像出力部34aと、右光学系34bと、を含む。右画像出力部34aは、例えば、OLED(Organic Light Emitting Diode)である。OLEDは、有機ELディスプレイとも称される。右画像出力部34aは、OLEDに限らず、例えば、バックライト付きの液晶ディスプレイ、または、プラズマディスプレイでもよい。右画像出力部34aは、右画像光NRを出力する。右光学系34bは、右画像出力部34aから出力される右画像光NRを並行状態の光束にするコリメートレンズを有する。右画像光NRは、並行状態の光束にされた後、右導光板35へ出力される。
【0034】
右導光板35は、例えば、プリズムである。右導光板35は、表示部の一例である。右導光板35は、ユーザーBの視界に表れる外景を表す外景光を透過し、オブジェクトを示すオブジェクト画像を表示する。
右導光板35は、右画像光NRをユーザーBの右眼D1に導く。右導光板35は、さらに、第1外景光M1をユーザーBの右眼D1に導く。第1外景光M1は、ユーザーBの視界に表れる外景を表す。第1外景光M1が表す外景は、「右画像光NRがユーザーBの右眼D1に入射されていない状況においてユーザーBの右眼D1の視界に映る風景」とも称され得る。また、第1外景光M1が表す外景は、「右画像光NRがユーザーBの右眼D1に入射されていない状況においてユーザーBの右眼D1の視界に映る景色」とも称され得る。右導光板35は、右画像光NRを第1外景光M1と重ねることによって第1重畳光P1を生成する。右導光板35は、第1重畳光P1をユーザーBの右眼D1に導く。第1重畳光P1は、後述する図7に例示されるような第1重畳画像T1を示す。
【0035】
左表示ユニット36は、左目用の画像光NLを出力する。以下、左目用の画像光NLを「左画像光NL」と称する。左画像光NLが示す左画像QLは、右画像QRに対して両眼視差に基づく変更を施すことによって生成される画像である。よって、右画像光NRがユーザーBの右眼D1に入射され、左画像光NLがユーザーBの左眼D2に入射されると、ユーザーBは、右画像QRに含まれる操作画像Rと、左画像QLに含まれる操作画像Rとを、共通の操作画像Rとして視認する。
【0036】
左表示ユニット36は、左画像出力部36aと、左光学系36bと、を含む。左画像出力部36aは、例えば、OLEDである。左画像出力部36aは、OLEDに限らず、例えば、バックライト付きの液晶ディスプレイ、または、プラズマディスプレイでもよい。左画像出力部36aは、左画像光NLを出力する。左光学系36bは、左画像出力部36aから出力される左画像光NLを並行状態の光束にするコリメートレンズを有する。左画像光NLは、並行状態の光束にされた後、左導光板37へ出力される。
【0037】
左導光板37は、例えば、プリズムである。左導光板37は、表示部の他の例である。左導光板37は、ユーザーBの視界に表れる外景を表す外景光を透過し、オブジェクトを示すオブジェクト画像を表示する。
左導光板37は、左画像光NLをユーザーBの左眼D2に導く。左導光板37は、さらに、第2外景光M2をユーザーBの左眼D2に導く。第2外景光M2は、ユーザーBの視界に表れる外景を表す。第2外景光M2が表す外景は、「左画像光NLがユーザーBの左眼D2に入射されていない状況においてユーザーBの左眼D2の視界に映る風景」とも称され得る。また、第2外景光M2が表す外景は、「左画像光NLがユーザーBの左眼D2に入射されていない状況においてユーザーBの左眼D2の視界に映る景色」とも称され得る。左導光板37は、左画像光NLを第2外景光M2と重ねることによって第2重畳光P2を生成する。左導光板37は、第2重畳光P2をユーザーBの左眼D2に導く。
【0038】
このため、ユーザーBは、本体30を装着する場合、外景と右画像光NRと左画像光NLとを視認可能である。
【0039】
図1に示されるカメラ38は、撮像装置の一例である。カメラ38は、レンズ等の受光光学系と、受光光学系によって集光される光を電気信号に変換する撮像素子と、を含む。撮像素子は、例えば、赤外領域および可視光領域の光を受光するCCD(Charge Coupled Device)イメージセンサーである。撮像素子は、CCDイメージセンサーに限らず、例えば、赤外領域および可視光領域の光を受光するCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーでもよい。
【0040】
カメラ38は、フレーム33に設けられる。カメラ38は、本体30の前方を撮像対象領域とする。このため、本体30が眼鏡のようにユーザーBに装着される場合、カメラ38は、ユーザーBの視界の少なくとも一部を撮像対象領域とする。このため、カメラ38は、右導光板35および左導光板37を透過してユーザーBによって視認される外景の特定領域を撮像する。
カメラ38は、撮像対象領域を撮像することによって撮像データを生成する。撮像データは、撮像対象領域を表す撮像画像を示す。本実施形態では、撮像画像の中心が、ユーザーBの視界の中心と一致するように、カメラ38がフレーム33に配置されている。カメラ38は、右導光板35と右保持部31との間に位置する。カメラ38の位置は、右導光板35と右保持部31との間に限らない。例えば、カメラ38の位置は、右導光板35と左導光板37との間、または、左導光板37と左保持部32との間でもよい。また、カメラ38は、右保持部31に設けられてもよいし、左保持部32に設けられてもよい。このような位置にカメラ38が配置される場合でも、撮像画像の中心が、ユーザーBの視界の中心と一致することが望ましい。なお、撮像画像の中心が、ユーザーBの視界の中心と異なってもよい。
また、カメラ38は、HMD3に含まれなくてもよい。この場合、外部装置となるカメラ38は、例えば、HMD3に装着される。
【0041】
制御装置39は、左保持部32に設けられる。制御装置39は、左保持部32ではなく、フレーム33に設けられてもよい。また、制御装置39は、右保持部31に設けられてもよい。制御装置39は、カメラ38から撮像データを受ける。制御装置39は、操作入力部300から操作データを受ける。制御装置39は、撮像データと操作データとを用いて、プロジェクター1を制御する。
【0042】
A5.制御装置39の一例
図4は、制御装置39の一例を示す図である。制御装置39は、第2通信部391と、第2記憶部392と、第2処理部393と、を含む。
【0043】
第2通信部391は、プロジェクター1と通信する。具体的には、第2通信部391は、第1通信部12と通信する。
【0044】
第2記憶部392は、第2処理部393が読み取り可能な記録媒体である。第2記憶部392は、例えば、不揮発性メモリーと揮発性メモリーとを含む。
【0045】
第2記憶部392は、第2処理部393によって実行される制御プログラムと、第2処理部393が使用する各種のデータと、を記憶する。第2記憶部392に記憶される制御プログラムは「アプリケーションプログラム」または「アプリケーションソフトウェア」とも称され得る。
【0046】
第2処理部393は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第2処理部393は、単数または複数のCPUによって構成される。第2処理部393の機能の一部または全部は、DSP、ASIC、PLD、FPGA等の回路によって実現されてもよい。第2処理部393は、各種の処理を並列的または逐次的に実行する。
【0047】
第2処理部393は、第2記憶部392から制御プログラムを読み取る。第2処理部393は、第2記憶部392から読み取られた制御プログラムを実行することによって、撮像データ受信部394と、推定部395と、決定部396と、表示制御部397と、操作制御部398と、を実現する。
【0048】
撮像データ受信部394は、カメラ38から画像データを受ける。撮像データ受信部394は、例えば、画像レシーバーまたは画像受信回路等の回路によって構成されてもよい。撮像データ受信部394は、画像データが入力される入力端子によって構成されてもよい。
【0049】
推定部395は、撮像データに基づいて、ユーザーBの視界において、具体的には、右導光板35と左導光板37との各々において、表示画像A1が位置する範囲を推定する。
【0050】
例えば、推定部395は、以下のように、右導光板35と左導光板37との各々において表示画像A1が位置する範囲を推定する。表示画像A1が位置する範囲は、特定表示範囲の一例である。
なお、推定部395は、例えば、プロセッサーまたは推定回路等の回路によって構成されてもよい。
【0051】
決定部396は、推定部395が実行する推定の結果に基づいて、右導光板35における操作画像Rの位置と、左導光板37における操作画像Rの位置と、を決定する。
【0052】
例えば、決定部396は、推定部395が実行する推定の結果に基づいて、右画像QRにおける操作画像Rの位置と、左画像QLにおける操作画像Rの位置と、を決定する。
なお、決定部396は、例えば、プロセッサーまたは決定回路等の回路によって構成されてもよい。
【0053】
表示制御部397は、右画像出力部34aと、左画像出力部36aと、を制御する。表示制御部397は、右画像QRを示す右画像データを生成する。右画像QRでは、決定部396が決定した位置に操作画像Rが位置する。表示制御部397は、右画像データを右画像出力部34aに出力する。右画像出力部34aは、右画像データによって示される右画像QRを示す右画像光NRを出力する。
【0054】
表示制御部397は、左画像QLを示す左画像データを生成する。左画像QLでは、決定部396が決定した位置に操作画像Rが位置する。表示制御部397は、左画像データを左画像出力部36aに出力する。左画像出力部36aは、左画像データによって示される左画像QLを示す左画像光NLを出力する。なお、表示制御部397は、例えば、表示コントローラーまたは表示制御回路等の回路によって構成されてもよい。
【0055】
操作制御部398は、第2通信部391を用いてプロジェクター1を制御する。操作制御部398は、操作入力部300から操作データを受ける。操作制御部398は、第2通信部391に、操作データに基づく操作信号をプロジェクター1へ送信させる。例えば、操作部Eとして、画像の明るさを調整するための操作部が用いられている状況において、操作データが、操作部Eに対する操作を示す場合、操作制御部398は、第2通信部391に、画像の明るさを調整する操作信号をプロジェクター1へ送信させる。換言すると、第2通信部391は、操作データに基づく操作信号をプロジェクター1に送信する。
操作制御部398は、例えば、プロセッサーまたは操作制御回路等の回路によって構成されてもよい。
【0056】
A6.表示画像A1の一例
図5は、表示画像A1の一例を示す図である。表示画像A1は、格子画像A2とマーカーKとを含む。格子画像A2は、表示画像A1における操作対象部分を指定するために用いられる。例えば、格子画像A2における交点A3が、ユーザーBによって、操作対象部分として指定される。
【0057】
A7.右画像QRの一例
図6は、右画像QRの一例を示す図である。図6に示す右画像QRでは、右画像QRの理解を容易にするために、領域A4が示されている。なお、実際の右画像QRには、領域A4は示されない。領域A4は、第1重畳画像T1において表示画像A1と重なる。操作画像Rは、右画像QRのうち、領域A4とは異なる領域に位置する。また、右画像QRは、表示画像A1を表す操作部Eを有しない。
第1操作部E1は、図5に示す格子画像A2を緑色にする操作を受ける。第2操作部E2は、格子画像A2を赤色にする操作を受ける。第3操作部E3は、格子画像A2を青色にする操作を受ける。第4操作部F1は、操作対象部分を上に移動することによって表示画像A1の形状を変更する操作を受ける。第5操作部F2は、操作対象部分を下に移動することによって表示画像A1の形状を変更する操作を受ける。第6操作部F3は、操作対象部分を右に移動することによって表示画像A1の形状を変更する操作を受ける。第7操作部F4は、操作対象部分を左に移動することによって表示画像A1の形状を変更する操作を受ける。
【0058】
A8.第1重畳画像の一例
図7は、第1重畳画像T1の一例を示す図である。図7に示す第1重畳画像T1では、図5に示す表示画像A1が、図6に示す右画像QRに重畳されている。図7では、説明の簡略化のため、マーカーKが省略されている。第1重畳画像T1では、操作画像Rは、表示画像A1と重ならない。
【0059】
A9.比較例
図8は、右画像QRの比較例である比較画像Hを示す図である。比較画像Hは、表示画像A1を表す追加の操作部Jを有する点、および、領域A4に画像、具体的には追加の操作部Jが位置する点において、右画像QRと異なる。図9は、右画像QRの代わりに比較画像Hが用いられた場合に生成される第1重畳画像T1aの例を示す図である。図9に例示されるように、第1重畳画像T1aでは、追加の操作部Jが表示画像A1と重なってしまう。
【0060】
A10.HMD3における表示の制御
図10は、HMD3における表示の制御動作を示すフローチャートである。以下、ユーザーBが本体30を頭部Cに装着しているとする。ユーザーBが、プロジェクター1を操作するために操作開始指示を操作入力部300に入力すると、第2処理部393は、第2記憶部392から制御プログラムを読み取り、当該制御プログラムを実行する。このため、第2処理部393は、撮像データ受信部394と、推定部395と、決定部396と、表示制御部397と、操作制御部398とを実現する。
【0061】
ステップS101では、操作制御部398は、カメラ38に撮像を開始させる。ユーザーBが本体30を頭部Cに装着しているため、カメラ38は、ユーザーBの視界の少なくとも一部を撮像対象領域とする。カメラ38は、撮像データを制御装置39に送信する。
【0062】
続いて、ステップS102において撮像データ受信部394は、カメラ38から撮像データを受信する。撮像データ受信部394は、撮像データを推定部395に出力する。
【0063】
続いて、ステップS103において推定部395は、撮像データがマーカーKを表すか否かを判断する。なお、ステップS103では、推定部395は、撮像データがマーカーKを表す状況が1秒以上継続するか否かを判断してもよい。この場合、例えば、ユーザーBが頭部Cの向きを変えている間に偶然に撮像された画像に含まれるマーカーKを除外することが可能になる。よって、ユーザーBが意図的に目視しているマーカーKが存在するか否かを判断可能になる。ここで、1秒は所定時間の一例である。所定時間は1秒より長くてもよい。所定時間は1秒より短くてもよい。
【0064】
ステップS103において撮像データがマーカーKを表す場合、ステップS104において推定部395は、撮像データが示す撮像画像において、マーカーKの位置する範囲を第1範囲として特定する。
【0065】
続いて、ステップS105において推定部395は、ユーザーBの視界において、具体的には、右導光板35と左導光板37との各々において、表示画像A1が位置する範囲を推定する。
例えばステップS105では、推定部395は、まず、撮像画像のうち第1範囲によって囲まれる範囲を第2範囲として特定する。
続いて、推定部395は、撮像画像のうち、第1範囲と第2範囲とを加算することによって特定される範囲を、撮像画像において表示画像A1が位置する範囲として特定する。
続いて、推定部395は、撮像画像において表示画像A1が位置する範囲を、右導光板35と左導光板37との各々において表示画像A1が位置する範囲と推定する。この場合、推定部395は、撮像画像が示される範囲を、ユーザーBの視界とみなす。
推定部395は、推定の結果を決定部396に出力する。
【0066】
続いて、ステップS106において決定部396は、操作画像Rの位置を決定する。
例えばステップS106では、決定部396は、右画像QRにおける操作画像Rの位置と、左画像QLにおける操作画像Rの位置と、を決定する。
【0067】
一例を挙げると、決定部396は、OLED等で構成される右画像出力部34aの画像出力領域を、ユーザーBの視界とみなす。右画像出力部34aの画像出力領域は、右画像出力部34aにおける画素領域である。
そして、決定部396は、推定部395による推定の結果を、すなわち、ユーザーBの視界において表示画像A1が位置する範囲を、表示画像領域として、右画像出力部34aの画像出力領域に設定する。
続いて、決定部396は、右画像出力部34aの画像出力領域のうち、表示画像領域とは異なる領域を、候補領域として決定する。
続いて、決定部396は、候補領域に含まれる位置を、右画像QRにおける操作画像Rの位置として決定する。
【0068】
さらに言えば、決定部396は、候補領域のうち、表示画像領域を基準に予め規定される位置を、右画像QRにおける操作画像Rの位置として決定する。
なお、表示画像領域を基準に予め規定される位置を示す位置規定情報が、例えば、第2記憶部392に、操作画像Rごとに予め記憶されていてもよい。この場合、決定部396は、位置規定情報を用いて、表示画像領域を基準に予め規定される位置を、右画像QRにおける操作画像Rの位置として、操作画像Rごとに決定する。
決定部396は、左画像QLにおける操作画像Rの位置を、左画像QLにおける操作画像Rの位置と同様に決定する。
決定部396は、決定の結果を表示制御部397に出力する。
【0069】
続いて、表示制御部397は、右画像QRを示す右画像データを生成する。右画像QRには、決定部396が決定した位置に操作画像Rが位置する。
さらに、表示制御部397は、左画像QLを示す左画像データを生成する。左画像QLには、決定部396が決定した位置に操作画像Rが位置する。
表示制御部397は、右画像データを右画像出力部34aに出力する。表示制御部397は、左画像データを左画像出力部36aに出力する。
【0070】
続いて、ステップS107において、右画像出力部34aは、右画像データによって示される右画像QRを表す右画像光NRを出力する。さらに、ステップS107では、左画像出力部36aは、左画像データによって示される左画像QLを表す左画像光NLを出力する。
【0071】
右画像光NRは、右光学系34bを介して右導光板35に入射する。右導光板35は、右画像光NRを第1外景光M1に重畳することによって第1重畳光P1を生成する。右導光板35は、第1重畳光P1をユーザーBの右眼D1に向けて射出する。
【0072】
左画像光NLは、左光学系36bを介して左導光板37に入射する。左導光板37は、左画像光NLを第2外景光M2に重畳することによって第2重畳光P2を生成する。左導光板37は、第2重畳光P2をユーザーBの左眼D2に向けて射出する。
【0073】
このため、ユーザーBは、第1重畳光P1と第2重畳光P2によって、表示画像A1と操作部Eとを視認する。例えば、ユーザーBは、図7に例示されるような、画像を視認する。
【0074】
続いて、ステップS108において操作入力部300が終了指示を受けない場合、処理がステップS102に戻る。
【0075】
一方、ステップS108において操作入力部300が終了指示を受ける場合、ステップS109において操作制御部398は、カメラ38に撮像を終了させる。
【0076】
なお、ステップS103において撮像データがマーカーKを表さない場合、処理はステップS108に進む。
【0077】
A11.プロジェクター1の制御
図11は、HMD3によるプロジェクター1の制御動作を示すフローチャートである。右画像出力部34aが右画像光NRを出力し、左画像出力部36aが左画像光NLを出力している状況において、操作入力部300が、ユーザーBによる操作部Eへの操作を受けると、操作入力部300は、ユーザーBによって操作された操作部Eを特定するための操作データを本体30に出力する。
【0078】
ステップS201において操作制御部398が、操作入力部300から操作データを受けると、ステップS202において操作制御部398は、操作データに基づく操作信号をプロジェクター1に送信する。
例えば、図6に示す第2操作部E2が操作データよって特定される場合、操作制御部398は、図5に示す格子画像A2を赤色にすることを指示する操作信号をプロジェクター1に送信する。
プロジェクター1では、第1通信部12が操作信号を受信すると、第1処理部15は、操作信号が示す指示にしたがって、赤色の格子画像A2が含まれる表示画像A1を示す画像データを投射部13に出力する。このため、投射部13は、赤色の格子画像A2が含まれる表示画像A1を投射面4に投射する。
【0079】
A12.第1実施形態についてのまとめ
上述の本実施形態に係るHMD3の動作方法およびHMD3は以下の態様を含む。
【0080】
右導光板35は、ユーザーBの視界に表れる外景を透過する。右導光板35は、さらに、操作部Eを示す操作画像Rを表示する。撮像データ受信部394は、カメラ38が投射面4に表示される表示画像A1を撮像することによって生成する撮像データを受ける。推定部395は、撮像データに基づいて、右導光板35において表示画像A1が位置する範囲を推定する。決定部396は、推定部395が実行する推定の結果に基づいて、右導光板35における操作画像Rの位置を決定する。
この態様によれば、表示画像A1の位置によって、操作画像Rの位置が決定される。このため、表示画像A1によって、操作画像Rが見え難くなることを抑制できる。
【0081】
決定部396は、右導光板35における操作画像Rの位置として、表示画像A1が位置する範囲と重ならない位置を決定する。
この態様によれば、操作画像Rは表示画像A1と重ならない。このため、表示画像A1によって操作画像Rが見え難くなることを抑制できる。
【0082】
表示画像A1は、マーカーKを含む。推定部395は 撮像データに表されるマーカーKの位置に基づいて、右導光板35における表示画像A1が位置する範囲を推定する。
この態様によれば、マーカーKを用いることによって、表示画像A1が位置する範囲を容易に推定することが可能になる。
【0083】
表示画像A1は、プロジェクター1によって投射面4に表示される。右画像QRに示される操作部Eは、プロジェクター1に対する操作を受ける。
この態様によれば、ユーザーBは、プロジェクター1によって実際に投射面4に表示される表示画像A1を見ながら、操作部Eを容易に利用できるため、プロジェクター1を容易に操作できる。
【0084】
B.変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
【0085】
B1.第1変形例
第1実施形態において、決定部396は、右導光板35に対する表示画像A1の占める割合が閾値に満たない場合、右導光板35における操作画像Rの位置として、表示画像A1が位置する範囲と重ならない位置を決定してもよい。
閾値は、例えば、固定値である。固定値の一例として「0.7」が挙げられる。固定値は「0.7」に限らない。固定値は、「0.7」より大きくてもよいし、「0.7」より小さくてもよい。閾値として固定値が用いられる場合、決定部396は、操作画像Rが右画像QRおよび左画像QLの各々に納まるように、操作画像Rの大きさを変更してもよい。
なお、閾値は、固定値でなくてもよい。例えば、閾値は、ユーザーBの視界に対してデフォルトの操作画像Rが占める割合でもよい。この場合、操作画像Rをデフォルトの大きさとしても、操作画像Rの全体をユーザーBに視認させることができる。
この態様によれば、表示画像A1と重なることなく、操作画像Rを例えば視認可能な大きさでユーザーBに視認させることができる。
【0086】
また、第1変形例において、右導光板35に対する表示画像A1の占める割合が閾値以上である場合、決定部396は、右導光板35における操作画像Rの位置として、右導光板35における操作画像Rの少なくとも一部が表示画像A1の位置する範囲と重なる位置を決定してもよい。
図12は、決定部396が、右導光板35における操作画像Rの位置として、右導光板35における操作画像Rの少なくとも一部が表示画像A1の位置する範囲と重なる位置を決定した場合の第1重畳画像T1の例を示す図である。
この場合、操作画像Rが小さくなり過ぎることを抑制できる。
【0087】
B2.第2変形例
第1実施形態および第1変形例において、マーカーKは点滅してもよい。具体的には、プロジェクター1は、表示画像A1においてマーカーKを点滅させてもよい。この時、マーカーKが表示されていない期間に、画像供給装置から画像処理部131が受け取った画像データに応じた画像を、プロジェクター1が表示するようにしてもよい。この場合、推定部395は、撮像データに表される点灯中のマーカーKの位置に基づいて、ユーザーBの視界において表示画像A1が位置する範囲を推定する。
この態様によれば、ユーザーBにとっては不要なマーカーKが間欠的に表示されなくなっても、表示画像A1が位置する範囲を推定することが可能になる。
ここで、マーカーKの点滅は、60Hz以上の周波数、例えば120Hzの周波数を有することが望ましい。人は、60Hz以上の周波数を有する輝度の変化を認識できない。このため、マーカーKの点滅が、60Hz以上の周波数を有する場合、マーカーKの点滅がユーザーBに視認されることなく、推定部395は、表示画像A1が位置する範囲を推定できる。
また、マーカーKが点滅しているため、マーカーKが点滅しない構成に比べて、マーカーKを目立ち難くすることができる。
【0088】
B3.第3変形例
第1実施形態および第1〜第2変形例において、マーカーKは赤外光によって示されてもよい。この場合、推定部395は、撮像データに表される赤外光の位置に基づいて、表示画像A1が位置する範囲を推定する。
この態様によれば、ユーザーBにとっては不要なマーカーKがユーザーBに視認されない。さらに、推定部395は、ユーザーBには視認されない赤外光を用いて、ユーザーBの視界において表示画像A1が位置する範囲を推定できる。この態様では、カメラ38は、可視光を透過せずに赤外光を透過する赤外光フィルターを介して撮像を行うことが好ましい。
【0089】
B4.第4変形例
第1実施形態および第1〜第3変形例において、マーカーKの形状は、図5に示す形状に限らない。
図13は、マーカーKの他の例を示す図である。図13に示すマーカーKは、L字型の4つのマーカーK1〜K4によって構成される。マーカーK1〜K4は、それぞれ、赤等の第1色を有する。マーカーK1〜K4の外縁部分には、第1色とは異なる第2色の枠が設けられている。第1色が赤である場合、第2色は、例えば黒である。第1色と第2色との組合せは、赤と黒の組合せに限らず適宜変更可能である。
マーカーK1〜K4は、それぞれ、第1色の部分と第2色の部分とによって識別可能である。このため、表示画像A1のうち、マーカーK1〜K4のいずれとも異なる部分が、第1色であっても、推定部395は、第2色の枠によって、マーカーK1〜K4の各々を識別できる。また、表示画像A1のうち、マーカーK1〜K4のいずれとも異なる部分が、第2色であっても、推定部395は、第1色の部分によって、マーカーK1〜K4の各々を識別できる。なお、第2色の枠は省略されてもよい。
【0090】
マーカーK1〜K4は、表示画像A1の4つの角に1つずつ配置されている。この場合、推定部395は、まず、撮像データに示されるマーカーK1〜K4の各々の位置、例えば、重心位置を特定する。続いて、推定部395は、マーカーK1〜K4の各々の位置を頂点とする四角形を、表示画像A1として決定する。なお、推定部395は、当該四角形を所定数倍することによって生成される四角形を、表示画像A1として決定してもよい。所定数倍は、例えば、1.05倍である。所定数倍は、1.05倍に限らず適宜変更可能である。
【0091】
図14は、マーカーKのさらに他の例を示す図である。図14に示すマーカーKは、矩形の4つのマーカーL1〜L4によって構成される。マーカーL1〜L4は、それぞれ、第1色を有する。マーカーL1〜L4の外縁部分には、第2色の枠が設けられている。マーカーL1〜L4は、それぞれ、第1色の部分と第2色の部分とによって識別可能である。なお、第2色の枠は省略されてもよい。
【0092】
マーカーL1〜L4は、表示画像A1の4つの角に1つずつ配置されている。この場合、推定部395は、まず、撮像データに示されるマーカーL1〜L4の各々の位置、例えば、重心位置を特定する。続いて、推定部395は、マーカーL1〜L4の各々の位置を頂点とする四角形を、表示画像A1として決定する。推定部395は、当該四角形を所定数倍することによって生成される四角形を、表示画像A1として決定してもよい。
【0093】
B5.第5変形例
第1実施形態および第1〜第4変形例において、操作画像Rは、図6に示す形状に限らない。
図15は、操作画像Rの他の例を含む右画像QRを示す図である。図15に示す右画像QRは、第2操作画像R2と、第3操作画像R3と、を示す。第3操作画像R3は、プロジェクター1におけるレンズシフト機能によって表示画像A1を移動できる範囲F5を示す。
図16は、表示画像A1が、図15に示す右画像QRに重畳されている第1重畳画像の一例を示す図である。図16に示す例においても、操作画像Rは、表示画像A1と重ならない。
図17は、図15に示す図の比較例である比較画像H1を示す図である。比較画像H1は、表示画像A1を表す追加の操作部J1を有する点、および、領域A4に画像、具体的には追加の操作部Jが位置する点において、図15に示す図と異なる。
図18は、図15に示す図の代わりに比較画像H1が用いられた場合に生成される第1重畳画像の例を示す図である。図18に例示され第1重畳画像では、追加の操作部J1が表示画像A1と重なる。
【0094】
B6.第6変形例
第1実施形態および第1〜第5変形例において、制御装置39は、本体30とは異なる装置、例えばPCに設けられてもよい。この場合、本体30の軽量化を図ることができる。
【0095】
B7.第7変形例
第1実施形態および第1〜第6変形例において、プロジェクター1における光変調装置の一例として液晶ライトバルブ135が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、3枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、1枚の液晶パネルを用いた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として1枚のみの液晶パネルまたはDMDが用いられる場合、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源134が発した光を変調可能な構成は、光変調装置として採用できる。
【0096】
B8.第8変形例
第1実施形態および第1〜第7変形例において、表示装置としてFPDが用いられる場合、FPDは、電子黒板または電子会議システムに用いられているFPDでもよい。
【符号の説明】
【0097】
1…プロジェクター、3…HMD、30…本体、38…カメラ、39…制御装置、300…操作入力部、391…第2通信部、392…第2記憶部、393…第2処理部、394…撮像データ受信部、395…推定部、396…決定部、397…表示制御部、398…操作制御部、1000…表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】