(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021068144
(43)【公開日】20210430
(54)【発明の名称】表示装置の制御方法および制御装置
(51)【国際特許分類】
   G06F 3/01 20060101AFI20210402BHJP
   H04N 5/74 20060101ALI20210402BHJP
   G09G 5/00 20060101ALI20210402BHJP
   G09G 5/10 20060101ALI20210402BHJP
   H04Q 9/00 20060101ALI20210402BHJP
【FI】
   !G06F3/01 510
   !H04N5/74 Z
   !G09G5/00 550C
   !G09G5/00 510G
   !G09G5/00 510H
   !G09G5/00 550B
   !G09G5/10 Z
   !H04Q9/00 331A
   !G09G5/00 510V
【審査請求】未請求
【請求項の数】10
【出願形態】OL
【全頁数】17
(21)【出願番号】2019192541
(22)【出願日】20191023
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
【住所又は居所】東京都新宿区新宿四丁目1番6号
(74)【代理人】
【識別番号】100116665
【弁理士】
【氏名又は名称】渡辺 和昭
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(72)【発明者】
【氏名】工藤 裕介
【住所又は居所】長野県諏訪市大和3丁目3番5号 セイコーエプソン株式会社内
【テーマコード(参考)】
5C058
5C182
5E555
5K048
【Fターム(参考)】
5C058AB07
5C058BA18
5C058BA25
5C058BA27
5C058EA02
5C058EA03
5C058EA13
5C058EA26
5C182AA02
5C182AA03
5C182AA04
5C182AA26
5C182AA31
5C182AB01
5C182AB02
5C182AB08
5C182AB14
5C182AB35
5C182AC03
5C182AC13
5C182AC46
5C182BA01
5C182BA03
5C182BA06
5C182BA14
5C182BA68
5C182BB12
5C182BB14
5C182BC03
5C182BC22
5C182BC25
5C182BC26
5C182CA02
5C182CB54
5C182DA14
5C182DA44
5C182DA65
5E555AA04
5E555BA29
5E555BB04
5E555BB38
5E555BC01
5E555CA21
5E555CA42
5E555CB65
5E555CC01
5E555CC03
5E555DA08
5E555EA22
5E555FA00
5K048AA14
5K048BA02
5K048DA02
5K048DB01
5K048DC01
5K048EB02
5K048FB15
(57)【要約】
【課題】操作対象装置を決定するためのユーザーの手間を軽減可能な技術を提供する。
【解決手段】制御装置が実行する表示装置の制御方法は、前記表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受け、前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定し、前記ユーザーの操作に基づく操作信号を前記操作対象装置に送信する。
【選択図】図7
【特許請求の範囲】
【請求項1】
制御装置が実行する表示装置の制御方法であって、
前記表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受け、
前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定し、
前記ユーザーの操作に基づく操作信号を前記操作対象装置に送信する、
ことを含む表示装置の制御方法。
【請求項2】
前記撮像装置は、前記ユーザーの頭部に装着される装置に設けられる、
請求項1に記載の表示装置の制御方法。
【請求項3】
前記制御装置は、前記ユーザーの頭部に装着される装置に設けられる、
請求項1に記載の表示装置の制御方法。
【請求項4】
前記撮像装置および前記制御装置は、前記ユーザーの頭部に装着される装置に設けられる、
請求項1に記載の表示装置の制御方法。
【請求項5】
前記識別画像のうち、前記識別情報に割り当てられている部分における輝度は、前記識別情報に基づいて、時間経過に伴い変化し、
前記撮像データに含まれる情報のうち、前記時間経過に伴う前記輝度の変化によって示される情報を、前記識別情報として用いる、
請求項1から4のいずれか1項に記載の表示装置の制御方法。
【請求項6】
前記時間経過に伴う前記輝度の変化は、60Hz以上の周波数を有する、
請求項5に記載の表示装置の制御方法。
【請求項7】
前記識別画像のうち、前記識別情報に割り当てられている部分は、前記識別情報を示す赤外光を含み、
前記撮像データに含まれる情報のうち、前記赤外光によって示される情報を、前記識別情報として用いる、
請求項1から4のいずれか1項に記載の表示装置の制御方法。
【請求項8】
さらに、決定結果出力装置に前記操作対象装置の決定結果を前記ユーザーへ伝えさせる、
請求項1から7のいずれか1項に記載の表示装置の制御方法。
【請求項9】
前記識別情報を第1識別情報とする際に、前記第1識別情報に加えて前記表示装置とは異なる表示装置を識別する第2識別情報が前記撮像データに含まれると、
前記撮像データが示す撮像画像における前記第1識別情報の位置から、前記撮像画像の所定位置までの距離が、前記撮像画像における前記第2識別情報の位置から、前記撮像画像の前記所定位置までの距離よりも短い場合に、前記撮像データに含まれる前記第1識別情報が示す表示装置を、前記操作対象装置として決定する、
請求項1から8のいずれか1項に記載の表示装置の制御方法。
【請求項10】
表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受ける画像受信部と、
前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定する決定部と、
前記ユーザーの操作に基づく操作信号を前記操作対象装置に送信する通信部と、
を含む制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置の制御方法および制御装置に関する。
【背景技術】
【0002】
特許文献1には、表示装置の一例であるプロジェクターを、ユーザーの操作に基づいて操作対象装置として決定するPC(Personal Computer)が記載されている。
特許文献1に記載のPCは、操作対象装置の候補となる複数のプロジェクターをPCの表示部に表示する。ユーザーは、PCの操作部を操作することによって、複数の操作対象装置の候補の中から操作対象装置を決定する。続いて、ユーザーは、PCの操作部を操作することによって、操作対象装置に対する操作指示をPCに入力する。PCは、操作指示に応じた操作信号、例えば、テストパターンの表示を指示するコマンドを、操作対象装置に送信する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019−110407号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のPCが用いられる場合、ユーザーは、操作対象装置の候補から操作対象装置を決定するために、PCの操作部を操作する必要があり、手間がかかる。
特に、複数の操作対象装置に対して個別に操作信号を送る状況では、ユーザーは、1台の操作対象装置を決定するための操作と、1つの操作指示を入力するための操作とを、繰り返す必要があり、手間を要する。
【課題を解決するための手段】
【0005】
本発明に係る表示装置の制御方法の一態様は、制御装置が実行する表示装置の制御方法であって、前記表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受け、前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定し、ユーザーの操作に基づく操作信号を前記操作対象装置に送信することを含む。
【0006】
本発明に係る制御装置の一態様は、表示装置によって表示面に表示される画像であって前記表示装置を識別する識別情報を含む識別画像を、ユーザーの視界の少なくとも一部を撮像対象領域とする撮像装置が撮像することによって生成される撮像データを受ける画像受信部と、前記撮像データに含まれる前記識別情報が示す表示装置を、操作対象装置として決定する決定部と、ユーザーの操作に基づく操作信号を前記操作対象装置に送信する通信部と、を含む。
【図面の簡単な説明】
【0007】
【図1】第1実施形態に係る表示システム1000を示す図である。
【図2】第1プロジェクター1の一例を示す図である。
【図3】本体30が備える光学系の構成を示す模式図である。
【図4】制御装置39の一例を示す図である。
【図5】第1プロジェクター1が投射する第1画像A1の一例を示す図である。
【図6】第2プロジェクター2が投射する第2画像A2の一例を示す図である。
【図7】制御装置39の動作を示すフローチャートである。
【図8】第1画像A1において、第1識別情報に基づいて、時間経過に伴い変化する輝度の一例を示す図である。
【発明を実施するための形態】
【0008】
A:第1実施形態
A1:表示システム1000の概要
図1は、第1実施形態に係る表示システム1000を示す図である。表示システム1000は、第1プロジェクター1と、第2プロジェクター2と、HMD(Head Mounted Display)3と、を含む。第1プロジェクター1と第2プロジェクター2の各々は、表示装置の一例である。表示装置は、プロジェクターに限らず、ディスプレイ、例えば、FPD(Flat Panel Display)でもよい。FPDは、例えば、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electro Luminescence)ディスプレイである。第1プロジェクター1と第2プロジェクター2の各々は、操作対象装置の候補の一例である。第1プロジェクター1は、第2プロジェクター2と同一構成である。
【0009】
第1プロジェクター1は、画像を投射面4の第1領域41に投射することによって、当該画像を第1領域41に表示する。例えば、第1プロジェクター1は、画像の一例である第1画像A1を投射面4の第1領域41に投射することによって、第1画像A1を第1領域41に表示する。
第1画像A1は、第1プロジェクター1を識別する第1識別情報を含む。第1識別情報は、例えば、ユーザーBが知覚可能な態様で示される。一例を挙げると、第1識別情報は、第1プロジェクター1の名称を示す画像である。なお、第1識別情報は、第1プロジェクター1の名称を示す画像に限らない。例えば、第1識別情報は、第1プロジェクター1に関連づけられた図形、または、第1プロジェクター1に関連づけられたマークでもよい。第1画像A1は、識別画像の一例である。
【0010】
第2プロジェクター2は、画像を投射面4の第2領域42に投射することによって、当該画像を第2領域42に表示する。例えば、第2プロジェクター2は、画像の一例である第2画像A2を投射面4の第2領域42に投射することによって、第2画像A2を第2領域42に表示する。
第2画像A2は、第2プロジェクター2を識別する第2識別情報を含む。第2識別情報は、例えば、ユーザーBが知覚可能な態様で示される。一例を挙げると、第2識別情報は、第2プロジェクター2の名称を示す画像である。なお、第2識別情報は、第2プロジェクター2の名称を示す画像に限らない。例えば、第2識別情報は、第2プロジェクター2に関連づけられた図形、または、第2プロジェクター2に関連づけられたマークでもよい。第2画像A2は、識別画像の他の例である。
【0011】
投射面4は、例えばスクリーンである。投射面4は、スクリーンに限らず、例えば、壁の一部分、扉またはホワイトボードでもよい。第1領域41と第2領域42とは、相互に接している。なお、第1領域41は、第2領域42と離れていてもよい。第1領域41の少なくとも一部が、第2領域42の少なくとも一部と重なっていてもよい。投射面4と第1領域41と第2領域42の各々は、表示面の一例である。
【0012】
HMD3は、頭部装着型表示装置である。HMD3は、ユーザーBに装着される。HMD3は、第1プロジェクター1と第2プロジェクター2の各々を制御する。
【0013】
A2.第1プロジェクター1の一例
第1プロジェクター1と第2プロジェクター2は、上述の通り相互に同一構成である。このため、第1プロジェクター1と第2プロジェクター2との代表として、第1プロジェクター1を説明する。
【0014】
図2は、第1プロジェクター1の一例を示す図である。第1プロジェクター1は、操作部11と、第1通信部12と、投射部13と、第1記憶部14と、第1処理部15とを含む。
【0015】
操作部11は、例えば、各種の操作ボタン、操作キーまたはタッチパネルである。操作部11は、第1プロジェクター1の筐体に設けられている。操作部11は、ユーザーBの入力操作を受け取る。
【0016】
第1通信部12は、有線または無線で、HMD3、具体的には、後述の図4に示す第2通信部391と通信する。第1通信部12は、例えば、無線LAN(Local Area Network)で第2通信部391と通信する。第1通信部12と第2通信部391との無線通信の通信方式は、無線LANに限らず、他の通信方式、例えば、Bluetoothでもよい。Bluetoothは登録商標である。
【0017】
投射部13は、第1領域41に第1画像A1を投射することによって第1領域41に第1画像A1を表示する。投射部13は、画像処理部131と、フレームメモリー132と、ライトバルブ駆動部133と、光源134と、赤色用液晶ライトバルブ135Rと、緑色用液晶ライトバルブ135Gと、青色用液晶ライトバルブ135Bと、投射光学系136と、を含む。以下、赤色用液晶ライトバルブ135Rと、緑色用液晶ライトバルブ135Gと、青色用液晶ライトバルブ135Bとを相互に区別する必要がない場合、これらを「液晶ライトバルブ135」と称する。
【0018】
画像処理部131は、単数または複数のイメージプロセッサー等の回路によって構成される。画像処理部131は、例えば、第1処理部15から画像データを受け取る。画像処理部131は、不図示の画像供給装置から画像データを受け取ってもよい。画像供給装置は、例えば、PCである。画像供給装置は、PCに限らず、例えば、タブレット端末、スマートフォン、ビデオ再生装置、DVD(Digital Versatile Disc)プレーヤー、ブルーレイディスクプレーヤー、ハードディスクレコーダー、テレビチューナー装置またはビデオゲーム機でもよい。
【0019】
画像処理部131は、画像データをフレームメモリー132に展開する。フレームメモリー132は、例えば、RAM(Random Access Memory)等の記憶装置によって構成される。画像処理部131は、フレームメモリー132に展開された画像データに画像処理を施すことによって画像信号を生成する。
【0020】
画像処理部131が実行する画像処理は、例えば、投射部13が投射する画像の台形歪みを補正する幾何補正処理を包含する。画像処理部131は、幾何補正処理に加えて、他の画像処理、例えば、解像度変換処理を実行してもよい。解像度変換処理では、画像処理部131は、画像データの解像度を、例えば液晶ライトバルブ135の解像度に変換する。他の画像処理は、解像度変換処理に限らない。他の画像処理は、例えば、画像供給装置から提供される画像データが示す画像にOSD(On Screen Display)画像を重畳するOSD処理でもよい。
【0021】
ライトバルブ駆動部133は、例えば、ドライバー等の回路で構成される。ライトバルブ駆動部133は、画像処理部131から提供される画像信号に基づいて、駆動電圧を生成する。ライトバルブ駆動部133は、駆動電圧を液晶ライトバルブ135に印加することによって、液晶ライトバルブ135を駆動する。
【0022】
光源134は、例えば、LED(light emitting diode)である。光源134は、LEDに限らず、例えば、キセノンランプ、超高圧水銀ランプ、またはレーザー光源でもよい。光源134は、光を射出する。光源134から出射された光は、不図示のインテグレーター光学系に入射する。インテグレーター光学系は、光源134から出射された光における輝度分布のばらつきを低減する。光源134から出射された光は、インテグレーター光学系を通った後、不図示の色分離光学系によって光の3原色である赤色、緑色、青色の色光成分に分離される。赤色の色光成分は、赤色用液晶ライトバルブ135Rに入射する。緑色の色光成分は、緑色用液晶ライトバルブ135Gに入射する。青色の色光成分は、青色用液晶ライトバルブ135Bに入射する。
【0023】
液晶ライトバルブ135は、一対の透明基板間に液晶が存在する液晶パネル等によって構成される。液晶ライトバルブ135は、マトリクス状に位置する複数の画素135pを含む矩形の画素領域135aを有する。液晶ライトバルブ135では、液晶に対して画素135pごとに、画像信号に基づく駆動電圧が印加される。ライトバルブ駆動部133が、駆動電圧を各画素135pに印加すると、各画素135pは、駆動電圧に基づく光透過率に設定される。光源134から出射される光は、画素領域135aを通ることで変調される。このため、画像信号に基づく画像が色光ごとに形成される。液晶ライトバルブ135は、光変調装置の一例である。
【0024】
各色の画像は、図示しない色合成光学系によって画素135pごとに合成される。よって、カラー画像が生成される。カラー画像は、投射光学系136を介して投射される。
【0025】
第1記憶部14は、第1処理部15が読み取り可能な記録媒体である。第1記憶部14は、例えば、不揮発性メモリーと揮発性メモリーとを含む。不揮発性メモリーは、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)またはEEPROM(Electrically Erasable Programmable Read Only Memory)である。揮発性メモリーは、例えば、RAMである。
【0026】
第1記憶部14は、第1処理部15によって実行される制御プログラムと、第1処理部15が使用する各種のデータと、を記憶する。
【0027】
第1処理部15は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第1処理部15は、単数または複数のCPU(Central Processing Unit)によって構成される。第1処理部15の機能の一部または全部は、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等の回路によって実現されてもよい。第1処理部15は、各種の処理を並列的または逐次的に実行する。第1処理部15は、第1記憶部14から制御プログラムを読み取る。第1処理部15は、第1記憶部14から読み取られた制御プログラムを実行することによって種々の動作を実行する。
【0028】
A3.HMD3の一例
図1に戻って、HMD3は、本体30と、操作入力部300と、を含む。操作入力部300は、接続コード3000を介して本体30と電気的に接続する。操作入力部300は、有線ではなく無線で本体30と電気的に接続してもよい。操作入力部300は、例えば、携帯型の操作パネルである。操作入力部300は、ユーザーBの操作を受ける。操作入力部300は、ユーザーBの操作に基づく操作データを、本体30に出力する。
【0029】
本体30は、ユーザーBの頭部Cに装着される眼鏡型ウェラブル装置である。本体30は、眼鏡型ウェラブル装置に限らない。本体30は、ユーザーBの頭部Cに装着される装置であればよい。
【0030】
A4.本体30の一例
図3は、本体30が備える光学系の構成を示す模式図である。以下、図1および図3を参照して、本体30について説明する。
本体30は、右保持部31と、左保持部32と、フレーム33と、右表示ユニット34と、右導光板35と、左表示ユニット36と、左導光板37と、カメラ38と、制御装置39と、を有する。
【0031】
右保持部31は、フレーム33の右端部33aから本体30の後方に延伸する。左保持部32は、フレーム33の左端部33bから本体30の後方に延伸する。
【0032】
右表示ユニット34は、右目用の画像光を出力する。以下、右目用の画像光を「右画像光」と称する。右表示ユニット34は、図3に例示されるように、右画像出力部34aと、右光学系34bと、を含む。右画像出力部34aは、例えば、OLED(Organic Light Emitting Diode)である。OLEDは、有機ELディスプレイとも称される。右画像出力部34aは、OLEDに限らず、例えば、バックライト付きの液晶ディスプレイ、または、プラズマディスプレイでもよい。右画像出力部34aは、決定結果出力装置の一例である。右画像出力部34aは、右画像光を出力する。右光学系34bは、右画像出力部34aから出力される右画像光を並行状態の光束にするコリメートレンズを有する。右画像光は、並行状態の光束にされた後、右導光板35へ出力される。
【0033】
右導光板35、例えば、プリズムである。右導光板35は、外光をユーザーBの右眼D1に導く。右導光板35は、さらに、右画像光をユーザーBの右眼D1に導く。
【0034】
左表示ユニット36は、左目用の画像光を出力する。以下、左目用の画像光を「左画像光」と称する。左表示ユニット36は、左画像出力部36aと、左光学系36bと、を含む。左画像出力部36aは、例えば、OLEDである。左画像出力部36aは、OLEDに限らず、例えば、バックライト付きの液晶ディスプレイ、または、プラズマディスプレイでもよい。左画像出力部36aは、決定結果出力装置の他の例である。左画像出力部36aは、左画像光を出力する。左光学系36bは、左画像出力部36aから出力される左画像光を並行状態の光束にするコリメートレンズを有する。左画像光は、並行状態の光束にされた後、左導光板37へ出力される。
【0035】
左導光板37は、例えば、プリズムである。左導光板37は、外光をユーザーBの左眼D2に導く。左導光板37は、さらに、左画像光をユーザーBの左眼D2に導く。
【0036】
このため、ユーザーBは、本体30を装着する場合、外景と右画像光と左画像光とを視認可能である。ここで、外景は、ユーザーBの視界を意味する。なお、右画像光と左画像光は、視差に基づいて生成されてもよい。
【0037】
図1に示されるカメラ38は、撮像装置の一例である。カメラ38は、レンズ等の受光光学系と、受光光学系によって集光される光を電気信号に変換する撮像素子と、を含む。
撮像素子は、例えば、赤外領域および可視光領域の光を受光するCCD(Charge Coupled Device)イメージセンサーである。撮像素子は、CCDイメージセンサーに限らず、例えば、赤外領域および可視光領域の光を受光するCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーでもよい。
【0038】
カメラ38は、フレーム33に設けられる。カメラ38は、本体30の前方を撮像対象領域とする。このため、本体30が眼鏡のようにユーザーBに装着される場合、カメラ38は、ユーザーBの視界の少なくとも一部を撮像対象領域とする。カメラ38は、撮像対象領域を撮像することによって撮像データを生成する。撮像データは、撮像対象領域を表す撮像画像を示す。
本実施形態では、撮像画像の中心が、ユーザーBの視界の中心と一致するように、カメラ38がフレーム33に配置されている。カメラ38は、右導光板35と右保持部31との間に位置する。カメラ38の位置は、右導光板35と右保持部31との間に限らない。例えば、カメラ38の位置は、右導光板35と左導光板37との間、または、左導光板37と左保持部32との間でもよい。また、カメラ38は、右保持部31に設けられてもよいし、左保持部32に設けられてもよい。このような位置にカメラ38が配置される場合でも、撮像画像の中心が、ユーザーBの視界の中心と一致することが望ましい。
なお、撮像画像の中心が、ユーザーBの視界の中心と異なってもよい。
【0039】
制御装置39は、左保持部32に設けられる。制御装置39は、左保持部32ではなく、フレーム33に設けられてもよい。また、制御装置39は、右保持部31に設けられてもよい。
制御装置39は、カメラ38から撮像データを受ける。制御装置39は、操作入力部300から操作データを受ける。制御装置39は、撮像データと操作データとを用いて、第1プロジェクター1と第2プロジェクター2とを制御する。
【0040】
A5.制御装置39の一例
図4は、制御装置39の一例を示す図である。制御装置39は、第2通信部391と、第2記憶部392と、第2処理部393と、を含む。
【0041】
第2通信部391は、第1プロジェクター1および第2プロジェクター2と通信する。例えば、第2通信部391は、第1プロジェクター1の第1通信部12と通信する。
【0042】
第2記憶部392は、第2処理部393が読み取り可能な記録媒体である。第2記憶部392は、例えば、不揮発性メモリーと揮発性メモリーとを含む。
【0043】
第2記憶部392は、第2処理部393によって実行される制御プログラムと、第2処理部393が使用する各種のデータと、を記憶する。第2記憶部392に記憶される制御プログラムは「アプリケーションプログラム」または「アプリケーションソフトウェア」とも称され得る。第2処理部393が使用する各種のデータは、第1識別情報と第1プロジェクター1の名称との相互の対応関係と、第2識別情報と第2プロジェクター2の名称との相互の対応関係と、を示す対応データを含む。
【0044】
第2処理部393は、例えば、単数または複数のプロセッサーによって構成される。一例を挙げると、第2処理部393は、単数または複数のCPUによって構成される。第2処理部393の機能の一部または全部は、DSP、ASIC、PLD、FPGA等の回路によって実現されてもよい。第2処理部393は、各種の処理を並列的または逐次的に実行する。
【0045】
第2処理部393は、第2記憶部392から制御プログラムを読み取る。第2処理部393は、第2記憶部392から読み取られた制御プログラムを実行することによって、表示制御部394と、動作制御部395と、を実現する。
【0046】
表示制御部394は、右画像出力部34aと、左画像出力部36aと、を制御する。例えば、表示制御部394は、右画像光を示す右画像データを右画像出力部34aに出力する。右画像出力部34aは、右画像データによって示される右画像光を出力する。また、表示制御部394は、左画像光を示す左画像データを左画像出力部36aに出力する。左画像出力部36aは、左画像データによって示される左画像光を出力する。表示制御部394は、例えば、表示コントローラーまたは表示制御回路等の回路によって構成されてもよい。
【0047】
動作制御部395は、制御装置39の動作を制御する。動作制御部395は、例えば、動作コントローラーまたは動作制御回路等の回路によって構成されてもよい。動作制御部395は、画像受信部396と、決定部397と、を含む。
【0048】
画像受信部396は、カメラ38から画像データを受ける。画像受信部396は、例えば、画像レシーバーまたは画像受信回路等の回路によって構成されてもよい。画像受信部396は、画像データが入力される入力端子によって構成されてもよい。
決定部397は、撮像データによって表される識別情報が示すプロジェクターを、操作対象装置として決定する。具体的には、決定部397は、撮像データが表す識別画像に含まれる識別情報によって示されるプロジェクターを、操作対象装置として決定する。決定部397は、操作対象装置の決定後に操作入力部300から操作データを受ける場合、第2通信部391に、操作データに基づく操作信号を操作対象装置へ送信させる。換言すると、第2通信部391は、操作データに基づく操作信号を操作対象装置に送信する。決定部397は、例えば、プロセッサーまたは決定回路等の回路によって構成されてもよい。
【0049】
A6.第1画像A1の一例と第2画像A2の一例
図5は、第1プロジェクター1が投射する第1画像A1の一例を示す図である。図6は、第2プロジェクター2が投射する第2画像A2の一例を示す図である。
【0050】
第1画像A1は、第1識別情報として、第1図形A11を含む。第1図形A11は、格子状の図形である。第2画像A2は、第2識別情報として、第2図形A21を含む。第2図形A21は、矩形の図形である。
この場合、第2記憶部392には、第1図形A11と第1プロジェクター1の名称とが互いに対応づけられ、かつ、第2図形A21と第2プロジェクター2の名称とが互いに関連づけられている対応データが記憶される。このため、第1図形A11は、間接的に第1プロジェクター1を示す。第2図形A21は、間接的に第2プロジェクター2を示す。
【0051】
図5では、第1図形A11が第1画像A1の全面に及んでいるが、第1図形A11は、第1画像A1の一部の領域に位置してもよい。第1画像A1の一部の領域は、例えば、第1画像A1から第1画像A1の縁部を除いた領域、第1画像A1の中心位置よりも下の領域、または、第1画像A1の中心位置よりも上の領域に位置である。
【0052】
第2図形A21のうち、第2画像A2が存在する領域は、図6に示す領域に限らない。例えば、第2図形A21のうち、第2画像A2が存在する領域は、第2画像A2の中心位置よりも下の領域、または、第2画像A2の中心位置よりも上の領域でもよい。
【0053】
なお、第1識別情報は、第1図形A11に限らない。例えば、第1識別情報は、第1プロジェクター1のIP(Internet Protocol)アドレスを示す画像、または、赤等の第1色を有する画像でもよい。第1色は、赤に限らず、赤とは異なる色でもよい。第2識別情報は、第2図形A21に限らない。例えば、第2識別情報は、第2プロジェクター2のIPアドレスを示す画像、または、緑等の第2色を有する画像でもよい。第2色は、緑に限らない。第2色は第1色と異なる色であればよい。
【0054】
A7.制御装置39の動作
図7は、制御装置39の動作を示すフローチャートである。以下では、第1プロジェクター1は、第1画像A1を第1領域41に投射しているとする。第2プロジェクター2は、第2画像A2を第2領域42に投射しているとする。ユーザーBが本体30を頭部Cに装着しているとする。ここで、第1プロジェクター1と第2プロジェクター2とを相互に区別する必要がない場合、これらを「プロジェクター100」と称する。
【0055】
ユーザーBが、プロジェクター100を個別に操作するために個別操作指示を操作入力部300に入力すると、第2処理部393は、第2記憶部392から制御プログラムを読み取り、当該制御プログラムを実行する。このため、第2処理部393は、表示制御部394と、動作制御部395と、画像受信部396と、決定部397とを実現する。
【0056】
ステップS101では、決定部397は、カメラ38に撮像を開始させる。ユーザーBが本体30を頭部Cに装着しているため、カメラ38は、ユーザーBの視界の少なくとも一部を撮像対象領域とする。よって、カメラ38が生成する撮像データは、ユーザーBが意識的に目視している画像等を表す可能性が高い。ユーザーBは、操作対象装置として設定したいプロジェクター100が投射する画像を、意識的に目視する。例えば、ユーザーBは、第1画像A1を目視する。ここで、投射面4において、第1画像A1と第2画像A2とが相互に接している場合、ユーザーBが第1画像A1を目視しても、撮像データは、第1画像A1に加えて、第2画像A2を示すことがある。カメラ38は、撮像データを制御装置39に送信する。
【0057】
続いて、ステップS102において画像受信部396は、カメラ38から撮像データを受信する。画像受信部396は、撮像データを決定部397に出力する。
【0058】
続いて、ステップS103において決定部397は、撮像データが1または2以上の識別情報を表すか否かを判断する。例えば、決定部397は、第2記憶部392に記憶されている対応データが示す複数の識別情報のうち少なくとも1つが、撮像データに表されているか否かを判断する。
【0059】
なお、ステップS103では、決定部397は、撮像データが1または2以上の識別情報を表す状況が1秒以上継続するか否かを判断してもよい。この場合、例えば、ユーザーBが頭部Cの向きを変えている間に偶然に撮像された画像に含まれる識別情報を除外することが可能になる。よって、ユーザーBが意図的に目視している1または2以上の識別情報が存在するか否かを判断可能になる。ここで、1秒は所定時間の一例である。所定時間は1秒よりも長くてもよい。所定時間は1秒よりも短くてもよい。
【0060】
ステップS103において撮像データが1または2以上の識別情報を表す場合、ステップS104において決定部397は、撮像データが2以上の識別情報を表すか否かを判断する。
【0061】
ステップS104において撮像データが2以上の識別情報を表す場合、ステップS105において決定部397は、2以上の識別情報のうち、撮像画像の中心に最も近い識別情報を、選択識別情報として決定する。撮像画像の中心は、撮像画像の所定位置の一例である。撮像画像の所定位置は、撮像画像の中心に限らず適宜変更可能である。なお、上述のとおり撮像画像の中心は、ユーザーBの視界の中心またはユーザーBの視界の中心付近と一致する。このため、撮像画像の所定位置が、撮像画像の中心である場合、ユーザーBが意図的に目視している画像に含まれる識別情報を、選択識別情報として決定し易くなる。
【0062】
ステップS105では、例えば、決定部397は以下のように動作する。
決定部397は、まず、識別情報ごとに、撮像画像において識別情報を表す識別領域を特定する。続いて、決定部397は、識別領域ごとに、識別領域の重心位置を決定する。続いて、決定部397は、識別領域の重心位置のうち、撮像画像の中心に最も近い重心位置を決定する。続いて、決定部397は、撮像画像の中心に最も近い重心位置を有する識別領域において表される識別情報を、選択識別情報として決定する。
例えば、撮像画像が、第1図形A11と第2図形A21とを示す状況において、第1図形A11の重心位置から撮像画像の中心までの距離が、第2図形A21の重心位置から撮像画像の中心までの距離よりも短い場合、決定部397は、第1図形A11を、選択識別情報として決定する。
【0063】
なお、ステップS105において、決定部397は以下のように動作してもよい。
決定部397は、まず、識別情報ごとに、撮像画像において識別情報を表す識別領域を特定する。続いて、決定部397は、識別領域ごとに、撮像画像の中心との最短距離を、領域距離として特定する。続いて、決定部397は、識別領域のうち、領域距離が最も短い識別領域を特定する。続いて、決定部397は、領域距離が最も短い識別領域において表される識別情報を、選択識別情報として決定する。
【0064】
一方、ステップS104において撮像データが1つの識別情報を表す場合、ステップS106において決定部397は、当該識別情報を、選択識別情報として決定する。
【0065】
ステップS105またはステップS106において選択識別情報が決定されると、ステップS107において決定部397は、選択識別情報が示すプロジェクター100を、操作対象装置として決定する。例えば、決定部397は、対応データを参照することによって、選択識別情報が示すプロジェクター100を操作対象装置として決定する。一例を挙げると、第1図形A11が選択識別情報として決定されている場合、決定部397は、対応データを参照することによって、第1プロジェクター1を操作対象装置として決定する。
【0066】
続いて、決定部397は、操作対象装置として決定されたプロジェクター100の名称を示す決定情報を、表示制御部394に出力する。続いて、ステップS108において表示制御部394は、決定情報によって示されるプロジェクター100の名称を表す右画像光を、右画像出力部34aに出力させる。さらに、ステップS108において、表示制御部394は、決定情報によって示されるプロジェクター100の名称を表す左画像光を、左画像出力部36aに出力させる。右画像光は、右光学系34bと右導光板35を介して、ユーザーBの右眼D1に導かれる。左画像光は、左光学系36bと左導光板37を介して、ユーザーBの左眼D2に導かれる。このため、ユーザーBは、操作対象装置として決定されるプロジェクター100を視認できる。
【0067】
ユーザーBは、操作対象装置を視認すると、操作入力部300に対して操作を行う。操作入力部300は、ユーザーBの操作に基づく操作データを制御装置39に出力する。
【0068】
続いて、ステップS109では、決定部397は、操作対象装置を決定してから所定時間以内、例えば5秒以内に操作データを受けたか否かを判断する。ステップS109において決定部397は、操作対象装置を決定してから所定時間以内に操作データを受けない場合、処理が、ステップS102に戻る。このため、操作対象装置を決定してから所定時間以内に操作データを受けない場合、操作対象装置を更新することが可能となる。所定時間は、5秒よりも長くてもよいし、5秒よりも短くてもよい。
【0069】
ステップS109において、操作対象装置を決定してから所定時間以内に操作データを受ける場合、ステップS110において決定部397は、第2通信部391に、操作データに基づく操作信号を操作対象装置へ送信させる。例えば、操作対象装置の決定後に受けた操作データが、幾何補正処理を開始するための開始操作を示す場合、決定部397は、第2通信部391に、幾何補正処理の開始を示す操作信号を操作対象装置へ送信させる。
操作対象装置として決定されたプロジェクター100は、操作信号が示す動作を実行する。例えば、第1プロジェクター1が操作対象装置である状況において、第1通信部12が、幾何補正処理の開始を示す操作信号を受信すると、第1処理部15は、投射部13に、幾何補正処理の操作を受け付ける操作画像を示す操作画像データを出力する。投射部13は、操作画像データに基づいて、操作画像を第1領域41に表示する。その後、ユーザーBは、操作画像を用いて第1プロジェクター1において幾何補正処理を実行させる。
なお、操作信号は、幾何補正処理を開始するための開始操作を示す信号に限らない。例えば、操作信号は、操作対象装置の投射画像を明るくする操作を示す信号、または、操作対象装置の投射画像を暗くする操作を示す信号でもよい。
【0070】
続いて、ステップS111において操作入力部300が終了指示を受けない場合、処理がステップS102に戻る。このため、例えば、ユーザーBが、操作対象装置を第1プロジェクター1から第2プロジェクター2に変更したい場合、ユーザーBは、頭部Cの向きを、第1画像A1に向かう方向から第2画像A2に向かう方向に変更すればよい。
【0071】
一方、ステップS111において操作入力部300が終了指示を受ける場合、ステップS112において決定部397は、カメラ38に撮像を終了させる。
【0072】
なお、ステップS103において撮像データが識別情報を表さない場合、処理はステップS111に進む。
【0073】
A8.第1実施形態についてのまとめ
上述の本実施形態に係る表示方法および表示装置は以下の態様を含む。
【0074】
画像受信部396は、ユーザーBの視界の少なくとも一部を撮像対象領域とするカメラ38から、カメラ38が第1画像A1を撮像する場合にカメラ38によって生成される撮像データを受ける。決定部397は、撮像データによって表される第1画像A1における第1識別情報が示す第1プロジェクター1を、操作対象装置として決定する。第2通信部391は、ユーザーの操作に基づく操作信号を操作対象装置に送信する。
【0075】
この態様によれば、ユーザーBが第1画像A1を視認すれば、第1プロジェクター1が、操作対象装置として自動的に決定される。このため、ユーザーBは、操作対象装置の候補から操作対象装置を決定するために、PC等の操作部を操作する必要がなく、手間が省ける。
【0076】
カメラ38は、本体30に設けられる。この態様によれば、ユーザーBの視界の少なくとも一部を撮像対象領域とするカメラ38を容易に実現できる。
【0077】
制御装置39は、本体30に設けられる。この態様によれば、ユーザーBは制御装置39を容易に携帯できる。
【0078】
カメラ38と制御装置39は、本体30に設けられる。この態様によれば、ユーザーBはカメラ38と制御装置39とを一体として取り扱える。このため、カメラ38と制御装置39とが別体である構成に比べて、使い勝手が向上する。
【0079】
第1識別情報と第2識別情報とが撮像データに含まれると、撮像画像における第1識別情報の位置から撮像画像の所定位置までの距離が、撮像画像における第2識別情報の位置から撮像画像の所定位置までの距離よりも短い場合に、決定部397は、撮像データに含まれる第1識別情報が示す第1プロジェクター1を、操作対象装置として決定する。
この態様によれば、第1識別情報と第2識別情報とが撮像データに含まれていても、ユーザーBが第1画像A1を目視する場合に、第1プロジェクター1を操作対象装置として決定し易くなる。
【0080】
B.変形例
以上に例示した実施形態の変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。
【0081】
B1.第1変形例
第1実施形態において、第1画像A1のうち、第1識別情報に割り当てられている部分における輝度が、第1識別情報に基づいて、時間経過に伴い変化してもよい。この場合、決定部397は、撮像データに含まれる情報のうち、時間経過に伴う輝度の変化によって示される情報を、識別情報として用いる。この態様によれば、決定部397は、時間経過に伴う輝度の変化を用いて、操作対象装置を決定できる。なお、第1画像A1のうち、第1識別情報に割り当てられている部分とは、第1画像A1のうち、第1識別情報を表すために用いられる部分を意味する。
【0082】
ここで、第1識別情報に基づく輝度の変化が、60Hz以上の周波数、例えば、120Hzの周波数を有することが望ましい。人は、60Hz以上の周波数を有する輝度の変化を認識できない。このため、第1識別情報に基づく輝度の変化が、60Hz以上の周波数を有する場合、第1識別情報がユーザーBに視認されることなく、決定部397は、第1識別情報を得ることが可能になる。
【0083】
また、第1画像A1は、第1識別情報に基づく60Hz以上の周波数を有する輝度変化が施された静止画でもよい。この場合、ユーザーBは、当該輝度変化を認識できずに、第1画像A1を単なる静止画として認識する。このため、第1プロジェクター1は、ユーザーBに違和感を与えることなく、第1識別情報と静止画とを同時に表示できる。
【0084】
なお、第2画像A2のうち、第2識別情報に割り当てられている部分における輝度が、第2識別情報に基づいて、時間経過に伴い変化してもよい。この場合、決定部397は、撮像データに含まれる情報のうち、時間経過に伴う輝度の変化によって示される情報を、識別情報として用いる。なお、第2画像A2のうち、第2識別情報に割り当てられている部分とは、第2画像A2のうち第2識別情報を表すために用いられる部分を意味する。
【0085】
図8は、第1画像A1において、第1識別情報に基づいて、時間経過に伴い変化する輝度の一例を示す図である。図8では、第1プロジェクター1のIPアドレスが第1識別情報として用いられる。
この場合、IPアドレスに使用される各数値が4ビットで示される。そして、各ビットにおける“1”が第1輝度E1で表され、各ビットにおける“0”が第2輝度E2で表される。
このため、IPアドレスに使用される数値「1」は、「0001」と表され、IPアドレスに使用される数値「9」は、「1001」と表され、IPアドレスに使用される数値「2」は、「0010」と表される。
図8では、第1輝度E1が第2輝度E2よりも高い。なお、第1輝度E1が第2輝度E2よりも低くてもよい。図8に示すように、スタート位置を示すスタートマーカーF1と、4ビットごとの区切りを示す区切りマーカーF2が用いられる。
【0086】
なお、図8では、第1識別情報として、第1プロジェクター1のIPアドレスが用いられたが、第1識別情報は、第1プロジェクター1のIPアドレスに限らない。例えば、第1プロジェクター1が属する無線LANと、第2プロジェクター2が属する無線LANが、相互に異なる場合、第1識別情報として、第1プロジェクター1が属する無線LANのSSID(Service Set Identifier)が用いられてもよい。この場合、第2識別情報として、第2プロジェクター2が属する無線LANのSSIDが用いられてもよい。
【0087】
B2.第2変形例
第1実施形態において、第1画像A1のうち、第1識別情報に割り当てられている部分は、第1識別情報を示す赤外光を含んでもよい。この場合、決定部397は、撮像データに含まれる情報のうち、赤外光によって示される情報を、識別情報として用いる。この態様によれば、決定部397は、ユーザーBには視認されない赤外光を用いて、操作対象装置を決定できる。この態様では、カメラ38は、可視光を透過せずに赤外光を透過する赤外光フィルターを介して撮像を行うことが好ましい。
【0088】
また、第1画像A1は、第1識別情報を示す赤外光が重畳された画像、例えば、静止画または動画でもよい。この場合、ユーザーBは、第1識別情報を認識できずに、第1画像A1を単なる画像として認識する。このため、第1プロジェクター1は、ユーザーBに違和感を与えることなく、第1識別情報と静止画とを同時に表示できる。
【0089】
なお、第2画像A2のうち、第2識別情報に割り当てられている部分が、第2識別情報を示す赤外光を含んでもよい。この場合、決定部397は、撮像データに含まれる情報のうち、赤外光によって示される情報を、識別情報として用いる。
B3.第3変形例
第1実施形態、第1変形例および第2変形例において、表示システム1000に含まれるプロジェクター100の数は2台に限らず、1台でもよいし、3台以上でもよい。
【0090】
B4.第4変形例
第1実施形態および第1〜第3変形例において、制御装置39は、本体30とは異なる装置、例えばPCに設けられてもよい。この場合、本体30の軽量化を図ることができる。
【0091】
B5.第5変形例
第1実施形態および第1〜第4変形例において、プロジェクター100における光変調装置の一例として液晶ライトバルブ135が用いられたが、光変調装置は液晶ライトバルブに限らず適宜変更可能である。例えば、光変調装置は、3枚の反射型の液晶パネルを用いた構成であってもよい。また、光変調装置は、1枚の液晶パネルを用いた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスを用いた方式等の構成であってもよい。光変調装置として1枚のみの液晶パネルまたはDMDが用いられる場合、色分離光学系および色合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源134が発した光を変調可能な構成は、光変調装置として採用できる。
【0092】
B6.第6変形例
第1実施形態および第1〜第5変形例において、表示装置としてFPDが用いられる場合、FPDは、電子黒板または電子会議システムに用いられているFPDでもよい。
【0093】
B7・第7変形例
第1実施形態および第1〜第6変形例では、制御装置39は、操作対象装置の決定結果をユーザーBへ伝えさせる動作を、決定結果出力装置として機能する右画像出力部34aおよび左画像出力部36aに実行させた。ここで、決定結果出力装置は、右画像出力部34aおよび左画像出力部36aに限らない。例えば、決定結果出力装置として、操作対象装置の決定結果をユーザーBへ音声で伝えるスピーカーが用いられてもよい。決定結果出力装置が、操作対象装置の決定結果をユーザーBに伝えるため、ユーザーBは、操作対象装置の決定結果を容易に知ることが可能になる。
【符号の説明】
【0094】
1…第1プロジェクター、2…第2プロジェクター、3…HMD、30…本体、38…カメラ、39…制御装置、300…操作入力部、391…第2通信部、392…第2記憶部、393…第2処理部、394…表示制御部、395…動作制御部、396…画像受信部、397…決定部、1000…表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】