(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2018508805
(43)【公表日】20180329
(54)【発明の名称】ヘッドマウントディスプレイを用いた仮想または拡張現実シーン内のユーザ対話の方法及びシステム
(51)【国際特許分類】
   G09G 5/00 20060101AFI20180302BHJP
   H04N 5/64 20060101ALI20180302BHJP
   G09G 5/36 20060101ALI20180302BHJP
   G09G 5/38 20060101ALI20180302BHJP
   G02B 27/02 20060101ALI20180302BHJP
   G06F 3/01 20060101ALI20180302BHJP
   G06F 3/0481 20130101ALI20180302BHJP
【FI】
   !G09G5/00 550C
   !H04N5/64 511A
   !G09G5/00 510A
   !G09G5/00 530T
   !G09G5/00 530H
   !G09G5/36 530Y
   !G09G5/38 A
   !G02B27/02 Z
   !G06F3/01 510
   !G06F3/0481 150
【審査請求】有
【予備審査請求】未請求
【全頁数】48
(21)【出願番号】2017533579
(86)(22)【出願日】20151207
(85)【翻訳文提出日】20170621
(86)【国際出願番号】US2015064316
(87)【国際公開番号】WO2016109127
(87)【国際公開日】20160707
(31)【優先権主張番号】62/097,549
(32)【優先日】20141229
(33)【優先権主張国】US
(31)【優先権主張番号】14/745,267
(32)【優先日】20150619
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
【住所又は居所】東京都港区港南1丁目7番1号
(74)【代理人】
【識別番号】100099324
【弁理士】
【氏名又は名称】鈴木 正剛
(72)【発明者】
【氏名】エリック ラーセン
【住所又は居所】アメリカ合衆国、カリフォルニア州 94404、サン マテオ、ブリッジポイント パークウェイ 2207
(72)【発明者】
【氏名】フレドリック ウミンガー
【住所又は居所】アメリカ合衆国、カリフォルニア州 94404、サン マテオ、ブリッジポイント パークウェイ 2207
(72)【発明者】
【氏名】クシオヨン イエ
【住所又は居所】アメリカ合衆国、カリフォルニア州 94404、サン マテオ、ブリッジポイント パークウェイ 2207
(72)【発明者】
【氏名】ノーム リモン
【住所又は居所】アメリカ合衆国、カリフォルニア州 94404、サン マテオ、ブリッジポイント パークウェイ 2207
(72)【発明者】
【氏名】ジェフリー ロジャー スタッフォード
【住所又は居所】アメリカ合衆国、カリフォルニア州 94404、サン マテオ、ブリッジポイント パークウェイ 2207
(72)【発明者】
【氏名】クシア ラウ
【住所又は居所】アメリカ合衆国、カリフォルニア州 94404、サン マテオ、ブリッジポイント パークウェイ 2207
【テーマコード(参考)】
2H199
5C182
5E555
【Fターム(参考)】
2H199CA04
2H199CA05
2H199CA23
2H199CA25
2H199CA30
2H199CA77
2H199CA92
2H199CA93
2H199CA94
2H199CA96
5C182AA02
5C182AA03
5C182AA04
5C182AA26
5C182AA31
5C182AB01
5C182AB02
5C182AB14
5C182AB34
5C182AC02
5C182AC03
5C182AC43
5C182AC46
5C182BA01
5C182BA02
5C182BA03
5C182BA04
5C182BA06
5C182BA14
5C182BA29
5C182BA46
5C182BA47
5C182BA54
5C182BA56
5C182BA57
5C182BA66
5C182BC01
5C182BC22
5C182BC25
5C182BC26
5C182CB13
5C182CB14
5C182CB32
5C182CB42
5C182CC14
5C182CC15
5C182DA19
5C182DA52
5E555AA27
5E555AA64
5E555AA76
5E555BA02
5E555BA08
5E555BA20
5E555BA38
5E555BA46
5E555BA53
5E555BA87
5E555BB02
5E555BB08
5E555BB20
5E555BB38
5E555BC04
5E555BE17
5E555CA10
5E555CA42
5E555CA44
5E555CB65
5E555CB66
5E555DA08
5E555DA11
5E555DB57
5E555DC43
5E555DC84
5E555EA14
5E555FA00
(57)【要約】
ヘッドマウントディスプレイ内の慣性センサを用いて、ヘッドマウントディスプレイの動きを追跡する。ヘッドマウントディスプレイの追跡された動きは、ヘッドマウントディスプレイを装着しているユーザに現在表示されている仮想現実シーンに相関される。仮想現実シーン内のアクションは、現在、表示されている仮想現実シーンの文脈に基づいている。 ヘッドマウントディスプレイの検出された動きは、視線検出データ等の他のセンサデータと組み合わされて、仮想現実シーン内のアクションを決定し得る。このように、ヘッドマウントディスプレイ内の慣性センサを用いて検出されるユーザの動きは、ヘッドマウントディスプレイ内でユーザに表示される仮想現実シーンの現在の文脈内のアクションを起こす入力として使用される。
【選択図】図4
【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイ内の仮想現実シーンに表示するためにビデオデータをヘッドマウントディスプレイに送信し、
前記ヘッドマウントディスプレイ内の1つまたは複数の慣性センサから慣性センサデータを受信し、前記慣性センサデータは、前記ヘッドマウントディスプレイを装着しているユーザの動きに従った前記ヘッドマウントディスプレイの動きを示し前記ユーザの前記動きは、前記ヘッドマウントディスプレイ内に表示された前記仮想現実シーンに基づいた前記慣性センサデータを受信し、
前記受信した慣性センサデータを前記仮想現実シーン内のアクションに相関させ、前記相関には、前記ヘッドマウントディスプレイの動きのルートを決定し前記ヘッドマウントディスプレイの動きの速度を決定することが含まれ、前記相関は、前記仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定することを含み、前記相関は、前記ヘッドマウントディスプレイの動きの前記ルートを許容できる仮想の動きを前記セット内の対応する可能な動きへのマッピングを含むものであり、
前記アクションの実施を反映するように前記仮想現実シーンへの更新を生成する、
方法。
【請求項2】
前記ヘッドマウントディスプレイの動きの前記ルートを前記対応する仮想の動きへのマッピングには、較正表にクエリすることを含み、前記較正表は、前記ヘッドマウントディスプレイの動きの多くのルートと、前記仮想現実シーン内に結果として生じるアクションとの間の関連を規定する、
請求項1に記載の方法。
【請求項3】
前記相関は、前記ヘッドマウントディスプレイの動きの前記速度を前記仮想現実シーン内の前記対応する仮想の動きの速度にマッピングすることを含む、
請求項2に記載の方法。
【請求項4】
更に、フィードバック信号を前記ヘッドマウントディスプレイに送信し、
前記フィードバック信号は、前記ヘッドマウントディスプレイの前記動きは、前記相関によって決定される許容できる仮想の動きの前記セット内のいずれの仮想の動きにも対応しないことを、前記ユーザに通知するものである、
請求項1に記載の方法。
【請求項5】
前記ヘッドマウントディスプレイの外部の位置で前記ユーザに配置された1つまたは複数の慣性センサから外部の慣性センサデータを受信し、
前記外部の慣性センサデータを用いて、前記ヘッドマウントディスプレイ内の前記1つまたは複数の慣性センサから受信した前記慣性センサデータを前記仮想現実シーン内の前記アクションに相関させることを容易にする、
請求項1に記載の方法
【請求項6】
前記仮想現実シーン内の前記アクションは、前記仮想現実シーン内の前記ユーザの視点の動き、前記仮想現実シーン内の前記ユーザの視点のズームインまたはズームアウト、及び、前記仮想現実シーン内に表示された物体の動き、のうちの1つまたは複数である、
請求項1に記載の方法。
【請求項7】
前記ヘッドマウントディスプレイ内の1つまたは複数の視線検出器から、視線方向データであって、前記ヘッドマウントディスプレイ内に表示された前記仮想現実シーンに対して前記ユーザの視覚の焦点方向を示す前記視線方向データを受信し、
前記視線方向データを前記慣性センサデータに同期させて、同期された視覚の焦点方向を決定する、
請求項1に記載の方法。
【請求項8】
前記相関には、前記ヘッドマウントディスプレイの動きのルートを決定し、前記ヘッドマウントディスプレイの動きの速度を決定することが含まれ、前記相関には、前記ヘッドマウントディスプレイの動きの前記ルートと、前記同期された視覚の焦点方向との両方を用いて、前記仮想現実シーン内の前記アクションを決定することが含まれる、
請求項7に記載の方法。
【請求項9】
仮想現実シーンを規定するビデオデータをヘッドマウントディスプレイにおいて受信し、
前記ヘッドマウントディスプレイ内に前記仮想現実シーンを表示し、
前記ヘッドマウントディスプレイ内の1つまたは複数の慣性センサを操作して、前記ヘッドマウントディスプレイを装着しているユーザの動きであって、前記仮想現実シーン内のアクションに対応する前記ユーザの前記動きに従った前記ヘッドマウントディスプレイの動きを示す慣性センサデータを生成し、
前記慣性センサデータを前記ビデオデータの送信元であるコンピューティングシステムに送信し、前記慣性センサデータによって、前記コンピューティングシステムは前記ヘッドマウントディスプレイの動きのルートを決定し、前記コンピューティングシステムは前記ヘッドマウントディスプレイの動きの速度を決定し、前記ヘッドマウントディスプレイの動きの前記ルートと、前記ヘッドマウントディスプレイの動きの前記速度とは、前記仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内の対応する仮想の動きに前記コンピューティングシステムによってマッピングされ、前記対応する仮想の動きは、前記仮想現実シーン内の前記アクションを指示する、前記慣性センサデータを前記コンピューティングシステムに送信し、
前記ユーザの前記動きに対応する前記仮想現実シーン内の前記アクションを反映する更新された仮想現実シーンを規定するビデオデータを前記コンピューティングシステムから受信し、
前記ヘッドマウントディスプレイ内に前記更新された仮想現実シーンを表示する、
方法。
【請求項10】
前記ヘッドマウントディスプレイの動きの前記ルートには前記仮想現実シーンの前記現在の文脈内で許容できる仮想の動きの前記セット内に対応する仮想の動きが無いことを示すフィードバック信号を前記コンピューティングシステムから受信し、
前記ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、及び、視覚信号のうちの1つまたは複数を提供することによって前記フィードバック信号の受信を前記ユーザに通知する、
請求項9に記載の方法。
【請求項11】
前記ヘッドマウントディスプレイの外部の位置で前記ユーザに配置された1つまたは複数の慣性センサから外部の慣性センサデータを前記コンピューティングシステムに送信し、
前記外部の慣性センサデータは、前記コンピューティングシステムによって使用されて、前記ヘッドマウントディスプレイの動きの前記ルートの決定を容易にする、
請求項9に記載の方法。
【請求項12】
前記仮想現実シーン内の前記アクションは、前記仮想現実シーン内の前記ユーザの視点の動き、前記仮想現実シーン内の前記ユーザの視点のズームインまたはズームアウト、及び、前記仮想現実シーン内に表示された物体の動き、のうちの1つまたは複数である、
請求項9に記載の方法。
【請求項13】
前記ヘッドマウントディスプレイ内の1つまたは複数の視線検出器を操作して、前記ヘッドマウントディスプレイ内に表示された前記仮想現実シーンに対する前記ユーザの視覚の焦点方向を示す視線方向データを生成し、
前記視線方向データを、前記ビデオデータの送信元である前記コンピューティングシステムに送信し、
前記視線方向データは、前記慣性センサデータと同期されて、同期された視覚の焦点方向を決定する、
請求項9に記載の方法。
【請求項14】
前記ヘッドマウントディスプレイの動きの前記ルートと、前記同期された視覚の焦点方向との両方を用いて、前記ユーザの前記動きに対応する前記仮想現実シーン内の前記アクションを決定する、
請求項13に記載の方法。
【請求項15】
ヘッドマウントディスプレイから慣性センサデータを受信するように構成された慣性データ処理モジュールを有し、前記慣性センサデータは、前記ヘッドマウントディスプレイを装着しているユーザの動きに従った前記ヘッドマウントディスプレイの動きを示し、前記ユーザの前記動きは、前記ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づき、前記ヘッドマウントディスプレイの動きのルートと前記ヘッドマウントディスプレイの動きの速度とを前記慣性センサデータから決定するように構成され、
前記ヘッドマウントディスプレイの動きの前記ルートと前記ヘッドマウントディスプレイの動きの前記速度とを、前記仮想現実シーン内のアクションに相関させるように構成された慣性データ相関モジュールを有し、前記仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定するように構成され、且つ、前記ヘッドマウントディスプレイの動きの前記ルートを許容できる仮想の動きの前記セット内の対応する仮想の動きにマッピングするように構成され、
コマンド信号をレンダリングエンジンに提供するように構成された慣性データコマンド出力モジュールを有し、前記コマンド信号は、前記アクションの実施を反映するように前記仮想現実シーンを更新するように前記レンダリングエンジンに指示する、
システム。
【請求項16】
前記慣性データ相関モジュールは、前記ヘッドマウントディスプレイの動きの前記速度を前記仮想現実シーン内の前記対応する仮想の動きの速度にマッピングするように構成された、
請求項15に記載のシステム。
【請求項17】
前記慣性データ相関モジュールは、前記ヘッドマウントディスプレイの動きの前記ルートと動きの前記速度とを前記仮想現実シーン内の前記対応する仮想の動きにマッピングするために、較正表にクエリするように構成され、前記較正表は、前記ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、前記仮想現実シーン内に結果として生じるアクションとの間の関連を規定する、
請求項16に記載のシステム。
【請求項18】
フィードバック信号を生成し、前記ヘッドマウントディスプレイに送信するように構成された慣性データフィードバックモジュールをさらに含み、
前記フィードバック信号は、前記ヘッドマウントディスプレイの前記動きが許容できる仮想の動きの前記セット内のいずれの仮想の動きにも対応しないことを前記ユーザに通知する、
請求項15に記載のシステム。
【請求項19】
前記ヘッドマウントディスプレイ内に表示された前記仮想現実シーンに対するユーザの視覚の焦点方向を示す前記視線方向データを前記ヘッドマウントディスプレイから受信するように構成された視線方向処理モジュールと、
前記視線方向データを前記慣性センサデータと同期して、同期された視覚の焦点方向を決定するように構成された同期モジュールと、をさらに有し、
前記慣性データ相関モジュールは、前記ヘッドマウントディスプレイの動きの前記ルートと前記同期された視覚の焦点方向との両方を用いて、前記仮想現実シーン内の前記アクションを決定する、
請求項15に記載のシステム。
【請求項20】
前記慣性データ相関モジュールは、前記仮想現実シーン内の前記アクションを決定する時、前記同期された視覚の焦点方向を方向重み付けパラメータとして使用するように構成された、
請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想現実空間内におけるユーザ対話の方法とシステムに関する。
【背景技術】
【0002】
仮想現実システムにおいて、ユーザは、コンピュータが生成した三次元の仮想現実シーンに視覚的に没入する。あるアプリケーションにおいては、ユーザに表示される仮想現実シーン全体をコンピュータによって生成する。他のアプリケーションにおいては、仮想現実シーンの一部がコンピュータによって生成され、仮想現実シーンの他の部分は、現実の物体及び/または人のビデオ及び/または画像に対応し、このような現実のビデオ/画像は、基本的にリアルタイムで仮想現実シーンにレンダリングできる。このようなアプリケーションは、拡張現実アプリケーションと呼ばれる。
【0003】
多くの仮想現実アプリケーションにおいて、仮想現実シーンに視覚的に没入しているとユーザに感じさせることだけでなく、仮想現実シーン内に表示されたフィーチャと自然に対話する感覚をユーザに与えることも望ましい。本発明はこのような背景の下になされたものである。
【発明の概要】
【0004】
例示的実施形態において、本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示するためにビデオデータをヘッドマウントディスプレイに送信することも含まれ得る。本方法には、ヘッドマウントディスプレイ内の1つまたは複数の慣性センサからの慣性センサデータを受信することも含まれ得る。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。本方法には、受信した慣性センサデータを仮想現実シーン内のアクションと相関させることも含まれ得る。本方法には、アクションの実施を反映するように仮想現実シーンの更新を生成することも含まれ得る。
【0005】
例示の実施形態において、本方法には、ヘッドマウントディスプレイでビデオデータを受信することも含まれ得る。ビデオデータは、仮想現実シーンを規定する。本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示することも含まれ得る。本方法では、ヘッドマウントディスプレイ内の1つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータも生成する。ユーザの動きは、仮想現実シーン内のアクションに対応する。本方法には、慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信することも含まれ得る。本方法には、ユーザの動きに対応する仮想現実シーン内のアクションを反映した更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信することも含まれ得る。本方法には、ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示することも含まれ得る。
【0006】
例示の実施形態において、本システムは、ヘッドマウントディスプレイから慣性センサデータを受信するように構成された慣性データ処理モジュールを含む。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。慣性データ処理モジュールは、ヘッドマウントディスプレイの動きのルートと、ヘッドマウントディスプレイの動きの速度とを慣性センサデータから決定するように構成される。本システムは、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを仮想現実シーン内のアクションに相関させるように構成された慣性データ相関モジュールも含む。本システムは、コマンド信号をレンダリングエンジンに提供するように構成された慣性データコマンド出力モジュールも含む。コマンド信号は、アクションの実施を反映するように仮想現実シーンを更新するようレンダリングエンジンに指示する。
【0007】
例示の実施形態において、本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信することも含まれ得る。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された1つまたは複数の慣性センサを備える。仮想現実シーンは、仮想現実シーン内に特定のアクションを起こすジェスチャをするようにユーザに要求する。ジェスチャによって、ヘッドマウントディスプレイが動き、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。本方法には、ヘッドマウントディスプレイから慣性センサデータを受信することも含まれ得る。慣性センサデータは、ユーザがジェスチャを行って、仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す。本方法には、受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させることも含まれ、それによって、前に受信した慣性センサデータとほぼ等しい慣性センサデータをその後受信すると、その特定のアクションが仮想現実シーン内で実行される。
【0008】
例示の実施形態において、本方法には、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信することも含まれ得る。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された1つまたは複数の慣性センサを備える。仮想現実シーンは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことを可能にする。ジェスチャによって、ヘッドマウントディスプレイが動き、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。本方法は、ヘッドマウントディスプレイから慣性センサデータを受信することも含む。慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す。本方法には、受信した慣性センサデータを処理してユーザの動きのルートとユーザの動きの速度を決定することも含まれ得る。本方法には、受信した慣性センサデータに対応する仮想現実シーンの動きの分類を決定することも含まれ得る。本方法には、受信した慣性センサデータを仮想現実シーンの決定された動きの分類に相関させることも含まれ得る。本方法には、受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関をユーザプロファイルに記録することも含まれ得る。
【0009】
発明の他の態様は、本発明の例として示す以下の詳細な説明と、その添付図面とからより明らかとなろう。
【図面の簡単な説明】
【0010】
【図1A】本発明の例示の実施形態に係る、有線リンクを介してコンピュータシステムと通信するヘッドマウントディスプレイを装着しているユーザを示す図である。
【図1B】本発明の例示の実施形態に係る、マルチメディアコンテンツを見る及び/またはマルチメディアコンテンツと対話するためにユーザが装着する例示のヘッドマウントディスプレイを示す図である。
【図2A】本発明の例示の実施形態に係る、x軸、y軸、z軸によって規定される基準デカルト座標系に対してホームポジションにいるヘッドマウントディスプレイを装着しているユーザを示す側面図である。
【図2B】本発明の例示の実施形態に係る、x軸、y軸、z軸によって規定される基準デカルト座標系に対してホームポジションにいるヘッドマウントディスプレイを装着しているユーザを示す正面図である。
【図3A】本発明の例示の実施形態に係る、ホームポジションからのユーザの前傾動作を示す図である。
【図3B】本発明の例示の実施形態に係る、ホームポジションからのユーザの後傾動作を示す図である。
【図3C】本発明の例示の実施形態に係る、ホームポジションからのユーザの左に傾く動きを示す図である。
【図3D】本発明の例示の実施形態に係る、ホームポジションからのユーザの右に傾く動きを示す図である。
【図3E】本発明の例示の実施形態に係る、x軸、y軸、z軸で規定される基準デカルト座標系に対してホームポジションにいるヘッドマウントディスプレイを装着しているユーザを示す上面図である。
【図3F】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を左に向ける動きを示す図である。
【図3G】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を右に向ける動きを示す図である。
【図3H】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を後ろに傾ける動きを示す図である。
【図3I】本発明の例示の実施形態に係る、ホームポジションからユーザが頭を前に傾ける動きを示す図である。
【図3J】本発明の例示の実施形態に係る、ホームポジションからユーザの下降動作を示す図である。
【図3K】本発明の例示の実施形態に係る、ホームポジションからユーザの上昇動作を示す図である。
【図3L】本発明の例示の実施形態に係る、x軸、y軸、z軸で規定される基準デカルト座標系に対してホームポジションにいる、ヘッドマウントディスプレイを装着し、ヘッドマウントディスプレイの外部の体の部分に追加の慣性センサをつけた、ユーザを示す正面図である。
【図4】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーンのためのビデオデータを生成する方法を示すフローチャートである。
【図5】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータと視線方向データに基づいて、コンピュータシステムを操作して、仮想現実シーンのためのビデオデータを生成する方法を示すフローチャートである。
【図6】本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号が、仮想現実シーン内にアクションを起こすための入力として提供される、ヘッドマウントディスプレイを操作する方法を示すフローチャートである。
【図7】本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号と視線方向データの両方が、仮想現実シーン内にアクションを起こすための入力として提供される、ヘッドマウントディスプレイを操作する方法を示すフローチャートである。
【図8】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーン内のアクションを較正する方法を示すフローチャートである。
【図9A】本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーン内のアクションを動的に較正する方法を示すフローチャートである。
【図9B】本発明の例示の実施形態に係る、ユーザプロファイルにおける、受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関の例を示す図である。
【図10】本発明の例示の実施形態に係る、ヘッドマウントディスプレイのブロックレベルアーキテクチャを示す図である。
【図11A】本発明の一部の実施形態を実施するために使用し得るコンピュータシステムと他のインタフェースハードウェアのブロックレベルアーキテクチャの例を示す図である。
【図11B】本発明の例示の実施形態に係る、慣性処理モジュールを示すブロックレベル図である。
【発明を実施するための形態】
【0011】
以下の記載において、本発明を十分に理解できるように、多くの具体的詳細を記載する。しかしながら、これらの具体的な詳細の一部または全て無しに本発明を実践してよいことは、当業者には明らかであろう。他の例では、周知のプロセス操作は、本発明を不必要に曖昧にしないために、詳細には記載していない。
【0012】
以下の詳細な記載は、添付の図面の参照を含み、添付の図面は、詳細な記載の一部をなす。図面は、例示の実施形態に従った図である。「例」とも本明細書で呼ばれるこれらの例示の実施形態は、当業者が発明の内容を実践できるほど十分詳しく記載する。実施形態は、組み合わせることができ、他の実施形態を利用することができ、または、構造的、論理的、及び、電気的変更を請求項の範囲を逸脱することなく行うことができる。以下の詳細な記載は、従って、制限的な意味ととらえてはならず、発明の範囲は、請求項とその均等物によって定義される。本出願書において、「a」「an」という語は、特許書類では一般的なように、1つまたは複数を含むものとして使用される。本出願書において、「or」という語は、排他的ではない「or」を指して使用され、他に別段の記載の無い限り、「A or B」は、「BではなくA」、「AではなくB」、及び、「A及びB」を含む。
【0013】
本明細書に開示の実施形態の技術は、様々な技術を用いて実施できる。例えば、本明細書に記載の方法は、コンピュータシステムで実行するソフトウェアで、または、マイクロプロセッサの組み合わせ若しくは他の特別に設計された特定用途向け集積回路(ASIC)のいずれかを要するハードウェアで、プログラム可能論理装置、または、それらの様々な組み合わせで実施される。詳細には、本明細書に記載の方法は、ディスクドライブ等の記憶媒体、または、コンピュータ可読媒体上の一連のコンピュータ実行可能命令によって実施される。本明細書に開示の方法は、モバイル端末、携帯電話、スマートフォン、コンピュータ(例えば、デスクトップコンピュータ、タブレットコンピュータ、ラップトップコンピュータ)、ゲームコンソール、ハンドヘルドゲームデバイス等によって実施できることに注意されたい。
【0014】
「ヘッドマウントディスプレイ」という語は、本明細書においては、ディスプレイ付きウェアラブルコンピュータ、ヘッドマウント電子装置、頭部装着型ディスプレイ、ヘルメットマウントディスプレイ、ディスプレイ付きヘッドマウントコンピュータのうちの1つまたは複数を指す。ヘッドマウントディスプレイは、ユーザの頭部に装着されるまたはヘルメットの一部であり、1つの(単眼ディスプレイ装置)または各眼の(双眼ディスプレイ装置)の正面に小さいディスプレイ光学素子(optic)を有する。ヘッドマウントディスプレイは、ヘルメット、眼鏡(データグラスとしても知られる)または、バイザーに埋め込まれたレンズと半透明の鏡を有する1つまたは2つの小さいディスプレイユニットを有する。ディスプレイユニットは、小型化することができ、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ等を含んでよい。一部のベンダは、複数のマイクロディスプレイを採用して、全体としての解像度と視野を向上させる。一部の他のヘッドマウントディスプレイは、従来のディスプレイを全く使用せず、代わりに、ユーザの眼に直接、光を投影する。
【0015】
図1Aは、本発明の例示の実施形態に係る、有線リンク104を介してコンピュータシステム106と通信するヘッドマウントディスプレイ102を装着しているユーザ100を示す。ヘッドマウントディスプレイ102は、眼鏡、ゴーグル、または、ヘルメットと同じように着用され、ビデオゲームまたは他のコンテンツをユーザ100に表示するように構成される。ヘッドマウントディスプレイ102は、光学素子及びディスプレイ画面等のヘッドマウントディスプレイのディスプレイコンポーネントの操作を介して、ユーザの眼のすぐ近くでユーザ100に没入型体験を提供するように構成される。また、ビデオコンテンツのフォーマットは、ヘッドマウントディスプレイ102を介してユーザ100に仮想現実シーンを表示するように規定でき、ユーザ100に仮想現実シーン内に現実にいるような感覚を持たせる。一部の実施形態においては、ヘッドマウントディスプレイ102は、ユーザの各眼に対して、ユーザの視野の大部分または全体を占める表示領域を提供できる。
【0016】
コンピュータシステム106は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイル装置、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、これらに限らない、任意の汎用または専用コンピュータであってよい。コンピュータシステム106は、ビデオ及びオーディオコンテンツをレンダリングし、レンダリングされたコンテンツを、有線リンク104を介してヘッドマウントディスプレイ102に送信するように構成される。図1Aの例は、有線リンク104を含むが、他の実施形態は、ヘッドマウントディスプレイ102とコンピュータシステム106との間の無線通信を、単独で、または、有線リンク104を介した通信と組み合わせて、利用できることを理解されたい。また、一部の実施形態においては、ヘッドマウントディスプレイ102は、インターネットに直接、接続できる。
【0017】
コンピュータシステム106によってレンダリングされたコンテンツは、基本的に任意の種類のコンピュータアプリケーション用であってよく、ゲーム、映画、オーディオ、画像、マルチメディア等、1つまたは複数の種類のコンテンツを含んでよい。一部の実施形態においては、コンテンツ、または、コンテンツの一部は、コンピュータシステム106によって生成される。しかしながら、一部の実施形態においては、コンテンツ、または、コンテンツの一部は、遠隔コンテンツソース120からネットワーク110を介してコンピュータシステム106にストリーミング配信される。また、一部の実施形態においては、コンテンツまたはコンテンツの一部は、クラウドゲーミングインフラストラクチャ112からネットワーク110を介してコンピュータシステム106にストリーム配信される。クラウドゲーミングインフラストラクチャ112は、遠隔コンテンツソース120から様々な種類のコンテンツを、ネットワーク110を介してコンピュータシステム106に送信されるよう指示してよい。例示の遠隔コンテンツソース120は、ダウンロード可能なコンテンツ及び/またはストリーミングコンテンツを提供するインターネットウェブサイトである。遠隔コンテンツソース120によって提供されるコンテンツは、映画、ゲーム、静的/動的コンテンツ、写真、ソーシャルメディアコンテンツ、ソーシャルメディアウェブサイト等、任意の種類のマルチメディアコンテンツを含み得る。一部の実施形態においては、コンテンツデータは、遠隔コンテンツソース120からコンピュータシステム106に送信され、コンピュータシステム106において、コンテンツデータは、次に、ヘッドマウントディスプレイ102で使用するのに適したフォーマットでコンピュータシステム106によってレンダリングされ、レンダリングされたコンテンツはコンピュータシステム106から有線リンク104を介してヘッドマウントディスプレイ102に送信される。
【0018】
一部の実施形態においては、ユーザ100は、コントローラ(図示せず)を操作して、コンピュータシステム106に入力コマンドを与えてよい。また、一部の実施形態においては、カメラ108は、ユーザ100がいる環境の画像を撮影するように構成される。カメラ108は、リンク109で示すようにコンピュータシステム106に接続される。コンピュータシステム106は、カメラ108が撮影した画像を分析するように動作して、ユーザ100、ヘッドマウントディスプレイ102、及び/または、コントローラの位置及び動きを決定してよい。図1Bに関して記載するように、ヘッドマウントディスプレイ102は、1つまたは複数のライトを含んでよく、そのライトを、マーカとして使用して、カメラ108が撮影した画像の分析を通して、ヘッドマウントディスプレイ102の追跡を容易にできる。また、一部の実施形態においては、カメラ108は、立体写真カメラ、赤外線カメラ、デプスカメラ、または、これらの組み合わせ等、複数の撮像装置を含むように構成できる。一部の実施形態においては、1つまたは複数のマイクロフォン(図示せず)を使用して、ユーザ100及び/または、ユーザ100がいる環境からの音をコンピュータシステム106によって処理するために捕捉できる。
【0019】
一部の実施形態においては、コンピュータシステム106は、コンピュータシステム106の処理ハードウェア上でローカルにゲームを実行するように構成される。ゲームまたはコンテンツは、物理媒体の形態等(例えば、デジタルディスク、テープ、カード、サムドライブ、ソリッドステートチップ若しくはカード等)任意の形態で、または、ネットワーク110を介してインターネットからダウンロードすることによって、取得できる。一部の実施形態においては、コンピュータシステム106は、ネットワーク110を介してクラウドゲーミングインフラストラクチャ112と通信するクライアントとして機能する。クラウドゲーミングインフラストラクチャ112は、ユーザ100がプレイしているビデオゲームを維持、実行してよい。コンピュータシステム106は、ヘッドマウントディスプレイ102、コントローラ、及び、カメラ108から受信した入力をクラウドゲーミングインフラストラクチャ112に送信するように規定でき、クラウドゲーミングインフラストラクチャ112は、その入力を処理して、実行中のビデオゲームのゲーム状態に影響を与える。
【0020】
一部の実施形態においては、ヘッドマウントディスプレイ102、コントローラ、及び、カメラ108は、それら自体、ネットワーク110に接続してクラウドゲーミングインフラストラクチャ112と通信するネットワーク化された装置であってよい。そうでない場合、例えば、コンピュータシステム106は、ビデオゲーム処理を行わず、ネットワークトラフィックの通過を容易にするルータ等のローカルネットワーク装置であってよい。ヘッドマウントディスプレイ102、コントローラ、及び、カメラ108によるネットワーク110への接続は、有線であっても無線であってもよい。
【0021】
ビデオデータ、オーディオデータ、及び、触覚フィードバックデータ等、実行しているビデオゲームからのゲームデータは、クラウドゲーミングインフラストラクチャ112及び/またはコンテンツソース120からコンピュータシステム106に送信できる。コンピュータシステム106は、適切な装置に送信する前にゲームデータをさらに処理してよい、または、適切な装置にゲームデータを直接、送信してよい。例えば、ビデオストリーム及びオーディオストリームは、ヘッドマウントディスプレイ102に送信されてよく、振動フィードバックコマンドは、コントローラに送信されてよい。
【0022】
図1Bは、本発明の例示の実施形態に係る、マルチメディアコンテンツを見る及び/またはマルチメディアコンテンツと対話するユーザ100によって装着される例示のヘッドマウントディスプレイ102を示す。ヘッドマウントディスプレイ102は、ビデオゲームからの対話型シーン、映画からのシーン、インターネットコンテンツ、並びに、他の種類の対話型及び非対話型のコンテンツを含む、豊富なマルチメディアコンテンツをユーザ100が見ることを可能にする。ヘッドマウントディスプレイ102の(向き、位置、方向等を含む)位置及び動きの追跡は、ヘッドマウントディスプレイ102上の慣性センサによって、且つ、ヘッドマウントディスプレイ102の種々の外側表面に分散された、発光ダイオード、赤外線マーカ、視覚マーカ要素等、複数のマーカ要素を、センサの組み合わせを用いて、または、ヘッドマウントディスプレイ102を囲む体積の規定に使用される1つまたは複数の変数に基づいて、追跡することによって可能になる。追跡に使用されるセンサの一部は、ヘッドマウントディスプレイ102の動きの追跡を可能にするヘッドマウントディスプレイ102内の慣性センサ、1つまたは複数の画像センサ、及び、1つまたは複数のデプスセンサを含むが、これらに限らない。ここで、画像センサ及びデプスセンサは、光学追跡を可能にする。慣性センサを用いた追跡は、ヘッドマウントディスプレイ102内に配置された1つまたは複数の加速度計及び1つまたは複数のジャイロスコープを用いて可能にされてよい。
【0023】
画像センサは、1つまたは複数の単レンズカメラ、赤外線カメラ、ステレオカメラ等を含んでよい。デプスセンサは、1つまたは複数の深度検出カメラ、超音波カメラ、三次元(3D)ステレオカメラ、ビデオカメラ等を含んでよい。画像センサ及びデプスセンサは、ヘッドマウントディスプレイ102内に備えられた1つまたは複数のカメラと、ヘッドマウントディスプレイ102を装着しているユーザ100の実世界環境内に分散されたカメラ108等の外部カメラを包含する。例えば、ヘッドマウントディスプレイ102内の画像センサ及び/またはデプスセンサを使用して、ヘッドマウントディスプレイ102を装着しているユーザ100の視点から、ユーザ100の直近の実世界の物体/シーンの画像/ビデオを撮影する。コンテンツが生成されている間、撮影された画像/ビデオは、ヘッドマウントディスプレイ102のディスプレイ部分でレンダリングされてよい。
【0024】
また、撮影された画像/ビデオは、ユーザ100がヘッドマウントディスプレイ102を装着している間、ヘッドマウントディスプレイ102のディスプレイでユーザ100に提示できて、ユーザ100に、「ビデオシースルー」機能を提供する。すなわち、ユーザ100は、厳密な意味でヘッドマウントディスプレイ102を通して見ることはできないにもかかわらず、ヘッドマウントディスプレイ102の撮像装置が撮影したビデオは、ヘッドマウントディスプレイ102が透明であるかのように、ヘッドマウントディスプレイ102の外部の環境を見ることができる等価の機能を提供できる。このようなビデオは、仮想要素を用いて拡張されて、拡張現実体験を提供できる、または、他の方法で仮想要素と組み合わされる、または、混ぜ合わされてよい。記載を容易にするために、「仮想現実シーン」という語は、本明細書においては、完全にコンピュータで生成した仮想現実シーンまたは拡張現実シーンのいずれかである、ヘッドマウントディスプレイ102内のビデオの表示を指す。
【0025】
ユーザ100のシーン内の外部に分散された画像センサ及び/またはデプスセンサは、例えば、ヘッドマウントディスプレイ102の外側表面に分散されたライト、発光ダイオード(LED)、赤外線マーカ等の様々なマーカの画像/ビデオを撮影するように構成される。一実施形態においては、画像/ビデオは、コンピュータシステム106に送信され、コンピュータシステム106において、画像/ビデオフレームを分析して、ヘッドマウントディスプレイ102の位置を正確に決定する。従って、画像/ビデオは、ヘッドマウントディスプレイ102のコンピュータ処理能力内で分析されて、現実シーンの他の物体に対するヘッドマウントディスプレイ102の位置、向き、方向を決定できる。
【0026】
1つの構成においては、ヘッドマウントディスプレイ102は、ヘッドマウントディスプレイ102の1つまたは複数の外側表面の戦略的な位置に配置された(例えば、図1Bの丸2、丸4、丸6で表された)LEDを含む。例えば、LEDは、ヘッドマウントディスプレイ102の前方ブロックユニット102a(例えば、光学素子ブロックとも呼ばれる)の4隅に配置されてよく、ヘッドマウントディスプレイ102の後部/背部102bに2つ配置されてよい。一部の実施形態においては、後部/背部102bは、調節可能なバンドユニットに配置される。ヘッドマウントディスプレイ102は、ユーザ100の頭部にヘッドマウントディスプレイ102をユーザが安全にしっかりと配置するのを可能にする102c及び102D等の他の表面も含んでよい。一部の実施形態においては、前方のLEDは、前方ブロックユニット102aの前面に部分的に配置され、前面の各側に位置する前方ブロックユニット102aの側面に部分的に配置されるように構成されて、部分的L字型、曲がったL字型、ブーメラン型、曲がった長方形、曲がった線、点、円、パターン、または、これらの組み合わせを規定する。マーカは、LEDに限定されず、ライト、赤外線マーカ、色分けされたマーカ、反射マーカ等も含み得る。
【0027】
画像/ビデオフレームの分析を用いて、ヘッドマウントディスプレイ102の異なるマーカの互いに対する、及び、1つまたは複数の基準点からの相対的距離を計算する。計算された距離を用いて、ヘッドマウントディスプレイ102の周りの体積と、使用中の体積の変化を決定して、ヘッドマウントディスプレイ102の位置をより正確に規定する。さらに、一部の実施形態においては、ヘッドマウントディスプレイ102を装着しているユーザ100の動きの方向と位置とをより正確に決定するために、様々なセンサによって撮影されたビデオフレーム/画像を分析して、動きの向き、位置、及び、方向という点で、様々なマーカの位置決定を助ける。
【0028】
また、本明細書に記載するように、ヘッドマウントディスプレイ102上の慣性センサは、慣性センサデータを生成し、慣性センサデータは、ヘッドマウントディスプレイ102に表示される仮想現実シーンを生成するように実行するアプリケーションへの入力としてユーザ100が行ったアクション及び/またはジェスチャを決定するために、分析/処理されて、ヘッドマウントディスプレイ102の位置、動きの方向、及び、動きの速度を決定できる。一部の実施形態においては、慣性センサは、ヘッドマウントディスプレイ102の他のマーカ無しに使用されて、ヘッドマウントディスプレイ102の位置、動きの方向、及び、動きの速度を決定できる。一部の実施形態においては、慣性センサは、ヘッドマウントディスプレイ102の他のマーカと共に使用されて、ヘッドマウントディスプレイの102の位置、動きの方向、及び、動きの速度を決定できる。
【0029】
一部の実施形態においては、ヘッドマウントディスプレイ102は、コンピュータアプリケーションの対話型仮想現実シーン内のビューあるいは視界を提供するように構成される。例えば、仮想現実シーンの生成とヘッドマウントディスプレイ102を通した表示を支援し得る一部のコンピュータアプリケーションは、ゲーム(ファーストパーソンシューターゲーム等)、仮想ツアー(ホテル、旅行サイト、地球上の関心場所等)、拡張現実アプリケーション(仮想ミーティング、遠隔ユーザ間のコラボレーション、共有/同期仮想空間のため等)、及び、拡張現実医療アプリケーション(遠隔検査、検査補助、遠隔手術、遠隔手術補助等)等を含む。様々なコンピュータアプリケーションにおいて、ヘッドマウントディスプレイ102を装着しているユーザ100は、任意の方向に頭を動かして、仮想現実シーンの他の部分を見ることができる。そして、対話型仮想現実シーンの場合、ユーザの頭の動きによるヘッドマウントディスプレイ102の動きを用いて、仮想現実シーン内のユーザ及び/または他の物体の動きの制御、及び/または、仮想現実シーン内にあるオブジェクトに対してユーザのビューをズームイン、ズームアウトする等、仮想現実シーン内の他のアクション、の入力を行うことができる。
【0030】
ヘッドマウントディスプレイ102の仮想現実シーンでレンダリングできる対話型コンテンツは、実質的に無限なので、ユーザは、ほとんどの次元で、仮想現実シーンを見て、仮想現実シーンと対話できる。ユーザの動きの追跡は、ヘッドマウントディスプレイ102内に配置される慣性センサの使用を含み得る。慣性センサは、1つまたは複数の加速度計(MEMS慣性加速度計等)、及び/または、1つまたは複数のジャイロスコープ(リングレーザジャイロスコープ、光ファイバジャイロスコープ、MEMSジャイロスコープ等)を含み得る。ヘッドマウントディスプレイ102の一部の実施態様は、より多くまたはより少ない慣性センサを含んでよい。
【0031】
記載を簡単にするために、本明細書における「慣性センサ」という語は、外部を参照することなしに、自己の動きを検出/感知できる任意の種類の慣性センサを指す。慣性センサは、慣性センサの動きの方向と速度に関する情報を提供する慣性センサデータを生成する。ヘッドマウントディスプレイ102内に固定された慣性センサを用いる場合、慣性センサデータを分析して、ヘッドマウントディスプレイ102の動きの方向と速度を決定でき、次に、その方向と速度を分析して、ヘッドマウントディスプレイ102を装着しているユーザ100の動きの方向と速度を決定できる。このように、慣性センサデータの分析を通して決定されたユーザの動きは、仮想現実シーンを生成、レンダリングするように実行するコンピュータアプリケーションへの入力として使用できる。
【0032】
従って、慣性センサデータの分析を通して、ユーザは、対話型仮想現実シーン内の特定のアクションに影響を与える人間コントローラとして働くことができる。そして、一部の実施形態においては、ユーザの動きと、仮想現実シーン内の対応するアクションとは、必然的に互いに関連し得る。例えば、ユーザの前傾を示す慣性センサデータは、入力としてコンピュータアプリケーションによって使用されて、ユーザの視点を仮想現実シーン内で前に移動させてよい。ユーザの動きの種類と、仮想現実シーン内での対応するアクションとは、人間の体の可能な動きの範囲と、任意の所与の仮想現実シーンの文脈とに応じて、基本的に無限であると理解されたい。
【0033】
図2Aは、本発明の例示の実施形態に係る、マウントディスプレイ102を装着しているユーザ100の側面図を示す。ユーザは、x軸、y軸、z軸で規定される基準デカルト座標系に対してホームポジションにある。図2Bは、本発明の例示の実施形態に係る、マウントディスプレイ102を装着しているユーザ100の正面図を示す。ユーザは、x軸、y軸、z軸で規定される基準デカルト座標系に対してホームポジションにある。
【0034】
図3Aは、本発明の例示の実施形態に係る、ホームポジションからのユーザ100の前傾動作を示す。ユーザ100の前傾動作によって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印201によって示される前傾方向の動きが現れる。慣性センサデータの分析によって決定される前傾方向の動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点を前に移動させること、または、ユーザ若しくはユーザが制御している仮想物体の視点が後ろに移動するのを止めること、または、ユーザのビューを仮想現実シーン内の特定の物体または点にズームインさせること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0035】
図3Bは、本発明の例示の実施形態に係る、ホームポジションからのユーザ100の後傾動作を示す。ユーザ100の後傾動作によって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印203によって示される後傾方向の動きが現れる。慣性センサデータの分析によって決定される後傾方向の動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が前に移動するのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を後ろに移動させること、または、ユーザのビューを仮想現実シーン内の特定の物体または点からズームアウトさせること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0036】
図3Cは、本発明の例示の実施形態に係る、ホームポジションからユーザ100が左に傾く動きを示す。ユーザ100の左に傾く動きによって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印205によって示される左方向に傾く動きが現れる。慣性センサデータの分析によって決定される左方向に傾く動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が右に移動するのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を左に移動させること、または、ユーザ若しくはユーザが制御している仮想物体のビューを左に傾けること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0037】
図3Dは、本発明の例示の実施形態に係る、ホームポジションからユーザ100が右に傾く動きを示す。ユーザ100の右に傾く動きによって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は、慣性センサデータを生成し、その慣性センサデータを分析すると、矢印207によって示される右方向に傾く動きが現れる。慣性センサデータの分析によって決定される右方向に傾く動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が左に移動するのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を右に移動させること、または、ユーザ若しくはユーザが制御している仮想物体のビューを右に傾けること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0038】
図3Eは、本発明の例示の実施形態に係る、マウントディスプレイ102を装着しているユーザ100の上面図を示す。ユーザは、x軸、y軸、z軸で規定される基準デカルト座標系に対してホームポジションにある。図3Fは、本発明の例示の実施形態に係る、ホームポジションからユーザ100が頭を左に向ける動きを示す。ユーザ100の頭を左に向ける動きによって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印209によって示される頭を左に向ける動きが現れる。慣性センサデータの分析によって決定される頭を左に向ける動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が右に向くのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を左に向けること、または、ユーザのビューを左にパンさせること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0039】
図3Gは、本発明の例示の実施形態に係る、ホームポジションからユーザ100が頭を右に向ける動きを示す。ユーザ100の頭を右に向ける動きによって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印211によって示される頭を右に向ける動きが現れる。慣性センサデータの分析によって決定される頭を右に向ける動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が左に向くのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を右に向けること、または、ユーザのビューを右にパンさせること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0040】
図3Hは、本発明の例示の実施形態に係る、ホームポジションからユーザ100の頭を後ろに傾ける動きを示す。ユーザ100の頭を後ろに傾ける動きによって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印213によって示される頭を後ろに傾ける方向の動きが現れる。慣性センサデータの分析によって決定される頭を後ろに傾ける方向の動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が下に向くのを止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を上に向けること、または、ユーザのビューを上にパンすること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0041】
図3Iは、本発明の例示の実施形態に係る、ホームポジションからのユーザ100の頭を前に傾ける動きを示す。ユーザ100の頭を前に傾ける動きによって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印215によって示される頭を前に傾ける方向の動きが現れる。慣性センサデータの分析によって決定される頭を前に傾ける方向の動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点が上に向くのを止めること、または、ユーザまたはユーザが制御している仮想物体の視点を下に向けること、または、ユーザのビューを下にパンすること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0042】
図3Jは、本発明の例示の実施形態に係る、ホームポジションからのユーザ100の下降動作を示す。ユーザ100の下降動作によって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印217によって示される下方への動きが現れる。慣性センサデータの分析によって決定される下方への動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。仮想現実シーン内のアクションへの影響は、ユーザ若しくはユーザが制御している仮想物体の視点の上方への移動を止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を下方に移動させること、または、ユーザ若しくはユーザが制御している仮想物体の視点が仮想現実シーン内で静止状態であると仮定させること、または、選択アクションを生じさせること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0043】
図3Kは、本発明の例示の実施形態に係る、ホームポジションからユーザ100の上昇動作を示す。ユーザ100の上昇動作によって、ヘッドマウントディスプレイ102上の慣性センサ(複数可)は慣性センサデータを生成し、その慣性センサデータを分析すると、矢印219によって示される上方への動きが現れる。慣性センサデータの分析によって決定される上方への動きを使用して、ヘッドマウントディスプレイ102に表示される仮想現実シーン内のアクションに影響を及ぼすことができる。ユーザ若しくはユーザが制御している仮想物体の視点の下方への移動を止めること、または、ユーザ若しくはユーザが制御している仮想物体の視点を上方に移動させること、または、ユーザ若しくはユーザが制御している仮想物体の視点を仮想現実シーン内でジャンプさせること、ヘッドマウントディスプレイ102内でユーザ100に対して現在、表示されている仮想現実シーンの文脈に見合った他の可能なアクション等である。
【0044】
図3Lは、本発明の例示の実施形態に係る、マウントディスプレイ102を装着しているユーザ100の正面図を示す。ユーザは、x軸、y軸、z軸で規定される基準デカルト座標系に対してホームポジションにあり、追加の慣性センサ301が、ヘッドマウントディスプレイ102の外部のユーザ100の体に配置されている。この実施形態においては、ヘッドマウントディスプレイ102の外部のユーザ100の体に配置された追加の慣性センサ301からの信号は、ヘッドマウントディスプレイ102上の慣性センサ(複数可)から受信された信号と共に処理されて、ユーザ100が行っている特定の種類の動きの決定を容易にできる。例えば、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が、横(左右)方向の動きを示し、ユーザ100の体の慣性センサ301が、横方向の動きを示さない時、ヘッドマウントディスプレイ102上の慣性センサ(複数可)によって示される横方向の動きは、横方向に傾く動きではなく、頭を横に傾ける動きに対応するとして解釈できる。同様に、別の例において、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が横(左右)方向の動きを示し、ユーザ100の体上の慣性センサ301も横方向の動きを示す時、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が示す横方向の動きは、頭を横に傾ける動きではなく、横方向に傾く動きに対応するとして解釈できる。
【0045】
別の例において、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が、前方への動きを示し、ユーザ100の体の慣性センサ301が前方への動きを示さない時、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が示す前方への動きは、前傾動作ではなく、頭を前に傾ける動きに対応するとして解釈できる。同様に、別の例において、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が、前方への動きを示し、ユーザ100の体の慣性センサ301も前方への動きを示す時、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が示す前方への動きは、頭を前に傾ける動きではなく、前傾動作に対応するとして解釈できる。
【0046】
別の例において、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が、後方への動きを示し、ユーザ100の体の慣性センサ301は、後方への動きを示さない時、ヘッドマウントディスプレイ102上の慣性センサ(複数可)によって示される後方への動きは、後傾動作ではなく、頭を後ろに傾ける動きに対応すると解釈できる。同様に、別の例において、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が、後方への動きを示し、ユーザ100の体の慣性センサ301も後方への動きを示す時、ヘッドマウントディスプレイ102上の慣性センサ(複数可)によって示される後方への動きは、頭を後ろに傾ける動きではなく、後傾動作に対応すると解釈できる。
【0047】
別の例において、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が、回転方向(左または右への回転)の動きを示し、ユーザ100の体の慣性センサ301が回転方向の動きを示さない時、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が示す回転方向の動きは、体の回転方向への動きではなく、頭の回転方向への動きに対応すると解釈できる。別の例において、ヘッドマウントディスプレイ102上の慣性センサ(複数可)が、第1の回転方向への動きを示し、ユーザ100の体の慣性センサ301が、第1の回転方向の動きとは反対の第2の回転方向への動きを示す時、ユーザ100の体の慣性センサに対してヘッドマウントディスプレイ102上の慣性センサ(複数可)が示す反対向きの回転運動は、ワインドアップ動作等の、反対の回転動作に対応すると解釈できる。
【0048】
図3Lに示されたユーザ100の体の慣性センサ301の特定の数及び位置は、例として提供したことを理解されたい。様々な実施形態において、ユーザ100の体の慣性センサ301の数及び位置は、ユーザ100の特定の動きを判別するために、ヘッドマウントディスプレイ102上の慣性センサ(複数可)によって生成された信号と比較するための体の動きを表す信号を提供するように必要に応じて、変化し得る。
【0049】
図3A〜図3Lに関して記載したユーザ100の特定の動きは、ユーザ100の可能な動きのより幅広いセットのうちの一例であることを理解されたい。従って、図3A〜図3Lに関して記載したユーザ100の特定の動きは、基本の動きと考えてよいが、ユーザ100のこれらの特定の動きは、ユーザ100可能な動きの全てを網羅するものではない。慣性センサデータの分析によって、図3A〜図3Lに示すユーザ100の特定の動きと、その動きの間に生じ得るユーザ100の任意の方向とを含む、生じ得るユーザ100の動きの任意の方向を表すことができる。また、仮想現実シーンの文脈に見合った仮想現実シーン内の任意のアクションは、ヘッドマウントディスプレイ102内の慣性センサから受信した慣性センサデータの分析を通して検出可能なユーザ100の任意の動きに相関させることができる。
【0050】
図4は、本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、コンピュータシステムを操作して、仮想現実シーンのためのビデオデータを生成する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ヘッドマウントディスプレイにビデオデータを送信する操作401を含む。本方法は、ヘッドマウントディスプレイ内の1つまたは複数の慣性センサから慣性センサデータを受信する操作403も含む。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。本方法は、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作405も含む。本方法は、アクションの実施を反映するように仮想現実シーンへの更新を生成する操作407も含む。仮想現実シーンへの更新は、受信した慣性センサデータに相関されたアクションを処理した後の仮想現実シーンを反映するビデオデータである。
【0051】
一部の実施形態においては、操作405の相関は、ヘッドマウントディスプレイの動きのルートの決定と、ヘッドマウントディスプレイの動きの速度の決定を含む。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の1つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【0052】
操作405の相関は、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定することも含み得る。操作405の相関は、許容できる仮想の動きのセット内の対応する仮想の動きにヘッドマウントディスプレイの動きのルートをマッピングすることも含み得る。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートを対応する仮想の動きにマッピングすることは、較正表にクエリを行うことを含み、較正表は、ヘッドマウントディスプレイの動きの多くのルートと、仮想現実シーン内、すなわち、仮想現実シーンの現在の文脈内に結果として生じるアクションとの関連を規定する。
【0053】
操作405の相関は、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する可能の動きの速度にマッピングすることも含み得る。仮想現実シーン内において、仮想の動きは、ユーザの視点、ユーザの制御下の物体、または、仮想現実シーン内の何らかの他の動きのアクションに関してよい。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートと動きの速度との両方を仮想現実シーン内の対応する仮想の動きにマッピングすることは、較正表にクエリを行うことを含み、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの関連を規定する。
【0054】
一部の実施形態においては、操作405において、受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。一部の実施形態においては、操作405において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、操作405において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、操作405において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、仮想現実シーン内に表示される物体の動きである。しかしながら、特定の実施形態に関わらず、操作405において受信した慣性センサデータを相関させる仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示される仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【0055】
操作405の相関が仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定することを含む一部の実施形態においては、操作405の相関がヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないと、決定することも含み得る。これらの実施形態においては、本方法は、フィードバック信号をヘッドマウントディスプレイに送信するオプション操作も含むことができ、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応していないことをユーザに通知する。
【0056】
図4の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置されている1つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図3Lに関して記載した等のユーザが行う特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作も含み得る。そうして、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作405は、ユーザの体に配置された1つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【0057】
図5は、本発明の例示の実施形態に係る、ヘッドマウントディスプレイから受信した慣性センサデータと視線方向データとに基づいて、仮想現実シーンのためのビデオデータを生成するようにコンピュータシステムを操作する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信する操作501を含む。本方法は、ヘッドマウントディスプレイ内の1つまたは複数の慣性センサから慣性センサデータを受信する操作503も含む。慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す。ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている。
【0058】
本方法は、ヘッドマウントディスプレイ内の1つまたは複数の視線検出器からの視線方向データを受信する操作505も含む。視線検出器は、ユーザの眼の瞳孔の正確な位置を検出するように規定される。視線方向データは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向(vision focus direction)を示す。本方法は、視線方向データを慣性センサデータと同期させて、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの同期された視覚の焦点方向を決定する操作507も含む。一部の実施形態においては、操作507において視線方向データを慣性センサデータに同期させることは、視線方向データと慣性センサデータが時間的に同じインスタンスに対応するように、視線方向データと慣性センサデータを時間的に整列させることを含む。
【0059】
本方法は、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作509も含む。操作509の相関は、受信した慣性センサデータに基づいて、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度を決定する操作509Aを含む。操作509の相関は、ヘッドマウントディスプレイの動きのルートと同期された視覚の焦点方向との両方を使用して、仮想現実シーン内のアクションを決定する操作509Bも含む。一部の実施形態においては、同期された視覚の焦点方向は、仮想現実シーン内のアクションを決定する時、方向重み付けパラメータとして適用される。例えば、一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続した時間量に比例する。図4の方法において操作405の相関に関して記載した特徴の任意の特徴を操作509の相関にも適用できることも理解されたい。
【0060】
図5の方法は、アクションの実施を反映するように仮想現実シーンへの更新を生成する操作511をさらに含む。仮想現実シーンへの更新は、受信した慣性センサデータと受信した視線方向データとの両方に相関されるアクションを処理した後の仮想現実シーンを反映するビデオデータである。
【0061】
図5の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された1つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図3Lに関して記載した等のユーザが行った特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作も含み得る。そうして、受信した慣性センサデータを仮想現実シーン内のアクションに相関させる操作509は、ユーザの体に配置された1つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【0062】
図6は、本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号が仮想現実シーン内にアクションを起こす入力として提供されるヘッドマウントディスプレイを操作する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイでビデオデータを受信する操作601を含み、ビデオデータは、仮想現実シーンを規定する。本方法は、ユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内に仮想現実シーンを表示する操作603も含む。本方法は、ヘッドマウントディスプレイ内の1つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成する操作605も含む。ユーザの動きは、仮想現実シーン内に行われるべきアクションに対応する。
【0063】
慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定する。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートと、ヘッドマウントディスプレイの動きの速度とは、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内で対応する仮想の動きにコンピューティングシステムによってマッピングされる。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内で1つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【0064】
一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内でのユーザの視点の動きである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。しかしながら、特定の実施形態に関わらず、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示される仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【0065】
本方法は、慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信する操作607も含む。本方法は、ユーザの動きに対応する仮想現実シーン内のアクションを反映する更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信する操作609も含む。本方法は、ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示する操作611も含む。
【0066】
また、一部の実施形態においては、図6の方法は、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内に対応する仮想の動きを有していないことを示すフィードバック信号をコンピューティングシステムから受信するオプション操作を含み得る。フィードバック信号に応答して、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内の有効なアクションに対応していないことをユーザに通知し得る。一部の実施形態においては、フィードバック信号をユーザに通知することは、ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、視覚信号等の1つまたは複数を提供することによって行うことができる。
【0067】
図6の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置されている1つまたは複数の外部の慣性センサからの慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。コンピューティングシステムは、次に、図3Lに関して記載した等のユーザが行った特定の動きを決定するために、ヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと組み合わせて外部の慣性センサデータを使用できる。そうして、操作609で受信された更新された仮想現実シーンを規定するビデオデータは、外部の慣性センサデータとヘッドマウントディスプレイの慣性センサデータとの組み合わせから判別される仮想シーン内のアクションを反映する。
【0068】
図7は、本発明の例示の実施形態に係る、ユーザの動きに基づいて生成された慣性データ信号と視線方向データとの両方を仮想現実シーン内にアクションを起こすための入力として提供するヘッドマウントディスプレイを操作する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイでビデオデータを受信する操作701を含み、ビデオデータは、仮想現実シーンを規定する。本方法は、ユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内に仮想現実シーンを表示する操作703も含む。本方法は、ヘッドマウントディスプレイ内の1つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成する操作705も含む。ユーザの動きは、仮想現実シーン内で行われるアクションに対応する。本方法は、慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信する操作707も含む。
【0069】
慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定する。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とは、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内の対応する仮想の動きにコンピューティングシステムによってマッピングされる。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の1つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【0070】
一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。しかしながら、特定の実施形態に関わらず、生成された慣性センサデータが対応する仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示された仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【0071】
本方法は、ヘッドマウントディスプレイ内の1つまたは複数の視線検出器を操作して、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対してユーザの視覚の焦点方向を示す視線方向データを生成する操作709も含む。視線検出器は、ユーザの眼の瞳孔の正確な位置を検出するように規定される。本方法は、ビデオデータの送信元であるコンピューティングシステムに、視線方向データを送信する操作711も含む。視線方向データは、慣性センサデータと同期されて、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの同期された視覚の焦点方向を決定する。一部の実施形態においては、視線方向データを慣性センサデータと同期することは、視線方向データと慣性センサデータとを時間的に同じインスタンスに対応させるように、視線方向データと慣性センサデータとを時間的に整列させることを含む。慣性センサデータから決定されたヘッドマウントディスプレイの動きのルートと、同期された視覚の焦点方向との両方を用いて、ユーザの動きに対応する仮想現実シーン内のアクションを決定する。
【0072】
本方法は、ユーザの動きに対応する仮想現実シーン内のアクションを反映する更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信する操作713も含む。本方法は、ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示する操作715も含む。
【0073】
また、一部の実施形態においては、図7の方法は、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内に対応する仮想の動きを有さないことを示すフィードバック信号をコンピューティングシステムから受信するオプション操作を含み得る。フィードバック信号に応答して、ヘッドマウントディスプレイの動きのルートは、仮想現実シーンの現在の文脈内の有効なアクションに対応していないことをユーザに通知できる。一部の実施形態においては、フィードバック信号のユーザへの通知は、ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、視覚信号等の1つまたは複数を提供することによって行うことができる。
【0074】
図7の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された1つまたは複数の外部の慣性センサからの慣性センサデータを、ビデオデータの送信元であるコンピューティングシステムに送信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。コンピューティングシステムは、次に、図3Lに関して記載した等のユーザが行った特定の動きを決定するために、ヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと組み合わせて、外部の慣性センサデータを使用できる。そうして、操作713で受信した更新された仮想現実シーンを規定するビデオデータは、外部の慣性センサデータとヘッドマウントディスプレイの慣性センサデータとの組み合わせから判別される仮想シーン内のアクションを反映する。
【0075】
図8は、本発明の例示の実施形態に係る、コンピュータシステムを操作して、仮想現実シーン内のアクションを、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて較正する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイを装着しているユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内の仮想現実シーンに表示するために、ビデオデータをヘッドマウントディスプレイに送信する操作801を含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された1つまたは複数の慣性センサを備える。仮想現実シーン内に特定のアクションを起こすジェスチャを行うようにユーザに要求する仮想現実シーンが生成される。例えば、仮想現実シーンは、行うべきジェスチャのグラフィックを示してよい、または、行うべきジェスチャのテキスト命令を表示してよい、または、要求されたジェスチャを行うようにユーザを暗に誘うシーンを単に示してよい。要求されたジェスチャによって、ヘッドマウントディスプレイを動かし、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。
【0076】
本方法は、ヘッドマウントディスプレイから慣性センサデータを受信する操作803も含む。慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすのに応答して、ヘッドマウントディスプレイの動きを示す。本方法は、受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させる操作805も含み、それによって、操作803で受信した慣性センサデータにほぼ等しい慣性センサデータをその後、受信すると、仮想現実シーン内でその特定のアクションが実行される。操作805の相関は、受信した慣性センサデータと特定のアクションとを仮想現実シーンの文脈に関連付けることであると理解されたい。
【0077】
受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させることは、受信した慣性センサデータに関連付けられたユーザの動きを仮想現実シーン内で特定のアクションを起こすように効果的に較正することである。一部の実施形態においては、操作805において受信した慣性センサデータを特定のアクションに相関させることは、ヘッドマウントディスプレイの動きのルートを決定することと、ヘッドマウントディスプレイの動きの速度を決定することと、特定のアクションと、ヘッドマウントディスプレイの動きの決定されたルート及びヘッドマウントディスプレイの動きの決定された速度との関連を記録することとを含む。
【0078】
図8の方法は、仮想現実シーン内の複数の特定のアクションのそれぞれに対して、操作801、803、805を繰り返すことも含み得る。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、前に移動、後ろに移動、左に移動、及び、右に移動の移動アクションを含み、これらの移動アクションを起こすためにユーザが行うジェスチャは、それぞれ、前傾、後傾、左に傾くこと、右に傾くことである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、左を見ること、右を見ること、上を見ること、及び、下を見ることの見るアクションを含み、これらの見るアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を左に向ける、頭を右に向ける、頭を後ろに傾ける、頭を前に傾けることである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ジャンプ及びダッキングの垂直方向の動作アクションを含み、これらの垂直方向の動作アクションを起こすためにユーザが行うジェスチャは、それぞれ、ジャンプ、ダッキングである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、座ることを含み、座ることを起こすためにユーザが行うジェスチャは、スクワットである。一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ズームイン及びズームアウトのズームアクションを含み、これらのズームアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を前に動かすことと頭を後ろに動かすことである。
【0079】
図8の方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された1つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図3Lに関して記載した等のユーザが行った特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作を含み得る。そうして、受信した慣性センサデータを仮想現実シーン内の特定のアクションと相関させる操作805は、ユーザの体に配置された1つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【0080】
図9Aは、本発明の例示の実施形態に係る、コンピュータシステムを操作して、ヘッドマウントディスプレイから受信した慣性センサデータに基づいて、仮想現実シーン内のアクションを動的に較正する方法のフローチャートを示す。本方法は、ヘッドマウントディスプレイを装着しているユーザが仮想現実シーンを見ることができるように、ヘッドマウントディスプレイ内に仮想現実シーンを表示するためにヘッドマウントディスプレイにビデオデータを送信する操作901を含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された1つまたは複数の慣性センサを備える。仮想現実シーン内に特定のアクションを起こすジェスチャをユーザが行うのを可能にする仮想現実シーンが生成される。例えば、仮想現実シーンは、ユーザに既になじみのあるアプリケーションに関してよい。ユーザのジェスチャによって、ヘッドマウントディスプレイは動き、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される。
【0081】
本方法は、ヘッドマウントディスプレイから慣性センサデータを受信する操作903も含む。慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す。本方法は、受信した慣性センサデータを処理することによってユーザの動きのルートとユーザの動きの速度とを決定する操作905も含む。本方法は、受信した慣性センサデータに対応する仮想現実シーンの動きの分類を決定する操作907も含む。本方法は、受信した慣性センサデータを仮想現実シーンの決定された動きの分類に相関させる操作909も含む。そして、本方法は、受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関をユーザプロファイルに記録する操作911を含む。図9Bは、本発明の例示の実施形態に係る、受信した慣性センサデータの、ユーザプロファイルの仮想現実シーンの決定された動きの分類への相関の例を示す。受信した慣性センサデータのユーザプロファイルの仮想現実シーンの決定された動きの分類への相関は、ユーザが動いて仮想現実シーン内にアクションを起こすと、仮想現実シーンに関連付けられたアプリケーションによって継続的、自動的に更新できる。
【0082】
図9Aの方法は、ヘッドマウントディスプレイを装着しているユーザの体に配置された1つまたは複数の外部の慣性センサから慣性センサデータを受信するオプション操作も含み得る。外部の慣性センサデータは、ユーザの体の動きを示す。本方法は、図3Lに関して記載した等のユーザが行った特定の動きを決定するために、外部の慣性センサデータをヘッドマウントディスプレイの慣性センサから受信した慣性センサデータと比較する操作を含み得る。そうして、ユーザの動きのルートを決定する操作905は、ヘッドマウントディスプレイ内の慣性センサから受信した慣性センサデータと比較して、ユーザの体に配置された1つまたは複数の外部の慣性センサから受信した外部の慣性センサデータを考慮する。
【0083】
図10は、本発明の例示の実施形態に係る、ヘッドマウントディスプレイ102のブロックレベルアーキテクチャを示す。使用可能な構成及び機能に応じて、図10に示すよりも多いまたは少ないコンポーネントが、ヘッドマウントディスプレイ102に含まれてよい、または、ヘッドマウントディスプレイ102から除かれてよいことは理解されたい。ヘッドマウントディスプレイ102は、プログラム命令を実行するプロセッサ1001を含んでよい。メモリ1003が、データを記憶する目的で備えられ、メモリ1003は、揮発性及び不揮発性の両方のメモリを含んでよい。ユーザが見ることができる視覚的インタフェースを提供するディスプレイ1005が含まれる。ディスプレイ1005は、1つの単一ディスプレイによって、または、各眼に対して別個のディスプレイ画面の形で、規定できる。2つのディスプレイ画面を備える時、左眼と右眼のビデオコンテンツを別個に提供することが可能である。各眼に対して別個のビデオコンテンツを提示することによって、例えば、仮想現実シーンの三次元コンテンツのより良い没入型制御を提供できる。
【0084】
電池1007は、ヘッドマウントディスプレイ102の電源として備えられてよい。他の実施形態においては、電源は、電力へのアウトレット接続を含み得る。他の実施形態においては、電力へのアウトレット接続と電池1007とを備えてよい。一部の実施形態においては、ヘッドマウントディスプレイ102は、同じケーブルから電力を取得する、または、別のケーブルに接続できる。一部の実施形態においては、ヘッドマウントディスプレイ102は、余分な電力コードを使用しないように、充電可能な電池1007を有してよい。
【0085】
動き検出モジュール1037は、磁力計1039、加速度計1041、及び、ジャイロスコープ1043等、様々な種類の動き感知ハードウェアのうちの任意のハードウェアを含んでよい。磁力計1039は、ヘッドマウントディスプレイ102の近くの磁場の強さと方向を測定する。一部の実施形態においては、3つの磁力計1039が、ヘッドマウントディスプレイ102内で使用されて、ワールド空間のヨー角の絶対参照を確実にする。一部の実施形態においては、磁力計1039は、±80マイクロテスラである地球の磁場に亘るように設計される。磁力計は、金属の影響を受け、実際のヨーに対して単調である(monotonic)ヨー測定値を提供する。磁場は、環境内の金属によってゆがめられる場合があり、それによって、ヨー測定にひずみが起こる。必要に応じて、このひずみは、ジャイロスコープまたはカメラ等の他のセンサからの情報を用いて較正できる。一部の実施形態においては、加速度計1041は、磁力計1039と共に使用されて、ヘッドマウントディスプレイ102の傾きと方位角を取得する。
【0086】
加速度計1041は、加速度と重力によって生じる反作用の力を測定する装置である。一本または複数の軸(例えば、6本の軸)のモデルは、異なる方向の加速度の大きさと方向を検出できる。加速度計1041を用いて、傾き、振動、及び、衝撃を感知できる。一実施形態においては、3つの加速度計1041を用いて、重力の方向を提供し、重力の方向によって、2つの角(ワールド空間のピッチとワールド空間のロール)に絶対参照を与える。
【0087】
ジャイロスコープ1043は、角運動量の原理に基づいて、向きを測定または維持する装置である。一実施形態においては、3つのジャイロスコープ1043が、慣性感知に基づいて、各座標軸(x、y、z)に対する動きに関する情報を提供する。ジャイロスコープ1043は、速い回転の検出を支援する。しかしながら、ジャイロスコープ1043は、絶対参照の存在がないと、時間が経つと、ドリフトする可能性がある。これは、ジャイロスコープ1043の定期的なリセットを必要とし、リセットは、物体の視覚的追跡、加速度計、磁力計等に基づいた位置/向きの決定等、他の入手可能な情報を用いて行うことができる。
【0088】
ヘッドマウントディスプレイ102が露出されている実世界環境の画像及び画像ストリームを撮影するためにカメラ1009が備えられている。後ろを向いている(ユーザがヘッドマウントディスプレイ102のディスプレイを見ている時、ユーザから離れた方を向いている)カメラ1009、及び、前を向いている(ユーザがヘッドマウントディスプレイ102のディスプレイを見ている時、ユーザの方を向いている)カメラ1009を含む、複数のカメラ1009(オプション)が、ヘッドマウントディスプレイ102に含まれてよい。さらに、ヘッドマウントディスプレイ102が露出されている実世界環境の物体の奥行情報を感知するデプスカメラ1011が、ヘッドマウントディスプレイ102に含まれてよい。
【0089】
ヘッドマウントディスプレイ102は、音声出力を提供するスピーカ1013を含む。また、周囲環境からの音、ユーザが行った発話等、実世界環境からの音声を捕捉するマイクロフォン1015を含んでよい。ヘッドマウントディスプレイ102は、触覚フィードバックをユーザに与える触覚フィードバックモジュール1017を含む。一実施形態においては、触覚フィードバックモジュール1017は、触覚フィードバックをユーザに与えるように、ヘッドマウントディスプレイ102に動き及び/または振動を起こすことができる。
【0090】
LED1019が、ヘッドマウントディスプレイ102の状態の視覚インジケータとして備えられる。例えば、LEDは、電池レベル、電源オン等を示してよい。LED1019は、ヘッドマウントディスプレイ102が存在する実世界環境を見ているカメラによって、ヘッドマウントディスプレイの102の位置及び動きを視覚的に追跡するためにも使用できる。カードリーダ1021が備えられて、ヘッドマウントディスプレイ102が、メモリカードに情報を書き込み、メモリカードから情報を読み出すことを可能にする。USBインタフェース1023が、周辺装置への接続、または、他のポータブル装置、コンピュータ等、他の装置への接続を可能にするインタフェースの一例として含まれる。ヘッドマウントディスプレイ102の様々な実施形態において、ヘッドマウントディスプレイ102の接続性を向上させることができる様々な種類のインタフェースのうちの任意のインタフェースが含まれてよい。
【0091】
WiFiモジュール1025が、無線ネットワーキング技術を介してヘッドマウントディスプレイ102のインターネットへの接続を可能にするために含まれてよい。また、ヘッドマウントディスプレイ102は、他の装置への無線接続を可能にするブルートゥース(登録商標)モジュール1027を含んでよい。通信リンク1029も、他の装置への接続のために含まれてよい。一実施形態においては、通信リンク1029は、無線通信のために赤外線伝送を利用する。他の実施形態においては、通信リンク1029は、他の装置と通信するために、様々な無線または有線の伝送プロトコルの任意のプロトコルを利用してよい。
【0092】
入力ボタン/センサ1031が備えられて、ユーザに入力インタフェースを提供する。ボタン、ジェスチャ、タッチパッド、ジョイスティック、トラックボール等、様々な種類の入力インタフェースの任意のインタフェースが含まれてよい。超音波通信モジュール1033が、超音波技術を介して他の装置への通信を促進するためにヘッドマウントディスプレイ102に含まれてよい。
【0093】
ヘッドマウントディスプレイ102は、ヘッドマウントディスプレイ102を装着しているユーザからの生理学的データの検出を可能にする1つまたは複数のバイオセンサ1035も含み得る。一部の実施形態においては、バイオセンサ1035は、ユーザの皮膚、音声検出、眼の網膜検出を通したユーザの生体電気信号を検出してユーザ/プロファイルを識別する1つまたは複数の乾燥電極を含む。
【0094】
図10に示すヘッドマウントディスプレイ102のコンポーネントは、ヘッドマウントディスプレイ102に含まれてよいコンポーネントの例であり、ヘッドマウントディスプレイ102に含むことができる全ての可能なコンポーネントを表していないことを理解されたい。例えば、様々な実施形態において、ヘッドマウントディスプレイ102は、図10に示すコンポーネントの一部を含んでもよく、含まなくてもよい。そして、一部の実施形態においては、ヘッドマウントディスプレイ102は、図10には示していない追加のコンポーネントを含んでよい。
【0095】
図11Aは、本発明の一部の実施形態を実施するのに使用されてよいコンピュータシステム106及び他のインタフェースハードウェアのブロックレベルアーキテクチャの例を示す。一部の実施形態においては、コンピュータシステム106は、Sony(登録商標)PlayStation(登録商標)エンターテイメントデバイスであってよい。本明細書で使用されるPlayStation(登録商標)という語は、最初のPlayStation(登録商標)、PlayStation2(登録商標)、PlayStation3(登録商標)、PlayStation4(登録商標)、または、PlayStation(登録商標)ゲームシステムの任意の将来のバージョンを指す。コンピュータシステム106は、セルプロセッサ1102、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット1104、専用ビデオランダムアクセスメモリ(VRAM)ユニット1108を有するリアリティシンセサイザグラフィックスユニット1106、及び、I/Oブリッジ1110を含み得る。コンピュータシステム106は、I/Oブリッジ1110を通してアクセス可能な、ディスク1112aから読み出すためのBlu Ray(登録商標)Disk BD−ROM(登録商標)光学ディスクリーダ1112とリムーバブルスロットインハードディスクドライブ(HDD)1114も含み得る。オプションで、コンピュータシステム106は、コンパクトフラッシュ(登録商標)メモリカード、メモリスティック(登録商標)メモリカード等を読み取るメモリカードリーダ1101も含み、メモリカードリーダ1101は、同様に、I/Oブリッジ1110を通してアクセス可能である。I/Oブリッジ1110は、6つのユニバーサルシリアルバス(USB)2.0ポート1116、ギガビットイーサネット(登録商標)ポート1118、IEEE802.1lb/g無線ネットワーク(Wi−Fi)ポート1120、及び、7つのブルートゥース(登録商標)接続までサポートできるブルートゥース(登録商標)無線リンクポート1122にも接続する。
【0096】
操作時、I/Oブリッジ1110は、1つまたは複数のゲームコントローラ1162、1124からのデータを含む、無線、USB、及び、イーサネット(登録商標)のデータの全てを扱う。例えば、ユーザがゲームをしている時、I/Oブリッジ1110は、ブルートゥース(登録商標)リンクを介してゲームコントローラ1162、1124からデータを受信し、データをセルプロセッサ1102に導き、セルプロセッサ1102は、それに従って、ゲームの現在の状態を更新する。
【0097】
無線、USB、及び、イーサネット(登録商標)のポートは、ゲームコントローラ1162、1124に加えて、リモートコントロール1126、キーボード1128、マウス1130、Sony PSP(登録商標)エンターテイメントデバイス等のポータブルエンターテイメントデバイス1132、PlayStation(登録商標)Eye Camera1134等のビデオカメラ、形状オブジェクト1136、及び、マイクロフォン1138等、他の周辺装置への接続性も提供する。よって、このような周辺装置は、原理上、コンピュータシステム106に無線で接続されてよい。例えば、ポータブルエンターテイメントデバイス1132は、Wi−Fiアドホック接続を介して通信してよく、形状オブジェクト1136は、ブルートゥース(登録商標)リンクを介して通信してよい。
【0098】
これらのインタフェースを備えることは、コンピュータシステム106が、デジタルビデオレコーダ(DVR)、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、ボイスオーバーインターネットプロトコル(IP)電話、モバイル電話、プリンタ、及び、スキャナ等の他の周辺装置にも対応可能であることを意味する。さらに、レガシーメモリカードリーダ1140が、USBポート1116を介してシステムユニットに接続されてよく、初期のPlayStationデバイスで使用された種類のメモリカードの読み取りを可能にする。
【0099】
ゲームコントローラ1162、1124は、ブルートゥース(登録商標)リンクを介してコンピュータシステム106に無線で通信するように、または、USBポートに接続されて、ゲームコントローラ1162、1124の電池を充電する電力も提供するように動作可能である。ゲームコントローラ1162、1124は、また、メモリと、プロセッサと、メモリカードリーダと、フラッシュメモリ等の永久メモリと、照射された球体部分、発光ダイオード(LED)、若しくは、赤外光等の発光体と、超音波通信のためのマイクロフォン及びスピーカと、音響チャンバと、デジタルカメラと、内部クロック、ゲームコンソールに面している認識可能な形状(a recognizable shape facing the game console)と、ブルートゥース(登録商標)、WiFi(商標)等のプロトコルを用いた無線通信を含み得る。認識可能な形状は、実質的に、球体、立方体、平行四辺形、直方体、円錐、角錐、サッカーボール、フットボール、若しくは、ラグビーボール、不完全な球体、球体の一部、角錐台、円錐台、野球のバット、切頂立方体、星形等、または、これらの形の2つ以上の組み合わせであってよい。
【0100】
ゲームコントローラ1124は、両手で使用されるように設計されコントローラであり、ゲームコントローラ1162は、ボールアタッチメントが付いた片手コントローラである。1つまたは複数のアナログジョイスティックと従来のコントロールボタンに加えて、ゲームコントローラは、三次元の位置決定が可能である。結果として、ゲームコントローラのユーザによるジェスチャ及び動きは、従来のボタンまたはジョイスティックのコマンドに加えて、または、その代わりにゲームへの入力として翻訳されてよい。オプションで、Sony PSP(登録商標)ポータブルデバイス等の他の無線対応の周辺装置をコントローラとして使用してよい。Sony PSP(登録商標)ポータブルデバイスの場合、追加のゲームまたは制御情報(例えば、制御命令、または、プレイ可能回数)が、デバイスの画面に提供されてよい。ダンスマット(図示せず)、ライトガン(図示せず)、ハンドルとペダル(図示せず)、または、即答を要するクイズゲーム用の1つ若しくは数個の大きいボタン等の特注コントローラ(同様に、図示せず)などの、他の代替または追加の制御装置を使用してよい。
【0101】
リモートコントロール1126は、ブルートゥース(登録商標)リンクを介してコンピュータシステム106と無線で通信するようにも動作可能である。リモートコントロール1126は、Blu Ray(商標)ディスクBD−ROMリーダ1112の動作、及び、ディスクコンテンツのナビゲーションに適したコントロールも含む。Blu Ray(商標)ディスクBD−ROMリーダ1112は、従来の記録済み及び記録可能なCDと、いわゆるスーパーオーディオCDとに加えて、任意のPlayStationデバイスに対応したCD−ROMを読み取るように動作可能である。リーダ1112は、従来の記録済み及び記録可能なDVDに加えて、任意のPlayStationデバイスに対応したDVD−ROMを読み取るようにも動作可能である。リーダ1112は、任意のPlayStationデバイスに対応したBD−ROMと、従来の記録済み及び記録可能なBlu−ray(登録商標)ディスクを読み取るようにさらに動作可能である。
【0102】
コンピュータシステム106は、リアリティシンセサイザグラフィックスユニット(RSX)1106を介してPlayStationデバイスによって生成またはデコードされた音声とビデオを、ディスプレイ1146及び1つまたは複数のラウドスピーカ1148若しくはスタンドアロンスピーカ1150を有するモニタまたはテレビジョンセット等のディスプレイ及び音声出力装置1142に、オーディオコネクタ及びビデオコネクタを通して提供するように動作可能である。一部の実施形態においては、音声入力及び視線入力を利用して、ユーザのPOGに従った特定のオーディオスピーカに向かって音を再生する。オーディオコネクタ1158は、従来のアナログ出力及びデジタル出力を含んでよく、ビデオコネクタ1160は、コンポーネントビデオ、S−ビデオ、コンポジットビデオ、及び、1つまたは複数の高解像度マルチメディアインタフェース(HDMI(登録商標))の出力を様々に含んでよい。結果として、ビデオ出力は、PAL若しくはNTSC等のフォーマットで、または、720p、1080i若しくは1080pの高解像度であってよい。オーディオ処理(生成、デコーディング等)は、セルプロセッサ1302によって行われる。PlayStation3デバイスのオペレーティングシステムは、Dolby(登録商標)5.1サラウンドサウンド、Dolby(登録商標)Theatre Surround(DTS)、及び、Blu−ray(登録商標)ディスクからの7.1サラウンドサウンドのデコードを支援する。
【0103】
コンピュータシステム106は、セルプロセッサ1102と通信する慣性処理モジュール1170も含む。慣性処理モジュール1170は、ヘッドマウントディスプレイ102内の慣性センサから慣性センサデータを受信するように接続される。図11Bは、本発明の例示の実施形態に係る、慣性処理モジュール1170のブロックレベル図を示す。慣性処理モジュール1170は、ヘッドマウントディスプレイ102から慣性センサデータを受信するように構成された慣性データ処理モジュール1180を含む。慣性センサデータは、ヘッドマウントディスプレイ102を装着しているユーザの動きに従ったヘッドマウントディスプレイの102の動きを示す。ユーザの動きは、ヘッドマウントディスプレイ102内に表示される仮想現実シーンに基づいている。慣性データ処理モジュール1180は、ヘッドマウントディスプレイ102の動きのルートとヘッドマウントディスプレイ102の動きの速度とを慣性センサデータから決定するように構成される。一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の1つまたは複数のユーザの動きに対応する。しかしながら、他の実施形態においては、ヘッドマウントディスプレイの動きのルートは、人体の動きの能力内の任意のユーザの動きに基本的に対応してよい。
【0104】
慣性処理モジュール1170は、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを、ヘッドマウントディスプレイ102内に現在、表示されている仮想現実シーン内のアクションに相関させるように構成された慣性データ相関モジュール1182も含む。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。しかしながら、慣性センサデータを相関させる仮想現実シーン内のアクションは、基本的に、ヘッドマウントディスプレイ内でユーザに表示される仮想現実シーンの現在の文脈に見合った任意の種類のアクションであってよいことは理解されたい。
【0105】
慣性処理モジュール1170は、リアリティシンセサイザグラフィックスユニット(RSX)1106等、レンダリングエンジンにコマンド信号を提供するように構成された慣性データコマンド出力モジュール1184も含む。コマンド信号は、ヘッドマウントディスプレイ102の動きのルートと動きの速度に相関したアクションの実施を反映するように仮想現実シーンを更新するようにレンダリングエンジンに指示する。
【0106】
一部の実施形態においては、慣性データ相関モジュール1182は、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセットを決定するように構成される。一部の実施形態においては、慣性データ相関モジュール1182は、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングするように構成される。一部の実施形態においては、慣性データ相関モジュール1182は、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングするために、較正表にクエリするように構成される。このような実施形態においては、較正表は、ヘッドマウントディスプレイの動きの多くのルートと、仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。
【0107】
また、一部の実施形態においては、慣性データ相関モジュール1182は、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する仮想の動きの速度にマッピングするように構成される。一部の実施形態においては、慣性データ相関モジュール1182は、ヘッドマウントディスプレイの動きのルートと動きの速度とを仮想現実シーン内の対応する仮想の動きにマッピングするために、較正表をクエリするように構成される。このような実施形態においては、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。
【0108】
また、一部の実施形態においては、慣性データ相関モジュール1182は、ヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内の仮想の動きのいずれにも対応しないことを決定するように構成される。一部の実施形態においては、慣性処理モジュール1170は、フィードバック信号を生成して、ヘッドマウントディスプレイに送信するように構成された慣性データフィードバックモジュール1186を含み、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内の仮想の動きに対応していないことをユーザに通知する。
【0109】
一部の実施形態においては、慣性処理モジュール1170は、ヘッドマウントディスプレイから視線方向データを受信するように構成された視線方向処理モジュール1188を含む。視線方向データは、ヘッドマウントディスプレイ内に表示される仮想現実シーンに対するユーザの視覚の焦点方向を示す。慣性処理モジュール1170は、視線方向データを慣性センサデータと同期して、同期された視覚の焦点方向を決定するように構成された同期モジュール1190も含み得る。一部の実施形態においては、同期モジュール1190は、視線方向データと慣性センサデータとを時間的に整列させるように構成される。
【0110】
視線方向処理モジュール1188及び同期モジュール1190を利用する時、慣性データ相関モジュール1182は、ヘッドマウントディスプレイの動きのルートと同期された視覚の焦点方向との両方を使用して仮想現実シーン内のアクションを決定するように構成できる。一部の実施形態においては、慣性データ相関モジュール1182は、仮想現実シーン内のアクションを決定する時、同期された視覚の焦点方向を方向重み付けパラメータとして使用するように構成される。一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続する時間量に比例する。
【0111】
慣性処理モジュール1170の機能と出力へのアクセスをアプリケーションに提供するアプリケーションプログラミングインタフェース(API)が利用可能であってよい。APIは、複数のアプリケーション、例えば、ゲームによって同時に使用できる。慣性処理モジュール1170及び/または慣性処理モジュール1170内の様々なモジュール(1180、1182、1184、1186、1188、1190)は、様々な実施形態において、ソフトウェア及び/またはファームウェアとして実施できることは理解されたい。また、一部の実施形態においては、慣性処理モジュール1170及び/または慣性処理モジュール1170内の様々なモジュール(1180、1182、1184、1186、1188、1190)の一部は、アプリケーション性能のために迅速なデータ処理が必要な時など、ハードウェアとして実施できる。
【0112】
前述のように、ヘッドマウントディスプレイの動きを使用して、ヘッドマウントディスプレイ内に現在表示されている仮想現実シーン内で行うべきアクションを決定する方法及びシステムが提供される。ここで、ヘッドマウントディスプレイの動きのルートと速度は、ヘッドマウントディスプレイ内に配置された慣性センサを用いて検出、測定される。このように、ヘッドマウントディスプレイを装着しているユーザは、人間コントローラ、例えば、人間ジョイスティックとして働いて、仮想現実シーン内のアクションに影響を与えることができる。一部の実施形態においては、ヘッドマウントディスプレイの現実世界の動きを使用して、仮想現実シーンのユーザのアバターの動きを制御する。一部の実施形態においては、ヘッドマウントディスプレイの現実世界の動きを使用して、ユーザが仮想現実シーン内で動いているように見えるようにする等、仮想現実シーンのユーザの視点の動きを制御する。アプリケーションに応じて、ヘッドマウントディスプレイの現実世界の動きを用いて、仮想現実シーンの任意の種類のアクションを基本的に制御できることは理解されたい。
【0113】
一部の実施形態においては、ヘッドマウントディスプレイは、現実世界のホームポジションに関連付けられる。このホームポジションからのヘッドマウントディスプレイの動きが検出され、仮想現実シーンにおけるアクション、すなわち、変化を指示するように翻訳される。仮想現実シーンのアクションは、基本的に、ヘッドマウントディスプレイの物理的動きの検出による制御に従った任意のアクションであってよい。例えば、一部の実施形態においては、ヘッドマウントディスプレイの動きを用いて、仮想現実シーンにおいて、歩く、走る、ジャンプ等、ユーザの位置の変化を指示できる。また、一部の実施形態においては、ヘッドマウントディスプレイの動きを用いて、仮想現実シーンにおいて、ズームイン、ズームアウト、特定の方向を見る等、ユーザの視点の変化を指示できる。
【0114】
一部の実施形態においては、較正プロセスを行って、ヘッドマウントディスプレイの動きと、仮想現実シーン内のアクションとの間の相関を確立できる。このような較正プロセスは、ヘッドマウントディスプレイの慣性センサによって検出されたユーザの動きのルートを、仮想現実シーンのユーザのアバターの動きにマッピングすることも含む。また、このような較正プロセスは、ヘッドマウントディスプレイの慣性センサによって検出されたユーザの動きの速度(加速度/減速度)を仮想現実シーンのユーザのアバターの動きの速度にマッピングすることを含み得る。このように、ヘッドマウントディスプレイ内の慣性センサを用いて、較正プロセスに基づいて、仮想現実シーン内のユーザのアバターの方向及び速度を決定する。また、一部の実施形態においては、ヘッドマウントディスプレイの動きは、ユーザの体全体の動きに相関させることができて、ヘッドマウントディスプレイ以外の手段によってユーザの体の動きを追跡する必要性を減らす、または、取り除く。また、一部の実施形態においては、ユーザの眼の動き、すなわち、視線方向の検出を、ヘッドマウントディスプレイの検出された動きと組み合わせて、仮想現実シーン内のアクションを決定できる。
【0115】
仮想現実シーンの文脈を用いて、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクションを測ることができる。例えば、タスク固有のズームイン/ズームアウトのアクションは、現在表示されている仮想現実シーンの視覚的文脈に基づいてよい。例えば、広い屋外のシーンを表示する仮想現実シーンのズームイン/ズームアウトの量は、ユーザが読んでいる本を表示する仮想現実シーンと比較して、ヘッドマウントディスプレイの所与の動きに関してより大きくなり得る。また、仮想現実シーンの文脈を用いて、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクション、例えば、動きの速度を測ることができる。一部の実施形態においては、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクションの文脈ベースのゲージを予め設定できる。しかしながら、一部の実施形態においては、検出されたヘッドマウントディスプレイの動きに対応する仮想現実シーン内のアクションの文脈ベースのゲージは、仮想現実シーンを生成するアプリケーションの実行中に決定できる。
【0116】
ヘッドマウントディスプレイの動きを用いて仮想現実シーン内で行うべきアクションを決定する本明細書に記載の方法及びシステムは、ヘッドマウントディスプレイ内でユーザに表示することができる任意の種類の仮想現実シーン及び任意の種類の拡張現実シーンと共に使用できることは理解されたい。例えば、ヘッドマウントディスプレイの動きを使用して仮想現実シーン内で行うべきアクションを決定する本明細書に記載の方法及びシステムは、次のアプリケーションと共に利用できる。すなわち、ゲーム(ファーストパーソンシューターゲーム、基本的に任意の他の種類のコンピュータゲーム等)、ホテル仮想現実ツアー、旅行サイト仮想現実ツアー、地球上の関心場所の仮想現実ツアー、遠隔ユーザ間のコラボレーション、共有/同期された仮想現実空間、仮想ミーティング、医療処置(遠隔手術補助、遠隔検査等)、及び、ユーザが装着しているヘッドマウントディスプレイ内の仮想現実シーンの表示に適している任意の他の種類のアクティビティと共に利用できる。
【0117】
本明細書に記載の方法及びシステムを用いて、ヘッドマウントディスプレイを装着しているユーザが、仮想現実シーンを動き回りたい時、ユーザは、単に、ジェスチャをして、その後、簡単な体の動きを行ってよい。例えば、ユーザは、ある方向を手で指し、その後、その方向に向かって少し前傾してよい。他の実施形態においては、ヘッドマウントディスプレイを装着して、単にある方向に向かって前傾すると、キャラクタまたはユーザを仮想現実シーンでその特定の方向に移動させることができる。移動を止めるためには、ユーザは、単に前傾を止めればよい。動き、例えば、傾きは、ヘッドマウントディスプレイの慣性センサが動き、または、動きの変化を検出できる限り、ごく少量であってよい。従って、ユーザの頭は、一種のジョイスティックとして働くことができ、これは、ある方向に向かって歩きたい、または、歩みを止めたいユーザが行う自然な種類の動きである。例えば、ユーザが現実世界で前方に歩きたい場合、ユーザは、一般的に前傾する。この傾きは検出でき、それによって、ヘッドマウントディスプレイ内に現在表示されているように、仮想現実シーンでユーザを移動させる。
【0118】
また、ヘッドマウントディスプレイ内の慣性センサによって検出されるヘッドマウントディスプレイの動きは、他の入力と組み合わされて、仮想現実シーンに対応するアクションを起こすことができる。例えば、足踏みペダルを、ユーザがペダルを踏んで動くことができるように、使用することができ、動きの方向は、あたかもユーザがジョイスティックコントローラとして働いているように、ヘッドマウントディスプレイの慣性センサを通してユーザの傾きによって検出できる。ジェスチャを拡張するために、ユーザがシーン内で見ている方向を、視線追跡を介して使用して動きの方向を確立でき、その後、その方向にユーザが頭を傾ける。別の方向のユーザの視線を使用して、仮想現実シーン内のキャラクタを自然に誘導することができる。従って、ジェスチャによる操縦方法の組み合わせを、ユーザの頭の自然な動き及び/または他のジェスチャを用いて使用できる。
【0119】
本明細書に記載の方法及びシステムの一実施態様は、遠隔手術を行うことであってよい。外科医が、何らかの集中するジェスチャを介して体のある特定の部分に焦点を合わせており、近くで見ようとして自然に前に移動する場合、そのジェスチャによって、拡大が行われ、ユーザは実際に近寄りすぎる必要は無い。このジェスチャは、ユーザが拡大を望んでいることを予測している。ユーザが画面を凝視し、その後、より近くに移動するように見える場合と同様である。これは、ズームインが必要であるということを示しており、ズームインを自動的に行うことができる。これは、ヘッドマウントディスプレイの慣性センサベースの動き検出を用いてヘッドマウントディスプレイを装着しているユーザに表示される仮想現実シーンにおける変化/アクションに影響を及ぼすことができる本明細書に記載の方法及びシステムの基本的に無限の数の適用の一例に過ぎないことを理解されたい。
【0120】
本発明の一部の実施形態においては、本方法は、(A)ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ヘッドマウントディスプレイにビデオデータを送信すること、(B)ヘッドマウントディスプレイ内の1つまたは複数の慣性センサから慣性センサデータを受信すること、慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示し、ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいている、(C)受信した慣性センサデータを仮想現実シーン内のアクションに相関させること、及び、(D)アクションの実施を反映させるように仮想現実シーンへの更新を生成すること、を含む。本発明の一部の実施形態においては、(C)の相関は、ヘッドマウントディスプレイの動きのルートを決定することと、ヘッドマウントディスプレイの動きの速度を決定することとを含む。本発明の一部の実施形態においては、(C)の相関は、仮想現実シーン現在の文脈内で許容できる仮想の動きのセットを決定することを含む。本発明の一部の実施形態においては、(C)の相関は、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングすることを含む。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートを対応する仮想の動きにマッピングすることは、較正表にクエリすることを含み、較正表は、ヘッドマウントディスプレイの動きの多くのルートと仮想現実シーン内に結果として生じるアクションとの関連を規定する。本発明の一部の実施形態においては、(C)の相関は、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する仮想の動きの速度にマッピングすることを含む。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートと動きの速度とを対応する仮想の動きにマッピングすることは、較正表にクエリすることを含み、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。本発明の一部の実施形態においては、(C)の相関は、ヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないと決定することを含む。
【0121】
本発明の一部の実施形態においては、本方法は、フィードバック信号をヘッドマウントディスプレイに送信することを含み、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないことをユーザに通知する。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の1つまたは複数のユーザの動きに対応する。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。
【0122】
本発明の一部の実施形態においては、本方法は、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向を示す視線方向データをヘッドマウントディスプレイ内の1つまたは複数の視線検出器から受信することと、その視線方向データを慣性センサデータと同期して、同期された視覚の焦点方向を決定することとを含む。本発明の一部の実施形態においては、(C)の相関は、ヘッドマウントディスプレイの動きのルートを決定することと、ヘッドマウントディスプレイの動きの速度を決定することとを含み、(C)の相関は、ヘッドマウントディスプレイの動きのルートと、同期された視覚の焦点方向との両方を用いて、仮想現実シーン内のアクションを決定することを含む。本発明の一部の実施形態においては、同期された視覚の焦点方向は、仮想現実シーン内のアクションを決定する時、方向重み付けパラメータとして適用される。本発明の一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続する時間量に比例する。本発明の一部の実施形態においては、視線方向データと慣性センサデータを同期することは、視線方向データと慣性センサデータを時間的に整列させることを含む。
【0123】
本発明の一部の実施形態においては、本方法は、(A)仮想現実シーンを規定するビデオデータをヘッドマウントディスプレイで受信すること、(B)ヘッドマウントディスプレイ内に仮想現実シーン表示すること、(C)ヘッドマウントディスプレイ内の1つまたは複数の慣性センサを操作して、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成すること、ユーザの動きは、仮想現実シーン内のアクションに対応する、(D)ビデオデータの送信元であるコンピューティングシステムに慣性センサデータを送信すること、(E)ユーザの動きに対応する仮想現実シーン内のアクションを反映する更新された仮想現実シーンを規定するビデオデータをコンピューティングシステムから受信すること、及び、(F)ヘッドマウントディスプレイ内に更新された仮想現実シーンを表示すること、を含む。本発明の一部の実施形態においては、慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定する。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とは、仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内の対応する仮想の動きにコンピューティングシステムによってマッピングされる。
【0124】
本発明の一部の実施形態においては、本方法は、ヘッドマウントディスプレイの動きのルートが仮想現実シーンの現在の文脈内で許容できる仮想の動きのセット内に対応する仮想の動きを有さないことを示すフィードバック信号をコンピューティングシステムから受信することと、フィードバック信号の受信をユーザに通知することとを含む。本発明の一部の実施形態においては、通知は、ヘッドマウントディスプレイを操作して、可聴信号、触覚信号、及び、視覚信号のうちの1つまたは複数を提供することによって行う。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の1つまたは複数のユーザの動きに対応する。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。
【0125】
本発明の一部の実施形態においては、本方法は、ヘッドマウントディスプレイ内の1つまたは複数の視線検出器を操作して、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向を示す視線方向データを生成することと、ビデオデータの送信元であるコンピューティングシステムに視線方向データを送信することとを含み、視線方向データは、慣性センサデータと同期されて、同期された視覚の焦点方向を決定する。本発明の一部の実施形態においては、慣性センサデータは、ヘッドマウントディスプレイの動きのルートを決定し、ヘッドマウントディスプレイの動きの速度を決定し、ヘッドマウントディスプレイの動きのルートと、同期された視覚の焦点方向との両方を用いて、ユーザの動きに対応する仮想現実シーン内のアクションを決定する。
【0126】
本発明の一部の実施形態においては、本システムは、(A)ヘッドマウントディスプレイから慣性センサデータを受信するように構成された慣性データ処理モジュールであって、慣性センサデータは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示し、ユーザの動きは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに基づいており、ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを慣性センサデータから決定するように構成された慣性データ処理モジュール、(B)ヘッドマウントディスプレイの動きのルートとヘッドマウントディスプレイの動きの速度とを仮想現実シーン内のアクションに相関させるように構成された慣性データ相関モジュール、及び、(C)アクションの実施を反映するように仮想現実シーンを更新するようにレンダリングエンジンに指示するコマンド信号をレンダリングエンジンに提供するように構成された慣性データコマンド出力モジュールを含む。本発明の一部の実施形態においては、慣性データ相関モジュールは、仮想現実シーン現在の文脈内で許容できる仮想の動きのセットを決定するように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートを許容できる仮想の動きのセット内の対応する仮想の動きにマッピングするように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、許容できる仮想の動きのセット内の対応する仮想の動きにヘッドマウントディスプレイの動きのルートをマッピングするために、較正表にクエリするように構成され、較正表は、ヘッドマウントディスプレイの動きの多くのルートと仮想現実シーン内に結果として生じるアクションとの間の関連を規定する。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きの速度を仮想現実シーン内の対応する仮想の動きの速度にマッピングするように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートと動きの速度を仮想現実シーン内の対応する仮想の動きにマッピングするために、較正表にクエリするように構成され、較正表は、ヘッドマウントディスプレイの動きのルートと速度の多くの組み合わせと、仮想現実シーン内に結果として生じるアクションとの関連を規定する。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応しないと決定するように構成される。
【0127】
本発明の一部の実施形態においては、本システムは、フィードバック信号を生成し、ヘッドマウントディスプレイに送信するように構成された慣性データフィードバックモジュールを含み、フィードバック信号は、ヘッドマウントディスプレイの動きが許容できる仮想の動きのセット内のいずれの仮想の動きにも対応していないことをユーザに通知する。本発明の一部の実施形態においては、ヘッドマウントディスプレイの動きのルートは、前傾、後傾、左への傾き、右への傾き、頭を左に向けること、頭を右に向けること、頭を後ろに傾けること、頭を前に傾けること、スクワット、及び、ジャンプを含む、ユーザの動きのセット内の1つまたは複数のユーザの動きに対応する。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の動きである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点の方向の変化である。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内のユーザの視点のズームインまたはズームアウトである。本発明の一部の実施形態においては、仮想現実シーン内のアクションは、仮想現実シーン内に表示された物体の動きである。
【0128】
本発明の一部の実施形態においては、本システムは、ヘッドマウントディスプレイ内に表示された仮想現実シーンに対するユーザの視覚の焦点方向を示す視線方向データをヘッドマウントディスプレイから受信するように構成された視線方向処理モジュールと、視線方向データを慣性センサデータと同期して同期された視覚の焦点方向を決定するように構成された同期モジュールとを含む。本発明の一部の実施形態においては、慣性データ相関モジュールは、ヘッドマウントディスプレイの動きのルートと同期された視覚の焦点方向との両方を用いて、仮想現実シーン内のアクションを決定するように構成される。本発明の一部の実施形態においては、慣性データ相関モジュールは、仮想現実シーン内のアクションを決定する時、同期された視覚の焦点方向を方向重み付けパラメータとして使用するように構成される。本発明の一部の実施形態においては、方向重み付けパラメータの大きさは、同期された視覚の焦点方向が所与の方向で持続する時間量に比例する。本発明の一部の実施形態においては、同期モジュールは、視線方向データと慣性センサデータを時間的に整列させるように構成される。
【0129】
本発明の一部の実施形態においては、本方法は、(A)ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信すること、ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された1つまたは複数の慣性センサを備え、仮想現実シーンは、仮想現実シーン内に特定のアクションを起こすジェスチャを行うようにユーザに要求し、ジェスチャは、ヘッドマウントディスプレイを動かし、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される、(B)慣性センサデータをヘッドマウントディスプレイから受信すること、慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こしたことに応答して、ヘッドマウントディスプレイの動きを示す、及び、(C)受信した慣性センサデータを仮想現実シーン内の特定のアクションに相関させて、Bで受信された慣性センサデータにほぼ等しい慣性センサデータをその後受信すると、その特定のアクションが仮想現実シーン内で実行されるようにすること、を含む。本発明の一部の実施形態においては、受信した慣性センサデータを特定のアクションに相関させることは、ヘッドマウントディスプレイの動きのルートと決定することと、ヘッドマウントディスプレイの動きの速度を決定することと、特定のアクションと、ヘッドマウントディスプレイの動きの決定されたルート及びヘッドマウントディスプレイの動きの決定された速度との関連を記録することとを含む。本発明の一部の実施形態においては、本方法は、仮想現実シーン内の複数の特定のアクションに関して、A、B、Cを繰り返すことを含む。
【0130】
本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、前に移動、後ろに移動、左に移動、及び、右に移動の移動アクションを含み、移動アクションを起こすためにユーザが行うジェスチャは、それぞれ、前傾、後傾、左に傾くこと、及び、右に傾くことである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、左を見る、右を見る、上を見る、及び、下を見るアクションを含み、見るアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を左に向ける、頭を右に向ける、頭を後ろに傾ける、及び、頭を前に傾けることである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ジャンプ及びダッキングの垂直方向の動きのアクションを含み、垂直方向の動きのアクションを起こすためにユーザが行うジェスチャは、それぞれ、ジャンプとダッキングである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、座ることを含み、座ることを起こすためにユーザが行うジェスチャは、スクワットである。本発明の一部の実施形態においては、仮想現実シーン内の複数の特定のアクションは、ズームインとズームアウトのズームアクションを含み、ズームアクションを起こすためにユーザが行うジェスチャは、それぞれ、頭を前に動かすことと頭を後ろに動かすことである。本発明の一部の実施形態においては、相関により、受信した慣性センサデータと特定のアクションとを、仮想現実シーンの文脈に関連付ける。
【0131】
本発明の一部の実施形態においては、本方法は、(A)ヘッドマウントディスプレイ内に仮想現実シーンを表示するために、ビデオデータをヘッドマウントディスプレイに送信すること、ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しているユーザの動きに従ったヘッドマウントディスプレイの動きを示す慣性センサデータを生成するように構成された1つまたは複数の慣性センサを備え、仮想現実シーンは、仮想現実シーン内に特定のアクションを起こすジェスチャをユーザが行うのを可能にし、ジェスチャは、ヘッドマウントディスプレイを動かし、ヘッドマウントディスプレイの動きに対応する慣性センサデータが生成される、(B)慣性センサデータをヘッドマウントディスプレイから受信すること、慣性センサデータは、ユーザがジェスチャを行って仮想現実シーン内に特定のアクションを起こすことに応答して、ヘッドマウントディスプレイの動きを示す、(C)受信した慣性センサデータの処理を通してユーザの動きのルートとユーザの動きの速度とを決定すること、(D)受信した慣性センサデータに対応する仮想現実シーンの動きの分類を決定すること、(E)受信した慣性センサデータを仮想現実シーンの決定された動きの分類に相関させること、及び、(F)受信した慣性センサデータの仮想現実シーンの決定された動きの分類への相関をユーザプロファイルに記録すること、を含む。
【0132】
本明細書において、幾つかの方法の操作を特定の順序で記載したが、操作と操作の間に他のハウスキーピング操作を行ってよく、または、操作は、少しずつ異なった時間に生じるように、調整されてよい、または、操作は、処理に関連付けられた様々な間隔で処理操作が生じることを可能にするシステムに分散されてよい、ことは理解されたい。本発明の実施形態は、ハンドヘルド装置、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家電、ミニコンピュータ、メインフレームコンピュータ等を含む様々なコンピュータシステム構成を用いて実践してよい。発明は、有線ベースまたは無線ネットワークを通してリンクされる遠隔処理装置によってタスクが行われる分散コンピュータ環境においても実践できる。
【0133】
上記実施形態を考慮して、発明は、コンピュータシステムに記憶されたデータに関する様々なコンピュータ実施操作を採用できることは理解されたい。これらの操作は、物理量の物理的操作を必要とする操作である。発明の一部をなす本明細書に記載の操作はいずれも、有用な機械操作である。発明は、これらの操作を行う素子または装置にも関する。装置は、必要な目的に合わせて特別に構成することができる、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に作動または構成される汎用コンピュータであってよい。特に、様々な汎用機械は、本明細書の教示に従って書かれたコンピュータプログラムと共に使用することができ、または、必要な操作を行うためにより専門化した装置を構築するとより便利であると思われる。
【0134】
本発明は、コンピュータ可読媒体上でコンピュータ可読コードとして具体化もできる。コンピュータ可読媒体は、データを記憶できる任意のデータ記憶装置であり、その後、データは、コンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ(NAS)、リードオンリメモリ、ランダムアクセスメモリ、CD−ROM、CD−R、CD−RW、磁気テープ、並びに、他の光学式及び非光学式データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが、分散して記憶、実行されるように、ネットワークに接続されたコンピュータシステムを介して分散されたコンピュータ可読有形媒体を含み得る。
【0135】
上記発明は、理解しやすいように詳細に記載したが、添付の請求項の範囲内で一定の変更及び修正を行えることは明らかである。従って、本実施形態は、制限ではなく、例示とみなすべきであり、発明は、本明細書に記載した詳細に制限すべきではなく、記載した実施形態及び均等物の範囲内で修正されてよい。
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図3I】
【図3J】
【図3K】
【図3L】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【国際調査報告】