(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2021510442
(43)【公表日】20210422
(54)【発明の名称】深度データを用いた拡張現実画像提供方法及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20210326BHJP
   G06F 3/0484 20130101ALI20210326BHJP
【FI】
   !G06T19/00 600
   !G06F3/0484 150
【審査請求】有
【予備審査請求】未請求
【全頁数】21
(21)【出願番号】2020549532
(86)(22)【出願日】20181128
(85)【翻訳文提出日】20200720
(86)【国際出願番号】KR2018014882
(87)【国際公開番号】WO2019107942
(87)【国際公開日】20190606
(31)【優先権主張番号】10-2017-0163867
(32)【優先日】20171201
(33)【優先権主張国】KR
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】518076805
【氏名又は名称】クリックト インコーポレイテッド
【氏名又は名称原語表記】CLICKED INC.
【住所又は居所】大韓民国,03920 ソウル,マポ−グ,ソンアム−ロ,330,526
【住所又は居所原語表記】526,330,Seongam−ro,Mapo−gu,Seoul 03920 Republic of Korea
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】キム,テ ウク
【住所又は居所】大韓民国,11499 キョンギ−ド,ヤンジュ−シ,ベクファアム−ギル,5−38
(72)【発明者】
【氏名】イ,ハ ラム
【住所又は居所】大韓民国,05623 ソウル,ソンパ−グ,ソクチョンホス−ロ,278,1102
(72)【発明者】
【氏名】ジョン,ドク ヨン
【住所又は居所】大韓民国,04079 ソウル,マポ−グ,トジョン−ロ,167,104−1803
【テーマコード(参考)】
5B050
5E555
【Fターム(参考)】
5B050BA09
5B050BA12
5B050BA13
5B050CA07
5B050CA08
5B050DA04
5B050EA07
5B050EA13
5B050EA18
5B050EA19
5B050FA02
5B050FA09
5E555AA22
5E555BA02
5E555BA05
5E555BA06
5E555BB02
5E555BB05
5E555BB06
5E555BC17
5E555BE17
5E555CA12
5E555CB12
5E555CB37
5E555CC05
5E555CC06
5E555DB53
5E555DB57
5E555DC10
5E555FA00
(57)【要約】
本発明は深度データを用いた拡張現実画像提供方法及びプログラムに関する。本発明の一実施例による深度データを用いた拡張現実画像提供方法は、クライアントがサーバから仮想画像データを受信する段階(S120:仮想画像データ受信段階)と、クライアントが前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する段階(S140:表示位置決定段階)と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する段階(S160:仮想画像データ表示段階)とを含む。
【特許請求の範囲】
【請求項1】
クライアントが拡張現実画像を提供する方法において、
前記クライアントがサーバから色データ及び深度データを含む仮想画像データを受信する仮想画像データ受信段階と、
前記クライアントが前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する表示位置決定段階と、
前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する仮想画像データ表示段階と、
を含む深度データを用いた拡張現実画像提供方法。
【請求項2】
前記深度データは、ピクセル毎に色データチャネルと区別される別途のチャネルに含まれ、
前記深度データ及び前記色データは同期して伝送されることを特徴とする請求項1に記載の深度データを用いた拡張現実画像提供方法。
【請求項3】
前記仮想画像データは、
撮影又は生成時に各地点の深度データを獲得してピクセル毎に格納した2次元イメージであることを特徴とする請求項1に記載の深度データを用いた拡張現実画像提供方法。
【請求項4】
前記表示位置決定段階は、
前記クライアントが特定の深さを透明度の調節基準として決定する段階と、
前記透明度の調節基準に基づいて深さ範囲を区別して透明処理を行うか否かを決定する段階と、
を含み、
前記透明度の調節基準は、画面上に表示されるコンテンツの境界線を設定することを特徴とする請求項1に記載の深度データを用いた拡張現実画像提供方法。
【請求項5】
前記深さ範囲は、
複数の深さを前記透明度の調節基準として設定し、前記複数の深さを基準に分けられる複数の領域であることを特徴とする請求項4に記載の深度データを用いた拡張現実画像提供方法。
【請求項6】
前記仮想画像データは獲得位置データ及び画像方向データを更に含み、
前記表示位置決定段階は、
前記クライアントで得られた現在位置データと前記獲得位置データとを比較し、前記クライアントで得られた再生方向データと前記画像方向データとを比較する段階と、
比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する段階と、
を含むことを特徴とする請求項1に記載の深度データを用いた拡張現実画像提供方法。
【請求項7】
前記表示位置決定段階は、
前記クライアントが現実空間の光照射方向を基に前記仮想画像データ内の各ピクセルの色又は彩度を調節する段階を更に含むことを特徴とする請求項6に記載の深度データを用いた拡張現実画像提供方法。
【請求項8】
前記クライアントがカメラにより得た現実画像データと前記仮想画像データを結合して結合画像データを出力する装置である場合、
前記クライアントが現実画像データを出力遅延時間に基づいて補正する段階を更に含み、
前記出力遅延時間は、前記現実画像データを撮影した後から画面上に出力するまでかかる時間であることを特徴とする請求項1に記載の深度データを用いた拡張現実画像提供方法。
【請求項9】
媒体に格納され、請求項1〜8の何れか一項に記載の方法をハードウェアであるコンピュータに実行させるための深度データを用いた拡張現実画像提供プログラム。
【請求項10】
拡張現実画像を提供する装置において、
サーバから色データ及び深度データを含む仮想画像データを受信する仮想画像データ受信部と、
前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する制御部と、
前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する画像出力部と、
を含む深度データを用いた拡張現実画像提供装置。
【請求項11】
サーバがクライアントで拡張現実を実現するための仮想画像データを生成する方法において、
前記サーバが前記クライアントに特定時点に提供される前記仮想画像データのピクセル毎の色データを獲得する段階と、
前記仮想画像データのピクセル毎の深度データを獲得して格納する段階と、
前記サーバが前記色データ及び前記深度データを同期化して前記クライアントに伝送する段階と、
を含み、
前記深度データは、第2時点の第2仮想画像データが受信されないと、第1時点の第1仮想画像データに基づいて補正する時に用いられ、
前記第2時点は、前記第1時点から仮想画像データの伝送周期が経過した時点である、深度データを用いた拡張現実画像提供方法。
【請求項12】
前記仮想画像データは獲得位置データ及び画像方向データを更に含み、
前記クライアントは、
現在位置データと前記獲得位置データとを比較し、再生方向データと前記画像方向データとを比較して、比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節し、
前記現在位置データ及び前記再生方向データは、前記クライアントでリアルタイムに又は単位時間毎に獲得することを特徴とする請求項11に記載の深度データを用いた拡張現実画像提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、深度データを用いた拡張現実画像提供方法及びプログラムに関する。
【背景技術】
【0002】
拡張現実は、現実世界に文字やグラフィックのような仮想の物体を重ねて1つの画像として見せる技術である。拡張現実技術は、2000年代半ばまでは研究開発と試験適用段階にあったが、近年技術環境が整うにつれ、実用化段階に突入した。特に、近年のスマートフォンの登場及びインターネット技術の発達に伴い、拡張現実技術が注目され始めた。
【0003】
拡張現実を実現する最も一般的な方法は、スマートフォンのカメラを用いて現実の世界を撮影し、その上に既に生成されたコンピュータグラフィックをオーバーレイして出力することによって、ユーザに仮想と現実が混在するかのように感じさせる方法である。このような方法は、ユーザが現実の画像をスマートフォンのカメラを用いて容易に獲得でき、コンピュータグラフィックもスマートフォンのコンピュータとしての機能を通じて容易に実現可能であるため、大半の拡張現実アプリケーションがスマートフォンで実現されている。また、近年、メガネ型のウェアラブルデバイスが登場するにつれ、拡張現実技術への関心が高まっている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
拡張現実画像は、現実空間の正確な位置に拡張されなければユーザに現実感を提供できない。しかし、ユーザが動きによって拡張現実画像が結合される対象体(例えば、マーカ)の空間上の配置が変わる場合、特定時点の画像フレームが欠落すれば、適切でない位置に拡張現実画像が配置される恐れがあり、不自然に現実空間に表示され、揺れることによって現実感が低下してしまう。そこで、本発明は、深度データを用いて2次元画像である仮想画像データを現実空間内の適切な位置に配置し、ユーザの動きやフレームの欠落時にも現実感があり、揺れない拡張現実画像を提供する深度データを用いた拡張現実画像提供方法及びプログラムを提供することを目的とする。
【0005】
また、本発明の他の目的は、仮想現実画像の各ピクセルに対して追加された深度データを基に透明処理する領域を指定することによって、別途のマスキング(Masking)データがなくても拡張現実用画像を生成できる深度データを用いた拡張現実画像提供方法及びプログラムを提供することにある。
【0006】
更に、本発明の別の目的は、仮想現実用画像と別途に現実空間に拡張して表現される拡張現実用画像を別途製作することなく、仮想現実コンテンツを変形して拡張現実コンテンツとして活用するための深度データを用いた拡張現実画像提供方法及びプログラムを提供することにある。
【0007】
本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるであろう。
【課題を解決するための手段】
【0008】
本発明の一実施例による深度データを用いた拡張現実画像提供方法は、前記クライアントがサーバから色データ及び深度データを含む仮想画像データを受信する仮想画像データ受信段階と、前記クライアントが前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する表示位置決定段階と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する仮想画像データ表示段階とを含む。
【0009】
また、他の実施例として、前記深度データは、ピクセル毎に色データチャネルと区別される別途のチャネルに含まれ、前記深度データ及び前記色データは、同期して伝送されることを特徴とする。
【0010】
更に、他の実施例として、前記仮想画像データは、撮影又は生成時に各地点の深度データを獲得してピクセル毎に格納した2次元イメージである。
【0011】
また、他の実施例として、前記表示位置決定段階は、前記クライアントが特定の深さを透明度の調節基準として決定する段階と、前記透明度の調節基準に基づいて深さ範囲を区別して透明処理を行うか否かを決定する段階とを含み、前記透明度の調節基準は、画面上に表示されるコンテンツの境界線を設定する。
【0012】
更に、他の実施例として、前記深さ範囲は、複数の深さを前記透明度の調節基準として設定し、前記複数の深さを基準に分けられる複数の領域である。
【0013】
また、他の実施例として、前記仮想画像データは獲得位置データ及び画像方向データを更に含み、前記表示位置決定段階は、前記クライアントで得られた現在位置データと前記獲得位置データとを比較し、前記クライアントで得られた再生方向データと前記画像方向データとを比較する段階と、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する段階とを含む。
【0014】
更に、他の実施例として、前記表示位置決定段階は、前記クライアントが現実空間の光照射方向を基に前記仮想画像データ内の各ピクセルの色又は彩度を調節する段階を更に含む。
【0015】
また、他の実施例として、前記クライアントがカメラにより得た現実画像データと前記仮想画像データを結合して結合画像データを出力する装置である場合、前記クライアントが現実画像データを出力遅延時間に基づいて補正する段階を更に含み、前記出力遅延時間は、前記現実画像データを撮影した後から画面上に出力するまでかかる時間である。
【0016】
本発明の他の実施例による深度データを用いた拡張現実画像提供プログラムは、媒体に格納され、上記の深度データを用いた拡張現実画像提供方法をハードウェアであるコンピュータに実行させる。
【0017】
本発明の他の実施例による深度データを用いた拡張現実画像提供装置は、サーバから仮想画像データを受信する仮想画像データ受信部と、深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する制御部と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する画像出力部とを含み、前記仮想画像データは色データ及び深度データを含む。
【0018】
本発明の更に他の実施例による深度データを用いた拡張現実画像提供方法は、前記サーバが前記クライアントに特定時点に提供される前記仮想画像データのピクセル毎の色データを獲得する段階と、前記仮想画像データのピクセル毎の深度データを獲得して格納する段階と、前記サーバが前記色データ及び前記深度データを同期化して前記クライアントに伝送する段階とを含み、前記深度データは、第2時点の第2仮想画像データが受信されないと、第1時点の第1仮想画像データに基づいて補正時に用いられ、前記第2時点は、前記第1時点から仮想画像データの伝送周期が経過した時点である。
【0019】
また、他の実施例として、前記仮想画像データは獲得位置データ及び画像方向データを更に含み、前記クライアントは、現在位置データと前記獲得位置データとを比較し、再生方向データと前記画像方向データとを比較して、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節し、前記現在位置データ及び前記再生方向データは、前記クライアントでリアルタイムに又は単位時間毎に獲得する。
【発明の効果】
【0020】
上記の本発明は、以下のような多様な効果を奏する。
【0021】
第一に、ユーザの動きによって拡張現実画像が結合される対象体(例えば、マーカ)の空間上の配置が変わる場合、特定時点に欠落した画像フレームに代わる補正画像データを提供し、拡張現実画像が現実空間の正確な位置に表示されて揺れることなく自然に再生できるという効果を奏する。
【0022】
第二に、色データからなる2次元の仮想画像データに深度データを結合することによって、2次元の仮想画像データを3次元の現実空間に自然に表示できる。即ち、拡張現実画像再生装置が3次元の現実空間を認識して2次元画像の各ピクセルを適切な深さに表示することによって、3次元拡張現実を実現する効果を提供できる。
【0023】
第三に、仮想現実用に製作された仮想画像データにおいて各ピクセルに適用された深度データを基に透明処理の水準を決定できるため、別途の拡張現実画像に製作する必要なく、仮想画像データの獲得時に得られた深度データを基に仮想現実用画像を直ぐに拡張現実用として活用できる。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施例による拡張現実画像システムの構造図である。
【図2】本発明の一実施例によるクライアントが深度データを用いた拡張現実画像を提供する方法の順序図である。
【図3】本発明の一実施例による深度データを基に仮想画像データの透明度を調節する過程に対する順序図である。
【図4】本発明の一実施例によって深度データを基に透明度の調節基準を設定し、領域を分割した例示図である。
【図5】本発明の一実施例によって領域指定データを入力した例示図である。
【図6】本発明の一実施例による各ピクセルの空間上の位置を調節する過程に対する順序図である。
【図7】本発明の一実施例によって第1フレームの色データ及び深度データを基に欠落した第2フレームを生成する例示図である。
【図8】本発明の一実施例によるサーバが深度データを含む仮想画像データを生成して提供する方法の順序図である。
【図9】本発明の一実施例によって第1フレームと第2フレームとの間に第1.5フレームを追加する過程を示す例示図である。
【発明を実施するための形態】
【0025】
以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に発明の範疇を完全に理解させるために提供されるものであり、本発明は請求の範囲の範囲内で定義されるに過ぎない。明細書全体に亘る同一の参照符号は同一の構成を示す。
【0026】
他の定義がなければ、本明細書で用いられる全ての用語(技術及び科学的用語を含む)は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
【0027】
本明細書で用いられる用語は実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数形は特に言及しない限り複数形も含む。明細書で用いられる「含む(comprises)」及び/又は「含んでいる(comprising)」は、言及された構成要素以外に1つ以上の他の構成要素の存在又は追加を排除しない。
【0028】
本明細書において「仮想画像データ」は、仮想現実又は拡張現実を実現するために製作された画像データを意味する。「仮想画像データ」は、カメラにより現実空間を撮影することでも生成でき、モデリング過程により製作することもできる。
【0029】
本明細書において「第1仮想画像データ」は、第1時点にサーバからクライアントに提供される仮想画像データを意味する。本明細書において「第2仮想画像データ」は、第2時点(即ち、第1時点から画像受信周期である単位時間が経過した時点)にサーバからクライアントに提供される仮想画像データを意味する。
【0030】
本明細書において「深度データ」は3次元空間上の深さについての値であって、特定の仮想画像データ内の分割される細部単位のそれぞれ(例えば、各ピクセル)に対して付与される値である。
【0031】
本明細書において「色データ」は、仮想画像データが画面に表示されるときの色についてのデータである。例えば、色データを、仮想画像データのピクセル毎に含めることができる。また、「色データ」は、RGB(Red-Green-Blue)色モデルなどの色を表現できる特定の色モデルから構成できる。
【0032】
本明細書において「現実画像データ」は、現実空間を撮影して獲得される画像データを意味する。
【0033】
本明細書において「クライアント」は、サーバから仮想画像データを受信して再生する拡張現実画像再生装置を意味する。即ち、「クライアント」は、ユーザの目に直接提供される現実イメージ又は現実空間を撮影して獲得された現実画像データと拡張現実コンテンツを共に表示して提供できるあらゆる装置を意味する。
【0034】
以下、図面を参照して、本発明の実施例による深度データを用いた拡張現実画像提供方法及びプログラムについて詳細に説明する。
【0035】
図1は、本発明の一実施例による拡張現実画像システムの構造図である。
【0036】
図2は、本発明の一実施例による深度データを用いた拡張現実画像提供方法の順序図である。
【0037】
図1及び図2を参照すれば、本発明の一実施例による深度データを用いた拡張現実画像提供方法は、クライアント200がサーバ100から仮想画像データを受信する段階(S120:仮想画像データ受信段階)と、クライアント200が深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する段階(S140:表示位置決定段階)と、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する段階(S160:仮想画像データ表示段階)とを含む。以下、各段階に関する詳細な説明を記述する。
【0038】
クライアント200がサーバ100から仮想画像データを受信する(S120:仮想画像データ受信段階)。前記仮想画像データは、色データ及び深度データを含む。
【0039】
一実施例として、前記仮想画像データは、撮影又は生成時に各地点の深度データを獲得してピクセル毎に格納した2次元イメージである。即ち、クライアント200は、深度データを含む2次元イメージである仮想画像データを受信して3次元である現実空間内に拡張現実画像として生成する。これにより、クライアント200は、サーバ100から3次元でモデリングされた高容量の3次元画像データを受信することなく、3次元の現実空間内に現実感ある拡張現実を実現できる。
【0040】
一実施例として、前記深度データは、ピクセル毎に色データチャネルと区別される別途のチャネルに含まれる。即ち、サーバ100は、色データチャネルと深度データチャネルを介して仮想画像データの各ピクセルについて色データ及び深度データをクライアント200に伝送する。このとき、サーバ100は、深度データチャネルを介して伝送される深度データと色データチャネルを介して伝送される色データを同期してクライアント200に伝送する。クライアント200は、色データチャネルと深度データチャネルを介して同時に受信されたピクセル毎の色データと深度データを該当時点の仮想画像データとして獲得する。
【0041】
クライアント200が前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する(S140:表示位置決定段階)。即ち、クライアント200は、クライアント200を通じてユーザに見られる現実空間における仮想画像データの各ピクセルに対応する位置に、深度データに対応する深さに色データを表示すると決定する。具体的には、前記クライアント200が透明な画面上に仮想画像データを出力する装置(例えば、グラス型ウェアラブルデバイス)である場合、仮想画像データは前記装置の画面の大きさに対応するので、クライアント200は、仮想画像データの各ピクセルを画面の対応する各地点に深度データを基に出力する。
【0042】
また、他の実施例として、図3に示すように、前記表示位置決定段階(S140)は、前記クライアント200が特定の深さを透明度の調節基準として決定する段階(S141)と、前記透明度の調節基準に基づいて深さ範囲を区別して透明処理を行うか否かを決定する段階(S142)とを含む。即ち、クライアント200は、現実空間内に所望の仮想画像データの所望する部分のみを出力するために深度データを基に出力領域を指定する。
【0043】
まず、クライアント200が特定の深さを透明度の調節基準として決定する(S141)。前記透明度の調節基準は、画面上に表示されるコンテンツの境界線に該当する深度値とできる。例えば、図4に示すように、クライアント200が仮想画像データ内に含まれているキャラクタのみを拡張現実コンテンツとして表示しようとする場合、クライアント200は、キャラクタの境界線に該当するピクセルの深度データを透明度の調節基準として決定する。これにより、クライアント200は、仮想画像データ内のキャラクタ(例えば、対象体2)のみを画面に出力する一方で、残りの領域を透明にできる。
【0044】
その後、クライアント200が透明度の調節基準に基づいて深さ範囲を区別する(S142)。即ち、クライアント200は、特定の深さよりも近い領域と遠い領域とに領域を分ける。クライアント200は、複数の深さを前記透明度の調節基準として設定することもできる。例えば、図4に示すように、2つの深度値(例えば、深度値Aと深度値B(BはAよりも大きい値)の2つの深度値)に透明度の調節基準を設定すると、クライアント200は深さAよりも近い第1領域、深さAと深さBとの間の第2領域及び深さBよりも遠い第3領域に深さ範囲を区別する。
【0045】
その後、クライアント200は、区別された深さ範囲に対して透明処理を行うか否かを決定する(S142)。一実施例として、特定の深度値(例えば、深度値A)を基準に深さ範囲を区別する場合、クライアント200は深さAよりも遠い領域を透明処理領域として決定し、深さAよりも近い範囲の画像のみ画面上に表示されるようにする。また、他の実施例として、2つ以上の透明度の調節基準を設定することによって、3つ以上の深さ範囲に分けられる場合、クライアント200は、各深さ範囲を透明に処理するか否かを決定する。また、クライアント200は、それぞれの深さ範囲に透明度の数値を決定して特定の深さ範囲に含まれる画像コンテンツを現実空間と共に見えるように半透明に処理することもできる。
【0046】
これにより、クライアント200は、深度データを通じて仮想画像データ内の所望のコンテンツ(例えば、対象体)のみを抽出して現実画像データ上に表示できる。即ち、クライアント200は、仮想画像を現実空間内の適切な位置に表示するために共に受信される深度データを用いてマスキング領域を設定するので、クライアント200は、サーバ100から仮想画像データ内の一部領域をマスキングするためのマスキングデータを別途受信しなくてもよい。例えば、既存の仮想現実画像の実現のために生成された画像に深度データのみを追加して拡張現実画像の実現に活用しようとする場合、サービス提供者は、既存の仮想現実画像と同期された各ピクセルの深度データのみ生成し、仮想画像データの特定の対象体の境界に該当する特定の深さを設定することによって、仮想現実画像を一部領域がマスキング(Masking)された拡張現実画像として実現できる。
【0047】
また、他の実施例として、図5に示すように、クライアント200は、領域指定データを特定の深度データと共に透明度の調節基準として活用する。仮想画像データは、現実空間に拡張させようとする対象体(例えば、図5の第1オブジェクト)と同一の深度値を有する他の対象体(例えば、図5の第2オブジェクト)を含むことができる。このとき、深度データだけで現実空間に透明処理がなされず、露出される領域を設定すれば、表示されてはならない対象体が現実空間内に共に表示される恐れがある。従って、クライアント200は、サーバ100から透明に処理すべき2次元画面内の領域に対するデータ(即ち、領域指定データ)を受信し、指定された2次元領域に含まれている画像コンテンツのうち表示する領域として指定された深さ範囲の画像コンテンツのみを画面上に表示できる。深度データにより特定の指定領域内で透明処理されるべき部分を詳細に区別できるので、サーバ100は、概略的な領域のみを指定する形状(例えば、矩形状)に領域指定データを設定してクライアント200に伝送する。
【0048】
更に、他の実施例として、前記表示位置決定段階(S140)で、ユーザによりクライアント200が注視される方向と仮想画像データが撮影された方向とが一致しない場合、クライアント200が仮想画像データを画面上に表示するのに適切な形状に調節できる。
【0049】
このために、前記仮想画像データは、獲得位置データ及び画像方向データを更に含むことができる。前記獲得位置データは、仮想画像データを撮影するか、仮想画像データを生成(即ち、モデリング(Modeling))する際のカメラの位置を意味する。前記画像方向データは、前記獲得位置において仮想画像データが得られた方向を意味する。例えば、カメラ装置により仮想画像データが撮影される場合、画像方向データは特定の獲得位置からカメラが眺めた方向であって、カメラ装置に含まれているセンサにより獲得できる。また、例えば、仮想画像データを外部サーバ100でモデリング過程を通じて生成する場合、画像方向データは、獲得位置を基準にモデリング時に該当仮想画像データに対して定められた方向とできる。
【0050】
前記獲得位置データ及び画像方向データを用いる表示位置決定段階(S140)の一実施例として、図6に示すように、前記クライアント200で得られた現在位置データと前記獲得位置データとを比較し、前記クライアント200で得られた再生方向データと前記画像方向データとを比較する段階(S143)と、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する段階(S144)とを含む。
【0051】
まず、クライアント200が現在位置データと前記獲得位置データとを比較し、前記クライアント200で得られた再生方向データと前記画像方向データとを比較する(S143)。前記現在位置データは、クライアント200で多様な測位方式のうちの少なくとも何れか1つに基づいて得られる位置データである。前記再生方向データは、クライアント200内部のモーションセンサにより得られるデータであって、クライアント200が眺めるリアルタイム方向に対するデータである。クライアント200は、仮想画像データが得られた位置及び撮影方向(即ち、画像方向)と現在位置及び眺める方向(即ち、再生方向)とを比較して差値を算出する。即ち、クライアント200は、画像が得られた位置と現在位置との間の差(例えば、空間上の位置変化)を算出し、クライアント200が眺める方向と仮想画像データが得られた方向との間の差(例えば、方位値差)を算出する。
【0052】
その後、クライアント200は、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節する(S144)。クライアント200は、現在位置データ及び再生方向データに符合するように仮想画像データの各ピクセルの位置を調節する。クライアント200は、各ピクセルの2次元画面上の位置のみならず、各ピクセルの深度データに比較結果を反映して現実空間内に表示される深さを調節できる。
【0053】
これにより、ユーザが現実空間でクライアント200から拡張現実画像を見る位置及び方向が仮想画像データを獲得した位置及び方向と正確に一致しなくても、クライアント200が仮想画像データ内の各ピクセルの画面内の表示位置を調節して正確な位置に拡張現実コンテンツを表示できる。
【0054】
また、図7に示すように、仮想画像データ内に単位時間間隔で連続的に提供されるフレームの一部が欠落する場合(例えば、第1時点に第1仮想画像データ(即ち、第1フレーム)が受信された後に続いて第2時点に提供されるべき第2仮想画像データ(即ち、第2フレーム)が欠落した場合)、クライアント200は、第1仮想画像データに含まれている獲得位置データ及び画像方向データと第2時点にクライアント200で得られる現在位置データと再生方向データとを比較し、比較結果(即ち、空間上の位置差及び注視方向の差)に基づいて第1仮想画像データ内の各ピクセルの位置を調節する。前記第2時点は、前記第1時点から仮想画像データの伝送周期が経過した時点である。即ち、クライアント200は、第1フレーム(即ち、第1仮想画像データ)に含まれている色データと深度データを有する各ピクセルを第1フレームに含まれている獲得位置データ及び画像方向データと第2時点にクライアント200で得られる現在位置データ及び再生方向データとを比較した比較結果に基づいて移動させて、欠落した第2フレームに代わる第2補正画像データを生成して提供する。これにより、サーバ100から提供される仮想画像データが欠落した場合に、以前の仮想画像データを補正して代わりに用いることによって、拡張現実コンテンツが自然に提供されるようにできる。
【0055】
具体的には、特定の再生時点(即ち、第2時点)の仮想画像データ(即ち、第2仮想画像データ)が欠落して再生されると、拡張現実コンテンツが現実空間の正確な位置に表示されず、単位時間の経過後(即ち、第3時点)に仮想画像データが受信されることによって、拡張現実コンテンツが突然位置を移動し、画像の揺れが発生する。即ち、第2フレームが欠落することによって、第1仮想画像データ(即ち、第1フレーム)から第3仮想画像データ(即ち、第3フレーム)に直接変更されると、対象体が突然移動するかのように表現され、ユーザが目眩を感じる恐れがある。第1時点の第1仮想画像データを用いて第2時点に補正画像データを提供することによって、ユーザは受信されていない画像フレーム(即ち、第2仮想画像データ)を代替フレーム(即ち、第1仮想画像データに基づく第2補正画像データ)で満たして揺れることなく、現実空間上の正確な位置に配置される拡張現実コンテンツを提供することができる。特に、クライアント200がサーバ100から無線通信を介して仮想画像データを受信することによって、仮想画像データの欠落が多数発生する場合により効果を発揮できる。
【0056】
また、他の実施例として、図9に示すように、クライアント200は、サーバ100で生成されて提供されるフレーム(即ち、仮想画像データ)間を満たす追加のフレームを生成して提供できる。例えば、サーバ100で1秒当たり60フレームのみを提供する場合、クライアント200は、サーバ100から提供されるフレーム間の時点に該当する追加のフレームを生成し、1秒当たり120フレームに出力できる。即ち、サーバの性能又はネットワークの帯域幅の制限などの様々な要素によりサーバ100はクライアント200に限られている数のフレーム(例えば、1秒当たり60フレーム)のみを提供せざるを得ず、この際にクライアント200で自ら1秒当たりのフレーム数を増やしてより自然な画像を生成できる。
【0057】
第1フレームと第2フレームとの間の追加のフレーム(即ち、第1.5フレーム)は、第1フレームの補正により生成される。即ち、クライアント200は、第1フレーム(即ち、第1仮想画像データ)に含まれている獲得位置データ及び画像方向データとフレームを追加しようとする第1.5時点にクライアント200で得られる現在位置データと再生方向データとを比較して比較結果(即ち、空間上の位置差及び注視方向の差)を生成する。その後、クライアント200は、前記比較結果を基に第1フレーム(即ち、第1仮想画像データ)内の各ピクセルの位置を調節して第1.5フレームを生成する。また、他の実施例として、前記表示位置決定段階(S140)は、前記クライアント200が前記仮想画像データ内の各ピクセルの色又は彩度を調節する段階を更に含む。即ち、クライアント200は、現実空間の光照射方向又は各ピクセルの配置位置(即ち、3次元空間上にピクセルが配置される位置)を基に各ピクセルの色又は彩度を調節する。これにより、クライアント200は、サーバ100から提供される仮想画像データを現実空間に自然に表示されるようにすることができる。
【0058】
クライアント200が前記仮想画像データを前記決定された位置に基づいて現実空間上に表示する(S160:仮想画像データ表示段階)。一実施例として、クライアント200が現実空間を透明なディスプレイを通じて直接眺めながら透明なディスプレイに表示される仮想画像データを眺める装置(例えば、グラス型ウェアラブルデバイス)である場合、クライアント200は、各ピクセルが表示される位置が決定された拡張現実コンテンツ(例えば、仮想画像データに深度データを基にマスキング処理を行った画像コンテンツ)を透明ディスプレイ上に表示する。
【0059】
また、他の実施例として、前記クライアント200がカメラにより得た現実画像データと前記仮想画像データを結合した結合画像データを出力する装置である場合(例えば、スマートフォン又はタブレットPCである場合)、前記クライアント200が現実画像データを出力遅延時間に基づいて補正する段階を更に含む。前記出力遅延時間は、前記現実画像データを撮影した後から画面上に出力するまでかかる時間である。即ち、クライアント200が現実画像データをクライアント200の動きを反映して同一時点にクライアント200が注視する現実空間と画面上に表示される現実画像データを一致するように補正する。例えば、クライアント200がカメラを通じて画面の大きさと同じ現実画像データを獲得する場合、クライアント200の動きを基に現実画像データを移動(shift)させて画面上に表示する。また、例えば、クライアント200が画面の大きさよりも大きな現実画像データを獲得する場合、クライアント200は、得られた現実画像データのうちクライアント200の動きを反映させて画面に出力すべき領域を抽出して表示する。
【0060】
図1を参照すれば、本発明の他の実施例による深度データを用いた拡張現実画像提供装置は、仮想画像データ受信部210と、制御部220と、画像出力部230とを含む。本発明の一実施例による拡張現実画像提供装置は、本発明の実施例による深度データを用いた拡張現実画像提供方法でのクライアント200に該当する。以下、既に説明された構成に関する詳細な説明は省略する。
【0061】
仮想画像データ受信部210は、サーバ100から仮想画像データを受信する。前記仮想画像データは、色データ及び深度データを含む。仮想画像データ受信部210は、別途のチャネルを介して各ピクセルの色データ及び深度データを受信することができる。即ち、仮想画像データ受信部210は、色データチャネルを介して各ピクセルの色データ(例えば、RGB値)を受信し、深度データチャネルを介して各ピクセルの深度データを受信する。
【0062】
仮想画像データ受信部210は、有線又は無線通信を介して仮想画像データを受信する。無線通信を介して受信する場合、仮想画像データ受信部210は、無線インターネットモジュール又は近距離通信モジュールが該当する。
【0063】
無線インターネットモジュールは、無線インターネット接続のためのモジュールを意味するものであって、移動端末100に内蔵されてもよく、外装されてもよい。無線インターネット技術としては、WLAN(Wireless LAN)、Wi-Fi(登録商標)、Wibro(Wireless broadband)、Wimax(登録商標)(World Interoperability for Microwave Access)、HSDPA(High Speed Down link Packet Access)、LTE(long term evolution)、LTE-A(Long Term Evolution-Advanced)などが利用できる。
【0064】
近距離通信モジュールとは、近距離通信のためのモジュールのことをいう。近距離通信(short range communication)技術としてブルートゥース(Bluetooth)(登録商標)、BLE(Bluetooth(登録商標) Low Energy)、ビーコン(Beacon)、赤外線通信(Infrared Data Association;IrDA)、UWB(Ultra Wideband)、ZigBee(登録商標)などが利用できる。
【0065】
制御部220は、仮想画像データ受信部210を介して受信された仮想画像データを処理する役割を果たす。一実施例として、制御部220は、前記クライアント200が前記深度データに基づいて各ピクセルが現実空間内で表示されるべき位置を決定する。
【0066】
また、制御部220は、深度データを基に各深さに対応するピクセルを透明処理するか否かを決定する。即ち、制御部220は、特定の深さ範囲に位置する対象体を除外した残りの深さ範囲に該当するピクセルを透明に処理して特定の対象体のみ画面上に表示するようにする。
【0067】
更に、制御部220は、特定の再生時点の仮想画像データ(即ち、第2時点の第2仮想画像データ)が欠落すると、直前の仮想画像データ(即ち、第1時点の第1仮想画像データ)を用いて欠落した画像データに代わる補正画像データを生成する。また、制御部220は、仮想画像データの獲得位置又は画像方向(即ち、画像が獲得された方向)がクライアント200の現在位置及びクライアント200により注視される方向(即ち、再生方向)と一致しない場合に補正して現実空間上の正確な位置に配置される補正画像データを生成する。
【0068】
画像出力部230は、前記決定された位置に基づいて前記仮想画像データを現実空間上に表示する。例えば、クライアント200が現実空間を透明なディスプレイを通じて直接眺めながら画面上に表示される仮想画像データを見る装置(例えば、グラス型ウェアラブルデバイス)である場合、画像出力部230は、仮想画像データに基づいて生成される拡張現実コンテンツを表示する透明なディスプレイとできる。
【0069】
図8は、本発明の他の実施例によるサーバ100がクライアント200に深度データを含む拡張現実画像を生成して提供する過程に対する順序図である。
【0070】
図8を参照すれば、本発明の更に他の実施例による深度データを用いた拡張現実画像提供方法は、前記サーバ100が前記クライアント200に特定時点に提供される前記仮想画像データの各分割単位別の色データを獲得する段階(S220)と、前記仮想画像データの各分割単位別の深度データを獲得して格納する段階(S240)と、前記サーバ100が前記色データ及び前記深度データを同期して前記クライアント200に伝送する段階(S260)とを含む。
【0071】
サーバ100は、クライアント200に提供する仮想画像データを生成する。仮想画像データは複数の分割単位を含み、各分割単位別に色データと深度データを含む。前記分割単位は、画像データのピクセルが該当する。前記深度データは、第2時点の第2仮想画像データが受信されないと、第1時点の第1仮想画像データに基づいて補正する時に用いられ、前記第2時点は、前記第1時点から仮想画像データの伝送周期が経過した時点である。
【0072】
サーバ100は、分割単位(例えば、ピクセル)毎の色データと深度データを獲得する(S220及びS240)。サーバ100は、色データと深度データを同期してクライアント200に伝送する(S260)。サーバ100は、同期化された色データと深度データを別途のチャネルを介してクライアント200に伝送できる。
【0073】
また、他の実施例として、前記仮想画像データは、獲得位置データ及び画像方向データを更に含み、前記クライアント200は、現在位置データと前記獲得位置データとを比較し、再生方向データと前記画像方向データとを比較して、前記比較結果に基づいて前記仮想画像データ内のピクセルの位置を調節し、前記現在位置データ及び前記再生方向データは、前記クライアント200によりリアルタイムに又は単位時間毎に獲得される。
【0074】
上記した本発明の一実施例による拡張現実画像提供方法は、ハードウェアであるコンピュータにて当該方法を実行するためのプログラム(又はアプリケーション)として実現され媒体に格納できる。
【0075】
上記したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現した前記方法を実行させるために、前記コンピュータのプロセッサ(CPU)が前記コンピュータの装置インターフェースを介して読み取られるC、C++、JAVA(登録商標)、機械語などのコンピュータ言語でコード化したコード(Code)を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード(Functional Code)を含むことができ、前記各機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記各機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置(アドレス)で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。また、前記コンピュータのプロセッサが前記の各機能を実行させるために、遠隔(Remote)にある他のコンピュータやサーバなどと通信が必要な場合、コードは、前記コンピュータの通信モジュールを用いて遠隔にある何か他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。
【0076】
前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り(reading)可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに制限されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納される。また、前記媒体は、ネットワークで接続されているコンピュータシステムに分散されて分散方式でコンピュータが読み取れるコードを格納できる。
【0077】
前記のような本発明によれば、以下のような多様な効果を奏する。
【0078】
第一に、ユーザの動きによって拡張現実画像が結合される対象体(例えば、マーカ)の空間上の配置が変わる場合、特定時点に欠落した画像フレームに代わる補正画像データを提供し、拡張現実画像が現実空間の正確な位置に表示されて揺れることなく自然に再生できる。
【0079】
第二に、色データからなる2次元の仮想画像データに深度データを結合することによって、2次元の仮想画像データを3次元の現実空間に自然に表示できる。即ち、拡張現実画像再生装置が3次元の現実空間を認識して2次元画像の各ピクセルを適切な深さに表示することによって3次元拡張現実を実現する効果を提供する。
【0080】
第三に、仮想現実用に製作された仮想画像データで各ピクセルに適用された深度データを基に透明処理の水準を決定できるため、別途の拡張現実画像を製作する必要なく、仮想画像データの獲得時に得られた深度データを基に仮想現実用画像を直ぐに拡張現実用として活用できる。
【0081】
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるであろう。従って、以上で記述した実施例は、あらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【国際調査報告】