(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2019125865
(43)【公開日】20190725
(54)【発明の名称】情報処理装置および方法
(51)【国際特許分類】
   H04N 21/854 20110101AFI20190704BHJP
   H04N 19/70 20140101ALI20190704BHJP
   H04N 19/597 20140101ALI20190704BHJP
   H04N 19/85 20140101ALI20190704BHJP
   H04N 21/235 20110101ALI20190704BHJP
   H04N 21/266 20110101ALI20190704BHJP
   H04N 5/926 20060101ALI20190704BHJP
【FI】
   !H04N21/854
   !H04N19/70
   !H04N19/597
   !H04N19/85
   !H04N21/235
   !H04N21/266
   !H04N5/926 200
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【全頁数】101
(21)【出願番号】2018003728
(22)【出願日】20180112
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
【住所又は居所】東京都港区港南1丁目7番1号
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】高橋 遼平
【住所又は居所】東京都港区港南1丁目7番1号 ソニー株式会社内
(72)【発明者】
【氏名】平林 光浩
【住所又は居所】東京都港区港南1丁目7番1号 ソニー株式会社内
(72)【発明者】
【氏名】泉 伸明
【住所又は居所】東京都港区港南1丁目7番1号 ソニー株式会社内
【テーマコード(参考)】
5C053
5C159
5C164
【Fターム(参考)】
5C053FA23
5C053FA27
5C053GB37
5C159LA00
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159NN01
5C159RB09
5C159UA02
5C159UA05
5C164FA06
5C164MB13S
5C164MB44S
5C164MC01P
5C164SB08P
5C164SC01P
(57)【要約】
【課題】符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができるようにする。
【解決手段】立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する。本開示は、例えば、情報処理装置、画像処理装置、画像符号化装置、ファイル生成装置、ファイル送信装置、配信装置、ファイル受信装置、画像復号装置、または再生装置等に適用することができる。
【選択図】図9
【特許請求の範囲】
【請求項1】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
【請求項2】
前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含む
請求項1に記載の情報処理装置。
【請求項3】
前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含む
請求項1に記載の情報処理装置。
【請求項4】
前記ファイル生成部は、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む前記制御ファイルを生成する
請求項1に記載の情報処理装置。
【請求項5】
前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記プロジェクション拡張に関する情報は、前記MPDファイルに定義されるProjection enhancement descriptorの、適用された前記プロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeを含む
請求項4に記載の情報処理装置。
【請求項6】
前記プロジェクション拡張に関する情報は、さらに、前記MPDファイルに定義されるProjection format descriptorの、前記プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含む
請求項5に記載の情報処理装置。
【請求項7】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。
【請求項8】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
【請求項9】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。
【請求項10】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
【請求項11】
前記画質に関する情報は、Quality rankingに関する情報を含む
請求項10に記載の情報処理装置。
【請求項12】
前記Quality rankingに関する情報は、画像全体について領域の重なりの有無を示す情報を含む
請求項11に記載の情報処理装置。
【請求項13】
前記Quality rankingに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
請求項11に記載の情報処理装置。
【請求項14】
前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含む
請求項10に記載の情報処理装置。
【請求項15】
前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるQuality emphasized viewport info descriptorの、前記高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含む
請求項14に記載の情報処理装置。
【請求項16】
前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるRecommended viewport information descriptorの、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含む
請求項14に記載の情報処理装置。
【請求項17】
前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際の、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値の前記@associationTypeを含む
請求項14のいずれかに記載の情報処理装置。
【請求項18】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。
【請求項19】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
【請求項20】
立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置および方法に関し、特に、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができるようにした情報処理装置および方法に関する。
【背景技術】
【0002】
従来、HTTP(Hypertext Transfer Protocol)プロトコルによるアダプティブなコンテンツ配信技術の標準化規格として、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)がある(例えば、非特許文献1参照)。
【0003】
また、このMPEG-DASHのファイルフォーマットとして、動画圧縮の国際標準技術「MPEG-4(Moving Picture Experts Group - 4)」のファイルコンテナ仕様であるISOBMFF(International Organization for Standardization Base Media File Format)がある(例えば、非特許文献2参照)。
【0004】
ところで、所謂全天球映像のように、水平方向の周囲360度および垂直方向の周囲180度の画像を立体構造に投影した画像である立体構造画像を、平面画像にマッピングした全天球画像(投影平面画像とも称する)があり、近年、この立体構造画像の配信にMPEG-DASHを利用することが考えられている。例えば、立体構造画像を単数の平面にマッピングし、その立体構造画像が平面にマッピングされた投影平面画像として配信することにより、MPEG-DASHを適用することができる(例えば、非特許文献3参照)。
【0005】
非特許文献3に記載のMPEG-I Part2 Omnidirectional Media Format(ISO/IEC 23090-2)FDIS(Final Draft International Standards)(以下、OMAFとも称する)では、この投影方法(プロジェクションフォーマット(projection format)とも称する)として、ERP(Equirectangular projection(正距円筒))とCMP(Cubemap projection(キューブマップ))の2つが採用されている。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】"Information technology . Dynamic adaptive streaming over HTTP (DASH) . Part 1: Media presentation description and segment formats, AMENDMENT 4: Segment Independent SAP Signalling (SISSI), MPD chaining, MPD reset and other extensions", ISO/IEC 23009-1:2014/PDAM 4, ISO/IEC JTC 1/SC 29/WG 11, 2015-10-23
【非特許文献2】"Information technology - Coding of audio-visual objects - Part 12: ISO base media file format", ISO/IEC 14496-12, 2005-10-01
【非特許文献3】"Information technology - Coded representation of immersive media (MPEG-I) - Part 2: Omnidirectional media format", ISO/IEC FDIS 23090-12:201x (E), ISO/IEC JTC 1/SC 29/WG 11, 2017-12-11
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、これらの投影方法は、画質を向上させる仕組みを特に有しておらず、画質の面で優れたprojection formatであるとは言えない。例えば、近年、全天球映像の配信において、帯域幅を有効活用しユーザ体験を最適化することができるように、全天球映像の中の特定の方向の高画質化(ビューポートディペンデント(viewport dependent)な高画質化とも称する)を行うことが考えられている。しかしながら、これらのprojection formatはviewport dependentな高画質化に非対応である。
【0008】
そのため、帯域幅を有効活用してユーザ体験を最適化するように、符号化効率の低減を抑制しながら高画質化を図る場合、上述のようなviewport dependentな特性を持つ新たなprojection formatを採用する必要がある。しかしながら、そのためには、オーサリングワークフローやクライアント実装への影響が非常に大きなものとなってしまうおそれがあった。そのため、市場導入のハードルが高く、実現が困難になるおそれがあった。
【0009】
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができるようにするものである。
【課題を解決するための手段】
【0010】
本技術の一側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部を備える情報処理装置である。
【0011】
本技術の一側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する情報処理方法である。
【0012】
本技術の他の側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、前記ファイル取得部により取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部とを備える情報処理装置である。
【0013】
本技術の他の側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う情報処理方法である。
【0014】
本技術のさらに他の側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部を備える情報処理装置である。
【0015】
本技術のさらに他の側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する情報処理方法である。
【0016】
本技術のさらに他の側面の情報処理装置は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、前記ファイル取得部により取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部とを備える情報処理装置である。
【0017】
本技術のさらに他の側面の情報処理方法は、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う情報処理方法である。
【0018】
本技術の一側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが生成される。
【0019】
本技術の他の側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが取得され、その取得された制御ファイルに含まれるそのプロジェクション拡張に関する情報に基づいて、その画像符号化データのストリームの選択が行われる。
【0020】
本技術のさらに他の側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが生成される。
【0021】
本技術のさらに他の側面の情報処理装置および方法においては、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルが取得され、その取得された制御ファイルに含まれるその投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択が行われる。
【発明の効果】
【0022】
本開示によれば、情報を処理することができる。特に、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【図面の簡単な説明】
【0023】
【図1】projection formatの例を示す図である。
【図2】プロジェクション拡張の例を示す図である。
【図3】偏心球面マッピングの様子の例を示す図である。
【図4】ファイル生成装置の主な構成例を示すブロック図である。
【図5】クライアント装置の主な構成例を示すブロック図である。
【図6】アップロード処理の流れの例を説明するフローチャートである。
【図7】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図8】ISOBMFFのBox階層構造の例を示す図である。
【図9】Projected Omnidirectional Video Boxのシンタックスの例を示す図である。
【図10】Projection Enhancement Boxのシンタックスの例を示す図である。
【図11】enhancement_typeのセマンティクスの例を示す図である。
【図12】Projection Format Boxのシンタックスの例を示す図である。
【図13】Projection Format Structのシンタックスの例を示す図である。
【図14】projection_typeのセマンティクスの例を示す図である。
【図15】enhancement_typeのセマンティクスの例を示す図である。
【図16】projection_typeのセマンティクスの例を示す図である。
【図17】enhancement_typeのセマンティクスの例を示す図である。
【図18】Projected Omnidirectional Video Boxのシンタックスの例を示す図である。
【図19】Offset Spherical Projection Boxのシンタックスの例を示す図である。
【図20】Projection Format Structのシンタックスの例を示す図である。
【図21】アップロード処理の流れの例を説明するフローチャートである。
【図22】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図23】Projection enhancement descriptorの属性値の例を示す図である。
【図24】データタイプの例を示す図である。
【図25】EssentialPropertyの例を示す図である。
【図26】Projection format descriptorの属性値の例を示す図である。
【図27】Projection enhancement descriptorの属性値の例を示す図である。
【図28】Projection format descriptorの属性値の例を示す図である。
【図29】アップロード処理の流れの例を説明するフローチャートである。
【図30】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図31】Projection_Enhancement_Boxのシンタックスの例を示す図である。
【図32】追加されたフィールドのセマンティクスの例を示す図である。
【図33】Spherical offset projection SEI messageのシンタックスの例を示す図である。
【図34】Spherical offset projection SEI messageのフィールドのセマンティクスの例を示す図である。
【図35】Offset Sample Entryのシンタックスの例を示す図である。
【図36】Offset Sampleのシンタックスの例を示す図である。
【図37】Sample Table Boxの例を示す図である。
【図38】Offset Spherical Projection Sample Group Entryのシンタックスの例を示す図である。
【図39】アップロード処理の流れの例を説明するフローチャートである。
【図40】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図41】アップロード処理の流れの例を説明するフローチャートである。
【図42】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図43】アップロード処理の流れの例を説明するフローチャートである。
【図44】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図45】アップロード処理の流れの例を説明するフローチャートである。
【図46】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図47】Quality ranking領域の例を示す図である。
【図48】Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。
【図49】2D Region Quality Ranking Boxのシンタックスの例を示す図である。
【図50】Quality ranking領域の例を示す図である。
【図51】Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。
【図52】追加されたフィールドのセマンティクスの例を示す図である。
【図53】Quality ranking領域の例を示す図である。
【図54】Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。
【図55】追加されたフィールドのセマンティクスの例を示す図である。
【図56】Quality ranking領域の例を示す図である。
【図57】Sphere Region Quality Ranking Boxのシンタックスの例を示す図である。
【図58】追加されたフィールドのセマンティクスの例を示す図である。
【図59】アップロード処理の流れの例を説明するフローチャートである。
【図60】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図61】アップロード処理の流れの例を説明するフローチャートである。
【図62】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図63】Projected Omnidirectional Video Boxのシンタックスの例を示す図である。
【図64】Quality Emphasized Viewport Information Boxのシンタックスの例を示す図である。
【図65】追加されたフィールドのセマンティクスの例を示す図である。
【図66】アップロード処理の流れの例を説明するフローチャートである。
【図67】コンテンツ再生処理の流れの例を説明するフローチャートである。
【図68】Quality emphasized viewport info descriptorの属性値の例を示す図である。
【図69】データタイプの例を示す図である。
【図70】Projection Enhancement Boxのシンタックスの例を示す図である。
【図71】Recommended viewport information Boxのシンタックスの例を示す図である。
【図72】追加されたフィールドのセマンティクスの例を示す図である。
【図73】全天球映像のTrackとrecommended viewport timed metadataのTrackとの紐付けの様子の例を示す図出る。
【図74】Recommended viewport information descriptorの属性値の例を示す図である。
【図75】データタイプの例を示す図である。
【図76】MPDのシンタックスの例を示す図である。
【図77】Projection Enhancement Boxのシンタックスの例を示す図である。
【図78】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【0024】
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.プロジェクション拡張に関する情報のシグナル
2.第1の実施の形態(ISOBMFFの拡張)
3.第2の実施の形態(MPDの拡張)
4.第3の実施の形態(偏心球面マッピングストリーム配信)
5.付記
【0025】
<1.プロジェクション拡張に関する情報のシグナル>
<技術内容・技術用語をサポートする文献等>
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
【0026】
非特許文献1:(上述)
非特許文献2:(上述)
非特許文献3:(上述)
【0027】
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、パース(Parsing)、シンタックス(Syntax)、セマンティクス(Semantics)等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、特許請求の範囲のサポート要件を満たすものとする。
【0028】
<MPEG-DASH>
従来、例えば非特許文献1に記載のように、HTTP(Hypertext Transfer Protocol)プロトコルによるアダプティブなコンテンツ配信技術の標準化規格として、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)がある。
【0029】
このMPEG-DASHにより、例えば、ウェブサイトからインターネットのウェブページをダウンロードする場合と同様の通信プロトコルであるHTTPを用いて、ネットワーク帯域の変動に応じた最適なビットレートでのビデオ再生を実現することができる。
【0030】
この標準規格により、動画配信サービスのためのインフラや動画再生クライアント向けの技術開発をより容易にすることができる。特に、配信サービスを手掛ける事業者にとっては、動画配信サービスと動画再生クライアントとの間の互換性が向上する他、既存のコンテンツ資産を活用しやすい利点があり、市場の成長を促進する効果が期待される。
【0031】
MPEG-DASHは、主に、2つの技術企画で構成されている。動画や音声ファイルを管理するメタデータを記述したMPD(Media Presentation Description)と称するマニュフェストファイル仕様を定めた規格と、実際に動画コンテンツを伝達するためのセグメントフォーマット(segment format)と称するファイルフォーマットの運用規格である。
【0032】
このファイルフォーマットとして、例えば非特許文献2に記載のように、動画圧縮の国際標準技術「MPEG-4(Moving Picture Experts Group - 4)」のファイルコンテナ仕様であるISOBMFF(International Organization for Standardization Base Media File Format)がある。ISOBMFFには、MPEG-DASHの要件を満たすための機能拡張がISO/IEC(International Organization for Standardization / International Electrotechnical Commission) 14496-12の拡張仕様として加えられた。
【0033】
<MPEG-DASHを用いた全天球映像の配信>
ところで、所謂全天球映像のように、水平方向の周囲360度および垂直方向の周囲180度の画像が立体構造に投影された画像である立体構造画像がある。例えば、視点から見た周辺の画像をその視点を中心とする立体構造にレンダリングして立体構造画像とすることにより、視点の周辺の画像をより自然に表現したり、その立体構造画像から所望の視線方向の画像を容易に生成したりすることができる。
【0034】
近年、この立体構造画像の配信にMPEG-DASHを利用することが考えられている。例えば非特許文献3に記載のように、立体構造画像を単数の平面にマッピングし、その立体構造画像が平面にマッピングされた投影平面画像として配信することにより、MPEG-DASHを適用することができる。
【0035】
非特許文献3に記載のMPEG-I Part2 Omnidirectional Media Format(ISO/IEC 23090-2)FDIS(Final Draft International Standards)(以下、OMAFとも称する)では、この投影方法(プロジェクションフォーマット(projection format)とも称する)として、ERP(Equirectangular projection(正距円筒))とCMP(Cubemap projection(キューブマップ))の2つが採用されている。
【0036】
図1の上側に示されるERPの場合、左側に示されるような球状の立体構造に投影された立体構造画像が、右側に示されるような単数の平面に、立体構造画像の緯度方向と経度方向とが直交するようにマッピングされる。
【0037】
図1の下側に示されるCMPの場合、左側に示されるような立方体に投影された立体構造画像の各面が展開され、右側に示されるような単数の平面に所定の順に並べるようにマッピングされる。
【0038】
このように水平方向の周囲360度および垂直方向の周囲180度の画像が投影・マッピングされた投影平面画像をプロジェクテドピクチャ(projected picture)とも称する。つまり、projected pictureとは、projection format毎に決まる、全天球映像を表現する2次元画像(2次元picture)のことである。
【0039】
<全天球映像配信におけるviewport dependentな高画質化>
このようなERPやCMPは、いずれも市場で広くサポートされている。ただし、これらの投影方法は、画質を向上させる仕組みを特に有しておらず、画質の面で優れたprojection formatであるとは言えない。例えば、近年、全天球映像の配信において、帯域幅を有効活用しユーザ体験を最適化することができるように、全天球映像の中の特定の方向の高画質化(ビューポートディペンデント(viewport dependent)な高画質化とも称する)を行うことが考えられている。しかしながら、これらのprojection formatはviewport dependentな高画質化に非対応である。
【0040】
そのため、帯域幅を有効活用してユーザ体験を最適化するように、符号化効率の低減を抑制しながら高画質化を図る場合、上述のようなviewport dependentな特性を持つ新たなprojection formatを採用する必要がある。しかしながら、そのためにはオーサリングワークフローやクライアント実装への影響が非常に大きなものとなってしまうおそれがあった。そのため、市場導入のハードルが高く、実現が困難になるおそれがあった。
【0041】
<プロジェクション拡張に関する情報の提供>
そこで、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報をシグナルする(コンテンツの再生側に提供する)ようにする。
【0042】
このようにすることにより、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。したがって、符号化効率の低減を抑制したより高画質な画像提供を、より容易に実現することができる。
【0043】
<プロジェクション拡張タイプ>
次に、投影方法(projection format)の拡張方法であるプロジェクション拡張のタイプの例について説明する。プロジェクション拡張のタイプとして、例えば、EAC(Equi-Angular Cubemap)がある。EACは、図2に示されるように、キューブ面への投影時の画素配置を等角度とするマッピング手法である。このようにすることで、表示時の球面上において画素配置が等間隔となるため、投影面上で画素配置が等間隔となるCMPに比べて、視野変更時の画質変化が滑らかになるというメリットがある。EACは、CMPに適用されるプロジェクション拡張である。
【0044】
また、例えば、プロジェクション拡張のタイプとして、偏心球面マッピングがある。偏心球面マッピングは、図3に示されるように、プロジェクション構造を正規化して球面とし、ずれた位置から球面画素を見た時の不均一な画素配置を適用するマッピング手法である。このようにすることにより、viewport dependentな高画質化を実現することができる。偏心球面マッピングは、ERPとCMPのいずれにも適用可能である。また、偏心球面マッピングは、EACにも適用可能であり、その他のprojection formatへの適用も可能である。
【0045】
<プロジェクション拡張に関する情報>
次に、シグナルする(ファイルに含めてクライアントに提供する)プロジェクション拡張に関する情報の例について説明する。上述したプロジェクション拡張に関する情報は、プロジェクション拡張が適用されたストリーム(以下において、プロジェクション拡張ストリームとも称する)をクライアントが正しく処理するために有用な情報であれば、どのような情報であってもよい。例えば、プロジェクション拡張に関する情報として、例えば以下のような情報をシグナルするようにしてもよい。
【0046】
(A)プロジェクション拡張が適用されているか否か
(B)適用されているならばどの拡張方法が適用されているか
(C)プロジェクション拡張がなされたストリームを、クライアントが正しくレンダリングするための情報
【0047】
情報(A)をシグナルすることにより、コンテンツの再生側において、そのシグナルされた情報(A)に基づいて、ストリームにプロジェクション拡張が適用されているか否かを容易に把握することができる。したがって、コンテンツの再生側において、自身のプロジェクション拡張に関する能力(capability)に応じたストリームの選択、すなわち、プロジェクション拡張の適用の有無の選択を行うことができる。
【0048】
また、情報(B)をシグナルすることにより、コンテンツの再生側において、そのシグナルされた情報(B)に基づいて、ストリームに適用されたプロジェクション拡張のタイプを容易に把握することができる。したがって、コンテンツの再生側において、自身のプロジェクション拡張に関する能力(capability)に応じたストリームの選択、すなわち、プロジェクション拡張のタイプの選択を行うことができる。
【0049】
また、情報(C)をシグナルすることにより、コンテンツの再生側において、そのシグナルされた情報(B)に基づいて、プロジェクション拡張が適用されたストリームの画像のレンダリングに必要な情報を容易に把握することができる。したがって、コンテンツの再生側において、自身のプロジェクション拡張に関する能力(capability)に応じたストリームの選択、すなわち、プロジェクション拡張に伴う処理内容の選択を行うことができる。また、選択したストリームの画像のレンダリングを正しく行うことができる。
【0050】
つまり、例えば、プロジェクション拡張が適用されたストリームを処理できるクライアントは、プロジェクション拡張が適用されたストリームを選択し、処理できないクライアントは、プロジェクション拡張が未適用のストリームを選択することができる。したがって、クライアントの互換性担保が可能となる。
【0051】
<ファイル生成装置>
次に、プロジェクション拡張に関するシグナルを行う装置の構成について説明する。図4は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図4に示されるファイル生成装置100は、ISOBMFFファイル(セグメントファイル)やMPDファイルを生成する装置である。例えば、ファイル生成装置100は、非特許文献1乃至非特許文献3に記載されている技術を実装し、MPEG-DASHに準拠した方法で、ストリームを含むISOBMFFファイルや、ストリームの配信制御に用いられる制御ファイルであるMPDファイルを生成し、それらのファイルを、ネットワークを介して、それらのファイルを配信するサーバにアップロード(送信)する。
【0052】
なお、図4においては、処理部やデータの流れ等の主なものを示しており、図4に示されるものが全てとは限らない。つまり、ファイル生成装置100において、図4においてブロックとして示されていない処理部が存在したり、図4において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0053】
図4に示されるようにファイル生成装置100は、制御部101、メモリ102、およびファイル生成部103を有する。
【0054】
制御部101は、ファイル生成装置100全体の動作を制御する。例えば制御部101は、ファイル生成部103を制御して、ISOBMFFファイルやMPDファイルを生成させたり、生成されたISOBMFFファイルやMPDファイルをアップロードさせたりする。制御部101は、このような制御に関する処理を、メモリ102を利用して行う。例えば、制御部101は、所望のプログラム等をメモリ102にロードして実行することにより、上述のような制御に関する処理を行う。
【0055】
ファイル生成部103は、制御部101の制御に従って、ISOBMFFファイルやMPDファイルの生成やアップロード(送信)に関する処理を行う。図4に示されるように、ファイル生成部103は、データ入力部111、データ符号化・生成部112、MPDファイル生成部113、記録部114、およびアップロード部115を有する。
【0056】
データ入力部111は、データ入力の受け付けに関する処理を行う。例えば、データ入力部111は、テクスチャやメッシュの生成に必要な画像等のデータや、MPDファイルの生成に必要なメタデータ等の入力を受け付ける。また、データ入力部111は、受け付けたデータを、データ符号化・生成部112やMPDファイル生成部113に供給する。
【0057】
データ符号化・生成部112は、データの符号化やファイルの生成に関する処理を行う。例えば、データ符号化・生成部112は、データ入力部111から供給された画像等のデータに基づいて、テクスチャやメッシュ等のストリームを生成する。また、データ符号化・生成部112は、生成したストリームを格納するISOBMFFファイルを生成する。また、データ符号化・生成部112は、生成したISOBMFFファイルを記録部114に供給する。
【0058】
図4に示されるように、データ符号化・生成部112は、前処理部121、エンコード部122、およびセグメントファイル生成部123を有する。
【0059】
前処理部121は、符号化前の画像等のデータに対する処理を行う。例えば、前処理部121は、データ入力部111から供給された画像等のデータに基づいて、テクスチャやメッシュのストリームを生成する。また、例えば、前処理部121は、その生成したストリームをエンコード部122に供給する。
【0060】
エンコード部122は、ストリームの符号化に関する処理を行う。例えば、エンコード部122は、前処理部121から供給されたストリームを符号化する。また、例えば、エンコード部122は、その符号化により得られた符号化データを、セグメントファイル生成部123に供給する。
【0061】
セグメントファイル生成部123は、セグメントファイルの生成に関する処理を行う。例えば、セグメントファイル生成部123は、データ入力部111から供給されたメタデータ等に基づいて、エンコード部122から供給された符号化データをセグメント単位でファイル化する(セグメントファイルを生成する)。また、例えば、セグメントファイル生成部123は、セグメントファイルの生成に関する処理として、以上のように生成したISOBMFFファイルを記録部114に供給する。例えば、セグメントファイル生成部123は、セグメントファイルとしてISOBMFFファイルを生成し、生成したISOBMFFファイルを記録部114に供給する。
【0062】
MPDファイル生成部113は、MPDファイルの生成に関する処理を行う。例えば、MPDファイル生成部113は、データ入力部111から供給されたメタデータ等に基づいて、MPDファイルを生成する。また、例えば、MPDファイル生成部113は、生成したMPDファイルを記録部114に供給する。なお、MPDファイル生成部113は、MPDファイルの生成に必要なメタデータ等をセグメントファイル生成部123から取得するようにしてもよい。
【0063】
記録部114は、例えば、ハードディスクや半導体メモリ等の任意の記録媒体を有し、データの記録等に関する処理を行う。例えば、記録部114は、MPDファイル生成部113から供給されたMPDファイルを記録する。また、例えば、記録部114は、セグメントファイル生成部123から供給されたセグメントファイル(例えばISOBMFFファイル)を記録する。
【0064】
アップロード部115は、ファイルのアップロード(送信)に関する処理を行う。例えば、アップロード部115は、記録部114に記録されているMPDファイルを読み出す。また、例えば、アップロード部115は、読み出したMPDファイルを、ネットワーク等を介して、MPDファイルをクライアント等に配信するサーバ(図示せず)にアップロード(送信)する。
【0065】
また、例えば、アップロード部115は、記録部114に記録されているセグメントファイル(例えばISOBMFFファイル)を読み出す。また、例えば、アップロード部115は、読み出したそれらのセグメントファイルを、ネットワーク等を介して、セグメントファイルをクライアント等に配信するサーバ(図示せず)にアップロード(送信)する。
【0066】
つまり、アップロード部115は、MPDファイルやセグメントファイル(例えばISOBMFFファイル)をサーバに送信する通信部として機能する。なお、アップロード部115によるMPDファイルの送信先とセグメントファイル(例えばISOBMFFファイル)の送信先は、互いに同一であってもよいし、互いに異なっていてもよい。また、ここでは、ファイル生成装置100が、MPDファイルやセグメントファイル(例えばISOBMFFファイル)を、それらのファイルをクライアントに配信するサーバにアップロードする装置として機能する例について説明するが、ファイル生成装置100がそのサーバとして機能するようにしてもよい。その場合、ファイル生成装置100のアップロード部115が、ネットワークを介してMPDファイルやセグメントファイル(例えばISOBMFFファイル)をクライアントに配信するようにすればよい。
【0067】
<クライアント装置>
図5は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図5に示されるクライアント装置200は、MPDファイルやセグメントファイル(例えばISOBMFFファイル)を取得し、それらのファイルに基づいて、コンテンツを再生する装置である。例えば、クライアント装置200は、非特許文献1乃至非特許文献3に記載されている技術を実装し、MPEG-DASHに準拠した方法でセグメントファイルをサーバ(または上述のファイル生成装置100)より取得し、そのセグメントファイルに含まれるストリーム(コンテンツ)を再生する。その際、クライアント装置200は、MPDファイルをサーバ(または上述のファイル生成装置100)より取得し、そのMPDファイルを利用して所望のセグメントファイルを選択し、サーバより取得するようにしてもよい。
【0068】
なお、図5においては、処理部やデータの流れ等の主なものを示しており、図5に示されるものが全てとは限らない。つまり、クライアント装置200において、図5においてブロックとして示されていない処理部が存在したり、図5において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
【0069】
図5に示されるようにクライアント装置200は、制御部201、メモリ202、および再生処理部203を有する。
【0070】
制御部201は、クライアント装置200全体の動作を制御する。例えば制御部201は、再生処理部203を制御して、サーバからMPDファイルやセグメントファイル(例えばISOBMFFファイル)を取得させたり、セグメントファイルに含まれるストリーム(コンテンツ)を再生させたりする。制御部201は、このような制御に関する処理を、メモリ202を利用して行う。例えば、制御部201は、所望のプログラム等をメモリ202にロードして実行することにより、上述のような制御に関する処理を行う。
【0071】
再生処理部203は、制御部201の制御に従って、セグメントファイルに含まれるストリーム(コンテンツ)の再生に関する処理を行う。図5に示されるように、再生処理部203は、計測部211、MPDファイル取得部212、MPDファイル処理部213、セグメントファイル取得部214、表示制御部215、データ解析・復号部216、および表示部217を有する。
【0072】
計測部211は、計測に関する処理を行う。例えば、計測部211は、クライアント装置200とサーバとの間のネットワークの伝送帯域を計測する。また、例えば、計測部211は、その計測結果をMPDファイル処理部213に供給する。
【0073】
MPDファイル取得部212は、MPDファイルの取得に関する処理を行う。例えば、MPDファイル取得部212は、所望のコンテンツ(再生するコンテンツ)に対応するMPDファイルを、ネットワークを介してサーバから取得する。また、例えば、MPDファイル取得部212は、取得したMPDファイルをMPDファイル処理部213に供給する。
【0074】
MPDファイル処理部213は、MPDファイルに基づく処理を行う。例えば、MPDファイル処理部213は、MPDファイル取得部212から供給されたMPDファイルに基づいて、取得するストリームを選択する。また、例えば、MPDファイル処理部213は、その選択結果をセグメントファイル取得部214に供給する。なお、取得するストリームの選択にあたっては、計測部211から供給された計測結果や、表示制御部215から供給されたユーザの視点位置や視線方向に関する情報も適宜利用される。
【0075】
セグメントファイル取得部214は、セグメントファイル(例えばISOBMFFファイル)の取得に関する処理を行う。例えば、セグメントファイル取得部214は、所望のコンテンツの再生に必要なストリームが格納されたセグメントファイルを、ネットワークを介してサーバから取得する。また、例えば、セグメントファイル取得部214は、取得したセグメントファイルをデータ解析・復号部216に供給する。
【0076】
なお、セグメントファイル取得部214がセグメントファイル(例えばISOBMFFファイル)を取得するサーバは、MPDファイル取得部212がMPDファイルを取得するサーバと同一であってもよいし、異なっていてもよい。また、セグメントファイル取得部214が、MPDファイル処理部213から供給されるストリームの選択結果に基づいて、セグメントファイルを取得するようにしてもよい。つまり、セグメントファイル取得部214が、MPDファイル等に基づいて選択されたストリームが格納されたセグメントファイルをサーバから取得するようにしてもよい。
【0077】
表示制御部215は、コンテンツの再生(表示)の制御に関する処理を行う。例えば、表示制御部215は、コンテンツを視聴するユーザの視点位置や視線方向の検出結果を取得する。また、例えば、表示制御部215は、その取得した検出結果(ユーザの視点位置や視線方向に関する情報)をMPDファイル処理部213やデータ解析・復号部216に供給する。
【0078】
データ解析・復号部216は、データの解析や復号等に関する処理を行う。例えば、データ解析・復号部216は、セグメントファイル取得部214から供給されたISOBMFFファイルを処理し、コンテンツの表示用画像を生成する。また、データ解析・復号部216は、その表示用画像のデータを表示部217に供給する。
【0079】
図5に示されるように、データ解析・復号部216は、セグメントファイル処理部221、デコード部222、および表示情報生成部223を有する。
【0080】
セグメントファイル処理部221は、セグメントファイル(例えばISOBMFFファイル)に対する処理を行う。例えば、セグメントファイル処理部221は、セグメントファイル取得部214から供給されたISOBMFFファイルから所望のストリームの符号化データを抽出する。また、例えば、セグメントファイル処理部221は、抽出した符号化データをデコード部222に供給する。
【0081】
なお、セグメントファイル処理部221が、表示制御部215から供給されたユーザの視点位置や視線方向に関する情報や計測部211において計測された伝送帯域等に基づいて、ストリームを選択し、そのストリームの符号化データをセグメントファイルから抽出するようにしてもよい。
【0082】
デコード部222は、復号に関する処理を行う。例えば、デコード部222は、セグメントファイル処理部221から供給された符号化データを復号する。また、例えば、デコード部222は、その復号により得られたストリームを表示情報生成部223に供給する。
【0083】
表示情報生成部223は、表示用画像のデータの生成に関する処理を行う。例えば、表示情報生成部223は、表示制御部215から供給されたユーザの視点位置や視線方向に関する情報と、デコード部222から供給されたストリームとに基づいて、ユーザの視点位置や視線方向に応じた表示用画像のデータを生成する。また、例えば、表示情報生成部223は、生成された表示用画像のデータを、表示部217に供給する。
【0084】
表示部217は、例えば液晶表示パネル等を用いたディスプレイやプロジェクタ等の任意の表示デバイスを有し、その表示デバイスを用いた画像表示に関する処理を行う。例えば、表示部217は、表示情報生成部223から供給されたデータに基づいて、画像表示等のコンテンツ再生を行う。
【0085】
<2.第1の実施の形態>
<ISOBMFFによるプロジェクション拡張に関する情報のシグナル>
上述したプロジェクション拡張に関する情報のシグナルを、セグメントファイルであるISOBMFFファイルにおいて行うようにしてもよい。
【0086】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するようにしてもよい。
【0087】
例えば、情報処理装置であるファイル生成装置100において、セグメントファイル生成部123が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置(例えばファイル生成装置100)が、ファイル生成部(例えばセグメントファイル生成部123)を備えるようにしてもよい。
【0088】
なお、ISOBMFFファイルにおいては、ストリームはトラック(track)として管理される。つまり、ISOBMFFファイルを用いる場合、トラックを選択することにより、ストリームの選択が行われる。
【0089】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図6のフローチャートを参照して説明する。
【0090】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS101において、画像とメタデータを取得する。
【0091】
ステップS102において、セグメントファイル生成部123は、プロジェクション拡張に関する情報を含むISOBMFFファイルを生成する。
【0092】
ステップS103において、記録部114は、ステップS102の処理により生成されたISOBMFFファイルを記録する。
【0093】
ステップS104において、アップロード部115は、ステップS103において記録されたISOBMFFファイルを記録部114より読み出し、それをサーバにアップロードする。
【0094】
ステップS104の処理が終了すると、アップロード処理が終了する。
【0095】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、プロジェクション拡張に関する情報を含むISOBMFFファイルを生成することができる。
【0096】
したがって、クライアントは、そのプロジェクション拡張に関する情報に基づいて、自身の能力(capability)に応じたストリームを適切に取得し、レンダリングすることが可能となる。つまり、例えば、プロジェクション拡張が適用されたストリームを処理できるクライアントは、プロジェクション拡張が適用されたストリームを選択し、処理できないクライアントは、プロジェクション拡張が未適用のストリームを選択することができる。したがって、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0097】
<ISOBMFFにシグナルされたプロジェクション拡張に関する情報の利用>
また、ISOBMFFファイルにシグナルされたプロジェクション拡張に関する情報を利用してストリームの選択やレンダリングを行うようにしてもよい。
【0098】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、その取得されたファイルに含まれるそのプロジェクション拡張に関する情報に基づいて、その画像符号化データのストリームの選択を行うようにしてもよい。
【0099】
例えば、情報処理装置であるクライアント装置200において、セグメントファイル取得部214が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部216が、そのファイル取得部により取得されたファイルに含まれるそのプロジェクション拡張に関する情報に基づいて、その画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置(例えばクライアント装置200)が、ファイル取得部(例えばセグメントファイル取得部214)と、画像処理部(例えばデータ解析・復号部216)とを備えるようにしてもよい。
【0100】
<コンテンツ再生処理の流れ>
その場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図7のフローチャートを参照して説明する。
【0101】
コンテンツ再生処理が開始されると、クライアント装置200のセグメントファイル取得部214は、ステップS121において、プロジェクション拡張に関する情報を含むISOBMFFファイルを取得する。
【0102】
ステップS122において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0103】
ステップS123において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0104】
ステップS124において、セグメントファイル処理部221は、そのクライアント装置200が対応しているプロジェクションフォーマット(projection format)を使用しているトラック(track)を選択候補とする。
【0105】
ステップS125において、セグメントファイル処理部221は、そのクライアント装置200が拡張プロジェクションに対応しているか否かを判定する。対応していると判定された場合、処理はステップS126に進む。
【0106】
ステップS126において、セグメントファイル処理部221は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたトラック(track)を選択する。その際、セグメントファイル処理部221は、ステップS124において設定された選択候補の内、クライアント装置200が対応する拡張タイプのトラック、および、プロジェクション拡張を未適用のトラックの中から、所望のトラックを選択する。ステップS126の処理が終了すると、処理はステップS128に進む。
【0107】
また、ステップS125において、そのクライアント装置200が拡張プロジェクションに対応していないと判定された場合、処理はステップS127に進む。
【0108】
ステップS127において、セグメントファイル処理部221は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたトラック(track)を選択する。その際、セグメントファイル処理部221は、ステップS124において設定された選択候補の内、プロジェクション拡張を未適用のトラックの中から、所望のトラックを選択する。ステップS127の処理が終了すると、処理はステップS128に進む。
【0109】
つまり、セグメントファイル処理部221は、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報に基づいて、クライアント装置200の機能(capability)に対応するトラックを候補とし、その中から所望のトラックを選択する。
【0110】
ステップS128において、セグメントファイル処理部221は、ステップS126またはステップS127において選択されたトラックのストリームの符号化データを、ステップS121において取得されたISOBMFFファイルから抽出する。
【0111】
ステップS129において、デコード部222は、ステップS128において抽出されたストリームの符号化データを復号する。
【0112】
ステップS130において、表示情報生成部223は、ステップS129において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0113】
ステップS130の処理が終了すると、コンテンツ再生処理が終了する。
【0114】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報を利用して、そのISOBMFFファイルに含まれるストリーム(そのストリームに対応するコンテンツ)を再生することができる。
【0115】
したがって、クライアント装置200は、そのプロジェクション拡張に関する情報に基づいて、自身の能力(capability)に応じたストリームを適切に取得し、レンダリングすることが可能となる。つまり、例えば、プロジェクション拡張が適用されたストリームを処理できるクライアントは、プロジェクション拡張が適用されたストリームを選択し、処理できないクライアントは、プロジェクション拡張が未適用のストリームを選択することができる。したがって、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0116】
<プロジェクション拡張に関する情報の詳細>
なお、プロジェクション拡張に関する情報に、プロジェクション拡張が適用されているかを示す情報(情報(A))が含まれているようにしてもよい。例えば、ファイル生成装置100のセグメントファイル生成部123が、プロジェクション拡張が適用されているかを示す情報(情報(A))を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置200のデータ解析・復号部216が、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報の、プロジェクション拡張が適用されているかを示す情報(情報(A))に基づいて、プロジェクション拡張が適用されているかの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。
【0117】
また、プロジェクション拡張に関する情報に、適用されるプロジェクション拡張のタイプを示す情報(情報(B))が含まれるようにしてもよい。例えば、ファイル生成装置100のセグメントファイル生成部123が、適用されるプロジェクション拡張のタイプを示す情報(情報(B))を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置200のデータ解析・復号部216が、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報の、適用されるプロジェクション拡張のタイプを示す情報(情報(B))に基づいて、適用されるプロジェクション拡張のタイプの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。
【0118】
なお、この情報が示すプロジェクション拡張のタイプに、上述したEACが含まれるようにしてもよい。また、この情報が示すプロジェクション拡張のタイプに、上述した偏心球面マッピングが含まれるようにしてもよい。
【0119】
また、プロジェクション拡張に関する情報に、立体構造へのレンダリングに必要な情報(情報(C))が含まれるようにしてもよい。例えば、ファイル生成装置100のセグメントファイル生成部123が、立体構造へのレンダリングに必要な情報(情報(C))を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置200のデータ解析・復号部216が、ISOBMFFファイルに含まれるプロジェクション拡張に関する情報の、立体構造へのレンダリングに必要な情報(情報(C))を用いて、ストリームの選択や、選択したストリームから得られる画像の立体構造へのレンダリングを行うようにしてもよい。
【0120】
以上のようなプロジェクション拡張に関する情報をシグナルすることにより、クライアントはプロジェクション拡張ストリームを適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0121】
<投影方法>
次に、水平方向の周囲360度および垂直方向の周囲180度の画像が立体構造に投影された立体構造画像を単数の平面にマッピングする投影方法の例について説明する。この投影方法はどのような方法であってもよい。例えば、この投影方法に、上述したERPが含まれるようにしてもよい。また、例えば、この投影方法に、上述したCMPが含まれるようにしてもよい。
【0122】
<ファイル構成>
ISOBMFFファイルにおいて、ストリームはトラックとして管理され、メタデータは、階層構造のBoxに格納される。図8は、ISOBMFFファイルのBox階層構造の例を示す図である。図8に示されるように、Movie Box(moov)の下に、対応するトラックに関するメタデータを格納するTrack Box(trak)が定義される。各トラックのメタデータは、そのTrack Box内においてさらに階層構造化される各種Box内に格納される。
【0123】
上述したプロジェクション拡張に関する情報が、このようなファイルに、画像符号化データのストリーム毎の情報として含まれるようにしてもよい。例えば、ファイル生成部が、プロジェクション拡張に関する情報を画像符号化データのストリーム毎の情報として含むファイルを生成するようにしてもよい。
【0124】
例えば、OMAFのISOBMFFファイルにおいて、Sample Entryの下のRestricted Scheme Information Box(rinf)の下のScheme Information Box(schi)の下にシグナルされるProjected Omnidirectional Video Box(povd)に、プロジェクション拡張に関する情報を格納するようにしてもよい。
【0125】
例えば、そのProjected Omnidirectional Video Box(povd)内に、新たにProjection Enhancement Boxを定義し、そのBox内にプロジェクション拡張に関する情報を格納するようにしてもよい。
【0126】
図9に示されるシンタックス(syntax)301は、Projected Omnidirectional Video Box(povd)のシンタックスの例を示している。プロジェクション拡張を適用する場合、このシンタックス301に示されるように、Projected Omnidirectional Video Box(povd)内に、適用されているプロジェクション拡張に関する情報を格納するProjection Enhancement Boxが定義される。
【0127】
図10に示されるシンタックス302は、Projection Enhancement Boxのシンタックスの例を示している。このシンタックス302に示されるように、Projection Enhancement Box内に、適用される拡張タイプを示すenhancement_typeフィールドが定義される。
【0128】
図11に示されるセマンティクス(semantics)303は、このenhancement_typeフィールドのセマンティックスの例を示している。この場合、enhancement_type==0は、偏心球面マッピングが適用されることを示す。また、enhancement_type==1は、EACが適用されることを示す。また、enhancement_type==2は、EACおよび偏心球面マッピングが適用されることを示す。なお、この例の場合、投影方法としてERPが適用される場合、プロジェクション拡張タイプとしてEACを適用することができないので、enhancement_typeの値は1および2になってはならない。
【0129】
また、シンタックス302に示されるように、3行目以下のif文内において、拡張タイプ毎(enhancement_typeの値毎)にレンダリングに必要な情報が格納される。
【0130】
以上のように、Projection Enhancement Boxがtrack(Projected Omnidirectional Video Box(povd)内)に存在するとき、そのtrackのストリームにはプロジェクション拡張が適用されていることを示す。つまり、Projection Enhancement Boxの有無が、プロジェクション拡張が適用されているか否かを示す情報(上述の情報(A))である。
【0131】
換言するに、プロジェクション拡張に関する情報に、Projected Omnidirectional Video Boxに格納される、当該Boxが存在することによってプロジェクション拡張が適用されていることを示すProjection Enhancement Boxが含まれるようにしてもよい。
【0132】
また、そのProjection Enhancement Box内に定義されるenhancement_typeフィールドは、どのプロジェクション拡張が適用されたストリームであるかを示す情報(上述の情報(B))である。換言するに、プロジェクション拡張に関する情報に、Projection_Enhancement_Boxに格納される、適用されるプロジェクション拡張のタイプを示すenhancement_typeが含まれるようにしてもよい。
【0133】
また、そのProjection Enhancement Box内においてenhancement_typeの値毎に定義される情報は、拡張タイプ毎にシグナルされるレンダリングに必要な情報(上述の情報(C))である。換言するに、プロジェクション拡張に関する情報に、Projection Enhancement Boxに格納される、プロジェクション拡張のタイプ毎の、立体構造へのレンダリングに必要な情報が含まれるようにしてもよい。
【0134】
このようにすることにより、クライアント装置200は、Projection Enhancement Boxの有無と、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無の識別、および、適用された拡張タイプの識別を行うことができる。また、クライアント装置200は、enhancement_type毎に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置200は、自身の能力(capability)に応じたトラック(track)の選択を行うことができる。
【0135】
したがって、クライアント装置200はプロジェクション拡張ストリームを適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0136】
なお、シンタックス301(図9)に示されるように、Projected Omnidirectional Video Box(povd)内において、Projection Format Boxも定義される。図12に示されるシンタックス304は、そのProjection Format Boxのシンタックスの例を示している。このシンタックス304に示されるように、Projection Format Box内に、Prjection Format Structが定義される。
【0137】
図13に示されるシンタックス305は、そのProjection Format Structのシンタックスの例を示している。このシンタックス305に示されるように、Projection Format Struct内に、適用される投影方法(ストリームで用いられているprojection format)が示されるprojection_typeフィールドが定義される。例えば、このprojection_typeにより、ERPであるかCMPであるか等がシグナルされる。
【0138】
<Projection Enhancement Boxの他の例>
なお、Projection Enhancement Boxの位置は、Projected Omnidirectional Video Boxの下に限定されない。例えば、Sample Entryの下等、その他のBox下にProjection Enhancement Boxがシグナルされるようにしてもよい。
【0139】
このようにしても、クライアント装置200は、Projection Enhancement Boxの有無と、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無の識別、および、適用された拡張タイプの識別を行うことができる。また、クライアント装置200は、enhancement_type毎に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置200は、自身の能力(capability)に応じたトラック(track)の選択を行うことができる。
【0140】
<projection_type、enhancement_typeの他の例>
また、例えば、OMAFで規定済みのProjection Format Box内のProjection Format Structが持つprojection_typeフィールドで、プロジェクション拡張ストリームであることをシグナルし、Projection Enhancement Boxのenhancement_typeフィールドで、projection formatおよび拡張タイプをシグナルするようにしてもよい。
【0141】
図14のセマンティクス306は、その場合のprojection_typeのセマンティクスの例を示す。セマンティクス306に示されるように、この場合、projection_type==0は、投影方法(Projection format)としてERPが適用されることを示す。また、projection_type==1は、投影方法(Projection format)としてCMPが適用されることを示す。さらに、projection_type==2は、プロジェクション拡張が適用されることを示す。
【0142】
図15のセマンティクス307は、その場合のenhancement_typeのセマンティクスの例を示す。セマンティクス307に示されるように、この場合、enhancement_type==0は、投影方法(Projection format)としてERPが適用され、プロジェクション拡張のタイプとして、偏心球面マッピングが適用されることを示す。また、enhancement_type==1は、投影方法(Projection format)としてCMPが適用され、プロジェクション拡張のタイプとして、偏心球面マッピングが適用されることを示す。さらに、enhancement_type==2は、プロジェクション拡張のタイプとして、EACが適用されることを示す。また、enhancement_type==3は、プロジェクション拡張のタイプとして、EACおよび偏心球面マッピングが適用される(EACと偏心球面マッピングとの組み合わせが適用される)ことを示す。
【0143】
このようにしても、クライアント装置200は、Projection Enhancement Boxの有無と、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無の識別、および、適用されたタイプの識別を行うことができる。また、クライアント装置200は、enhancement_type毎に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置200は、自身の能力(capability)に応じたトラック(track)の選択を行うことができる。
【0144】
さらに変形例として、レンダリングを行う上で、拡張タイプ以外の追加情報が不要である場合、Projection Format Box内のProjection Format Structが持つprojection_typeフィールドでそのタイプをシグナルし、拡張タイプ以外の追加情報が必要なもののみProjection Enhancement Boxのenhancement_typeでシグナルするようにしてもよい。
【0145】
図16のセマンティクス308は、この場合のprojection_typeのセマンティクスの例を示す。セマンティクス308に示されるように、この場合、projection_type==0は、投影方法(Projection format)としてERPが適用されることを示す。また、projection_type==1は、投影方法(Projection format)としてCMPが適用されることを示す。さらに、projection_type==2は、プロジェクション拡張のタイプとして、レンダリングに追加情報が不要なEACが適用されることを示す。
【0146】
図17のセマンティクス309は、その場合のenhancement_typeのセマンティクスの例を示す。セマンティクス309に示されるように、この場合、enhancement_type==0は、プロジェクション拡張のタイプとして、レンダリングに追加情報が必要な偏心球面マッピングが適用されることを示す。
【0147】
この場合も、クライアント装置200は、projection_typeフィールドとenhancement_typeフィールドの値に応じて、プロジェクション拡張の適用の有無の識別、および、適用された拡張タイプの識別を行うことができる。また、クライアント装置200は、enhancement_type毎に定義された追加情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置200は、自身の能力(capability)に応じたトラック(track)の選択を行うことができる。
【0148】
<プロジェクション拡張のタイプ専用のBox>
上述したProjection Enhancement Boxを用いる代わりに、拡張のタイプ毎に個別のBox(適用される拡張のタイプ専用のBox)をProjected Omnidirectional Video Box(povd)の下にシグナルするようにしてもよい。
【0149】
つまり、プロジェクション拡張に関する情報が、ISOBMFFファイルに格納される、プロジェクション拡張のタイプ専用のBoxを含むようにしてもよい。
【0150】
図18に示されるシンタックス310は、適用されるプロジェクション拡張のタイプが偏心球面マッピングである場合のProjected Omnidirectional Video Boxのシンタックスの例を示す。シンタックス310に示されるように、この場合、Projected Omnidirectional Video Boxの下に、Offset Spherical Projection Boxが新たに定義される。このOffset Spherical Projection Boxは、偏心球面マッピング専用のBoxである。
【0151】
図19に示されるシンタックス311は、そのOffset Spherical Projection Boxのシンタックスの例を示す。シンタックス311に示されるように、このOffset Spherical Projection Box内には、レンダリングに必要な情報がシグナルされる。
【0152】
この場合、クライアント装置200は、Projected Omnidirectional Video Boxの下に、Offset Spherical Projection Boxが定義されることにより、プロジェクション拡張が適用され、その適用されたプロジェクション拡張のタイプが偏心球面マッピングであることを識別することができる。また、クライアント装置200は、Offset Spherical Projection Box内に定義された情報に基づいて、レンダリングに必要な情報を得ることができる。したがって、クライアント装置200は、自身の能力(capability)に応じたトラック(track)の選択を行うことができる。
【0153】
この場合も、さらに、プロジェクション拡張ストリームに適用されている拡張タイプを示すenhancement_typeを、Projection Format Boxに格納されるProjection Format Struct内にシグナルするようにしてもよい。その場合のenhancement_typeのセマンティクスは、図11と同様である。
【0154】
また、レンダリングを行う上で、拡張タイプ以外の追加情報が不要である場合、適用された拡張タイプの専用のBox(拡張タイプ毎の個別Box)をシグナルせず、enhancement_typeのみをシグナルするようにしてもよい。
【0155】
図20に示されるシンタックス312は、この場合のProjection Format Structのシンタックスの例を示す。シンタックス312に示されるように、この場合、Projection Format Struct内において、projection_typeとともにenhancement_typeが定義される。
【0156】
この場合、Offset Spherical Projection Boxがtrackに存在するとき、そのtrackのストリームには偏心球面マッピングが適用されていることを示す。その他のプロジェクション拡張タイプの場合についても同様に、そのプロジェクション拡張タイプ専用のBoxが設定される。また、enhancement_typeはどのプロジェクション拡張タイプが適用されたストリームであるかを示す。
【0157】
クライアント装置200は、プロジェクション拡張方法毎の個別Boxの存在や、enhancement_typeの値からプロジェクション拡張の適用の有無、適用されているならばそのタイプを識別し、自身の能力(capability)に応じたtrack選択を行うことができる。
【0158】
なお、この場合も、アップロード処理の流れは、図6のフローチャートを参照して説明した場合と同様である。また、この場合のコンテンツ再生処理の流れも、図7のフローチャートを参照して説明した場合と同様である。
【0159】
なお、Offset Spherical Projecction Box等、プロジェクション拡張方法毎の個別Boxの位置は、Projected Omnidirectional Video Boxの下に限定されない。例えば、Sample Entryの下等、その他のBox下にプロジェクション拡張方法毎の個別Boxがシグナルされるようにしてもよい。
【0160】
<3.第2の実施の形態>
<MPDファイルによるプロジェクション拡張に関する情報のシグナル>
上述したプロジェクション拡張に関する情報のシグナルを、MPDファイルにおいて行うようにしてもよい。
【0161】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するようにしてもよい。
【0162】
例えば、情報処理装置であるファイル生成装置100において、MPDファイル生成部113が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置(例えばファイル生成装置100)が、ファイル生成部(例えばMPDファイル生成部113)を備えるようにしてもよい。
【0163】
なお、MPDファイルにおいては、ストリーム毎のメタデータはアダプテーションセット(Adaptation Set)やリプレゼンテーション(Representation)として管理される。つまり、MPDファイルを用いる場合、アダプテーションセット(Adaptation Set)やリプレゼンテーション(Representation)を選択することにより、ストリームの選択が行われる。
【0164】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図21のフローチャートを参照して説明する。
【0165】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS151において、画像とメタデータを取得する。
【0166】
ステップS152において、セグメントファイル生成部123は、その画像に対応するセグメントファイルを生成する。
【0167】
ステップS153において、MPDファイル生成部113は、ステップS151において取得された画像とメタデータ(並びに、ステップS152において生成されたセグメントファイル)に対応する、プロジェクション拡張に関する情報を含むMPDファイルを生成する。
【0168】
ステップS154において、記録部114は、ステップS153の処理により生成されたMPDファイルと、ステップS152の処理により生成されたセグメントファイルとを記録する。
【0169】
ステップS155において、アップロード部115は、ステップS154において記録されたMPDファイルおよびセグメントファイルを記録部114より読み出し、それらをサーバにアップロードする。
【0170】
ステップS155の処理が終了すると、アップロード処理が終了する。
【0171】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、プロジェクション拡張に関する情報を含むMPDファイルを生成することができる。
【0172】
したがって、クライアントは、そのプロジェクション拡張に関する情報に基づいて、自身の能力(capability)に応じたセグメントファイル(ストリーム)を適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0173】
<MPDファイルにシグナルされたプロジェクション拡張に関する情報の利用>
また、MPDファイルにシグナルされたプロジェクション拡張に関する情報を利用してストリームの選択を行うようにしてもよい。
【0174】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、その取得された制御ファイルに含まれるプロジェクション拡張に関する情報に基づいて、画像符号化データのストリームの選択を行うようにしてもよい。
【0175】
例えば、情報処理装置であるクライアント装置200において、MPDファイル取得部212が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部として機能し、MPDファイル処理部213が、そのファイル取得部により取得された制御ファイルに含まれるプロジェクション拡張に関する情報に基づいて、画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置(例えばクライアント装置200)が、ファイル取得部(例えばMPDファイル取得部212)と、画像処理部(例えばMPDファイル処理部213)とを備えるようにしてもよい。
【0176】
<コンテンツ再生処理の流れ>
その場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図22のフローチャートを参照して説明する。
【0177】
コンテンツ再生処理が開始されると、クライアント装置200のMPDファイル取得部212は、ステップS171において、プロジェクション拡張に関する情報を含むMPDファイルを取得する。
【0178】
ステップS172において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0179】
ステップS173において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0180】
ステップS174において、MPDファイル処理部213は、そのクライアント装置200が対応しているプロジェクションフォーマット(projection format)を使用しているアダプテーションセット(Adaptation Set)を選択候補とする。
【0181】
ステップS175において、MPDファイル処理部213は、そのクライアント装置200が拡張プロジェクションに対応しているか否かを判定する。対応していると判定された場合、処理はステップS176に進む。
【0182】
ステップS176において、MPDファイル処理部213は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたアダプテーションセット(Adaptation Set)を選択する。その際、MPDファイル処理部213は、ステップS174において設定された選択候補の内、クライアント装置200が対応する拡張タイプのアダプテーションセット、および、プロジェクション拡張を未適用のアダプテーションセットの中から、所望のアダプテーションセットを選択する。ステップS176の処理が終了すると、処理はステップS178に進む。
【0183】
また、ステップS175において、そのクライアント装置200が拡張プロジェクションに対応していないと判定された場合、処理はステップS177に進む。
【0184】
ステップS177において、MPDファイル処理部213は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたアダプテーションセット(Adaptation Set)を選択する。その際、MPDファイル処理部213は、ステップS174において設定された選択候補の内、プロジェクション拡張を未適用のアダプテーションセットの中から、所望のアダプテーションセットを選択する。ステップS177の処理が終了すると、処理はステップS178に進む。
【0185】
つまり、MPDファイル処理部213は、MPDファイルに含まれるプロジェクション拡張に関する情報に基づいて、クライアント装置200の機能(capability)に対応するアダプテーションセットを候補とし、その中から所望のアダプテーションセットを選択する。
【0186】
ステップS178において、MPDファイル処理部213は、ステップS176またはステップS177において選択されたアダプテーションセット(Adaptation Set)の中から、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたリプレゼンテーション(Representation)を選択する。
【0187】
ステップS179において、セグメントファイル取得部214は、ステップS178において選択されたリプレゼンテーション(Representation)に対応するセグメントファイルを取得する。
【0188】
ステップS180において、セグメントファイル処理部221は、ステップS179において取得されたセグメントファイルから符号化データを抽出する。
【0189】
ステップS181において、デコード部222は、ステップS180において抽出されたストリームの符号化データを復号する。
【0190】
ステップS182において、表示情報生成部223は、ステップS181において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0191】
ステップS182の処理が終了すると、コンテンツ再生処理が終了する。
【0192】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、MPDファイルに含まれるプロジェクション拡張に関する情報を利用して、適切にストリームを選択し、セグメントファイルに含まれるそのストリーム(そのストリームに対応するコンテンツ)を再生することができる。
【0193】
したがって、クライアント装置200は、そのプロジェクション拡張に関する情報に基づいて、自身の能力(capability)に応じたストリームを適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0194】
<プロジェクション拡張に関する情報の詳細>
なお、第1の実施の形態の場合と同様に、プロジェクション拡張に関する情報に、プロジェクション拡張が適用されているかを示す情報(情報(A))が含まれているようにしてもよい。例えば、ファイル生成装置100のMPDファイル生成部113が、プロジェクション拡張が適用されているかを示す情報(情報(A))を含むプロジェクション拡張に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置200のMPDファイル処理部213が、MPDファイルに含まれるプロジェクション拡張に関する情報の、プロジェクション拡張が適用されているかを示す情報(情報(A))に基づいて、プロジェクション拡張が適用されているかの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。
【0195】
また、第1の実施の形態の場合と同様に、プロジェクション拡張に関する情報に、適用されるプロジェクション拡張のタイプを示す情報(情報(B))が含まれるようにしてもよい。例えば、ファイル生成装置100のMPDファイル生成部113が、適用されるプロジェクション拡張のタイプを示す情報(情報(B))を含むプロジェクション拡張に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置200のMPDファイル処理部213が、MPDファイルに含まれるプロジェクション拡張に関する情報の、適用されるプロジェクション拡張のタイプを示す情報(情報(B))に基づいて、適用されるプロジェクション拡張のタイプの識別を行い、その識別の結果に基づいてストリームを選択するようにしてもよい。
【0196】
なお、第1の実施の形態の場合と同様に、この情報が示すプロジェクション拡張のタイプに、上述したEACが含まれるようにしてもよい。また、この情報が示すプロジェクション拡張のタイプに、上述した偏心球面マッピングが含まれるようにしてもよい。
【0197】
また、第1の実施の形態の場合と同様に、プロジェクション拡張に関する情報に、立体構造へのレンダリングに必要な情報(情報(C))が含まれるようにしてもよい。例えば、ファイル生成装置100のMPDファイル生成部113が、立体構造へのレンダリングに必要な情報(情報(C))を含むプロジェクション拡張に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置200のMPDファイル処理部213が、MPDファイルに含まれるプロジェクション拡張に関する情報の、立体構造へのレンダリングに必要な情報(情報(C))を用いて、ストリームの選択を行うようにしてもよい。また、データ解析・復号部216が、その立体構造へのレンダリングに必要な情報(情報(C))を用いて、レンダリングを行うようにしてもよい。
【0198】
以上のようなプロジェクション拡張に関する情報をシグナルすることにより、クライアントはプロジェクション拡張ストリームを適切に取得し、レンダリングすることが可能となる。つまり、クライアントの互換性を担保したまま、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0199】
<投影方法>
次に、水平方向の周囲360度および垂直方向の周囲180度の画像が立体構造に投影された立体構造画像を単数の平面にマッピングする投影方法の例について説明する。この投影方法はどのような方法であってもよい。例えば、この投影方法に、上述したERPが含まれるようにしてもよい。また、例えば、この投影方法に、上述したCMPが含まれるようにしてもよい。
【0200】
<Projection enhancement descriptorによるシグナル>
MPDファイルにおいてプロジェクション拡張に関する情報をシグナルする場合も、第1の実施の形態の場合と同様に、プロジェクション拡張に関する情報が、画像符号化データのストリーム毎の情報として含まれるようにしてもよい。例えば、ファイル生成部が、プロジェクション拡張に関する情報を画像符号化データのストリーム毎の情報として含む制御ファイルを生成するようにしてもよい。
【0201】
例えば、MPDファイルにおいて、新たに、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:preh"のエッセンシャルプロパティ(Essential Property)をプロジェクションエンハンスメントディスクリプタ(Projection enhancement descriptor)として定義する。なお、同じschemeIdUriのサプリメンタルプロパティ(Supplemental Property)を用いてもよい。
【0202】
なお、EssentialPropertyのschemeIdUriに対応していないDASHクライアントは、このプロパティ(Property)の書かれているAdaptation Set(Representation等でもよい)は無視しなければならない。また、SupplementalPropertyのschemeIdUriに対応していないDASHクライアントは、このProperty値を無視して、Adaptation Set(Representation等でもよい)を利用してもよい。
【0203】
また、このProjection enhancement descriptorは、例えば、MPD、AdaptationSet、またはRepresentationレベルに存在可能である。
【0204】
図23に示される属性値331は、このProjection enhancement descriptorの属性値である。この属性値omaf;@enhancement_typeが0の場合、偏心球面マッピングが適用されることを示す。また、この属性値が1の場合、EACが適用されることを示す。
【0205】
図24のデータタイプ332は、このProjection enhancement descriptorにおいて定義されるデータタイプの例を示す。
【0206】
例えば、Adaptation SetがCMPに対してプロジェクション拡張を行ったEACのストリームであり、かつ偏心球面マッピングが適用されている場合、図25に示されるようなディスクリプタ(descriptor)がそのAdaptation Setにシグナルされる。図25に示されるシンタックス333は、EssentialPropertyのシンタックスの例を示す。
【0207】
つまり、プロジェクション拡張に関する情報に、MPDファイルに定義されるProjection enhancement descriptorの、適用されたプロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeが含まれるようにしてもよい。
【0208】
このdescriptorがAdaptation Setに存在するとき、そのAdaptation Setが参照するビデオストリームにプロジェクション拡張が適用されていることを示し(情報(A))、enhancement_typeによって適用された拡張タイプを示す(情報(B))。
【0209】
クライアント装置200は、このようなProjection enhancement descriptorの有無や、enhancement_typeの値に基づいて、プロジェクション拡張の適用の有無や適用される拡張タイプを識別し、自身の能力(capability)に応じたAdaptaton Set選択を行うことができる。
【0210】
また、プロジェクションフォーマットディスクリプタ(Projection format descriptor)のプロジェクションタイプ(projection_type)フィールドで、プロジェクション拡張ストリームであることをシグナルし、Projection enhancement descriptorのenhancement_typeでprojection formatおよび拡張タイプをシグナルするようにしてもよい。
【0211】
つまり、プロジェクション拡張に関する情報が、さらに、MPDファイルに定義されるProjection format descriptorの、プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含むようにしてもよい。
【0212】
Projection format descriptorは@schemeIdUri="urn:mpeg:mpegI:omaf:2017:pf"のEssential Propertyでシグナルされる。図26の属性値334は、このdescriptorの拡張された属性値の例を示す。
【0213】
例えば、どのような値がどのような投影方法を示すかは任意である。この属性値omaf:@projection_typeの値が0の場合、適用された投影方法がERPであることを示すようにしてもよい。また、この属性値omaf:@projection_typeの値が1の場合、適用された投影方法がCMPであることを示すようにしてもよい。さらに、この属性値omaf:@projection_typeの値が2の場合、プロジェクション拡張が適用されることを示すようにしてもよい。
【0214】
また、この場合のProjection enhancement descriptorのenhancement_typeの例を図27に示す。図27に示される属性値335は、このdescriptorの属性値の例を示す。
【0215】
どのような値がどのようなタイプを示すかは任意である。例えば、この属性値omaf:@enhancement_typeの値が0の場合、適用されるプロジェクション拡張のタイプがERPおよび偏心球面マッピングであることを示すようにしてもよい。また、この属性値omaf:@enhancement_typeの値が1の場合、適用されるプロジェクション拡張のタイプがCMPおよび偏心球面マッピングであることを示すようにしてもよい。さらに、この属性値omaf:@enhancement_typeの値が2の場合、適用されるプロジェクション拡張のタイプがEACであることを示すようにしてもよい。また、この属性値omaf:@enhancement_typeの値が3の場合、適用されるプロジェクション拡張のタイプがEACおよび偏心球面マッピングであることを示すようにしてもよい。
【0216】
なお、以上においては、DASH配信時のクライアントによるストリーム選択時に必須ではないため、レンダリングに必要な、拡張タイプ以外の追加情報(情報(C))のシグナルは行わない例を示したが、これに限らず、追加情報(情報(C))のシグナルを行ってもよい。
【0217】
<プロジェクション拡張のタイプ専用のdescriptor>
上述したProjection enhancement descriptorを用いる代わりに、拡張のタイプ毎に個別のdescriptor(適用される拡張のタイプ専用のdescriptor)をシグナルするようにしてもよい。
【0218】
例えば、偏心球面マッピングが適用されたプロジェクション拡張ストリームの場合、新たに、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:ofsp"のEssential Propertyをオフセットスフェリカルプロジェクションディスクリプタ(Offset spherical projection descriptor)として定義する。上述したProjection enhancement descriptorの場合と同様に、この場合も、同じschemeIdUriのSupplemental Propertyを用いてもよい。
【0219】
なお、上述したProjection enhancement descriptorの場合と同様に、Offset spherical projection descriptorは、MPD, AdaptationSet, Representationレベルに存在可能である。
【0220】
また、図28に示される属性値336の例のように、プロジェクション拡張ストリームに適用されている拡張タイプを示す属性値であるエンハンスメントタイプ(enhancement_type)を、OMAFで定義されているProjection format descriptorにシグナルするようにしてもよい。
【0221】
どのような値がどのようなタイプを示すかは任意である。例えば、この属性値omaf:@enhancement_typeの値が0の場合、適用されるプロジェクション拡張のタイプが偏心球面マッピングであることを示すようにしてもよい。また、この属性値omaf:@enhancement_typeの値が1の場合、適用されるプロジェクション拡張のタイプがEACであることを示すようにしてもよい。
【0222】
以上のようにすることにより、クライアント装置200は、プロジェクション拡張方法ごとの個別descriptorの有無やenhancement_typeの値に基づいて、プロジェクション拡張の適用の有無や適用される拡張タイプを識別し、自身の能力(capability)に応じたAdaptaton Set選択を行うことができる。
【0223】
なお、以上においては、DASH配信時のクライアントによるストリーム選択時に必須ではないため、レンダリングに必要な、拡張タイプ以外の追加情報(情報(C))のシグナルは行わない例を示したが、これに限らず、追加情報(情報(C))のシグナルを行ってもよい。
【0224】
<4.第3の実施の形態>
<偏心球面マッピングストリーム配信>
次に、プロジェクション拡張方法の1つである、偏心球面マッピングを適用したストリーム(偏心球面マッピングストリームとも称する)を配信するためのシグナリング例を説明する。
【0225】
<ISOBMFFファイルにおけるレンダリングに関する情報のシグナル>
プロジェクション拡張が適用されたストリームを含むISOBMFFファイルの場合、そのプロジェクション拡張に対応するレンダリングに関する情報もシグナルするようにしてもよい。このレンダリングに関する情報は、画像を立体構造にレンダリングする際に用いられる情報を含む。例えば、レンダリングに関する情報に、画像の立体構造への投影のオフセットに関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、その偏心球面マッピングのオフセットに関する情報が含まれるようにしてもよい。
【0226】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するようにしてもよい。
【0227】
例えば、情報処理装置であるファイル生成装置100において、セグメントファイル生成部123が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置(例えばファイル生成装置100)が、ファイル生成部(例えばセグメントファイル生成部123)を備えるようにしてもよい。
【0228】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図29のフローチャートを参照して説明する。
【0229】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS201において、画像とメタデータを取得する。
【0230】
ステップS202において、セグメントファイル生成部123は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むISOBMFFファイルを生成する。
【0231】
ステップS203において、記録部114は、ステップS202の処理により生成されたISOBMFFファイルを記録する。
【0232】
ステップS204において、アップロード部115は、ステップS203において記録されたISOBMFFファイルを記録部114より読み出し、それをサーバにアップロードする。
【0233】
ステップS204の処理が終了すると、アップロード処理が終了する。
【0234】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むISOBMFFファイルを生成することができる。
【0235】
したがって、クライアントは、そのレンダリングに関する情報を用いて、容易に、プロジェクション拡張が適用されたストリームの画像を立体構造に適切にレンダリングすることができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0236】
<ISOBMFFにシグナルされたレンダリングに関する情報の利用>
また、ISOBMFFファイルにシグナルされたレンダリングに関する情報を利用してレンダリングを行うようにしてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、そのISOBMFFファイルにシグナルされた偏心球面マッピングのオフセットに関する情報を利用してレンダリングを行うようにしてもよい。
【0237】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行うようにしてもよい。
【0238】
例えば、情報処理装置であるファイル生成装置100において、セグメントファイル取得部214が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部216が、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行う画像処理部として機能するようにしてもよい。つまり、情報処理装置(例えばクライアント装置200)が、ファイル取得部(例えばセグメントファイル取得部214)と、画像処理部(例えばデータ解析・復号部216)とを備えるようにしてもよい。
【0239】
<コンテンツ再生処理の流れ>
その場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図30のフローチャートを参照して説明する。
【0240】
コンテンツ再生処理が開始されると、クライアント装置200のセグメントファイル取得部214は、ステップS221において、プロジェクション拡張方法に対応するレンダリングに関する情報を含むISOBMFFファイルを取得する。
【0241】
ステップS222において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0242】
ステップS223において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0243】
ステップS224において、セグメントファイル処理部221は、ユーザの視点位置および視線方向やクライアントとサーバとの間のネットワークの伝送帯域幅等に応じたトラック(track)を選択する。
【0244】
ステップS225において、セグメントファイル処理部221は、ステップS224において選択されたトラックのストリームの符号化データを、ステップS221において取得されたISOBMFFファイルから抽出する。
【0245】
ステップS226において、デコード部222は、ステップS225において抽出されたストリームの符号化データを復号する。
【0246】
ステップS227において、表示情報生成部223は、ステップS226において復号されて得られたストリーム(コンテンツ)を、ISOBMFFファイルに含まれるレンダリングに関する情報を用いて再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0247】
ステップS227の処理が終了すると、コンテンツ再生処理が終了する。
【0248】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応するレンダリングに関する情報を利用して、そのISOBMFFファイルに含まれるストリーム(そのストリームに対応するコンテンツ)を再生することができる。
【0249】
したがって、クライアント装置200は、そのレンダリングに関する情報を用いて、容易に、プロジェクション拡張が適用されたストリームの画像を立体構造に適切にレンダリングすることができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0250】
<レンダリングに関する情報の詳細>
レンダリングに関する情報に含まれる、投影のオフセットに関する情報に、そのオフセットの方向に関する情報と、そのオフセットの大きさに関する情報とが含まれるようにしてもよい。例えば、ファイル生成装置100のセグメントファイル生成部123が、オフセットの方向に関する情報およびオフセットの大きさに関する情報をISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置200のデータ解析・復号部216が、ISOBMFFファイルに含まれる、オフセットの方向に関する情報およびオフセットの大きさに関する情報に基づいて、レンダリングを行うようにしてもよい。
【0251】
例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、その偏心球面マッピングのオフセットの方向に関する情報と、オフセットの大きさに関する情報とが含まれるようにしてもよい。
【0252】
また、そのオフセットの方向に関する情報に、オフセットの方向の方位角に関する情報と、オフセットの方向の仰角に関する情報とが含まれるようにしてもよい。例えば、偏心球面マッピングのオフセットの方向に関する情報に、偏心球面マッピングのオフセットの方向の方位角に関する情報と、偏心球面マッピングのオフセットの方向の仰角に関する情報とが含まれるようにしてもよい。
【0253】
なお、このオフセットに関する情報の値は、画像符号化データのストリーム中において固定であるようにしてもよい。
【0254】
その場合、ISOBMFFファイルには、オフセットに関する情報が画像符号化データのストリーム毎の情報として含まれるようにしてもよい。
【0255】
これらの情報は、例えば、第1の実施の形態において説明したProjection Enhancement Boxでシグナルされるようにしてもよい。図31のシンタックス351は、その場合のProjection Enhancement Boxのシンタックスの例を示す。このシンタックス351に示されるように、enhancement_type毎に、offset_azimuth、offset_elevation、offset_value等のフィールドが定義される。
【0256】
図32のセマンティクス352は、この追加されたフィールド(field)のセマンティクスの例を示す。
【0257】
セマンティクス352に示されるように、offset_azimuthは、偏心球面マッピングのオフセット(offset)の方向の方位角を示す情報である。値の範囲は例えば-180*216乃至180*216-1である。offset_elevationは、そのoffsetの方向の仰角を示す情報である。値の範囲は例えば-90*216乃至90*216-1である。offset_valueは、そのoffsetの値を示す情報である。この値は例えば2-32単位でシグナルされる。また、値の範囲は例えば0乃至2-32-1である。
【0258】
つまり、オフセットに関する情報が、ISOBMFFファイルのProjected Omnidirectional Video Box内のProjection Enhancement Boxに格納される、オフセットの方向の方位角を示すoffset_azimuth、オフセットの方向の仰角を示すoffset_elevation、および、オフセットの大きさを示すoffset_valueを含むようにしてもよい。
【0259】
クライアント装置200は、元となるprojection formatをProjection Format Boxから識別し、さらにProjection Enhancement Boxでシグナルされるoffset方向とoffset値を参照することで、偏心球面マッピングストリームを適切にレンダリングすることができる。
【0260】
なお、第1の実施の形態において説明した、偏心球面マッピングストリーム固有のOffset Spherical Projection Boxの場合も、同様のfieldをシグナルすることができる。
【0261】
また、ここでは1種類のoffset方向およびoffset値がシグナルされる例を示したが、これらの数は任意である。複数のoffset方向およびoffset値をシグナルすることで、1つの偏心球面マッピングストリームに複数offsetが適用されていることを示してもよい。
【0262】
ここまで、ISOBMFFファイルのtrackのSample Entry内におけるシグナリングについて説明した。この方法によれば、ストリーム中でoffset方向およびoffset値等のレンダリングに関する情報が不変、つまり高画質化される方向が変化しない偏心球面マッピングストリームについて、レンダリングに必要な情報をシグナリングでき、クライアントが適切にレンダリングすることが可能となる。
【0263】
<レンダリングに関する情報の動的な変化>
なおレンダリングに関する情報(offset方向およびoffset値等)は、ストリーム中で動的に変化してもよい。その場合、trackのSample Entry内での情報シグナリングのみでは対応することができない。そのための追加シグナリング例を示す。
【0264】
<SEI(Supplemental Enhancement Information)message>
ストリーム中に動的に変化するレンダリングに関する情報に対応するために、HEVC(High Efficiency Video Coding)やAVC(Advanced Video Coding)において用いられるSEI(Supplemental Enhancement Information)messageを拡張するようにしてもよい。
【0265】
例えば、Spherical offset projection SEI messageを新規定義し、ストリーム内で動的に変化するレンダリングに関する情報(例えばoffset方向およびoffset値等)を、その中に格納するようにしてもよい。Spherical offset projection SEI messageにおいて、レンダリングに関する情報は、例えばアクセスユニット単位でシグナルされる。
【0266】
図33のシンタックス353は、このSpherical offset projection SEI messageのシンタックスの例を示す。また、図34のセマンティックス354は、そのフィールドのセマンティクスの例を示す。
【0267】
offset_projection_cancel_flagは、オフセットに関する情報をキャンセルするかを示すフラグである。どのような値がどのような状態を示すかは任意である。例えば、このフラグの値が1の場合、出力順で先行するSEIの持続的適用をキャンセルするようにしてもよい。また、このフラグの値が0の場合、offset情報がシグナルされるようにしてもよい。
【0268】
offset_projection_persitence_flagは、SEIの適用範囲を制御するフラグである。どのような値がどのような状態を示すかは任意である。例えば、このフラグの値が0の場合、SEIが含まれるピクチャのみに、SEIの情報が適用されるようにしてもよい。また、このフラグの値が1の場合、SEIの適用は、新たなコーデドビデオシーケンス(coded video sequence)が開始されるか、またはストリームの末尾に到達するまで持続するようにしてもよい。
【0269】
offset_projection_reserved_zero_6bitsは、0で埋められる。
【0270】
offset_azimuthは、offsetの方向の方位角を示す情報である。例えば2-16degree単位でシグナルされる。値の範囲は例えば-180*216乃至180*216-1である。
【0271】
offset_elevationは、offsetの方向の仰角を示す情報である。例えば2-16degree単位でシグナルされる。値の範囲は例えば-90*216乃至90*216-1である。
【0272】
offset_valueは、offsetの値を示す情報である。例えば2-32単位でシグナルされる。値の範囲は例えば0乃至2-32-1である。
【0273】
<Timed metadata>
時系列で変化するメタデータを格納するストリームであるタイムドメタデータ(timed metadata)の仕組みを利用するようにしてもよい。例えば、Offset timed metadataを新規定義し、ストリーム内で動的に変化するレンダリングに関する情報(例えばoffset方向およびoffset値等)を、その中に格納するようにしてもよい。Offset timed metadataにおいて、レンダリングに関する情報は、例えばサンプル単位でシグナルされる。このようにすることにより、参照する偏心球面マッピングストリーム内で動的に変化するoffset方向およびoffset値をシグナルすることができる。
【0274】
なお、その際、Offset timed metadataが紐づく偏心球面マッピングストリームを格納するtrackに対するトラックリファレンスタイプ(track reference type)としては、例えば'ofsp'を用いるようにしてもよい。
【0275】
Timed metadataを使用することで、クライアントは、偏心球面マッピングストリームを取得・デコードせずとも、高画質化される方向を事前に識別し、どのストリームを選択するかの基準とすることができる。
【0276】
図35のシンタックス355は、この場合のOffset Sample Entryのシンタックスの例を示す。図36のシンタックス356は、この場合のOffset Sampleのシンタックスの例を示す。なお、OffsetSample内の各フィールドのセマンティクスは、図32と同様である。
【0277】
<Sample Group>
ISOBMFFファイルで定義される、サンプル(sample)単位でメタ情報を紐づける仕組みであるサンプルグループ(Sample Group)というツールを使用し、ストリーム内で動的に変化するレンダリングに関する情報(例えばoffset方向およびoffset値等)を、sample単位で紐づけるようにしてもよい。
【0278】
メタ情報が記述されるSample Groupは、図37に示されるように、サンプルテーブルボックス(Sample Table Box)のサンプルグループディスクリプションボックス(Sample Group Description Box)にグループエントリ(Group Entry)としてシグナルされ、サンプルトゥグループボックス(Sample To Group Box)を介して、sampleと紐づけられる。
【0279】
図37に示されるように、Sample To Group Boxのグルーピングタイプ(grouping_type)は、紐づけられるSample Group Description Boxのgrouping_typeを示す。1エントリ(1 entry)につき、サンプルカウント(sample_count)とグループディスクリプションインデックス(group_description_index)がシグナルされ、そのgroup_description_indexは、紐づくグループエントリ(Group Entry)のインデックス(index)を示し、sample_countはそのGroup Entryに属するサンプル(sample)の数を示す。
【0280】
例えば、Offset Spherical Projection Sample Group Entryを新規定義し、ストリーム内で動的に変化するレンダリングに関する情報(例えばoffset方向およびoffset値等)を、その中に格納するようにしてもよい。
【0281】
図38のシンタックス371は、そのOffset Spherical Projection Sample Group Entryのシンタックスの例を示す。grouping_typeは'ofgp'となる。Offset Spherical Projection Sample Group Entry内の各フィールドのセマンティクスは、図32と同様である。
【0282】
このようにすることにより、参照する偏心球面マッピングストリーム内で動的に変化するoffset方向およびoffset値をシグナルすることができる。
【0283】
なお、これらの動的に変化するなoffset方向およびoffset値のシグナリングが行われる場合、Projection Enhancement Boxでシグナルされる偏心球面マッピングストリームのレンダリングのための情報は、例えば、最初のピクチャについての情報がシグナルされる。
【0284】
また、ストリーム中で動的にoffset方向およびoffset値が変化することを示すフラグをProjection Enhancement Box、もしくはその他Box内でシグナルするようにしてもよい。すなわち、オフセットに関する情報に、そのオフセットに関する情報がストリーム中において動的に変化するかを示す情報が含まれるようにしてもよい。この情報を参照することにより、クライアント装置200は、動的に高画質化方向が変化する偏心球面マッピングストリームであることを容易に識別することができる。
【0285】
<MPDファイルにおけるレンダリングに関する情報のシグナル>
第2の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、同様に、そのプロジェクション拡張に対応するレンダリングに関する情報もシグナルするようにしてもよい。このレンダリングに関する情報は、画像を立体構造にレンダリングする際に用いられる情報を含む。例えば、レンダリングに関する情報に、画像の立体構造への投影のオフセットに関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを配信制御するMPDファイルの場合、その偏心球面マッピングのオフセットに関する情報(例えばoffset方向およびoffset値等)が含まれるようにしてもよい。
【0286】
また、そのオフセットに関する情報として、ストリーム中で動的にオフセットに関する情報が変化することを示すフラグをシグナルするようにしてもよい。その場合、そのフラグを、Projection enhancement descriptorやOffset spherical projection descriptorにおいてシグナルするようにすればよい。そのようにすることにより、上述のISOBMFFファイルの場合と同様の効果を得ることができる。
【0287】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するようにしてもよい。
【0288】
例えば、情報処理装置であるファイル生成装置100において、MPDファイル生成部113が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置(例えばファイル生成装置100)が、ファイル生成部(例えばMPDファイル生成部113)を備えるようにしてもよい。
【0289】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図39のフローチャートを参照して説明する。
【0290】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS241において、画像とメタデータを取得する。
【0291】
ステップS242において、セグメントファイル生成部123は、ステップS241において取得した画像のセグメントファイルを生成する。
【0292】
ステップS243において、MPDファイル生成部113は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むMPDファイルを生成する。例えば、偏心球面マッピングストリームに対応するMPDファイルを生成する場合、MPDファイル生成部113は、偏心球面マッピングに対応するレンダリングに関する情報を含むMPDファイルを生成する。
【0293】
ステップS244において、記録部114は、ステップS242の処理により生成されたセグメントファイルを記録する。また、記録部114は、ステップS243の処理により生成されたMPDファイルを記録する。
【0294】
ステップS245において、アップロード部115は、ステップS244において記録されたMPDファイルを記録部114より読み出し、それをサーバにアップロードする。また、アップロード部115は、ステップS244において記録されたセグメントファイルを記録部114より読み出し、それをサーバにアップロードする。
【0295】
ステップS245の処理が終了すると、アップロード処理が終了する。
【0296】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、プロジェクション拡張方法に対応するレンダリングに関する情報を含むMPDファイルを生成することができる。
【0297】
したがって、クライアントは、そのレンダリングに関する情報を用いて、容易に、再生可能なストリームを選択したり、プロジェクション拡張が適用されたストリームの画像を立体構造に適切にレンダリングしたりすることができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0298】
<MPDファイルにシグナルされたレンダリングに関する情報の利用>
また、MPDファイルにシグナルされたレンダリングに関する情報を利用してストリームを選択したり、レンダリングを行ったりするようにしてもよい。例えば、偏心球面マッピングストリームの配信を制御するMPDファイルの場合、そのMPDファイルにシグナルされた偏心球面マッピングのオフセットに関する情報を利用して、配信要求するストリームを選択したり、レンダリングを行ったりするようにしてもよい。
【0299】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報を含む、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行うようにしてもよい。
【0300】
例えば、情報処理装置であるファイル生成装置100において、MPDファイル取得部212が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像のその立体構造への投影のオフセットに関する情報と、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部216が、その取得されたファイルに含まれるオフセットに関する情報に基づいて、その画像符号化データより得られたその投影平面画像の立体構造へのレンダリングを行う画像処理部として機能するようにしてもよい。つまり、情報処理装置(例えばクライアント装置200)が、ファイル取得部(例えばMPDファイル取得部212)と、画像処理部(例えばデータ解析・復号部216)とを備えるようにしてもよい。
【0301】
<コンテンツ再生処理の流れ>
その場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図40のフローチャートを参照して説明する。
【0302】
コンテンツ再生処理が開始されると、クライアント装置200のMPDファイル取得部212は、ステップS261において、プロジェクション拡張方法に対応するレンダリングに関する情報を含むMPDファイルを取得する。
【0303】
ステップS262において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0304】
ステップS263において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0305】
ステップS264において、MPDファイル処理部213は、ステップS261において取得されたMPDファイルに基づいて(特に、そのMPDファイルに含まれる、プロジェクション拡張方法に対応するレンダリングに関する情報等に基づいて)、アダプテーションセット(Adaptation Set)やリプレゼンテーション(Representation)を選択する。
【0306】
ステップS265において、セグメントファイル取得部214は、ステップS264において選択されたアダプテーションセット(Adaptation Set)やリプレゼンテーション(Representation)を含むセグメントファイルを取得する。
【0307】
ステップS266において、セグメントファイル処理部221は、ステップS265において取得されたセグメントファイルから符号化データを抽出する。
【0308】
ステップS267において、デコード部222は、ステップS266において抽出されたストリームの符号化データを復号する。
【0309】
ステップS268において、表示情報生成部223は、ステップS267において復号されて得られたストリーム(コンテンツ)を、MPDファイルに含まれるレンダリングに関する情報を用いて再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0310】
ステップS268の処理が終了すると、コンテンツ再生処理が終了する。
【0311】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、MPDファイルに含まれるプロジェクション拡張方法に対応するレンダリングに関する情報を利用して、そのMPDファイルにより配信制御されるストリーム(そのストリームに対応するコンテンツ)を再生することができる。
【0312】
したがって、クライアント装置200は、そのレンダリングに関する情報を用いて、容易に、プロジェクション拡張が適用されたストリームの画像を立体構造に適切にレンダリングすることができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0313】
<ISOBMFFファイルにおけるストリーム選択に関する情報のシグナル>
以上においては、レンダリングに関する情報のシグナリングについて説明したが、プロジェクション拡張が適用されたストリームを含むISOBMFFファイルの場合、そのプロジェクション拡張に対応するストリームの選択に関する情報もシグナルするようにしてもよい。このストリームの選択に関する情報は、再生するコンテンツのストリームを選択する際に用いられる情報を含む。例えば、このストリームに関する情報に、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像(projected picture)の画質に関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、その偏心球面マッピングにより平面にマッピングされた投影平面画像(projected picture)の画質に関する情報が含まれるようにしてもよい。
【0314】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを生成するようにしてもよい。
【0315】
例えば、情報処理装置であるファイル生成装置100において、MPDファイル生成部113が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置(例えばファイル生成装置100)が、ファイル生成部(例えばMPDファイル生成部113)を備えるようにしてもよい。
【0316】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図41のフローチャートを参照して説明する。
【0317】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS281において、画像とメタデータを取得する。
【0318】
ステップS282において、セグメントファイル生成部123は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むISOBMFFファイルを生成する。
【0319】
ステップS283において、記録部114は、ステップS282の処理により生成されたISOBMFFファイルを記録する。
【0320】
ステップS284において、アップロード部115は、ステップS283において記録されたISOBMFFファイルを記録部114より読み出し、それをサーバにアップロードする。
【0321】
ステップS284の処理が終了すると、アップロード処理が終了する。
【0322】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むISOBMFFファイルを生成することができる。
【0323】
したがって、クライアントは、そのストリームの選択に関する情報を用いて、より容易に、プロジェクション拡張が適用されたストリームの選択を行うことができる。例えば、クライアントは、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。
【0324】
つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0325】
<ISOBMFFにシグナルされたストリームの選択に関する情報の利用>
また、ISOBMFFファイルにシグナルされたストリームの選択に関する情報を利用してストリームの選択を行うようにしてもよい。例えば、偏心球面マッピングストリームを含むISOBMFFファイルの場合、そのISOBMFFファイルにシグナルされた偏心球面マッピングにより立体構造画像が平面にマッピングされた投影平面画像(projected picture)の画質に関する情報を利用してレンダリングを行うようにしてもよい。
【0326】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを取得し、その取得されたファイルに含まれる投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行うようにしてもよい。
【0327】
例えば、情報処理装置であるファイル生成装置100において、セグメントファイル取得部214が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報と、その投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部として機能し、データ解析・復号部216が、そのファイル取得部により取得されたファイルに含まれる投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置(例えばクライアント装置200)が、ファイル取得部(例えばセグメントファイル取得部214)と、画像処理部(例えばデータ解析・復号部216)とを備えるようにしてもよい。
【0328】
<コンテンツ再生処理の流れ>
その場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図42のフローチャートを参照して説明する。
【0329】
コンテンツ再生処理が開始されると、クライアント装置200のセグメントファイル取得部214は、ステップS301において、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むISOBMFFファイルを取得する。
【0330】
ステップS302において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0331】
ステップS303において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0332】
ステップS304において、セグメントファイル処理部221は、ステップS301において取得されたISOBMFFファイルに含まれるストリームの選択に関する情報、ユーザの視点位置および視線方向、並びに、クライアントとサーバとの間のネットワークの伝送帯域幅等に基づいて、クライアントの視野が高画質化されているトラック(track)を選択する。
【0333】
ステップS305において、セグメントファイル処理部221は、ステップS304において選択されたトラックのストリームの符号化データを、ステップS301において取得されたISOBMFFファイルから抽出する。
【0334】
ステップS306において、デコード部222は、ステップS305において抽出されたストリームの符号化データを復号する。
【0335】
ステップS307において、表示情報生成部223は、ステップS306において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0336】
ステップS307の処理が終了すると、コンテンツ再生処理が終了する。
【0337】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応するストリームの選択に関する情報を利用して、より容易に、より適切なストリームを選択することができる。例えば、クライアント装置200は、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。
【0338】
つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0339】
<MPDファイルにおけるストリーム選択に関する情報のシグナル>
第2の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、同様に、そのプロジェクション拡張に対応するストリームの選択に関する情報もシグナルするようにしてもよい。
【0340】
このストリームの選択に関する情報は、再生するコンテンツのストリームを選択する際に用いられる情報を含む。例えば、このストリームに関する情報に、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像(projected picture)の画質に関する情報が含まれていてもよい。例えば、偏心球面マッピングストリームを配信制御するMPDファイルの場合、その偏心球面マッピングにより平面にマッピングされた投影平面画像(projected picture)の画質に関する情報が含まれるようにしてもよい。
【0341】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するようにしてもよい。
【0342】
例えば、情報処理装置であるファイル生成装置100において、MPDファイル生成部113が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部として機能するようにしてもよい。つまり情報処理装置(例えばファイル生成装置100)が、ファイル生成部(例えばMPDファイル生成部113)を備えるようにしてもよい。
【0343】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図43のフローチャートを参照して説明する。
【0344】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS321において、画像とメタデータを取得する。
【0345】
ステップS322において、セグメントファイル生成部123は、ステップS321において取得した画像のセグメントファイルを生成する。
【0346】
ステップS323において、MPDファイル生成部113は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むMPDファイルを生成する。例えば、偏心球面マッピングストリームに対応するMPDファイルを生成する場合、MPDファイル生成部113は、偏心球面マッピングに対応するストリームの選択に関する情報を含むMPDファイルを生成する。
【0347】
ステップS324において、記録部114は、ステップS322の処理により生成されたセグメントファイルを記録する。また、記録部114は、ステップS323の処理により生成されたMPDファイルを記録する。
【0348】
ステップS325において、アップロード部115は、ステップS324において記録されたMPDファイルを記録部114より読み出し、それをサーバにアップロードする。また、アップロード部115は、ステップS324において記録されたセグメントファイルを記録部114より読み出し、それをサーバにアップロードする。
【0349】
ステップS325の処理が終了すると、アップロード処理が終了する。
【0350】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むMPDファイルを生成することができる。
【0351】
したがって、クライアントは、そのストリームの選択に関する情報を用いて、より容易に、より適切なストリームを選択することができる。例えば、クライアントは、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。
【0352】
つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0353】
<MPDファイルにシグナルされたレンダリングに関する情報の利用>
また、MPDファイルにシグナルされたストリームの選択に関する情報を利用してストリームを選択するようにしてもよい。例えば、偏心球面マッピングストリームの配信を制御するMPDファイルの場合、そのMPDファイルにシグナルされた偏心球面マッピングにより平面にマッピングされた投影平面画像(projected picture)の画質に関する情報を利用して、配信要求するストリームを選択するようにしてもよい。
【0354】
つまり、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、その取得された制御ファイルに含まれる投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行うようにしてもよい。
【0355】
例えば、情報処理装置であるファイル生成装置100において、MPDファイル取得部212が、立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、そのプロジェクション拡張を適用した投影方法によりその立体構造画像がその平面にマッピングされた投影平面画像の画質に関する情報を含む、その投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部として機能し、MPDファイル処理部213が、そのファイル取得部により取得されたその制御ファイルに含まれるその投影平面画像の画質に関する情報に基づいて、その画像符号化データのストリームの選択を行う画像処理部として機能するようにしてもよい。つまり、情報処理装置(例えばクライアント装置200)が、ファイル取得部(例えばMPDファイル取得部212)と、画像処理部(例えばMPDファイル処理部213)とを備えるようにしてもよい。
【0356】
<コンテンツ再生処理の流れ>
その場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図44のフローチャートを参照して説明する。
【0357】
コンテンツ再生処理が開始されると、クライアント装置200のMPDファイル取得部212は、ステップS341において、プロジェクション拡張方法に対応するストリームの選択に関する情報を含むMPDファイルを取得する。
【0358】
ステップS342において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0359】
ステップS343において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0360】
ステップS344において、MPDファイル処理部213は、ステップS341において取得されたMPDファイルに含まれるストリームの選択に関する情報、ユーザの視点位置および視線方向、並びに、クライアントとサーバとの間のネットワークの伝送帯域幅等に基づいて、クライアントの視野が高画質化されているアダプテーションセット(Adaptation Set)を選択する。
【0361】
ステップS345において、MPDファイル処理部213は、さらに、ステップS344において選択されたAdaptation Setから、所望のリプレゼンテーション(Representation)を選択する。
【0362】
ステップS346において、セグメントファイル取得部214は、ステップS344およびS345において選択されたAdaptation SetやRepresentationを含むセグメントファイルを取得する。
【0363】
ステップS347において、セグメントファイル処理部221は、ステップS346において取得されたセグメントファイルから符号化データを抽出する。
【0364】
ステップS348において、デコード部222は、ステップS347において抽出されたストリームの符号化データを復号する。
【0365】
ステップS349において、表示情報生成部223は、ステップS348において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0366】
ステップS349の処理が終了すると、コンテンツ再生処理が終了する。
【0367】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、MPDファイルに含まれるプロジェクション拡張方法に対応するストリームの選択に関する情報を用いて、より容易に、より適切なストリームを選択することができる。例えば、クライアント装置200は、より容易に、ユーザの視野が高画質化されている画像を選択し、再生することができる。
【0368】
つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0369】
<偏心球面マッピングストリーム>
偏心球面マッピングストリームには、高画質化する方向がストリーム中で不変であるスタティック(static)な偏心球面マッピングストリームと、高画質化する方向がストリーム中で変化するダイナミック(dynamic)な偏心球面マッピングストリームの2種類存在する。それぞれにおいて、ストリーム選択に必要な情報が異なる。
【0370】
<staticな偏心球面マッピングストリーム>
staticな偏心球面マッピングストリームの場合、クライアントのユーザの視野変更が行われたら、視野方向が高画質化されたストリームを取得・レンダリングすることで、常に高画質な映像をそのユーザに視聴させる(ユーザに提供する)ことができる。そこで、例えばストリームの領域毎のクオリティランキング(Quality ranking)をシグナルすることにより、クライアントにおいてユーザの視野変更に応じたストリームの切り替えが可能になる。
【0371】
<dynamicな偏心球面マッピングストリーム>
dynamicな偏心球面マッピングストリームの場合、例えば、統計上最も良く視聴されている方向や、特定の登場人物の動きに従って、高画質方向が動的に変化する。その際、クライアントのユーザの視野に応じたストリーム切り替えは行われないことが想定される。そこで、例えばストリーム中で高画質化されている領域の属性をシグナルすることにより、クライアントにおいて再生開始時にユーザプリファレンスに応じたストリーム選択が可能になる。ここで高画質化されている領域の属性とは、例えば統計上ユーザが最もよく見る領域や、特定の登場人物、ディレクターズカット等である。
【0372】
<ISOBMFFファイルにおけるQuality rankingのシグナル>
以上の2つの内、まず、staticな偏心球面マッピングストリームについて説明する。offset方向およびoffset値から、偏心球面マッピングストリーム間のQuality比較が可能である。ただし、この方法では、偏心球面マッピングストリーム以外とのQuality比較はできない。
【0373】
OMAFで定義されているQuality rankingという共通の画質指標を用いることで、偏心球面マッピングストリーム間の切り替えだけでなく、他のプロジェクション拡張やviewport dependentな高画質化処理(例えばregion-wise packing等)がなされたストリーム間でのQuality比較と、それをもとにしたストリーム切り替えが可能となる。
【0374】
つまり、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、このQuality rankingに関する情報が含まれるようにしてもよい。例えば、ファイル生成装置100のセグメントファイル生成部123が、Quality rankingに関する情報を含む投影平面画像の画質に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置200のデータ解析・復号部216が、ISOBMFFファイルに含まれる投影平面画像の画質に関する情報の、Quality rankingに関する情報に基づいて、ストリームを選択するようにしてもよい。
【0375】
このようにQuality rankingに関する情報を用いることにより、クライアントにおいて、より容易に、より高画質な画像を選択し、ユーザに提供することができる。つまり、クライアントの視野に応じて、視野領域が高画質となっている偏心球面マッピングが適用されたストリームを選択することができる。これによりクライアントのユーザの視野領域を常に高画質化することが可能となり、ユーザ体験を向上させることができる。
【0376】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図45のフローチャートを参照して説明する。
【0377】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS361において、画像とメタデータを取得する。
【0378】
ステップS362において、セグメントファイル生成部123は、Quality rankingに関する情報を含むISOBMFFファイルを生成する。
【0379】
ステップS363において、記録部114は、ステップS362の処理により生成されたISOBMFFファイルを記録する。
【0380】
ステップS364において、アップロード部115は、ステップS363において記録されたISOBMFFファイルを記録部114より読み出し、それをサーバにアップロードする。
【0381】
ステップS364の処理が終了すると、アップロード処理が終了する。
【0382】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、Quality rankingに関する情報を含むISOBMFFファイルを生成することができる。
【0383】
したがって、クライアントは、そのQuality rankingに関する情報を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択することができる。つまり、より高画質な画像をより容易にユーザに提供することができる。つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0384】
<コンテンツ再生処理の流れ>
次に、このような、Quality rankingに関する情報を含むISOBMFFファイルのコンテンツを再生する場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図46のフローチャートを参照して説明する。
【0385】
コンテンツ再生処理が開始されると、クライアント装置200のセグメントファイル取得部214は、ステップS381において、プロジェクション拡張方法に対応するQuality rankingに関する情報を含むISOBMFFファイルを取得する。
【0386】
ステップS382において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0387】
ステップS383において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0388】
ステップS384において、セグメントファイル処理部221は、ステップS381において取得したISOBMFFファイルに含まれるQuality rankingに関する情報、ユーザの視点位置および視線方向、および、クライアントとサーバとの間のネットワークの伝送帯域幅等に応じて、クライアント装置200のユーザの視野が高画質化されているトラック(track)を選択する。
【0389】
ステップS385において、セグメントファイル処理部221は、ステップS384において選択されたトラックのストリームの符号化データを、ステップS381において取得されたISOBMFFファイルから抽出する。
【0390】
ステップS386において、デコード部222は、ステップS385において抽出されたストリームの符号化データを復号する。
【0391】
ステップS387において、表示情報生成部223は、ステップS386において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0392】
ステップS387の処理が終了すると、コンテンツ再生処理が終了する。
【0393】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応するQuality rankingに関する情報を利用して、より高画質な画像のtrackを選択し、再生することができる。
【0394】
したがって、クライアント装置200は、そのQuality rankingに関する情報を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択し、そのストリームの画像(より高画質な画像)をユーザに提供することができる。
【0395】
つまり、クライアント装置200のユーザの視野に応じて、視野領域が高画質となっている偏心球面マッピングが適用されたストリームを選択することができる。これによりクライアント装置200のユーザの視野領域を常に高画質化することが可能となり、ユーザ体験を向上させることができる。
【0396】
つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0397】
<ネストされたQuality Ranking領域のシグナリング>
偏心球面マッピングの画質は、最高画質の方向から最低画質の方向に向けて画質が滑らかに変化する特性がある。そのため、図47に示されるようなネスト(nest)された領域(入れ子構造の領域)のQuality rankingのシグナリングが有効である。なお、Quality rankingがシグナルされる領域(以下、Quality ranking領域とも称する)内のQualityはおおよそ一定という前提であり、Quality ranking値の小さい方が高画質である。
【0398】
図47に示される画像400には、Quality ranking領域401乃至Quality ranking領域403が設定されている。Quality ranking領域401は、Quality ranking領域402に内包され、Quality ranking領域402は、Quality ranking領域403に内包されている。つまり、Quality ranking領域401乃至Quality ranking領域403は、入れ子構造を形成している(ネストされた領域である)。
【0399】
図47の例の場合、Quality ranking領域401には、Quality ranking値「1」がセットされている。また、Quality ranking領域402には、Quality ranking値「2」がセットされている。さらに、Quality ranking領域403には、Quality ranking値「3」がセットされている。つまり、これらの内、Quality ranking領域401の画像が最も高画質であり、Quality ranking領域403の画像が最も低画質である。なお、領域404は、Quality ranking値が設定されていないその他の領域である。
【0400】
このようなネストされた領域毎のQuality ranking値を上述のQuality rankingに関する情報として利用するようにしてもよい。つまり、Quality rankingに関する情報に、入れ子構造の領域毎のQuality rankingに関する情報が含まれるようにしてもよい。
【0401】
<Quality rankingをシグナルするBox>
OMAFにおいて、Quality rankingは、球面上領域に対するQuality rankingをシグナルするSphere Region Quality Ranking Boxと、2次元矩形領域に対するQuality rankingをシグナルする2D Region Quality Ranking Boxが定義されている。
【0402】
図48に示されるシンタックス421は、Sphere Region Quality Ranking Boxのシンタックスの例を示す。また、図49に示されるシンタックス422は、2D Region Quality Ranking Boxのシンタックスの例を示す。
【0403】
Sphere Region Quality Ranking Box、2D Region Quality Ranking Boxいずれにおいても、num_regionsで示される数のQualitry ranking領域を持ち、その領域毎にquality_rankingがシグナルされる。Sphere Region Quality Ranking Boxでは球面上におけるQualitry ranking領域がSphere Region Structでシグナルされ、2D Region Quality Ranking Boxにおいては、2次元矩形の形状のQuality ranking領域が、left_offset、top_offset、region_width、およびregion_hegihtでシグナルされる。remaining_area_flagは、シグナルされたQuality ranking領域以外の全ての領域に対してquality_rankingをシグナルするために用いられる。
【0404】
これらのBoxにおいて、入れ子構造の領域毎のQuality rankingに関する情報をシグナルするようにしてもよい。換言するに、Quality rankingに関する情報にSphere Region Quality Ranking Boxが含まれるようにしてもよい。また、Quality rankingに関する情報に2D Region Quality Ranking Boxが含まれるようにしてもよい。
【0405】
ここで、Quality ranking領域[i]のQuality rankingは、Quality ranking領域[i]からQuality ranking領域[i]に重なるi>jの全てのQuality ranking領域[j]を除いた領域に適用される、と定義される。この定義に従い、ネストされたQuality ranking領域のシグナルがなされる。つまり、図47の画像400の場合、Quality ranking領域401乃至Quality ranking領域403は、図50に示されるような形状の領域に定義される。
【0406】
<Quality ranking領域の重なりに関する情報>
なお、Quality ranking領域に重なりがある状態において、クライアントがあるQuality ranking領域を識別する場合、その領域の上に重なる領域の有無を識別し、重なる領域があるならその領域分を除く、という処理を行う必要がある。これに対して、重なる領域が存在しない場合、この処理は不要である。つまり、常に上述の処理を行うようにすると、重なる領域が存在しない場合の処理の負荷が不要に増大するおそれがある。
【0407】
そこで、Quality ranking領域に重なる領域が存在するか否かをフラグで明示するようにしてもよい。つまり上述のQuality rankingに関する情報に、Quality ranking領域の重なりに関する情報が含まれるようにしてもよい。例えば、画像全体についてQuality ranking領域の重なりの有無を示す情報が含まれるようにしてもよい。また、例えば、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報が含まれるようにしてもよい。このような情報を利用することにより、クライアントは、重なる領域が存在しない領域について、重なる領域を取り除く処理が不要になる(処理を省略することができる)ので、クライアント処理の効率を向上させることができる。
【0408】
図51に示されるシンタックス423は、この場合のSphere Region Quality Ranking Boxのシンタックスの例を示す。また、図52に示されるセマンティクス424は、このBoxに追加されたフィールドのセマンティクスの例を示す。
【0409】
overlapped_region_presence_flagは、画像全体についてQuality ranking領域の重なりの有無を示す情報である。どのような値がどのような状態を示すかは任意である。例えば、このフィールドの値が0の場合、全てのQuality ranking領域の中で互いに重なる領域がないことを示すようにしてもよい。また、このフィールドの値が1の場合、Quality ranking領域の中で互いに重なる領域があることを示すようにしてもよい。つまり、この場合、overlapped_region_presence_flagが0の場合、画像内の全てのQuality ranking領域について、重なる領域を取り除く処理が不要である。換言するに、overlapped_region_presence_flagが1の場合のみ、各Quality ranking領域について、重なる領域を取り除く処理が必要であるかを確認するようにすればよい。
【0410】
overlapped_region_flagは、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報である。このoverlapped_region_flagは、例えば、図53に示されるように、各Quality ranking領域に対してセットされる。
【0411】
どのような値がどのような状態を示すかは任意である。例えば、このフィールドの値が0の場合、この領域(i=x)の上に、他の領域(i=y、yはy<x)が重なっていないことを示すようにしてもよい。また、このフィールドの値が1の場合、この領域(i=x)の上に、他の領域(i=y、yはy<x)が重なっていることを示すようにしてもよい。つまり、この場合、overlapped_region_flagが0の領域は、重なる領域を取り除く処理が不要である。換言するに、overlapped_region_flagが1の領域のみ、重なる領域を取り除く処理を行うようにすればよい。
【0412】
このようにすることで、クライアントの処理の負荷の不要な増大を抑制することができる。
【0413】
さらに、あるQuality ranking領域の上に他の領域が重なっているとき、どの領域が重なっているのかを明示するようにしてもよい。例えば、上述のQuality rankingに関する情報に、その情報に対応する領域に重なる他の領域の数を示す情報が含まれるようにしてもよい。また、例えば、上述のQuality rankingに関する情報に、その情報に対応する領域に重なる他の領域を示す情報が含まれるようにしてもよい。このような情報を利用することにより、重なる領域を除いたQuality ranking領域を識別するクライアント処理をより容易にすることができる。
【0414】
図54に示されるシンタックス425は、この場合のSphere Region Quality Ranking Boxのシンタックスの例を示す。また、図55に示されるセマンティクス426は、このBoxに追加されたフィールドのセマンティクスの例を示す。
【0415】
num_overlapped_regionsは、図56に示されるように、各QualityRanking領域にセットされる情報であり、その値は、そのnum_overlapped_regionsがセットされたQualityRanking領域の上に重なっている他のQualityRanking領域の数を示す。
【0416】
overlapped_region_indexは、図56に示されるように、各QualityRanking領域にセットされる情報であり、その値は、そのoverlapped_region_indexがセットされたQualityRanking領域(当該領域)の上に重なっているQualityRanking領域のインデックス(index)を示す。つまり、このフィールドの値は、当該領域にどのQualityRanking領域が重なっているかを示す。重なる領域が存在しない場合、このフィールドは省略することができる。換言するに、このフィールドが省略されている場合、重なる領域が存在しないことを示す。
【0417】
overlapped_region_indexを参照することで、そのQuality ranking領域に重なる領域のインデックスを識別できるため、Quality ranking領域を総当たりで確認する必要がなくなり、重なる領域を除いたQuality ranking領域を識別するクライアント処理をより容易化することができる。
【0418】
なお、以上においては、Sphere Region Quality Ranking Boxを例に説明したが、これらの拡張は、2D Region Quality Ranking Boxにも適用可能である。
【0419】
<最高・最低画質のQualityRankingのみのシグナリング>
偏心球面マッピングの画質は、最高画質の方向から最低画質の方向に向けて画質が滑らかに変化する特性がある。したがって、最高画質および最低画質のQuality rankingさえシグナルされていれば、Quality rankingがシグナルされない領域のQuality rankingについては、シグナルされたその最高画質および最低画質のQuality rankingから類推が可能である。
【0420】
そこで、最高画質および最低画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。つまり上述のQuality rankingに関する情報が、最高画質および最低画質のQuality rankingのみに関する情報を含むようにしてもよい。そして、クライアントは、その最高画質および最低画質のQuality rankingのみに関する情報に基づいて、その他のQuality rankingを類推するようにしてもよい。
【0421】
また、その際、最高および最低画質のQuality rankingのみをシグナルすることをフラグにより明示するようにしてもよい。つまり、上述のQuality rankingに関する情報が、さらに、最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含むようにしてもよい。
【0422】
例えば、Sphere Region Quality Ranking Boxを拡張し、最高および最低画質のQuality rankingのみをシグナルすることをフラグにより明示するようにしてもよい。図57に示されるシンタックス427は、その場合のSphere Region Quality Ranking Boxのシンタックスの例を示す。また、図58のセマンティクス428は、このBoxにおいて追加されたフィールドのセマンティクスの例を示す。
【0423】
min_max_only_flagは、最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報である。このフィールドの値が1の場合、このBoxでシグナルされるQuality rankingは、最高画質および最低画質のQuality rankingのみであることを示す。そして、その場合(min_max_only_flag=1の場合)、上述のnum_regionsの値は2である。
【0424】
なお、以上においては、Sphere Region Quality Ranking Boxを例に説明したが、この拡張は、2D Region Quality Ranking Boxにも適用可能である。
【0425】
また、上述の2種類のBoxを用いる代わりに、最高画質および最低画質のQuality Rankingのみをシグナルする専用のBoxを新規定義するようにしてもよい。
【0426】
<最高画質のQuality Rankingのみのシグナリング>
偏心球面マッピングは、特定の1方向を高画質化するものであり、その最高画質の領域のみ識別することができればストリームを選択することが可能である。そこで、最高画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。
【0427】
例えば、上述のQuality rankingに関する情報が、最高画質のQuality rankingのみに関する情報を含むようにしてもよい。また、そのQuality rankingに関する情報が、対応する領域のQuality rankingが未定義であることを示す値のQuality rankingをさらに含むようにしてもよい。
【0428】
このようにすることにより、クライアントは、多くのQuality ranking領域を識別する必要がなく、処理の簡易化が可能となる。また、コンテンツ生成側も、多くの領域のQualityを算出したり、シグナルしたりする必要がないため、処理の簡易化が可能となる。
【0429】
最高画質のQuality rankingのみのシグナリングは、例えば、Sphere Region Quality Ranking Boxのセマンティクスにおいて、quality_rankingの特定の値に対し、"Quality rankingが未定義であり、かつそのquality_ranking値の領域はその値以外のquality_rankingを有するどの領域のQualityよりも低い、という定義を行うことで実現することができる。例えば、quality_ranking=0の領域は、その領域のQuality rankingが未定義で、かつその値以外のquality_rankingを有するどの領域のQualityよりもQualityが低い、とすればよい。
【0430】
このとき、最高画質のQuality rankingのみのシグナリングは、最高画質領域のQuality rankingと、それ以外の画質未定義領域(quality_ranking=0)のシグナリングにより実現することができる。つまり、シンタックスの変更は不要である。
【0431】
もちろん、このセマンティクスの拡張は、2D Region Quality Ranking Boxにも適用可能である。
【0432】
また、Sphere Region Quality Ranking Boxや2D Region Quality Ranking Boxを用いる代わりに、最高画質のQuality rankingのみをシグナルするBoxを新規定義するようにしてもよい。
【0433】
<MPDファイルにおけるQuality rankingのシグナル>
第2の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、上述のISOBMFFファイルの場合と同様に、OMAFで定義されているQuality rankingを利用することにより、偏心球面マッピングストリーム間の切り替えだけでなく、他のプロジェクション拡張やviewport dependentな高画質化処理(例えばregion-wise packing等)がなされたストリーム間でのQuality比較と、それをもとにしたストリーム切り替えが可能となる。
【0434】
つまり、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、このQuality rankingに関する情報が含まれるようにしてもよい。例えば、ファイル生成装置100のMPDファイル生成部113が、Quality rankingに関する情報を含む投影平面画像の画質に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置200のMPDファイル処理部213が、MPDファイルに含まれる投影平面画像の画質に関する情報の、Quality rankingに関する情報に基づいて、ストリームを選択するようにしてもよい。
【0435】
このようにQuality rankingに関する情報を用いることにより、クライアントにおいて、より容易に、より高画質な画像を選択し、ユーザに提供することができる。
【0436】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図59のフローチャートを参照して説明する。
【0437】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS401において、画像とメタデータを取得する。
【0438】
ステップS402において、セグメントファイル生成部123は、その画像のセグメントファイルを生成する。
【0439】
ステップS403において、MPDファイル生成部113は、Quality rankingに関する情報を含むMPDファイルを生成する。
【0440】
ステップS404において、記録部114は、ステップS403の処理により生成されたMPDファイルを記録する。また、記録部114は、ステップS402の処理により生成されたセグメントファイルを記録する。
【0441】
ステップS405において、アップロード部115は、ステップS404において記録されたMPDファイルを記録部114より読み出し、それをサーバにアップロードする。また、アップロード部115は、ステップS404において記録されたMPDファイルを記録部114より読み出し、それをサーバにアップロードする。
【0442】
ステップS405の処理が終了すると、アップロード処理が終了する。
【0443】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、Quality rankingに関する情報を含むMPDファイルを生成することができる。
【0444】
したがって、クライアントは、そのQuality rankingに関する情報を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択することができる。つまり、より高画質な画像をより容易にユーザに提供することができる。つまり、新たなprojection formatの採用等といった大幅なオーサリングワークフローやクライアント実装の変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0445】
<コンテンツ再生処理の流れ>
次に、このような、Quality rankingに関する情報を含むMPDファイルのコンテンツを再生する場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図60のフローチャートを参照して説明する。
【0446】
コンテンツ再生処理が開始されると、クライアント装置200のMPDファイル取得部212は、ステップS421において、プロジェクション拡張方法に対応するQuality rankingに関する情報を含むMPDファイルを取得する。
【0447】
ステップS422において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0448】
ステップS423において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0449】
ステップS424において、MPDファイル処理部213は、ステップS421において取得したMPDファイルに含まれるQuality rankingに関する情報、ユーザの視点位置および視線方向、および、クライアントとサーバとの間のネットワークの伝送帯域幅等に応じて、クライアント装置200のユーザの視野が高画質化されているアダプテーションセット(Adaptation Set)を選択する。
【0450】
ステップS425において、MPDファイル処理部213は、ステップS424において選択されたAdatation Setから、所望のリプレゼンテーション(Representation)を選択する。
【0451】
ステップS426において、セグメントファイル取得部214は、ステップS424およびS425において選択されたAdaptation SetやRepresentationを含むセグメントファイルを取得する。
【0452】
ステップS427において、セグメントファイル処理部221は、ステップS426において取得されたセグメントファイルから符号化データを抽出する。
【0453】
ステップS428において、デコード部222は、ステップS427において抽出されたストリームの符号化データを復号する。
【0454】
ステップS429において、表示情報生成部223は、ステップS428において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0455】
ステップS429の処理が終了すると、コンテンツ再生処理が終了する。
【0456】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、MPDファイルに含まれるプロジェクション拡張方法に対応するQuality rankingに関する情報を利用して、より高画質な画像のAdaptation Setを選択し、再生することができる。
【0457】
したがって、クライアント装置200は、そのQuality rankingに関する情報を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択し、そのストリームの画像(より高画質な画像)をユーザに提供することができる。
【0458】
つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0459】
<ネストされたQuality Ranking領域のシグナリング>
MPDファイルにおいてQuality rankingをシグナルする場合も、上述のようにISOBMFFファイルにおいてシグナルする場合と同様に、ネストされた領域毎のQuality ranking値をQuality rankingに関する情報として利用するようにしてもよい。つまり、Quality rankingに関する情報に、入れ子構造の領域毎のQuality rankingに関する情報が含まれるようにしてもよい。
【0460】
<Quality rankingをシグナルするdescriptor>
OMAFでは、Sphere Region Quality Ranking Boxと、2D Region Quality Ranking Boxそれぞれに対応するDASH MPDのdescriptorとして、spherical region-wise quality ranking descriptorおよび2D region-wise quality ranking descriptorも定義されている。
【0461】
これらのdescriptorを用いて、入れ子構造の領域毎のQuality rankingに関する情報をシグナルするようにしてもよい。換言するに、Quality rankingに関する情報にspherical region-wise quality ranking descriptorが含まれるようにしてもよい。また、Quality rankingに関する情報に2D region-wise quality ranking descriptorが含まれるようにしてもよい。
【0462】
<Quality ranking領域の重なりに関する情報>
MPDファイルにQuality rankingに関する情報をシグナルする場合も、上述のISOBMFFファイルの場合と同様に、Quality ranking領域に重なる領域が存在するか否かをフラグで明示するようにしてもよい。つまり上述のQuality rankingに関する情報に、Quality ranking領域の重なりに関する情報が含まれるようにしてもよい。例えば、画像全体についてQuality ranking領域の重なりの有無を示す情報が含まれるようにしてもよい。また、例えば、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報が含まれるようにしてもよい。このような情報を利用することにより、クライアントは、重なる領域が存在しない領域について、重なる領域を取り除く処理が不要になる(処理を省略することができる)ので、クライアント処理の効率を向上させることができる。
【0463】
さらに、あるQuality ranking領域の上に他の領域が重なっているとき、どの領域が重なっているのかを明示するようにしてもよい。例えば、上述のQuality rankingに関する情報に、その情報に対応する領域に重なる他の領域の数を示す情報が含まれるようにしてもよい。また、例えば、上述のQuality rankingに関する情報に、その情報に対応する領域に重なる他の領域を示す情報が含まれるようにしてもよい。このような情報を利用することにより、重なる領域を除いたQuality ranking領域を識別するクライアント処理をより容易にすることができる。
【0464】
つまり、例えば、上述のdescriptorに対してoverlapped_region_presence_flag属性、overlapped_region_flag属性、num_overlapped_regions属性、overlapped_region_index属性等を追加するようにしてもよい。
【0465】
overlapped_region_presence_flag属性は、上述のoverlapped_region_presence_flagと同様に、画像全体についてQuality ranking領域の重なりの有無を示す情報である。このセマンティクスは、overlapped_region_presence_flagと同様である。
【0466】
overlapped_region_flag属性は、上述のoverlapped_region_flagと同様に、その情報に対応するQuality ranking領域について他のQuality ranking領域との重なりの有無を示す情報である。このセマンティクスは、overlapped_region_flagと同様である。
【0467】
num_overlapped_regions属性は、上述のnum_overlapped_regionsと同様に、各QualityRanking領域にセットされる情報である。その値は、そのnum_overlapped_regions属性がセットされたQualityRanking領域の上に重なっている他のQualityRanking領域の数を示す。このセマンティクスは、num_overlapped_regionsと同様である。
【0468】
overlapped_region_index属性は、上述のoverlapped_region_indexと同様に、各QualityRanking領域にセットされる情報であり、その値は、そのoverlapped_region_index属性がセットされたQualityRanking領域(当該領域)の上に重なっているQualityRanking領域のインデックス(index)を示す。つまり、このフィールドの値は、当該領域にどのQualityRanking領域が重なっているかを示す。このセマンティクスは、num_overlapped_regionsと同様である。
【0469】
つまり、DASHにおけるQuality ranking情報をもとにしたAdaptation Set選択時においても、上述したISOBMFFファイルの場合と同様の効果を得ることができる。
【0470】
<最高・最低画質のQualityRankingのみのシグナリング>
MPDファイルの場合も上述のISOBMFFファイルの場合と同様に、最高画質および最低画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。つまり上述のQuality rankingに関する情報が、最高画質および最低画質のQuality rankingのみに関する情報を含むようにしてもよい。そして、クライアントは、その最高画質および最低画質のQuality rankingのみに関する情報に基づいて、その他のQuality rankingを類推するようにしてもよい。
【0471】
また、その際、最高および最低画質のQuality rankingのみをシグナルすることをフラグにより明示するようにしてもよい。つまり、上述のQuality rankingに関する情報が、さらに、最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含むようにしてもよい。
【0472】
例えば、上述のspherical region-wise quality ranking descriptorや2D region-wise quality ranking descriptorに対して、min_max_only_flag属性を追加するようにしてもよい。min_max_only_flag属性は、上述のmin_max_only_flagと同様に、最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報である。このセマンティクスは、min_max_only_flagと同様である。このようにすることにより、DASHにおけるQuality ranking情報をもとにしたAdaptation Set選択時においても、track選択の場合と同様の効果を得ることができるで適用可能である。
【0473】
なお、最高画質および最低画質のQuality Rankingのみをシグナルするdescriptorを新規定義するようにしてもよい。
【0474】
<最高画質のQuality Rankingのみのシグナリング>
MPDファイルの場合も上述のISOBMFFファイルの場合と同様に、最高画質のQuality rankingのみをシグナルし、その他の画質のQuality rankingのシグナルは省略するようにしてもよい。
【0475】
例えば、上述のQuality rankingに関する情報が、最高画質のQuality rankingのみに関する情報を含むようにしてもよい。また、そのQuality rankingに関する情報が、対応する領域のQuality rankingが未定義であることを示す値のQuality rankingをさらに含むようにしてもよい。
【0476】
このようにすることにより、クライアントは、多くのQuality ranking領域を識別する必要がなく、処理の簡易化が可能となる。また、コンテンツ生成側も、多くの領域のQualityを算出したり、シグナルしたりする必要がないため、処理の簡易化が可能となる。
【0477】
なお、最高画質のQuality Rankingのみをシグナルするdescriptorを新規定義するようにしてもよい。
【0478】
<ISOBMFFファイルにおける高画質化領域の属性シグナリング>
次に、ストリーム中で動的に高画質化される領域が変化するdynamicな偏心球面マッピングストリームについて説明する。次に、ストリーム中で動的に高画質化される領域が変化する場合、高画質化されている領域の属性をシグナルすることで、ユーザプリファレンスに応じたストリーム選択を可能にする。
【0479】
例えば、ISOBMFFファイルに含まれる、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、他の領域よりも高画質な高画質化領域に関する情報が含まれるようにしてもよい。
【0480】
例えば、ファイル生成装置100のセグメントファイル生成部123が、他の領域よりも高画質な高画質化領域に関する情報を含む投影平面画像の画質に関する情報を、ISOBMFFファイルに含めるようにしてもよい。また、例えば、クライアント装置200のデータ解析・復号部216が、ISOBMFFファイルに含まれる投影平面画像の画質に関する情報の、他の領域よりも高画質な高画質化領域に関する情報に基づいて、ストリームを選択するようにしてもよい。
【0481】
このように他の領域よりも高画質な高画質化領域に関する情報を用いることにより、ユーザプリファレンスに応じて、所望の領域が高画質化されている偏心球面マッピングが適用されたストリームを選択することができる。これにより所望の領域が高画質となったストリームをユーザに視聴させることができ、ユーザ体験を向上させることができる。
【0482】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図61のフローチャートを参照して説明する。
【0483】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS441において、画像とメタデータを取得する。
【0484】
ステップS442において、セグメントファイル生成部123は、track毎の高画質化領域の属性に関する情報を含むISOBMFFファイルを生成する。
【0485】
ステップS443において、記録部114は、ステップS442の処理により生成されたISOBMFFファイルを記録する。
【0486】
ステップS444において、アップロード部115は、ステップS443において記録されたISOBMFFファイルを記録部114より読み出し、それをサーバにアップロードする。
【0487】
ステップS444の処理が終了すると、アップロード処理が終了する。
【0488】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、他の領域よりも高画質な高画質化領域に関する情報を含むISOBMFFファイルを生成することができる。
【0489】
したがって、クライアントは、その「他の領域よりも高画質な高画質化領域に関する情報」を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択することができる。つまり、より高画質な画像をより容易にユーザに提供することができる。つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0490】
<コンテンツ再生処理の流れ>
次に、このような、他の領域よりも高画質な高画質化領域に関する情報を含むISOBMFFファイルのコンテンツを再生する場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図62のフローチャートを参照して説明する。
【0491】
コンテンツ再生処理が開始されると、クライアント装置200のセグメントファイル取得部214は、ステップS461において、track毎の高画質化領域に関する情報を含むISOBMFFファイルを取得する。
【0492】
ステップS462において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0493】
ステップS463において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0494】
ステップS464において、セグメントファイル処理部221は、ステップS461において取得したISOBMFFファイルに含まれる高画質化領域の属性に関する情報に基づいて、track毎の高画質化領域の属性を識別し、表示し、その表示に基づいて入力されるユーザの好みに応じてtrackを選択する。
【0495】
ステップS465において、セグメントファイル処理部221は、ステップS464において選択されたトラックのストリームの符号化データを、ステップS461において取得されたISOBMFFファイルから抽出する。
【0496】
ステップS466において、デコード部222は、ステップS465において抽出されたストリームの符号化データを復号する。
【0497】
ステップS467において、表示情報生成部223は、ステップS466において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0498】
ステップS467の処理が終了すると、コンテンツ再生処理が終了する。
【0499】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、ISOBMFFファイルに含まれるプロジェクション拡張方法に対応する高画質化領域の属性に関する情報を利用して、より高画質な画像のtrackを選択し、再生することができる。
【0500】
したがって、クライアント装置200は、その高画質化領域の属性に関する情報を用いて、より容易に、所望の領域が高画質となったストリームをユーザに視聴させることができ、ユーザ体験を向上させることができる。
【0501】
つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0502】
<ビデオストリームの付加情報としてシグナル>
例えば、この「他の領域よりも高画質な高画質化領域に関する情報」として、ISOBMFFファイルのProjected Omnidirectional Video Boxにおいて、Quality Emphasized Viewport Information Boxを新たに定義するようにしてもよい。
【0503】
図63のシンタックス441は、Projected Omnidirectional Video Boxのシンタックスの例を示す。シンタックス441(Projected Omnidirectional Video Boxのシンタックス)の上から3行目において、Quality Emphasized Viewport Information Boxが定義されている。
【0504】
図64のシンタックス442は、そのQuality Emphasized Viewport Information Boxのシンタックスの例を示す。図65のセマンティクス443は、そのQuality Emphasized Viewport Information Boxにおいて追加されたフィールドのセマンティクスの例を示す。
【0505】
例えば、viewport_typeは、高画質化されている領域の属性を示す情報である。どのような値がどのような属性を示すかは任意である。例えば、このフィールドの値が0の場合、ディレクターズカットを示すようにしてもよい。また、このフィールドの値が1の場合、ユーザに最も視聴されている領域を示すようにしてもよい。さらに、このフィールドの値が2の場合、特定の出演者を追従することを示すようにしてもよい。また、このフィールドの値が240乃至255の場合、アプリケーション毎に決定されるタイプであることを示すようにしてもよい。
【0506】
また、例えばviewport_descriptionは、viewport_typeの補足情報としての文字列が定義される情報である。
【0507】
例えば、ユーザに、ディレクターズカットが高画質化された全天球映像を視聴させたい場合、クライアント装置200は、viewport_type=0のtrackを選択し、再生すればよい。この時、viewport_descriptionは、例えばviewport_type=0のときは映画監督の名前が、viewport_type=2のときは出演者の名前がシグナルされ、ストリーム選択画面の表示等に用いられるようにしてもよい。
【0508】
以上のように、この「他の領域よりも高画質な高画質化領域に関する情報」が、ISOBMFFファイルのProjected Omnidirectional Video Box内のQuality Emphasized Viewport Information Boxに格納される、前記高画質化領域の属性を示すviewport_typeを含むようにしてもよい。
【0509】
<ProjectionEnhancementBoxの拡張>
なお、第1の実施の形態において説明したISOBMFFファイルのProjection Enhancement Boxを拡張して、他の領域よりも高画質な高画質化領域に関する情報をシグナルするようにしてもよい。
【0510】
図66のシンタックス444は、その場合のProjection Enhancement Boxのシンタックスの例を示す。
【0511】
なお、偏心球面マッピングストリームに限らず、その他のストリーム中でダイナミックに変化するviewport dependentな高画質化にも適用可能である。
【0512】
<Timed metadataの付加情報としてシグナル>
recommended viewport timed metadataに、全天球映像の高画質化領域とrecommended viewportが一致することを示すフラグを追加するようにしてもよい。recommended viewport timed metadataに従い、クライアントの視野変更に関わらずrecommended viewportを表示することで、常に高画質化領域が表示できる。なお、recommended viewport timed metadataのtrackと全天球映像のtrackは、track referenceによる参照関係で紐づけられる。
【0513】
なお、偏心球面マッピングストリームに限らず、その他のストリーム中でダイナミックに変化するviewport dependentな高画質化にも適用可能である。
【0514】
このようなフラグのシグナルのために、OMAFで定義されたRecommended viewport information Box (RcvpInfoBox) を拡張するようにしてもよい。RvcpInfoBoxは、recommended viewport timed metadataのSampleEntryにシグナルされる。
【0515】
すなわち、「他の領域よりも高画質な高画質化領域に関する情報」が、ISOBMFFファイルのrecommended viewport timed metadataのRcvpInfoBoxに格納される、その高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグ情報を含むようにしてもよい。
【0516】
図67のシンタックス445は、そのRcvpInfoBoxのシンタックスの例を示す。また、図68のセマンティクス446は、そのRcvpInfoBoxに追加されたフィールドのセマンティクスの例を示す。
【0517】
quality_emphasized_region_matching_flagは、高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグである。このフィールドの値が「1」の場合、紐づく全天球映像の高画質化領域とrecommended viewportとが一致することを示す。
【0518】
なお、図69に示されるように、quality_emphasized_region_matching_flagをシグナルせず、recommended viewport timed metadataのtrackと全天球映像のtrackとを紐づけるtrack referenceにおいて、特定のreference typeが、timed metadataでシグナルされたrecommended viewportと全天球映像の高画質化領域とが一致することを示す、としてもよい。例えば、reference_type="empr"で参照する場合に、recommended viewportが全天球映像の高画質化領域と一致することを示す、とする。
【0519】
また、全天球映像を格納するtrackに紐づくrecommended viewport timed metadataでシグナルされるrecommended viewportが、全天球映像の高画質化領域と一致するか否かを示すフラグをシグナルしてもよい。図70に示されるシンタックス461は、Projection Enhancement Boxのシンタックスの例を示す。このシンタックス461に示されるように、Projection Enhancement Boxにおいて、全天球映像を格納するtrackに紐づくrecommended viewport timed metadataでシグナルされるrecommended viewportが、全天球映像の高画質化領域と一致するか否かを示すフラグrecommended_viewport_matching_flagを設定するようにしてもよい。このrecommended_viewport_matching_flagの値が1の場合、recommended viewportが全天球映像の高画質化領域と一致することを示す。
【0520】
<MPDファイルにおける高画質化領域の属性シグナリング>
第2の実施の形態において説明したようにプロジェクション拡張に関する情報をMPDファイルにおいてシグナルする場合も、上述のISOBMFFファイルの場合と同様に、高画質化されている領域の属性をシグナルすることで、動的に高画質化される領域が変化するストリームに対して、ユーザプリファレンスに応じたストリーム選択を可能にする。
【0521】
例えば、MPDファイルに含まれる、上述のプロジェクション拡張に対応する、立体構造に投影された画像である立体構造画像がそのプロジェクション拡張を適用した投影方法により単数の平面にマッピングされた投影平面画像の画質に関する情報に、他の領域よりも高画質な高画質化領域に関する情報が含まれるようにしてもよい。
【0522】
例えば、ファイル生成装置100のMPDファイル生成部113が、他の領域よりも高画質な高画質化領域に関する情報を含む投影平面画像の画質に関する情報を、MPDファイルに含めるようにしてもよい。また、例えば、クライアント装置200のMPDファイル処理部213が、MPDファイルに含まれる投影平面画像の画質に関する情報の、他の領域よりも高画質な高画質化領域に関する情報に基づいて、ストリームを選択するようにしてもよい。
【0523】
このように他の領域よりも高画質な高画質化領域に関する情報を用いることにより、ユーザプリファレンスに応じて、所望の領域が高画質化されている偏心球面マッピングが適用されたストリームを選択することができる。これにより所望の領域が高画質となったストリームをユーザに視聴させることができ、ユーザ体験を向上させることができる。
【0524】
<アップロード処理の流れ>
その場合の図4のファイル生成装置100により実行されるアップロード処理の流れの例を、図71のフローチャートを参照して説明する。
【0525】
アップロード処理が開始されると、ファイル生成装置100のデータ入力部111は、ステップS481において、画像とメタデータを取得する。
【0526】
ステップS482において、セグメントファイル生成部123は、その画像のセグメントファイルを生成する。
【0527】
ステップS483において、MPDファイル生成部113は、Adaptation Set毎の高画質化領域の属性に関する情報を含むMPDファイルを生成する。
【0528】
ステップS484において記録部114は、ステップS483の処理により生成されたMPDファイルを記録する。また、記録部114は、ステップS482の処理により生成されたセグメントファイルを記録する。
【0529】
ステップS485において、アップロード部115は、ステップS484において記録されたMPDファイルを記録部114より読み出し、それをサーバにアップロードする。また、アップロード部115は、ステップS484において記録されたセグメントファイルを記録部114より読み出し、それをサーバにアップロードする。
【0530】
ステップS485の処理が終了すると、アップロード処理が終了する。
【0531】
以上のようにアップロード処理を行うことにより、ファイル生成装置100は、他の領域よりも高画質な高画質化領域に関する情報を含むMPDファイルを生成することができる。
【0532】
したがって、クライアントは、その「他の領域よりも高画質な高画質化領域に関する情報」を用いて、より容易に、より高画質な画像の、プロジェクション拡張方法が適用されたストリームを選択することができる。つまり、より高画質な画像をより容易にユーザに提供することができる。つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0533】
<コンテンツ再生処理の流れ>
次に、このような、他の領域よりも高画質な高画質化領域に関する情報を含むMPDファイルのコンテンツを再生する場合のクライアント装置200により実行されるコンテンツ再生処理の流れの例を、図72のフローチャートを参照して説明する。
【0534】
コンテンツ再生処理が開始されると、クライアント装置200のMPDファイル取得部212は、ステップS501において、Adaptation Set毎の高画質化領域に関する情報を含むMPDファイルを取得する。
【0535】
ステップS502において、表示制御部215は、ユーザの視点位置(および視線方向)の計測結果を取得する。
【0536】
ステップS503において、計測部211は、サーバとクライアント装置200との間のネットワークの伝送帯域幅を計測する。
【0537】
ステップS504において、MPDファイル処理部213は、ステップS501において取得したMPDファイルに含まれる高画質化領域の属性に関する情報に基づいて、Adaptation Set毎の高画質化領域の属性を識別し、表示し、その表示に基づいて入力されるユーザの好みに応じてAdaptation Setを選択する。
【0538】
ステップS505において、MPDファイル処理部213は、ステップS504において選択されたAdatation Setから、所望のリプレゼンテーション(Representation)を選択する。
【0539】
ステップS506において、セグメントファイル取得部214は、ステップS504およびS505において選択されたAdaptation SetやRepresentationを含むセグメントファイルを取得する。
【0540】
ステップS507において、セグメントファイル処理部221は、ステップS506において取得されたセグメントファイルから符号化データを抽出する。
【0541】
ステップS508において、デコード部222は、ステップS507において抽出されたストリームの符号化データを復号する。
【0542】
ステップS509において、表示情報生成部223は、ステップS508において復号されて得られたストリーム(コンテンツ)を再生する。より具体的には、表示情報生成部223は、そのストリームから表示用画像のデータを生成し、それを表示部217に供給し、表示させる。
【0543】
ステップS509の処理が終了すると、コンテンツ再生処理が終了する。
【0544】
以上のようにコンテンツ再生処理を行うことにより、クライアント装置200は、MPDファイルに含まれるプロジェクション拡張方法に対応する高画質化領域の属性に関する情報を利用して、より高画質な画像のAdaptation Setを選択し、再生することができる。
【0545】
したがって、クライアント装置200は、その高画質化領域の属性に関する情報を用いて、より容易に、所望の領域が高画質となったストリームをユーザに視聴させることができ、ユーザ体験を向上させることができる。
【0546】
つまり、新たなprojection formatの採用等といった大幅な規格変更を必要とせずに、projection formatをviewport dependentな高画質化に対応させることができる。すなわち、符号化効率の低減を抑制したより高画質な画像提供をより容易に実現することができる。
【0547】
<ビデオストリームの付加情報としてシグナル>
MPDファイルにおいてシグナルする場合、例えば、この「他の領域よりも高画質な高画質化領域に関する情報」として、MPDファイルにおいて新たにQuality emphasized viewport info descriptorを定義するようにしてもよい。
【0548】
例えば、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:qevi"のSupplemental PropertyをQuality emphasized viewport info descriptorとして定義するようにしてもよい。また、同じschemeIdUriのEssential Propertyを用いてもよい。なお、Quality emphasized viewport info descriptorは、上述の例に限らず、例えば、AdaptationSetやRepresentationレベルにも存在可能である。
【0549】
図73の属性値471は、このQuality emphasized viewport info descriptorの属性値の例を示す。この属性値471に示されるomaf:@viewport_typeは、データタイプがxs:unsignedByteであり、高画質化されている領域の属性を示す。
【0550】
どのような値がどのような属性を示すかは任意である。例えば、この属性値が0の場合、ディレクターズカットであることを示すようにしてもよい。また、この属性値が1の場合、ユーザに最も視聴されている領域であることを示すようにしてもよい。さらに、この属性値が2の場合、特定の出演者を追従することを示すようにしてもよい。また、例えば、この属性値が240乃至255の場合、アプリケーション毎に決定されるタイプであることを示すようにしてもよい。
【0551】
また、属性値471に示されるomaf:@viewport_descriptionは、データタイプがxs:stringであり、viewport_typeの補足情報としての文字列を示す。
【0552】
図74に示されるデータタイプ472は、この場合のデータタイプの定義の例を示す。
【0553】
つまり、他の領域よりも高画質な高画質化領域に関する情報は、MPDファイルに定義されるQuality emphasized viewport info descriptorの、その高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含むようにしてもよい。
【0554】
<ProjectionEnhancementBoxの拡張>
なお、Projection enhancement descriptorを拡張して、他の領域よりも高画質な高画質化領域に関する情報をシグナルするようにしてもよい。
【0555】
なお、偏心球面マッピングストリームに限らず、その他のストリーム中でダイナミックに変化するviewport dependentな高画質化にも適用可能である。
【0556】
<Timed metadataの付加情報としてシグナル>
また、Recommended viewport information descriptorを新たに定義し、全天球映像の高画質化領域の属性と、高画質化領域がrecommended viewportと一致するか否かを示すフラグをシグナルするようにしてもよい。
【0557】
その場合、@schemeIdUri="urn:mpeg:mpegI:omaf:2017:rvif"のSupplemental PropertyをProjection enhancement descriptorとして定義する。また、同じschemeIdUriのEssential Propertyを用いてもよい。なお、このdescriptorは、上述の例に限らず、Adaptation SetやRepresentationレベルにも存在可能である。
【0558】
また、recommended viewport timed metadataのRepresentationと全天球映像のRepresentationは、@associationIdおよび@associationTypeによって紐づけられる。
【0559】
図75に示される属性値473は、Recommended viewport information descriptorの属性値の例を示す。omaf:@viewport_typeは、データタイプがxs:unsignedByteであり、recommended viewportのタイプを示す属性値である。
【0560】
どのような値がどのようなタイプを示すかは任意である。例えば、この属性値の値が0の場合、ディレクターズカットであることを示すとしてもよい。また、この属性値の値が1の場合、ユーザに最も視聴されている領域を示すとしてもよい。また、この属性値の値が3の場合、特定の出演者を追従することを示すとしてもよい。また、この属性値が240乃至255の場合、アプリケーション毎に決定されるタイプを示すとしてもよい。
【0561】
また、omaf:@viewport_descriptionは、データタイプがxs:stringであり、viewport_typeの補足情報としての文字列を示す属性値である。
【0562】
また、omaf:@quality_emphasized_region_matching_flagは、データタイプがxs:booleanであり、全天球映像の高画質化領域とrecommended viewportがマッチすることを示す属性値である。例えば、この属性値の値が1の場合、紐づく全天球映像の高画質化領域とrecommended viewportがマッチすることを示すようにしてもよい。
【0563】
つまり、他の領域よりも高画質な高画質化領域に関する情報が、MPDファイルに定義されるRecommended viewport information descriptorの、その高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含むようにしてもよい。
【0564】
なお、図76のデータタイプ474は、この場合のデータタイプの定義の例を示す。
【0565】
クライアントは、このdescriptorから紐づくストリームの高画質化領域の属性を識別し、ストリーム選択を行うことができる。
【0566】
なお、omaf:@quality_emphasized_region_matching_flagをシグナルせず、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際、特定の@associationTypeが、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す、としてもよい。例えば、@associationType="empr"で紐づけられる場合に、recommended viewportと全天球映像の高画質化領域が一致することを示すとする。図77のMPD475は、その場合のMPDの例を示す。
【0567】
なお、Projection enhancement descriptorを拡張し、全天球映像を格納するtrackに紐づくrecommended viewport timed metadataでシグナルされるrecommended viewportが、全天球映像の高画質化領域と一致するか否かを示すフラグrecommended_viewport_matching_flagを設定するようにしてもよい。
【0568】
ここまで、高画質化される領域の決定は、コンテンツ生成側で行われている例を扱ったが、クライアント装置200が、プリファレンス情報(例えば、特定の登場人物等)を、ストリームを配信するサーバに送信することで、そのサーバが動的にクライアントの望む対象を高画質化したストリームをエンコードし、配信するようにしてもよい。
【0569】
<5.付記>
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【0570】
図78は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0571】
図78に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
【0572】
バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
【0573】
入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
【0574】
以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0575】
コンピュータ(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
【0576】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
【0577】
その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
【0578】
<本技術の適用対象>
以上においては、ISOBMFFファイルまたはMPDファイルに本技術を適用する場合について説明したが、本技術は、これらの例に限らず、プロジェクション拡張を適用して立体構造画像を単数の平面にマッピングした投影平面画像のストリームを配信する、任意の規格のファイルに対して適用することができる。つまり、上述した本技術と矛盾しない限り、配信制御、ファイル形式、符号化・復号方式等の各種処理の仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
【0579】
また、以上においては、本技術の適用例としてファイル生成装置100やクライアント装置200について説明したが、本技術は、任意の構成に適用することができる。
【0580】
例えば、本技術は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機(例えばテレビジョン受像機や携帯電話機)、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置(例えばハードディスクレコーダやカメラ)などの、様々な電子機器に適用され得る。
【0581】
また、例えば、本技術は、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、または、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等、装置の一部の構成として実施することもできる。
【0582】
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
【0583】
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0584】
<本技術を適用可能な分野・用途>
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【0585】
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
【0586】
<その他>
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【0587】
また、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【0588】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
【0589】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0590】
例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
【0591】
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
【0592】
また、例えば、1つのフローチャートの各ステップを、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、1つのステップに複数の処理が含まれる場合、その複数の処理を、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
【0593】
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【0594】
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【0595】
なお、本技術は以下のような構成も取ることができる。
(1) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部
を備える情報処理装置。
(2) 前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含む
(1)に記載の情報処理装置。
(3) 前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含む
(1)または(2)に記載の情報処理装置。
(4) 前記プロジェクション拡張のタイプは、EAC(Equi-Angular Cubemap)を含む
(3)に記載の情報処理装置。
(5) 前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
(3)または(4)に記載の情報処理装置。
(6) 前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含む
(1)乃至(5)のいずれかに記載の情報処理装置。
(7) 前記投影方法は、ERP(Equirectanglar projection)を含む
(1)乃至(6)のいずれかに記載の情報処理装置。
(8) 前記投影方法は、CMP(Cubemap projection)を含む
(1)乃至(7)のいずれかに記載の情報処理装置。
(9) 前記ファイル生成部は、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む前記ファイルを生成する
(1)乃至(8)のいずれかに記載の情報処理装置。
(10) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Boxに格納される
(9)に記載の情報処理装置。
(11) 前記プロジェクション拡張に関する情報は、前記Projected Omnidirectional Video Boxに格納される、当該Boxが存在することによってプロジェクション拡張が適用されていることを示すProjection_Enhancement_Boxを含む
(10)に記載の情報処理装置。
(12) 前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、適用される前記プロジェクション拡張のタイプを示すenhancement_typeを含む
(11)に記載の情報処理装置。
(13) 前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、前記プロジェクション拡張のタイプ毎の、前記立体構造へのレンダリングに必要な情報を含む
(12)に記載の情報処理装置。
(14) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルに格納される、前記プロジェクション拡張のタイプ専用のBoxを含む
(9)乃至(13)のいずれかに記載の情報処理装置。
(15) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成する
情報処理方法。
【0596】
(21) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
(22) 前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張が適用されているかを示す情報に基づいてプロジェクション拡張が適用されているかの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
(21)に記載の情報処理装置。
(23) 前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張のタイプを示す情報に基づいて適用されるプロジェクション拡張のタイプの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
(21)または(22)に記載の情報処理装置。
(24) 前記プロジェクション拡張のタイプは、EAC(Equi-Angular Cubemap)を含む
(23)に記載の情報処理装置。
(25) 前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
(23)または(24)に記載の情報処理装置。
(26) 前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含み、
前記画像処理部は、前記立体構造へのレンダリングに必要な情報を用いて、選択したストリームから得られる画像の前記立体構造へのレンダリングを行う
(21)乃至(25)のいずれかに記載の情報処理装置。
(27) 前記投影方法は、ERP(Equirectanglar projection)を含む
(21)乃至(26)のいずれかに記載の情報処理装置。
(28) 前記投影方法は、CMP(Cubemap projection)を含む
(21)乃至(27)のいずれかに記載の情報処理装置。
(29) 前記ファイルは、前記プロジェクション拡張に関する情報を、前記画像符号化データのストリーム毎の情報として含む
(21)乃至(28)のいずれかに記載の情報処理装置。
(30) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Boxに格納される
(29)に記載の情報処理装置。
(31) 前記プロジェクション拡張に関する情報は、前記Projected Omnidirectional Video Boxに格納される、当該Boxが存在することによってプロジェクション拡張が適用されていることを示すProjection_Enhancement_Boxを含む
(30)に記載の情報処理装置。
(32) 前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、適用される前記プロジェクション拡張のタイプを示すenhancement_typeを含む
(31)に記載の情報処理装置。
(33) 前記プロジェクション拡張に関する情報は、前記Projection_Enhancement_Boxに格納される、前記プロジェクション拡張のタイプ毎の、前記立体構造へのレンダリングに必要な情報を含む
(32)に記載の情報処理装置。
(34) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記プロジェクション拡張に関する情報は、前記ISOBMFFファイルに格納される、前記プロジェクション拡張のタイプ専用のBoxを含む
(29)乃至(33)のいずれかに記載の情報処理装置。
(35) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、
取得された前記ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。
【0597】
(41) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部
を備える情報処理装置。
(42) 前記画質に関する情報は、Quality rankingに関する情報を含む
(41)に記載の情報処理装置。
(43) 前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
(42)に記載の情報処理装置。
(44) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記Quality rankingに関する情報は、Sphere_Region_Quality_Ranking_Boxを含む
(43)に記載の情報処理装置。
(45) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記Quality rankingに関する情報は、2D_Region_Quality_Ranking_Boxを含む
(43)または(44)に記載の情報処理装置。
(46) 前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含む
(43)乃至(45)のいずれかに記載の情報処理装置。
(47) 前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
(46)に記載の情報処理装置。
(48) 前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
(46)または(47)に記載の情報処理装置。
(49) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
(46)乃至(48)のいずれかに記載の情報処理装置。
(50) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
(46)乃至(49)のいずれかに記載の情報処理装置。
(51) 前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
(42)に記載の情報処理装置。
(52) 前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
(51)に記載の情報処理装置。
(53) 前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む(42)に記載の情報処理装置。
(54) 前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含む
(41)乃至(54)のいずれかに記載の情報処理装置。
(55) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のQuality Emphasized Viewport Information Boxに格納される、前記高画質化領域の属性を示すviewport_typeを含む
(54)に記載の情報処理装置。
(56) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのrecommended viewport timed metadataのRcvpInfoBoxに格納される、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグ情報を含む
(54)または(55)に記載の情報処理装置。
(57) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのtrackと全天球映像のtrackとを紐づけるtrack referenceの、timed metadataでシグナルされたrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値のreference_typeを含む
(54)乃至(56)のいずれかに記載の情報処理装置。
(58) 前記プロジェクション拡張のタイプは、偏心球面マッピングである
(41)乃至(57)のいずれかに記載の情報処理装置。
(59) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを生成する
情報処理方法。
【0598】
(61) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
(62) 前記画質に関する情報は、Quality rankingに関する情報を含み、
前記画像処理部は、前記Quality rankingに関する情報に基づいて前記ストリームの選択を行うように構成される
(61)に記載の情報処理装置。
(63) 前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
(62)に記載の情報処理装置。
(64) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記Quality rankingに関する情報は、Sphere_Region_Quality_Ranking_Boxを含む
(63)に記載の情報処理装置。
(65) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記Quality rankingに関する情報は、2D_Region_Quality_Ranking_Boxを含む
(63)または(64)に記載の情報処理装置。
(66) 前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含み、
前記画像処理部は、前記領域の重なりに関する情報に基づいて前記ストリームの選択を行う
(63)乃至(65)に記載の情報処理装置。
(67) 前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
(66)に記載の情報処理装置。
(68) 前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
(66)または(67)に記載の情報処理装置。
(69) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
(66)乃至(68)のいずれかに記載の情報処理装置。
(70) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
(66)乃至(69)のいずれかに記載の情報処理装置。
(71) 前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
(62)のいずれかに記載の情報処理装置。
(72) 前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
(71)に記載の情報処理装置。
(73) 前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む(62)に記載の情報処理装置。
(74) 前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含み、
前記画像処理部は、前記高画質領域に関する情報に基づいて前記ストリームの選択を行うように構成される
(61)乃至(73)のいずれかに記載の情報処理装置。
(75) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のQuality Emphasized Viewport Information Boxに格納される、前記高画質化領域の属性を示すviewport_typeを含む
(74)に記載の情報処理装置。
(76) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記高画質化領域に関する情報は、前記ISOBMFFファイルのrecommended viewport timed metadataのRcvpInfoBoxに格納される、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示すフラグ情報を含む
(74)または(75)に記載の情報処理装置。
(77) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのtrackと全天球映像のtrackとを紐づけるtrack referenceの、timed metadataでシグナルされたrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値のreference_typeを含む
(74)乃至(76)のいずれかに記載の情報処理装置。
(78) 前記プロジェクション拡張のタイプは、偏心球面マッピングである
(61)乃至(77)に記載の情報処理装置。
(79) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報と、前記投影平面画像が符号化された画像符号化データとを含むファイルを取得し、
取得された前記ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。
【0599】
(81) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成するファイル生成部
を備える情報処理装置。
(82) 前記オフセットに関する情報は、前記オフセットの方向に関する情報および前記オフセットの大きさに関する情報を含む
(81)に記載の情報処理装置。
(83) 前記オフセットの方向に関する情報は、前記オフセットの方向の方位角に関する情報および前記オフセットの方向の仰角に関する情報を含む
(82)に記載の情報処理装置。
(84) 前記オフセットに関する情報は、前記画像符号化データのストリーム中において固定である
(81)乃至(83)のいずれかに記載の情報処理装置。
(85) 前記ファイル生成部は、前記オフセットに関する情報を前記画像符号化データのストリーム毎の情報として含む前記ファイルを生成する
(84)に記載の情報処理装置。
(86) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のProjection Enhancement Boxに格納される、前記オフセットの方向の方位角を示すoffset_azimuth、前記オフセットの方向の仰角を示すoffset_elevation、および、前記オフセットの大きさを示すoffset_valueを含む
(85)に記載の情報処理装置。
(87) 前記オフセットに関する情報は、前記画像符号化データのストリーム中において動的に変化する
(81)乃至(83)のいずれかに記載の情報処理装置。
(88) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、Supplemental Enhancement information messageに格納される
(87)に記載の情報処理装置。
(89) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、timed metadataに格納される
(87)または(88)に記載の情報処理装置。
(90) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、Sample Group Entyに格納される
(87)乃至(89)のいずれかに記載の情報処理装置。
(91) 前記オフセットに関する情報は、前記オフセットに関する情報が前記ストリーム中において動的に変化するかを示す情報を含む
(87)乃至(90)のいずれかに記載の情報処理装置。
(92) 前記プロジェクション拡張のタイプは、偏心球面マッピングである
(81)乃至(91)のいずれかに記載の情報処理装置。
(93) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを生成する
情報処理方法。
【0600】
(101) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記ファイルに含まれる前記オフセットに関する情報に基づいて、前記画像符号化データより得られた前記投影平面画像の立体構造へのレンダリングを行う画像処理部と
を備える情報処理装置。
(102) 前記オフセットに関する情報は、前記オフセットの方向に関する情報および前記オフセットの大きさに関する情報を含み、
前記画像処理部は、前記オフセットの方向に関する情報および前記オフセットの大きさに関する情報に基づいて、前記レンダリングを行う
(101)に記載の情報処理装置。
(103) 前記オフセットの方向に関する情報は、前記オフセットの方向の方位角に関する情報および前記オフセットの方向の仰角に関する情報を含む
(102)に記載の情報処理装置。
(104) 前記オフセットに関する情報は、前記画像符号化データのストリーム中において固定である
(101)乃至(103)のいずれかに記載の情報処理装置。
(105) 前記ファイルは、前記オフセットに関する情報を前記画像符号化データのストリーム毎の情報として含む
(104)に記載の情報処理装置。
(106) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、前記ISOBMFFファイルのProjected Omnidirectional Video Box内のProjection Enhancement Boxに格納される、前記オフセットの方向の方位角を示すoffset_azimuth、前記オフセットの方向の仰角を示すoffset_elevation、および、前記オフセットの大きさを示すoffset_valueを含む
(105)に記載の情報処理装置。
(107) 前記オフセットに関する情報は、前記画像符号化データのストリーム中において動的に変化する
(101)乃至(103)のいずれかに記載の情報処理装置。
(108) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、Supplemental Enhancement information messageに格納される
(107)に記載の情報処理装置。
(109) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、timed metadataに格納される
(107)または(108)に記載の情報処理装置。
(110) 前記ファイルは、ISOBMFF(International Organization for Standardization Base Media File Format)ファイルであり、
前記オフセットに関する情報は、Sample Group Entyに格納される
(107)乃至(109)のいずれかに記載の情報処理装置。
(111) 前記オフセットに関する情報は、前記オフセットに関する情報が前記ストリーム中において動的に変化するかを示す情報を含む
(107)乃至(110)のいずれかに記載の情報処理装置。
(112) 前記プロジェクション拡張のタイプは、偏心球面マッピングである
(101)乃至(111)のいずれかに記載の情報処理装置。
(113) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、画像の前記立体構造への投影のオフセットに関する情報と、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データとを含むファイルを取得し、
取得された前記ファイルに含まれる前記オフセットに関する情報に基づいて、前記画像符号化データより得られた前記投影平面画像の立体構造へのレンダリングを行う
情報処理方法。
【0601】
(121) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
(122) 前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含む
(121)に記載の情報処理装置。
(123) 前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含む
(121)または(122)に記載の情報処理装置。
(124) 前記プロジェクション拡張のタイプは、EAC(Equi-Angular Cubemap)を含む
(123)に記載の情報処理装置。
(125) 前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
(123)または(124)に記載の情報処理装置。
(126) 前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含む
(121)乃至(125)のいずれかに記載の情報処理装置。
(127) 前記投影方法は、ERP(Equirectanglar projection)を含む
(121)乃至(126)のいずれかに記載の情報処理装置。
(128) 前記投影方法は、CMP(Cubemap projection)を含む
(121)乃至(127)のいずれかに記載の情報処理装置。
(129) 前記ファイル生成部は、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む前記制御ファイルを生成する
(121)乃至(128)のいずれかに記載の情報処理装置。
(130) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記プロジェクション拡張に関する情報は、前記MPDファイルに定義されるProjection enhancement descriptorの、適用された前記プロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeを含む
(129)に記載の情報処理装置。
(131) 前記プロジェクション拡張に関する情報は、さらに、前記MPDファイルに定義されるProjection format descriptorの、前記プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含む
(130)に記載の情報処理装置。
(132) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。
【0602】
(141) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
(142) 前記プロジェクション拡張に関する情報は、プロジェクション拡張が適用されているかを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張が適用されているかを示す情報に基づいてプロジェクション拡張が適用されているかの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
(141)に記載の情報処理装置。
(143) 前記プロジェクション拡張に関する情報は、適用されるプロジェクション拡張のタイプを示す情報を含み、
前記画像処理部は、前記プロジェクション拡張のタイプを示す情報に基づいて適用されるプロジェクション拡張のタイプの識別を行い、前記識別の結果に基づいて前記ストリームを選択するように構成される
(141)または(142)に記載の情報処理装置。
(144) 前記プロジェクション拡張のタイプは、EAC(Equi-Angular Cubemap)を含む
(143)に記載の情報処理装置。
(145) 前記プロジェクション拡張のタイプは、偏心球面マッピングを含む
(143)または(144)に記載の情報処理装置。
(146) 前記プロジェクション拡張に関する情報は、前記立体構造へのレンダリングに必要な情報を含み、
前記画像処理部は、前記立体構造へのレンダリングに必要な情報を用いて、選択したストリームから得られる画像の前記立体構造へのレンダリングを行う
(141)乃至(145)のいずれかに記載の情報処理装置。
(147) 前記投影方法は、ERP(Equirectanglar projection)を含む
(141)乃至(146)のいずれかに記載の情報処理装置。
(148) 前記投影方法は、CMP(Cubemap projection)を含む
(141)乃至(147)のいずれかに記載の情報処理装置。
(149) 前記制御ファイルは、前記プロジェクション拡張に関する情報を前記画像符号化データのストリーム毎の情報として含む
(141)乃至(148)のいずれかに記載の情報処理装置。
(150) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記プロジェクション拡張に関する情報は、前記MPDファイルに定義されるProjection enhancement descriptorの、適用された前記プロジェクション拡張のタイプを示す属性値であるomaf:@enhancement_typeを含む
(149)に記載の情報処理装置。
(151) 前記プロジェクション拡張に関する情報は、さらに、前記MPDファイルに定義されるProjection format descriptorの、前記プロジェクション拡張の適用の有無を示す属性値であるomaf:@projection_typeを含む
(150)に記載の情報処理装置。
(152) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に関する情報を含む、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記プロジェクション拡張に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。
【0603】
(161) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成するファイル生成部
を備える情報処理装置。
(162) 前記画質に関する情報は、Quality rankingに関する情報を含む
(161)に記載の情報処理装置。
(163) 前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
(162)に記載の情報処理装置。
(164) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記Quality rankingに関する情報は、spherical region-wise quality ranking descriptorを含む
(163)に記載の情報処理装置。
(165) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記Quality rankingに関する情報は、2D region-wise quality ranking descriptorを含む
(163)または(164)に記載の情報処理装置。
(166) 前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含む
(163)乃至(165)のいずれかに記載の情報処理装置。
(167) 前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
(166)に記載の情報処理装置。
(168) 前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
(166)または(167)に記載の情報処理装置。
(169) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
(166)乃至(168)のいずれかに記載の情報処理装置。
(170) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
(166)乃至(169)のいずれかに記載の情報処理装置。
(171) 前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
(162)に記載の情報処理装置。
(172) 前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
(171)に記載の情報処理装置。
(173) 前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む(162)に記載の情報処理装置。
(174) 前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含む
(161)乃至(173)のいずれかに記載の情報処理装置。
(175) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるQuality emphasized viewport info descriptorの、前記高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含む
(174)に記載の情報処理装置。
(176) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるRecommended viewport information descriptorの、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含む
(174)または(175)に記載の情報処理装置。
(177) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際の、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値の前記@associationTypeを含む
(174)乃至(176)のいずれかに記載の情報処理装置。
(178) 前記プロジェクション拡張のタイプは、偏心球面マッピングである
(161)乃至(177)のいずれかに記載の情報処理装置。
(179) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを生成する
情報処理方法。
【0604】
(181) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得するファイル取得部と、
前記ファイル取得部により取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う画像処理部と
を備える情報処理装置。
(182) 前記画質に関する情報は、Quality rankingに関する情報を含み、
前記画像処理部は、前記Quality rankingに関する情報に基づいて前記ストリームの選択を行う
(181)に記載の情報処理装置。
(183) 前記Quality rankingに関する情報は、入れ子構造の領域毎のQuality rankingに関する情報を含む
(182)に記載の情報処理装置。
(184) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記Quality rankingに関する情報は、spherical region-wise quality ranking descriptorを含む
(183)に記載の情報処理装置。
(185) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記Quality rankingに関する情報は、2D region-wise quality ranking descriptorを含む
(183)または(184)に記載の情報処理装置。
(186) 前記Quality rankingに関する情報は、前記領域の重なりに関する情報を含む
(183)乃至(185)のいずれかに記載の情報処理装置。
(187) 前記領域の重なりに関する情報は、画像全体について前記領域の重なりの有無を示す情報を含む
(186)に記載の情報処理装置。
(188) 前記領域の重なりに関する情報は、前記情報に対応する領域について他の領域との重なりの有無を示す情報を含む
(186)または(187)に記載の情報処理装置。
(189) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域の数を示す情報を含む
(186)乃至(188)のいずれかに記載の情報処理装置。
(190) 前記領域の重なりに関する情報は、前記情報に対応する領域に重なる他の領域を示す情報を含む
(186)乃至(189)のいずれかに記載の情報処理装置。
(191) 前記Quality rankingに関する情報は、最高画質および最低画質のQuality rankingのみに関する情報を含む
(182)に記載の情報処理装置。
(192) 前記Quality rankingに関する情報は、さらに、前記最高画質および前記最低画質のQuality rankingのみに関する情報が含まれるかを示す情報を含む
(191)に記載の情報処理装置。
(193) 前記Quality rankingに関する情報は、
最高画質のQuality rankingのみに関する情報と、
対応する領域のQuality rankingが未定義であることを示す値のQuality rankingと
を含む(182)に記載の情報処理装置。
(194) 前記画質に関する情報は、他の領域よりも高画質な高画質化領域に関する情報を含み、
前記画像処理部は、前記高画質領域に関する情報に基づいて前記ストリームの選択を行う
(181)乃至(193)のいずれかに記載の情報処理装置。
(195) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるQuality emphasized viewport info descriptorの、前記高画質化領域の属性を示す属性値であるomaf:@viewport_typeを含む
(194)に記載の情報処理装置。
(196) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、前記MPDファイルに定義されるRecommended viewport information descriptorの、前記高画質化領域と推奨する属性に対応する領域とが一致するかを示す属性値であるomaf:@quality_emphasized_region_matching_flagを含む
(194)または(195)に記載の情報処理装置。
(197) 前記制御ファイルは、MPD(Media Presentation Description)ファイルであり、
前記高画質化領域に関する情報は、recommended viewport timed metadataのRepresentationが全天球映像のRepresentationと@associationIdおよび@associationTypeで紐づけられる際の、timed metadataでシグナルされるrecommended viewportと全天球映像の高画質化領域とが一致することを示す所定の値の前記@associationTypeを含む
(194)乃至(196)のいずれかに記載の情報処理装置。
(198) 前記プロジェクション拡張のタイプは、偏心球面マッピングである
(181)乃至(196)のいずれかに記載の情報処理装置。
(199) 立体構造に投影された画像である立体構造画像を単数の平面にマッピングする投影方法の拡張方法であるプロジェクション拡張に対応する、前記プロジェクション拡張を適用した投影方法により前記立体構造画像が前記平面にマッピングされた投影平面画像の画質に関する情報を含む、前記投影平面画像が符号化された画像符号化データの配信制御に用いられる制御ファイルを取得し、
取得された前記制御ファイルに含まれる前記投影平面画像の画質に関する情報に基づいて、前記画像符号化データのストリームの選択を行う
情報処理方法。
【符号の説明】
【0605】
100 ファイル生成装置, 101 制御部, 102 メモリ, 103 ファイル生成部, 111 データ入力部, 112 データ符号化・生成部, 113 MPDファイル生成部, 114 記録部, 115 アップロード部, 121 前処理部, 122 エンコード部, 123 セグメントファイル生成部, 200 クライアント装置, 201 制御部, 202 メモリ, 203 再生処理部, 211 計測部, 212 MPDファイル取得部, 213 MPDファイル処理部, 214 セグメントファイル取得部, 215 表示制御部, 216 データ解析・復号部, 217 表示部, 221 セグメントファイル処理部, 222 デコード部, 223 表示情報生成部, 900 コンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
【図50】
【図51】
【図52】
【図53】
【図54】
【図55】
【図56】
【図57】
【図58】
【図59】
【図60】
【図61】
【図62】
【図63】
【図64】
【図65】
【図66】
【図67】
【図68】
【図69】
【図70】
【図71】
【図72】
【図73】
【図74】
【図75】
【図76】
【図77】
【図78】