(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO2013105401
(43)【国際公開日】20130718
【発行日】20150511
(54)【発明の名称】送信装置、送信方法、受信装置および受信方法
(51)【国際特許分類】
   H04N 13/00 20060101AFI20150414BHJP
   H04N 19/00 20140101ALI20150414BHJP
【FI】
   !H04N13/00
   !H04N7/13 Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】45
【出願番号】2013553227
(21)【国際出願番号】JP2012082710
(22)【国際出願日】20121217
(31)【優先権主張番号】2012005688
(32)【優先日】20120113
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
【住所又は居所】東京都港区港南1丁目7番1号
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】塚越 郁夫
【住所又は居所】東京都港区港南1丁目7番1号 ソニー株式会社内
【テーマコード(参考)】
5C061
5C159
【Fターム(参考)】
5C061AB08
5C061AB10
5C061AB12
5C159LB05
5C159MA00
5C159MA16
5C159PP12
5C159PP13
5C159RB10
5C159RC34
5C159SS02
5C159UA01
5C159UA04
(57)【要約】
受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を良好に行う。
画像データのピクチャ毎に取得された視差情報をビデオストリームに挿入して送信する。受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ(フレーム)精度で良好に行うことができる。コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報を挿入する。この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。
【特許請求の範囲】
【請求項1】
立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部とを備える
送信装置。
【請求項2】
上記視差情報挿入部は、
上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはGOP単位で挿入する
請求項1に記載の送信装置。
【請求項3】
上記視差情報取得部は、
上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報を取得する
請求項1に記載の送信装置。
【請求項4】
上記視差情報取得部は、
上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
請求項3に記載の送信装置。
【請求項5】
上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
請求項3に記載の送信装置。
【請求項6】
上記画像データ送信部は、
表示位置に対応した上記視差情報を持つ字幕データが符号化されて得られた字幕ストリームを上記コンテナに含めて送信する
請求項1に記載の送信装置。
【請求項7】
上記コンテナは、トランスポートストリームであり、
上記識別情報挿入部は、
上記識別情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
請求項1に記載の送信装置。
【請求項8】
上記識別情報挿入部は、
上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記識別情報を記述する
請求項7に記載の送信装置。
【請求項9】
立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得するステップと、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入するステップと、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップと、
上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入するステップとを備える
送信方法。
【請求項10】
立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備え、
上記視差情報取得部は、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
送信装置。
【請求項11】
上記視差情報挿入部は、
上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはGOP単位で挿入する
請求項10に記載の送信装置。
【請求項12】
上記視差情報取得部は、
上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
請求項10に記載の送信装置。
【請求項13】
立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得ステップと、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得ステップと、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入ステップと、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップとを備え、
上記視差情報取得ステップでは、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
上記視差情報挿入ステップで上記ビデオストリームに挿入されるピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなる
送信方法。
【請求項14】
ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得部と、
画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
受信装置。
【請求項15】
上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報が挿入されており、
上記コンテナから上記識別情報を取得する識別情報取得部をさらに備え、
上記情報取得部は、
上記取得された識別情報が上記視差情報の挿入があることを示すとき、上記コンテナに含まれるビデオストリームから上記視差情報を取得する
請求項14に記載の受信装置。
【請求項16】
上記取得された識別情報が上記視差情報の挿入がないことを示すとき、上記画像データ処理部は、装置内で算出された視差情報を用いる
請求項15に記載の受信装置。
【請求項17】
上記画像データ処理部は、
上記グラフィクスの表示と共に字幕の表示が行われるとき、上記グラフィクスが上記字幕よりも手前に表示されるように上記グラフィクスに視差を付与する
請求項14に記載の受信装置。
【請求項18】
上記画像データ処理部は、
上記グラフィクスの表示位置に対応した所定数の分割領域の視差情報から選択された視差情報を使用して、該グラフィクスに視差を付与する
請求項14に記載の受信装置。
【請求項19】
上記情報取得部で取得された上記画像データの各ピクチャの分割領域毎の視差情報を、上記グラフィクスの画像への重畳に応じて更新する視差情報更新部と、
上記更新された視差情報を上記画像データ処理部で得られた画像データが送信される外部機器に送信する視差情報送信部とをさらに備える
請求項14に記載の受信装置。
【請求項20】
ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得ステップと、
画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生ステップと、
上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
受信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、立体画像へのグラフィクスの重畳表示を良好に行い得るようにするための送信装置等に関する。
【背景技術】
【0002】
例えば、特許文献1には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、立体画像を構成する左眼画像データおよび右眼画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【0003】
図35は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト(物体)の左右像の表示位置と、その立体像の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Laが右側に右像Raが左側にずれて表示されているオブジェクトAに関しては、左右の視線がスクリーン面より手前で交差するため、その立体像の再生位置はスクリーン面より手前となる。
【0004】
また、例えば、スクリーン上に図示のように左像Lbおよび右像Rbが同一位置に表示されているオブジェクトBに関しては、左右の視線がスクリーン面で交差するため、その立体像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Lcが左側に右像Rcが右側にずれて表示されているオブジェクトCに関しては、左右の視線がスクリーン面より奥で交差するため、その立体像の再生位置はスクリーン面より奥となる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−6114号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したように、立体画像表示において、視聴者は、両眼視差を利用して、立体画像の遠近感を認知する。テレビ受信機などにおいて画像に重畳表示されるグラフィクスに関しても、2次元空間的のみならず、3次元の奥行き感としても、立体画像表示と連動してレンダリングされることが期待される。OSD(On-Screen Display)あるいはアプリケーションなどのグラフィクスを画像に重畳表示する場合、画像内の各物体の遠近感に応じて視差調整を施し、遠近感の整合性を維持することが期待される。
【0007】
本技術の目的は、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を良好に行い得るようにすることにある。
【課題を解決するための手段】
【0008】
本技術の概念は、
立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部とを備える
送信装置にある。
【0009】
本技術において、画像データ取得部により、立体画像を構成する左眼画像データおよび右眼画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
【0010】
視差情報取得部により、画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が取得される。この場合の視差情報は、例えば、左眼画像データおよび右眼画像データに基づいて生成されたもの、あるいは記憶媒体から読み出されて得られたものなどである。
【0011】
視差情報挿入部により、取得された画像データが符号化されて得られたビデオストリームに、取得された視差情報が挿入される。例えば、視差情報は、ビデオストリームに、ピクチャ単位、あるいはGOP(Group of Picture)単位で挿入される。さらには、その他の単位、例えばシーン単位で挿入されてもよい。
【0012】
画像データ送信部により、視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
【0013】
識別情報挿入部により、コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報をプログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入する、ようにされてもよい。例えば、識別情報挿入部は、プログラム・マップ・テーブル、あるいはイベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、識別情報を記述する、ようにされる。
【0014】
このように本技術においては、画像データのピクチャ毎に取得された視差情報がビデオストリームに挿入されて送信されるものであり、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ(フレーム)精度で良好に行うことができる。また、本技術においては、コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入されるものであり、この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。
【0015】
なお、本技術において、例えば、視差情報取得部は、ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報を取得する、ようにされてもよい。この場合、例えば、視差情報取得部は、ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、ピクチャ毎に、各分割領域の視差情報を取得する、ようにされる。
【0016】
また、この場合、例えば、視差情報挿入部がビデオストリームに挿入するピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する、ものとされる。この場合、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
【0017】
また、本技術において、例えば、画像データ送信部は、表示位置に対応した視差情報を持つ字幕データが符号化されて得られた字幕ストリームをコンテナに含めて送信する、ようにされてもよい。この場合、受信側において、字幕に関しては、字幕データが持つ視差情報に基づいて奥行き制御が行われる。例えば、ビデオストリームへの上述した視差情報の挿入がない場合、字幕データが存在する場合には、この字幕データが持つ視差情報を、グラフィクスの奥行き制御に利用することも可能である。
【0018】
また、本技術の他の概念は、
立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備え、
上記視差情報取得部は、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
送信装置にある。
【0019】
本技術において、画像データ取得部により、立体画像を構成する左眼画像データおよび右眼画像データが取得される。この場合の画像データは、例えば、カメラで撮像されて得られたもの、あるいは記憶媒体から読み出されて得られたものなどである。
【0020】
視差情報取得部により、画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報が取得される。この場合の視差情報は、例えば、左眼画像データおよび右眼画像データに基づいて生成されたもの、あるいは記憶媒体から読み出されて得られたものなどである。
【0021】
この視差情報取得部では、ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報が取得される。この場合、例えば、視差情報取得部は、ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、ピクチャ毎に、各分割領域の視差情報を取得する、ようにされる。
【0022】
視差情報挿入部により、取得された画像データが符号化されて得られたビデオストリームに、取得された視差情報が挿入される。このように、視差情報挿入部がビデオストリームに挿入するピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものとされる。
【0023】
画像データ送信部により、視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
【0024】
このように本技術においては、画像データのピクチャ毎に取得された視差情報がビデオストリームに挿入されて送信されるものであり、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ(フレーム)精度で良好に行うことができる。また、本技術において、ビデオストリームに挿入するピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有するものであり、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
【0025】
なお、本技術において、例えば、画像データ送信部は、表示位置に対応した視差情報を持つ字幕データが符号化されて得られた字幕ストリームをコンテナに含めて送信する、ようにされてもよい。この場合、受信側において、字幕に関しては、字幕データが持つ視差情報に基づいて奥行き制御が行われる。例えば、ビデオストリームへの上述した視差情報の挿入がない場合、字幕データが存在する場合には、この字幕データが持つ視差情報を、グラフィクスの奥行き制御に利用することも可能である。
【0026】
また、本技術のさらに他の概念は、
ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得部と、
画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
受信装置にある。
【0027】
本技術において、画像データ受信部により、ビデオストリームを含む所定フォーマットのコンテナが受信される。このビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものである。また、このビデオストリームには、画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されている。
【0028】
情報取得部により、コンテナに含まれるビデオストリームから、左眼画像データおよび右眼画像データが取得されると共に、この画像データの各ピクチャの分割領域毎の視差情報が取得される。また、グラフィクスデータ発生部により、画像上にグラフィクスを表示するためのグラフィクスデータが発生される。このグラフィクスは、例えば、OSDあるいはアプリケーションなどのグラフィクス、あるいは、サービス内容を示すEPG情報である。
【0029】
画像データ処理部により、取得された画像データおよび視差情報と、発生されたグラフィクスデータとが用いられて、グラフィクスが重畳された左眼画像および右眼画像のデータが得られる。この場合、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差が付与されることで、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータが得られる。例えば、画像データ処理部では、グラフィクスの表示位置に対応した所定数の分割領域の視差情報から選択された視差情報、例えば最小値などの最適な視差情報が使用されて、このグラフィクスへの視差付与が行われる。
【0030】
このように本技術においては、送信側から送られてくるビデオストリームに挿入されている視差情報に基づいて、立体画像に重畳表示されるグラフィクスの奥行き制御が行われる。この場合、ビデオストリームには画像データのピクチャ毎に取得された視差情報が挿入されており、グラフィクスの奥行き制御をピクチャ(フレーム)精度で良好に行うことができる。また、この場合、ビデオストリームに挿入されているピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものであり、グラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
【0031】
なお、本技術において、例えば、コンテナのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入されており、コンテナから識別情報を取得する識別情報取得部をさらに備え、情報取得部は、取得された識別情報が視差情報の挿入があることを示すとき、コンテナに含まれるビデオストリームから視差情報を取得する、ようにされてもよい。例えば、取得された識別情報が視差情報の挿入がないことを示すとき、画像データ処理部は、予め算出された視差情報を用いる、ようにされる。この場合、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。
【0032】
また、本技術において、例えば、画像データ処理部は、グラフィクスの表示と共に字幕の表示が行われるとき、グラフィクスが字幕よりも手前に表示されるようにグラフィクスに視差を付与する、ようにされてもよい。この場合、グラフィクス表示が字幕表示に遮られることなく良好に行われる。
【0033】
また、本技術において、例えば、情報取得部で取得された画像データの各ピクチャの分割領域毎の視差情報を、グラフィクスの画像への重畳に応じて更新する視差情報更新部と、この更新された視差情報を画像データ処理部で得られた画像データが送信される外部機器に送信する視差情報送信部とをさらに備える、ようにされてもよい。
【発明の効果】
【0034】
本技術によれば、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を良好に行うことができる。
【図面の簡単な説明】
【0035】
【図1】実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図2】ブロック(Block)毎の視差情報(視差ベクトル)の一例を示す図である。
【図3】ブロック単位の視差情報の生成方法の一例を説明するための図である。
【図4】ブロック毎の視差情報から所定の分割領域の視差情報を得るためのダウンサイジング処理の一例を説明するための図である。
【図5】符号化ブロック境界を跨がないようにピクチャ表示画面が分割されることを説明するための図である。
【図6】ピクチャ毎の各分割領域の視差情報の推移例を模式的に示す図である。
【図7】画像データのピクチャ毎に取得された視差情報のビデオストリームへの挿入タイミングを説明するための図である。
【図8】放送局においてトランスポートストリームを生成する送信データ生成部の構成例を示すブロック図である。
【図9】トランスポートストリームの構成例を示す図である。
【図10】AVC・ビデオ・デスクリプタ(AVC video descriptor)の構造例(Syntax)および主要な規定内容(semantics)を示す図である。
【図11】MVC・エクステンション・デスクリプタ(MVC extension descriptor)の構造例(Syntax)および主要な規定内容(semantics)を示す図である。
【図12】グラフィクス・デプス・インフォ・デスクリプタ(graphics_depth_info_descriptor)の構造例(Syntax)および主要な規定内容(semantics)を示す図である。
【図13】符号化方式がAVCである場合におけるGOPの先頭のアクセスユニットおよびGOPの先頭以外のアクセスユニットの一例を示している。
【図14】「depth_information_for_graphics SEI message」の構造例(Syntax)および「depth_information_for_graphics_data()」の構造例(Syntax)を示す図である。
【図15】ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示す図である。
【図16】「depth_information_for_graphics()」の構造例(Syntax)における主要な情報の内容(Semantics)を示す図である。
【図17】ピクチャ表示画面の分割例を示す図である。
【図18】ピクチャ毎の視差情報を複数のピクチャをまとめて符号化する場合における、「depth_information_for_graphics()」の構造例(Syntax)を示す図である。
【図19】「depth_information_for_graphics()」の構造例(Syntax)における主要な情報の内容(Semantics)を示す図である。
【図20】「user_data()」の構造例(Syntax)および「depth_information_for_graphics_data()」の構造例(Syntax)を示す図である。
【図21】視差情報によるグラフィクスの奥行き制御の概念を示す図である。
【図22】ビデオストリームにピクチャ単位で視差情報が挿入されている場合に画像データのピクチャタイミングで順次視差情報が取得されることを示す図である。
【図23】ビデオストリームにGOP単位で視差情報が挿入されている場合に画像データのGOPの先頭タイミングで、GOP内の各ピクチャの視差情報がまとめて取得されることを示す図である。
【図24】画像上における字幕(サブタイトル)およびOSDグラフィクスの表示例を示す図である。
【図25】テレビ受信機のデコード部の構成例を示すブロック図である。
【図26】奥行き制御部の制御を説明するためのブロック図である。
【図27】奥行き制御部の制御処理の手順の一例を示すフローチャート(1/2)である。
【図28】奥行き制御部の制御処理の手順の一例を示すフローチャート(2/2)である。
【図29】テレビ受信機におけるグラフィクスの奥行き制御例を示す図である。
【図30】テレビ受信機におけるグラフィクスの他の奥行き制御例を示す図である。
【図31】画像送受信システムの他の構成例を示すブロック図である。
【図32】セットトップボックスの構成例を示すブロック図である。
【図33】テレビ受信機のHDMIによる系の構成例を示すブロック図である。
【図34】テレビ受信機におけるグラフィクスの奥行き制御例を示す図である。
【図35】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を示す図である。
【発明を実施するための形態】
【0036】
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
【0037】
<1.実施の形態>
[画像送受信システム]
図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、放送局100およびテレビ受信機200により構成されている。
【0038】
「放送局の説明」
放送局100は、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。このトランスポートストリームTSには、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたビデオストリームが含まれる。例えば、左眼画像データおよび右眼画像データは、1つのビデオストリームにより伝送される。この場合、例えば、左眼画像データおよび右眼画像データは、インターリーブ処理され、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして構成され、1つのビデオストリームに含まれる。
【0039】
また、例えば、左眼画像データおよび右眼画像データは、それぞれ、別個のビデオストリームにより伝送される。この場合、例えば、左眼画像データMVCのベースビュー(base view)のストリームに含まれ、右眼画像データはMVCのノンベースビュー(Nonbase view)のストリームに含まれる。
【0040】
ビデオストリームには、画像データのピクチャ毎に取得された、左眼画像および右眼画像の一方に対する他方の視差情報(Disparity data)が挿入される。ピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域(Partition)の視差情報とからなっている。オブジェクトの再生位置がスクリーンより手前にある場合、この視差情報はマイナス値で得られる(図35のDPa参照)。一方、オブジェクトの再生位置がスクリーンより奥にある場合、この視差情報はプラス値で得られる(図35のDPc参照)。
【0041】
各分割領域の視差情報は、ブロック(Block)毎の視差情報に対して、ダウンサイジング処理を施すことで、取得される。図2は、ブロック(Block)毎の視差情報(視差ベクトル)の一例を示している。
【0042】
図3は、ブロック単位の視差情報の生成方法の一例を示している。この例は、左眼ビュー(Left-View)から右眼ビュー(Right-View)を指し示す視差情報を求める例である。この場合、左眼ビューのピクチャに、例えば4*4、8*8あるいは16*16などの画素ブロック(視差検出ブロック)が設定される。
【0043】
図示のように、左眼ビューのピクチャが検出画像とされ、右眼ビューのピクチャが参照画像とされて、左眼ビューのピクチャのブロック毎に、画素間の差分絶対値和が最小となるように、右眼ビューのピクチャのブロック探索がされて、視差データが求められる。
【0044】
すなわち、N番目のブロックの視差情報DPnは、例えば、以下の(1)式に示すように、このN番目のブロックにおける差分絶対値和が最小となるようにブロック探索されて求められる。なお、この(1)式において、Djは右眼ビューのピクチャにおける画素値、Diは左眼ビューのピクチャにおける画素値を示している。
DPn = min ( Σ abs( differ (Dj - Di))) ・・・(1)
【0045】
図4は、ダウンサイジング処理の一例を示している。図4(a)は、上述したように求められたブロック毎の視差情報を示している。このブロック毎の視差情報に基づいて、図4(b)に示すように、グループ(Group Of Block)毎の視差情報が求められる。グループは、ブロックの上位層に当たり、複数個の近接するブロックをまとめてグループ化することで得られる。図4(b)の例では、各グループは、破線枠で括られる4個のブロックにより構成されている。そして、各グループの視差ベクトルは、例えば、そのグループ内の全ブロックの視差情報から最小の値の視差情報が選択されることで得られる。
【0046】
次に、このグループ毎の視差ベクトルに基づいて、図4(c)に示すように、パーティション(Partition)毎の視差情報が求められる。パーティションは、グループの上位層に当たり、複数個の近接するグループをまとめてグループ化することで得られる。図4(c)の例では、各パーティションは、破線枠で括られる2個のグループにより構成されている。そして、各パーティションの視差情報は、例えば、そのパーティション内の全グループの視差情報から、最小の値の視差情報が選択されることで得られる。
【0047】
次に、このパーティション毎の視差情報に基づいて、図4(d)に示すように、最上位層に位置するピクチャ全体(画像全体)の視差情報が求められる。図4(d)の例では、ピクチャ全体には、破線枠で括られる4個のパーティションが含まれている。そして、ピクチャ全体の視差情報は、例えば、ピクチャ全体に含まれる全パーティションの視差情報から、最小の値の視差情報が選択されることで得られる。
【0048】
ピクチャ表示画面は、分割情報に基づいて分割され、上述したように各分割領域の視差情報が取得される。この場合、符号化ブロック境界を跨がないようにピクチャ表示画面が分割される。図5は、ピクチャ表示画面の分割詳細例を示している。この例は、1920*1080のピクセルフォーマットの例であって、水平、垂直にそれぞれ2分割され、Partition A,Partition B,Partition C,Partition Dの4つの分割領域が得られる例である。送信側では、16×16のブロック毎に符号化が行われるために、ブランクデータからなる8ラインが付加されて、1920画素*1088ラインの画像データとして符号化が行われる。そこで、垂直方向に関しては、1088ラインを元に2分割されている。
【0049】
上述したように、ビデオストリームには、画像データのピクチャ(フレーム)毎に取得された、各分割領域(Partition)の視差情報が挿入される。図6は、各分割領域の視差情報の推移例を模式的に示している。この例は、水平、垂直にそれぞれ4分割され、Partition 0 〜 Partition 15 までの16個の分割領域が存在する例である。この例では、図面の簡単化のため、Partition 0,Partition 3,Partition 9,Partition 15の視差情報D0,D3,D9,D15の推移のみを示している。各視差情報の値は、時間と共に値が変化する場合(D0,D3,D9)と固定である場合(D15)とがある。
【0050】
画像データのピクチャ毎に取得された視差情報は、ビデオストリームに、ピクチャ単位、あるいはGOP単位などの単位で挿入される。図7(a)は、ピクチャの符号化に同期させる例、つまりビデオストリームに視差情報をピクチャ単位で挿入する例を示している。この例においては、画像データを送信する際の遅延が少なくて済み、カメラで撮像した画像データを送信するライブ放送に適するものとなる。
【0051】
図7(b)は、符号化ビデオのIピクチャ(Intra picture)、またはGOP(Group Of Pictures)に同期させる例、つまりビデオストリームに視差情報をGOP単位で挿入する例を示している。この例においては、図7(a)の例に比べて、画像データを送信する際の遅延が大きくなるが、複数のピクチャ(フレーム)の視差情報がまとめて送信されるので、受信側における視差情報の取得処理の回数を低減できる。図7(c)は、ビデオのシーンに同期させる例、つまりビデオストリームに視差情報をシーン単位で挿入する例を示している。なお、図7(a)〜(c)は一例であって、その他の単位で挿入することも考えられる。
【0052】
また、トランスポートストリームTSのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。この識別情報は、例えば、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)の配下、あるいはイベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に挿入される。この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別可能となる。この識別情報の詳細については後述する。
【0053】
「送信データ生成部の構成例」
図8は、放送局100において、上述したトランスポートストリームTSを生成する送信データ生成部110の構成例を示している。この送信データ生成部110は、画像データ出力部111L,111Rと、スケーラ112L,112Rと、ビデオエンコーダ113と、マルチプレクサ114と、視差データ生成部115を有している。また、この送信データ生成部110は、サブタイトルデータ出力部116と、サブタイトルエンコーダ117と、音声データ出力部118と、オーディオエンコーダ119を有している。
【0054】
画像データ出力部111L,111Rは、それぞれ、立体画像を構成する左眼画像データVL、右眼画像データVRを出力する。画像データ出力部111L,111Rは、例えば、被写体を撮像して画像データを出力するカメラ、あるいは記憶媒体から画像データを読み出して出力する画像データ読み出し部などにより構成される。画像データVL,VRは、例えば、1920*1080のフルHDのサイズの画像データである。
【0055】
スケーラ112L,112Rは、それぞれ、画像データVL,VRに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、画像データVL,VRを1つのビデオストリームで伝送するために、サイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データを構成する場合には、水平方向あるいは垂直方向に1/2にスケールダウンして出力する。また、例えば、画像データVL,VRを、MVCのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで伝送する場合には、スケーリング処理を行うことなく、画像データVL,VRをそのまま出力する。
【0056】
ビデオエンコーダ113は、スケーラ112L,112Rから出力される左眼画像データ、右眼画像データに対して、例えば、MPEG4−AVC(MVC)、MPEG2video、あるいはHEVCなどの符号化を施して、符号化ビデオデータを得る。また、このビデオエンコーダ113は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化データを含むビデオストリームを生成する。この場合、ビデオエンコーダ113は、左眼画像データ、右眼画像データの符号化ビデオデータを含む1つあるいは2つのビデオストリーム(ビデオエレメンタリストリーム)を生成する。
【0057】
視差データ生成部115は、画像データ出力部111L,111Rから出力される左眼画像データVL、右眼画像データVRに基づいて、ピクチャ(フレーム)毎に、視差情報を生成する。視差データ生成部115は、ピクチャ毎に、上述したようにブロック(Block)毎の視差情報を取得する。なお、視差データ生成部115は、画像データ出力部111L,111Rが記憶媒体を有する画像データ読み出し部である場合、ブロック(Block)毎の視差情報を、画像データと共に記憶媒体から読み出して取得する構成も考えられる。また、視差データ生成部115は、例えばユーザ操作により与えられるピクチャ表示画面の分割情報に基づき、ブロック(Block)毎の視差情報に対してダウンサイジング処理を行って、各分割領域(Partition)の視差情報を生成する。
【0058】
ビデオエンコーダ113は、視差データ生成部115で生成されたピクチャ毎の視差情報を、ビデオストリームに挿入する。ここで、ピクチャ毎の視差情報は、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなっている。この場合、例えば、ピクチャ毎の視差情報は、ビデオストリームに、ピクチャ単位、あるいはGOP単位で挿入される(図7参照)。なお、左眼画像データおよび右眼画像データがそれぞれ別個のビデオデータで伝送されるには、いずれかのビデオストリームにのみ挿入されてもよい。
【0059】
サブタイトルデータ出力部116は、画像に重畳するサブタイトル(字幕)のデータを出力する。このサブタイトルデータ出力部116は、例えば、パーソナルコンピュータなどにより構成される。サブタイトルエンコーダ117は、サブタイトルデータ出力部116から出力されたサブタイトルデータを含むサブタイトルストリーム(サブタイトルエレメンタリストリーム)を生成する。なお、サブタイトルエンコーダ117は、視差データ生成部115で生成されるブロック毎の視差情報を参照し、サブタイトルデータに、サブタイトルの表示位置に対応した視差情報を付加する。すなわち、サブタイトルストリームに含まれるサブタイトルデータは、サブタイトルの表示位置に対応した視差情報を持つものとなる。
【0060】
音声データ出力部118は、画像データに対応した音声データを出力する。この音声データ出力部118は、例えば、マイクロホン、あるいは記憶媒体から音声データを読み出して出力する音声データ読み出し部などにより構成される。オーディオエンコーダ119は、音声データ出力部118から出力される音声データに対して、MPEG−2Audio、AAC等の符号化を施し、オーディオストリーム(オーディオエレメンタリストリーム)を生成する。
【0061】
マルチプレクサ114は、ビデオエンコーダ113、サブタイトルエンコーダ117およびオーディオエンコーダ119で生成された各エレメンタリストリームをPESパケット化して多重し、トランスポートストリームTSを生成する。この場合、それぞれのPES(Packetized Elementary Stream)パケットのヘッダには、受信側における同期再生のために、PTS(Presentation Time Stamp)が挿入される。
【0062】
マルチプレクサ114は、トランスポートストリームTSのレイヤに、上述した識別情報を挿入する。この識別情報は、ビデオストリームに視差情報の挿入があるか否かを識別するための情報である。この識別情報は、例えば、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)の配下、あるいはイベント・インフォメーション・テーブル(EIT:Event Information Table)の配下などに挿入される。
【0063】
図8に示す送信データ生成部110の動作を簡単に説明する。画像データ出力部111L,111Rから出力される立体画像を構成する左眼画像データVL、右眼画像データVRは、それぞれ、スケーラ112L,112Rに供給される。スケーラ112L,112Rでは、それぞれ、画像データVL,VRに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。スケーラ112L,112Rから出力される左眼画像データ、右眼画像データは、ビデオエンコーダ113に供給される。
【0064】
ビデオエンコーダ113では、左眼画像データ、右眼画像データに対して、例えば、MPEG4−AVC(MVC)、MPEG2video、あるいはHEVCなどの符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ113では、後段に備えるストリームフォーマッタにより、この符号化データを含むビデオストリームが生成される。この場合、左眼画像データ、右眼画像データの符号化ビデオデータを含む1つあるいは2つのビデオストリームが生成される。
【0065】
また、画像データ出力部111L,111Rから出力される立体画像を構成する左眼画像データVL、右眼画像データVRは、視差データ生成部115に供給される。この視差データ生成部115では、左眼画像データVL、右眼画像データVRに基づいて、ピクチャ(フレーム)毎に、視差情報が生成される。視差データ生成部115では、ピクチャ毎に、ブロック(Block)毎の視差情報が取得される。そして、この視差データ生成部115では、さらに、例えばユーザ操作により与えられるピクチャ表示画面の分割情報に基づき、ブロック(Block)毎の視差情報に対してダウンサイジング処理が行われて、各分割領域(Partition)の視差情報が生成される。
【0066】
視差データ生成部115で生成されるピクチャ毎の視差情報(ピクチャ表示画面の分割情報を含む)は、ビデオエンコーダ113に供給される。ビデオエンコーダ113では、ビデオストリームに、ピクチャ毎の視差情報が挿入される。この場合、ピクチャ毎の視差情報は、ビデオストリームに、ピクチャ単位、あるいはGOP単位で挿入される。
【0067】
また、サブタイトルデータ出力部116では、画像に重畳するサブタイトル(字幕)のデータが出力される。このサブタイトルデータは、サブタイトルエンコーダ117に供給される。サブタイトルエンコーダ117では、サブタイトルデータを含むサブタイトルストリームが生成される。この場合、サブタイトルエンコーダ117では、視差データ生成部115で生成されるブロック毎の視差情報が参照され、サブタイトルデータに、表示位置に対応した視差情報が付加される。
【0068】
また、音声データ出力部118では、画像データに対応した音声データが出力される。この音声データは、オーディオエンコーダ119に供給される。このオーディオエンコーダ119では、音声データに対して、MPEG−2Audio、AAC等の符号化が施され、オーディオストリームが生成される。
【0069】
ビデオエンコーダ113で得られるビデオストリーム、サブタイトルエンコーダ117で得られるサブタイトルストリームおよびオーディオエンコーダ119で得られるオーディオストリームは、それぞれ、マルチプレクサ114に供給される。マルチプレクサ114では、各エンコーダから供給されるエレメンタリストリームがPESパケット化されて多重され、トランスポートストリームTSが生成される。この場合、それぞれのPESヘッダには、受信側における同期再生のために、PTSが挿入される。また、マルチプレクサ114では、PMTの配下、あるいはEITの配下などに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。
【0070】
[識別情報、視差情報の構造、TS構成]
図9は、トランスポートストリームTSの構成例を示している。この構成例では、左眼画像データおよび右眼画像データがそれぞれ別個のビデオストリームで伝送される例を示している。すなわち、左眼画像データが符号化されているビデオストリームのPESパケット「video PES1」および右眼画像データが符号化されているビデオストリームのPESパケット「video PES2」が含まれている。また、この構成例では、サブタイトルデータ(視差情報を含む)が符号化されているサブタイトルストリームのPESパケット「video PES3」および音声データが符号化されているオーディオストリームのPESパケット「video PES4」が含まれている。
【0071】
ビデオストリームのユーザデータ領域には、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス(depth_information_for_graphics())が挿入されている。例えば、ピクチャ毎の視差情報がピクチャ単位で挿入される場合、このデプス・インフォメーション・フォー・グラフィクスは、ビデオストリームの各ピクチャのユーザデータ領域に挿入される。また、例えば、ピクチャ毎の視差情報がGOP単位で挿入される場合、このデプス・インフォメーション・フォー・グラフィクスは、ビデオストリームのGOPの先頭のピクチャのユーザデータ領域に挿入される。なお、この構成例では、2つのビデオストリームの双方にデプス・インフォメーション・フォー・グラフィクスが挿入されるように示しているが、一方のビデオストリームのみに挿入されてもよい。
【0072】
トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームTSに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームTSには、イベント単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。
【0073】
PMTの配下に、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。このエレメンタリ・ループには、ストリーム毎に、パケット識別子(PID)などの情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。
【0074】
上述したビデオストリームに視差情報が挿入されているか否かを示す識別情報は、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入されるデスクリプタ(descriptor)に記述される。このデスクリプタは、例えば、既存のAVC・ビデオ・デスクリプタ(AVC video descriptor)あるいはMVC・エクステンション・デスクリプタ(MVC_extension_descriptor)、または、新規に定義されるグラフィクス・デプス・インフォ・デスクリプタ(graphics_depth_info_descriptor)である。なお、グラフィクス・デプス・インフォ・デスクリプタに関しては、破線図示するように、EITの配下に挿入することも考えられる。
【0075】
図10(a)は、識別情報が記述されたAVC・ビデオ・デスクリプタ(AVC video descriptor)の構造例(Syntax)を示している。このデスクリプタは、ビデオがMPEG4−AVC Frame compatible フォーマットの場合に適用できる。このデスクリプタ自体は、既にH.264/AVCの規格に入っている。ここでは、このデスクリプタに、「graphics_depth_info_not_existed_flag」の1ビットのフラグ情報が、新たに、定義される。
【0076】
このフラグ情報は、図10(b)の規定内容(semantics)に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス(depth_information_for_graphics())が挿入されているか否かを示す。このフラグ情報が“0”であるときは挿入されていることを示す。一方、このフラグ情報が“1”であるときは挿入されていないことを示す。
【0077】
図11(a)は、識別情報が記述されたMVC・エクステンション・デスクリプタ(MVC extension descriptor)の構造例(Syntax)を示している。このデスクリプタは、ビデオがMPEG4−AVCAnnex H MVC フォーマットの場合に適用できる。このデスクリプタ自体は、既にH.264/AVCの規格に入っている。ここでは、このデスクリプタに、「graphics_depth_info_not_existed_flag」の1ビットのフラグ情報が、新たに、定義される。
【0078】
このフラグ情報は、図11(b)の規定内容(semantics)に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス(depth_information_for_graphics())が挿入されているか否かを示す。このフラグ情報が“0”であるときは挿入されていることを示す。一方、このフラグ情報が“1”であるときは挿入されていないことを示す。
【0079】
図12(a)は、グラフィクス・デプス・インフォ・デスクリプタ(graphics_depth_info_descriptor)の構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、このデスクリプタが「graphics_depth_info_descriptor」であることを示す。「descriptor_length」の8ビットフィールドは、以降のデータバイト数を示す。そして、このデスクリプタに、「graphics_depth_info_not_existed_flag」の1ビットのフラグ情報が記述されている。
【0080】
このフラグ情報は、図12(b)の規定内容(semantics)に示すように、対応するビデオストリームに、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス(depth_information_for_graphics())が挿入されているか否かを示す。このフラグ情報が“0”であるときは挿入されていることを示す。一方、このフラグ情報が“1”であるときは挿入されていないことを示す。
【0081】
次に、ピクチャ毎の視差情報を含むデプス・インフォメーション・フォー・グラフィクス(depth_information_for_graphics())を、ビデオストリームのユーザデータ領域に挿入する場合について説明する。
【0082】
例えば、符号化方式がAVCである場合、「depth_information_for_graphics()」は、アクセスユニットの“SELs”の部分に、「depth_information_for_graphics SEI message」として、挿入される。図13(a)は、GOP(Group Of Pictures)の先頭のアクセスユニットを示しており、図13(b)は、GOPの先頭以外のアクセスユニットを示している。ピクチャ毎の視差情報がGOP単位で挿入される場合には、GOPの先頭のアクセスユニットにのみ「depth_information_for_graphics SEI message」が挿入される。
【0083】
図14(a)は、「depth_information_for_graphics SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「depth_information_for_graphics_data()」が挿入される。図14(b)は、「depth_information_for_graphics_data()」の構造例(Syntax)を示している。この中に、デプス・インフォメーション・フォー・グラフィクス(depth_information_for_graphics())が挿入される。「userdata_id」は、符号なし16ビットで示される「depth_information_for_graphics()」の識別子である。
【0084】
図15は、ピクチャ毎の視差情報をピクチャ単位で挿入する場合における「depth_information_for_graphics()」の構造例(Syntax)を示している。また、図16は、図15に示す構造例における主要な情報の内容(Semantics)を示している。
【0085】
「partition_type」の3ビットフィールドは、ピクチャ表示画面の分割タイプを示す。“000”は分割なしを示し、“001”は水平、垂直を各々2等分することを示し、“010”は水平、垂直を各々3等分することを示し、“011”は水平、垂直を各々4等分することを示す。
【0086】
「partition_count」の4ビットフィールドは、分割領域(Partition)の総数を示し、上述の「partition_type」に依存した値となる。例えば、「partition_type=000」であるとき、図17(a)に示すように分割領域(Partition)の総数は「1」である。また、例えば、「partition_type=001」であるとき、図17(b)に示すように分割領域(Partition)の総数は「4」である。また、例えば、「partition_type=011」であるとき、図17(c)に示すように分割領域(Partition)の総数は「16」である。
【0087】
「disparity_in_partition」の8ビットフィールドは、各分割領域(Partition)の代表視差情報(代表disparity値)を示す。該当領域の視差情報の最小値である場合が多い。
【0088】
図18は、ピクチャ毎の視差情報をGOP単位で挿入する場合のように、複数のピクチャをまとめて符号化する場合における、「depth_information_for_graphics()」の構造例(Syntax)を示している。また、図19は、図18に示す構造例における主要な情報の内容(Semantics)を示している。
【0089】
「picture_count」の6ビットフィールドは、ピクチャ数を示す。この「depth_information_for_graphics()」には、ピクチャ数分の各分割領域(Partition)の「disparity_in_partition」が含まれる。詳細説明は省略するが、図18の構造例のその他は、図15に示す構造例と同様である。
【0090】
また、例えば、符号化方式がMPEG2 videoである場合、「depth_information_for_graphics()」は、ピクチャヘッダ部のユーザデータ領域に、ユーザデータ「user_data()」として挿入される。図20(a)は、「user_data()」の構造例(Syntax)を示している。「user_data_start_code」の32ビットフィールドは、ユーザデータ(user_data)の開始コードであり、“0x000001B2”の固定値とされる。
【0091】
この開始コードに続く32ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「depth_information_for_graphics_data_identifier」とされ、ユーザデータが、「depth_information_for_graphics_data」であることを識別可能とする。この識別子の後のデータ本体として、「depth_information_for_graphics_data()」が挿入される。図20(b)は、「depth_information_for_graphics_data()」の構造例(Syntax)を示している。この中に、「depth_information_for_graphics()」が挿入される(図15、図18参照)。
【0092】
なお、符号化方式がAVCあるいはMPEG2videoである場合におけるビデオストリームへの視差情報の挿入例について説明した。詳細説明は省略するが、その他の同様の構造の符号化方式、例えばHEVCなどにあっても、ビデオストリームへの視差情報の挿入を同様の構造で行うことができる。
【0093】
「テレビ受信機の説明」
テレビ受信機200は、放送局100から放送波に載せて送られてくるトランスポートストリームTSを受信する。また、テレビ受信機200は、このトランスポートストリームTSに含まれるビデオストリームをデコードして、立体画像を構成する左眼画像データおよび右眼画像データを生成する。また、テレビ受信機200は、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報を抽出する。
【0094】
テレビ受信機200は、画像にグラフィクスを重畳表示する際には、画像データおよび視差情報と、グラフィクスデータとを用いて、グラフィクスが重畳された左眼画像および右眼画像のデータを得る。この場合、テレビ受信機200は、左眼画像および右眼画像に重畳されるグラフィクスに、ピクチャ毎に、このグラフィクスの表示位置に対応した視差を付与し、グラフィクスが重畳された左眼画像のデータおよびグラフィクスが重畳された右眼画像のデータを得る。
【0095】
上述のようにグラフィクスに視差を付与することで、立体画像に重畳表示されるグラフィクスを、その表示位置における立体画像のオブジェクトよりも手前に表示させることができる。これにより、OSDあるいはアプリケーションあるいは番組情報のEPGなどのグラフィクスを画像に重畳表示する場合に、画像内の各オブジェクトに対する遠近感の整合性を維持できる。
【0096】
図21は、視差情報によるグラフィクスの奥行き制御の概念を示している。視差情報がマイナス値である場合、スクリーン上において左眼表示用のグラフィクスが右側に、右眼表示用のグラフィクスが左側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも手前となる。また、視差情報がプラス値である場合、スクリーン上において左眼表示用のグラフィクスが左側に、右眼表示用のグラフィクスが右側にずれるように視差が付与される。この場合、グラフィクスの表示位置はスクリーンよりも奥となる。
【0097】
上述したように、ビデオストリームには、画像データのピクチャ毎に取得された視差情報が挿入されている。そのため、テレビ受信機200は、視差情報によるグラフィクスの奥行き制御を、グラフィクスの表示タイミングに合った視差情報を用いて精度よく行うことができる。
【0098】
図22は、ビデオストリームにピクチャ単位で視差情報が挿入されている場合の例であって、テレビ受信機200では、画像データのピクチャタイミングで順次視差情報が取得される。グラフィクスの表示に当たっては、グラフィクスの表示タイミングに合った視差情報が使用され、グラフィクスに適切な視差が付与される。また、図23は、例えば、ビデオストリームにGOP単位で視差情報が挿入されている場合の例であって、テレビ受信機200では、画像データのGOPの先頭タイミングで、GOP内の各ピクチャの視差情報(視差情報セット)がまとめて取得される。グラフィクスの表示に当たっては、グラフィクスの表示タイミングに合った視差情報が使用され、グラフィクスに適切な視差が付与される。
【0099】
図24(a)の「Side View」は、画像上における字幕(サブタイトル)およびOSDグラフィクスの表示例を示している。この表示例では、背景、中景オブジェクトおよび近景オブジェクトとからなる画像上に、字幕およびグラフィクスが重畳された例である。図24(b)の「Top View」は、背景、中景オブジェクト、近景オブジェクト、字幕およびグラフィクスの遠近感を示している。字幕およびグラフィクスは、表示位置に対応するオブジェクトよりも手前にあるように認識されることを示している。なお、図示していないが、字幕とグラフィクスの表示位置が重なる場合には、例えば、グラフィクスが字幕よりも手前に認識されるように、グラフィクスに適切な視差が付与される。
【0100】
「テレビ受信機のデコード部の構成例」
図25は、テレビ受信機200の構成例を示している。テレビ受信機200は、コンテナバッファ211と、デマルチプレクサ212と、コーデッドバッファ213と、ビデオデコーダ214と、デコーデッドバッファ215と、スケーラ216と、重畳部217を有している。
【0101】
また、テレビ受信機200は、視差情報バッファ218と、テレビ(TV)グラフィクス発生部219と、奥行き制御部220と、グラフィクスバッファ221を有している。また、テレビ受信機200は、コーデッドバッファ231と、サブタイトルデコーダ232と、ピクセルバッファ233と、サブタイトル視差情報バッファ234と、サブタイトル表示制御部235を有している。さらに、テレビ受信機200は、コーデッドバッファ241と、オーディオデコーダ242と、オーディオバッファ243と、チャネルミキシング部244を有している。
【0102】
コンテナバッファ211は、デジタルチューナ等で受信されたトランスポートストリームTSを一時的に記憶する。このトランスポートストリームTSには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとして、左眼画像データおよび右眼画像データが符号化されて得られた1つあるいは2つのビデオストリームが含まれている。
【0103】
例えば、左眼画像データおよび右眼画像データによりサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データが構成されて1つのビデオストリームで送られてくることがある。また、例えば、左眼画像データおよび右眼画像データが、MVCのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくることがある。
【0104】
デマルチプレクサ212は、コンテナバッファ211に一時的に蓄積されたトランスポートストリームTSから、ビデオ、サブタイトルおよびオーディオの各ストリームを抽出する。また、デマルチプレクサ212は、このトランスポートストリームTSから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報(「graphics_depth_info_not_existed_flag」のフラグ情報)を抽出し、図示しない制御部(CPU)に送る。ビデオデコーダ214は、制御部(CPU)の制御のもと、識別情報が視差情報の挿入を示すとき、後述するように、ビデオストリームから視差情報を取得する。
【0105】
コーデッドバッファ213は、デマルチプレクサ212で抽出されるビデオストリームを一時的に記憶する。ビデオデコーダ214は、コーデッドバッファ213に記憶されているビデオストリームにデコード処理を行って、左眼画像データおよび右眼画像データを取得する。また、ビデオデコーダ214は、ビデオストリームに挿入されている画像データのピクチャ毎の視差情報を取得する。各ピクチャの視差情報には、ピクチャ表示画面の分割情報と、各分割領域(Partition)の視差情報(disparity)が含まれている。デコーデッドバッファ215は、ビデオデコーダ214で取得された左眼画像データおよび右眼画像データを一時的に記憶する。また、視差情報バッファ218は、ビデオデコーダ214で取得された画像データのピクチャ毎の視差情報を一時的に記憶する。
【0106】
スケーラ216は、デコーデッドバッファ215から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理を行う。例えば、左眼画像データおよび右眼画像データがサイド・バイ・サイド方式あるいはトップ・アンド・ボトム方式の画像データとして1つのビデオストリームで送られてくる場合には、水平方向あるいは垂直方向に1/2にスケールアップして出力する。また、例えば、左眼画像データおよび右眼画像データがMVCのベースビューストリーム、ノンベースビューストリームのように、それぞれ、別個のビデオストリームで送られてくる場合には、スケーリング処理を行うことなく、左眼画像データおよび右眼画像データをそのまま出力する。
【0107】
コーデッドバッファ231は、デマルチプレクサ214で抽出されるサブタイトルストリームを一時的に記憶する。サブタイトルデコーダ232は、上述の送信データ生成部110のサブタイトルエンコーダ117(図8参照)とは逆の処理を行う。すなわち、サブタイトルデコーダ232は、コーデッドバッファ231に記憶されているサブタイトルストリームのデコード処理を行って、サブタイトルデータを得る。
【0108】
このサブタイトルデータには、サブタイトル(字幕)のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2)」と、サブタイトル(字幕)の視差情報「Subtitle disparity」が含まれている。ピクセルバッファ233は、サブタイトルデコーダ232で得られるサブタイトル(字幕)のビットマップデータおよびサブタイトル(字幕)の表示位置情報「Subtitle rendering position (x2,y2)」を一時的に記憶する。サブタイトル視差情報バッファ234は、サブタイトルデコーダ232で得られるサブタイトル(字幕)の視差情報「Subtitle disparity」を一時的に記憶する。
【0109】
サブタイトル表示制御部235は、サブタイトル(字幕)のビットマップデータと、このサブタイトル(字幕)の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を生成する。テレビグラフィクス発生部219は、OSDあるいはアプリケーションなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1)」が含まれている。
【0110】
グラフィクスバッファ221は、テレビグラフィクス発生部219で発生されたグラフィクスビットマップデータ「Graphics data」を一時的に記憶する。重畳部217は、左眼画像データおよび右眼画像データに、それぞれ、サブタイトル表示制御部235で生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」を重畳する。
【0111】
また、重畳部217は、左眼画像データおよび右眼画像データに、それぞれ、グラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」を重畳する。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、後述する奥行き制御部220により、視差が付与される。ここで、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitledata」と同一画素を共有する場合、重畳部217は、サブタイトルデータの上にグラフィクスデータを上書きする。
【0112】
奥行き制御部220は、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」に視差を付与する。そのため、奥行き制御部220は、画像データのピクチャ毎に、左眼表示用および右眼表示用のグラフィクスの表示位置情報「Rendering position」を生成し、グラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」の左眼画像データおよび右眼画像データへの重畳位置のシフト制御を行う。
【0113】
奥行き制御部220は、図26に示すように、以下の情報を用いて、表示位置情報「Rendering position」を生成する。すなわち、奥行き制御部220は、視差情報バッファ218に記憶されている画像データのピクチャ毎の各分割領域(Partition)の視差情報(Disparity)を用いる。また、奥行き制御部220は、ピクセルバッファ233に記憶されているサブタイトル(字幕)の表示位置情報「Subtitle rendering position (x2,y2)」を用いる。
【0114】
また、奥行き制御部220は、サブタイトル視差情報バッファ234に記憶されているサブタイトル(字幕)の視差情報「Subtitle disparity」を用いる。また、奥行き制御部220は、テレビグラフィクス発生部219で発生されるグラフィクスの表示位置情報「Graphics rendering position (x1,y1)」を用いる。また、奥行き制御部220は、ビデオストリームに視差情報が挿入されているか否かを示す識別情報を用いる。
【0115】
図27、図28のフローチャートは、奥行き制御部220の制御処理の手順の一例を示している。奥行き制御部220は、この制御処理を、グラフィクス表示を行う各ピクチャ(フレーム)で実行する。奥行き制御部220は、ステップST1において、制御処理を開始する。その後に、ステップST2において、識別情報に基づいて、ビデオストリームにグラフィクス向けの視差情報の挿入があるか否かを判断する。
【0116】
ビデオストリームに視差情報の挿入があるとき、奥行き制御部220は、ステップST3の処理に移る。このステップST3において、グラフィクスを重畳表示(overlay)する座標が含まれる分割領域(partition)を全て検査する。そして、奥行き制御部220は、ステップST4において、対象となる分割領域(partition)の視差情報(disparity)を比較し、最適な値、例えば最小値を選択して、グラフィクス視差情報(disparity)の値(graphics_disparity)とする。
【0117】
次に、奥行き制御部220は、ステップST5の処理に移る。上述のステップST2でビデオストリームに視差情報の挿入がないとき、奥行き制御部220は、直ちに、ステップST5の処理に移る。このステップST5において、奥行き制御部220は、視差情報(disparity)を持ったサブタイトルストリーム(Subtitle stream)があるか否かを判断する。
【0118】
視差情報(disparity)を持ったサブタイトルストリーム(Subtitle stream)があるとき、奥行き制御部220は、ステップST6において、サブタイトル用の視差情報(disparity)の値(subtitle_disparity)と、グラフィクス用の視差情報の値(graphics_disparity)とを比較する。なお、グラフィクス用の視差情報の値(graphics_disparity)は、ビデオストリームにグラフィクス用の視差情報(disparity)の挿入がないときは、例えば、「0」とされる。
【0119】
次に、奥行き制御部220は、ステップST7において、「subtitle_disparity>(graphics_disparity)の条件を満足するか否かを判断する。この条件を満足するとき、奥行き制御部220は、ステップST8において、グラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、グラフィクス用の視差情報(disparity)の値(graphics_disparity)と同等の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部220は、ステップST8の処理の後、ステップST9において、制御処理を終了する。
【0120】
一方、ステップST7で条件を満足しないとき、奥行き制御部220は、ステップST10において、グラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、サブタイトル用の視差情報(disparity)よりも小さい値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部220は、ステップST10の処理の後、ステップST9において、制御処理を終了する。
【0121】
また、ステップST5で視差情報(disparity)を持ったサブタイトルストリーム(Subtitle stream)がないとき、奥行き制御部220は、ステップST11において、グラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」に対して、テレビ受信機200で算出される視差情報(disparity)の値を用いて、表示位置がシフトされた左眼表示用および右眼表示用のグラフィクスビットマップデータを得て、それぞれ、左眼画像データおよび右眼画像データに重畳する。奥行き制御部220は、ステップST11の処理の後、ステップST9において、制御処理を終了する。
【0122】
コーデッドバッファ241は、デマルチプレクサ212で抽出されるオーディオストリームを一時的に記憶する。オーディオデコーダ242は、上述の送信データ生成部110のオーディオエンコーダ119(図8参照)とは逆の処理を行う。すなわち、オーディオデコーダ242は、コーデッドバッファ241に記憶されているオーディオストリームの復号化処理を行って、復号化された音声データを得る。オーディオバッファ243は、オーディオデコーダ242で得られる音声データを一時的に記憶する。チャネルミキシング部244は、オーディオバッファ243に記憶されている音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データを生成して出力する。
【0123】
なお、デコーデッドバッファ215、視差情報バッファ218、ピクセルバッファ233、サブタイトル視差情報バッファ234およびオーディオバッファ243からの情報(データ)の読み出しは、PTSに基づいて行われ、転送同期が取られる。
【0124】
図25に示すテレビ受信200の動作を簡単に説明する。デジタルチューナ等で受信されたトランスポートストリームTSは、コンテナバッファ211に一時的に記憶される。このトランスポートストリームTSには、ビデオストリーム、サブタイトルストリームおよびオーディオストリームが含まれている。ビデオストリームとしては、左眼画像データおよび右眼画像データが符号化されて得られた1つあるいは2つのビデオストリームが含まれている。
【0125】
デマルチプレクサ212では、コンテナバッファ211に一時的に記憶されたトランスポートストリームTSから、ビデオ、サブタイトルおよびオーディオの各ストリームが抽出される。また、デマルチプレクサ212では、このトランスポートストリームTSから、ビデオストリームに視差情報が挿入されているか否かを示す識別情報(「graphics_depth_info_not_existed_flag」のフラグ情報)が抽出され、図示しない制御部(CPU)に送られる。
【0126】
デマルチプレクサ212で抽出されるビデオストリームはコーデッドバッファ213に供給されて一時的に記憶される。そして、ビデオデコーダ214では、コーデッドバッファ213に記憶されているビデオストリームのデコード処理が行われて、左眼画像データおよび右眼画像データが取得される。この左眼画像データおよび右眼画像データは、デコーデッドバッファ215に一時的に記憶される。また、ビデオデコーダ214では、ビデオストリームに挿入されている、画像データのピクチャ毎の視差情報が取得される。この視差情報は、視差情報バッファ218に一時的に記憶される。
【0127】
スケーラ216では、デコーデッドバッファ215から出力される左眼画像データおよび右眼画像データに対して、必要に応じて、水平方向や垂直方向のスケーリング処理が行われる。このスケーラ216からは、例えば、1920*1080のフルHDのサイズの左眼画像データおよび右眼画像データが得られる。この左眼画像データおよび右眼画像データは、重畳部217に供給される。
【0128】
また、デマルチプレクサ212で抽出されるサブタイトルストリームは、コーデッドバッファ231に供給されて一時的に記憶される。サブタイトルデコーダ232では、コーデッドバッファ231に記憶されているサブタイトルストリームのデコード処理が行われて、サブタイトルデータが得られる。このサブタイトルデータには、サブタイトル(字幕)のビットマップデータと、このサブタイトルの表示位置情報「Subtitle rendering position (x2,y2)」と、サブタイトル(字幕)の視差情報「Subtitle disparity」が含まれている。
【0129】
サブタイトルデコーダ232で得られるサブタイトル(字幕)のビットマップデータおよびサブタイトル(字幕)の表示位置情報「Subtitle rendering position (x2,y2)」は、ピクセルバッファ233に一時的に記憶される。また、サブタイトルデコーダ232で得られるサブタイトル(字幕)の視差情報「Subtitle disparity」はサブタイトル視差情報バッファ234に一時的に記憶される。
【0130】
サブタイトル表示制御部235では、サブタイトル(字幕)のビットマップデータと、このサブタイトル(字幕)の表示位置情報および視差情報に基づいて、視差が付与された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」が生成される。このように生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」は、重畳部217に供給され、それぞれ、左眼画像データおよび右眼画像データに重畳される。
【0131】
テレビ(TV))グラフィクス発生部219では、OSDあるいはアプリケーション、あるいはEPGなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphicsrendering position (x1,y1)」が含まれている。グラフィクスバッファ221には、テレビグラフィクス発生部219で発生されたグラフィクスデータが一時的に記憶される。
【0132】
重畳部217では、左眼画像データおよび右眼画像データにグラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部220により、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。この場合、グラフィクスビットマップデータ「Graphics data」がサブタイトルのビットマップデータ「Subtitledata」と同一画素を共有する場合、重畳部217では、サブタイトルデータの上にグラフィクスデータが上書きされる。
【0133】
重畳部217からは、左眼表示用のサブタイトル(字幕)およびグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル(字幕)およびグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる
【0134】
デマルチプレクサ212で抽出されるオーディオストリームは、コーデッドバッファ241に供給されて一時的に記憶される。オーディオデコーダ242では、コーデッドバッファ241に記憶されているオーディオスストリームのデコード処理が行われて、復号化された音声データが得られる。この音声データはオーディオバッファ243を介してチャネルミキシング部244に供給される。チャネルミキシング部244では、音声データに対して、例えば5.1chサラウンド等を実現するための各チャネルの音声データが生成される。この音声データは例えばスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
【0135】
図29は、テレビ受信機200におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクスは、右側の8つの分割領域(Partition 2,3,6,7,10,11,14,15)の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、グラフィクスは、これら8つの分割領域の画像(ビデオ)オブジェクトより手前に表示される。
【0136】
図30も、テレビ受信機200におけるグラフィクスの奥行き制御例を示している。この例において、グラフィクスは、右側の8つの分割領域(Partition 2,3,6,7,10,11,14,15)の視差情報のうち最小の値の視差情報、さらにはサブタイトル(字幕)の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、グラフィクスは、これら8つの分割領域の画像(ビデオ)オブジェクトより手前で、さらに、サブタイトル(字幕)よりも手前に表示される。なお、この場合、サブタイトル(字幕)も、サブタイトル(字幕)の視差情報に基づいて、サブタイトルの表示位置に対応した4つの分割領域(Partition 8,9,10,11)の画像(ビデオ)オブジェクトより手前に表示される。
【0137】
以上説明したように、図1に示す画像送受信システム10においては、画像データのピクチャ毎に取得された視差情報がビデオストリームに挿入されて送信される。そのため、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御をピクチャ(フレーム)精度で良好に行うことができる。
【0138】
また、図1に示す画像送受信システム10においては、トランスポートストリームTSのレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報が挿入される。そのため、この識別情報により、受信側では、ビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことが可能となる。
【0139】
また、図1に示す画像送受信システム10においては、ビデオストリームに挿入されるピクチャ毎の視差情報が、ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものとされる。そのため、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことができる。
【0140】
<2.変形例>
なお、上述実施の形態においては、放送局100と受信機200からなる画像送受信システム10を示したが、本技術を適用し得る画像送受信システムの構成は、これに限定されるものではない。例えば、図31に示すように、テレビ受信機200の部分が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックス200Aおよびテレビ受信機200Bの構成などであってもよい。
【0141】
図32は、セットトップボックス200Aの構成例を示している。この図32において、図25と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。セットトップボックス(STB)グラフィクス発生部219Aは、OSDあるいはアプリケーション、あるいはEPGなどのグラフィクスデータを発生する。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphicsrendering position (x1,y1)」が含まれている。グラフィクスバッファ221には、セットトップボックスグラフィクス発生部219Aで発生されたグラフィクスデータが一時的に記憶される。
【0142】
重畳部217では、サブタイトル表示制御部235で生成された左眼表示用および右眼表示用のサブタイトルのビットマップデータ「Subtitle data」が、それぞれ、左眼画像データおよび右眼画像データに重畳される。また、この重畳部217では、左眼画像データおよび右眼画像データにグラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部220により、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。
【0143】
重畳部217からは、左眼表示用のサブタイトル(字幕)およびグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のサブタイトル(字幕)およびグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、HDMI送信部に送られる。また、チャネルミキシング部244で得られた各チャネルの音声データもHDMI送信部に送られる。
【0144】
また、視差情報バッファ218に記憶されている画像データのピクチャ毎の各分割領域(Partition)の視差情報(Disparity)は、奥行き制御部220を通じて、HDMI送信部に送られる。この場合、サブタイトル(字幕)の表示位置およびグラフィクスの表示位置に対応した分割領域(Partition)の視差情報(Disparity)は、サブタイトル(字幕)あるいはグラフィクスの視差付与に用いられた視差情報(Disparity)で更新されたものとされる。
【0145】
例えば、上述の図30の奥行き制御例の場合、まず、サブタイトルの表示位置に対応した4つの分割領域(Partition 8,9,10,11)の視差情報(Disparity)の値が、サブタイトルへの視差付与に使用された視差情報値(subtitle_disparity)で更新される。その後、8つの分割領域(Partition2,3,6,7,10,11,14,15)の視差情報(Disparity)の値が、グラフィクスへの視差付与に使用された視差情報値(graphics_disparity)で更新される。
【0146】
詳細説明は省略するが、図32に示すセットトップボックス200Aのその他は、図25に示すテレビ受信機200と同様に構成される。
【0147】
図33は、テレビ受信機200BのHDMI入力系の構成例を示している。この図33において、図25と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。HDMI受信部で受信された左眼画像データおよび右眼画像データは、スケーラ251で必要に応じてスケーリング処理された後に、重畳部217に供給される。
【0148】
また、HDMI受信部で受信された、画像データのピクチャ毎の各分割領域の視差情報(Disparity)は、奥行き制御部220に供給される。また、テレビ(TV))グラフィクス発生部219では、OSDあるいはアプリケーションなどのグラフィクスデータが発生される。このグラフィクスデータには、グラフィクスのビットマップデータ「Graphics data」と、このグラフィクスの表示位置情報「Graphicsrendering position (x1,y1)」が含まれている。グラフィクスバッファ221には、テレビグラフィクス発生部219で発生されたグラフィクスデータが一時的に記憶される。また、このグラフィクスの表示位置情報「Graphics rendering position (x1,y1)」は、奥行き制御部220に供給される。
【0149】
重畳部217では、左眼画像データおよび右眼画像データにグラフィクスバッファ221に記憶されているグラフィクスビットマップデータ「Graphics data」が重畳される。この際、左眼画像データおよび右眼画像データのそれぞれに重畳されるグラフィクスビットマップデータ「Graphics data」には、奥行き制御部220により、グラフィクスの表示位置に対応した視差情報に基づいて視差が付与される。重畳部217からは、左眼表示用のグラフィクスが重畳された左眼画像のデータが得られると共に、右眼表示用のグラフィクスが重畳された右眼画像のデータが得られる。これらの画像データは、立体画像表示のための処理部に送られ、立体画像表示が行われる
【0150】
また、HDMI受信部で受信された各チャネルの音声データは、音質や音量の調整を行うオーディオ処理部252を介してスピーカに供給され、立体画像表示に合わせた音声出力がなされる。
【0151】
図34は、テレビ受信機200Bにおけるグラフィクスの奥行き制御例を示している。この例において、TVグラフィクスに関しては、右側の4つの分割領域(Partition 10,11,14,15)の視差情報のうち最小の値の視差情報に基づいて、左眼表示用のグラフィクスおよび右眼表示用のグラフィクスに視差が付与される。その結果、TVグラフィクスは、これら4つの分割領域の画像(ビデオ)オブジェクトより手前に表示される。なお、この場合、サブタイトル(字幕)、さらにはSTBのグラフィクスは、既に画像(ビデオ)に重畳されている。
【0152】
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
【0153】
また、本技術は、以下のような構成を取ることもできる。
(1)立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部と、
上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入する識別情報挿入部とを備える
送信装置。
(2)上記視差情報挿入部は、
上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはGOP単位で挿入する
前記(1)に記載の送信装置。
(3)上記視差情報取得部は、
上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の視差情報を取得する
前記(1)または(2)に記載の送信装置。
(4)上記視差情報取得部は、
上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
前記(3)に記載の送信装置。
(5)上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
前記(3)または(4)に記載の送信装置。
(6)上記画像データ送信部は、
表示位置に対応した上記視差情報を持つ字幕データが符号化されて得られた字幕ストリームを上記コンテナに含めて送信する
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記コンテナは、トランスポートストリームであり、
上記識別情報挿入部は、
上記識別情報をプログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記識別情報挿入部は、
上記プログラム・マップ・テーブル、あるいは、イベント・インフォメーション・テーブルの配下に挿入されるデスクリプタに、上記識別情報を記述する
前記(7)に記載の送信装置。
(9)立体画像を構成する左眼画像データおよび右眼画像データを取得するステップと、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得するステップと、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入するステップと、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信するステップと、
上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報を挿入するステップとを備える
送信方法。
(10)立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得部と、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得部と、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入部と、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信部とを備え、
上記視差情報取得部は、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
上記視差情報挿入部が上記ビデオストリームに挿入するピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とを有する
送信装置。
(11)上記視差情報挿入部は、
上記視差情報を、上記ビデオストリームにピクチャ単位、あるいはGOP単位で挿入する
前記(10)に記載の送信装置。
(12)上記視差情報取得部は、
上記ピクチャ表示画面の分割情報に基づいて、符号化ブロック境界を跨がないようにピクチャ表示画面を分割し、上記ピクチャ毎に、各分割領域の視差情報を取得する
前記(10)または(11)に記載の送信装置。
(13)立体画像を構成する左眼画像データおよび右眼画像データを取得する画像データ取得ステップと、
上記取得された画像データのピクチャ毎に、左眼画像および右眼画像の一方に対する他方の視差情報を取得する視差情報取得ステップと、
上記取得された画像データが符号化されて得られたビデオストリームに、上記取得された視差情報を挿入する視差情報挿入ステップと、
上記視差情報が挿入されたビデオストリームを含む所定フォーマットのコンテナを送信する画像データ送信ステップとを備え、
上記視差情報取得ステップでは、上記ピクチャ毎に、ピクチャ表示画面の分割情報に基づいて、各分割領域の上記視差情報を取得し、
上記視差情報挿入ステップで上記ビデオストリームに挿入されるピクチャ毎の視差情報は、上記ピクチャ表示画面の分割情報と、各分割領域の視差情報とからなる
送信方法。
(14)ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信部を備え、
上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得部と、
画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生部と、
上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理部とをさらに備える
受信装置。
(15)上記コンテナのレイヤに、上記ビデオストリームに上記視差情報の挿入があるか否かを識別するための識別情報が挿入されており、
上記コンテナから上記識別情報を取得する識別情報取得部をさらに備え、
上記情報取得部は、
上記取得された識別情報が上記視差情報の挿入があることを示すとき、上記コンテナに含まれるビデオストリームから上記視差情報を取得する
前記(14)に記載の受信装置。
(16)上記取得された識別情報が上記視差情報の挿入がないことを示すとき、上記画像データ処理部は、装置内で算出された視差情報を用いる
前記(15)に記載の受信装置。
(17)上記画像データ処理部は、
上記グラフィクスの表示と共に字幕の表示が行われるとき、上記グラフィクスが上記字幕よりも手前に表示されるように上記グラフィクスに視差を付与する
前記(14)から(16)のいずれかに記載の受信装置。
(18)上記画像データ処理部は、
上記グラフィクスの表示位置に対応した所定数の分割領域の視差情報から選択された視差情報を使用して、該グラフィクスに視差を付与する
前記(14)から(17)のいずれかに記載の受信装置。
(19)上記情報取得部で取得された上記画像データの各ピクチャの分割領域毎の視差情報を、上記グラフィクスの画像への重畳に応じて更新する視差情報更新部と、
上記更新された視差情報を上記画像データ処理部で得られた画像データが送信される外部機器に送信する視差情報送信部とをさらに備える
前記(14)から(18)のいずれかに記載の受信装置。
(20)ビデオストリームを含む所定フォーマットのコンテナを受信する画像データ受信ステップを備え、
上記ビデオストリームは、立体画像を構成する左眼画像データおよび右眼画像データが符号化されて得られたものであり、
上記ビデオストリームには、上記画像データのピクチャ毎に、ピクチャ表示画面の所定数の分割領域にそれぞれ対応して取得された左眼画像および右眼画像の一方に対する他方の視差情報が挿入されており、
上記コンテナに含まれるビデオストリームから、上記左眼画像データおよび右眼画像データを取得すると共に、該画像データの各ピクチャの分割領域毎の視差情報を取得する情報取得ステップと、
画像上にグラフィクスを表示するためのグラフィクスデータを発生するグラフィクスデータ発生ステップと、
上記取得された上記画像データおよび上記視差情報と、上記発生されたグラフィクスデータを用い、左眼画像および右眼画像に重畳する上記グラフィクスに、ピクチャ毎に、該グラフィクスの表示位置に対応した視差を付与し、上記グラフィクスが重畳された左眼画像のデータおよび上記グラフィクスが重畳された右眼画像のデータを得る画像データ処理ステップとをさらに備える
受信方法。
【0154】
本技術の主な特徴は、画像データのピクチャ毎に取得された視差情報をビデオストリームに挿入して送信するものにあって、このビデオストリームを含むトランスポートストリーム(コンテナ)のレイヤに、ビデオストリームに視差情報の挿入があるか否かを識別するための識別情報を挿入するようにしたことで、受信側においてビデオストリームに視差情報の挿入があるか否かを容易に識別でき、グラフィクスの奥行き制御を的確に行うことを可能にしたことである(図6参照)。また、ビデオストリームに挿入するピクチャ毎の視差情報をピクチャ表示画面の分割情報と、各分割領域の視差情報とからなるものとすることで、受信側における立体画像に重畳表示されるグラフィクスの奥行き制御を、グラフィクスの表示位置に応じて良好に行うことを可能にしたことである(図15、図18参照)。
【符号の説明】
【0155】
10,10A・・・画像送受信システム
100A・・・放送局
111L,111R・・・画像データ出力部
112L,112・・・スケーラ
113・・・ビデオエンコーダ
114・・・マルチプレクサ
115・・・視差データ生成部
116・・・サブタイトルデータ出力部
117・・・サブタイトルエンコーダ
118・・・音声データ出力部
119・・・オーディオエンコーダ
200,200B・・・テレビ受信機
200・・・セットトップボックス
211・・・コンテナバッファ
212・・・デマルチプレクサ
213・・・コーデッドバッファ
214・・・ビデオデコーダ
215・・・デコーデッドバッファ
216・・・スケーラ
217・・・重畳部
218・・・視差情報バッファ
219・・・テレビ(TV)グラフィクス発生部
219A・・・セットトップボックス(STB)グラフィクス発生部
220・・・奥行き制御部
221・・・グラフィクスバッファ
231・・・コーデッドバッファ
232・・・サブタイトルデコーダ
233・・・ピクセルバッファ
234・・・サブタイトル視差情報バッファ
235・・・サブタイトル表示制御部
241・・・コーデッドバッファ
242・・・オーディオデコーダ
243・・・オーディオバッファ
244・・・チャネルミキシング部
251・・・スケーラ
252・・・オーディオ処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図25】
【図26】
【図27】
【図28】
【図31】
【図32】
【図33】
【図35】
【図24】
【図29】
【図30】
【図34】
【国際調査報告】