(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2018507444
(43)【公表日】20180315
(54)【発明の名称】符号化されたオーディオ信号を処理するための装置および方法
(51)【国際特許分類】
   G10L 19/008 20130101AFI20180216BHJP
   G10L 19/00 20130101ALI20180216BHJP
【FI】
   !G10L19/008 200
   !G10L19/00 400Z
【審査請求】有
【予備審査請求】有
【全頁数】52
(21)【出願番号】2017558779
(86)(22)【出願日】20160201
(85)【翻訳文提出日】20171002
(86)【国際出願番号】EP2016052037
(87)【国際公開番号】WO2016124524
(87)【国際公開日】20160811
(31)【優先権主張番号】15153486.4
(32)【優先日】20150202
(33)【優先権主張国】EP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
(71)【出願人】
【識別番号】591037214
【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
【住所又は居所】ドイツ連邦共和国 80686 ミュンヘン ハンザシュトラッセ 27ツェー
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(74)【代理人】
【識別番号】100167966
【弁理士】
【氏名又は名称】扇谷 一
(72)【発明者】
【氏名】モルタザ アドリアン
【住所又は居所】ルーマニア 200082 クラヨバ ストラダ コンスタンティン アルジュトアイア ヌマルル 8 ブロック6 スカラ1 アパルタメントゥル2
(72)【発明者】
【氏名】パウルス ヨウニ
【住所又は居所】ドイツ連邦共和国 90425 ニュルンベルグ ゼーバルドゥスシュトラーセ 8
(72)【発明者】
【氏名】フックス ハラルド
【住所又は居所】ドイツ連邦共和国 91341 レッテンバッハ アムゼルシュトラーセ 5
(72)【発明者】
【氏名】カミエリ ロベルタ
【住所又は居所】ドイツ連邦共和国 90765 フュルト エアランガー シュトラーセ 51
(72)【発明者】
【氏名】テレンチエフ レオン
【住所又は居所】ドイツ連邦共和国 91056 エアランゲン アム オイローパカナル 36 アパルトマーン 11
(72)【発明者】
【氏名】ディスヒ サッシャ
【住所又は居所】ドイツ連邦共和国 90766 フュルト ヴィルヘルムシュトラーセ 70
(72)【発明者】
【氏名】ヘレ ユールゲン
【住所又は居所】ドイツ連邦共和国 91054 エアランゲン ラートシュベルガー シュトラーセ 10アー
(72)【発明者】
【氏名】ヘルムート オリヴァー
【住所又は居所】ドイツ連邦共和国 91054 ブッケンホフ アム ルーシュタイン 29
(57)【要約】
本発明は、複数の入力オーディオ・オブジェクト(111)およびオブジェクト・パラメータ(E)と関連付けられた複数のダウンミックス信号(101)を含む符号化されたオーディオ信号(100)を処理するための装置(1)に関する。装置(1)は、ダウンミックス信号(101)を、入力オーディオ・オブジェクト(111)のセットと関連付けられたダウンミックス信号(102)グループに分類するように構成された分類器(2)を含む。装置(1)は、分類結果(103,104)を提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)について少なくとも1つの処理ステップを個々に実行するように構成されたプロセッサ(3)を含む。さらに、復号化されたオーディオ信号(110)を提供するために、前記分類結果(103,104)または処理された分類結果を結合するように構成された結合器(4)が存在する。分類器(2)は、それぞれの入力オーディオ・オブジェクト(111)が1つの入力オーディオ・オブジェクト(111)のセットしか属さないように、ダウンミックス信号(101)を分類するように構成されている。本発明は、対応する方法にも関する。
【選択図】図14
【特許請求の範囲】
【請求項1】
複数の入力オーディオ・オブジェクト(111)およびオブジェクト・パラメータ(E)と関連付けられた複数のダウンミックス信号(101)を含む符号化されたオーディオ信号(100)を処理するための装置(1)であって、
前記複数のダウンミックス信号(101)を、前記複数の入力オーディオ・オブジェクト(111)の入力オーディオ・オブジェクト(111)のセットと関連付けられた複数のダウンミックス信号(102)グループに分類するように構成された分類器(2)と、
分類結果(103,104)を提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)について少なくとも1つの処理ステップを個々に実行するように構成されたプロセッサ(3)と、
復号化されたオーディオ信号(110)を提供するために、前記分類結果(103,104)または処理された分類結果を結合するように構成された結合器(4)と、を備え、
前記分類器(2)は、前記複数の入力オーディオ・オブジェクト(111)のそれぞれの入力オーディオ・オブジェクト(111)が1つの入力オーディオ・オブジェクト(111)のセットにしか属さないように、前記複数のダウンミックス信号(101)を前記複数のダウンミックス信号(102)グループに分類するように構成されている、装置。
【請求項2】
前記分類器(2)は、入力オーディオ・オブジェクトのそれぞれのセットのそれぞれの入力オーディオ・オブジェクト(111)が、前記符号化されたオーディオ信号(100)の中で信号で伝えられた関係において、他の入力オーディオ・オブジェクト(111)と関係がない、または、前記符号化されたオーディオ信号(100)の中で信号で伝えられた関係において、同じ入力オーディオ・オブジェクト(111)セットに属している少なくとも1つの入力オーディオ・オブジェクト(111)とのみ関係を持つように、前記複数のダウンミックス信号(101)を、前記複数のダウンミックス信号(102)グループに分類するように構成されている、請求項1に記載の装置。
【請求項3】
前記分類器(2)は、ダウンミックス信号(102)のそれぞれのグループ内のダウンミックス信号(101)の数を最小化しながら、前記複数のダウンミックス信号(101)を、前記複数のダウンミックス信号グループ(102)に分類するように構成されている、請求項1または請求項2に記載の装置。
【請求項4】
前記分類器(2)は、1つのダウンミックス信号(102)グループには1つの単一のダウンミックス信号(101)しか属さないように、前記複数のダウンミックス信号(101)を前記複数のダウンミックス信号(102)グループに分類するように構成されている、請求項1ないし請求項3のいずれかに記載の装置。
【請求項5】
前記分類器(2)は、前記符号化されたオーディオ信号(100)内の情報に基づいて、前記複数のダウンミックス信号(101)を前記複数のダウンミックス信号(102)グループに分類するように構成されている、請求項1ないし請求項4のいずれかに記載の装置。
【請求項6】
前記分類器(2)は、少なくとも以下のステップ;
ダウンミックス信号(101)が既存のダウンミックス信号(102)グループに割り当てられるか否かを検出するステップと、
前記ダウンミックス信号(101)に関連付けられた複数の入力オーディオ・オブジェクト(111)の少なくとも1つの入力オーディオ・オブジェクト(111)が、既存のダウンミックス信号(102)グループと関連付けられた入力オーディオ・オブジェクト(111)のセットの一部であるか否かを検出するステップと、
前記ダウンミックス信号(101)がダウンミックス信号(102)の既存のグループへの割り当てがない場合、および前記ダウンミックス信号(101)に関連付けられた複数の入力オーディオ・オブジェクトのすべての入力オーディオ・オブジェクト(111)が、ダウンミックス信号(102)の既存のグループとの関連がない場合に、前記ダウンミックス信号(101)を新しいダウンミックス信号(102)グループに割り当てるステップと、
前記ダウンミックス信号(101)が、ダウンミックス信号(102)の既存のグループに割り当てられている場合、または、前記ダウンミックス信号(101)に関連付けられた複数の入力オーディオ・オブジェクトの少なくとも1つの入力オーディオ・オブジェクト(111)が、ダウンミックス信号(102)の既存のグループと関連付けられている場合に、前記ダウンミックス信号(101)をダウンミックス信号(102)の既存のグループに結合するステップと、
を適用して、前記複数のダウンミックス信号(101)を、前記複数のダウンミックス信号(102)グループに分類するように構成されている、請求項1ないし請求項5のいずれかに記載の装置。
【請求項7】
前記プロセッサ(3)は、分類結果として個々のマトリクスを提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)に対して、様々な処理ステップを個々に実行するように構成され、
前記結合器(4)は、前記個々のマトリクスを結合するように構成されている、請求項1ないし請求項6のいずれかに記載の装置。
【請求項8】
前記プロセッサ(3)は、個々のマトリクスを提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)に対して、少なくとも1つの処理ステップを個々に実行するように構成され、
前記装置(1)は、少なくとも1つのオーバーオール・マトリクスを提供するために、オブジェクトパラメータを一緒に処理するように構成されたポストプロセッサ(5)を含み、
前記結合器(4)は、前記個々のマトリクスと前記少なくとも1つのオーバーオール・マトリクスとを結合するように構成されている、請求項1ないし請求項7のいずれかに記載の装置。
【請求項9】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記ダウンミックス信号(102)の個々のグループに関連付けられた前記入力オーディオ・オブジェクトのセットの入力オーディオ・オブジェクトの数と、ダウンミックス信号(102)の個々のグループに属しているダウンミックス信号(101)の数との少なくとも1つにサイズが依存しているマトリクスを個々に計算するように構成された計算機(301)を含む、請求項1ないし請求項8のいずれかに記載の装置。
【請求項10】
プロセッサ(3)は、ダウンミックス信号のそれぞれのグループについて、ダウンミックス信号(102)の個々のグループ内の最大エネルギー値に基づいて、個々の閾値を計算するように構成されている、請求項1ないし請求項9のいずれかに記載の装置。
【請求項11】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々のダウンミックス化マトリクス(Dk)を決定するように構成され、
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々のグループ共分散マトリクス(Ek)を決定するように構成され、
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のダウンミックス化マトリクス(Dk)および前記個々のグループ共分散マトリクス(Ek)に基づいて、個々のグループダウンミックス共分散マトリクス(Δk)を決定するように構成され、
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々の正規化された逆グループマトリクス(Jk)を決定するように構成されている、請求項1ないし請求項10のいずれかに記載の装置。
【請求項12】
前記結合器(4)は、前記個々の正規化された逆グループマトリクス(Jk)を結合して、オーバーオールの正規化された逆グループマトリクス(J)を得るように構成されている、請求項11に記載の装置。
【請求項13】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のダウンミックス化マトリクス(Dk)と前記個々のグループ共分散マトリクス(Ek)と前記個々の正規化された逆グループマトリクス(Jk)に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を決定するように構成され、
前記結合器(4)は、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス(U)を得るように構成されている、請求項11または請求項12に記載の装置。
【請求項14】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のダウンミックス化マトリクス(Dk)と前記個々のグループ共分散マトリクス(Ek)と前記個々の正規化された逆グループマトリクス(Jk)に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を決定するように構成され、
前記結合器(4)は、前記個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス(U)を得るように構成されている、請求項13に記載の装置。
【請求項15】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々のグループレンダリング化マトリクス(Rk)を決定するように構成されている、請求項1ないし請求項14のいずれかに記載の装置。
【請求項16】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のグループレンダリング化マトリクス(Rk)と前記個々のグループ・パラメトリック非ミックス化マトリクス(Uk)に基づいて、個々のアップミックス化マトリクス(Rkk)を決定するように構成され、
前記結合器(4)は、前記アップミックス化マトリクス(Rkk)を結合して、オーバーオールのアップミックス化マトリクス(RU)を得るように構成されている、請求項15に記載の装置。
【請求項17】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のグループレンダリング化マトリクス(Rk)と前記個々のグループ共分散マトリクス(Ek)に基づいて、個々のグループ共分散マトリクス(Ck)を決定するように構成され、
前記結合器(4)は、前記個々のグループ共分散マトリクス(Ck)を結合して、オーバーオールのグループ共分散マトリクス(C)を得るように構成されている、請求項15または請求項16に記載の装置。
【請求項18】
前記プロセッサ(3)は、前記個々のグループレンダリング化マトリクス(Rk)と前記個々のグループ・パラメトリック非ミックス化マトリクス(Uk)と前記個々のダウンミックス化マトリクス(Dk)と前記個々のグループ共分散マトリクス(Ek)とに基づいて、パラメトリック的に推定された信号の個々のグループ共分散マトリクス(Eydrykを決定するように構成され、
前記結合器(4)は、前記パラメトリック的に推定された信号の個々のグループ共分散マトリクス(Eydrykを結合して、オーバーオールのパラメトリック的に推定された信号Eydryを得るように構成されている、請求項15ないし請求項17のいずれかに記載の装置。
【請求項19】
前記プロセッサ(3)は、ダウンミックス共分散マトリクス(EDMX)の特異値分解に基づいて、正規化された逆マトリクス(J)を決定するように構成されている、請求項1ないし請求項18のいずれかに記載の装置。
【請求項20】
前記プロセッサ(3)は、パラメトリック非ミックス化マトリクス(U)の決定のために、ダウンミックス信号(102)の個々のグループ(k)に割り当てられたダウンミックス信号(m,n)に対応している要素(Δ(m,n))を選択することによってサブマトリクス(Δk)を決定するように構成されている、請求項1ないし請求項19のいずれかに記載の装置。
【請求項21】
前記結合器(4)は、ダウンミックス信号(102)のそれぞれのグループについて、個々に決定されたマトリクスに基づいて、ポストミックス化マトリクス(P)を決定するように構成され、
前記結合器(4)は、復号化されたオーディオ信号(110)を得るために、前記ポストミックス化マトリクス(P)を前記複数のダウンミックス信号(101)に適用するように構成されている、請求項1ないし請求項20のいずれかに記載の装置。
【請求項22】
複数の入力オーディオ・オブジェクト(111)およびオブジェクト・パラメータ(E)に関連付けられた複数のダウンミックス信号(101)を含む符号化されたオーディオ信号(100)を処理するための方法であって、
前記方法は、
前記ダウンミックス信号(101)を、前記複数の入力オーディオ・オブジェクト(111)の入力オーディオ・オブジェクト(111)のセットに関連付けられた複数のダウンミックス信号(102)グループに分類するステップ、
分類結果(103,104)を提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)について少なくとも1つの処理ステップを個々に実行するステップ、および
復号化されたオーディオ信号(110)を提供するために、前記分類結果(103,104)を結合するステップを含み、
前記複数のダウンミックス信号(101)を前記複数のダウンミックス信号(102)グループに分類するステップは、前記複数の入力オーディオ・オブジェクト(111)のそれぞれの入力オーディオ・オブジェクト(111)が、1つの入力オーディオ・オブジェクトのセットだけに属するように、実行される、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化されたオーディオ信号を処理するための装置および方法に関する。
【背景技術】
【0002】
近年、多重オーディオのオブジェクトを含んでいるオーディオ場面のビットレートの効率的な送信/格納のためのパラメトリック技術は、オーディオ符号化(以下の非特許文献1と非特許文献8と非特許文献9と非特許文献10と非特許文献11を参照してください)および情報ソース分離(例えば以下の非特許文献2と非特許文献3と非特許文献4と非特許文献5と非特許文献6と非特許文献7を参照してください)の分野において提案されている。
【0003】
これらの技術は、オーディオ場面において、送信/格納されたオーディオ信号および/またはソースオブジェクトを説明する追加のサイド情報に基づいて、望ましい出力オーディオ場面またはオーディオソースオブジェクトを再構成することを目的とする。この再構成は、パラメトリック情報ソース分離計画を用いて、復号器の中で実行される。
【0004】
不幸なことに、場合によっては、パラメトリック分離計画が、不満足なヒアリング経験を引き起こす厳しい可聴の人工物をもたらすことが認められている。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】[BCC]C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
【非特許文献2】[ISS1]M. Parvaix and L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.
【非特許文献3】[ISS2]M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010.
【非特許文献4】[ISS3]A. Liutkus, J. Pinel, R. Badeau, L. Girin, G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011.
【非特許文献5】[ISS4]A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.
【非特許文献6】[ISS5]S. Zhang and L. Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011.
【非特許文献7】[ISS6]L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011.
【非特許文献8】[JSC]C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006.
【非特許文献9】[SAOC]ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.
【非特許文献10】[SAOC1]J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.
【非特許文献11】[SAOC2]J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.
【非特許文献12】[SAOC3D]ISO/IEC, JTC1/SC29/WG11 N14747, Text of ISO/MPEG 23008-3/DIS 3D Audio, Sapporo, July 2014.
【非特許文献13】[SAOC3D2]J. Herre, J. Hilpert, A. Kuntz, and J. Plogsties, "MPEG-H Audio - The new standard for universal spatial / 3D audio coding," 137th AES Convention, Los Angeles, 2011.
【発明の概要】
【発明が解決しようとする課題】
【0006】
従って、本発明の目的は、パラメトリック符号化技術を使って、復号化されたオーディオ信号のオーディオ品質を改善することである。
【0007】
この目的は、請求項1に従う装置によって、および、請求項22に従う対応する方法によって達成される。
【課題を解決するための手段】
【0008】
この目的は、符号化されたオーディオ信号を処理するための装置により達成される。符号化されたオーディオ信号は、複数の入力オーディオ・オブジェクトとオブジェクトパラメータ(E)とに関連付けられた複数のダウンミックス信号を含む。装置は、分類器およびプロセッサおよび結合器かを含む。
【0009】
【0010】
さらに、プロセッサ−分類に続いている−は、入力オーディオ・オブジェクトのそれぞれのセットのオブジェクトパラメータに対して、少なくとも1つの処理ステップを個々に実行するように構成される。ゆえに、少なくとも1つの処理ステップが、全てのオブジェクトパラメータに対して同時に実行されるのではなく、ダウンミックス信号の個々のグループに属するオブジェクトパラメータに対して個々に実行される。1つの実施の形態において、ちょうど1つのステップが個々に実行される。異なる実施の形態において、1つ以上のステップが実行される一方、代わりの実施の形態において、全体の処理がダウンミックス信号のグループについて個々に実行される。プロセッサは個々のグループのための分類結果を提供する。
【0011】
異なる実施の形態において、プロセッサ−分類に続いている−は、複数のダウンミックス信号のグループのそれぞれのグループについて少なくとも1つの処理ステップを個々に実行するように構成される。ゆえに、少なくとも1つの処理ステップが、全てのダウンミックス信号に対して同時に実行されるのではなく、ダウンミックス信号の個々のグループについて個々に実行される。
【0012】
結局、結合器は、復号化されたオーディオ信号を提供するために、分類結果または処理された分類結果を結合するように構成される。ゆえに、分類結果または分類結果に対して実行された別の処理ステップの結果が、復号化されたオーディオ信号を提供するように結合される。復号化されたオーディオ信号は、符号化されたオーディオ信号により符号化される複数の入力オーディオ・オブジェクトに対応する。
【0013】
分類器によって成された分類は、複数の入力オーディオ・オブジェクトのそれぞれの入力オーディオ・オブジェクトが、入力オーディオ・オブジェクトのちょうど又は正確に1つのセットに属するという圧縮の下で少なくとも成される。これは、個々の入力オーディオ・オブジェクトが、ダウンミックス信号のちょうど1つのグループに属することを暗示する。これは、個々のダウンミックス信号が、ダウンミックス信号のちょうど1つのグループに属することも暗示する。
【0014】
実施の形態によると、分類器は、入力オーディオ・オブジェクトのそれぞれのセットのそれぞれの入力オーディオ・オブジェクトが、符号化されたオーディオ信号の中で信号で伝えられた、他の入力オーディオ・オブジェクトと関係がない、または、符号化されたオーディオ信号の中で伝えられた、入力オーディオ・オブジェクトの同じセットに属する少なくとも1つの入力オーディオ・オブジェクトとのみ関係を持つように、複数のダウンミックス信号を、複数のダウンミックス信号グループに分類するように構成されている。これは、入力オーディオ・オブジェクトが、ダウンミックス信号の異なるグループに属する入力オーディオ・オブジェクトに、信号で伝えられた関係を持たないことを暗示する。そのような信号で伝えられた関係は、1つの実施の形態において、2つの入力オーディオ・オブジェクトが、1つの単一のソースから生じるステレオ信号であることである。
【0015】
本発明の装置は、ダウンミックス信号を含む符号化されたオーディオ信号を処理する。ダウンミックス化は、個々のオーディオ信号の与えられた数を符号化するプロセスの一部であり、入力オーディオ・オブジェクトの特定の数がダウンミックス化信号の中に結合されることを暗示する。従って、入力オーディオ・オブジェクトの数は、より小さいダウンミックス信号に減らされる。このため、ダウンミックス信号が、複数の入力オーディオ・オブジェクトと関連する。
【0016】
ダウンミックス信号は、ダウンミックス信号のグループに分類されて、−すなわち単一のグループとして−少なくとも1つの処理ステップに個々に従う。それゆえ、装置は、すべてのダウンミックス信号に対して一緒にではなく、ダウンミックス信号の個々のグループについて個々に、少なくとも1つの処理ステップを実行する。異なる実施の形態において、グループのオブジェクトパラメータは、符号化されたオーディオ信号に適用されるべきマトリクスを得るために分離して扱われる。
【0017】
1つの実施の形態において、装置は、符号化されたオーディオ信号の復号器である。装置は、代わりの実施の形態において、復号器の一部である。
【0018】
1つの実施の形態において、個々のダウンミックス信号はダウンミックス信号の1つのグループに帰され、その結果、少なくとも1つの処理ステップについて個々に処理される。この実施の形態において、ダウンミックス信号のグループの数は、ダウンミックス信号の数と等しい。これは、分類と個々の処理とが一致することを暗示している。
【0019】
1つの実施の形態において、結合は、符号化されたオーディオ信号の処理の最終的なステップの1つである。異なる実施の形態において、分類結果は、分類結果に対して、個々に又は一緒に実行される異なる処理ステップに更に従う。
【0020】
分類(または、グループの検出)およびグループの個々の取り扱いは、オーディオ品質改良をもたらすことを示す。これは、特に、例えばパラメトリック符号化技術のために維持する。
【0021】
実施の形態によると、装置の分類器は、ダウンミックス信号のそれぞれのグループ内のダウンミックス信号の数を最小化しながら、複数のダウンミックス信号グループに、複数のダウンミックス信号を分類するように構成される。この実施の形態において、装置は、個々のグループに属するダウンミックス信号の数を減らそうとする。1つのケースにおいて、ダウンミックス信号の少なくとも1つのグループに、ちょうど1つのダウンミックス信号が属する。
【0022】
実施の形態によると、分類器は、1つのダウンミックス信号グループには1つの単一のダウンミックス信号しか属さないように、前記複数のダウンミックス信号を前記複数のダウンミックス信号グループに分類するように構成されている。すなわち、分類は、ダウンミックス信号の様々なグループをもたらし、ちょうど1つのダウンミックス信号が属する少なくとも1つのダウンミックス信号のグループが与えられる。従って、ダウンミックス信号の少なくとも1つのグループは、ちょうど1つの単一のダウンミックス信号に関連する。別の実施の形態において、ちょうど1つのダウンミックス信号が属するダウンミックス信号のグループの数は、最大化される。
【0023】
1つの実施の形態において、装置の分類器は、符号化されたオーディオ信号内の情報に基づいて、複数のダウンミックス信号を、複数のダウンミックス信号グループに分類するように構成されている。別の実施の形態において、装置は、ダウンミックス信号を分類するために符号化されたオーディオ信号内の情報だけを使う。符号化されたオーディオ信号のビットストリーム内の情報を使うことは、−1つの実施の形態の中で−相互関係または共分散情報を考慮することを含む。分類器は、特に、異なる入力オーディオ・オブジェクトの間の関係についての情報を、符号化されたオーディオ信号から取り出す。
【0024】
1つの実施の形態において、分類器は、前記複数のダウンミックス信号を、前記符号化されたオーディオ信号内のbsRelatedTo値に基づいて、複数のダウンミックス信号グループに分類するように構成される。これらの値に関係することは、例えばWO 2011/039195 A1に関連する。
【0025】
実施の形態によると、分類器は、複数のダウンミックス信号を、少なくとも以下のステップを(ダウンミックス信号の個々のグループに)適用して、複数のダウンミックス信号グループに分類するように構成される。
・ダウンミックス信号が、ダウンミックス信号の既存のグループに割り当てられるか否かを検出するステップ。
・ダウンミックス信号と関連付けられた複数の入力オーディオ・オブジェクトの少なくとも1つの入力オーディオ・オブジェクトが、ダウンミックス信号の既存のグループと関連付けられた入力オーディオ・オブジェクトのセットの一部であるか否かを検出するステップ。
・ダウンミックス信号がダウンミックス信号の既存のグループに割り当てがない(ゆえに、既にダウンミックス信号はグループに割り当てられていない)場合に、および、ダウンミックス信号と関連付けられた複数の入力オーディオ・オブジェクトのすべての入力オーディオ・オブジェクトが、ダウンミックス信号の既存のグループと関連がない(ゆえに、既にダウンミックス信号の入力オーディオ・オブジェクトが、−異なるダウンミックス信号を経て−グループに割り当てられていない)場合に、ダウンミックス信号を新しいダウンミックス信号グループに割り当てるステップ。
・ダウンミックス信号が、ダウンミックス信号の既存のグループと関連する場合、または、ダウンミックス信号と関連付けられた複数の入力オーディオ・オブジェクトの少なくとも1つの入力オーディオ・オブジェクトが、ダウンミックス信号の既存のグループと関連する場合のいずれかの場合に、ダウンミックス信号をダウンミックス信号の既存のグループに結合するステップ。
【0026】
仮にまた、符号化されたオーディオ信号において信号で伝えられた関係が考慮されるならば、ダウンミックス信号を割り当てて結合するための付加要件をもたらす別の検出ステップが追加される。
【0027】
実施の形態によると、プロセッサは、分類結果として個々のマトリクスを提供するために、入力オーディオ・オブジェクトのそれぞれのセットの(または、ダウンミックス信号のそれぞれのグループの)オブジェクトパラメータ(Ek)に対して様々な処理ステップを個々に実行するように構成される。結合器は、前記復号化されたオーディオ信号を提供するために、個々のマトリクスを結合するように構成される。オブジェクトパラメータ(Ek)は、インデックスkによってダウンミックス信号の個々のグループの入力オーディオ・オブジェクトに属し、インデックスkを持つこのグループのための個々のマトリクスを得るように処理される。
【0028】
異なる実施の形態によると、プロセッサは、分類結果として出力オーディオ信号を提供するために、前記複数のダウンミックス信号のグループのそれぞれのグループについて様々な処理ステップを個々に実行するように構成される。結合器は、前記復号化されたオーディオ信号を提供するために、出力オーディオ信号を結合するように構成される。
【0029】
この実施の形態において、ダウンミックス信号のグループは、ダウンミックス信号のそれぞれのグループに属している入力オーディオ・オブジェクトに対応する出力オーディオ信号が得られるように、処理される。ゆえに、出力オーディオ信号を復号化されたオーディオ信号に結合することは、符号化されたオーディオ信号に対して実行された復号化処理の最終的なステップに近い。従って、この実施の形態では、ダウンミックス信号のそれぞれのグループは、ダウンミックス信号のグループの検出に続いている全ての処理ステップに個々に従う。
【0030】
異なる実施の形態において、プロセッサは、分類結果として処理された信号を提供するために、前記複数のダウンミックス信号のグループのそれぞれのグループについて少なくとも1つの処理ステップを個々に実行するように構成される。装置は、出力オーディオ信号を提供するために、前記処理された信号を一緒に処理するように構成されたポストプロセッサをさらに含む。結合器は、前記復号化されたオーディオ信号を提供するために、処理された分類結果として出力オーディオ信号を結合するように構成される。
【0031】
この実施の形態において、ダウンミックス信号のグループは、少なくとも1つの処理ステップに個々に従い、そして、他のグループと一緒に少なくとも1つの処理ステップに従う。個別の処理は、−実施の形態において−一緒に処理される処理された信号をもたらす。
【0032】
1つの実施の形態において、マトリクスに関連して、プロセッサは、個々のマトリクスを提供するために、入力オーディオ・オブジェクトのそれぞれのセットのオブジェクトパラメータ(Ek)に対して、少なくとも1つの処理ステップを個々に実行するように構成される。装置に含まれたポストプロセッサは、少なくとも1つのオーバーオール・マトリクスを提供するために、オブジェクトパラメータを一緒に処理するように構成される。結合器は、前記個々のマトリクスと前記少なくとも1つのオーバーオール・マトリクスとを結合するように構成される。1つの実施の形態において、ポストプロセッサは、少なくとも1つのオーバーオール・マトリクスを得るために、個々のマトリクスに対して少なくとも1つの処理ステップを一緒に実行する。
【0033】
以下の実施の形態は、プロセッサによって実行された処理ステップに関連する。また、これらのステップのいくつかは、前述の実施の形態において言及されたポストプロセッサに適している。
【0034】
1つの実施の形態において、プロセッサは、前記複数のダウンミックス信号のグループのそれぞれのグループのダウンミックス信号をミックスしないように構成された非ミキサーを含む。ダウンミックス信号をミックスしないことによって、プロセッサは、ダウンミックス信号の中にダウンミックスされたオリジナル入力オーディオ・オブジェクトの表現を得る。
【0035】
実施の形態によると、非ミキサーは、最小平均2乗エラー(MMSE)アルゴリズムに基づいて、前記複数のダウンミックス信号のグループの個々のグループのダウンミックス信号をミックスしないように構成される。そのようなアルゴリズムは以下の記載において説明される。
【0036】
異なる実施の形態において、プロセッサは、個々の非ミックスマトリクスを提供するために、それぞれの入力オーディオ・オブジェクトのセットのオブジェクトパラメータを個々に処理するように構成された非ミキサーを含む。
【0037】
1つの実施の形態において、プロセッサは、ダウンミックス信号の個々のグループと関連付けられた入力オーディオ・オブジェクトのセットの入力オーディオ・オブジェクトの数と、ダウンミックス信号の個々のグループに属しているダウンミックス信号の数との少なくとも1つにサイズが依存しているダウンミックス信号マトリクスのそれぞれのグループのために個々に計算するように構成された計算機を含む。ダウンミックス信号のグループはダウンミックス信号の全体のアンサンブルより小さく、かつ、ダウンミックス信号のグループは入力オーディオ信号のより小さい数に関連するので、ダウンミックス信号のグループの処理のために使われたマトリクスは、従来の技術において用いられたこれらより小さい。これは計算を容易にする。
【0038】
実施の形態によると、計算機は、個々の非ミックス化マトリクスに対して、ダウンミックス信号の個々のグループ内の最大エネルギー値に基づいて、個々の閾値を計算するように構成される。
【0039】
実施の形態によると、プロセッサは、ダウンミックス信号の個々のグループについて、ダウンミックス信号の個々のグループ内の最大エネルギー値に基づいて、個々の閾値を個々に計算するように構成される。
【0040】
1つの実施の形態において、計算機は、それぞれのダウンミックス信号のグループのダウンミックス信号を非ミックス化するための正規化ステップに対して、個々のダウンミックス信号のグループ内の最大エネルギー値に基づいて、個々の閾値を計算するように構成される。ダウンミックス信号のグループのための閾値は、異なる実施の形態において非ミキサー自身により計算される。
【0041】
以下の議論は、すべてのダウンミックス信号のためではなく、グループ(1つのグループごとに1つの閾値)のための閾値を計算することの興味深い効果を示す。
【0042】
実施の形態によると、プロセッサは、レンダリングされた信号を提供するために、前記復号化されたオーディオ信号の出力状況に対して、個々のグループの非ミックスされたダウンミックス信号をレンダリングするように構成されたレンダリング器を含む。レンダリング化は、聴取者から提供された入力に基づいて、または、実際の出力状況についてのデータに基づいている。
【0043】
実施の形態において、プロセッサは、少なくとも1つのレンダリングマトリクスを提供するために、オブジェクトパラメータを処理するように構成されたレンダリング器を含む。
【0044】
プロセッサは、実施の形態において、少なくとも1つの非相関マトリクスを提供するために、オブジェクトパラメータを処理するように構成されたポストミキサーを含む。
【0045】
実施の形態によると、プロセッサは、前記レンダリングされた信号に対して少なくとも1つの非相関ステップを実行するように構成され、かつ、実行された非相関ステップの結果(Ywet)を、前記個々のレンダリングされた信号(Ydry)と結合するように構成されたポストミキサーを含む。
【0046】
実施の形態によると、プロセッサは、それぞれのダウンミックス信号のグループについて、個々のダウンミックス化マトリクス(Dk)を決定するように構成される。kは、個々のグループのインデックスである。プロセッサは、それぞれのダウンミックス信号のグループについて、個々のグループ共分散マトリクス(Ek)を決定するように構成される。プロセッサは、それぞれのダウンミックス信号のグループについて、個々のダウンミックス化マトリクス(Dk)および個々のグループ共分散マトリクス(Ek)に基づいて、個々のグループダウンミックス共分散マトリクス(Δk)を決定するように構成される。プロセッサは、それぞれのダウンミックス信号のグループについて、個々の正規化された逆グループマトリクス(Jk)を決定するように構成される。
【0047】
実施の形態によると、結合器は、個々の正規化された逆グループマトリクス(Jk)を結合して、オーバーオールの正規化された逆グループマトリクス(J)を得るように構成される。
【0048】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のダウンミックス化マトリクス(Dk)と個々のグループ共分散マトリクス(Ek)と個々の正規化された逆グループマトリクス(Jk)に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を決定するように構成される。結合器は、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス(U)を得るように構成される。
【0049】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のダウンミックス化マトリクス(Dk)と個々のグループ共分散マトリクス(Ek)と個々の正規化された逆グループマトリクス(Jk)に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を決定するように構成される。結合器は、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス(U)を得るように構成される。
【0050】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のグループレンダリング化マトリクス(Rk)を決定するように構成される。
【0051】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のグループレンダリング化マトリクス(Rk)と個々のグループ・パラメトリック非ミックス化マトリクス(Uk)に基づいて、個々のアップミックス化マトリクス(Rkk)を決定するように構成される。結合器は、アップミックス化マトリクス(Rkk)を結合して、オーバーオールのアップミックス化マトリクス(RU)を得るように構成される。
【0052】
実施の形態によると、プロセッサは、ダウンミックス信号のそれぞれのグループについて、個々のグループレンダリング化マトリクス(Rk)と個々のグループ共分散マトリクス(Ek)に基づいて、個々のグループ共分散マトリクス(Ck)を決定するように構成される。結合器は、個々のグループ共分散マトリクス(Ck)を結合して、オーバーオールのグループ共分散マトリクス(C)を得るように構成される。
【0053】
実施の形態によると、プロセッサは、個々のグループレンダリング化マトリクス(Rk)と個々のグループ・パラメトリック非ミックス化マトリクス(Uk)と個々のダウンミックス化マトリクス(Dk)と個々のグループ共分散マトリクス(Ek)とに基づいて、パラメトリック的に推定された信号の個々のグループ共分散マトリクス(Eydrykを決定するように構成される。結合器は、パラメトリック的に推定された信号の個々のグループ共分散マトリクス(Eydrykを結合して、オーバーオールのパラメトリック的に推定された信号のEydryを得るように構成される。
【0054】
実施の形態によると、プロセッサは、ダウンミックス共分散マトリクス(EDMX)の特異値分解に基づいて、正規化された逆マトリクス(J)を決定するように構成される。
【0055】
実施の形態によると、プロセッサは、パラメトリック非ミックス化マトリクス(U)の決定のために、ダウンミックス信号の(インデックスkをもつ)個々のグループに割り当てられたダウンミックス信号(m,n)に対応している要素(Δ(m,n))を選択することによって、サブマトリクス(Δk)を決定するように構成される。ダウンミックス信号のそれぞれのグループは、ダウンミックス信号の特定の数および入力オーディオ・オブジェクトの関連付けられたセットをカバーし、インデックスkによってここで示される。
【0056】
この実施の形態によると、個々のサブマトリクス(Δk)は、個々のグループkに属するダウンミックス共分散マトリクスΔから要素を選ぶこと、または抜き取ることによって得られる。
【0057】
1つの実施の形態において、個々のサブマトリクス(Δk)は個々に逆にされ、結果は正規化された逆マトリクス(J)の中で結合される。
【0058】
異なる実施の形態において、サブマトリクス(Δk)は、個々のダウンミックス化マトリクス(Dk)によって、Δk=Dkkk*としてそれらの定義を使って得られる。
【0059】
実施の形態によると、結合器は、ダウンミックス信号のそれぞれのグループについて、個々に決定されたマトリクスに基づいて、ポストミックス化マトリクス(P)を決定するように構成される。結合器は、復号化されたオーディオ信号を得るために、ポストミックス化マトリクス(P)を複数のダウンミックス信号に適用するように構成される。この実施の形態において、オブジェクトパラメータから、符号化されたオーディオ信号に適用されるポストミックス化マトリクスが、復号化されたオーディオ信号を得るために計算される。
【0060】
【0061】
この点において、kはダウンミックス信号の個々のグループのグループインデックスを示す。Nkは、入力オーディオ・オブジェクトの関連付けられたセットの入力オーディオ・オブジェクトの数を示す。Mkは、ダウンミックス信号の個々のグループに属するダウンミックス信号の数を示す。Noutは、アップミックスまたはレンダリングされた出力チャネルの数を示す。
【0062】
計算されたマトリクスは、従来技術において用いられたより小さいサイズである。従って、1つの実施の形態において、可能な限り多くの処理ステップが、ダウンミックス信号のグループについて個々に実行される。
【0063】
本発明の目的は、また、符号化されたオーディオ信号を処理するための対応する方法により達成される。符号化されたオーディオ信号は、複数の入力オーディオ・オブジェクトおよびオブジェクトパラメータに関連付けられた複数のダウンミックス信号を含む。方法は以下のステップを含む。
・ダウンミックス信号を、複数の入力オーディオ・オブジェクトの入力オーディオ・オブジェクトのセットと関連付けられた複数のダウンミックス信号グループに分類するステップ
・分類結果を提供するために、入力オーディオ・オブジェクトのそれぞれのセットのオブジェクトパラメータに対して、少なくとも1つの処理ステップを個々に実行するステップ
・復号化されたオーディオ信号を提供するために、前記分類結果を結合するステップ
【0064】
分類は、少なくとも複数の入力オーディオ・オブジェクトのそれぞれの入力オーディオ・オブジェクトが、入力オーディオ・オブジェクトのちょうど1つのセットに属する圧縮によって実行される。
【0065】
装置の上記実施の形態は、また、方法および方法の対応する実施の形態のステップによって実行される。従って、装置の実施の形態のために与えられた説明は、方法に対しても維持される。
【0066】
本発明は以下において付随図面に関して記載され、実施の形態は付随図面の中で説明される。
【図面の簡単な説明】
【0067】
【図1】図1は、パラメトリックダウンミックス/アップミックス概念に基づいたMMSEの概要を示す。
【図2】図2は、レンダリングされた出力に適用された非相関を持つパラメトリック再構成システムを示す。
【図3】図3は、ダウンミックスプロセッサの構成を示す。
【図4】図4は、5つの入力オーディオ・オブジェクトのスペクトル写真(左の列)と、対応するダウンミックスチャンネルのスペクトル写真(右の列)とを示す。
【図5】図5は、リファレンス出力信号のスペクトル写真(左の列)と、対応するSAOC 3D復号化およびレンダリングされた出力信号のスペクトル写真(右の列)とを示す。
【図6】図6は、本発明を使うSAOC 3D出力信号のスペクトル写真を示す。
【図7】図7は、従来技術に従うフレームパラメータ処理を示す。
【図8】図8は、本発明に従うフレームパラメータ処理を示す。
【図9(1)】図9(1)は、グループ検出機能の実施例を示す。
【図9(2)】図9(2)は、グループ検出機能の実施例を示す。
【図9(3)】図9(3)は、グループ検出機能の実施例を示す。
【図10】図10は、入力オーディオ・オブジェクトを符号化するための装置を図式的に示す。
【図11】図11は、符号化されたオーディオ信号を処理するための本発明の装置の一例を図式的に示す。
【図12】図12は、符号化されたオーディオ信号を処理するための本発明の装置の異なる例を図式的に示す。
【図13】図13は、本発明の方法の実施の形態の一連のステップを示す。
【図14】図14は、本発明の装置の一例を図式的に示す。
【図15】図15は、装置の別の例を図式的に示す。
【図16】図16は、本発明の装置のプロセッサを図式的に示す。
【図17】図17は、本発明の装置の応用を図式的に示す。
【発明を実施するための形態】
【0068】
以下において、パラメトリック分離計画の概要は、MPEG空間オーディオ・オブジェクト符号化(SAOC)技術([SAOC])、および、MPEG−H 3D オーディオのSAOC 3D処理部分([SAOC3D、SAOC3D2])の例を使って与えられる。これらの方法の数学的な特性は考慮される。
【0069】
【0070】
一般性を損なうことなく、方程式の読み易さを改善するために、すべての導入された変数に対して、時間および周波数依存性を示しているインデックスが除外される。
【0071】
パラメトリックオブジェクト分離システム:
一般のパラメトリック分離計画は、予備のパラメトリック情報を使って、信号のミックス物(ダウンミックス)からオーディオソースの数を推定することを目的とする。この仕事の典型的な解決は、最小平均2乗エラー(MMSE)推定アルゴリズムの応用に基づく。SAOC技術は、そのようなパラメトリックオーディオ符号化システムの1つの例である。
【0072】
図1は、SAOC符号器/復号器機構の一般的な原理を記載する。
【0073】
一般的なパラメトリックダウンミックス/アップミックス処理は、時間/周波数選択方法で実行されて、以下のステップのシーケンスとして説明される。
・「符号器(エンコーダ)」は、入力の「オーディオ・オブジェクト」S、および、「ミックス化パラメータ」Dと共に提供される。「ミキサー」は、「オーディオ・オブジェクト」Sを、「ミックス化パラメータ」Dを使って、「ダウンミックス信号」Xの数の中にダウンミックスする(例えば、ダウンミックス化ゲイン(利得))。
・「サイド情報推定器」は、入力の「オーディオ・オブジェクト」Sの特徴を説明するサイド情報を取り出す(例えば、共分散特性)。
・「ダウンミックス信号」Xおよびサイド情報が送信または格納される。これらのダウンミックスオーディオ信号は、(MPEG−1/2レイヤーIIまたはIII、および、MPEG−2/4高度オーディオ符号化(AAC)、および、MPEG一体化スピーチ、および、オーディオ符号化(USAC)などの)オーディオコーダを使ってさらに圧縮される。サイド情報も、再表現されて、効率的に符号化される(例えば、オブジェクト能力およびオブジェクト相関係数のコード化された関係として)。
【0074】
「復号器」は、送信されたサイド情報(この情報はオブジェクトパラメータを提供する)を使って、復号化された「ダウンミックス信号」から、オリジナルの「オーディオ・オブジェクト」を復元する。「サイド情報プロセッサ」は、Sのパラメトリックオブジェクト再構成を得るために、「パラメトリックオブジェクト分離器」内の「ダウンミックス信号」に適用されるべき非ミックス化係数を推定する。再構成された「オーディオ・オブジェクト」は、「レンダリング化パラメータ」Rを適用することによって、出力チャネルYによって表された(マルチチャネル)ターゲット場面にレンダリングされる。
【0075】
同じ一般原理および連続したステップは、追加の非相関パスを含むSAOC 3D処理に応用される。
【0076】
図2は、統合された非相関パスを持つパラメトリックダウンミックス/アプミックス概念の概要を提供する。
【0077】
SAOC 3D技術やMPEG−H3Dオーディオの一部の例を使って、そのようなパラメトリック分離システムの主要な処理ステップが、以下に要約される。
SAOC 3D復号器は、パラメトリック的に再構成されレンダリングされた信号(ドライ信号)Ydry、および、その非相関されたバージョン(ウェット信号)Ywetのミックス物として、修正されレンダリングされた出力Yを作成する。
【0078】
本発明の議論のために、処理ステップは図3において説明されるように区別される。
・マトリクスUを使って入力オーディオ・オブジェクトをパラメトリック的に再構成する非ミックス化
・レンダリング化情報(マトリクスR)を使ってレンダリングすること
・非相関
・ビットストリームに含まれた情報に基づいて計算された、マトリクスPを使ってポストミックスすること
【0079】
【0080】
【0081】
【0082】
例えば、ミックス化マトリクスPは、レンダリング化情報や相互関係情報やエネルギー情報や共分散情報など基づいて計算される。
【0083】
発本明において、これは、復号化されたオーディオ信号を得るために、符号化されたオーディオ信号に適用されたポストミックス化マトリクスである。
【0084】
以下において、MMSEを使う共通のパラメトリックオブジェクト分離操作が説明される。
【0085】
非ミックス化マトリクスUは、最小平均2乗エラー(MMSE)推定アルゴリズム:U=ED*Jを使って、ビットストリームに含まれた変数(例えば、ダウンミックス化マトリクスDおよび共分散情報E)から引き出された情報に基づいて得られる。
【0086】
【0087】
マトリクスJの計算はJ=VΛinv*に従って引き出される。マトリクスVとΛは、EDMX=VΛV*として、マトリクスEDMXの特異値分解(SVD)を使って決定される。
【0088】
同様な結果が、固有値分解やシュール分解などのような異なる分解法を使って得られることに注目するべきである。
【0089】
【0090】
【0091】
【0092】
特異値の定義に依存することによって、λiiは、(仮に、λi,i=abs(λi,i)の時にλi,i<0であり、および、サイン(λi,i)が、対応している左または右の特異ベクトルによって乗算されるならば)正の値にだけ限定される、または、負の値が可能である。
【0093】
【0094】
【0095】
同様な結果は、絶対値と関連する特異値の切頭、または、マトリクス逆転に対して使われた他の正規化方法を使って得られる。
【0096】
【0097】
今や、従来技術のパラメトリックオブジェクト分離技術の中の発見された欠点が説明される。
【0098】
パラメトリックオブジェクト分離方法の説明された従来技術は、分離人工物を避けるために、ダウンミックス共分散マトリクスの正規化された逆を使って指定する。しかし、いくつかのミックス化シナリオの現実の使用ケースに対して、あまりに積極的な正規化によって起こされた有害な人工物が、システムの出力の中に識別された。
【0099】
以下において、そのようなシナリオの例が構成され、分析される。
【0100】
入力オーディオ・オブジェクト(S)の数N=5は、説明された技術(より正確に、MPEG−H 3DオーディオのSAOC 3D処理部分の方法)を使って、ダウンミックスチャンネル(X)の数Ndmx=3の中に符号化される。
【0101】
例の入力オーディオ・オブジェクトは以下を含む。
・音楽的な伴奏からの信号を含んでいる2つの関係付けられたオーディオ・オブジェクトの1つのグループ(ステレオのペアの左右)
・スピーチ信号を含んでいる1つの独立したオーディオ・オブジェクトの1つのグループ
・ピアノのレコーディングを含んでいる2つの関係付けられたオーディオ・オブジェクトの1つのグループ(ステレオのペアの左右)。
【0102】
入力信号は輸送チャンネルの3つのグループにダウンミックスされる。
・M1=1ダウンミックスチャンネルを持つグループG1、オブジェクトの第1のグループを含む
・M2=1ダウンミックスチャンネルを持つグループG2、オブジェクトの第2のグループを含む
・M3=1ダウンミックスチャンネルを持つグループG3、オブジェクトの第3のグループを含む
その結果、Ndmx=M1+M2+M3
【0103】
【0104】
第1の2つのオブジェクト信号のグループと第3のオブジェクト信号と最後の2つのオブジェクト信号のグループとの間でクロスミックスがないことに注目することができる。また、スピーチを含む第3のオブジェクト信号が、1つのダウンミックスチャンネルに単独でミックスされることに注意しなさい。従って、このオブジェクトの良好な再構成が予期され、結果的に、良好なレンダリング化も予期される。入力信号および得られたダウンミックス信号のスペクトル写真が、図4において図示される。
【0105】
現実のシステムにおいて使われた可能なダウンミックス信号コア・コード化は、望まない効果のより良い概説のために、ここでは省略される。復号器側では、SAOC 3Dパラメトリック復号化は、再構成して、オーディオ・オブジェクト信号を3チャンネルセットアップ((Nout=3):左(L)およびセンター(C)および右(R)チャンネル)にレンダリングするために使用される。
【0106】
例の入力オーディオ・オブジェクトの簡単な再ミックスは、以下において使われる。
・第1の2つのオーディオ・オブジェクト(音楽的な伴奏)は消音される(すなわち、利得0によってレンダリングされる)
・第3の入力ブジェクト(スピーチ)はセンターチャンネルにレンダリングされる
・オブジェクト4は左のチャンネルにレンダリングされ、オブジェクト5は右のチャンネルにレンダリングされる。
【0107】
【0108】
リファレンス出力は、指定されたレンダリング化マトリクスを入力信号に直接適用することによって計算できる:Yref=RS。
【0109】
リファレンス出力のスペクトル写真と、SAOC 3D復号化およびレンダリング化からの出力信号とは、図5の2つの列によって図示される。
【0110】
SAOC 3D復号器出力の示されたスペクトル写真から、以下の観察が注目できる。
・スピーチ信号だけを含むセンターチャンネルは、リファレンス信号に比べて厳しく損われる。大きなスペクトルホールが気付かれる。(エネルギーの失われた時間−周波数領域である)これらのスペクトルホールは、厳しい可聴の人工物の中に通じる。
・小さなスペクトルギャップも、信号エネルギーのほとんどが集中される左右のチャンネル(特に、低周波数領域)の中に存在する。また、これらのスペクトルギャップは可聴の人工物をもたらす。
・ダウンミックスチャンネルの中にオブジェクトグループのクロスミックスは存在しない。すなわち、1つのダウンミックスチャンネルの中にミックスされたオブジェクトは、どのような他のダウンミックスチャンネルの中に
も存在しない。第2のダウンミックスチャンネルは、1つのオブジェクト(スピーチ)のみを含む。従って、システム出力の中のスペクトルギャップは、それが他のダウンミックスチャンネルと一緒に処理されるので、生成のみできる。
【0111】
言及された観察に基づいて、それは以下のように結論される。
・SAOC 3Dシステムは、「通り抜け」システムではない。すなわち、仮に1つの入力信号が1つのダウンミックスチャンネルの中に単独でミックスされるならば、この入力信号のオーディオ品質は、復号化とレンダリング化の中に保存される。
・SAOC 3Dシステムは、マルチチャネルダウンミックス信号の処理のために、可聴の人工物を導入する。ダウンミックスチャンネルの1つのグループに含まれたオブジェクトの出力品質は、ダウンミックスチャンネルの残りの処理に依存する。
【0112】
スペクトルギャップ(特にセンターチャンネルの中のもの)〉は、ダウンミックスチャンネルに含まれたいくつかの有益な情報が、処理によって除去されることを示す。この情報の損失は、パラメトリックオブジェクト分離ステップに、より正確には、ダウンミックス共分散マトリクス逆正規化ステップに遡る。
【0113】
【0114】
【0115】
【0116】
【0117】
【0118】
仮にΦが並べ替えオペレータであるならば、その時、以下の特性が維持される。
・先ず、仮にVがユニタリーマトリクスであるならば、その時、T=ΦVもユニタリーマトリクスである。
・2番目に、アイデンティティマトリクスIを持つΦΦ*=Φ*Φ=I。
【0119】
【0120】
【0121】
【0122】
従って、仮に、ダウンミックスチャンネルの1つが、残りのダウンミックスチャンネルよりずっと小さいエネルギーレベルを持つならば、このチャンネルに対応する特異値は、残りの特異値よりずっと小さい。
【0123】
【0124】
よりよい理解のために、それぞれのサンプルおよびそれぞれの周波数帯域に対して、入力オーディオ・オブジェクトのダウンミックス化が別々に起こることが考慮される必要がある。特に、異なる帯域の中への分離は、なぜギャップが、異なる周波数で、出力信号のスペクトル写真の中に認められるかを理解することを助ける。
【0125】
【0126】
それぞれのブロック対角線のマトリクスは、ダウンミックスチャンネルの1つの独立したグループに対応する。切頭は最も大きな特異値に関連して実現されるけれども、この値はチャンネルの1つのグループのみを説明する。従って、ダウンミックスチャンネルの全ての独立したグループの中に含まれたオブジェクトの再構成は、この最も大きな特異値を含むグループに依存するようになる。
【0127】
以下において、本発明は、従来技術に関係する上で議論された実施の形態に基づいて説明される。
【0128】
【0129】
【0130】
【0131】
【0132】
前のセクションで議論された例に対して、他の同一のSAOC 3Dシステムの中で提案された本発明の方法を使って、復号化されてレンダリングされた出力のオーディオ出力品質が改善する。結果として生じる信号は、図6において図示される。
【0133】
図5およびの図6の右の列のスペクトル写真を比較すると、本発明の方法が、既存の従来技術のパラメトリック分離システムの中の識別された問題を解決することが観察できる。本発明の方法はシステムの「通り抜け」機能を保証し、最も重要なことに、スペクトルギャップが取り除かれる。
【0134】
ダウンミックスチャンネルの3つの独立したグループを処理するために説明された解決は、どのグループの数にも容易に一般化できる。
【0135】
本発明の方法は、ダウンミックス信号共分散マトリクスの逆において、分類情報を利用することによってパラメトリックオブジェクト分離技術を修正することを提案する。これはオーディオ出力品質の重要な改良をもたらす。
【0136】
分類は、例えば、追加の信号化なしで、復号器の中で既に利用可能なミックス化および/または相互関係情報から得られる。
【0137】
より明確に言うと、1つのグループは、この例の以下の2つの特性を持つダウンミックス信号の最も小さいセットによって、1つの実施の形態において定義される。
・先ず、これらのダウンミックスチャンネルに含まれた入力オーディオ・オブジェクトは、他のダウンミックスチャンネルに含まれない。
・2番目に、1つのグループのダウンミックスチャンネルに含まれた全ての入力信号は、他のグループのダウンミックスチャンネルに含まれた他の入力信号に関連しない(例えば、相互関係は、符号化されたオーディオ信号内で信号によって伝えられない)。そのような相互関係は、復号化の間に、個々のオーディオ・オブジェクトの結合される処理を暗示する。
【0138】
【0139】
【0140】
【0141】
【0142】
【0143】
さらに、本発明の方法は、1つの実施の形態において、ビットストリームに含まれた情報に完全に基づいて、グループを決定することを提案する。例えば、この情報は、ダウンミックス化情報と相互関係情報によって与えられる。
【0144】
より正確に言うと、1つのグループGkは、以下の特性によってダウンミックスチャンネルの最も小さいセットによって定義される。
・グループGkのダウンミックスチャンネルに含まれた入力オーディオ・オブジェクトは、他のダウンミックスチャンネルの中に含まれない。例えば、仮に、対応するダウンミックス利得が、最も小さい量子化インデックスによって与えられるか、または、それがゼロに等しいならば、入力オーディオ・オブジェクトはダウンミックスチャンネルの中に含まれない。
・グループGkのダウンミックスチャンネルに含まれた全ての入力信号iは、他のグループのダウンミックスチャンネルに含まれた入力信号jに関連しない。例えば、(例えばWO 2011/039195 A1と比較しなさい)仮に2つのオブジェクトが関連する(bsRelatedTo[i][j]==1)ならば、または、仮にそれらが関連しない(bsRelatedTo[i][j]==0)ならば、ビットストリーム可変bsRelatedTo[i][j]は、信号を伝えるために使用される。例えば、関連付けられた2つのオブジェクトを信号で伝える異なる方法は、相互関係または共分散情報に基づいて使われる。
【0145】
グループは、すべての処理帯域に対して、1つのフレーム当たり1回、または、1つのパラメータセット当たり一回決定される。あるいは、グループは、個々の処理帯域に対して、1つのフレーム当たり1回、または、1つのパラメータセット当たり一回決定される。
【0146】
本発明の方法は、また、1つの実施の形態において、最も多くのコンピュータ処理的高価パラメトリック処理コンポーネントの中の分類情報を使用させることによって、パラメトリック分離システム(例えば、SAOC 3D復号器)のコンピュータ処理的複雑さをかなり減少することを可能にする。
【0147】
従って、本発明の方法は、最終的な出力オーディオ品質に寄与をもたらさない計算を取り除くことを提案する。これらの計算は、分類情報に基づいて選択される。
【0148】
より正確に言うと、本発明の方法は、個々の予め決定されたグループについて、全てのパラメトリック処理ステップを独立して計算し、最後に結果を結合することを提案する。
【0149】
【0150】
オブジェクトレベル差(OLD)は、所定の時間および周波数帯域に対して、最も多いエネルギーを持つオブジェクトに対する1つのオブジェクトの相対的なエネルギーに関連する。そして、インターオブジェクト・クロス・コヒーレンス(IOC)は、同様の量を、または、所定の時間および周波数帯域の中の2つのオブジェクトに対してクロス相関関係を説明する。
【0151】
本発明の方法は、1≦k≦Kを持つ全ての予め決定されたK個のグループGkに対して、全てのパラメトリック処理ステップを計算し、パラメータ処理の最後にその結果を結合することによって、コンピュータ処理の複雑さを減らすことを提案する。
【0152】
【0153】
個々のグループGkに対して、グループダウンミックス化マトリクスは、ダウンミックスチャンネルに対応するダウンミックス化マトリクスDの要素と、グループGkによって含まれた入力オーディオ・オブジェクトとを選択することによってDkと定義される。
【0154】
同様に、グループレンダリング化マトリクスRkは、グループGkによって含まれた入力オーディオ・オブジェクトに対応する列を選択することによって、レンダリング化マトリクスRの外で得られる。
【0155】
同様に、グループベクトルOLDkとグループマトリクスIOCkは、グループGkによって含まれた入力オーディオ・オブジェクトに対応する要素を選択することによって、ベクトルOLDとマトリクスIOCの外で得られる。
【0156】
【0157】
【0158】
図3において図示されたダウンミックスプロセッサの構造に従って処理ステップを要約すると、非相関ステップを省略する間、既存の従来技術フレームパラメータ処理は、図7において記載される。
【0159】
提案された本発明の方法を使うと、計算複雑さが、図8において図示されるようにグループ検出を使って減少される。
【0160】
【0161】
提案された本発明の方法は、計算的に、かなり、分類無しで操作を実行するよりもずっと効率的であることを示す。それは、よりよいメモリー配置および用法も可能にし、計算並列化もサポートし、数値のエラー蓄積も減らす。
【0162】
提案された本発明の方法および提案された本発明の装置は、従来技術のパラメトリックオブジェクト分離システムの既存の問題を解決し、かなりより高い出力オーディオ品質を提出する。
【0163】
提案された本発明の方法は、既存のビットストリーム情報に基づいて完全に実現されるグループ検出方法を説明する。
【0164】
【0165】
【0166】
同じ考慮を使うことによって、復号器の中の全てのパラメトリック処理ステップは、独立したグループについてのみのシステムにおいて説明された全てのマトリクス乗算を計算し、その結果を結合することによって効率的に実行される。
【0167】
入力オーディオ・オブジェクトの異なる数に対して、すなわち入力オーディオ・オブジェクトやダウンミックスチャンネルや24個の出力チャネルの固定数に対して、複雑さ減少の評価は、以下のテーブルにおいて与えられる。
【0168】
【表1】
【0169】
発明は以下の追加の利点を示す。
・1つのグループのみが作成される状況に対して、出力は従来技術システムの現状とビット同一である。
・分類はシステムの「通り抜け」機能を維持する。これは、仮に1つの入力オーディオ・オブジェクトが1つのダウンミックスチャンネルの中に単独でミックスされるならば、復号器がそれを完全に再構成する可能性があることを暗示する。
【0170】
発明は、規格のテキストに対して以下の提案された例示的な修正をもたらす。
【0171】
【0172】
マトリクスVおよびΛは、Δ=VΛV*としてマトリクスΔの特異値分解として決定される。
【0173】
対角線の特異値マトリクスΛの正規化された逆のΛinvは9.5.4.2.5に従って計算される。
【0174】
マトリクスΔがパラメトリック非ミックスマトリクスUの計算において使われる場合において、説明された操作は、全てのサブマトリクスΔkに対して適用される。サブマトリクスΔkは、グループkに割り当てられたダウンミックスチャンネルmおよびnに対応する要素Δ(m,n)を選択することによって得られる。
【0175】
グループkは、以下の特性を持つダウンミックスチャンネルの最も小さいセットによって定義される。
・グループkのダウンミックスチャンネルに含まれた入力信号は、他のダウンミックスチャンネルに含まれない。仮に、対応するダウンミックス利得が、最も小さい量子化インデックスにより与えられるならば、入力信号はダウンミックスチャンネルに含まれない(ISO/IEC 23003−2:2010の表49)。
・グループkのダウンミックスチャンネルに含まれた全ての入力信号iは、他のグループのダウンミックスチャンネルに含まれた入力信号に関連しない(すなわちbsRelatedTo[i][j]==0)。
【0176】
【0177】
本発明は、また、規格のテキストに対して以下の提案された例示的な修正をもたらす。
【0178】
【0179】
マトリクスVおよびΛは、VΛV*=ΔとしてマトリクスΔの特異値分解として決定される。
【0180】
対角線の特異値マトリクスΛの正規化された逆Λinvは、9.5.4.2.6に従って計算される。
【0181】
【0182】
【0183】
【0184】
【0185】
【0186】
以下の図面のいくつかにおいて、個々の信号が、異なる処理ステップから得られることを示される。これは本発明のよりよい理解のためになされ、本発明を実現する、すなわち個々の信号を取り出して、これらの信号または処理された信号に対して処理ステップを実行するための1つの可能性である。
【0187】
他の実施の形態は、復号化されたオーディオ信号を得るために、全ての必要なマトリクスを計算して、最後のステップとして、符号化されたオーディオ信号にそれらを適用する。これは異なるマトリクスの計算と、それらの個々の結合とを含む。
【0188】
実施の形態は両方の方法を結合する。
【0189】
図10は、符号化されたオーディオ信号100によって入力オーディオ・オブジェクト111の表現を提供するために、複数の(この例では5個の)入力オーディオ・オブジェクトを処理するための装置10を図式的に示す。
【0190】
入力オーディオ・オブジェクト111は、ダウンミックス信号101の中に割り当てられ、または、ダウンミックスされる。示された実施の形態において、5つの入力オーディオ・オブジェクト111のうちの4つは、2つのダウンミックス信号101に割り当てられる。1つの入力オーディオ・オブジェクト111だけが、第3のダウンミックス信号101に割り当てられる。従って、5つの入力オーディオ・オブジェクト111は、3つのダウンミックス信号101に表現されている。
【0191】
後のこれらのダウンミックス信号101は、−ことによると、ステップを処理するのが見せられないいくつかに続き−、符号化されたオーディオ信号100に結合される。
【0192】
そのような符号化されたオーディオ信号100は、本発明の装置1に送られる。そのために、1つの実施の形態が図11において示される。
【0193】
符号化されたオーディオ信号100から、3つのダウンミックス信号101(図10を比較しなさい)が取り出される。
【0194】
ダウンミックス信号101は、−示された例において−ダウンミックス信号102の2つグループに分類される。
【0195】
個々のダウンミックス信号101が、入力オーディオ・オブジェクトの与えられた数と関連するので、ダウンミックス信号102の個々のグループは、入力オーディオ・オブジェクトの与えられた数に関連する(対応する表現は入力ブジェクトである)。後に、ダウンミックス信号102の個々のグループは、符号化されたオーディオ信号100によって符号化される複数の入力オーディオ・オブジェクトの入力オーディオ・オブジェクトのセットと関連する(図10を比較しなさい)。
【0196】
分類は、示された実施の形態において、以下の圧縮の下で起こる。
1.個々の入力オーディオ・オブジェクト111は、入力オーディオ・オブジェクトのちょうど1つのセットに属し、従って、ダウンミックス信号102の1つのグループに属する。
2.個々の入力オーディオ・オブジェクト111は、符号化されたオーディオ信号において、ダウンミックス信号の異なるグループと関連付けられた異なるセットに属する入力オーディオ・オブジェクト111に信号で伝えられる関係を全然持たない。これは、符号化されたオーディオ信号が、規格のため、個々の入力オーディオ・オブジェクトの結合された計算を結果として生じるような情報を全然持たないことを意味する。
3.個々のグループ102内のダウンミックス信号101の数は最小化される。
【0197】
ダウンミックス信号102の(ここでは2つの)グループは、5つの入力オーディオ・オブジェクト111に対応する5つの出力オーディオ信号103を得るために、以下において個々に処理される。
【0198】
入力オーディオ・オブジェクト111の2つのペアをカバーする2つのダウンミックス信号101(図10を比較しなさい)と関連するダウンミックス信号102の1つのグループは、4つの出力オーディオ信号103を得ることを可能にする。
【0199】
ダウンミックス信号102の他のグループは、単独のダウンミックス信号101として、1つの出力信号103をもたらす。あるいは、このダウンミックス信号102のグループ(より正確には、1つの信号のダウンミックス信号のグループ)は、1つの入力オーディオ・オブジェクト111に関連する(図10を比較しなさい)。
【0200】
5つの出力オーディオ信号103は、装置1の出力として、1つの復号化されたオーディオ信号110の中に結合される。
【0201】
図11の実施の形態において、全ての処理ステップが、ダウンミックス信号102のグループについて個々に実行される。
【0202】
図12において示された装置1の実施の形態は、ここに、図11に示された装置1のように、図10に示された装置10によって得られたと同じ符号化されたオーディオ信号100を受信する。
【0203】
符号化されたオーディオ信号100から、(3つの輸送チャンネルに対して)3つのダウンミックス信号101が得られ、ダウンミックス信号102の2つのグループに分類される。これらのグループ102は、図10において示された5つの入力オーディオ・オブジェクトに対応する5つの処理された信号104を得るために、個々に処理される。
【0204】
以下のステップにおいて、5つの処理された信号104から一緒に8つの出力オーディオ信号103が得られ、例えば、8つの出力チャネルのために使われるようにレンダリングされる。出力オーディオ信号103は、装置1から出力される復号化されたオーディオ信号110の中に結合される。この実施の形態において、共同の処理だけでなく個別の処理も、ダウンミックス信号102のグループについて実行される。
【0205】
図13は、符号化されたオーディオ信号が復号化される本発明の方法の実施の形態のいくつかのステップを示す。
【0206】
ステップ200において、ダウンミックス信号は、符号化されたオーディオ信号から取り出される。後続のステップ201において、ダウンミックス信号は、ダウンミックス信号のグループに割り当てられる。
【0207】
ステップ202において、ダウンミックス信号の個々のグループは、個々の分類結果を提供するために個々に処理される。グループの個々の処理は、符号化プロセスにおいて入力オーディオ・オブジェクトのダウンミックス化を経て結合されたオーディオ信号の表現を得るために、少なくとも非ミックス化を含む。1つの実施の形態−ここに示さない−において、個々の処理化は共同の処理化が続く。
【0208】
ステップ203において、これらの分類結果は、出力されるべき復号化されたオーディオ信号の中に結合される。
【0209】
図14は、ダウンミックス信号102グループに、符号化されたオーディオ信号100のダウンミックス信号101の分類が続く、全ての処理ステップが個々に実行される装置1の実施の形態をもう一度示す。ダウンミックス信号101によって、符号化されたオーディオ信号100を受信する装置1は、ダウンミックス信号102のグループを提供するために、ダウンミックス信号101を分類する分類器2を含む。ダウンミックス信号102のグループは、ダウンミックス信号102の個々のグループについて全ての必要なステップを個々に実行するプロセッサ3によって処理される。ダウンミックス信号102のグループの処理の個々の分類結果は、装置1によって出力されるべき復号化されたオーディオ信号110を得るために、結合器4によって結合される出力オーディオ信号103である。
【0210】
図15において示された装置1は、ダウンミックス信号101の分類に続いている図14において示された実施の形態と異なる。例において、全ての処理ステップが、ダウンミックス信号102のグループについて個々に実行されるわけではないけれども、いくつかのステップは一緒に実行され、従って、ダウンミックス信号102の1つ以上のグループを考慮する。
【0211】
このため、この実施の形態のプロセッサ3は、ちょうどいくつかの又は少なくとも1つの処理ステップを個々に実行するように構成される。処理の結果は、ポストプロセッサ5によって一緒に処理される処理された信号104である。得られた出力オーディオ信号103は、復号化されたオーディオ信号110をもたらす結合器4によって最終的に結合される。
【0212】
図16において、プロセッサ3は、ダウンミックス信号102のグループを受信し、出力オーディオ信号103を提供することが図式的に示される。
【0213】
プロセッサ3は、ダウンミックス信号102の個々のグループのダウンミックス信号101を非ミックスするように構成された非ミキサー300を含む。従って、非ミキサー300は、符号器によって個々のダウンミックス信号101の中に結合された個々の入力オーディオ・オブジェクトを再構成する。
【0214】
再構成された又は分離された入力オーディオ・オブジェクトは、レンダリング器302にレンダリングされる。レンダリング器302は、レンダリングされた信号112を提供するために、前記復号化されたオーディオ信号110の出力状況に対して、個々のグループの非ミックスされたダウンミックス信号をレンダリングするように構成される。従って、レンダリングされた信号112は、復号化されたオーディオ信号のリプレイシナリオの種類に適応される。レンダリングは、例えば使われるべきスピーカーの数に対して、それらの配置に、または復号化されたオーディオ信号のプレイによって得られるべき効果の種類に依存する。
【0215】
レンダリングされた信号112,Ydryは、さらに、前記レンダリングされた信号112に対して少なくとも1つの非相関ステップを実行するように構成され、そして、前記個々のレンダリングされた信号112,Ydryによって実行された非相関ステップの結果Ywetを結合するように構成されたポストミキサー303に提出される。従って、ポストミキサー303は、1つのダウンミックス信号の中で結合された信号と非相関するようにステップを実行する。
【0216】
結果として生じる出力オーディオ信号103は、最終的に、上に示されるような結合器に提出される。
【0217】
ステップに対して、プロセッサ3は、ここではプロセッサ3の異なるユニットから分離するけれども、代わりの−示されない−実施の形態において、それぞれ分類器300およびレンダリング器302およびポストミキサー303の特性である計算機301に依存する。
【0218】
必要なマトリクスや値などは、ダウンミックス信号102の個々のグループについて個々に計算されるという事実が関連する。これは、例えば、計算されるべきマトリクスは従来技術において使われたマトリクスより小さいことを暗示する。マトリクスは、ダウンミックス信号のグループと関連付けられた入力オーディオ・オブジェクトの個々のセットの入力オーディオ・オブジェクトの数、および/または、ダウンミックス信号の個々のグループに属するダウンミックス信号の数に依存するサイズを持つ。
【0219】
従来技術において、非ミックスのために使われるマトリクスは、入力オーディオ・オブジェクトまたは入力オーディオ信号の数×この数のサイズを持つ。本発明は、ダウンミックス信号の個々のグループに属する入力オーディオ信号の数に依存するサイズによって、より小さいマトリクスを計算することを可能にする。
【0220】
図17において、表現の目的が説明される。
【0221】
装置1は、符号化されたオーディオ信号100を受信し、それを復号化して、復号化されたオーディオ信号110を提供する。
【0222】
この復号化されたオーディオ信号110は、特定の出力状況または出力シナリオ400の中でプレイされる。復号化されたオーディオ信号110は、例において、5つのスピーカー401によって出力される:左と右、センター、左サラウンド、および右サラウンド。聴取者402は、センタースピーカーに面しているシナリオ400の中央にいる。
【0223】
装置1のレンダリング器は、個々のスピーカー401に提供されるべき再構成されたオーディオ信号を分配し、従って、与えられた出力状況400の中のオーディオ信号のソースとして、オリジナルのオーディオ・オブジェクトの再構成された表現を分配する。
【0224】
従って、レンダリングは、出力状況400の種類に、および聴取者402の個々の趣向に依存する。
【0225】
いくつかの面が装置の文脈において説明されるけれども、これらの面は、ブロックまたは機器が方法ステップまたは方法ステップの特性に対応する、対応した方法の説明も表現することは明確である。相似的に、方法ステップの文脈において説明された面は、対応するブロックの説明または対応する装置のアイテムまたは特性も表現する。方法ステップのいくつかまたは全ては、例えば、マイクロプロセッサーやプログラム化可能なコンピュータや電子回路のように、ハードウェア装置によって(または使って)実行される。いくつかの実施の形態において、最も重要な方法ステップの1つ以上は、そのような装置によって実行される。
【0226】
所定の実施要件に依存することによって、本発明の実施の形態は、ハードウェアまたはソフトウェアまたは少なくとも一部ハードウェアまたは少なくとも一部ソフトウェアにおいて実施される。実施は、その上に格納された電子的に読み取り可能な制御信号を持つデジタル記憶媒体、例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使って実行される。それは、個々の方法が実行されるように、プログラム化可能なコンピュータシステムと協力する(または、協働する可能性がある)。従って、デジタル格納媒体は読み取り可能なコンピュータであってもよい。
【0227】
本発明に応じたいくつかの実施の形態は、ここに説明された方法の1つが実行されるように、プログラム化可能なコンピュータシステムと協働する可能性がある電子的に読み取り可能な制御信号を持つデータキャリアを含む。
【0228】
一般に、本発明の実施の形態は、コンピュータプログラム製品がコンピュータにおいて稼働するとき、プログラムコードを持つコンピュータプログラム製品として、方法の1つを実行するために働くプログラムコードを実施する。例えば、プログラムコードは機械読み取り可能なキャリアに格納される。
【0229】
他の実施の形態は、ここに説明された方法の1つを実行するためのコンピュータプログラムを含み、機械読み取り可能なキャリアに格納される。
【0230】
すなわち、従って、本発明の方法の実施の形態は、コンピュータプログラムがコンピュータに対して稼動するとき、ここに説明された方法の1つを実行するためのプログラムコードを持つコンピュータプログラムである。
【0231】
従って、本発明の方法の別の実施の形態は、ここに説明された方法の1つを実行するためのコンピュータプログラムを(その上に記録された)含むデータキャリア(またはデジタル記憶媒体、またはコンピュータ可読メディア)、である。一般にデータキャリアまたはデジタル記憶媒体または記録されたメディアは、有形および/または無形である。
【0232】
従って、本発明の方法の別の実施の形態は、ここに説明された方法の1つを実行するためのコンピュータプログラムを表しているデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続を介して、例えばインターネットを介して送信されるように構成される。
【0233】
別の実施の形態は、ここに説明された方法の1つを実行するように構成された又は適応された処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。
【0234】
別の実施の形態は、ここに説明された方法の1つを実行するためのコンピュータプログラムを、その上にインストールしているコンピュータを含む。
【0235】
本発明に応じた別の実施の形態は、ここに説明された方法の1つを実行するためのコンピュータプログラムを、(例えば、電子的または光学的に)受信機に転送するように構成された装置またはシステムを含む。例えば、受信機は、コンピュータ、モバイル機器、メモリー機器などである。例えば、装置またはシステムは、コンピュータプログラムを受信機に転送するためのファイルサーバーを含む。
【0236】
いくつかの実施の形態において、プログラム化可能な論理デバイス(例えば、フィールドプログラム化可能ゲートアレイ)は、ここに説明された方法の機能のいくつかまたは全てを実行するために使用される。いくつかの実施の形態において、ここに説明された方法の1つを実行するために、フィールドプログラム化可能ゲートアレイがマイクロプロセッサーと協働する。一般に、方法は、好ましくは、どのようなハードウェア装置によっても実行される。
【0237】
ここに説明された装置は、ハードウェア装置を使って、またはコンピュータを使って、またはハードウェア装置とコンピュータとの組み合わせを使って実施される。
【0238】
ここに説明された方法は、ハードウェア装置を使って、またはコンピュータを使って、またはハードウェア装置とコンピュータとの組み合わせを使って実行される。
【0239】
文献
[BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes a nd applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.

[ISS1] M. Parvaix and L. Girin: "Informed Source Separation of underdetermined i nstantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.

[ISS2] M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for in formed source separation of audio signals with a single sensor", IEEE Tr ansactions on Audio, Speech and Language Processing, 2010.

[ISS3] A. Liutkus, J. Pinel, R. Badeau, L. Girin, G. Richard: "Informed source s eparation through spectrogram coding and data embedding", Signal Process ing Journal, 2011.

[ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation : source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.

[ISS5] S. Zhang and L. Girin: "An Informed Source Separation System for Speech S ignals", INTERSPEECH, 2011.

[ISS6] L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Aud io, 2011.

[JSC] C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Conventi on, Paris, 2006.

[SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.

[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - R ecent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.

[SAOC2] J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holz er, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Par ametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008 .

[SAOC3D] ISO/IEC, JTC1/SC29/WG11 N14747, Text of ISO/MPEG 23008-3/DIS 3D Au dio, Sapporo, July 2014.

[SAOC3D2] J. Herre, J. Hilpert, A. Kuntz, and J. Plogsties, "MPEG-H Audio - The new standard for universal spatial / 3D audio coding," 137th AES Con vention, Los Angeles, 2011.
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9(1)】
【図9(2)】
【図9(3)】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】20170320
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
複数の入力オーディオ・オブジェクト(111)およびオブジェクト・パラメータ(E)に関連付けられた複数のダウンミックス信号(101)を含む符号化されたオーディオ信号(100)を処理するための装置(1)であって、
前記複数のダウンミックス信号(101)を、前記符号化されたオーディオ信号(100)内の情報に基づいて、複数のダウンミックス信号(102)グループに分類するように構成された分類器(2)であって、
ダウンミックス信号(102)のそれぞれのグループは、前記複数の入力オーディオ・オブジェクト(111)の入力オーディオ・オブジェクト(111)のセットに関連付けられている分類器(2)と、
分類結果(103,104)を提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)について少なくとも1つの処理ステップを個々に実行するように構成されたプロセッサ(3)と、
復号化されたオーディオ信号(110)を提供するために、前記分類結果(103,104)を結合するように構成された結合器(4)と、を備え、
分類器(2)は、前記複数の入力オーディオ・オブジェクト(111)のそれぞれの入力オーディオ・オブジェクト(111)が、1つの入力オーディオ・オブジェクト(111)のセットにしか属さないように、前記複数のダウンミックス信号(101)を、前記複数のダウンミックス信号(102)グループに分類するように構成され、
前記分類器(2)は、入力オーディオ・オブジェクトのそれぞれのセットのそれぞれの入力オーディオ・オブジェクト(111)が、前記符号化されたオーディオ信号(100)の中で信号で伝えられた関係において、他の入力オーディオ・オブジェクト(111)と関係がない、または、前記符号化されたオーディオ信号(100)の中で信号で伝えられた関係において、同じ入力オーディオ・オブジェクト(111)のセットに属している少なくとも1つの入力オーディオ・オブジェクト(111)とのみ関係を持つように、前記複数のダウンミックス信号(101)を、前記複数のダウンミックス信号(102)グループに分類するように構成されている、装置。
【請求項2】
前記分類器(2)は、ダウンミックス信号(102)のそれぞれのグループ内のダウンミックス信号(101)の数を最小化しながら、前記複数のダウンミックス信号(101)を、前記複数のダウンミックス信号グループ(102)に分類するように構成されている、請求項1に記載の装置。
【請求項3】
前記分類器(2)は、1つのダウンミックス信号(102)グループには1つの単一のダウンミックス信号(101)しか属さないように、前記複数のダウンミックス信号(101)を前記複数のダウンミックス信号(102)グループに分類するように構成されている、請求項1または請求項2に記載の装置。
【請求項4】
前記分類器(2)は、少なくとも以下のステップ;
ダウンミックス信号(101)が既存のダウンミックス信号(102)のグループに割り当てられるか否かを検出するステップと、
前記ダウンミックス信号(101)に関連付けられた複数の入力オーディオ・オブジェクト(111)の少なくとも1つの入力オーディオ・オブジェクト(111)が、既存のダウンミックス信号(102)グループに関連付けられた入力オーディオ・オブジェクト(111)のセットの一部であるか否かを検出するステップと、
前記ダウンミックス信号(101)がダウンミックス信号(102)の既存のグループへの割り当てがない場合、および前記ダウンミックス信号(101)に関連付けられた複数の入力オーディオ・オブジェクトの全ての入力オーディオ・オブジェクト(111)が、ダウンミックス信号(102)の既存のグループとの関連がない場合に、前記ダウンミックス信号(101)を新しいダウンミックス信号(102)グループに割り当てるステップと、
前記ダウンミックス信号(101)が、ダウンミックス信号(102)の既存のグループに割り当てられる場合、または、前記ダウンミックス信号(101)に関連付けられた複数の入力オーディオ・オブジェクトの少なくとも1つの入力オーディオ・オブジェクト(111)が、ダウンミックス信号(102)の前記既存のグループに関連付けられている場合、前記ダウンミックス信号(101)をダウンミックス信号(102)の既存のグループに結合するステップと、
を適用して、前記複数のダウンミックス信号(101)を、前記複数のダウンミックス信号(102)グループに分類するように構成されている、請求項1ないし請求項3のいずれかに記載の装置。
【請求項5】
前記プロセッサ(3)は、分類結果として個々のマトリクスを提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)に対して、様々な処理ステップを個々に実行するように構成され、
前記結合器(4)は、前記個々のマトリクスを結合するように構成されている、請求項1ないし請求項4のいずれかに記載の装置。
【請求項6】
前記プロセッサ(3)は、個々のマトリクスを提供するために入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)に対して、少なくとも1つの処理ステップを個々に実行するように構成され、
前記装置(1)は、少なくとも1つのオーバーオール・マトリクスを提供するために、オブジェクトパラメータを一緒に処理するように構成されたポストプロセッサ(5)を含み、
前記結合器(4)は、前記個々のマトリクスと前記少なくとも1つのオーバーオール・マトリクスとを結合するように構成されている、請求項1ないし請求項5のいずれかに記載の装置。
【請求項7】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記ダウンミックス信号(102)の個々のグループに関連付けられた前記入力オーディオ・オブジェクトのセットの入力オーディオ・オブジェクトの数と、ダウンミックス信号(102)の個々のグループに属しているダウンミックス信号(101)の数との少なくとも1つにサイズが依存しているマトリクスを個々に計算するように構成された計算機(301)を含む、請求項1ないし請求項6のいずれかに記載の装置。
【請求項8】
プロセッサ(3)は、ダウンミックス信号のそれぞれのグループについて、ダウンミックス信号(102)の個々のグループ内の最大エネルギー値に基づいて、個々の閾値を計算するように構成されている、請求項1ないし請求項7のいずれかに記載の装置。
【請求項9】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々のダウンミックス化マトリクス(Dk)を決定するように構成され、
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々のグループ共分散マトリクス(Ek)を決定するように構成され、
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のダウンミックス化マトリクス(Dk)および前記個々のグループ共分散マトリクス(Ek)に基づいて、個々のグループダウンミックス共分散マトリクス(Δk)を決定するように構成され、
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々の正規化された逆グループマトリクス(Jk)を決定するように構成されている、請求項1ないし請求項8のいずれかに記載の装置。
【請求項10】
前記結合器(4)は、前記個々の正規化された逆グループマトリクス(Jk)を結合して、オーバーオールの正規化された逆グループマトリクス(J)を得るように構成されている、請求項9に記載の装置。
【請求項11】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のダウンミックス化マトリクス(Dk)と前記個々のグループ共分散マトリクス(Ek)と前記個々の正規化された逆グループマトリクス(Jk)に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を決定するように構成され、
前記結合器(4)は、前記個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス(U)を得るように構成されている、請求項9または請求項10に記載の装置。
【請求項12】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のダウンミックス化マトリクス(Dk)と前記個々のグループ共分散マトリクス(Ek)と前記個々の正規化された逆グループマトリクス(Jk)に基づいて、個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を決定するように構成され、
前記結合器(4)は、前記個々のグループ・パラメトリック非ミックス化マトリクス(Uk)を結合して、オーバーオールのグループ・パラメトリック非ミックス化マトリクス(U)を得るように構成されている、請求項11に記載の装置。
【請求項13】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、個々のグループレンダリング化マトリクス(Rk)を決定するように構成されている、請求項1ないし請求項12のいずれかに記載の装置。
【請求項14】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のグループレンダリング化マトリクス(Rk)と前記個々のグループ・パラメトリック非ミックス化マトリクス(Uk)に基づいて、個々のアップミックス化マトリクス(Rkk)を決定するように構成され、
前記結合器(4)は、前記アップミックス化マトリクス(Rkk)結合して、オーバーオールのアップミックス化マトリクス(RU)を得るように構成されている、請求項13に記載の装置。
【請求項15】
前記プロセッサ(3)は、ダウンミックス信号(102)のそれぞれのグループについて、前記個々のグループレンダリング化マトリクス(Rk)と前記個々のグループ共分散マトリクス(Ek)に基づいて、個々のグループ共分散マトリクス(Ck)を決定するように構成され、
前記結合器(4)は、前記個々のグループ共分散マトリクス(Ck)を結合して、オーバーオールのグループ共分散マトリクス(C)を得るように構成されている、請求項13または請求項14に記載の装置。
【請求項16】
前記プロセッサ(3)は、前記個々のグループレンダリング化マトリクス(Rk)と前記個々のグループ・パラメトリック非ミックス化マトリクス(Uk)と前記個々のダウンミックス化マトリクス(Dk)と前記個々のグループ共分散マトリクス(Ek)とに基づいて、パラメトリック的に推定された信号の個々のグループ共分散マトリクス(Eydrykを決定するように構成され、
前記結合器(4)は、前記パラメトリック的に推定された信号の個々のグループ共分散マトリクス(Eydrykを結合して、オーバーオールのパラメトリック的に推定された信号Eydryを得るように構成されている、請求項13ないし請求項15のいずれかに記載の装置。
【請求項17】
前記プロセッサ(3)は、ダウンミックス共分散マトリクス(EDMX)の特異値分解に基づいて、正規化された逆マトリクス(J)を決定するように構成されている、請求項1ないし請求項16のいずれかに記載の装置。
【請求項18】
前記プロセッサ(3)は、パラメトリック非ミックス化マトリクス(U)の決定のために、ダウンミックス信号(102)の個々のグループ(k)に割り当てられたダウンミックス信号(m,n)に対応している要素(Δ(m,n))を選択することによって、サブマトリクス(Δk)を決定するように構成されている、請求項1ないし請求項17のいずれかに記載の装置。
【請求項19】
前記結合器(4)は、ダウンミックス信号(102)のそれぞれのグループについて、個々に決定されたマトリクスに基づいて、ポストミックス化マトリクス(P)を決定するように構成され、
前記結合器(4)は、復号化されたオーディオ信号(110)を得るために、ポストミックス化マトリクス(P)を前記複数のダウンミックス信号(101)に適用するように構成されている、請求項1ないし請求項18のいずれかに記載の装置。
【請求項20】
複数の入力オーディオ・オブジェクト(111)およびオブジェクト・パラメータ(E)に関連付けられた複数のダウンミックス信号(101)を含む符号化されたオーディオ信号(100)を処理するための方法であって、
前記方法は、
前記ダウンミックス信号(101)を、前記符号化されたオーディオ信号(100)内の情報に基づいて、複数のダウンミックス信号(102)グループに分類するステップであって、
ダウンミックス信号(102)のそれぞれのグループは、前記複数の入力オーディオ・オブジェクト(111)の入力オーディオ・オブジェクト(111)のセットに関連付けられるステップと、
分類結果(103,104)を提供するために、入力オーディオ・オブジェクト(111)のそれぞれのセットのオブジェクト・パラメータ(Ek)に対して少なくとも1つの処理ステップを個々に実行するステップと、
復号化されたオーディオ信号(110)を提供するために、前記分類結果(103,104)を結合するステップとを含み、

前記複数のダウンミックス信号(101)を前記複数のダウンミックス信号(102)グループに分類するステップは、前記複数の入力オーディオ・オブジェクト(111)のそれぞれの入力オーディオ・オブジェクト(111)が、1つの入力オーディオ・オブジェクトのセットだけに属するように、実行され、
前記複数のダウンミックス信号(101)を前記複数のダウンミックス信号(102)グループに分類するステップは、それぞれの入力オーディオ・オブジェクトのセットのそれぞれの入力オーディオ・オブジェクト(111)が、前記符号化オーディオ信号(100)で信号で伝えられた関係において、他の入力オーディオ・オブジェクトとの関係がないか、もしくは前記符号化されたオーディオ信号(100)で信号で伝えられた関係において、同じ入力オーディオ・オブジェクト(111)のセットに属する少なくとも1つの入力オーディオ・オブジェクト(111)とのみ関係を持つように実行される、方法。
【国際調査報告】