(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO2014049982
(43)【国際公開日】20140403
【発行日】20160822
(54)【発明の名称】動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
(51)【国際特許分類】
   H04N 19/129 20140101AFI20160725BHJP
   H04N 19/117 20140101ALI20160725BHJP
   H04N 19/16 20140101ALI20160725BHJP
   H04N 19/179 20140101ALI20160725BHJP
【FI】
   !H04N19/129
   !H04N19/117
   !H04N19/16
   !H04N19/179
【審査請求】有
【予備審査請求】未請求
【全頁数】42
【出願番号】2014538129
(21)【国際出願番号】JP2013005285
(22)【国際出願日】20130906
(31)【優先権主張番号】2012215380
(32)【優先日】20120928
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
【住所又は居所】東京都千代田区丸の内二丁目7番3号
(74)【代理人】
【識別番号】100123434
【弁理士】
【氏名又は名称】田澤 英昭
(74)【代理人】
【識別番号】100101133
【弁理士】
【氏名又は名称】濱田 初音
(74)【代理人】
【識別番号】100173934
【弁理士】
【氏名又は名称】久米 輝代
(74)【代理人】
【識別番号】100156351
【弁理士】
【氏名又は名称】河村 秀央
(72)【発明者】
【氏名】峯澤 彰
【住所又は居所】東京都千代田区丸の内二丁目7番3号 三菱電機株式会社内
(72)【発明者】
【氏名】杉本 和夫
【住所又は居所】東京都千代田区丸の内二丁目7番3号 三菱電機株式会社内
(72)【発明者】
【氏名】関口 俊一
【住所又は居所】東京都千代田区丸の内二丁目7番3号 三菱電機株式会社内
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LC09
5C159MA02
5C159MA04
5C159MA05
5C159MA21
5C159MC02
5C159MC14
5C159MC38
5C159ME01
5C159NN01
5C159NN28
5C159PP04
5C159PP15
5C159PP16
5C159TA12
5C159TA42
5C159TA69
5C159TB01
5C159TC24
5C159UA02
5C159UA05
5C159UA12
5C159UA16
5C159UA18
5C159UA33
(57)【要約】
インタレース信号をフィールド符号化する際に垂直方向の空間解像度が1/2となり画素間相関が低下することによって、イントラ予測の予測効率や直交変換係数の符号化効率が低下してしまう課題があった。この発明は、直交変換ブロックを直交変換サブブロックに分割し、フィールド符号化か否かを示す情報に基づくフラグが有効であるか否かに基づいて、圧縮データである量子化後の変換係数の符号化順を、前記直交変換ブロック単位、前記直交変換サブブロック単位で切り替える可変長符号化手段を備えるものである。
【特許請求の範囲】
【請求項1】
圧縮データ及び符号化モードが多重化された符号化ビットストリームを生成する可変長符号化手段を備え、
上記可変長符号化手段は、直交変換ブロックを直交変換サブブロックに分割し、フィールド符号化か否かを示す情報に基づくフラグが有効であるか否かに基づいて、圧縮データである量子化後の変換係数の符号化順を、前記直交変換ブロック単位、前記直交変換サブブロック単位で切り替えることを特徴とする動画像符号化装置。
【請求項2】
入力画像を複数の部分画像であるスライスに分割するスライス分割手段と、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記スライス分割手段により分割されたスライスを上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像の変換処理を実施して、上記差分画像の変換係数を量子化し、量子化後の変換係数を圧縮データとして出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データから差分画像を復号し、復号後の差分画像と上記予測手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、符号化ビットストリームを生成する可変長符号化手段とを備え、
上記可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード、フィールド符号化か否かを示すフラグを可変長符号化して、上記圧縮データ、上記符号化モード、上記フラグの符号化データが多重化された符号化ビットストリームを生成することを特徴とする請求項1記載の動画像符号化装置。
【請求項3】
階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段を備え、
上記可変長復号手段は、直交変換ブロックを直交変換サブブロックに分割し、フィールド符号化か否かを示す情報に基づくフラグが有効であるか否かに基づいて、圧縮データである量子化後の変換係数の復号順を、前記直交変換ブロック単位、前記直交変換サブブロック単位で切り替えることを特徴とする動画像復号装置。
【請求項4】
符号化ビットストリームに多重化された符号化データからフィールド符号化か否かを示すフラグを含むヘッダ情報を可変長復号し、上記符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに応じた予測処理を実施して予測画像を生成する予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データである変換係数を逆量子化し、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備えていることを特徴とする請求項3記載の動画像復号装置。
【請求項5】
圧縮データ及び符号化モードが多重化された符号化ビットストリームを生成する可変長符号化ステップを備え、
上記可変長符号化ステップは、直交変換ブロックを直交変換サブブロックに分割し、フィールド符号化か否かを示す情報に基づくフラグが有効であるか否かに基づいて、圧縮データである量子化後の変換係数の符号化順を、前記直交変換ブロック単位、前記直交変換サブブロック単位で切り替えることを特徴とする動画像符号化方法。
【請求項6】
階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号ステップを備え、
上記可変長復号ステップは、直交変換ブロックを直交変換サブブロックに分割し、フィールド符号化か否かを示す情報に基づくフラグが有効であるか否かに基づいて、圧縮データである量子化後の変換係数の復号順を、前記直交変換ブロック単位、前記直交変換サブブロック単位で切り替えることを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【0002】
従来、MPEGやITU−T H.26x等の国際標準映像符号化方式では、入力映像フレームを、16×16画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測差分信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
【0003】
ここで、図23は非特許文献1に開示されているMPEG−4 AVC/H.264の動画像符号化装置を示す構成図である。
この動画像符号化装置では、ブロック分割部101が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部102に出力する。
予測部102は、ブロック分割部101から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測差分信号を算出する。
【0004】
特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
そして、その動きベクトルを用いて、メモリ107により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測差分信号を算出する。
【0005】
一方、フレーム内予測を行う場合、非特許文献1では輝度のイントラ予測モードとしてブロック単位に、複数の予測モードの中から1つの予測モードを選択することができる。
図24は輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
図24では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが4×4画素の場合には、モード0からモード8の9つのイントラ予測モードが規定されている。
【0006】
図24において、モード2は平均値(DC)予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード2以外のモードは方向性予測を行うモードである。モード0は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード0が選択される。
モード1は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード1が選択される。
モード3からモード8は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向(矢印が示す方向)に補間画素を生成して予測画像を生成するものである。
【0007】
ここで、イントラ予測を適用する輝度のブロックサイズは、4×4画素、8×8画素、16×16画素の中から選択することができ、8×8画素の場合には、4×4画素と同様に、9つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、16×16画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Plane予測と呼ばれる4つのイントラ予測モードが規定されている。
Plane予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
【0008】
また、予測部102は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部108に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
【0009】
圧縮部103は、予測部102から予測差分信号を受けると、その予測差分信号に対するDCT(離散コサイン変換)処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
局所復号部104は、圧縮部103から圧縮データを受けると、その圧縮データを逆量子化して、逆DCT処理を実施することで、予測部102から出力された予測差分信号に相当する予測差分信号を算出する。
【0010】
加算器105は、局所復号部104から予測差分信号を受けると、その予測差分信号と予測部102から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ106は、加算器105により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ107に格納する。
【0011】
可変長符号化部108は、圧縮部103から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部108は、ビットストリームを出力する際、予測部102から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
【0012】
ここで、一般に符号化対象となる映像信号フォーマットとしては図25に示すフレームが全て同一時刻の信号で構成されるプログレッシブ信号と図26に示すフレームが2つの異なる時刻の信号(フィールド)で構成されるインタレース信号がある。非特許文献1ではインタレース信号を効率的に符号化するために、インタレース信号をピクチャ単位やマクロブロック単位にフレームとして符号化するかフィールドとして符号化するかを適応的に切り替える機能等の様々な符号化ツールが組み込まれている。
【先行技術文献】
【非特許文献】
【0013】
【非特許文献1】MPEG−4 AVC(ISO/IEC 14496−10)/ITU−T H.264規格
【非特許文献2】“High efficiency video coding (HEVC) text specification draft 8”,JCT-VC Document JCTVC-J1003,July 2012, Stockholm, SE.
【発明の概要】
【発明が解決しようとする課題】
【0014】
一方、非特許文献2に開示されている方式では、インタレース信号の符号化効率改善のための特別な符号化ツールは用意されていない。非特許文献2ではイントラ予測時に図27に示すように特定のイントラ予測モードにおいて予測画像に対してブロック境界の連続性を高めるためのフィルタ処理を実施する。しかし、フィールド単位に符号化を実施する場合、垂直方向の空間的相関が低下するためにブロックの上端に対するフィルタ処理の効果が大きく低下する可能性がある。
【0015】
また、非特許文献2は直交変換係数の符号化手法として直交変換ブロックをさらにCoefficient Group(CG)と呼ばれる4x4画素単位のブロック(直交変換サブブロック)に分割してCG単位に係数の符号化処理を実施する。図28に16×16画素の直交変換ブロックにおける係数の符号化順(スキャン順)を示す。このように4×4画素単位の16個のCGを右下のCGから順に符号化処理し、さらに各CGはCG内の16個の係数を右下の係数から順に符号化する。具体的には、まずCG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を符号化し、次にCG内に有意(非零)係数が存在する場合のみCG内の各係数が有意(非零)係数であるかを上記順に符号化し、最後に有意(非零)係数に対してその係数値情報を順に符号化する。これをCG単位に上記順に行う。その際、有意(非零)係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。プログレッシブ映像とインタレース映像とでは、有意(非零)係数発生分布が異なるため、図28のスキャン順では効率的に符号化できなくなってしまう。
【0016】
非特許文献2の動画像符号化装置は以上のように構成されているので、インタレース信号をフィールド符号化する際に垂直方向の空間解像度が1/2となり画素間相関が低下することによって、イントラ予測の予測効率や直交変換係数の符号化効率が低下してしまう課題があった。
【0017】
この発明は上記のような課題を解決するためになされたもので、インタレース信号をフィールド符号化する場合であっても、インタレース信号をフィールド符号化する際の符号化効率を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【0018】
この発明に係る動画像符号化装置は、圧縮データ及び符号化モードが多重化された符号化ビットストリームを生成する可変長符号化手段を備え、上記可変長符号化手段は、直交変換ブロックを直交変換サブブロックに分割し、フィールド符号化か否かを示す情報に基づくフラグが有効であるか否かに基づいて、圧縮データである量子化後の変換係数の符号化順を、前記直交変換ブロック単位、前記直交変換サブブロック単位で切り替えるようにしたものである。
【発明の効果】
【0019】
この発明によれば、直交変換ブロックを直交変換サブブロックに分割し、フィールド符号化か否かを示す情報に基づくフラグが有効であるか否かに基づいて、圧縮データである量子化後の変換係数の符号化順を、前記直交変換ブロック単位、前記直交変換サブブロック単位で切り替えるように構成したので、フィールド信号の特性に応じた効率的な予測処理及び符号化処理を実現することができ、符号化効率を高めることができる効果がある。
【図面の簡単な説明】
【0020】
【図1】この発明の実施の形態1による動画像符号化装置を示す構成図である。
【図2】この発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
【図3】この発明の実施の形態1による動画像復号装置を示す構成図である。
【図4】この発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
【図5】最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
【図6】(a)は分割後の符号化ブロック及び予測ブロックの分布を示し、(b)は階層分割によって符号化モードm(B)が割り当てられる状況を示す説明図である。
【図7】符号化ブロックB内の各予測ブロックPが選択可能なイントラ予測パラメータ(イントラ予測モード)の一例を示す説明図である。
【図8】l=m=4の場合の予測ブロックP内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図9】予測ブロックP内の左上画素を原点とする相対座標を示す説明図である。
【図10】量子化マトリクスの一例を示す説明図である。
【図11】この発明の実施の形態1による動画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。
【図12】この発明の実施の形態1による動画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。
【図13】符号化ビットストリームの一例を示す説明図である。
【図14】画素適応オフセット処理のクラス分類手法のインデックスを示す説明図である。
【図15】16×16画素のサイズの直交変換における変換係数の分布の一例を示す説明図である。
【図16】フィールド信号における16×16画素のサイズの直交変換における変換係数の分布の一例を示す説明図である。
【図17】フィールド信号における16×16画素のサイズの直交変換における変換係数の符号化順を示す説明図である。
【図18】フィールド信号における16×16画素のサイズの直交変換における変換係数の符号化順を示す説明図である。
【図19】フィールド信号における16×16画素のサイズの直交変換における変換係数の符号化順を示す説明図である。
【図20】平均値予測時のフィルタ処理におけるフィルタの切り替え領域を示す説明図である。
【図21】平均値予測時のフィルタ処理の参照画素配置を示す説明図である。
【図22】フィールド符号化の際のイントラ予測画像に対するフィルタ処理を示す説明図である。
【図23】非特許文献1に開示されている動画像符号化装置を示す構成図である。
【図24】輝度のブロックサイズが4×4画素の場合のイントラ予測モードを示す説明図である。
【図25】プログレッシブ映像信号を示す説明図である。
【図26】インタレース映像信号を示す説明図である。
【図27】イントラ予測におけるフィルタ処理を示す説明図である。
【図28】16×16画素のサイズの直交変換における変換係数の符号化順を示す説明図である。
【発明を実施するための形態】
【0021】
実施の形態1.
図1はこの発明の実施の形態1による動画像符号化装置を示す構成図である。
図1において、スライス分割部14は入力画像として映像信号を入力すると、その入力画像を符号化制御部2により決定されたスライス分割情報にしたがって1以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、後述する符号化ブロック単位まで細かくすることができる。なお、スライス分割部14はスライス分割手段を構成している。
【0022】
ブロック分割部1はスライス分割部14により分割されたスライスを入力する毎に、そのスライスを符号化制御部2により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部2により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部1はスライスを符号化制御部2により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる1つないし複数の予測ブロックに分割される。
なお、ブロック分割部1はブロック分割手段を構成している。
【0023】
符号化制御部2は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部2は選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、ブロック分割部1から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な1以上の符号化モードの中から、ブロック分割部1から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
【0024】
また、符号化制御部2は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部2は変換・量子化部7及び逆量子化・逆変換部8に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる直交変換ブロックの分割情報を示す直交変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
なお、符号化制御部2は符号化制御手段を構成している。
【0025】
切換スイッチ3は符号化制御部2により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部1から出力された符号化ブロックをイントラ予測部4に出力し、符号化制御部2により決定された符号化モードがインター符号化モードであれば、ブロック分割部1から出力された符号化ブロックを動き補償予測部5に出力する処理を実施する。
【0026】
イントラ予測部4は切換スイッチ3から出力された符号化ブロックに対応する符号化モードとして、符号化制御部2によりイントラ符号化モードが選択された場合、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
【0027】
動き補償予測部5は切換スイッチ3から出力された符号化ブロックに対応する符号化モードとして、符号化制御部2によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ12に格納されている1フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理(動き補償予測処理)を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
なお、イントラ予測部4、イントラ予測用メモリ10、動き補償予測部5及び動き補償予測フレームメモリ12から予測手段が構成されている。
【0028】
減算部6はブロック分割部1より出力された符号化ブロックから、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部7に出力する処理を実施する。なお、減算部6は差分画像生成手段を構成している。
変換・量子化部7は符号化制御部2により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、減算部6から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を直交変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する処理を実施する。
なお、変換・量子化部7は画像圧縮手段を構成している。
【0029】
変換・量子化部7は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
ここで、図10は4×4DCTの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
例えば、符号化ビットレートを抑制するために、図10に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。
【0030】
また、量子化マトリクスは、各直交変換サイズで色信号や符号化モード(イントラ符号化かインター符号化か)毎に独立したマトリクスを使用することができ、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図10に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。一方、新しい量子化マトリクスを用いない場合には、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスのみ選択可能となる。
【0031】
逆量子化・逆変換部8は符号化制御部2により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位に変換・量子化部7から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部6から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部7が量子化マトリクスを用いて、量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
加算部9は逆量子化・逆変換部8により算出された局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像、または、動き補償予測部5により生成されたインター予測画像とを加算して、ブロック分割部1から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
なお、逆量子化・逆変換部8及び加算部9から局所復号画像生成手段が構成されている。
【0032】
イントラ予測用メモリ10は加算部9により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部11は加算部9により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
【0033】
ただし、ループフィルタ部11は、上記のデブロッキングフィルタ処理、画素適応オフセット処理及び適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをヘッダ情報として可変長符号化部13に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図11は複数のフィルタ処理を用いる場合のループフィルタ部11の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、動画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
なお、ループフィルタ部11はフィルタリング手段を構成している。
【0034】
ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部13に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、1つのクラス分類手法を選択する。
次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部13に出力する。
【0035】
適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域(局所復号画像)毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予め動画像符号化装置及び動画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
【0036】
なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、映像信号をループフィルタ部11で参照する必要があるため、映像信号がループフィルタ部11に入力されるように、図1の動画像符号化装置を変更する必要がある。
【0037】
動き補償予測フレームメモリ12はループフィルタ部11のフィルタ処理後の局所復号画像を格納する記録媒体である。
可変長符号化部13は変換・量子化部7から出力された圧縮データと、符号化制御部2の出力信号(最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して符号化データを生成する。
また、可変長符号化部13は、図13に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
なお、可変長符号化部13は可変長符号化手段を構成している。
【0038】
ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)の有効フラグ情報、量子化マトリクスの有効フラグ情報、フィールド符号化か否かを示すフラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
【0039】
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(オールイントラ符号化、インター符号化など)、ループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグ情報などのスライス単位のパラメータをまとめたものである。
【0040】
図1の例では、動画像符号化装置の構成要素であるブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、イントラ予測用メモリ10、ループフィルタ部11、動き補償予測フレームメモリ12及び可変長符号化部13のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部1、符号化制御部2、切換スイッチ3、イントラ予測部4、動き補償予測部5、減算部6、変換・量子化部7、逆量子化・逆変換部8、加算部9、ループフィルタ部11及び可変長符号化部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図2はこの発明の実施の形態1による動画像符号化装置の処理内容(動画像符号化方法)を示すフローチャートである。
【0041】
図3はこの発明の実施の形態1による動画像復号装置を示す構成図である。
図3において、可変長復号部31は図1の動画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。
このとき、可変長復号部31によって可変長復号された量子化マトリクスパラメータから、量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
また、可変長復号部31は、各ヘッダ情報を参照して、スライス分割状態を特定するとともに、各スライスのスライスデータに含まれる最大復号ブロック(図1の動画像符号化装置の「最大符号化ブロック」に相当するブロック)を特定し、ブロック分割情報を参照して、最大復号ブロックを階層的に分割して復号処理を行う単位である復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定し、各々の復号ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)、インター予測パラメータ(符号化モードがインター符号化モードである場合)、予測差分符号化パラメータ及び動きベクトル(符号化モードがインター符号化モードである場合)を可変長復号する処理を実施する。なお、可変長復号部31は可変長復号手段を構成している。
【0042】
逆量子化・逆変換部32は可変長復号部31により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、可変長復号部31により可変長復号された圧縮データを直交変換ブロック単位に逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部32は差分画像生成手段を構成している。
【0043】
ここで、可変長復号部31により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、量子化マトリクスを用いて逆量子化処理を行う。
具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。
【0044】
切換スイッチ33は可変長復号部31により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部31により可変長復号されたイントラ予測パラメータをイントラ予測部34に出力し、可変長復号部31により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部31により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部35に出力する処理を実施する。
【0045】
イントラ予測部34は可変長復号部31により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがイントラ符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ37に格納されている復号画像を参照しながら、切換スイッチ33から出力されたイントラ予測パラメータを用いたイントラ予測処理(フレーム内予測処理)を実施してイントラ予測画像を生成する処理を実施する。
【0046】
動き補償部35は可変長復号部31により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合、上記復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ39に格納されている復号画像を参照しながら、切換スイッチ33から出力された動きベクトルとインター予測パラメータを用いたインター予測処理(動き補償予測処理)を実施してインター予測画像を生成する処理を実施する。
なお、イントラ予測部34、イントラ予測用メモリ37、動き補償部35及び動き補償予測フレームメモリ39から予測手段が構成されている。
【0047】
加算部36は逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像、または、動き補償部35により生成されたインター予測画像とを加算して、図1の加算部9から出力された局所復号画像と同一の復号画像を算出する処理を実施する。なお、加算部36は復号画像生成手段を構成している。
【0048】
イントラ予測用メモリ37は加算部36により算出された復号画像をイントラ予測処理で用いる参照画像として格納する記録媒体である。
ループフィルタ部38は加算部36により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部38は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合において、動画像符号化装置のループフィルタ部11が図11のように構成されていれば、図12に示すようにループフィルタ部38が構成される。
なお、ループフィルタ部38はフィルタリング手段を構成している。
【0049】
ここで、デブロッキングフィルタ処理では、可変長復号部31により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
【0050】
画素適応オフセット処理では、可変長復号部31により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて復号画像を分割し、そのブロック単位に、可変長復号部31により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
【0051】
ただし、動画像符号化装置のループフィルタ部11の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位(例えば、最大符号化ブロック単位)に分割し、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部38においても、ループフィルタ部11と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。
【0052】
適応フィルタ処理では、可変長復号部31により可変長復号されたクラス毎のフィルタを用いて、図1の動画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
動き補償予測フレームメモリ39はループフィルタ部38のフィルタ処理後の復号画像をインター予測処理(動き補償予測処理)で用いる参照画像として格納する記録媒体である。
【0053】
図3の例では、動画像復号装置の構成要素である可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36、イントラ予測用メモリ37、ループフィルタ部38及び動き補償予測フレームメモリ39のそれぞれが専用のハードウェア(例えば、CPUを実装している半導体集積回路や、ワンチップマイコンなど)で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部31、逆量子化・逆変換部32、切換スイッチ33、イントラ予測部34、動き補償部35、加算部36及びループフィルタ部38の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにしてもよい。
図4はこの発明の実施の形態1による動画像復号装置の処理内容(動画像復号方法)を示すフローチャートである。
【0054】
次に動作について説明する。
この実施の形態1では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力される符号化ビットストリームを復号する動画像復号装置について説明する。
【0055】
図1の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【0056】
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
【0057】
この実施の形態1では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【0058】
図1の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と2つの色差信号からなるYUV信号や、ディジタル撮像素子から出力されるRGB信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直2次元のディジタルサンプル(画素)列から構成される任意の映像信号とする。
ただし、各画素の階調は、8ビットでもよいし、10ビットや12ビットなどの階調でもよい。
【0059】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はYUV信号であるとし、かつ、2つの色差成分U,Vが輝度成分Yに対して、サブサンプルされた4:2:0フォーマットの信号を扱う場合について述べる。
また、色差信号のフォーマットはYUV信号の4:2:0フォーマット以外でもよく、YUV信号の4:2:2フォーマットや4:4:4フォーマット、あるいはRGB信号などでもよい。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
なお、「ピクチャ」はフレーム単位に符号化する場合はフレーム信号を表し、フィールド単位に符号化する場合はフィールド信号を表す。
【0060】
最初に、図1の動画像符号化装置の処理内容を説明する。
まず、符号化制御部2は、符号化対象となるピクチャ(カレントピクチャ)のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する(図2のステップST1)。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
【0061】
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限はシーケンスレベルヘッダなどに符号化してもよいし、符号化せずに動画像復号装置側も同一の決定処理を行うようにしてもよい。前者はヘッダ情報の符号量が増加するものの、動画像復号装置側で上記決定処理を行わずに済むため、動画像復号装置の処理負荷を抑えることができる上、動画像符号化装置側で最適な値を探索して送ることができる。後者は反対に、動画像復号装置側で上記決定処理を行うため、動画像復号装置の処理負荷が増加するものの、ヘッダ情報の符号量は増加しない。
【0062】
また、符号化制御部2は、利用可能な1以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する(ステップST2)。
即ち、符号化制御部2は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、1つないし複数のイントラ符号化モード(総称して「INTRA」と称する)と、1つないし複数のインター符号化モード(総称して、「INTER」と称する)とがあり、符号化制御部2は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
【0063】
ただし、後述するブロック分割部1により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である1つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
符号化制御部2による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【0064】
また、符号化制御部2は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び直交変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
【0065】
符号化制御部2は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部7、逆量子化・逆変換部8及び可変長符号化部13に出力する。
また、符号化制御部2は、イントラ予測パラメータを必要に応じてイントラ予測部4に出力する。
また、符号化制御部2は、インター予測パラメータを必要に応じて動き補償予測部5に出力する。
【0066】
スライス分割部14は、入力画像として映像信号を入力すると、その入力画像を符号化制御部2により決定されたスライス分割情報にしたがって1以上の部分画像であるスライスに分割する。
ブロック分割部1は、スライス分割部14から各スライスを入力する毎に、そのスライスを符号化制御部2により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部2により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
【0067】
ここで、図5は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図5において、最大符号化ブロックは、「第0階層」と記されている輝度成分が(L,M)のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、4分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さnにおいては、符号化ブロックはサイズ(L,M)の画像領域である。
ただし、LとMは、同じであってもよいし、異なっていてもよいが、図5では、L=Mのケースを示している。
【0068】
以降、符号化制御部2により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ(L,M)と定義する。
4分木分割を行うため、常に、(Ln+1,Mn+1)=(L/2,M/2)が成立する。
なお、RGB信号など、全ての色成分が同一サンプル数を有するカラー映像信号(4:4:4フォーマット)では、全ての色成分のサイズが(L,M)になるが、4:2:0フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは(L/2,M/2)になる。
【0069】
以降、第n階層の符号化ブロックをBで表し、符号化ブロックBで選択可能な符号化モードをm(B)で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードm(B)は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、YUV信号、4:2:0フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【0070】
符号化ブロックBは、図5に示すように、ブロック分割部1によって、予測処理単位を表す1つないし複数の予測ブロックに分割される。
以降、符号化ブロックBに属する予測ブロックをP(iは、第n階層における予測ブロック番号)と表記する。図5にはPとPの例を示している。
符号化ブロックB内の予測ブロックの分割が、どのようになされているかは、符号化モードm(B)の中に情報として含まれる。
予測ブロックPは、全て符号化モードm(B)に従って予測処理が行われるが、予測ブロックP毎に、個別の予測パラメータ(イントラ予測パラメータ又はインター予測パラメータ)を選択することができる。
【0071】
符号化制御部2は、最大符号化ブロックに対して、例えば、図6に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図6(a)の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図6(b)は、図6(a)の例について、階層分割によって符号化モードm(B)が割り当てられる状況を4分木グラフで示したものである。図6(b)の□で囲まれているノードは、符号化モードm(B)が割り当てられたノード(符号化ブロック)である。
この4分木グラフの情報は符号化モードm(B)と共に符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
【0072】
切換スイッチ3は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードである場合(m(B)∈INTRAの場合)、ブロック分割部1から出力された符号化ブロックBをイントラ予測部4に出力する。
一方、符号化制御部2により決定された符号化モードm(B)がインター符号化モードである場合(m(B)∈INTERの場合)、ブロック分割部1から出力された符号化ブロックBを動き補償予測部5に出力する。
【0073】
イントラ予測部4は、符号化制御部2により決定された符号化モードm(B)がイントラ符号化モードであり(m(B)∈INTRAの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、イントラ予測用メモリ10に格納されている局所復号画像を参照しながら、符号化制御部2により決定されたイントラ予測パラメータを用いて、その符号化ブロックB内の各予測ブロックPに対するイントラ予測処理を実施して、イントラ予測画像PINTRAiを生成する(ステップST4)。
なお、動画像復号装置がイントラ予測画像PINTRAiと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像PINTRAiの生成に用いられたイントラ予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
イントラ予測部4の処理内容の詳細は後述する。
【0074】
動き補償予測部5は、符号化制御部2により決定された符号化モードm(B)がインター符号化モードであり(m(B)∈INTERの場合)、切換スイッチ3から符号化ブロックBを受けると(ステップST3)、その符号化ブロックB内の各予測ブロックPと動き補償予測フレームメモリ12に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部2により決定されたインター予測パラメータを用いて、その符号化ブロックB内の各予測ブロックPに対するインター予測処理を実施して、インター予測画像PINTERiを生成する(ステップST5)。
なお、動画像復号装置がインター予測画像PINTERiと全く同じインター予測画像を生成する必要があるため、インター予測画像PINTERiの生成に用いられたインター予測パラメータは、符号化制御部2から可変長符号化部13に出力されて、ビットストリームに多重化される。
また、動き補償予測部5により探索された動きベクトルも可変長符号化部13に出力されて、ビットストリームに多重化される。
【0075】
減算部6は、ブロック分割部1から符号化ブロックBを受けると、その符号化ブロックB内の予測ブロックPから、イントラ予測部4により生成されたイントラ予測画像PINTRAi、または、動き補償予測部5により生成されたインター予測画像PINTERiのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号eを変換・量子化部7に出力する(ステップST6)。
【0076】
変換・量子化部7は、減算部6から予測差分信号eを受けると、符号化制御部2により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、その予測差分信号eに対する直交変換処理(例えば、DCT(離散コサイン変換)やDST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換等の直交変換処理)を直交変換ブロック単位に実施して、変換係数を算出する。
また、変換・量子化部7は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部8及び可変長符号化部13に出力する(ステップST7)。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
【0077】
量子化マトリクスは、各直交変換サイズで色信号や符号化モード(イントラ符号化かインター符号化か)毎に独立しているマトリクスを使用することができ、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
したがって、変換・量子化部7は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
さらに、新しい量子化マトリクスを用いる場合には、図10に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。一方、新しい量子化マトリクスを用いない場合には、初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクスのみ選択可能となる。
そして、変換・量子化部7は、設定した量子化マトリクスパラメータを可変長符号化部13に出力する。
【0078】
逆量子化・逆変換部8は、変換・量子化部7から圧縮データを受けると、符号化制御部2により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
変換・量子化部7が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
また、逆量子化・逆変換部8は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理(例えば、逆DCT、逆DST、逆KL変換など)を実施して、減算部6から出力された予測差分信号eに相当する局所復号予測差分信号を算出して加算部9に出力する(ステップST8)。
【0079】
加算部9は、逆量子化・逆変換部8から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部4により生成されたイントラ予測画像PINTRAi、または、動き補償予測部5により生成されたインター予測画像PINTERiのいずれか一方を加算することで、局所復号画像を算出する(ステップST9)。
なお、加算部9は、その局所復号画像をループフィルタ部11に出力するとともに、その局所復号画像をイントラ予測用メモリ10に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
【0080】
ループフィルタ部11は、加算部9から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ12に格納する(ステップST10)。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
【0081】
ただし、ループフィルタ部11は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをシーケンスレベルヘッダの一部及びスライスレベルヘッダの一部として可変長符号化部13に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図11は複数のフィルタ処理を用いる場合のループフィルタ部11の構成例を示している。
一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、動画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
【0082】
ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部13に出力する。
【0083】
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、1つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
【0084】
クラス分類手法としては、局所復号画像の輝度値の大きさで分類する手法(BO手法と呼ぶ)や、エッジの方向毎に各画素の周囲の状況(エッジ部か否か等)に応じて分類する手法(EO手法と呼ぶ)がある。
これらの手法は、予め動画像符号化装置及び動画像復号装置で共通に用意されており、例えば図14に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。
【0085】
したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位のオフセット情報をヘッダ情報として可変長符号化部13に出力する。
【0086】
また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域(局所復号画像)毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部13に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性(分散など)に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め動画像符号化装置及び動画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
【0087】
ステップST3〜ST9の処理は、階層的に分割された全ての符号化ブロックBに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックBに対する処理が完了すると、ステップST13の処理に移行する(ステップST11,ST12)。
【0088】
可変長符号化部13は、変換・量子化部7から出力された圧縮データと、符号化制御部2から出力された最大符号化ブロック内のブロック分割情報(図6(b)を例とする4分木情報)、符号化モードm(B)及び予測差分符号化パラメータと、符号化制御部2から出力されたイントラ予測パラメータ(符号化モードがイントラ符号化モードである場合)又はインター予測パラメータ(符号化モードがインター符号化モードである場合)と、動き補償予測部5から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、それらの符号化結果を示す符号化データを生成する(ステップST13)。
その際、量子化された直交変換係数である圧縮データの符号化手法として直交変換ブロックをさらにCoefficient Group(CG)と呼ばれる4×4画素単位のブロック(符号化サブブロック)に分割してCG単位に係数の符号化処理を実施する。図28に16×16画素の直交変換ブロックにおける係数の符号化順(スキャン順)を示す。非引用文献2では、このように4×4画素単位の16個のCGを右下のCGから順に符号化処理し、さらに各CGはCG内の16個の係数を右下の係数から順に符号化する。具体的には、まずCG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を符号化し、次にCG内に有意(非零)係数が存在する場合のみCG内の各係数が有意(非零)係数であるかを上記順に符号化し、最後に有意(非零)係数に対してその係数値情報を順に符号化する。これをCG単位に上記順に行う。その際、有意(非零)係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。直交変換後の係数は左上に位置する直流成分をはじめとして左上に近い程低い周波数成分の低い係数を表すことから、図15に示す例のようにプログレッシブ映像では一般的に左上に近いほど有意(非零)係数が多く発生するために図28に示すように右下から順に符号化することで効率的に符号化できる。一方、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、すなわち入力信号をフィールド単位に符号化する場合は垂直方向の空間的相関が低下するために垂直方向の予測効率が低下し、予測差分信号eを直交変換した結果である変換係数についても垂直方向の周波数成分が多く発生するようになり図16に示す例のように有意(非零)係数発生分布がプログレッシブ映像よりも直交変換ブロックの左側に偏った形となる傾向がある。したがって、図28に示す符号化順では効率的に符号化できなくなってしまうため、例えば、図17に示す符号化順に切り替えるようにする。このようにすることで、有意(非零)係数の符号化を符号化順の後ろの方で連続して処理するようになり、エントロピー符号化による符号化効率を高めることができる。
なお、上記では16×16画素の直交変換ブロックについて説明したが、32×32画素の直交変換ブロック等、16×16画素以外のブロックサイズにおいてもCG(符号化サブブロック)単位の符号化処理を実施するものとし、その符号化順は16×16画素の直交変換ブロックと同様にシーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効かどうかによって切り替えるようにする。
【0089】
上記ではシーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、図17に示す符号化順(符号化ブロック単位(16×16画素の符号化ブロック内の符号化順)、符号化サブブロック単位(4×4画素のCG内の符号化順))に切り替えるようにしたが、図18に示すようにCGの形状を4×4画素ブロックから8×2画素ブロックに変更するようにしてもよい。このようにすることでも、有意(非零)係数の符号化を符号化順で後ろの方のCGで連続して処理するようになり、エントロピー符号化による符号化効率を高めることができる。つまり、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグが無効である場合は、図28のような符号化順であるため、図17の場合は符号化ブロック単位、符号化サブブロック単位で符号化順を切り替えるため、符号化効率を高めることができ、更に図18の場合は符号化ブロック単位、符号化サブブロック単位で符号化順を切り替えることに加えて、符号化サブブロックの形状も変更するようにしたため、更に符号化効率を高めることができる。なお、上記では、符号化順を符号化ブロック単位および符号化サブブロック単位の両方で切り替える場合について説明したが、符号化ブロック単位あるいは符号化サブブロック単位のいずれかのみを切り替えるようにしてもよい。
または、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、図19に示す符号化順とするようにしてもよい。このように、CGの形状だけでなくCG内のスキャン順もブロックの右側の係数を優先して符号化するように変更することで、より有意(非零)係数の符号化を符号化順の後ろの方で連続して処理できるようになり、一層エントロピー符号化による符号化効率を高めることができる。
【0090】
なお、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意して、量子化された直交変換係数である圧縮データの符号化時の係数の符号化順をピクチャ単位に適応的に切り替えるようにしてもよい。そのようにすることで、ピクチャ単位適応的な制御が実現でき、符号化効率を高めることができる。なお、ピクチャ単位にフレーム符号化とフィールド符号化を適応的に切り替える符号化を実現する場合には、上記フラグはピクチャレベルヘッダに用意する必要がある。
また、本実施の形態1では、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグに基づいて符号化順や形状等を切り替える場合について説明したが、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグとは別に本切り替え処理を行うか否かを示すフラグを定義し、この切り替え処理を行うか否かを示すフラグに基づいて符号化順やCGの形状やCG内のスキャン順等を切り替えるようにしてもよい。
また、符号化順やCGの形状やCG内のスキャン順の例として図17、図18、図19を例示したが、有意(非零)係数の符号化を符号化順で後ろの方で連続して処理できれば、これに限られず、図17、図18、図19以外の符号化順やCGの形状やCG内のスキャン順であってもよく、CGの形状とCG内のスキャン順の組み合わせも図17、図18、図19に限られない。例えば、CGが1×2、1×4、1×8、1×16、2×2、2×4、4×8画素等であっても良い。
また、本実施の形態1では、フィールド符号化の場合、図17、図18、図19のいずれか1つ(選択不可)である場合について説明したが、複数の候補(図17、図18、図19その他)の中から1つを選択するようにしてもよい。その場合、複数候補のうちどれを選択したかの示すフラグを上記ヘッダに用意する。このフラグは、フィールド符号化か否かを示すフラグや、本切り替え処理を行うか否かを示すフラグと共用してもよい。
【0091】
また、可変長符号化部13は、図13に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
ただし、ピクチャデータは1以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
【0092】
シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)の有効フラグ情報、量子化マトリクスの有効フラグ情報、フィールド符号化か否かを示すフラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ(オールイントラ符号化、インター符号化など)、ループフィルタ部11における各フィルタ処理(適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理)を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。
【0093】
次に、イントラ予測部4の処理内容を詳細に説明する。
図7は符号化ブロックB内の各予測ブロックPが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、Nはイントラ予測モード数を表している。
図7では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図7の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【0094】
イントラ予測部4は、上述したように、予測ブロックPのイントラ予測パラメータを参照して、その予測ブロックPに対するイントラ予測処理を実施して、イントラ予測画像PINTRAiを生成するが、ここでは、輝度信号における予測ブロックPのイントラ予測信号を生成するイントラ処理について説明する。
【0095】
予測ブロックPのサイズをl×m画素とする。
図8はl=m=4の場合の予測ブロックP内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図8では、予測ブロックPの上の符号化済みの画素(2×l+1)個と、左の符号化済みの画素(2×m)個を予測に用いる画素としているが、予測に用いる画素は、図8に示す画素より多くても少なくてもよい。
また、図8では、予測ブロックPの近傍の1行又は1列分の画素を予測に用いているが、2行又は2列、あるいは、それ以上の画素を予測に用いてもよい。
【0096】
予測ブロックPに対するイントラ予測モードのインデックス値が0(平面(Planar)予測)の場合には、予測ブロックPの上に隣接する符号化済み画素と予測ブロックPの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックP内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
【0097】
予測ブロックPに対するイントラ予測モードのインデックス値が2(平均値(DC)予測)の場合には、予測ブロックPの上に隣接する符号化済み画素と予測ブロックPの左に隣接する符号化済み画素の平均値を予測ブロックP内の画素の予測値として予測画像を生成する。
さらに、予測ブロックPの上端及び左端に位置する図20の領域A、B、Cに対してブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。例えば、図21のフィルタの参照画素配置で下記のフィルタ係数を用いてフィルタ処理を実施する。
・領域A(パーティションPの左上の画素)
=1/2,a=1/4,a=1/4
・領域B(領域A以外のパーティションPの上端の画素)
=3/4,a=1/4,(a=0)
・領域C(領域A以外のパーティションPの左端の画素)
=3/4,a=1/4,(a=0)
ただし、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、図22に示すとおり予測ブロックの上端にフィルタ処理を実施しないようにする。フィールド符号化の場合、垂直方向の画素間の相関が低いことから図27の水平方向予測におけるフィルタ処理によって予測効率が悪化してしまう可能性がある。したがって、領域A、Cのみフィルタ処理を行い、領域Bはフィルタ処理を行わないようにすることで予測効率の低下を抑制しつつ演算量を削減することができる。
【0098】
ただし、上記ではシーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、領域A、Cのみフィルタ処理を行うようにしたが、領域Aも領域Cと同じフィルタ処理してもよい。このように、画素間の相関が低い垂直方向の画素を用いないようにすることでさらに予測効率悪化の可能性を下げつつ、フィルタ処理に要する演算量を削減することができる。あるいはより演算量を削減することを重視する場合は、領域Aもフィルタ処理を行わないようにし、領域Cのみフィルタ処理をおこなうようにしてもよい。
【0099】
予測ブロックPに対するイントラ予測モードのインデックス値が26(垂直方向予測)の場合、下記の式(1)から予測ブロックP内の画素の予測値を算出して予測画像を生成する。

ただし、座標(x,y)は予測ブロックP内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
なお、式(1)は図27の垂直方向予測におけるフィルタ処理を示しており、具体的には、式(1)の1行目の式はMPEG−4 AVC/H.264における垂直方向予測の予測値であるS(x,−1)に対し、隣接する符号化済み画素の垂直方向の輝度値の変化量を1/2にした値を加算することでブロック境界が平滑化されるようにフィルタ処理することを意味しており、式(1)の2行目の式はMPEG−4 AVC/H.264における垂直方向予測と同じ予測式を示している。
【0100】
予測ブロックPに対するイントラ予測モードのインデックス値が10(水平方向予測)の場合、下記の式(2)から予測ブロックP内の画素の予測値を算出して予測画像を生成する。

ただし、座標(x,y)は予測ブロックP内の左上画素を原点とする相対座標(図9を参照)であり、S’(x,y)は座標(x,y)における予測値、S(x,y)は座標(x,y)における符号化済み画素の輝度値(復号された輝度値)である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
なお、式(2)は図27の水平方向予測におけるフィルタ処理を示しており、具体的には、式(2)の1行目の式はMPEG−4 AVC/H.264における水平方向予測の予測値であるS(−1,y)に対し、隣接する符号化済み画素の水平方向の輝度値の変化量を1/2にした値を加算することでブロック境界が平滑化されるようにフィルタ処理することを意味しており、式(2)の2行目の式はMPEG−4 AVC/H.264における水平方向予測と同じ予測式を示している。
【0101】
ただし、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、水平方向予測は式(2)の代わりに式(3)を用いる。
すなわち、図22に示すとおり予測ブロックの上端にフィルタ処理を実施しないようにする(平均値予測及び垂直方向予測の場合は予測ブロックの左端のみにフィルタ処理を実施し、水平方向予測の場合はフィルタ処理を実施しない)。フィールド符号化の場合、垂直方向の画素間の相関が低いことから図27の水平方向予測におけるフィルタ処理によるブロック境界の連続性を高めることによる予測効率が悪化してしまう可能性がある。したがって、上記フィルタ処理を行わないことで予測効率の低下を抑制しつつ演算量を削減することができる。
【0102】
なお、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意して各ピクチャの、垂直方向の画素間の相関に応じて平均値(DC)予測及び水平方向予測の予測ブロック上端のフィルタ処理をON/OFF切り替えるようにしてもよい。そのようにすることで、ピクチャ単位適応的な制御が実現でき、予測効率を高めることができる。なお、ピクチャ単位にフレーム符号化とフィールド符号化を適応的に切り替える符号化を実現する場合には、上記フラグはピクチャレベルヘッダに用意する必要がある。
また、本実施の形態1では、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグに基づいて予測ブロック上端のフィルタ処理のON/OFFを切り替える場合について説明したが、シーケンスレベルヘッダあるいはピクチャレベルヘッダのフィールド符号化か否かを示すフラグとは別に本切り替え処理を行うか否かを示すフラグを定義し、この切り替え処理を行うか否かを示すフラグに基づいて予測ブロック上端のフィルタ処理のON/OFFを切り替えるようにしてもよい。ただし、この切り替え処理を行うか否かを示すフラグは、フィールド符号化か否かを示すフラグに基づいたフラグである。
また、本実施の形態1では、先に説明した符号化順の切り替えと、上記フィルタ処理の切り替えとを、それぞれ別々に説明したが、これらを組み合わせて設定するようにしてもよい。
【0103】
また、平均値(DC)予測、垂直方向予測、水平方向予測のブロック境界のフィルタ処理を例えば16×16画素以下のブロックのみとする等、フィルタ処理を行うブロックサイズを限定してもよい。このようにすることで、フィルタ処理に要する演算量を削減することができる。
【0104】
イントラ予測モードのインデックス値が0(平面予測)、2(平均値予測)、26(垂直方向予測)、10(水平方向予測)以外の場合には、インデックス値が示す予測方向ベクトルυ=(dx,dy)に基づいて、予測ブロックP内の画素の予測値を生成する。
図9に示すように、予測ブロックPの左上画素を原点として、予測ブロックP内の相対座標を(x,y)と設定すると、予測に用いる参照画素の位置は、下記のLと隣接画素の交点になる。
ただし、kは負のスカラ値である。
【0105】
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図8の例では、参照画素は整数画素位置にないので、参照画素に隣接する2画素から内挿したものを予測値とする。なお、隣接する2画素のみではなく、隣接する2画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
【0106】
以上に述べた処理によって、予測ブロックP内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像PINTRAiを出力する。
なお、イントラ予測画像PINTRAiの生成に用いられたイントラ予測パラメータ(イントラ予測モード)は、ビットストリームに多重化するために可変長符号化部13に出力される。
【0107】
なお、先に説明したMPEG−4 AVC/H.264における8×8画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部4において、予測ブロックPの中間予測画像を生成する際の参照画素を、予測ブロックPに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。
【0108】
予測ブロックPの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ(イントラ予測モード)に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部13に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ(イントラ予測モード)は輝度信号と異なっていてもよい。例えば、演算量を削減するために、色差信号の垂直方向予測及び水平方向予測についてはブロック境界のフィルタ処理を行わずにMPEG−4 AVC/H.264と同様の予測手法としてもよい。YUV信号4:2:0フォーマットの場合、色差信号(U、V信号)は、輝度信号(Y信号)に対して解像度を水平方向、垂直方向共に1/2に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。
【0109】
次に、図3の動画像復号装置の処理内容を具体的に説明する。
可変長復号部31は、図1の動画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して(図4のステップST21)、フィールド符号化か否かを示すフラグやフレームサイズの情報などの1フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報(シーケンスレベルヘッダ)及びピクチャ単位のヘッダ情報(ピクチャレベルヘッダ)、ループフィルタ部38で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
このとき、可変長復号部31によって可変長復号された量子化マトリクスパラメータを参照して量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として予め動画像符号化装置及び動画像復号装置で共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである(新しい量子化マトリクスでない)ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報(スライスレベルヘッダ)を復号し、各スライスの符号化データを復号する。
【0110】
また、可変長復号部31は、図1の動画像符号化装置の符号化制御部2により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する(ステップST22)。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部31は、決定された最大復号ブロック単位に、図6で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック(図1の動画像符号化装置の「符号化ブロック」に相当するブロック)を特定する(ステップST23)。
【0111】
次に、可変長復号部31は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに1つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する(ステップST24)。
【0112】
即ち、可変長復号部31は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる1つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する(ステップST24)。
【0113】
さらに、可変長復号部31は、予測差分符号化パラメータに含まれる直交変換ブロック分割情報に基づき、直交変換ブロック毎に圧縮データ(変換・量子化後の変換係数)を復号する(ステップST24)。
その際、図1の動画像符号化装置の可変長符号化部13での圧縮データの符号化処理と同様に、CG単位の係数の復号処理を実施する。したがって、通常は図28に示すように4×4画素単位の16個のCGを右下のCGから順に復号処理し、さらに各CGはCG内の16個の係数を右下の係数から順に復号していくこととなる。具体的には、まずCG内の16個の係数の中に有意(非零)係数が存在するか否かのフラグ情報を復号し、次に復号したフラグ情報がCG内に有意(非零)係数が存在することを示す場合のみCG内の各係数が有意(非零)係数であるかを上記順に復号し、最後に有意(非零)係数を示す係数に対してその係数値情報を順に復号する。これをCG単位に上記順に行う。ただし、可変長復号部31によって復号されたシーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、図17、図18、図19の内、図1の動画像符号化装置の可変長符号化部13で決められた処理順と同一の順番で復号処理が行われる。このようにすることで、図1の動画像符号化装置で生成したストリームと同一の圧縮データを生成することができる。
【0114】
なお、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意して、量子化された直交変換係数である圧縮データの符号化時の係数の符号化順をピクチャ単位に適応的に切り替えるように図1の動画像符号化装置の可変長符号化部13が構成されている場合、可変長復号部31も同様に上記フラグに応じて圧縮データの復号順をピクチャ単位に適応的に切り替えるようにする。
【0115】
切換スイッチ33は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モードであれば(m(B)∈INTRAの場合)、可変長復号部31により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部34に出力する。
一方、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モードであれば(m(B)∈INTERの場合)、可変長復号部31により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部35に出力する。
【0116】
イントラ予測部34は、可変長復号部31により可変長復号された符号化モードm(B)がイントラ符号化モード(m(B)∈INTRA)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図1のイントラ予測部4と同様の手順で、イントラ予測用メモリ37に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックB内の各予測ブロックPに対するイントラ予測処理を実施して、イントラ予測画像PINTRAiを生成する(ステップST26)。
ただし、可変長復号部31によって復号されたシーケンスレベルヘッダのフィールド符号化か否かを示すフラグが有効である場合、図1の動画像符号化装置と同様に平均値(DC)予測及び水平方向予測の予測ブロック上端のフィルタ処理を行わないようにする。このようにすることで、図1の動画像符号化装置で生成したストリームと同一の予測画像を生成することができる。
【0117】
なお、実施の形態1の動画像符号化装置において、シーケンスレベルヘッダのフィールド符号化か否かを示すフラグをピクチャレベルヘッダに用意している場合、このピクチャレベルヘッダのフィールド符号化か否かを示すフラグの値に応じてピクチャ単位に平均値(DC)予測及び水平方向予測の予測ブロック上端のフィルタ処理をON/OFF切り替えるようにする。このようにすることで、上記のように構成した実施の形態1の動画像符号化装置で生成したストリームと同一の予測画像を生成することができる。
【0118】
動き補償部35は、可変長復号部31により可変長復号された符号化モードm(B)がインター符号化モード(m(B)∈INTER)である場合(ステップST25)、切換スイッチ33から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ39に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた復号ブロックB内の各予測ブロックPに対するインター予測処理を実施してインター予測画像PINTERiを生成する(ステップST27)。
【0119】
逆量子化・逆変換部32は、可変長復号部31から圧縮データ及び予測差分符号化パラメータを受けると、図1の逆量子化・逆変換部8と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
このとき、可変長復号部31により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。
【0120】
この際、可変長復号部31により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色信号や符号化モード(イントラ符号化かインター符号化か)毎に使用する量子化マトリクスを特定する。
また、逆量子化・逆変換部32は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図1の逆量子化・逆変換部8から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する(ステップST28)。
【0121】
加算部36は、逆量子化・逆変換部32により算出された復号予測差分信号と、イントラ予測部34により生成されたイントラ予測画像PINTRAi、または、動き補償部35により生成されたインター予測画像PINTERiのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部38に出力するとともに、その復号画像をイントラ予測用メモリ37に格納する(ステップST29)。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
【0122】
ループフィルタ部38は、全ての復号ブロックBに対するステップST23〜ST29の処理が完了すると(ステップST30)、加算部36から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ39に格納する(ステップST31)。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部38は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部31により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
このとき、2つ以上のフィルタ処理を行う場合に、動画像符号化装置のループフィルタ部11が図11のように構成されている場合には、図12に示すようにループフィルタ部38が構成される。
【0123】
ここで、デブロッキングフィルタ処理では、可変長復号部31により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
【0124】
画素適応オフセット処理では、可変長復号部31により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて分割し、そのブロック単位に、可変長復号部31により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
なお、クラス分類手法の候補として、ループフィルタ部11の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
【0125】
そして、ループフィルタ部38は、ブロック単位の各クラスのオフセット値を特定する可変長復号部31により可変長復号されたオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
【0126】
適応フィルタ処理では、可変長復号部31により可変長復号されたクラス毎のフィルタを用いて、図1の動画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
このループフィルタ部38によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【0127】
以上で明らかなように、この実施の形態1によれば、入力映像信号をフィールド単位に符号化することを示すフラグが有効となっている場合に、イントラ予測部4が、平均値予測または水平方向予測によるイントラ予測処理を実施する時の予測ブロックの上端のフィルタ処理を実施しないようにする構成と、変換・量子化部7が、変換係数の符号化順を変更する構成とを、それぞれ単独に実施、あるいは組み合わせて実施するように構成したので、フィールド信号の特性に応じた効率的な予測処理、符号化処理を実現することができ、符号化効率を高めることができる効果を奏する。
【0128】
また、この実施の形態1によれば、可変長復号部31によって復号された入力映像信号をフィールド単位に符号化することを示すフラグが有効となっている場合に、イントラ予測部34が、平均値予測または水平方向予測によるイントラ予測処理を実施する時の予測ブロックの上端のフィルタ処理を実施しないようにする構成と、逆量子化・逆変換部32が、変換係数の復号順を変更する構成とを、それぞれ単独に実施、あるいは組み合わせて実施するように構成したので、フィールド信号の特性に応じた効率的な予測処理、符号化処理を実現することができ、符号化効率を高めることができる実施の形態1の動画像符号化装置で符号化されたビットストリームを正しく復号することができる効果を奏する。
【産業上の利用可能性】
【0129】
以上のように、本発明にかかる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法は、符号化効率の高い符号化、復号処理を行う動画像符号化装置、動画像復号装置等に有用である。
【符号の説明】
【0130】
1 ブロック分割部(ブロック分割手段)、2 符号化制御部(符号化制御手段)、3 切換スイッチ、4 イントラ予測部(予測手段)、5 動き補償予測部(予測手段)、6 減算部(差分画像生成手段)、7 変換・量子化部(画像圧縮手段)、8 逆量子化・逆変換部(局所復号画像生成手段)、9 加算部(局所復号画像生成手段)、10 イントラ予測用メモリ(予測手段)、11 ループフィルタ部(フィルタリング手段)、12 動き補償予測フレームメモリ(予測手段)、13 可変長符号化部(可変長符号化手段)、14 スライス分割部(スライス分割手段)、31 可変長復号部(可変長復号手段)、32 逆量子化・逆変換部(差分画像生成手段)、33 切換スイッチ、34 イントラ予測部(予測手段)、35 動き補償部(予測手段)、36 加算部(復号画像生成手段)、37 イントラ予測用メモリ(予測手段)、38 ループフィルタ部(フィルタリング手段)、39 動き補償予測フレームメモリ(予測手段)、101 ブロック分割部、102 予測部、103 圧縮部、104 局所復号部、105 加算器、106 ループフィルタ、107 メモリ、108 可変長符号化部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【国際調査報告】