【技術分野】

【0001】

【背景技術】

【0002】

【0003】

【0004】

【先行技術文献】

【発明の概要】

ＶＶＣにおいても、ＨＥＶＣと同様に符号化済みのブロックの画素や動きベクトルを用いた予測技術の導入が検討されている。こうした予測技術では、符号化対象のブロックの左や上、左上や右上などに隣接したブロックの画素や動きベクトルを用いているが、特にブロック列単位で並列処理を行う場合、一部のブロックの画素や動きベクトルが参照できないケースがあった。結果として、こうした予測処理が原因で並列処理の実装を妨げる結果となることがあった。 本発明は上述した課題を解決するためになされたものであり、予測処理に用いることができるブロックを一部のブロックに制限することで、実装の複雑度を低減することを目的としている。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像を符号化する画像符号化装置であって、
符号化対象のフレーム画像を、所定のサイズの基本ブロックに分割し、当該基本ブロックを更に複数のサブブロックに分割する分割手段と、
該分割手段で得たサブブロックに対して、イントラ予測、または、インター予測を実行する予測手段とを有し、
前記予測手段は、
注目基本ブロック内の注目サブブロックに対してイントラ予測を実行する場合であって、前記注目サブブロックの右上に位置するサブブロックが前記注目基本ブロックの右上に位置する基本ブロック内にある場合においては常に、前記注目サブブロックの右上に位置するサブブロックを、前記注目サブブロックに対するイントラ予測における参照対象から除外して、当該イントラ予測を行うことを特徴とする。

本発明によれば、ブロックと隣接するブロックとの位置関係によって、予測処理に用いることができるブロックを一部のブロックに制限することで実装の複雑度を低減することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態における画像符号化装置のブロック構成図。

【図2】第１の実施形態における画像復号装置のブロック構成図。

【図3】第１の実施形態における画像符号化処理を示すフローチャート。

【図4】第１の実施形態における画像復号処理を示すフローチャート。

【図5】第２の実施形態の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成を示すブロック図。

【図6】実施形態におけるビットストリームのデータ構造の一例を示す図。

【図7】実施形態におけるサブブロック分割の一例を示す図。

【図8】実施形態における符号化処理における予測処理に用いられるブロックの関係性を示す図。

【図9】基本ブロックの並列符号化を実施する場合のスキャン法の一例を示す図。

【発明を実施するための形態】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。また 、基本ブロックや、サブブロックといった呼称は、各実施形態において便宜的に用いている呼称であり、その意味が変わらない範囲で、適宜、他の呼称を用いてもよい。例えば、基本ブロックやサブブロックは、基本ユニットやサブユニットと称されてもよいし、単にブロックやユニットと称されてもよい。また、現在の処理対象のブロック等の注目するべきブロックのことを注目ブロックと称することとする。例えば、現在の処理対象の基本ブロックのことを注目ブロックと称する。また、現在の処理対象のサブブロックのことを注目サブブロックと称する。

また、下記の各実施形態において、イントラ予測において用いることができるサブブロックに関する制限と、インター予測において動きベクトル予測子として選択できるサブブロックに関する制限について説明する。これらの制限はいずれかのみ適用するようにしてもよいし、両方を適用するようにしてもよい。いずれかのみを適用した場合であっても、実装の複雑度の低減や、メモリ使用量の低減に寄与することができる。

［第１の実施形態］
図１は本実施形態の画像符号化装置のブロック構図である。画像符号化装置は、装置全体の制御を司る制御部１５０を有する。この制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像符号化装置は、入力端子１０１、ブロック分割部１０２、予測部１０３、変換・量子化部１０４、逆量子化・逆変換部１０５、画像再生部１０６、フレームメモリ１０７、インループフィルタ部１０８、符号化部１０９、統合符号化部１１０、出力端子１１１、及び、動きベクトルメモリ１１２を有する。

入力端子１０１は、図示を省略する画像データ供給部から供給される符号化対象の画像データをフレーム単位に入力する。画像データ発生源は、符号化対象の画像データを生成する撮像装置や、符号化対象の画像データを記憶したファイルサーバや記憶媒体等、その種類は問わない。また、出力端子１１２は、符号化データを出力先装置に出力するが、その出力先装置も記憶媒体や、ファイルサーバ等、特に限定されない。例えば、出力端子１１２はネットワークインターフェースであってもよく、ネットワークを介して外部に符号化データを出力してもよい。

ブロック分割部１０２は、入力したフレーム画像を複数の基本ブロックに分割し、基本ブロック単位の画像データを後段の予測部１０３に出力する。具体的には、ブロック分割部１０２は、基本ブロックを単位とするラスタースキャン順に、その基本ブロックの画像データを予測部１０３に出力する。

ここで、注意したい点は、基本ブロック単位に、ラスタースキャン順に逐次的に符号化を行う場合、符号化対象の注目基本ブロックに隣接する８つ基本ブロック中で、左上、上、右上、及び、左に隣接する計４つ基本ブロックは符号化済みとなり、右、左下、下、及び、右下に隣接する計４つの基本ブロックは未符号化となる。

予測部１０３は、基本ブロック単位の画像データに対し、サブブロック分割を行い、サブブロック単位でフレーム内予測であるイントラ予測や、フレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、予測部１０３は、入力された画像データにおける注目サブブロックと予測画像データから予測誤差を算出し、出力する。例えば、予測誤差とは、注目サブブロックと、当該注目サブブロックの予測画像データとの差分である。また、予測部１０３は、予測に必要な情報、例えばサブブロック分割、予測モードや動きベクトル等の情報も予測誤差と併せて出力する。以下ではこの予測に必要な情報を予測情報と呼称する。この予測情報は、他のブロックにおける予測や、復号側で予測画像データを生成するために使用されることとなる。

変換・量子化部１０４は、予測部１０３より入力した予測誤差を、サブブロック単位で直交変換して変換係数を得る。さらに変換・量子化部１０４は、得られた変換係数に対して量子化を行い、量子化係数を得る。なお、直交変換を行う機能と、量子化を行う機能とは別々の構成としてもよい。

逆量子化・逆変換部１０５は、変換・量子化部１０４から出力された量子化係数を逆量子化して変換係数を再生し、さらに、逆直交変換して予測誤差を再生する。なお、逆量子化を行う機能と、逆直交変換を行う機能とは別々の構成としてもよい。

画像再生部１０６は、予測部１０３から出力された予測情報に基づいて、フレームメモリ１０７を適宜参照して予測画像データを生成し、生成した予測画像データと入力した予測誤差とから再生画像データを生成し、フレームメモリ１０７に格納する。例えば、画像再生部１０６は、予測画像データに予測誤差を加算することによって、再生画像データを再生する。

インループフィルタ部１０８は、フレームメモリ１０７に格納された再生画像データに対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ１０７に再格納する。

動きベクトルメモリ１１２は、符号化済サブブロックの動きベクトルを保持する。このため、動きベクトルメモリ１１２は、予測部１０３が出力した予測情報における動きベクトルと、符号化対象となったサブブロックの位置とを対応づけて保持する。

符号化部１０９は、変換・量子化部１０４から出力された量子化係数、および、予測部１０４から出力された予測情報を符号化して、符号データを生成し出力する。

統合符号化部１１０は、復号側でビットストリームの復号に必要となる、シーケンスやピクチャのヘッダ部分に符号化されるヘッダ符号データを生成する。さらに統合符号化部１１０は、ヘッダ符号データに、符号化部１０９から出力された符号データを統合したビットストリームを形成し、出力端子１１１を介して出力する。

ここで、画像符号化装置における画像の符号化動作をより詳しく以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成とする。さらに本実施形態では説明のため、ブロック分割部１０２は、６４×６４画素の基本ブロックに分割するものとして説明するが、これに限定されない。例えば、基本ブロックのサイズは１２８×１２８画素であってもよい。

なお、６４×６４画素というような表記は、当該ブロックの垂直方向の高さが６４画素で、水平方向の幅が６４画素であることを示していることとする。同様に、３２×６４画素という表記は、当該ブロックの垂直方向の高さが３２画素で、水平方向の幅が６４画素であることを示していることとする。以下、同様な表記については、上記の例と同様に、そのブロックの垂直方向の高さと水平方向の幅を示すものとする。

入力端子１０１を介して入力された１フレーム分の画像データはブロック分割部１０２に供給される。ブロック分割部１０２では、入力された画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部１０３に出力する。本実施形態では６４×６４画素の基本ブロック単位の画像を出力するものとする。

予測部１０３は、ブロック分割部１０２より入力した基本ブロック単位の画像データに対し予測処理を実行する。具体的には、予測部１０３は、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割を決定し、さらにサブブロック単位で動きベクトルメモリ１１２やフレームメモリ１０７を参照しながら、イントラ予測やインター予測などの予測モードを決定する。

図７を参照してサブブロック分割方法の一例を示す。図７（ａ）乃至（ｆ）におけるブロック７００乃至７０５の太枠は基本ブロック（実施形態では６４×６４画素）を表し、その内部の細い線で分割された各四角形がサブブロックを表している。図７（ａ）は、基本ブロック７００がサブブロックである例である。つまり、基本ブロックが分割されず、サブブロックのサイズが６４×６４画素の例である。図７（ｂ）は、基本ブロック７０１を４個の正方形のサブブロックへ分割した分割例を示しており、１つのサブブロックのサイズは３２×３２画素である。図７（ｃ）〜（ｆ）は長方形サブブロック分割の一例を表している。図７（ｃ）は、基本ブロック７０２が３２×６４画素サイズの２個のサブブロック（垂直方向に長手）に分割されることを示している。図７（ｄ）は、基本ブロック７０３が、６４×３２画素サイズの２個のサブブロック（水平方向に長手）に分割されることを示している。図７（ｅ）、（ｆ）基本ブロック７０４、７０５の場合、分割方向が異なるものの、１：２：１の比で３つの長方形サブブロックに分割されている。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。

実施形態では、説明を単純化するため、図７（ｂ）に示すように、６４×６４画素の基本ブロック７０１が四分木分割され、４つの３２×３２画素のサブブロックに分割されるものとする。ただし、サブブロック分割方法はこれに限定されない。図７（ｃ）、（ｄ）のような二分木分割や、図７（ｅ）、（ｆ）のような三分木分割または図７（ａ）のような無分割を用いても構わない。

予測部１０３による予測処理について詳しく説明する。ＨＥＶＣをはじめとする画像符号化技術においては、再生画像の画質を維持しつつ、符号化されるビットストリームのデータ量を小さくするため、符号化済サブブロックの画素を用いて符号化対象サブブロックの画素を予測する処理が行われる。予測処理には、符号化対象のサブブロックが存在するフレーム内の符号化済サブブロックの画素を用いるイントラ予測や、符号化対象のサブブロックが存在するフレームとは異なる、符号化済みフレームのサブブロックの画素を用いるインター予測が存在する。本実施形態でも、この２種類の予測方法が用いられる。

イントラ予測を行う場合、予測部１０３は、符号化対象のサブブロックの空間的に周辺に位置し、符号化済画素を用いて符号化対象のサブブロックの予測画素を生成する（なお、以降、符号化対象のサブブロックを注目サブブロック、符号化対象のサブブロックを含む基本ブロックを注目基本ブロックとも呼称する）。この際、予測部１０３は、注目サブブロックの左に隣接するサブブロックの符号化済画素を用いる水平予測や、上に隣接するサブブロックの符号化済画素を用いる垂直予測などのイントラ予測方法の中から注目サブブロックの予測に用いる方法を決定し、それを示す情報をイントラ予測モードとして生成する。イントラ予測に用いられる周辺のサブブロックは左や上に位置しているものに限られず、符号化済であれば左下や左上、右上に位置しているものも用いられる。図８を用いて、符号化対象サブブロックとイントラ予測に用いられる周辺のサブブロックとの関係性について更に詳しく説明する。

図８（ａ）において、太枠は６４×６４画素の基本ブロックを示し、太枠を四分木分割した細枠は３２×３２画素のサブブロックを示している。図８（ｂ）〜図８（ｅ）は、符号化対象の注目サブブロック（Ｃ：Ｃｕｒｒｅｎｔ）と、その周辺｛左下、左、左上、上、右上｝に位置する５つのサブブロック｛ＢＬ：Ｂｏｔｔｏｍ Ｌｅｆｔ、Ｌ：Ｌｅｆｔ、ＵＬ：Ｕｐｐｅｒ Ｌｅｆｔ、Ｕ：Ｕｐｐｅｒ、ＵＲ：Ｕｐｐｅｒ Ｒｉｇｈｔ｝との関係性を示している。

図８（ｂ）は、注目サブブロック（Ｃ）が注目基本ブロック内の左上に位置している場合の周辺の５つのサブブロックとの位置関係を示している。なお、注目サブブロック（Ｃ）が注目基本ブロック内の左上に位置しているかどうかは、注目サブブロック（Ｃ）が注目基本ブロック内の左上端の画素を含んでいるか否かで判断することができる。図８（ｂ）では、符号化対象サブブロック（Ｃ）の予測処理時には、５つのサブブロックＵＬ、Ｕ，ＵＲ，Ｌ、ＢＬの符号化処理が完了しているため、これら５つのサブブロックを用いてイントラ予測処理を行うことが可能である。予測の方法に応じて、これら５つのサブブロックの全てを用いて注目サブブロック（Ｃ）のイントラ予測処理を行うこともできるし、５つのサブブロックの内の一部のみを用いて注目サブブロック（Ｃ）のイントラ予測処理を行ってもよい。

図８（ｃ）は、注目サブブロック（Ｃ）が注目基本ブロック内の右上に位置している場合の周辺の５つのサブブロックとの位置関係を示している。注目サブブロック（Ｃ）が注目基本ブロック内の右上に位置しているかどうかは、注目サブブロック（Ｃ）が注目基本ブロック内の右上端の画素を含んでいるか否かで判断することができる。図８（ｃ）では、符号化対象サブブロック（Ｃ）の予測処理時には、５つのサブブロックのうち左下（ＢＬ）のサブブロックは符号化処理が完了していないため、イントラ予測処理に用いることができない。

また、右上（ＵＲ）のサブブロックは、符号化処理を逐次的に行っている場合には符号化が完了していることになる。ここで、符号化処理の速度を上げるため、符号化処理を基本ブロックの行単位で並列に実行する場合、特に各基本ブロック行（ブロックライン）間を１基本ブロック分の遅延で並列に実行する場合を考察する。つまり、ブロック行ごとに別々の符号化部を用いて、それぞれ基本ブロック１つ分だけ遅延させて符号化処理を開始する場合について考察する。図９は、４つの並列符号化処理が、４つの基本ブロック行を左から右方向に、１基本ブロック分ずつ遅延して行われる様を示している。図示の斜線部分で示される４つが、並列で符号化されている基本ブロックを示している。この中で、最上の基本ブロック行の符号化処理を除く、２乃至４行目の基本ブロックの１つを、図８（ｃ）に当てはめると、注目サブブロック（Ｃ）の予測処理時には、その右上のサブブロック（ＵＲ）の符号化処理が完了（符号化中）していないことになるのがわかる。

ここで、符号化処理を上述のように並列に実行している場合であって、注目サブブロックが注目基本ブロック内の右上に位置するサブブロックの場合は、注目サブブロックの右上に位置するサブブロック（ＵＲ）を用いずに予測処理を行うことが考えられる。しかしながら、このような場合に限って、予測処理において注目サブブロックの右上に位置するサブブロック（ＵＲ）を用いることを禁止（制限）すると、その分、当該符号化方法を実装する際の難易度が高くなってしまったり符号化処理が複雑になってしまうといった問題や、符号化処理の速度の低下や、メモリ使用量の増加、といった問題が発生する。

そこで、本実施形態の予測部１０３は、符号化処理を並列に実行しているか否かに関わらず、注目サブブロックが注目基本ブロック内の右上に位置するサブブロックの場合、常に、注目サブブロックの右上に位置するサブブロック（ＵＲ）を用いずに注目サブブロックの予測処理を行うものとする。言い換えれば、注目サブブロックの右上のサブブロックが、注目基本ブロックの右上に位置する基本ブロック内にある場合は、右上のサブブロックを予測処理で用いるサブブロックから除外する。これにより、符号化処理を並列に実行しているか否かに関わらず、右上基本ブロックの参照により生じていた画素値の保持などの実装コストを低下させることができる。要するに、実施形態では、符号化対象のサブブロック（Ｃ）が図８（ｃ）の状態に合致するとき、予測部１０３は、その予測処理時に、右上（ＵＲ）、左下（ＢＬ）を除外し（これらのブロックを使用しないように制限し）、左（Ｌ）、左上（ＵＬ）、上（Ｕ）の３つのサブブロックを用いてイントラ予測処理を行う。

同様に、図８（ｄ）は、注目サブブロック（Ｃ）が、基本ブロック内の左下に位置している場合の周辺の５つのサブブロックとの位置関係を示している。注目サブブロック（Ｃ）が注目基本ブロック内の左下に位置しているかどうかは、注目サブブロック（Ｃ）が注目基本ブロック内の左下端の画素を含んでいるか否かで判断することができる。図８（ｄ）では、注目サブブロック（Ｃ）の予測処理時には、左下（ＢＬ）のサブブロックは符号化処理が完了していないため、イントラ予測処理に用いることができない。しかし、残りの左（Ｌ）、左上（ＵＬ）、上（Ｕ）、右上（ＵＲ）の４つのサブブロックは符号化済みである。よって、予測部１０３は、左下（ＢＬ）のサブブロックは用いずに、これら左（Ｌ）、左上（ＵＬ）、上（Ｕ）、右上（ＵＲ）の４つのサブブロックを参照してイントラ予測処理を行う。

最後に、図８（ｅ）は注目サブブロック（Ｃ）が、基本ブロック内の右下に位置している場合の周辺の５つのサブブロックとの位置関係を示している。注目サブブロック（Ｃ）が注目基本ブロック内の右下に位置しているかどうかは、注目サブブロック（Ｃ）が注目基本ブロック内の右下端の画素を含んでいるか否かで判断することができる。図８（ｅ）では、注目サブブロック（Ｃ）の予測処理時には、左下（ＢＬ）および右上（ＵＲ）のサブブロックは符号化処理が完了していないため、イントラ予測処理に用いることができない。よって、同図の場合、予測部１０３は、左下（ＢＬ）および右上（ＵＲ）のサブブロックは用いずに、残りの左（Ｌ）、左上（ＵＬ）、上（Ｕ）の３つのサブブロックを用いてイントラ予測処理を行う。

一方、インター予測は符号化済フレーム（符号化対象のサブブロックが属するフレームとは異なるフレーム）の画素を参照して、注目ブロック（符号化対象サブブロック）の画素を予測する処理である。例えば、参照対象の符号化済フレームと符号化対象フレームとの間で動きが無い場合は、符号化対象サブブロックの画素は参照対象の符号化済フレームの同一位置の画素を用いて予測される。このような場合、動きが無いことを示す（０、０）動きベクトルが生成される。一方で符号化対象サブブロックに対して、フレーム間で動きが発生している場合にはその動きを示す動きベクトル（ＭＶｘ、ＭＶｙ）を生成する。

ＨＥＶＣをはじめとする画像符号化標準ではこの動きベクトルに関するデータ量をさらに削減するため、「動きベクトル予測」と呼ばれる技術が採用されている。これは符号化済の他のサブブロックの動きベクトルを用いて符号化対象サブブロックの動きベクトルを予測する技術であり、動きベクトルのデータ量を削減する効果がある。例えば、図８（ｂ）のサブブロックＣが動いている物体の一部であった場合、サブブロックＣの周辺のサブブロックＬ、Ｕ、ＵＲ、Ｌ、ＢＬなどを動きベクトル予測子（Ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）の候補として選択し、その中で、サブブロックＣの動きベクトルと最も近い動きベクトルを動きベクトル予測子とする。そして、例えば、この動きベクトル予測子と、符号化対象サブブロックの動きベクトルとの差分を符号化する。

本実施形態の予測部１０３は、イントラ予測の場合と同様、符号化対象の注目サブブロックＣと、その周辺のサブブロックとの位置関係に応じて、動きベクトル予測に用いるサブブロックを制限する。言い換えると、動きベクトル予測子として動きベクトルを選択することができる（利用可能とする）サブブロックを、周辺のサブブロックとの位置関係に応じて異ならせる。

例えば、図８（ｂ）の場合、すなわち符号化対象サブブロック（Ｃ）が基本ブロックの左上に位置している場合、左下（ＢＬ）、左（Ｌ）、左上（ＵＬ）、上（Ｕ）、右上（ＵＲ）の５つ全てのサブブロックは符号化済みであるので、それらの動きベクトル（動きベクトルメモリ１１２に格納されている）が動きベクトル予測子の候補として選択可能である。予測部１０３は、これら５つ全てのサブブロックの動きベクトルを動きベクトル予測子の候補として動きベクトル予測を行う。ただし、これらのサブブロックは動きベクトルを有していない場合もあり、その場合は、そのサブブロックの動きベクトルは用いることができない。例えば、あるサブブロックがイントラ予測を用いて符号化されている場合は、そのブロックには動きベクトルを有していないこととなる。このことは、以下の図８（ｃ）〜図（ｅ）の説明でも同様である。

また、本実施形態では、状況によっては、これら５つ全てのサブブロックの動きベクトルを動きベクトル予測子の候補として動きベクトル予測を行うことが可能なことがある場合について説明するが、動きベクトル予測に用いることができるサブブロックの最大数はこれら５つのサブブロックに限らず、５つのサブブロックの内の一部でもよいし、他のサブブロックを加えてもよい。ただし、いずれにしても、後述するように符号化対象サブブロック（Ｃ）の位置に応じて、使用可能なサブブロックは制限を受けることとなる。

一方、図８（ｃ）の場合、すなわち符号化対象サブブロック（Ｃ）が基本ブロックの右上に位置している場合、予測部１０３は、イントラ予測の場合と同様、符号化済でない左下（ＢＬ）のサブブロックの動きベクトルと、現在の基本ブロックの右上の基本ブロックに属する右上（ＵＲ）のサブブロックの動きベクトルは、常に、当該符号化対象サブブロック（Ｃ）の動きベクトル予測に用いない。言い換えると、この場合、左下（ＢＬ）のブロックの動きベクトルを動きベクトル予測子の候補とすることは禁止（制限）される。また、右上（ＵＲ）のブロックの動きベクトルを動きベクトル予測子の候補とすることも禁止（制限）される。

よって、予測部１０３は、残りの左（Ｌ）、左上（ＵＬ）、上（Ｕ）の３つのサブブロックの動きベクトルを動きベクトル予測子の候補として動きベクトル予測を行う。これにより、イントラ予測の場合と同様、符号化処理を並列に実行しているか否かに関わらず、左下（ＢＬ）のサブブロックの動きベクトルと、右上（ＵＲ）のサブブロックの動きベクトルとは、動きベクトル予測子の候補とすることは禁止するため、右上基本ブロックの参照により生じていた画素値の保持などの実装コストを低下させることができる。

同様に、図８（ｄ）の場合、すなわち符号化対象サブブロック（Ｃ）が基本ブロックの左下に位置している場合、予測部１０３は、符号化済でない左下（ＢＬ）の動きベクトルは動きベクトル予測に用いない。つまり、この場合、左下（ＢＬ）の動きベクトルを、動きベクトル予測子の候補とすることは禁止（制限）される。よって、予測部１０３は、残りの左（Ｌ）、左上（ＵＬ）、上（Ｕ）、右上（ＵＲ）の４つのサブブロックの動きベクトルを動きベクトル予測子の候補として動きベクトル予測を行う。

最後に、図８（ｅ）の場合、すなわち符号化対象サブブロック（Ｃ）が基本ブロックの右下に位置している場合、予測部１０３は、符号化済でない左下（ＢＬ）の動きベクトルおよび右上（ＵＲ）の動きベクトルは動きベクトル予測に用いない。つまり、この場合、左下（ＢＬ）のブロックの動きベクトルを動きベクトル予測子の候補とすることは禁止（制限）される。また、右上（ＵＲ）のブロックの動きベクトルを動きベクトル予測子の候補とすることも禁止（制限）される。よって、予測部１０３は、残りの左（Ｌ）、左上（ＵＬ）、上（Ｕ）の３つのサブブロックの動きベクトルを動きベクトル予測子の候補として用いて動きベクトル予測を行う。

予測部１０３は、上記のようにして決定したイントラ予測モードや動きベクトルおよび符号化済の画素から予測画像データを生成し、さらに入力された画像データと前記予測画像データから予測誤差を生成し、変換・量子化部１０４に出力する。また、予測部１０３は、サブブロック分割やイントラ予測モード、動きベクトルなどの情報は予測情報として、符号化部１０９、画像再生部１０６、動きベクトルメモリ１１２に出力する。

変換・量子化部１０４は、入力された予測誤差に直交変換・量子化を行い、量子化係数を生成する。具体的には、変換・量子化部１０４は、まず、サブブロックのサイズに対応した直交変換処理を施して、直交変換係数を生成する。次に、変換・量子化部１０４は、直交変換係数を量子化し、量子化係数を生成する。そして、変換・量子化部１０４は、生成した量子化係数を符号化部１０９および逆量子化・逆変換部１０５に出力する。

逆量子化・逆変換部１０５は、入力した量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差を再生する。そして、逆量子化・逆変換部１０５は、再生した予測誤差を画像再生部１０６に出力する。

画像再生部１０６は、予測部１０３から入力される予測情報に基づいて、フレームメモリ１０７や動きベクトルメモリ１１２を適宜参照し、予測画像を再生する。イントラ予測が用いられている場合には、画像再生部１０６はフレームメモリ１１２に格納されている周辺の符号化済サブブロックの画素を用いて予測画像を再生する。この場合、符号化対象サブブロックと周辺の符号化済サブブロックとの位置関係に応じて、イントラ予測に用いるサブブロックが制限されるが、その制限方法は予測部１０３の予測処理における制限方法と同様であるため、ここでの説明は省略する。同様に、インター予測が用いられている場合は、画像再生部１０６は、予測部１０３で決定した動きベクトルに基づいて、フレームメモリ１１２に格納されている他のフレームの符号化済サブブロックの画素を用いて予測画像を生成する。この場合、符号化対象サブブロックと周辺の符号化済サブブロックとの位置関係に応じて、動きベクトル予測に用いるサブブロックが制限されるが、その制限方法は予測部１０３の予測処理における制限方法と同様であるため、ここでの説明は省略する。画像再生部１０６は、そして再生された予測画像と、逆量子化・逆変換部１０５から入力された再生された予測誤差から画像データを再生し、再生した画像データをフレームメモリ１０７に格納する。

インループフィルタ部１０８は、フレームメモリ１０７から再生画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部１０８は、フィルタ処理された画像データをフレームメモリ１０７に再格納する。

符号化部１０９は、ブロック単位で、変換・量子化部１０４で生成された量子化係数、予測部１０３から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に問わないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。符号化部１０９は、生成した符号データを統合符号化部１１０に出力する。

統合符号化部１１０は、復号側でビットストリームの復号に必要となる、シーケンスやピクチャのヘッダ部分に符号化されるヘッダ符号データを生成する。統合符号化部１１０は、さらに、ヘッダ符号データに後続するように、符号化部１０９から入力された符号データなどを多重化（統合）してビットストリームを形成する。そして、符号化部１０９は、形成したビットストリームを、出力端子１１１を介して外部に出力する。

図６は第１の実施形態で出力されるビットストリームのデータ構造の一例を示している。ピクチャ単位の符号化データであるピクチャデータに先立ち、シーケンス単位でのヘッダ情報が含まれるシーケンスヘッダやピクチャ単位でのヘッダ情報が含まれるピクチャヘッダが存在する。

図３は、実施形態の画像符号化装置における制御部１５０の１フレーム分の符号化処理を示すフローチャートである。

まず、画像の符号化に先立ち、Ｓ３０１にて、制御部１５０は、統合符号化部１１１を制御し、画像のサイズ（１フレームの水平、垂直方向の画素数）や基本ブロックの大きさなど、画像データの符号化や復号側でのビットストリームの復号に必要なヘッダ情報を符号化させ、出力させる。

Ｓ３０２にて、制御部１５０はブロック分割部１０２を制御し、入力したフレーム画像を基本ブロック単位に分割し、その１つを予測部１０３に出力させる。

Ｓ３０３にて、制御部１５０は予測部１０３を制御し、Ｓ３０２にて生成された基本ブロック単位の画像データに対する予測処理を実行させ、サブブロック分割情報や予測モードなどの予測情報および予測画像データを生成させる。予測部１０３は、さらに入力された画像データと前記予測画像データから予測誤差を算出し、出力する。

Ｓ３０４にて、制御部１５０は変換・量子化部１０４を制御し、直交変換、量子化を行わせる。これにより、変換・量子化部１０４は、Ｓ３０３で算出された予測誤差に対する直交変換を実行し、変換係数を生成する。そして、変換・量子化部１０４は、その変換係数に対する量子化を行い、量子化係数を生成する。

Ｓ３０５にて、制御部１５０は逆量子化・逆変換部１０５を制御し、逆量子化、逆直交変換を行わせる。これにより、逆量子化・逆変換部１０５は、Ｓ３０４にて生成された量子化係数を逆量子化し、変換係数を再生する。更に、逆量子化・逆変換部１０５は、その変換係数に対して逆直交変換し、予測誤差を再生する。

Ｓ３０６にて、制御部１５０は画像再生部１０６を制御し、画像を再生させる。具体的には、画像再生部１０６は、Ｓ３０３で生成された予測情報に基づいて予測画像を再生する。更に、画像再生部１０６は、再生された予測画像と、Ｓ３０５で生成された予測誤差から画像データを再生し、フレームメモリ１０７に格納する。

Ｓ３０７にて、制御部１５０は符号化部１０９を制御し、画像の符号化を行わせる。具体的には、符号化部１０９は、Ｓ３０３で生成された予測情報およびＳ３０４で生成された量子化係数を符号化し、符号データを生成する。また、符号化部１０９は他の符号データも含め、ビットストリームを生成する。

Ｓ３０８にて、制御部１５０は、注目フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していればＳ３０９に処理を進め、未符号化の基本ブロックがあると判定した場合は、その基本ブロックを符号化するため処理をＳ３０２に戻す。

Ｓ３０９にて、制御部１５０はインループフィルタ部１０８を制御し、フィルタ処理を実行させる。具体的には、インループフィルタ部１０８は、フレームメモリ１０７に格納された画像（Ｓ３０６で再生された画像データ）に対し、インループフィルタ処理を行い、フィルタ処理された画像データをフレームメモリ１０７に再格納し、本処理を終える。

以上の構成と動作、特にＳ３０３において、複数の基本ブロックで構成されるブロック行ごとに並列に符号化するか否かに関わらずに、符号化対象のサブブロック（注目サブブロック）が属する基本ブロックの右上に隣接する基本ブロックに属するサブブロックを参照せずに予測処理を行うことで、実装の複雑度を低減し、さらには符号化の並列処理の実現性も高めることができる。

図２は、実施形態における上記画像符号化装置で生成された符号化画像データから、サブブロック単位に、イントラ予測復号、インター予測復号を行う画像復号装置のブロック構成図である。以下、同図を参照し、復号処理に係る構成とその動作を説明する。なお、当該符号化画像データを復号する復号処理においても、上述のイントラ予測において用いることができるサブブロックに関する制限や、インター予測において動きベクトル予測子として選択できるサブブロックに関する制限は同様である。

画像復号装置は、装置全体の制御を司る制御部２５０を有する。この制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像復号装置は、入力端子２０１、分離復号部２０２、復号部２０３、逆量子化・逆変換部２０４、画像再生部２０５、フレームメモリ２０６、インループフィルタ部２０７、出力端子２０８、及び、動きベクトルメモリ２０９を有する。

入力端子２０１は、符号化されたビットストリームを入力するものであり、入力源は例えば符号化ストリームを格納した記憶媒体であるが、ネットワークから入力しても良く、その種類は問わない。

分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。分離復号部２０２は、図１の統合符号化部１１０と逆の動作を行う。

復号部２０３は、分離復号部２０２から出力された符号データを復号し、量子化係数および予測情報を再生する。そして、復号部２０３は、得られた量子化係数や予測情報を逆量子化・逆変換部２０４、画像再生部２０５に出力する。また、復号部２０３は、予測情報に含まれる動きベクトルの情報を、動きベクトルメモリ２０９に出力し、格納する。

逆量子化・逆変換部２０４は、復号部２０３から入力した量子化係数に対して逆量子化を行って変換係数を得る。更に、逆量子化・逆変換部２０４は、変換係数に対して逆直交変換を行い、予測誤差を再生する。

画像再生部２０５は、入力した予測情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成する。そして、画像再生部２０５は、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成し、フレームメモリに出力（格納）する。

インループフィルタ部２０７は、図１のインループフィルタ部１０８と同様、再生画像（フレームメモリ２０６に格納されている）に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像を出力する。

出力端子２０８は、フレームメモリ２０６に格納されたフレーム画像を順次、外部に出力する。出力先は表示装置が一般的であるが、他のデバイスであっても構わない。

上記実施形態の画像復号装置の画像の復号に係る動作を、更に詳しく説明する。本実施形態では、符号化されたビットストリームをフレーム単位で入力する構成となっている。

図２において、分離復号部２０２は、入力端子２０１を介して、１フレーム分のビットストリームを入力もしくは受信する。分離復号部２０２は、入力したビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。続いて、分離復号部２０２は、ピクチャデータの基本ブロック単位の符号データを再生し、復号部２０３に出力する。

復号部２０３は、符号データを復号し、量子化係数および予測情報を再生する。そして、復号部２０３は、量子化係数を逆量子化・逆変換部２０４に、予測情報を画像再生部２０５にそれぞれ出力する。また、復号部２０３は、予測情報における動きベクトルをサブブロックの位置と対応付けるように、動きベクトルメモリ２０９に出力し、格納する。

逆量子化・逆変換部２０４は、入力された量子化係数に対し、逆量子化を行って直交変換係数を生成する。更に、逆量子化・逆変換部２０４は、生成した直交変換係数に対して逆直交変換を施して予測誤差を再生する。そして、逆量子化・逆変換部２０４は、再生した予測誤差を画像再生部２０５に出力する。

画像再生部２０５は、復号部２０３から入力された予測情報及び動きベクトルメモリ２０９を参照し、フレームメモリ２０６を適宜参照し、予測画像を再生する。本実施形態では、画像符号化装置の予測部１０３と同様、イントラ予測およびインター予測の２種類の予測方法が用いられる。復号対象サブブロックと周辺の復号済サブブロックとの位置関係に応じて予測処理に用いるサブブロックを制限するが、具体的な予測画像の再生処理については、画像符号化装置における画像再生部１０６と同様であるため、説明を省略する。画像再生部２０５は、この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、その再生画像データをフレームメモリ２０６に格納する。格納された画像データは予測の際の参照に用いられることになる。

なお、画像再生部２０５においても、画像符号化装置の予測部１０３と同じように、イントラ予測において用いることができるサブブロックが制限される。そのため、不要なデータを他のブロックにおいて参照するために記憶しておく必要がなく、また、他のブロックのためにデータを記憶しておくかどうかの判断が簡易となるため、メモリ使用量の低減や、実装の複雑度の低減を実現することができる。また、画像符号化装置の予測部１０３と同じように、インター予測において動きベクトル予測子として選択できるサブブロックについても制限される。このことも、実装の複雑度の低減や、メモリ使用量の低減に寄与する。

インループフィルタ部２０７は、画像符号化装置のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７は、フィルタ処理された画像を再びフレームメモリ２０６に格納する。フレームメモリ２０６に格納され、フィルタ処理された再生画像は、最終的には端子２０８から外部（ディスプレイなど）に出力される。

図４は、実施形態に係る画像復号装置における制御部２５０の１フレームの画像の復号処理を示すフローチャートである。以下同図を参照して、復号処理を説明する。

Ｓ４０１にて、制御部２５０は、分離復号部２０２を制御し、ビットストリームから復号処理に関する情報や画像データの符号データに分離し、復号の際に必要となる情報の取得と、画像の符号データを復号部２０３に出力させる。

Ｓ４０２にて、制御部２５０は復号部２０３を制御し、Ｓ４０１で分離された符号データを復号させ、量子化係数および予測情報を再生させる。

Ｓ４０３にて、制御部２５０は逆量子化・逆変換部２０４を制御し、逆量子化、逆直交変換を行わせる。具体的には、逆量子化・逆変換部２０４は、制御部２５０の制御下にて、各サブブロックの量子化係数に対し逆量子化を行って変換係数を得て、更に、その変換係数に対して逆直交変換を行うことで、予測誤差を再生する。

Ｓ４０４にて、制御部２５０は画像再生部２０５を制御し、画像データを再生させる。具体的には、画像再生部２０５は、予測情報に基づき予測画像を再生する。そして、画像再生部２０５は、予測画像に、Ｓ４０４で生成された予測誤差を加算することで、画像データを再生する。

Ｓ４０５にて、制御部２５０は、注目フレームの復号処理を終えたか否か、つまり、注目フレーム内の全ての基本ブロックおよびその内部の全サブブロックの復号が終了したか否かの判定を行う。そして、制御部２５０は、注目フレームに対する復号が完了した場合には、処理をＳ４０６に進め、未復号の基本ブロックやサブブロックが存在する場合は、次の基本ブロックもしくはサブブロックの復号を行うため、処理をＳ４０２に戻す。

Ｓ４０６にて、制御部２５０はインループフィルタ部２０７を制御し、フレームメモリ２０６に格納された画像データ（Ｓ４０４で再生された画像データ）に対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

以上説明したように本実施形態の画像復号装置によれば、ブロック行ごとに並列に符号化されたか否かに関わらずに、復号対象のサブブロック（注目サブブロック）が属する基本ブロックの右上に隣接する基本ブロックに属するサブブロックを参照せずに予測処理を行ったビットストリームを復号することができる。結果として、実装の複雑度が低減されるため、復号の並列処理の実現性も高めることができる。

［第２の実施形態］
上記実施形態の画像符号化装置及び画像復号装置が有する各処理部は、ハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理を、コンピュータプログラムでもって構成しても良い。

図５は、上記実施形態に係る画像符号化装置、画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。

ＲＡＭ５０２は、外部記憶装置５０６、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したプログラムやデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアとしても利用される。ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラム（アプリケーションプログラム）が保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

上記構成において、本装置に電源が投入されると、ＣＰＵ５０１はＲＯＭ５０３に格納されたブートプログラムを実行し、外部記憶装置５０６に格納されたＯＳをＲＡＭ５０２にロードし実行する。そして、ＣＰＵ５０１は、ＯＳの制御下にて、外部記憶装置５０６から符号化、或いは、復号に係るアプリケーションプログラムをＲＡＭ５０２にロードし、実行する。この結果、ＣＰＵ５０１は、図１或いは図２の各処理部として機能し、本装置が画像符号化装置、或いは、画像復号装置として機能することになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【産業上の利用可能性】

【0102】

【符号の説明】

【0103】

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】