(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2019146147
(43)【公開日】20190829
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
   H04N 5/74 20060101AFI20190802BHJP
   H04N 5/232 20060101ALI20190802BHJP
   G09G 5/00 20060101ALI20190802BHJP
   G09G 5/36 20060101ALI20190802BHJP
   G09G 5/377 20060101ALI20190802BHJP
   G03B 17/20 20060101ALI20190802BHJP
【FI】
   !H04N5/74 Z
   !H04N5/232 220
   !G09G5/00 550C
   !G09G5/36 520P
   !G09G5/36 520M
   !G09G5/00 550H
   !G09G5/00 510B
   !G09G5/00 510P
   !H04N5/232 945
   !G03B17/20
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【全頁数】21
(21)【出願番号】2018210844
(22)【出願日】20181108
(31)【優先権主張番号】2018028112
(32)【優先日】20180220
(33)【優先権主張国】JP
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
【住所又は居所】東京都大田区下丸子3丁目30番2号
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100124442
【弁理士】
【氏名又は名称】黒岩 創吾
(72)【発明者】
【氏名】石井 正俊
【住所又は居所】東京都大田区下丸子3丁目30番2号キヤノン株式会社内
【テーマコード(参考)】
2H102
5C058
5C122
5C182
【Fターム(参考)】
2H102AA45
2H102BB01
2H102CA11
5C058BA23
5C058EA03
5C122EA48
5C122FB06
5C122FK08
5C122FK23
5C122FK28
5C122FK37
5C122FK41
5C122GB05
5C122HA85
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB10
5C182AA04
5C182AA12
5C182AC39
5C182BA01
5C182BA06
5C182BA14
5C182BB04
5C182BB13
5C182CA01
5C182CA32
5C182CB11
5C182CB12
5C182CB23
5C182CB27
5C182CB44
5C182CB54
5C182CC26
(57)【要約】
【課題】 撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することを目的とする。
【解決手段】 画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第1取得手段と、前記入力画像を表す入力画像データを取得する第2取得手段と、前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、前記特定された範囲を表す情報を出力する出力手段と、を有し、前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする画像処理装置。
【選択図】 図8
【特許請求の範囲】
【請求項1】
画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、
前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第1取得手段と、
前記入力画像を表す入力画像データを取得する第2取得手段と、
前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、
前記特定された範囲を表す情報を出力する出力手段と、を有し、
前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする画像処理装置。
【請求項2】
前記特定された範囲の形は、矩形とは異なる形であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記特定された範囲を表す情報を生成する生成手段をさらに有し、
前記出力手段は、前記生成手段によって生成された前記情報を出力することを特徴とする請求項1又は請求項2に記載の画像処理装置。
【請求項4】
前記生成手段は、前記特定された範囲を表す情報として、前記入力画像に前記特定された範囲を示すマーカーが重畳された前記入力画像を表すマーカー付き画像データを生成することを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記マーカーは、前記入力画像において、前記特定された範囲を示す枠であって、
前記生成手段は、前記入力画像において、前記特定された範囲を示す枠に対応する領域の画素値を所定の値に変換することによって、前記マーカー付き画像データを生成することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記生成手段は、前記入力画像において、前記特定された範囲に対応する領域の画素値に所定の値を加算することよって、前記マーカー付き画像データを生成することを特徴とする請求項4に記載の画像処理装置。
【請求項7】
前記生成手段は、前記入力画像における前記特定された範囲の外の画素値を所定の値に変換する、又は、画素値から所定の値を減算することによって、前記特定された範囲を表す情報を生成することを特徴とする請求項3に記載の画像処理装置。
【請求項8】
前記第1取得手段は、前記表示の形態を表す情報として、前記表示部における画像表示領域のエッジの、3次元空間における位置を表す位置情報を取得することを特徴とする請求項1乃至請求項7のいずれか一項に記載の画像処理装置。
【請求項9】
前記第1取得手段が取得する前記位置情報は、前記エッジの位置に対応する点の座標を表す点群データであることを特徴とする請求項8に記載の画像処理装置。
【請求項10】
前記第1取得手段が取得する前記表示の形態を表す情報は、前記表示部のサイズと、前記表示部の配置情報と、を少なくとも含むことを特徴とする請求項1乃至請求項7のいずれか一項に記載の画像処理装置。
【請求項11】
前記入力画像データを得るための撮像における撮像条件を表す撮像情報を取得する第3取得手段と、
前記表示部を観察する視点の位置を表す視点情報を取得する第4取得手段と、をさらに有し、
前記特定手段は、さらに、前記撮像情報と前記視点情報と基づいて、前記表示部が表示する範囲を特定することを特徴とする請求項1乃至請求項10のいずれか一項に記載の画像処理装置。
【請求項12】
前記表示部を含む装置又はシステムは、前記表示部としてのスクリーンと、前記スクリーンに画像を投影するプロジェクタと、によって構成されることを特徴とする請求項1乃至請求項11のいずれか一項に記載の画像処理装置。
【請求項13】
前記表示部は、曲面のスクリーンであることを特徴とする請求項12に記載の画像処理装置。
【請求項14】
前記表示部は、複数の平面のスクリーンによって構成されることを特徴とする請求項12に記載の画像処理装置。
【請求項15】
前記表示部はディスプレイであることを特徴とする請求項1乃至請求項11のいずれか一項に記載の画像処理装置。
【請求項16】
前記表示部を含む装置又はシステムは、前記表示部としての記録媒体と、前記記録媒体に画像を形成するプリンタと、によって構成されることを特徴とする請求項1乃至請求項11のいずれか一項に記載の画像処理装置。
【請求項17】
請求項1乃至請求項16のいずれか一項に記載の画像処理装置と、
前記表示部を含む装置又はシステムと、
撮像装置と、
を有することを特徴とする撮像システム。
【請求項18】
撮像対象の画像を表示する表示部を有し、
前記表示部には、表示範囲を示す枠が前記画像に重畳して表示され、
前記表示範囲は、撮像装置とは異なる表示装置の表示部において前記画像を表示するために用いる幾何変換パラメータ又は切り出し範囲を示す情報に応じていることを特徴とする画像処理装置。
【請求項19】
コンピュータを請求項1乃至請求項16のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項20】
画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理方法であって、
前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第1取得ステップと、
前記入力画像を表す入力画像データを取得する第2取得ステップと、
前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定ステップと、
前記特定された範囲を表す情報を出力する出力ステップと、を有し、
前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置による撮像を補助するための画像処理技術に関する。
【背景技術】
【0002】
従来、ディスプレイなどの表示装置に、撮像によって得られた画像の一部を切り出して表示することが行われている。そのため、表示装置に画像を表示することを想定した撮像を補助する技術がある。特許文献1は、撮像時に、撮像によって得られた画像に、表示装置において表示されると思われる領域を示すマーカーを重畳する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−197642号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1においては、表示装置において表示されると思われる領域をマーカーによって示しているのみである。しかしながら、画像の一部を切り出して表示装置に表示する場合などには、マーカーが表示領域を示していないことがある。このように従来技術においては、表示装置において画像が表示される領域を示すためのマーカーを必ずしも適切に生成できていなかった。
【0005】
そこで本発明においては、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る画像処理装置は、画像を表示する表示部を含む装置又はシステムが入力画像において表示する範囲を、通知するための画像処理装置であって、前記表示部を含む装置又はシステムの表示の形態を表す情報を取得する第1取得手段と、前記入力画像を表す入力画像データを取得する第2取得手段と、前記入力画像データと前記情報とに基づいて、前記入力画像において前記表示部が表示する範囲を特定する特定手段と、前記特定された範囲を表す情報を出力する出力手段と、を有し、前記特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である前記表示部に応じた形であることを特徴とする。
【発明の効果】
【0007】
本発明によれば、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。
【図面の簡単な説明】
【0008】
【図1】画像処理装置を含むシステムのハードウェア構成を示すブロック図
【図2】画像処理装置の機能構成を示すブロック図
【図3】画像処理装置において行われる処理の流れを示すフローチャート
【図4】表示システムの構成例を示す図
【図5】マーカー付き画像を生成する処理の流れを示すフローチャート
【図6】3次元の空間座標系を示す図
【図7】2次元のUV座標系を示す図
【図8】マーカー付き画像の一例を示す図
【図9】マーカー付き画像の一例を示す図
【図10】画像処理装置において行われる処理の流れを示すフローチャート
【図11】マーカー付き画像を生成する処理の流れを示すフローチャート
【図12】マーカー付き画像の一例を示す図
【図13】表示システムの構成例を示す図
【図14】マーカー付き画像の一例を示す図
【図15】表示システムの表示範囲についての課題を説明するための図
【図16】撮像システムの構成を示すブロック図
【図17】スクリーンにおける画像表示領域のエッジの位置を説明するための図
【図18】球面スクリーンの一例を示す図
【図19】曲面スクリーンの一例を示す図
【図20】球面スクリーンの一例を示す図
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが必ずしも本発明の解決手段に必須のものとは限らない。尚、同一の構成については、同じ符号を付して説明する。
【0010】
[第1実施形態]
撮像によって得られた画像を撮像装置とは異なる表示装置に表示する場合、その表示装置の表示形態に応じて画像から一部を切り出す必要がある。この切り出し処理によって切り出された範囲、つまり表示装置が表示する範囲に、撮像者が意図した映像を含めることができない場合があった。例えば、図4に示す表示システムに画像を表示することを考える。図4の表示システムは、3つのスクリーンと3つのプロジェクタとによって構成されており、センタースクリーン401に対して角度αの開き角で左サイドスクリーン402と右サイドスクリーン403とが配置されている。図4においてプロジェクタは不図示であるが、3つのプロジェクタは、視点位置(視聴者)の真上に重ねて配置され、各スクリーンに画像を投影する。視点位置は、センタースクリーン401の中心から、センタースクリーン401と直交する方向に距離Dviewだけ離れた位置にあるものとする。このように、視聴者の視野の大部分を覆うように配置された3つのスクリーンを使って映像を表示することによって、まるで表示された映像を得た場所にいるかのような感覚を引き起こさせる、臨場感の高い映像体験を視聴者に提供することが可能となる。図15(a)には、上述した表示システムのスクリーンに表示させたい被写体1502を含む撮像画像1501を示す。図15(b)には、上述したスクリーンに画像の一部を表示させる際に、画像において画像から切り出される表示範囲1503乃至1505を示す。ここで、表示範囲の形状に注目すると、例えば、同サイズの3つのスクリーンが横並びで配置されている場合、表示範囲1503乃至1505は全て同サイズの長方形となる。しかしながら、上述したように、より臨場感の高い映像体験を実現するためには、視聴者の視野を覆うようなスクリーン配置にすることが重要である。つまり、図4に示す表示システムのように、センタースクリーン401に対して、左サイドスクリーン402と右サイドスクリーン403とが角度をつけて配置される。このスクリーンの配置に応じて、図15(b)に示すように、表示範囲1503の形状が長方形であるのに対して、表示範囲1504及び表示範囲1505の形状は台形となる。また、撮像画像1501を撮影した際のレンズの射影方式によっても、表示範囲1503乃至1505の形状は変わる。図15(b)に示した表示範囲は一般的な中心射影のレンズの場合を示しているが、例えば等距離射影の魚眼レンズを使用した場合は、図8(b)に示すように、表示範囲の形状は中心射影のレンズの場合に比べてやや丸みをおびた形状となる。
【0011】
次に、図15(a)に示す撮像画像1501と、図15(b)に示すスクリーンの表示範囲1503乃至1505と、を重畳させて表示した一例を図15(c)に示す。図15(c)に示すように、スクリーンの表示範囲に、本来表示させたい被写体1502の全体が含まれていないことがわかる。以下、被写体の全体がスクリーンの表示範囲に収まらずに一部が切れていることを見切れと呼ぶ。撮像者は、撮像装置の電子ビューファインダー(EVF)やモニタなどの表示部を確認しながら撮像する。従って撮像者は、今撮像している撮像画像がどのような範囲であるかは確認することができる。しかしながら撮像者は、スクリーンに撮像画像1501が表示されるとき、撮像画像1501においてどの範囲がスクリーンに表示されるかはわからない。その結果、撮像画像1501の一部を切り出してスクリーンに表示をした際に、見切れが発生する。このように見切れは、撮像の際に撮像画像1501において、どの範囲がスクリーンに表示されるかを撮像者が認識していないために生じる。そこで本実施形態においては、撮像の際に、撮像によって得られる画像のどの範囲が表示装置に表示される範囲かを撮像者に通知する。具体的には、撮像の際に、表示装置の表示形態に応じたマーカーを生成し、生成したマーカーを画像に重畳して表示する。これにより、撮像者は撮像によって得られる画像において表示装置が表示できる範囲を知ることができる。以下、撮像後に撮像画像の一部を表示する表示装置又は表示システムを第1表示装置又は第1表示システムと呼ぶ。また、撮像の際にマーカーが重畳された画像を表示する装置を第2表示装置と呼ぶ。第2表示装置として撮像装置が有する表示部を用いる場合は、その表示部を第2表示部と呼ぶ。
【0012】
<画像処理装置1のハードウェア構成>
画像処理装置1を含むシステムのハードウェア構成例について、図1を用いて説明する。画像処理装置1は、例えばコンピュータであり、CPU101と、RAM102と、ROM103と、HDDインタフェイス(I/F)104と、入力I/F106と、出力I/F108と、撮像装置I/F110と、を有する。CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス100を介して各構成を制御する。HDDI/F104は、シリアルATA(SATA)等のインタフェイスである。HDDI/F104には、HDD105や光ディスクドライブなどの二次記憶装置が接続される。CPU101は、HDDI/F104を介して、HDD105からのデータの読み出し、およびHDD105へのデータの書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開すること、およびRAM102に展開されたデータをHDD105に保存することが可能である。CPU101は、RAM102に展開したデータをプログラムとして実行することができる。入力I/F106は、USBやIEEE1394等のシリアルバスインタフェイスである。入力I/F106には、キーボードやマウスなどの入力デバイス107が接続される。CPU101は、入力I/F106を介して、入力デバイス107からデータを読み込むことが可能である。出力I/F108は、DVIやHDMI(登録商標)等の映像出力インタフェイスである。出力I/F108には、液晶ディスプレイなどの出力デバイス109が接続される。出力デバイス109は、上述した第2表示装置又は第2表示部に対応する。CPU101は、出力I/F108を介して、出力デバイス109にデータを送り、表示などの処理を実行させることができる。撮像装置I/F110は、USB等のシリアルバスインタフェイスである。撮像装置I/F110には、ビデオカメラなどの撮像装置111を接続する。CPU101は、撮像装置I/F110を介して、撮像装置111から動画のフレームデータなどの撮像データを取得することができる。
【0013】
尚、画像処理装置1は、撮像装置I/F110を有さなくてもよい。この場合、撮像装置I/F110の代わりに入力I/F106に撮像装置が接続される。また、撮像装置111と出力デバイス109とが一体となった撮像装置が撮像装置I/F110に接続されていてもよい。例えば、EVFやモニタなどの表示部を有するビデオカメラを撮像装置111として用いることができる。この場合、CPU101は、撮像装置I/F110を介して、表示部にデータを送り、表示を実行させることができる。また、画像処理装置1は、出力デバイス109や撮像装置111に含まれていてもよい。例えば、画像処理装置1と出力デバイス109と撮像装置111とが一体となった撮像システムであってもよい。撮像システム1600の一例を示すブロック図を図16に示す。撮像システム1600は、例えばデジタルカメラであって、CPU101と、RAM102と、ROM103と、HDDインタフェイス(I/F)104と、入力部1601と、表示部1602と、撮像部1603と、を有する。入力部1601は、ボタンなどの入力部である。表示部1602は、EVFやモニタなどの表示部である。撮像部1603は、レンズなどの光学系を含み、光学系を介して画像を生成する撮像部である。尚、撮像システム1600が入力部1601と表示部1602とを別々に有している必要はなく、入力部1601と表示部1602とが一体となったタッチパネルディスプレイなどを有していてもよい。また、撮像システムは、デジタルカメラに限られず、例えばスマートフォンなどの携帯型情報端末であってもよい。
【0014】
<画像処理装置1の機能構成>
画像処理装置1の機能構成を、図2を用いて説明する。図2は、画像処理装置1の機能構成を示すブロック図である。CPU101は、ROM103又はHDD105に格納されたプログラムを読み出してRAM102をワークエリアとして実行することによって、図2に示す機能構成として機能する。尚、以下に示す処理の全てがCPU101によって実行される必要はなく、処理の一部または全てがCPU101以外の一つまたは複数の処理回路によって行われるように画像処理装置1が構成されていてもよい。
【0015】
画像処理装置1は、表示形態取得部201と、入力画像取得部202と、視点情報取得部203と、撮像条件取得部204と、出力画像生成部205と、出力部206と、を有する。表示形態取得部201は、画像を表示する第1表示システムの表示形態を表す表示形態情報を取得する。第1表示システムの表示形態情報は、第1表示システムが有するスクリーンの数、各スクリーンのサイズ、各スクリーンの解像度、各スクリーンの位置及び向きを表す配置情報によって構成される情報である。入力画像取得部202は、入力画像を表す入力画像データを取得する。入力画像は、マーカーを重畳して表示したい画像である。視点情報取得部203は、第1表示システムによって表示された画像を観察する際の視点の位置を表す視点情報を取得する。撮像条件取得部204は、撮像条件を表す撮像情報を取得する。撮像情報は、撮像装置111のセンササイズ、レンズの焦点距離、画角、射影方式、入力画像の解像度によって構成される。出力画像生成部205は、入力画像に対してマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。以下、マーカー付き画像を出力画像、マーカー付き画像データを出力画像データとも呼ぶ。出力部206は、マーカー付き画像データを出力デバイス109に出力する。
【0016】
<画像処理装置1において行われる処理>
図3は、画像処理装置1において行われる処理の流れを示すフローチャートである。以下、各ステップ(工程)は符号の前にSをつけて表す。
【0017】
S301において、表示形態取得部201は、画像を表示する第1表示システムの表示形態を表す表示形態情報を取得する。S301における処理は、入力デバイス107を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、HDD105にあらかじめ記憶された複数の表示形態情報の中から1つを選択することにより表示形態情報を取得する。本実施形態における第1表示システムは、図4に示す表示システムである。第1表示システムは、3つのスクリーンと3つのプロジェクタとによって構成されており、センタースクリーン401に対して角度αの開き角で左サイドスクリーン402と右サイドスクリーン403とが配置されている。それぞれのスクリーンのサイズは、幅Wmm及び高さHmmとし、3つのスクリーンとも同サイズであるとする。また、各スクリーンにおいてWpix×Hpixの解像度の画像が表示される条件で配置された各プロジェクタを用いて各スクリーンに画像を投影するものとする。図4においてプロジェクタは不図示であるが、本実施形態における3つのプロジェクタは、視点位置の真上に重ねて配置され、各スクリーンに画像を投影する。各プロジェクタが投影する画像の位置は、プロジェクタが有するレンズシフト機能やキーストーン補正機能によって調整する。表示形態情報において、スクリーンの数は3、スクリーンのサイズは幅Wmm及び高さHmm、スクリーンの解像度はWpix×Hpixである。スクリーンの配置情報は、3次元のXYZ座標系におけるスクリーンの中心の位置(x,y,z)とスクリーンの表面における法線の向きを表す法線ベクトルNを表す。この法線は、スクリーンを観察する視点がある側の面の法線とする。また、XYZ座標系の原点は、視点情報が表す視点位置である。上述したように配置した各スクリーンに、1つの入力画像から切り出した画像を表示することによって、1つのスクリーンを用いて映像を表示するよりも、視野の広い映像を視聴者に提供することができる。また、各スクリーンに関連のない画像をそれぞれ表示するのではなく、1つの連結した画像を複数のスクリーンに表示するため、視聴者の視野に近い表示となる。尚、上述した構成は一例であり、スクリーンの数やサイズ、配置などはこれに限るものではない。また、上述したスクリーンの解像度は、スクリーン上の画像の解像度ではなく、各スクリーンに画像を投影するプロジェクタの解像度であってもよい。
【0018】
S302において、撮像条件取得部204は、撮像条件を表す撮像情報を取得する。S302における処理は、入力デバイス107を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、HDD105にあらかじめ記憶された複数の撮像条件の中からそれぞれの項目に対して1つずつ選択することにより撮像情報を取得する。撮像情報において、撮像装置111のセンササイズは幅SWmm及び高さSHmm、レンズの焦点距離はf、画角はθmax、入力画像の解像度はSWpix×SHpixである。また、本実施形態における撮像装置111のレンズは等距離射影の魚眼レンズであるため、射影方式は等距離射影である。
【0019】
S303において、視点情報取得部203は、第1表示システムによって表示された画像を観察する際の視点の位置を表す視点情報を取得する。S303における処理は、入力デバイス107を介したユーザの指示に基づいて行われる。本実施形態においては、ユーザの指示に基づいて、HDD105にあらかじめ記憶された視点の位置を表す視点情報の中から1つを選択することによって視点情報を取得する。視点情報は、上述したXYZ座標系における視点の位置(0,0,0)を表す。本実施形態においては、図4に示すように、センタースクリーン401の中心から、センタースクリーン401と直交する方向に距離Dviewだけ離れた位置に視点があるとして説明を行う。尚、視点位置は上記一例に限るものではない。
【0020】
S304において、入力画像取得部202は、撮像装置111を介して得られた入力画像データを取得する。具体的には、撮像装置I/F110を介してRAM102へ入力画像データを取得する。本実施形態においては、撮像装置111をビデオカメラとするため、動画の各フレームに対応する画像データを入力画像データとして以降の処理を行う。
【0021】
S305において、出力画像生成部205は、入力画像に対して、切り出し処理によって切り出される範囲、つまり第1表示システムが表示する範囲を表すマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。具体的には、S304において取得された入力画像データに対して、本ステップにおいて生成するマーカー画像データを重畳することによって、マーカー付き画像データを生成する。本ステップにおける処理の詳細は後述する。S306において、出力部206は、S305において生成されたマーカー付き画像データを出力I/F108を介して出力デバイス109に出力する。
【0022】
<マーカー付き画像データを生成する処理(S305)>
図5は、S305におけるマーカー付き画像データを生成する処理の詳細を示すフローチャートである。S305の処理においては、図4に示した第1表示システムを構成する3つのスクリーンに画像を表示するために、入力画像において各スクリーンに対応する切り出し範囲を順次算出する。算出した切り出し範囲をマーカー画像データとして入力画像データに重畳することによって、マーカー付き画像データを生成する。尚、各スクリーン上には、入力画像から切り出した表示画像が表示されることになる。以下、フローチャートの各ステップについて説明する。
【0023】
S501において、出力画像生成部205は、S502〜S509の処理が未処理のスクリーンを処理対象として設定する。本実施形態においては、図4に示した3つのスクリーンを本ステップにおいて順次処理対象として設定する。S502において、出力画像生成部205は、入力画像の解像度に基づいて、RAM102に入力画像データと同じ解像度のマーカー画像データを生成し、すべての画素値を白色で初期化する。本実施形態におけるマーカー画像データは、画素値が0(白色)と1(黒色)とのどちらかの値を取りうるバイナリーデータとする。尚、マーカーの位置を識別することができれば、画素値が8ビットや16ビットなどで表現される多値データであってもよい。
【0024】
S503において、出力画像生成部205は、スクリーンサイズとスクリーンの配置情報とに基づいて、スクリーンにおける画像表示領域のエッジ部分に対応する位置を所定の間隔で特定し、各位置Pの3次元座標を算出する。出力画像生成部205は、各位置Pの3次元座標(x,y,z)を点群データとして生成する。ここで用いる3次元座標は、スクリーンを観察する視点位置を原点とした3次元座標である。尚、点群データにおける点Pの間隔は細かくするほどマーカー形状の精度は向上するが、その分処理時間が増えてしまうため、予め要求されるマーカー形状の精度や処理時間に応じて点の間隔を設定しておいてもよい。本実施形態における点Pの間隔は、スクリーンの解像度に基づいて決める。本実施形態においては、スクリーンのサイズは幅Wmm及び高さHmm、スクリーンの解像度はWpix×Hpixであるため、これらに基づいてスクリーン上の各画素の中心点の3次元座標を算出する。この各画素の中心点の3次元座標のうち、画像表示領域のエッジ部分に対応する画素の3次元座標全てを処理対象の点群データとする。図17はスクリーンにおける画像表示領域のエッジの位置を説明するための図である。図17(a)は、図4に示した3つのスクリーンを、センタースクリーン401を正面にして視点位置から観察した場合の図である。上述したように、本実施形態においてはスクリーン全体を画像の表示領域とするため、スクリーンにおける画像表示領域のエッジの位置は図17(b)の太線1701のようになる。尚、必ずしもスクリーン全体を画像の表示領域とする必要はない。例えば、図17(c)の太線1702のように、スクリーンのエッジの内側に画像表示領域のエッジが存在していてもよい。図17(c)のように画像を表示する場合、出力画像生成部205は、スクリーンの配置情報と、スクリーンにおける画像表示領域の大きさを算出可能な情報と、に基づいて、点群データを生成する。スクリーンにおける画像表示領域の大きさを算出可能な情報については、例えば、表示形態情報として画像表示領域のサイズをさらに取得しておけばよい。
【0025】
S504において、出力画像生成部205は、点群データから点P(x,y,z)を1つ抽出し、抽出した点Pについて、視点位置を原点Oとした場合のベクトルOPとZ軸とのなす角θを式(1)により算出する。
【0026】
【数1】
【0027】
ここで、本実施形態における3次元の空間座標系について図6を用いて説明する。図6(a)は、3つのスクリーンの位置関係を視点位置を原点とした3次元座標上に示した図である。点P(x,y,z)は、処理対象となるスクリーン上の点の3次元座標を示している。図6(b)は、図6(a)を別の角度から見た図である。ここで、ベクトルOPとZ軸とのなす角をθと定義する。さらに、点PからXY平面上におろした垂線の足を点Q(x,y,0)とし、ベクトルOQとX軸とのなす角をφと定義する。
【0028】
S505において、出力画像生成部205は、入力画像において点P(x,y,z)に対応する点をI(u、v)とし、点Iにおける入力画像上の像高rを式(2)により算出する。本実施形態においては、等距離射影の魚眼レンズによりθmaxの画角で入力画像が得られているため、像高rはθとθmaxとの比によって表すことができる。
【0029】
【数2】
【0030】
図7は、2次元のUV座標系における入力画像の点I(u、v)を示した図である。入力画像の中心を原点とし、画像の左下の座標が(−1,−1)、右上の座標が(1,1)となるように正規化されている。ここで、ベクトルOIとU軸とのなす角φは、図6に示したφと等しい。本実施形態において用いるレンズは魚眼レンズであるため、実際に映像が映っている範囲は、図6に示すイメージサークル601内の領域である。
【0031】
S506において、出力画像生成部205は、入力画像上の点Iの座標(u,v)を式(3)及び式(4)により算出する。
【0032】
【数3】
【0033】
【数4】
【0034】
S507において、出力画像生成部205は、マーカー画像データにおいて、S506において算出された座標(u,v)に対応する画素値を黒色に変更する。つまり、画素値を0(白色)から1(黒色)に変換する。具体的には、(u,v)は−1.0から1.0の間の小数値となるため、uとvそれぞれに1を加算してから2で除算することによって、(u,v)が0から1.0までの値をとるように正規化する。さらに、uにマーカー画像の幅SWpix、vに高さSHpixを乗算することによって、マーカー画像上の画素の位置を示す情報を算出する。(u,v)の近傍4画素のうち最も距離が近い画素に対して画素値を黒色に変更する処理を行う。尚、マーカー画像データを多値で持つ場合は、近傍4画素に対して距離で重み付けをして各画素の色を決定するようにしてもよい。S508において、出力画像生成部205は、処理対象としているスクリーンに対応する点群データの全ての点Pに対して処理を行ったか否かを判定する。全ての点Pに対して処理を行っていればS510に進み、全ての点Pに対して処理を行っていなければS509に進む。
【0035】
S509において、出力画像生成部205は、点群データのうち、まだ処理が行われていない点により点Pの座標を更新し、S504へと戻る。S510において、出力画像生成部205は、第1表示システムを構成する全てのスクリーンが処理対象として設定されたか否かを判定する。本実施形態においては、センタースクリーン401、左サイドスクリーン402、右サイドスクリーン403の3つのスクリーンがそれぞれ処理対象として設定されたか否かを判定する。全てのスクリーンが処理対象として設定されていればS511へと進み、全てのスクリーンが処理対象として設定されていなければS501に戻る。
【0036】
S511において、出力画像生成部205は、マーカー画像データを入力画像データに重畳する処理を行う。具体的には、入力画像において、マーカー画像の黒色画素に対応する画素位置の画素値を、あらかじめ設定されたマーカー色を表す画素値に変換する。図8(a)は入力画像、図8(b)はマーカー画像、図8(c)はマーカー付き画像を示しており、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして付加する例である。尚、マーカーは各スクリーンに対応する切り出し範囲を示す枠でなくてもよい。例えば、図9に示す例のように、切り出し範囲内の色や輝度などが変更された領域をマーカーとしても良い。この場合は、例えば、切り出し範囲内にある画素値に所定の画素値を加算することによって、切り出し範囲内の色や輝度などを変更する。図9(a)は入力画像、図9(b)はマーカー画像、図9(c)はマーカー付き画像を示している。また、マーカーによって示される四角形の外側における各画素の輝度を下げるなど、マーカーによって示される領域の外側の各画素に処理を行うことによって切り出し範囲を示すようにしてもよい。この場合は、例えば、切り出し範囲外にある画素値から所定の画素値を減算することによって、切り出し範囲外の色や輝度などを変更する。切り出し範囲外にある画素値を所定の画素値に変換することによって、切り出し範囲外の色や輝度などを変更してもよい。
【0037】
<第1実施形態の効果>
以上説明したように、本実施形態における画像処理装置は、表示部を含む装置又はシステムの表示の形態を表す情報と、入力画像を表す入力画像データと、を取得する。入力画像データと表示形態を表す情報とに基づいて、入力画像において表示部が表示する範囲を特定し、特定された範囲を表す情報を出力する。尚、特定された範囲の形は、曲面のスクリーンと複数の平面のスクリーンとの少なくとも一方である表示部に応じた形である。これにより、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。上述の方法によって生成されたマーカーは、表示装置の表示範囲を撮像の際に撮像者に認識させることができる。
【0038】
[第2実施形態]
第1実施形態においては、マーカー画像を生成し、生成したマーカー画像を入力画像に重畳することによってマーカー付き画像を生成した。本実施形態においては、第1表示システムの表示形態情報とマーカー画像とが1対1で対応付けられたテーブルを予め生成して保持しておき、このテーブルを参照することによってマーカー付き画像を生成する方法について説明する。尚、本実施形態における画像処理装置1を含むシステムのハードウェア構成及び画像処理装置1の機能構成は、第1実施形態のものと同一であるため説明を省略する。以下において、本実施形態と第1実施形態とで異なる部分を主に説明する。
【0039】
<画像処理装置1において行われる処理>
図10は、画像処理装置1において行われる処理の流れを示すフローチャートである。
【0040】
S1001において、表示形態取得部201は、表示形態情報を取得する。処理の詳細は図3のS301と同様であるため説明を省略する。S1002において、入力画像取得部202は、入力画像データを取得する。処理の詳細は図3のS302と同様であるため説明を省略する。S1003において、出力画像生成部205は、入力画像に対して、切り出し処理によって切り出される範囲、つまり第1表示システムが表示する範囲を表すマーカーを重畳したマーカー付き画像を表すマーカー付き画像データを生成する。S1003における処理の詳細は後述する。S1004において、出力部206は、S1003において生成されたマーカー付き画像データを出力I/F108を介して出力デバイス109に出力する。
【0041】
<マーカー付き画像データを生成する処理>
以下、本実施形態におけるマーカー付き画像データを生成する処理の詳細について、図11のフローチャートを用いて説明する。
【0042】
S1101において、出力画像生成部205は、表示形態取得部201により取得された表示形態情報に基づいて、HDD105にあらかじめ記憶されたマーカー画像データの中から対応するマーカー画像データを取得し、RAM102に展開する。具体的には、第1表示システムの表示形態情報とマーカー画像との対応関係を保持するテーブルを参照することによって、マーカー画像データを取得する。このテーブルは、視点位置や撮像の際の画角を含む特定の条件における第1表示システムの表示形態情報とマーカー画像との対応関係を保持する。尚、視点位置を頻繁に切り替える状況に対応するために、第1表示システムの表示形態情報と視点位置との組み合わせに対してマーカー画像を対応付けたテーブルを用いてもよい。また、画角の変更に対応するために、画角ごとにテーブルを切り替えてもよい。尚、マーカー画像データは、第1実施形態に示した方法により生成し、HDD105に保持させておく。S1102において、出力画像生成部205は、マーカー画像データを入力画像データに重畳する処理を行う。処理の詳細は、図5のS511と同様であるため説明を省略する。
【0043】
<第2実施形態の効果>
以上説明したように、本実施形態における画像処理装置は、表示装置の表示形態情報とマーカー画像との対応関係を保持するテーブルを参照することによってマーカー画像データを取得する。取得したマーカー画像データを入力画像データに重畳することによって、マーカー付き画像データを生成する。これにより、撮像によって得られた映像の一部を表示する表示装置に適したマーカーを生成するための情報を提供することができる。上述の方法によって生成されたマーカーは、表示装置の表示範囲を撮像の際に撮像者に認識させることができる。また、テーブルを参照するという比較的速い処理により、表示装置の表示形態に応じたマーカー付き画像データを生成することができる。
【0044】
[変形例]
上述した実施形態においては、マーカー画像データを生成したが、必ずしもこれを生成する必要はない。例えば、マーカーとして各スクリーンに対応した切り出し範囲を示す枠の座標のみを計算して保持しておき、この座標値に基づいて入力画像にマーカーを描画することによってマーカー付画像データを生成しても良い。
【0045】
また、上述した実施形態においては、撮像時にマーカーを生成し、第2表示装置にマーカー付き画像を表示させる例を説明したが、マーカーの生成及び表示のタイミングは、撮像時に限られない。例えば、撮像の前にマーカーの生成及び表示を行い、撮像者に第1表示システムの表示範囲を知らせてもよい。この場合、撮像中や撮像後にマーカーの生成及び表示を継続してもよいし、撮像中や撮像後にマーカーの生成及び表示を行わないようにしてもよい。また、撮像後に、撮像によって得られた撮像画像を上述した入力画像としてマーカーを生成し、第2表示装置に表示させてもよい。この場合、撮像者は入力画像において表示させたい被写体が第1表示システムの表示範囲に含まれているか否かを確認することができる。
【0046】
また、上述した実施形態においては、撮像時にマーカーを生成し、第2表示装置にマーカー付き画像を表示させたが、マーカー付き画像の使い方は上記一例に限定されない。例えば、撮像画像をHDD105にファイルとして記憶させる際に、撮像時に生成したマーカー画像を撮像画像に対応付けて一緒にファイルとして記憶させるようにしてもよい。対応付けはどのような方法を用いてもよいが、例えば、撮像画像とマーカー画像との対応が一意に特定可能なファイル名を付けることによって、対応付けを行うことができる。この対応付けを行うことによって、撮像後にマーカー画像を参照しながら撮像画像を編集することができる。つまり、撮像画像における第1表示システムの表示範囲に含まれる領域を確認しながら編集作業を行うことができる。これにより、表示範囲に含まれる領域のみを編集対象とすることによって、編集作業をより効率的に行うことができる。また、マーカー画像そのものをHDD105に記憶させる代わりに、マーカーとして各スクリーンに対応した切り出し範囲を示す枠の座標情報を撮像画像に対応付けてHDD105に記憶させてもよい。例えば、撮像画像に付随するメタデータ領域に座標情報を記憶させることによって、この対応付けを行うことができる。あるいは、撮像画像と座標情報との対応が一意に特定可能なファイル名を付けたファイルとして、撮像画像とは別のファイルにこの座標情報を記憶させるようにしてもよい。尚、座標情報は、切り出し範囲全体に対応する情報に限らず、切り出し範囲を示す枠のコーナーの座標のみを座標情報として記憶させるようにしてもよい。あるいは、切り出し範囲が矩形などの単純な図形の場合には、矩形の中心座標と矩形の幅及び高さとの情報を座標情報として記憶させるようにしてもよい。
【0047】
また、上述した実施形態において、出力画像生成部205は、入力画像の解像度に基づいて、入力画像データと同じ解像度のマーカー画像データを生成したが、マーカー画像データの生成処理は上記一例に限定されない。例えば、S502においては、予め決められた解像度のマーカー画像データを生成し、S511においてマーカー画像データを入力画像データに重畳する際に、解像度変換を行うことによって解像度をあわせてもよい。
【0048】
また、上述した実施形態において、出力画像生成部205は、点Pの間隔をスクリーンの解像度に基づいて決定したが、入力画像の解像度に基づいて決定してもよい。また、点Pの間隔がマーカーを形成するために十分であるか否かを判定し、不十分であると判定された場合は、点Pの間隔をさらに細かくするようにしてもよい。また、マーカー画像データ又はマーカー付き画像データの生成後に、間の点を補間することによってマーカーが途切れてしまうのを抑制してもよい。
【0049】
また、上述した実施形態においては、撮像装置111をビデオカメラとしたが、スチルカメラであってもよい。ビデオカメラやスチルカメラによって静止画を得ようとする場合は、撮像を行う前に、第1表示システムの表示範囲を撮像者が知ることができる。
【0050】
また、上述した実施形態においては、3つのプロジェクタを視点位置の真上に配置したが、スクリーンに画像を投影できれば、配置は上記一例に限られない。例えば、スクリーンとして透過型のスクリーンを用いることによって、視点位置に対してスクリーンの後ろ側から画像を投影してもよい。また、3つのスクリーンに対して、1つのプロジェクタを用いて画像を投影してもよい。
【0051】
また、上述した実施形態においては、第1表示システムをスクリーンとプロジェクタとによって構成したが、ディスプレイであってもよい。また、第1表示システムをプリンタと記録媒体とによって構成してもよい。この場合、記録媒体を上述したスクリーンの代わりに配置することを想定し、記録媒体の配置などに応じて入力画像における印刷範囲を示すマーカーを生成してもよい。
【0052】
また、上述した実施形態においては、表示形態取得部201が表示形態情報として、第1表示システムが有するスクリーンの数、各スクリーンのサイズ、各スクリーンの解像度、各スクリーンの位置及び向きを表す配置情報を取得した。しかし、上述したスクリーンにおける画像表示エリアのエッジ部分に対応する位置を特定するための情報を含んでいれば、上記全ての情報を取得する必要はない。例えば、3次元空間におけるスクリーンに対応する位置の座標を全て取得すれば、スクリーンの数、各スクリーンのサイズ、各スクリーンの解像度を取得する必要はない。また、スクリーンにおける画像表示エリアのエッジ部分に対応する位置を表す位置情報として、上述した点群データを予め生成しておいて取得してもよい。
【0053】
また、第1実施形態においては、撮像情報取得部204が撮像情報として、撮像装置111のセンササイズ、レンズの焦点距離、画角、射影方式、入力画像の解像度を取得した。しかし、撮像装置111のセンササイズとレンズの焦点距離とを用いて画角を算出することができるため、撮像装置111のセンササイズ及びレンズの焦点距離と、画角と、のどちらかを取得すればよい。
【0054】
また、上述した実施形態においては、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして入力画像に重畳させる例について説明したが、マーカーは必ずしも範囲を示す枠である必要はない。例えば、スクリーンとスクリーンとの境界位置を示す線状のマーカーであってもよい。境界位置を示すマーカーを入力画像に重畳させる例を図12に示す。図12(a)は入力画像、図12(b)はマーカー画像、図12(c)はマーカー付き画像を示している。この例におけるマーカーは、センタースクリーン401と左サイドスクリーン402との境界位置を示す線分1201と、センタースクリーン401と右サイドスクリーン403との境界位置を示す線分1202と、の2つの線状マーカーによって構成されている。このマーカーを入力画像に重畳した画像を撮像の際に確認することによって、どのスクリーンにどの被写体が表示されるのかを知ることができる。このため、撮像者は、メインとなる被写体がスクリーンの境界に重なることを避けながら撮像を行うことができる。
【0055】
また、上述した実施形態においては、第1表示システムが1つである場合の例を示したが、必ずしも第1表示システムは1つでなくてもよく、複数の第1表示システムの表示形態を考慮したマーカーの表示を行っても良い。例えば、図4に示した3面スクリーンから成る第1表示システムに加えて、図13に示すような曲面スクリーンへの表示も同時に考慮した場合のマーカー付き画像の例を図14に示す。図14(a)は、図8(c)に示した3面スクリーンに対応する実線で示したマーカーに加えて、曲面スクリーンに対応するマーカーを破線1401で示している。図3のS301において、第1表示システムの表示形態情報として3面スクリーンの表示形態情報に加えて曲面スクリーンの表示形態情報の取得も行う。図5のフローチャートに示したマーカー付き画像を生成する処理において、曲面スクリーンも処理対象とすることにより、曲面スクリーンにも対応したマーカーを生成することができる。図14(b)は、3面スクリーンに対応する切り出し範囲と曲面スクリーンに対応する切り出し範囲との論理積をとった範囲を色付けすることによるマーカー表示の例を示している。また、これら複数の表示形態に対応したマーカーから少なくとも1つ以上を選択し、選択したマーカーを表示できるようにしてもよい。これにより、複数の表示装置の表示形態を考慮したマーカー表示を行うことができ、複数の表示環境を前提とした撮像の補助を行うことが可能となる。
【0056】
また、上述した実施形態においては、第1表示システムは、視聴者を囲むように配置された3面、あるいは曲面スクリーンの例を示したが、スクリーンの形状はこれに限るものではない。例えば、図18に示すような球面スクリーンについても同様の処理を適用可能である。あるいは、視聴者側に凸面があるディスプレイやスクリーンに対しても同様の処理を適用可能である。例えば、図19に示すような、円筒の側面の一部を切り取った形状の曲面スクリーンや、図20に示すような、球の一部を切り取った形状の球面スクリーンに対しても同様の処理を行うことができる。
【0057】
また、上述した実施形態において、マーカーの色は黒色のような単色でもよいし、入力画像の画素値を参照することによって、その画素の色とは異なる色となるように設定しても良い。また、周囲の明るさに応じてマーカーの色を決定してもよい。具体的には、晴天下においてはマーカーの視認性を向上させるように輝度の高い色、曇天下においては目立ちやすい彩度の高い色、深夜や暗室においてはまぶしすぎないように暗めの色にすることが考えられる。また、マーカーの視認性を向上するために、線の太さを太くすることによってマーカーを強調する処理を加えてもよい。また、各スクリーンに対応する切り出し範囲を示す枠のみならず、その範囲内の色等を変更するようにしても良い。または、切り出し範囲外の輝度を落として、切り出し範囲を強調するようにしても良い。
【0058】
また、上述した実施形態においては、各スクリーンに対応する切り出し範囲を示す枠をマーカーとして重畳する例について説明したが、枠全体をマーカーとする代わりに枠のコーナーの位置を示す情報をマーカーとして入力画像に付加するようにしてもよい。
【0059】
また、上述した実施形態においては、撮像対象の画像の一部を切り出して第1表示システムに表示する例を説明したが、画像を表示するために行う処理は切り出し処理に限られない。例えば、画像を幾何変換した後に第1表示システムに表示させてもよい。この場合、画像の表示範囲は、幾何変換に用いる幾何変換パラメータに応じる。
【0060】
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0061】
1 画像処理装置
201 表示形態取得部
202 入力画像取得部
205 出力画像生成部
206 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】