(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2019146022
(43)【公開日】20190829
(54)【発明の名称】撮像装置及び撮像方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20190802BHJP
   G03B 7/00 20140101ALI20190802BHJP
   G03B 15/00 20060101ALI20190802BHJP
【FI】
   !H04N5/232 220
   !G03B7/00
   !G03B15/00 Q
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】25
(21)【出願番号】2018028616
(22)【出願日】20180221
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
【住所又は居所】東京都八王子市石川町2951番地
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(74)【代理人】
【識別番号】100101661
【弁理士】
【氏名又は名称】長谷川 靖
(74)【代理人】
【識別番号】100135932
【弁理士】
【氏名又は名称】篠浦 治
(72)【発明者】
【氏名】須藤 雄介
【住所又は居所】東京都八王子市石川町2951番地 オリンパス株式会社内
【テーマコード(参考)】
2H002
5C122
【Fターム(参考)】
2H002GA35
2H002GA51
5C122EA42
5C122EA69
5C122FA11
5C122FF05
5C122FH11
5C122FH14
5C122FK28
5C122FK37
5C122FK38
5C122FK41
5C122HB01
5C122HB05
(57)【要約】
【課題】所望する特定の撮像対象物を撮像するのに際し常に良好な撮像結果(画像データ)を取得することが容易にできる撮像装置を提供する。
【解決手段】特定範囲を撮像して画像信号を取得する撮像部10と、複数種類の対象物にそれぞれ対応する複数の対象物画像辞書を記憶する記憶部31と、撮像部により取得された画像信号と記憶部に記憶された複数の対象物画像辞書とに基づいて特定の対象物の種別を判別し、当該判別した特定の対象物の種別に対応する対象物画像辞書を複数の対象物画像辞書のうちから選択する推論エンジン30と、撮像部により取得された画像信号と推論エンジンにより選択された対象物画像辞書とに基づいて撮像制御を行う撮像制御部20とを具備する。
【選択図】図1
【特許請求の範囲】
【請求項1】
特定範囲を撮像して画像信号を取得する撮像部と、
複数種類の対象物にそれぞれ対応する複数の対象物画像辞書を記憶する記憶部と、
上記撮像部により取得された画像信号と、上記記憶部に記憶された複数の対象物画像辞書とに基づいて、上記特定の対象物の種別を判別し、当該判別した特定の対象物の種別に対応する上記対象物画像辞書を上記複数の対象物画像辞書のうちから選択する推論エンジンと、
上記撮像部により取得された画像信号と、上記推論エンジンにより選択された上記対象物画像辞書とに基づいて撮像制御を行う撮像制御部と、
を具備することを特徴とする撮像装置。
【請求項2】
上記撮像制御部は、上記画像信号に含まれる特定の対象物を表す像信号を適切に撮像するための撮像パラメータを設定するパラメータ制御部を含むことを特徴とする請求項1に記載の撮像装置。
【請求項3】
上記推論エンジンは、上記撮像部により取得された画像信号に含まれる上記特定の対象物を表す像信号と、上記選択された上記対象物画像辞書とのマッチング処理を行って、上記特定の対象物が合致する場合には、上記撮像対象物の設定を行い、合致しない場合には上記対象物画像辞書を他の対象物画像辞書に切り換えることを特徴とする請求項1に記載の撮像装置。
【請求項4】
上記推論エンジンは、上記撮像部により取得された画像信号に含まれる上記特定の対象物を表す像信号と、上記選択された上記対象物画像辞書とのマッチング処理を行って、上記特定の対象物が合致しない場合にも、所定の状況下では、上記対象物画像辞書を他の対象物画像辞書に切り換えないことを特徴とする請求項1に記載の撮像装置。
【請求項5】
上記撮像制御部は、上記推論エンジンによる上記マッチング処理の結果、上記特定の対象物が合致する場合には、所定のタイミングでレリーズオン信号を出力させて撮像動作を開始させることを特徴とする請求項1,2に記載の撮像装置。
【請求項6】
上記推論エンジンは、上記撮像部により取得された画像信号と、上記選択された上記対象物画像辞書とのマッチング処理を行って、上記特定の対象物が合致する場合には、上記対象物画像辞書の重み付けを行って、当該対象物画像辞書の使用優先度を設定することを特徴とする請求項1,2に記載の撮像装置。
【請求項7】
特定範囲を撮像して画像信号を取得し、
上記画像信号と、複数種類の対象物にそれぞれ対応する複数の対象物画像辞書とに基づいて、上記特定の対象物の種別を判別し、
上記判別した特定の対象物の種別に対応する上記対象物画像辞書を選択し、
上記画像信号と、上記複数の対象物画像辞書のうち選択された上記対象物画像辞書とに基づいて、上記画像信号に含まれる特定の対象物を表す像信号を適切に撮像するための撮像パラメータを設定し、
所定のタイミングでレリーズオン信号を出力させて撮像動作を開始する
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、特定の対象物を含む所定の範囲の画像信号を取得する撮像装置及び撮像方法に関するものである。
【背景技術】
【0002】
従来、撮像光学系により結像された光学像を、例えばCCD(Charge Coupled Device;電荷結合素子)イメージセンサーやCMOS(Complementary Metal Oxide Semiconductor;相補性金属酸化膜半導体)型イメージセンサー等の光電変換素子等(以下、撮像素子という)を用いて順次光電変換し、これにより取得された画像信号を所定の形態の画像データ(例えば静止画像又は動画像を表わすデジタル画像データ)として記憶媒体に記録すると共に、当該デジタル画像データに基いて静止画像又は動画像を表示する画像表示装置、例えば液晶表示(Liquid Crystal Display;LCD)装置や有機エレクトロルミネッセンス(有機EL;Organic Electro-Luminescence:OEL)表示装置等を備えて構成され、例えばデジタルカメラ,ビデオカメラ等と呼ばれる撮像装置が一般に実用化され広く普及している。
【0003】
従来の撮像装置を用いて、所望する特定の被写体を含む所定の範囲の画像信号を取得する際には、当該撮像装置の各種の設定(いわゆる撮像パラメータの設定)、例えば撮像動作を実行しようとする周囲の状況に応じた適切な露出値の設定、正確な焦点調節設定、理想的な構図設定等を、的確に素早くかつ確実に行うことは熟練を要することであった。
【0004】
近年においては、撮像装置内に設けられる制御回路の処理速度の高速化や、各種制御プログラムを記憶させるフラッシュメモリ等の補助記憶媒体の大容量化が実現している。このことから、近年の撮像装置は、撮像動作を行う際の各種の設定(露出設定や焦点調節等の撮像パラメータ設定)を、撮像装置の設定状態や周囲状況に応じて自動的に行われるようになっているのが普通である。
【0005】
例えば、従来の撮像装置においては、撮像装置の設定状態や周囲状況に応じて自動焦点調節動作を行う際のフォーカススキャン範囲を切り換えることにより、焦点調節動作の最適化を自動的に行うようにしたものが、例えば特開2006−227133号公報等によって開示されている。
【0006】
詳述すると、上記特開2006−227133号公報等によって開示されている撮像装置においては、まず、ズームレンズのレンズ位置と優先フォーカス種類に各対応するフォーカス位置情報を設定したテーブル情報が予め用意されている。
【0007】
このような形態の撮像装置において、シャッタボタンの一気押し若しくは半押し後、所定時間経過前の全押しがされた場合には、ズームレンズのレンズ位置を取得すると共に、近景優先フォーカスか遠景優先フォーカスかの判断処理を行う。
【0008】
この場合における判断処理は、撮像装置の状態(例えばストロボ使用の有無,設定絞り値が開放か否か等)や、撮像を行う周囲の状況(例えば照度,照明光の状況(フリッカーの有無),屋内か屋外か等)に基づいて行われる。
【0009】
そして、取得したズームレンズのレンズ位置情報と、近景優先フォーカスか遠景優先フォーカスかの判断結果とに基づいて、テーブル情報からフォーカス位置を取得し、取得したフォーカス位置の範囲内でコントラストAF処理を行う。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2006−227133号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
ところが、上記特開2006−227133号公報等によって開示されている撮像装置は、適切なフォーカス動作のみを実行することを目的としているものであって、写真撮影を行うのに際して行われるべきその他の撮像パラメータの各種設定や、フォーカス動作以外の動作制御を開示しているものではない。
【0012】
つまり、上記公報等によって開示される従来の撮像装置では、例えば、どのような被写体をどのように撮りたいか等といった撮影者の意図を完全に汲み取ることはできない。したがって、撮影者が意図する良好な画像を取得するためには、相応の熟練を要していることに変わりはない。
【0013】
本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、所望する特定の撮像対象物を撮像するのに際し、常に良好な撮像結果(画像データ)を取得することが容易にできる撮像装置及び撮像方法を提供することである。
【課題を解決するための手段】
【0014】
上記目的を達成するために、本発明の一態様の撮像装置は、特定範囲を撮像して画像信号を取得する撮像部と、複数種類の対象物にそれぞれ対応する複数の対象物画像辞書を記憶する記憶部と、上記撮像部により取得された画像信号と上記記憶部に記憶された複数の対象物画像辞書とに基づいて上記特定の対象物の種別を判別し、当該判別した特定の対象物の種別に対応する上記対象物画像辞書を上記複数の対象物画像辞書のうちから選択する推論エンジンと、上記撮像部により取得された画像信号と上記推論エンジンにより選択された上記対象物画像辞書とに基づいて撮像制御を行う撮像制御部とを具備する。
【0015】
本発明の一態様の撮像方法は、特定範囲を撮像して画像信号を取得し、上記画像信号と複数種類の対象物にそれぞれ対応する複数の対象物画像辞書とに基づいて上記特定の対象物の種別を判別し、上記判別した特定の対象物の種別に対応する上記対象物画像辞書を選択し、上記画像信号と上記複数の対象物画像辞書のうち選択された上記対象物画像辞書とに基づいて上記画像信号に含まれる特定の対象物を表す像信号を適切に撮像するための撮像パラメータを設定し、所定のタイミングでレリーズオン信号を出力させて撮像動作を開始する。
【発明の効果】
【0016】
本発明によれば、所望する特定の撮像対象物を撮像するのに際し、常に良好な撮像結果(画像データ)を取得することが容易にできる撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施形態の撮像装置と、この撮像装置との間で通信を行う外部機器の概略構成を示すブロック構成図
【図2】本発明の一実施形態の撮像装置の制御処理シーケンスを示すフローチャート
【図3】本発明の一実施形態の撮像装置との間でデータ通信を行う外部機器の制御処理シーケンスを示すフローチャート
【図4】本発明の一実施形態の撮像装置を用いて撮像動作を行う際のようすを概念的に示す図であって、当該撮像装置を用いて撮像動作を行う際の状況を示す概念図
【図5】図4の状況において、当該撮像装置によって撮像され得る領域を概念的に示す拡大図
【図6】本発明の一実施形態の撮像装置の表示部における一表示例を示す図
【図7】本発明の一実施形態の撮像装置の表示部における推論モデル選択画面(画像辞書選択画面)の表示例を示す図
【図8】図6の状態から撮像対象物「鳥」が枝から飛び立とうとして動き出そうとする状態を示す概念図
【図9】図8の状態の後、撮像対象物「鳥」が撮像範囲外に出てしまった状態を示す概念図
【図10】図9の状態の後、使用者が撮像装置を構え直して、移動後の撮像対象物「鳥」を撮像範囲内に捕らえ直した状態を示す概念図
【図11】本発明の一実施形態の撮像装置における制御処理シーケンスの変形例を示すフローチャート(前半部)
【図12】本発明の一実施形態の撮像装置における制御処理シーケンスの変形例を示すフローチャート(後半部)
【発明を実施するための形態】
【0018】
以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。
【0019】
[一実施形態]
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像や動画像を表わすデジタルデータとして記憶媒体に記録し、また記憶媒体に記録されたデジタル画像データに基いて静止画像や動画像を表示装置に再生表示し得るように構成される撮像装置を例示するものである。
【0020】
まず、本発明の一実施形態の撮像装置の構成を、図1を用いて以下に説明する。図1は、本発明の一実施形態の撮像装置と、この撮像装置との間で通信を行う外部機器の概略構成を示すブロック構成図である。
【0021】
本実施形態の撮像装置1は、所望の被写体を含む特定の範囲の画像信号を取得して、画像として表示するための装置である。この撮像装置1は、撮像部10と、制御部20と、推論エンジン(inference engine)30と、通信部41と、記録部42と、表示部43と、操作部44等を有して構成されている。
【0022】
撮像部10は、撮像装置1において特定範囲を撮像して画像信号を取得する撮像機能を実現するための構成ユニットである。即ち、この撮像部10は、光学像を形成する光学系11と、この光学系11により形成される光学的な被写体像(光学像)を電気的な画像信号に変換する光電変換素子である撮像素子12等を含む電子回路及びプログラムソフトウエア等によって構成されている。この撮像部10は、後述する制御部20によって制御される。なお、撮像部10自体は、光学像を電気的な画像信号に変換する撮像機能を有していればよい。したがって、撮像部10の構成は、従来の撮像装置に適用されている撮像ユニットと略同様であるものとし、構成についての詳細な説明は省略する。
【0023】
制御部20は、撮像装置1を構成する各種の構成部をそれぞれ制御する複数の制御部(21〜24)と、画像信号を処理する画像処理部25等を有している。そして、制御部20は、これら複数の制御部(21〜24)及び画像処理部25等を統括的に制御することにより、当該撮像装置1の撮像動作を制御する撮像制御部として機能する。ここで、撮像制御部としての制御部20は、撮像部10によって取得された画像信号と、記憶部31(後述する)に記憶された複数の対象物画像辞書(推論モデル)とに基づいて撮像制御を行う。
【0024】
具体的には、制御部20は、例えば記録制御部21と、設定制御部22と、パラメータ制御部23と、通信制御部24と、画像処理部25等の電子回路若しくはプログラムソフトウエア等を有して構成されている。
【0025】
記録制御部21は、記録部42を制御する電子回路若しくはプログラムソフトウエアによって構成されている。記録制御部21は、撮像部10によって取得された画像信号を受けて、これを所定の形態(記録形態)の画像データに変換し、この画像データを記録部42に含まれる記録媒体(不図示)に記録する制御を行う。また、記録制御部21は、記録部42の記録媒体(不図示)に記録済みの画像データを読み出して、所定の形態(表示形態)の画像データに変換し、これを表示部43へと出力する等の制御を行う。
【0026】
設定制御部22は、当該撮像装置1における各種の設定を制御する電子回路若しくはプログラムソフトウエアによって構成されている。
【0027】
パラメータ制御部23は、撮像部10によって取得された画像信号(画像データ)に含まれる特定の撮像対象物を表す像信号を適切に撮像するための撮像パラメータを設定し、撮像パラメータの制御を行う電子回路若しくはプログラムソフトウエアによって構成されている。
【0028】
パラメータ制御部23は、具体的には例えばシャッタ機構,絞り調節機構等の駆動制御を行って撮像パラメータとしての露出調整等を行う機能を有する。また、パラメータ制御部23は、周囲の照明光の状況に応じて撮像部10の駆動制御を行って、ホワイトバランス調整などを行う機能を有する。さらに、パラメータ制御部23は、撮像部10に含まれる光学系11を駆動制御することによって、主要被写体としての撮像対象物に対する焦点調節動作の制御を行う機能を有する。
【0029】
通信制御部24は、通信部41を制御して、当該撮像装置1と外部機器100(後述する)との間のデータ通信を行うための電子回路若しくはプログラムソフトウエアによって構成されている。
【0030】
画像処理部25は、撮像部10によって取得された画像信号等に基づいて各種の信号処理を施して各種の画像データを生成する電子回路若しくはプログラムソフトウエアによって構成されている。
【0031】
なお、図示を省略しているが、制御部20には、表示部43を制御する表示制御部や、操作部44からの入力信号を受けて各種の指令信号を出力する操作制御部等を含んで構成されている。
【0032】
推論エンジン30は、撮像部10によって取得された画像信号と、外部機器100等によって予め生成された推論モデルのデータ(対象物画像辞書ともいう)とに基づいて、当該画像信号によって表示される画像の中に含まれる主要となる被写体(撮像対象物)に関して所定の推論(詳細後述)を行う電子回路若しくはプログラムソフトウエアによって構成されている。さらに、推論エンジン30は、例えば撮像部10により取得された画像信号と、記憶部31に記憶された複数の対象物画像辞書とに基づいて、特定の対象物の種別を判別し、当該判別した特定の対象物の種別に対応する対象物画像辞書を複数の対象物画像辞書のうちから選択する処理などを行う。
【0033】
推論エンジン30は、少なくとも1つ若しくは複数の推論モデルを予め記憶するための記憶部31を有している。つまり、記憶部31は、複数種類の対象物にそれぞれ対応する複数の対象物画像辞書(推論モデル)を記憶する構成部である。
【0034】
なお、上記推論モデルとは、例えば、未知の対象物(被写体)を含む画像データに関し、その画像データに含まれる対象物(被写体)についての推論を行う際に利用される定型パターン(テンプレート)等を含むデータ集である。
【0035】
ここで、推論モデルは、例えば、外部画像データベース110(後述する)に蓄積されている大量の画像データに基づいて、機械学習やディープラーニング(deep learning;深層学習)等を用いて、所定の対象物(被写体)の特徴部分を抽出して生成される。
【0036】
推論モデルは、例えば外部機器100において予め生成されるものである。外部機器100において生成された推論モデルは、当該外部機器100内の記憶部(不図示)に複数記憶されているものとする。そして、撮像装置1は、通信部41を介して外部機器100とのデータ通信を必要に応じて行うことにより、所望の推論モデルを外部機器100の記憶部(不図示)から読み出して、推論エンジン30の記憶部31に記憶して、適宜利用するように構成している。
【0037】
通信部41は、当該撮像装置1と、他の外部機器(図1では符号100)等と間で行われるデータ通信を実現するための電子回路若しくはプログラムソフトウエアによって構成されている。
【0038】
通信部41は、例えば、近接位置にある他の外部機器との間で無線によるデータ通信を行ういわゆる近距離無線通信回路ユニット等によって構成してもよいし、ネットワーク(不図示)経由で他の外部機器(例えばファイルサーバー(不図示)等)との間でデータ通信を実現する通信回路ユニット等によって構成してもよい。
【0039】
なお、通信部41に含まれる通信手段としては、無線方式の通信手段に限らず、有線方式の通信手段も含まれる。この通信部41は、上記通信制御部24によって制御される。
【0040】
記録部42は、各種のデータファイルを記録するための構成ユニットである。この記録部42に記録されるデータファイルとしては、例えば、撮像部10によって取得され制御部20の画像処理部25にて所定の記録形態に変換された画像データ等が主なものであるが、当該画像データ以外の他の情報データ等を記録するようにしてもよい。
【0041】
表示部43は、表示パネル及びその駆動回路等(不図示)からなり表示機能を実現する構成ユニットである。表示部43の表示パネルには、撮像部10を用いて取得された画像データに基く画像や、各種設定プログラム等によって生成されるメニュー画像が表示される。この表示部43は、制御部20に含まれる表示制御部(不図示)によって制御される。
【0042】
操作部44は、使用者(ユーザ)によって行われる各種の操作を受けて、対応する各種の指示信号を発生させるための複数の操作部材と、これに連動する電子回路等を含む構成ユニットである。この操作部44としては、例えば押圧式,回転ダイヤル式,スライド式,レバー式等の各種の形態の操作部材のほか、タッチパネル等を含んで構成されている。
【0043】
本実施形態の撮像装置1は、以上のように構成される。なお、撮像装置1におけるその他の構成部材については、従来一般的な撮像装置と略同様であるものとし、その図示及び説明は省略する。
【0044】
このように構成された本実施形態の撮像装置1は、外部機器100との間でデータ通信を行うことによって、必要とする推論モデルを入手して、これを推論エンジン30の記憶部31に記録する。そうして、当該撮像装置1は、所望の撮像対象物を撮像するのに際し、当該撮像対象物に対応する推論モデルと撮像部10によって取得される画像データとに基づいて、推論エンジン30を用いた所定の推論処理を実行し、適切な画像データを取得する。
【0045】
ここで、本実施形態の撮像装置1とデータ通信を行う外部機器100について、以下に簡単に説明する。
【0046】
外部機器100は、本実施形態の撮像装置1との間で所定のデータのデータ通信を行ない得るように構成された電子機器である。この外部機器100には、学習部101と、外部画像データベース(DB)110と、当該外部機器100を統括的に制御する機器制御部107を有して構成されている。
【0047】
なお、図1に示す例示では、1つの外部機器100の内部に、学習部101と、外部画像データベース110とを含めて構成するようにしているが、この形態に限られることはない。例えば学習部101を有する外部機器のほかに、外部画像データベース110を有する外部機器を別体で構成する形態であってもよい。この場合、各外部機器間は、通信部を介して互いにデータ通信が可能となるように構成されている。
【0048】
学習部101は、推論モデル(対象物画像辞書)を作成する機能を有する電子回路若しくはプログラムソフトウエアによって構成されている。この学習部101は、母集合作成部102と、出力設定部103と、入出力モデル化部104と、通信部105等を有して構成されている。
【0049】
母集合作成部102は、作成しようとする推論モデルに対応する学習素材としての画像母集合を作成する電子回路若しくはプログラムソフトウエアである。
【0050】
後述するように、外部画像データベース110に蓄積された大量の画像データは、画像分類部112(後述する)によって分類整理されており、複数の画像群毎にデータストレージ111に記録されている。
【0051】
したがって、母集合作成部102は、作成しようとする推論モデルに対応する撮像対象物(被写体)の画像群データを、外部画像データベース110から読み出して画像母集合を作成する。
【0052】
出力設定部103は、母集合作成部102で作成した画像母集合の各画像データから各種の情報を抽出するのに際して、必要とする情報を設定するための電子回路若しくはプログラムソフトウエアである。
【0053】
ここで、画像データから抽出する情報は、対象物の特徴部分情報や、対象物を撮像する際の撮像パラメータ情報のほか、対象物に応じた適切な構図情報等である。
【0054】
換言すると、対象物の特徴部分情報は、推論モデルを作成するのに際して着目すべき特徴部分に関する情報である。具体的には、例えば対象物が「鳥」の場合は、鳥の目の位置や足の位置等、対象物の特徴点に関する情報である。
【0055】
撮像パラメータ情報は、例えば、シャッタ速度,絞り値等の露出データやホワイトバランス情報等、撮像装置1の設定情報等である。なお、この撮像パラメータ情報は、例えば、画像母集合に含まれる各画像データに付随するいわゆるメタデータとして記録されているものである。
【0056】
構図情報は、例えば、各画像データに含まれる対象物の画面内における配置や大きさ等の情報である。
【0057】
入出力モデル化部104は、母集合作成部102で作成された画像母集合に含まれる多数の画像データと、出力設定部103により設定された各種情報とに基づいてモデル化処理を行って、その処理結果を学習モデルとして出力する電子回路若しくはプログラムソフトウエアである。
【0058】
通信部105は、当該学習部101と撮像装置1の通信部41との間、若しくは当該学習部101と外部画像データベース110の通信部113との間、のそれぞれで所定のデータ通信を行うための電子回路若しくはプログラムソフトウエアによって構成されている。
【0059】
外部画像データベース(DB)110は、大容量データストレージ(以下、単にデータストレージと略記する)111と、画像分類部112と、通信部113等を有して構成されている。
【0060】
データストレージ111は、大量の画像データを蓄積する大容量記憶装置である。このデータストレージ111には、画像分類部112によって分類整理済みの複数の類似画像データ集が記録されている。
【0061】
図1に示す例では、複数の類似画像データ集として、例えば撮像対象物である被写体の種類が「A」(具体的には例えば「鳥」等)が含まれる画像データを大量に集めた「対象物A画像群111a」や、同様に撮像対象物である被写体の種類が「B」(具体的には例えば「犬」等)が含まれる画像データを大量に集めた「対象物B画像群111b」を例示している。
【0062】
なお、データストレージ111には、図示を省略しているが、このほかにも例えば「猫画像群」,「紅葉画像群」,「スイーツ画像群」,「セルフィー画像群」等など、各種さまざまな被写体別の画像群が蓄積されているものとする。
【0063】
画像分類部112は、データストレージ111に蓄積された大量の画像データに対して、所定の規則に基づいて分類整理処理を行って、所定の形態の類似画像データ集を生成する電子回路若しくはプログラムソフトウエアによって構成されている。ここで、画像分類部112が分類整理する際の所定の規則としては、例えば撮像対象物である被写体の種類等である。
【0064】
通信部113は、当該学習部101の通信部105との間で所定のデータ通信を行うための電子回路若しくはプログラムソフトウエアによって構成されている。
【0065】
なお、当該外部機器100としては、上述したように、大量の画像データを蓄積するデータストレージとしての機能を有すると共に、これらの画像データに基づいて各種のデータ処理を行う機能を有すること等により、例えばネットワークに接続された大容量サーバー装置等が相当する。しかしながら、外部機器100の形態としては、それ以外の形態、例えば一般的な形態の小型コンピュータ、具体的には、大容量データストレージを内蔵した据え置き型の小型コンピュータ等を適用することもできる。
【0066】
このようにして、外部機器100は、大量の画像データに基づいて撮像対象物毎に対応する複数の推論モデルを生成し、これを保存している。そして、本実施形態の撮像装置1は、上記複数の推論モデルのうち所望の推論モデルを適宜読み込んで推論エンジン30の記憶部31に記録する。
【0067】
そして、撮像装置1は、所望の撮像対象物を撮像するのに際し、当該撮像対象物に対応する推論モデルと撮像部10によって取得される画像データとに基づいて、推論エンジン30を用いた所定の推論処理を実行し、適切な画像データを取得する。
【0068】
このように構成された上記撮像装置1を用いて撮像動作を行う際の作用を、以下に説明する。
【0069】
図2は、本実施形態の撮像装置の制御処理シーケンスを示すフローチャートである。図3は、本実施形態の撮像装置との間でデータ通信を行う外部機器の制御処理シーケンスを示すフローチャートである。
【0070】
なお、図2,図3に示す処理シーケンスは、撮像装置及び外部機器の処理シーケンスのうち本発明に関連する部分のみを示すものであり、撮像装置及び外部機器における全処理シーケンスを示すものではないのは言うまでもない。
【0071】
また、図4,図5は、本実施形態の撮像装置1を用いて撮像動作を行う際のようすを概念的に示す図である。このうち、図4は、本実施形態の撮像装置を用いて撮像動作を行う際の状況を示す概念図である。図5は、図4の状況において、当該撮像装置によって撮像され得る領域を概念的に示す拡大図である。
【0072】
図4に示す例では、例えば、使用者200が、本実施形態の撮像装置1を手に持って、所望の撮像対象物(被写体)201を撮像しようとしている様子を示している。
【0073】
具体的には、例えば、使用者200は、撮像装置1を所望の撮像対象物(被写体)201に向けて構えている。ここで、図4に示す例では、撮像対象物(被写体)201として「鳥」を示しており、具体的には「鳥」が樹木の枝202にとまっている状況を例示している。
【0074】
このとき、当該撮像装置1の撮像部10は、例えば、図4において点線で示す略矩形状の撮像範囲(符号F)の画像信号を取得する。ここで、撮像範囲Fは、図5の拡大図に示すように、所望の撮像対象物201(被写体;「鳥」)を含む所定の範囲である。
【0075】
この状態において、撮像装置1の表示部43には、図4に示すように、撮像部10によって取得された画像データに基づく画像が表示される。
【0076】
まず、本実施形態の撮像装置1の制御処理シーケンス(図2)を説明する前に、当該撮像装置1の作用の概略を説明する。
【0077】
予め推論モデルを持たせた撮像装置1を用いて使用者が特定の撮像対象物(例えば「鳥」を撮りたいと所望するときには、まず、撮像装置1において、所望の撮像対象物である「鳥」に対応する推論モデル(鳥辞書;図7参照)を使用する設定を行う。
【0078】
そして、使用者(ユーザ)は、当該撮像装置1を起動させた状態とし、所望の撮像対象物「鳥」に向けて、当該撮像装置1を構える。
【0079】
このとき撮像装置1の表示部43には、撮像部10によって連続的に取得される画像データに基くライブビュー画像が表示される。
【0080】
このとき、ライブビュー画像内に「鳥」が含まれる状態になると、当該ライブビュー画像を構成するフレーム毎の各画像データと、鳥辞書に基づいて、撮像対象物(主要被写体)の検出が行われる。
【0081】
これにより、画像データ内に撮像対象物「鳥」が判別されると、当該撮像対象物「鳥」に対応する撮像パラメータが鳥辞書から読み出される。
【0082】
これと同時に、読み出された撮像パラメータと、当該撮像装置1の設定状況や周囲状況等に鑑みて、適切な撮像パラメータが設定される。
【0083】
そして、ライブビュー画像と鳥辞書とに基づいて、対応する撮像対象物「鳥」に最適な所定のタイミング(例えば良好な構図となった時など)で自動的にレリーズオン信号を発生させて、撮像動作を実行する。
【0084】
これにより、所望する撮像対象物、例えば「鳥」を撮るときには、撮像装置1において、対応する推論モデル(鳥辞書)の使用設定を行って、ライブビュー画像の中に所望の撮像対象物(ここでは「鳥」)を捉えると、ライブビュー画像の画像データと推論モデル(鳥辞書)とに基づいて、当該撮像対象物(ここでは「鳥」)を判別し、かつ当該撮像対象物「鳥」に適切となる撮像パラメータを周囲状況を鑑みて自動設定し、適切な構図となった時など、所定のタイミングで撮像動作が自動的に実行される。
【0085】
したがって、所望する撮像対象物を含む良好な画像を、常に容易に取得することができる。
【0086】
なお、撮像パラメータの自動設定において、露出設定としては、例えば、「鳥」を撮る場合であって、飛翔中の鳥を超長焦点レンズを使って追尾しているといった状況の場合、例えば、高速シャッタ速度値を優先して設定する露出値を自動設定する。また、例えば、枝に止まっている静止状態にある「鳥」をターゲットとする状況の場合には、例えば、開放寄りの絞り値を優先して設定する露出値を自動設定する。このように、シャッタ速度値や絞り値の設定を自動的に行って露出を自動設定する。
【0087】
また、構図設定としては、例えば、理想的な構図を得るために、ライブビュー画像に重畳させて画面内の撮像対象物の位置をガイド表示したり、撮像対象物の細かな動きを追尾するように判別し続けることによって、例えば、「鳥」が正面を向いたり、横を向いたり、後ろ向きになったとしてもフォーカスを自動で合わせ続けると共に、「鳥」の顔が理想の方向に向いたタイミングで自動的にレリーズオン信号が発生する等の制御が行われる。
【0088】
本実施形態の撮像装置1の制御処理シーケンスは、図2に示す通りである。まずはじめに、撮像装置1の制御処理シーケンスについて以下に説明する。
【0089】
図2に示す制御処理シーケンスの開始に際しては、まず、撮像装置1は、電源供給状態がオン状態にあり、使用可能状態にあるものとする。
【0090】
この状態において、図2のステップS11において、制御部20は、現在設定されている動作モードが撮像モードであるか否かの確認を行う。ここで、撮像モードが設定されていることが確認されると、次のステップS12の処理に進む。また、撮像モード以外の動作モードが設定されている場合には、ステップS21の処理に進む。
【0091】
ステップS12において、制御部20は、撮像部10,表示部43等を制御してライブビュー動作を開始する。
【0092】
即ち、制御部20は、撮像部10を駆動制御して、光学系11により結像された光学像を光電変換して画像信号を生成する。撮像部10により取得された当該画像信号は、制御部20の画像処理部25へと出力される。これを受けて画像処理部25は、所定の画像信号処理を施して表示形態の画像データを生成して、表示部43へと出力する。これを受けて表示部43は、当該画像データに基く画像を表示する。このような一連の処理を連続的に繰り返すことによって、表示部43の表示画面には、いわゆるライブビュー画像(スルー画とも呼ばれる)としての動画像が表示される。
【0093】
続いて、ステップS13において、制御部20は、既に使用すべき推論モデルが設定されているか否かの確認を行う。ここで、既に推論モデルが設定されている場合には、次のステップS15の処理に進む。また、未だ推論モデルが設定されていない場合には、ステップS14の処理に進む。
【0094】
ステップS14において、制御部20は、推論モデル設定処理のサブルーチンを実行する。ここで、推論モデル設定処理サブルーチンは、図示を省略しているが、例えば次のような処理である。
【0095】
推論モデル設定処理サブルーチンの一例としては、ライブビュー画像に含まれる撮像対象物(被写体)に対応する適切な推論モデルを自動的に設定する処理である。
【0096】
具体的には例えば、推論エンジン30の記憶部31には、被写体毎に対応する複数種類の推論モデルが予め記憶されているものとする。
【0097】
この状態において、記憶部31に記憶済みの任意の推論モデルを用いて、ライブビュー画像の中の主要となる被写体(以下、主要被写体という)に対する仮推論処理を複数回実行する。
【0098】
これにより、ライブビュー画像の主要被写体に対して信頼性の高い推論モデルを自動的に選択し、選択された推論モデルを使用する設定を行う。
【0099】
こうして自動設定された推論モデルについての情報は、例えば、図6に示すように、表示部43の表示画面に表示中のライブビュー画像に重畳表示される。ここで、図6は、ライブビュー画像の表示中に推論モデルの自動設定処理が行われた場合において、表示部に処理結果を表示する際の一表示例である。この図6においては、当該情報を、文字或いは所定のアイコンを用いて表示する例を示している(図6の符号202)。
【0100】
また、推論モデル設定処理サブルーチンの別の例では、ライブビュー画像に含まれる撮像対象物(主要被写体)であって、使用者が撮像を所望する被写体に対応する適切な推論モデルを、使用者自身が手動操作を行って設定する処理である。
【0101】
具体的には例えば、推論エンジン30の記憶部31には、被写体毎に対応する複数種類の推論モデルが予め記憶されているものとする。
【0102】
この状態において、使用者は、撮像装置1の動作モードを設定モードに切り換えて、所定の手動操作を行う。
【0103】
こうして、例えば、表示部43の表示画面上には、図7に示すような推論モデル選択画面(画像辞書選択画面)を表示させる。ここで、図7は、撮像装置の動作モードが設定モードに設定されているときの画面表示例であって、推論モデル選択設定画面を表示している例示である。
【0104】
この推論モデル選択設定画面においては、図7に示すように、撮像装置1の推論エンジン30の記憶部31に予め記憶されている複数の推論モデル(対象物画像辞書)が一覧表示(図7の符号202)されている。図7に示す例では、各推論モデルを示す名称又はアイコン等によって表示する例が示されている。
【0105】
使用者は、この推論モデルの一覧表示画面の表示中に操作部44に含まれる所定の操作部材を用いて所望の推論モデルを選択設定する。例えば、当該撮像装置1が、表示部43の表示画面上に重ねて操作部としてのタッチパネルが配置される構成であれば、表示画面に表示される一覧の中から所望の推論モデルを表示するアイコンなどを、手指にてタッチ操作する。
【0106】
すると、選択設定された推論モデルのアイコン表示が、例えばフラッシュ表示若しくは強調表示等によって目視可能な表示形態に変化する。図7に示す例では、選択された推論モデルを強調表示する表示例として、推論モデルを表す名称文字を囲う枠線を太い枠線として表示している。
【0107】
これにより、使用者が撮像を行おうとする撮像対象物(被写体)に対応する推論モデルが選択設定される。
【0108】
その後、撮像装置1を用いて撮像を開始するわけであるが、その場合には、当該撮像装置1の動作モードを設定モードから撮像モードに切り換える。そのときに、例えば、図6に示すような表示、即ちライブビュー画像に対して設定済みの推論モデルに関する情報表示を重畳させてもよい。
【0109】
このようにして推論モデルが設定された状態になると、図2に戻って、次のステップS15において、制御部20は、撮像部10と推論エンジン30とを制御して、所定の推論処理を行う。
【0110】
この場合における推論処理は、設定済みの推論モデルに基づいて、撮像部10によって取得される画像データ(即ちライブビュー画像)に施す所定の処理である。例えば、推論処理は、画像データに含まれる主要被写体(撮像対象物)の特徴点を抽出し、抽出した特徴点のデータを推論モデルに照合し、推論結果を導くといった処理である。この推論処理は、機械学習などにおいて従来一般的行われる処理であるので、その詳細説明は省略する。
【0111】
続いて、ステップS16において、制御部20は、上述のステップS15の推論処理の推論結果について、信頼性が高いか否かの確認を行う。ここで、推論結果の信頼性が低いと判断された場合には、ステップS17の処理に進む。また、推論結果の信頼性が高いと判断された場合には、次のステップS18の処理に進む。
【0112】
ステップS17において、制御部20は、所定の時間の間は設定された推論モデルを維持する。
【0113】
ここで、例えば、図2に示す状況下において、使用者は、撮像装置1を用いて、その撮像範囲F内に所望の撮像対象物201(被写体)を捉えている状態であるものとする。このときの表示部43に表示されるライブビュー画像は、例えば、図6に示すような形態となる。このとき、撮像装置1は、「鳥」推論モデルが設定されている。
【0114】
この状態において、撮像装置1は、上述のステップS15の推論処理の推論結果に基づいて、ステップS18の制御処理がなされる。その制御処理の一つとして、例えばライブビュー画像内の主要被写体となる「鳥」を識別して、これにフォーカスを合わせる焦点調節動作といった制御も含まれる。
【0115】
この場合においては、撮像対象物201を「鳥」のような生き物としているので、使用者200が撮像装置1を固定していたとしても、時間経過と共に、当該撮像対象物201は動き回ることは必定である。
【0116】
例えば、図8は、図6の状態から撮像対象物201である「鳥」が枝202から飛び立とうとして動き出そうとする状態を示している。また、図9は、図8の状態の後、撮像対象物201である「鳥」が撮像範囲F外に出てしまった状態を示している。このときのライブビュー画像には、枝202だけが表示されている。さらに、図10は、図9の状態の後、使用者が撮像装置1を構え直して、移動後の撮像対象物201である「鳥」を撮像範囲F内に捕らえ直した状態を示している。
【0117】
このように、撮像装置1の撮像範囲F内で所望の撮像対象物201が動いた場合にも、当該撮像範囲F内に当該撮像対象物201が含まれている状態にある間は、当該撮像装置1は、撮像対象物201を識別してフォーカスを合わせ続ける焦点調節制御が継続される。さらに、当該撮像対象物201が撮像範囲外に出てしまったとしても、所定の時間内では、設定されている推論モデルは維持される(ステップS17)。
【0118】
そして、例えば、図9の状態から、使用者が撮像装置1を構え直すなどによって、図10のように移動後の撮像対象物201である「鳥」を撮像範囲F内に捕らえ直せば、維持されている推論モデルを用いた推論が継続される。
【0119】
図2に戻って、ステップS18において、制御部20は、パラメータ制御部23及び表示部43等を制御して、上述のステップS15の推論処理による推論結果に応じた適切な撮像制御処理を実行する。ここで、撮像制御処理は、例えば、撮像対象とする被写体に適応する各種撮像パラメータの設定等の制御処理である。
【0120】
ステップS19において、制御部20は、動画又は静止画の撮像動作処理の実行開始指示の確認を行う。
【0121】
ここで、動画又は静止画の撮像動作処理の実行開始指示が確認された場合には、次のステップS20の処理に進む。また、動画又は静止画の撮像動作処理の実行開始指示が確認されない場合には、ステップS11の処理に戻る。
【0122】
なお、動画又は静止画の撮像動作処理の実行開始指示は、例えばレリーズオン信号である。このレリーズオン信号は、例えば操作部44に含まれるレリーズ操作部材が使用者により操作されることで発生する信号である。また、それ以外にも、例えば、上述のステップS18の撮像制御処理において、適宜所定のタイミングで自動的にレリーズオン信号を発生させるようにしてもよい。この場合、具体的には例えば、ライブビュー画像内における撮像対象物の位置等が、適切な位置となったタイミング(当該撮像対象物に応じた適切な構図が得られる時点)で、自動的にレリーズオン信号が発生するような制御を行うといったことが考えられる。
【0123】
ステップS20において、制御部20は、撮像部10を制御して撮像動作を実行し、続いて、画像処理部25及び記録部42等を制御して記録処理を実行する。
【0124】
なお、静止画撮像動作処理の場合には、上記実行開始指示信号を受けて撮像動作を開始し、所定の一連の処理を経て終了する。また、動画撮像動作処理の場合には、上記実行開始指示信号を受けて撮像動作を開始し、その後、同レリーズ操作部材が再度操作されることにより、若しくは所定時間経過後に自動的に、発生する再度のレリーズオン信号を受けて動作終了する。その後、ステップS11の処理に戻る。
【0125】
一方、上述のステップS11の処理にて、現在設定されている動作モードが撮像モード以外であることが確認されて、ステップS21の処理に進んだ場合は、以下の通りである。
【0126】
即ち、ステップS21において、制御部20は、現在設定されている動作モードが推論モデル取得モードであるか否かの確認を行う。ここで、推論モデル取得モードとは、当該撮像装置1において利用しようとする推論モデルを、例えば外部機器100等から取得するための動作モードである。
【0127】
推論モデル取得モードが設定されていることが確認されると、次のステップS22の処理に進む。また、推論モデル取得モード以外が設定されている場合には、その他の動作モード、例えば再生モード等の確認を行う。
【0128】
しかしながら、その他の動作モードの作用については、本発明に直接関連しない部分である。したがって、図2のフローチャートにおいては、その他の動作モードに関する処理シーケンスの図示は省略し、上述のステップS11の処理に戻るものとし、その他の動作モードの説明については省略する。
【0129】
ステップS22において、制御部20は、対象物設定処理を実行する。この場合において、、例えば制御部20は、設定制御部22及び表示部43等を制御して、表示部43の表示画面上に、図7に示すような推論モデル選択画面を表示させる。使用者は、この選択画面に対し、操作部44(タッチパネル等)を用いて設定操作することにより、所望の撮像対象物に対応する推論モデルを選択する。これにより、使用者が所望する撮像対象物に対応する推論モデルが設定される。
【0130】
また、このステップS22の処理においては、必要に応じて、所望の撮像対象物に対応する推論モデルについての再学習処理の設定を行う。
【0131】
次に、ステップS23において、制御部20は、必要に応じて、設定制御部22及び表示部43等を制御して学習依頼処理及び再学習依頼処理を実行する。
【0132】
これは、画像の撮像(観察や撮影など)時に、対象物によって重要な撮影上のこだわりポイントが異なるゆえに、一般的な人物の撮像とはことなる状況下で、特別な対象物を的確に撮像するために必要とされることが多くなっている。
【0133】
例えば、鳥の撮影を行う場合などは、その鳥が何であるかによって、ピントを合わせるべき部位、色調を強調すべき部位が異なったりするためである。つまり、この鳥の種別やそれを正しく撮影するための画像からの判定は、カスタマイズされた方が撮像の成功の確率を上げることが出来る。
【0134】
従って、このようなカテゴリーの画像を撮像したいといったニーズをテキストや画像等で設定して依頼すれば良い。この再学習は、装置の製造時に組み込まれて撮像装置内に豊富な辞書があったり、ユーザの狙ったターゲットがその辞書にマッチングしたりしている場合は、それで撮影、撮像時には間に合うので必要ない。
【0135】
ここで、学習依頼処理は、例えば、新たに所望する撮像対象物についての新規の推論モデルを生成する要求を外部機器100等に指示するといった処理である。この指示を、例えば学習依頼指示というものとする。
【0136】
また、再学習依頼処理は、例えば、所定の撮像対象物に対応する既存の推論モデルについて、新たな画像データ(ユーザが新たに取得した画像データ等)を学習母体に追加して、再度の機械学習等を行って、既存の推論モデルに対する更新処理を外部機器100等に指示するといった処理である。
【0137】
この再学習依頼処理においては、撮像装置1は、外部機器100に向けて、再学習を依頼するための情報として、ユーザが取得した新たな画像データを含む所定の情報(依頼データというものとする)を、外部機器100へと送信する。
【0138】
これら学習依頼処理及び再学習依頼処理は、使用者が必要に応じて行う所定の操作を受けて実行される。
【0139】
ステップS24において、制御部20は、上述のステップS22の処理にて選択設定した推論モデルを、例えば外部機器100とのデータ通信を介して取得する。
【0140】
また、このステップS24の処理において、制御部20は、苦手画像情報記録処理を実行する。この苦手画像情報記録処理は、上述のステップS22における再学習依頼処理にて送出した依頼データに含まれる画像データを「苦手画像情報」として記録する処理である。
【0141】
次に、本実施形態の撮像装置1との間でデータ通信を行う外部機器100の制御処理シーケンスを、図3を用いて以下に説明する。図3に示す制御処理シーケンスの開始に際しては、まず、外部機器100は、電源供給状態がオン状態であり、使用可能状態にあるものとする。
【0142】
この状態において、図3のステップS31において、外部機器100の機器制御部107は、撮像装置1から送信されてくる指示情報に学習依頼指示(図2のステップS23参照)が含まれているか否かの確認を行う。ここで、撮像装置1からの学習依頼指示が確認された場合には、次のステップS32の処理に進む。また、撮像装置1からの学習依頼指示が確認されない場合には、当該学習依頼指示を確認するまで同じ確認処理を繰り返す。
【0143】
ステップS32において、機器制御部107は、撮像対象物の種別設定処理を実行する。撮像対象物種別設定処理は、図2のステップS23の処理にて撮像装置1から当該外部機器100に向けて送信され、上述のステップS31の処理にて受信される学習依頼指示に含まれる各種の情報に基づいて、生成しようとする推論モデルに対応する撮像対象物の種別を設定する処理である。
【0144】
続いて、ステップS33において、機器制御部107は、学習母体設定及び撮像パラメータ設定処理を実行する。学習母体設定処理は、上述のステップS32の処理にて設定された撮像対象物種別に対応する複数の画像データを、外部画像データベース110から読み出して、学習母体(機械学習を行う対象とする大量の画像データ)として設定する処理である。
【0145】
また、撮像パラメータ設定処理は、設定された学習母体に含まれる大量の画像データのそれぞれに付随する撮像パラメータ情報のうち、所定の撮像パラメータ情報を読み出して、生成される推論モデルに関連付ける処理である。
【0146】
ステップS34において、機器制御部107は、設定された学習母体に含まれる大量の画像データから撮像対象物の各画像データの画像内における位置情報等を収集し、生成する推論モデルに関連付ける処理である。
【0147】
ステップS35において、機器制御部107は、推論モデル化処理を実行する。この推論モデル化処理は、上述のステップS32〜ステップS34の各処理結果を統合して、所定の推論モデルを生成する処理である。
【0148】
ステップS36において、機器制御部107は、撮像装置1からの依頼データを受信した場合(即ち再学習依頼があった場合)には、当該依頼データに基く推論処理(即ち再学習処理)を実行する。
【0149】
ステップS37において、機器制御部107は、上述のステップS36の推論処理の結果についての信頼性が所定値以上であるか否かを確認する。ここで、信頼性が所定値以上である場合には、次のステップS38の処理に進む。また、信頼性が所定値未満である場合には、ステップS39の処理に進む。
【0150】
ステップS38において、機器制御部107は、新たに生成された推論モデル若しくは再学習の結果により更新された推論モデルを撮像装置1へと送信する送信処理を実行する。これを受けて、撮像装置1は、図2のステップS24の処理にて、当該推論モデルを取得することになる。その後、ステップS31の処理に戻る。
【0151】
一方、上述のステップS37の処理にて推論モデルの信頼性が低いと判断されて、ステップS39の処理に進むと、このステップS39において、機器制御部107は、学習母体及び撮像パラメータ情報の再設定処理を実行する。
【0152】
ステップS40において、機器制御部107は、ステップS39の処理回数が所定回数以上繰り返されているか否かの確認を行う。ここで、所定回数を超えている場合には、次のステップS41の処理に進む。また、所定回数未満であれば、ステップS34の処理に戻り、以降の処理を繰り返す。
【0153】
ステップS41において、機器制御部107は、苦手画像情報送信処理を実行する。ここで、苦手画像情報送信処理は、所定回数以上の機械学習等によっても信頼性の高い推論結果が得られなかった場合に、対象としていた画像データ(依頼データに含まれる画像データ)を、当該推論モデルを生成するのに際して不適切な画像、即ち「苦手画像」として、外部画像データベース110へと送信する処理である。これにより、当該外部画像データベース110は、当該画像データ(苦手画像情報)を所定の領域に記録する。
【0154】
以上説明したように上記一実施形態によれば、所望する特定の撮像対象物を含む所定の範囲の画像信号を取得する撮像装置1において、特定範囲を撮像して画像信号を取得する撮像部10と、撮像部10によって取得される画像信号に含まれる特定の対象物を表す像信号を適切に撮像するための撮像パラメータを制御するパラメータ制御部23と、複数種類の対象物にそれぞれ対応する複数の対象物画像辞書(推論モデル)を記憶する記憶部31と、複数の対象物画像辞書のうちから選択された対象物画像辞書を用いて撮像制御を実行する制御部20と、を具備して構成している。ここで、複数の対象物画像辞書は、予め外部機器100等によって生成されたものを読み込んで記憶部31に予め記憶されている。
【0155】
このような構成とすることにより、当該撮像装置1は、撮像部10によって取得される画像データ(ライブビュー画像)と、複数の対象物画像辞書(推論モデル)のうちから選択された対象物画像辞書とに基づいて所定の推論処理を行う。
【0156】
この推論処理により、ライブビュー画像に含まれる撮像対象物(主要被写体)の種類が判別され、判別された撮像対象物(主要被写体)が所望の撮像対象物として設定され、設定された撮像対象物を撮像するのに適する撮像パラメータが設定され、撮像範囲内の設定された撮像対象物を追尾してフォーカスを合わせ続ける等の制御がなされる。そして、レリーズオン信号が発生すると、適宜所定のタイミングで撮像動作を実行する。この場合、レリーズオン信号は、使用者によるレリーズ操作部材の手動操作を受けて発生する場合のほか、例えば適切な構図となったタイミングで自動的にレリーズオン信号を発生させる制御であってもよい。
【0157】
このような作用によって、本実施形態の撮像装置1は、装置の設定状態や周囲状況及び所望する特定の撮像対象物(所望の被写体)の種類などに応じて、撮像パラメータ等の各種設定を自動的にかつ適切に行うことができ、よって、常に良好な撮像結果(所望の撮像対象物を含む画像データ)を取得することが容易にできる。
【0158】
また、本実施形態の撮像装置1においては、撮像部10によって取得された画像データ(依頼データ)に基づく推論モデルの再学習処理を、外部機器100に対して依頼することができるようにしている(図2のステップS23の再学習依頼処理)。これにより、使用者の撮像傾向や好みに応じた推論モデルを再構築することができる。
【0159】
次に、上述の一実施形態の撮像装置1における作用についての変形例を、図11,図12を用いて以下に説明する。
【0160】
図11,図12は、本発明の一実施形態の撮像装置における制御処理シーケンスの変形例を示すフローチャートである。
【0161】
図11,図12に示す作用例では、撮像装置1によって取得された画像データのうち「成功画像」を用いて、当該画像に含まれる撮像対象物に対応する推論モデルの重み付けを行って、当該撮像装置1が予め記憶部31に記憶している複数の推論モデルの使用優先度を設定するように構成している。これによって、当該撮像装置1においては、その主な使用者(例えば所有者)の使用傾向に応じて頻繁に使用される推論モデルが優先的に選択される。
【0162】
なお、上述の「成功画像」とは、例えば撮像装置1の撮像部10によって取得され記録された複数の画像データのうち、使用者が所望する特定の撮像対象物を含むと共に、使用者の撮像意図に沿うと思われるような画像をいうものとする。
【0163】
ステップS51において、制御部20は、推論モデルの仮設定処理を実行する。この推論モデル仮設定処理は、例えば、当該撮像装置1の起動時に自動的に使用する推論モデルを設定する処理である。
【0164】
この仮設定処理は、例えば、当該撮像装置1の使用者が頻繁に使用する推論モデルや、使用者が予め指定しておいた推論モデルなどを優先的に設定するための処理である。また、これ以外の所定の手順に基づいて、複数の推論モデルの中から所定の推論モデルを選択し、仮設定するようにしてもよい。
【0165】
ステップS52において、制御部20は、撮像部10,表示部43等を制御してライブビュー動作を開始する。
【0166】
続いて、ステップS53において、制御部20は、撮像部10によって取得された画像データ(ライブビュー画像)に含まれる特定の撮像対象物(主要被写体)と、上述のステップS51の処理にて仮設定された推論モデルとのマッチング処理を実行する。
【0167】
ステップS54において、制御部20は、上述のステップS53のマッチング処理の結果、画像データ(ライブビュー画像)に含まれる撮像対象物が、仮設定された推論モデルに含まれる撮像対象物に合致する(該当する)ものであるか否かの確認を行う。ここで、該当無しである場合には、次のステップS55の処理に進む。また、該当する場合には、ステップS56の処理に進む。
【0168】
ステップS56において、制御部20は、上述のステップS54の処理にて該当すると判断された撮像対象物を、特定の撮像対象物として設定する処理を行う。この設定処理では、当該特定の撮像対象物の設定のほか、当該特定撮像対象物に対応する撮像パラメータ情報等の設定も含む。その後、ステップS57の処理に進む。
【0169】
一方、該当無しの場合にステップS55の処理に進むと、このステップS55において、制御部20は、仮設定されている推論モデルを別の推論モデルに切り換える処理を実行する。
【0170】
続いてステップS57において、制御部20は、レリーズオン信号の発生の有無を確認する。ここで、レリーズオン信号が確認された場合には、次のステップS58の処理に進む。また、レリーズオン信号が確認されない場合には、上述のステップS52の処理に戻り、以降の処理を繰り返す。
【0171】
ステップS58において、制御部20は、通常の撮像動作処理を実行する。その後、図12のステップS61の処理に進む(図11,図12の符号「12」)。
【0172】
図12のステップS61において、制御部20は、図11のステップS58の処理にて取得された画像信号(画像データ)を記録する通常の記録処理を実行する。
【0173】
ステップS62において、制御部20は、図11のステップS58の処理にて取得され、上述のステップS61の処理にて記録された画像信号(画像データ)について、成功画像か否かの確認を行う。ここで、成功画像とは、上述したように、使用者が所望する特定の撮像対象物を撮像した際に、同使用者の撮像意図に沿う画像である。したがって、成功画像であるか否かの判断は、使用者の意志に基づいて、当該使用者が手動操作によって決定される。そのために、このステップS62の処理において、制御部20は、表示部43を制御して、可否選択画面を表示して、使用者に選択操作を行わせるようにする(不図示)。
【0174】
また、これとは別に、図11のステップS57の処理にて発生したレリーズオン信号が、推論モデルに応じて所定のタイミング(例えば適切な構図となったタイミング)で自動的に発生した場合には、これによって取得された画像は、全て成功画像であると自動的に判断してもよい。
【0175】
ここで、成功画像であると判断された場合には、次のステップS63の処理に進む。また、成功画像ではない(失敗画像である)と判断された場合には、ステップS69の処理に進む。
【0176】
ステップS63において、制御部20は、記録画像データと推論モデルとのマッチング処理を実行する。
【0177】
続いてステップS64において、制御部20は、上述のステップS63のマッチング処理の結果、記録画像データに含まれる撮像対象物が、推論モデルに含まれる撮像対象物に合致する(該当する)ものであるか否かの確認を行う。ここで、該当無しである場合には、次のステップS65の処理に進む。
【0178】
ただし、対象物が画面外に行ってしまって、その次にユーザが継続して同じ対象物を追尾したり捜したりする場合は、同じ推論モデルで捜す方が良いので、画面外に対象物がいなくなった状況で、まだ撮像装置を構え続けている場合(画像の変化や装置に内蔵した姿勢センサなどの信号で判定すればよい)などは、推論エンジンは、対象物特定用の画像から特定対象物を判定するための辞書(推論モデル)の切換を行わない方が良い。
【0179】
また、対象物を捜して所定時間迷うような状況下でも同じような判定を行って、同様に辞書切換を行わないほうが良いので、そのような制御を行う。
【0180】
つまり、上記推論エンジンは、上記撮像部により取得された画像信号に含まれる上記特定の対象物を表す像信号と、上記選択された上記対象物画像辞書とのマッチング処理を行って、上記特定の対象物が合致しない場合にも所定の状況下では上記対象物画像辞書を他の対象物画像辞書に切り換えない。
【0181】
一方、上述のステップS64にて、該当する場合には、ステップS66の処理に進む。
【0182】
ステップS65において、制御部20は、現在設定されている推論モデルを記録部31に記憶済みの別の推論モデルに切り換え、上述のステップS63のマッチング処理を繰り返し、ステップS66の重み付け処理を実行する。その後、ステップS68の処理に進む。
【0183】
ステップS66において、制御部20は、現在設定されている推論モデルに対し重み付け処理を実行する。これにより、当該推論モデルは、使用者の使用傾向に応じて更新される。
【0184】
続いてステップS67において、制御部20は、優先度順に推論モデルを並び換える処理を行う。その後、ステップS68の処理に進む。
【0185】
ステップS68の処理において、制御部20は、電源オフ信号の有無を確認する。ここで、電源オフ信号が確認された場合には、一連の処理シーケンスを終了する(エンド)。また、電源オフ信号が確認されない場合には、図11のステップS52の処理に進み、以降の処理を繰り返す(図11,図12の符号「11」)。
【0186】
一方、上述のステップS62の処理にて、記録画像データが失敗画像であると判断された場合にステップS69の処理に進むと、このステップS69において、制御部20は、再学習依頼処理を実行する。この再学習依頼処理は、当該失敗画像(今回の記録画像データ)に基づく再学習処理を外部機器100に対して依頼する処理である。
【0187】
この再学習依頼処理においては、制御部20は、外部機器100にて再学習処理を行うのに必要となる追加の画像データ(失敗画像;撮像パラメータ情報を含む)等の各種の情報を外部機器100へと依頼データとして送信し提供する。
【0188】
このように「失敗画像」が取得されたような場合には、再学習処理を行って、使用者の失敗パターン(失敗傾向)を分析したり把握することで、失敗画像とならないような撮像パラメータ等を設定するような情報を含めた推論モデルに更新することができる。
【0189】
以上説明したように、上記変形例によれば、当該撮像装置1を用いて使用者が撮像動作を実行して成功画像を取得すると、この成功画像データを用いて対応する推論モデルの更新を行うことができる。したがって、これにより、撮像装置1の主な使用者(例えば所有者)の使用傾向に応じて適切な推論モデルとすることができる。
【0190】
また、使用者の使用頻度に応じて、記憶部31に記憶されている複数の推論モデルに優先度を付与することによって、使用頻度の高い推論モデルを自動的に選択されるようにしている。これにより、使用者の使用傾向に沿った推論モデルが優先的に選択されるので、より使用感の良好な撮像装置とすることができる。
【0191】
なお、上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲,明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。
【0192】
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク CD−ROM等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に本実施形態の撮像装置を実現することができる。
【0193】
また、プログラムで構成した部分を適宜、回路に置き換えることも可能である。なお、実施例中で、「部」(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやWiFi、電話回線などで行えばよく、USBなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。メカ的に位置制御される部位などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやASICなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。
【0194】
本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。
【産業上の利用可能性】
【0195】
本発明は、撮像機能に特化した撮像装置(例えばデジタルカメラ,ビデオカメラ等)に限られることはなく、撮像機能を備えたその他の形態の電子機器、例えば携帯電話,スマートフォン,電子手帳,電子辞書,携帯情報端末,パーソナルコンピュータ,タブレット型端末機器,ゲーム機器,テレビジョン受像器,時計,GPS(Global Positioning System)を利用したナビゲーション機器等、各種の撮像機能付き電子機器に対して広く適用することができる。
【0196】
さらに、撮像素子を用いて画像を取得して、その取得画像を表示装置を用いて表示する機能を有する観察用の電子機器、例えば望遠鏡,双眼鏡,単眼鏡,顕微鏡等の観察用機器に対しても同様に適用することができる。
【0197】
また、内視鏡,顕微鏡のような産業用若しくは医療用の観察機器等のほか、監視カメラや車載用カメラ等の撮像装置であっても同様に適用することができる。
【符号の説明】
【0198】
1……撮像装置
10……撮像部
11……光学系
12……撮像素子
20……制御部
21……記録制御部
22……設定制御部
23……パラメータ制御部
24……通信制御部
25……画像処理部
30……推論エンジン
31……記憶部
41……通信部
42……記録部
43……表示部
44……操作部
100……外部機器
101……学習部
102……母集合作成部
103……出力設定部
104……入出力モデル化部
105……通信部
107……機器制御部
110……外部画像データベース
111……データストレージ
111a……対象物A画像群
111b……対象物B画像群
112……画像分類部
113……通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】