公開特許公報

【発明を実施するための形態】

【0018】

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。

【0019】

［一実施形態］
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像や動画像を表わすデジタルデータとして記憶媒体に記録し、また記憶媒体に記録されたデジタル画像データに基いて静止画像や動画像を表示装置に再生表示し得るように構成される撮像装置を例示するものである。

【0020】

まず、本発明の一実施形態の撮像装置の構成を、図１を用いて以下に説明する。図１は、本発明の一実施形態の撮像装置と、この撮像装置との間で通信を行う外部機器の概略構成を示すブロック構成図である。

【0021】

本実施形態の撮像装置１は、所望の被写体を含む特定の範囲の画像信号を取得して、画像として表示するための装置である。この撮像装置１は、撮像部１０と、制御部２０と、推論エンジン（inference engine）３０と、通信部４１と、記録部４２と、表示部４３と、操作部４４等を有して構成されている。

【0022】

撮像部１０は、撮像装置１において特定範囲を撮像して画像信号を取得する撮像機能を実現するための構成ユニットである。即ち、この撮像部１０は、光学像を形成する光学系１１と、この光学系１１により形成される光学的な被写体像（光学像）を電気的な画像信号に変換する光電変換素子である撮像素子１２等を含む電子回路及びプログラムソフトウエア等によって構成されている。この撮像部１０は、後述する制御部２０によって制御される。なお、撮像部１０自体は、光学像を電気的な画像信号に変換する撮像機能を有していればよい。したがって、撮像部１０の構成は、従来の撮像装置に適用されている撮像ユニットと略同様であるものとし、構成についての詳細な説明は省略する。

【0023】

制御部２０は、撮像装置１を構成する各種の構成部をそれぞれ制御する複数の制御部（２１〜２４）と、画像信号を処理する画像処理部２５等を有している。そして、制御部２０は、これら複数の制御部（２１〜２４）及び画像処理部２５等を統括的に制御することにより、当該撮像装置１の撮像動作を制御する撮像制御部として機能する。ここで、撮像制御部としての制御部２０は、撮像部１０によって取得された画像信号と、記憶部３１（後述する）に記憶された複数の対象物画像辞書（推論モデル）とに基づいて撮像制御を行う。

【0024】

具体的には、制御部２０は、例えば記録制御部２１と、設定制御部２２と、パラメータ制御部２３と、通信制御部２４と、画像処理部２５等の電子回路若しくはプログラムソフトウエア等を有して構成されている。

【0025】

記録制御部２１は、記録部４２を制御する電子回路若しくはプログラムソフトウエアによって構成されている。記録制御部２１は、撮像部１０によって取得された画像信号を受けて、これを所定の形態（記録形態）の画像データに変換し、この画像データを記録部４２に含まれる記録媒体（不図示）に記録する制御を行う。また、記録制御部２１は、記録部４２の記録媒体（不図示）に記録済みの画像データを読み出して、所定の形態（表示形態）の画像データに変換し、これを表示部４３へと出力する等の制御を行う。

【0026】

設定制御部２２は、当該撮像装置１における各種の設定を制御する電子回路若しくはプログラムソフトウエアによって構成されている。

【0027】

パラメータ制御部２３は、撮像部１０によって取得された画像信号（画像データ）に含まれる特定の撮像対象物を表す像信号を適切に撮像するための撮像パラメータを設定し、撮像パラメータの制御を行う電子回路若しくはプログラムソフトウエアによって構成されている。

【0028】

パラメータ制御部２３は、具体的には例えばシャッタ機構，絞り調節機構等の駆動制御を行って撮像パラメータとしての露出調整等を行う機能を有する。また、パラメータ制御部２３は、周囲の照明光の状況に応じて撮像部１０の駆動制御を行って、ホワイトバランス調整などを行う機能を有する。さらに、パラメータ制御部２３は、撮像部１０に含まれる光学系１１を駆動制御することによって、主要被写体としての撮像対象物に対する焦点調節動作の制御を行う機能を有する。

【0029】

通信制御部２４は、通信部４１を制御して、当該撮像装置１と外部機器１００（後述する）との間のデータ通信を行うための電子回路若しくはプログラムソフトウエアによって構成されている。

【0030】

画像処理部２５は、撮像部１０によって取得された画像信号等に基づいて各種の信号処理を施して各種の画像データを生成する電子回路若しくはプログラムソフトウエアによって構成されている。

【0031】

なお、図示を省略しているが、制御部２０には、表示部４３を制御する表示制御部や、操作部４４からの入力信号を受けて各種の指令信号を出力する操作制御部等を含んで構成されている。

【0032】

推論エンジン３０は、撮像部１０によって取得された画像信号と、外部機器１００等によって予め生成された推論モデルのデータ（対象物画像辞書ともいう）とに基づいて、当該画像信号によって表示される画像の中に含まれる主要となる被写体（撮像対象物）に関して所定の推論（詳細後述）を行う電子回路若しくはプログラムソフトウエアによって構成されている。さらに、推論エンジン３０は、例えば撮像部１０により取得された画像信号と、記憶部３１に記憶された複数の対象物画像辞書とに基づいて、特定の対象物の種別を判別し、当該判別した特定の対象物の種別に対応する対象物画像辞書を複数の対象物画像辞書のうちから選択する処理などを行う。

【0033】

推論エンジン３０は、少なくとも１つ若しくは複数の推論モデルを予め記憶するための記憶部３１を有している。つまり、記憶部３１は、複数種類の対象物にそれぞれ対応する複数の対象物画像辞書（推論モデル）を記憶する構成部である。

【0034】

なお、上記推論モデルとは、例えば、未知の対象物（被写体）を含む画像データに関し、その画像データに含まれる対象物（被写体）についての推論を行う際に利用される定型パターン（テンプレート）等を含むデータ集である。

【0035】

ここで、推論モデルは、例えば、外部画像データベース１１０（後述する）に蓄積されている大量の画像データに基づいて、機械学習やディープラーニング（deep learning；深層学習）等を用いて、所定の対象物（被写体）の特徴部分を抽出して生成される。

【0036】

推論モデルは、例えば外部機器１００において予め生成されるものである。外部機器１００において生成された推論モデルは、当該外部機器１００内の記憶部（不図示）に複数記憶されているものとする。そして、撮像装置１は、通信部４１を介して外部機器１００とのデータ通信を必要に応じて行うことにより、所望の推論モデルを外部機器１００の記憶部（不図示）から読み出して、推論エンジン３０の記憶部３１に記憶して、適宜利用するように構成している。

【0037】

通信部４１は、当該撮像装置１と、他の外部機器（図１では符号１００）等と間で行われるデータ通信を実現するための電子回路若しくはプログラムソフトウエアによって構成されている。

【0038】

通信部４１は、例えば、近接位置にある他の外部機器との間で無線によるデータ通信を行ういわゆる近距離無線通信回路ユニット等によって構成してもよいし、ネットワーク（不図示）経由で他の外部機器（例えばファイルサーバー（不図示）等）との間でデータ通信を実現する通信回路ユニット等によって構成してもよい。

【0039】

なお、通信部４１に含まれる通信手段としては、無線方式の通信手段に限らず、有線方式の通信手段も含まれる。この通信部４１は、上記通信制御部２４によって制御される。

【0040】

記録部４２は、各種のデータファイルを記録するための構成ユニットである。この記録部４２に記録されるデータファイルとしては、例えば、撮像部１０によって取得され制御部２０の画像処理部２５にて所定の記録形態に変換された画像データ等が主なものであるが、当該画像データ以外の他の情報データ等を記録するようにしてもよい。

【0041】

表示部４３は、表示パネル及びその駆動回路等（不図示）からなり表示機能を実現する構成ユニットである。表示部４３の表示パネルには、撮像部１０を用いて取得された画像データに基く画像や、各種設定プログラム等によって生成されるメニュー画像が表示される。この表示部４３は、制御部２０に含まれる表示制御部（不図示）によって制御される。

【0042】

操作部４４は、使用者（ユーザ）によって行われる各種の操作を受けて、対応する各種の指示信号を発生させるための複数の操作部材と、これに連動する電子回路等を含む構成ユニットである。この操作部４４としては、例えば押圧式，回転ダイヤル式，スライド式，レバー式等の各種の形態の操作部材のほか、タッチパネル等を含んで構成されている。

【0043】

本実施形態の撮像装置１は、以上のように構成される。なお、撮像装置１におけるその他の構成部材については、従来一般的な撮像装置と略同様であるものとし、その図示及び説明は省略する。

【0044】

このように構成された本実施形態の撮像装置１は、外部機器１００との間でデータ通信を行うことによって、必要とする推論モデルを入手して、これを推論エンジン３０の記憶部３１に記録する。そうして、当該撮像装置１は、所望の撮像対象物を撮像するのに際し、当該撮像対象物に対応する推論モデルと撮像部１０によって取得される画像データとに基づいて、推論エンジン３０を用いた所定の推論処理を実行し、適切な画像データを取得する。

【0045】

ここで、本実施形態の撮像装置１とデータ通信を行う外部機器１００について、以下に簡単に説明する。

【0046】

外部機器１００は、本実施形態の撮像装置１との間で所定のデータのデータ通信を行ない得るように構成された電子機器である。この外部機器１００には、学習部１０１と、外部画像データベース（ＤＢ）１１０と、当該外部機器１００を統括的に制御する機器制御部１０７を有して構成されている。

【0047】

なお、図１に示す例示では、１つの外部機器１００の内部に、学習部１０１と、外部画像データベース１１０とを含めて構成するようにしているが、この形態に限られることはない。例えば学習部１０１を有する外部機器のほかに、外部画像データベース１１０を有する外部機器を別体で構成する形態であってもよい。この場合、各外部機器間は、通信部を介して互いにデータ通信が可能となるように構成されている。

【0048】

学習部１０１は、推論モデル（対象物画像辞書）を作成する機能を有する電子回路若しくはプログラムソフトウエアによって構成されている。この学習部１０１は、母集合作成部１０２と、出力設定部１０３と、入出力モデル化部１０４と、通信部１０５等を有して構成されている。

【0049】

母集合作成部１０２は、作成しようとする推論モデルに対応する学習素材としての画像母集合を作成する電子回路若しくはプログラムソフトウエアである。

【0050】

後述するように、外部画像データベース１１０に蓄積された大量の画像データは、画像分類部１１２（後述する）によって分類整理されており、複数の画像群毎にデータストレージ１１１に記録されている。

【0051】

したがって、母集合作成部１０２は、作成しようとする推論モデルに対応する撮像対象物（被写体）の画像群データを、外部画像データベース１１０から読み出して画像母集合を作成する。

【0052】

出力設定部１０３は、母集合作成部１０２で作成した画像母集合の各画像データから各種の情報を抽出するのに際して、必要とする情報を設定するための電子回路若しくはプログラムソフトウエアである。

【0053】

ここで、画像データから抽出する情報は、対象物の特徴部分情報や、対象物を撮像する際の撮像パラメータ情報のほか、対象物に応じた適切な構図情報等である。

【0054】

換言すると、対象物の特徴部分情報は、推論モデルを作成するのに際して着目すべき特徴部分に関する情報である。具体的には、例えば対象物が「鳥」の場合は、鳥の目の位置や足の位置等、対象物の特徴点に関する情報である。

【0055】

撮像パラメータ情報は、例えば、シャッタ速度，絞り値等の露出データやホワイトバランス情報等、撮像装置１の設定情報等である。なお、この撮像パラメータ情報は、例えば、画像母集合に含まれる各画像データに付随するいわゆるメタデータとして記録されているものである。

【0056】

構図情報は、例えば、各画像データに含まれる対象物の画面内における配置や大きさ等の情報である。

【0057】

入出力モデル化部１０４は、母集合作成部１０２で作成された画像母集合に含まれる多数の画像データと、出力設定部１０３により設定された各種情報とに基づいてモデル化処理を行って、その処理結果を学習モデルとして出力する電子回路若しくはプログラムソフトウエアである。

【0058】

通信部１０５は、当該学習部１０１と撮像装置１の通信部４１との間、若しくは当該学習部１０１と外部画像データベース１１０の通信部１１３との間、のそれぞれで所定のデータ通信を行うための電子回路若しくはプログラムソフトウエアによって構成されている。

【0059】

外部画像データベース（ＤＢ）１１０は、大容量データストレージ（以下、単にデータストレージと略記する）１１１と、画像分類部１１２と、通信部１１３等を有して構成されている。

【0060】

データストレージ１１１は、大量の画像データを蓄積する大容量記憶装置である。このデータストレージ１１１には、画像分類部１１２によって分類整理済みの複数の類似画像データ集が記録されている。

【0061】

図１に示す例では、複数の類似画像データ集として、例えば撮像対象物である被写体の種類が「Ａ」（具体的には例えば「鳥」等）が含まれる画像データを大量に集めた「対象物Ａ画像群１１１ａ」や、同様に撮像対象物である被写体の種類が「Ｂ」（具体的には例えば「犬」等）が含まれる画像データを大量に集めた「対象物Ｂ画像群１１１ｂ」を例示している。

【0062】

なお、データストレージ１１１には、図示を省略しているが、このほかにも例えば「猫画像群」，「紅葉画像群」，「スイーツ画像群」，「セルフィー画像群」等など、各種さまざまな被写体別の画像群が蓄積されているものとする。

【0063】

画像分類部１１２は、データストレージ１１１に蓄積された大量の画像データに対して、所定の規則に基づいて分類整理処理を行って、所定の形態の類似画像データ集を生成する電子回路若しくはプログラムソフトウエアによって構成されている。ここで、画像分類部１１２が分類整理する際の所定の規則としては、例えば撮像対象物である被写体の種類等である。

【0064】

通信部１１３は、当該学習部１０１の通信部１０５との間で所定のデータ通信を行うための電子回路若しくはプログラムソフトウエアによって構成されている。

【0065】

なお、当該外部機器１００としては、上述したように、大量の画像データを蓄積するデータストレージとしての機能を有すると共に、これらの画像データに基づいて各種のデータ処理を行う機能を有すること等により、例えばネットワークに接続された大容量サーバー装置等が相当する。しかしながら、外部機器１００の形態としては、それ以外の形態、例えば一般的な形態の小型コンピュータ、具体的には、大容量データストレージを内蔵した据え置き型の小型コンピュータ等を適用することもできる。

【0066】

このようにして、外部機器１００は、大量の画像データに基づいて撮像対象物毎に対応する複数の推論モデルを生成し、これを保存している。そして、本実施形態の撮像装置１は、上記複数の推論モデルのうち所望の推論モデルを適宜読み込んで推論エンジン３０の記憶部３１に記録する。

【0067】

そして、撮像装置１は、所望の撮像対象物を撮像するのに際し、当該撮像対象物に対応する推論モデルと撮像部１０によって取得される画像データとに基づいて、推論エンジン３０を用いた所定の推論処理を実行し、適切な画像データを取得する。

【0068】

このように構成された上記撮像装置１を用いて撮像動作を行う際の作用を、以下に説明する。

【0069】

図２は、本実施形態の撮像装置の制御処理シーケンスを示すフローチャートである。図３は、本実施形態の撮像装置との間でデータ通信を行う外部機器の制御処理シーケンスを示すフローチャートである。

【0070】

なお、図２，図３に示す処理シーケンスは、撮像装置及び外部機器の処理シーケンスのうち本発明に関連する部分のみを示すものであり、撮像装置及び外部機器における全処理シーケンスを示すものではないのは言うまでもない。

【0071】

また、図４，図５は、本実施形態の撮像装置１を用いて撮像動作を行う際のようすを概念的に示す図である。このうち、図４は、本実施形態の撮像装置を用いて撮像動作を行う際の状況を示す概念図である。図５は、図４の状況において、当該撮像装置によって撮像され得る領域を概念的に示す拡大図である。

【0072】

図４に示す例では、例えば、使用者２００が、本実施形態の撮像装置１を手に持って、所望の撮像対象物（被写体）２０１を撮像しようとしている様子を示している。

【0073】

具体的には、例えば、使用者２００は、撮像装置１を所望の撮像対象物（被写体）２０１に向けて構えている。ここで、図４に示す例では、撮像対象物（被写体）２０１として「鳥」を示しており、具体的には「鳥」が樹木の枝２０２にとまっている状況を例示している。

【0074】

このとき、当該撮像装置１の撮像部１０は、例えば、図４において点線で示す略矩形状の撮像範囲（符号Ｆ）の画像信号を取得する。ここで、撮像範囲Ｆは、図５の拡大図に示すように、所望の撮像対象物２０１（被写体；「鳥」）を含む所定の範囲である。

【0075】

この状態において、撮像装置１の表示部４３には、図４に示すように、撮像部１０によって取得された画像データに基づく画像が表示される。

【0076】

まず、本実施形態の撮像装置１の制御処理シーケンス（図２）を説明する前に、当該撮像装置１の作用の概略を説明する。

【0077】

予め推論モデルを持たせた撮像装置１を用いて使用者が特定の撮像対象物（例えば「鳥」を撮りたいと所望するときには、まず、撮像装置１において、所望の撮像対象物である「鳥」に対応する推論モデル（鳥辞書；図７参照）を使用する設定を行う。

【0078】

そして、使用者（ユーザ）は、当該撮像装置１を起動させた状態とし、所望の撮像対象物「鳥」に向けて、当該撮像装置１を構える。

【0079】

このとき撮像装置１の表示部４３には、撮像部１０によって連続的に取得される画像データに基くライブビュー画像が表示される。

【0080】

このとき、ライブビュー画像内に「鳥」が含まれる状態になると、当該ライブビュー画像を構成するフレーム毎の各画像データと、鳥辞書に基づいて、撮像対象物（主要被写体）の検出が行われる。

【0081】

これにより、画像データ内に撮像対象物「鳥」が判別されると、当該撮像対象物「鳥」に対応する撮像パラメータが鳥辞書から読み出される。

【0082】

これと同時に、読み出された撮像パラメータと、当該撮像装置１の設定状況や周囲状況等に鑑みて、適切な撮像パラメータが設定される。

【0083】

そして、ライブビュー画像と鳥辞書とに基づいて、対応する撮像対象物「鳥」に最適な所定のタイミング（例えば良好な構図となった時など）で自動的にレリーズオン信号を発生させて、撮像動作を実行する。

【0084】

これにより、所望する撮像対象物、例えば「鳥」を撮るときには、撮像装置１において、対応する推論モデル（鳥辞書）の使用設定を行って、ライブビュー画像の中に所望の撮像対象物（ここでは「鳥」）を捉えると、ライブビュー画像の画像データと推論モデル（鳥辞書）とに基づいて、当該撮像対象物（ここでは「鳥」）を判別し、かつ当該撮像対象物「鳥」に適切となる撮像パラメータを周囲状況を鑑みて自動設定し、適切な構図となった時など、所定のタイミングで撮像動作が自動的に実行される。

【0085】

したがって、所望する撮像対象物を含む良好な画像を、常に容易に取得することができる。

【0086】

なお、撮像パラメータの自動設定において、露出設定としては、例えば、「鳥」を撮る場合であって、飛翔中の鳥を超長焦点レンズを使って追尾しているといった状況の場合、例えば、高速シャッタ速度値を優先して設定する露出値を自動設定する。また、例えば、枝に止まっている静止状態にある「鳥」をターゲットとする状況の場合には、例えば、開放寄りの絞り値を優先して設定する露出値を自動設定する。このように、シャッタ速度値や絞り値の設定を自動的に行って露出を自動設定する。

【0087】

また、構図設定としては、例えば、理想的な構図を得るために、ライブビュー画像に重畳させて画面内の撮像対象物の位置をガイド表示したり、撮像対象物の細かな動きを追尾するように判別し続けることによって、例えば、「鳥」が正面を向いたり、横を向いたり、後ろ向きになったとしてもフォーカスを自動で合わせ続けると共に、「鳥」の顔が理想の方向に向いたタイミングで自動的にレリーズオン信号が発生する等の制御が行われる。

【0088】

本実施形態の撮像装置１の制御処理シーケンスは、図２に示す通りである。まずはじめに、撮像装置１の制御処理シーケンスについて以下に説明する。

【0089】

図２に示す制御処理シーケンスの開始に際しては、まず、撮像装置１は、電源供給状態がオン状態にあり、使用可能状態にあるものとする。

【0090】

この状態において、図２のステップＳ１１において、制御部２０は、現在設定されている動作モードが撮像モードであるか否かの確認を行う。ここで、撮像モードが設定されていることが確認されると、次のステップＳ１２の処理に進む。また、撮像モード以外の動作モードが設定されている場合には、ステップＳ２１の処理に進む。

【0091】

ステップＳ１２において、制御部２０は、撮像部１０，表示部４３等を制御してライブビュー動作を開始する。

【0092】

即ち、制御部２０は、撮像部１０を駆動制御して、光学系１１により結像された光学像を光電変換して画像信号を生成する。撮像部１０により取得された当該画像信号は、制御部２０の画像処理部２５へと出力される。これを受けて画像処理部２５は、所定の画像信号処理を施して表示形態の画像データを生成して、表示部４３へと出力する。これを受けて表示部４３は、当該画像データに基く画像を表示する。このような一連の処理を連続的に繰り返すことによって、表示部４３の表示画面には、いわゆるライブビュー画像（スルー画とも呼ばれる）としての動画像が表示される。

【0093】

続いて、ステップＳ１３において、制御部２０は、既に使用すべき推論モデルが設定されているか否かの確認を行う。ここで、既に推論モデルが設定されている場合には、次のステップＳ１５の処理に進む。また、未だ推論モデルが設定されていない場合には、ステップＳ１４の処理に進む。

【0094】

ステップＳ１４において、制御部２０は、推論モデル設定処理のサブルーチンを実行する。ここで、推論モデル設定処理サブルーチンは、図示を省略しているが、例えば次のような処理である。

【0095】

推論モデル設定処理サブルーチンの一例としては、ライブビュー画像に含まれる撮像対象物（被写体）に対応する適切な推論モデルを自動的に設定する処理である。

【0096】

具体的には例えば、推論エンジン３０の記憶部３１には、被写体毎に対応する複数種類の推論モデルが予め記憶されているものとする。

【0097】

この状態において、記憶部３１に記憶済みの任意の推論モデルを用いて、ライブビュー画像の中の主要となる被写体（以下、主要被写体という）に対する仮推論処理を複数回実行する。

【0098】

これにより、ライブビュー画像の主要被写体に対して信頼性の高い推論モデルを自動的に選択し、選択された推論モデルを使用する設定を行う。

【0099】

こうして自動設定された推論モデルについての情報は、例えば、図６に示すように、表示部４３の表示画面に表示中のライブビュー画像に重畳表示される。ここで、図６は、ライブビュー画像の表示中に推論モデルの自動設定処理が行われた場合において、表示部に処理結果を表示する際の一表示例である。この図６においては、当該情報を、文字或いは所定のアイコンを用いて表示する例を示している（図６の符号２０２）。

【0100】

また、推論モデル設定処理サブルーチンの別の例では、ライブビュー画像に含まれる撮像対象物（主要被写体）であって、使用者が撮像を所望する被写体に対応する適切な推論モデルを、使用者自身が手動操作を行って設定する処理である。

【0101】

具体的には例えば、推論エンジン３０の記憶部３１には、被写体毎に対応する複数種類の推論モデルが予め記憶されているものとする。

【0102】

この状態において、使用者は、撮像装置１の動作モードを設定モードに切り換えて、所定の手動操作を行う。

【0103】

こうして、例えば、表示部４３の表示画面上には、図７に示すような推論モデル選択画面（画像辞書選択画面）を表示させる。ここで、図７は、撮像装置の動作モードが設定モードに設定されているときの画面表示例であって、推論モデル選択設定画面を表示している例示である。

【0104】

この推論モデル選択設定画面においては、図７に示すように、撮像装置１の推論エンジン３０の記憶部３１に予め記憶されている複数の推論モデル（対象物画像辞書）が一覧表示（図７の符号２０２）されている。図７に示す例では、各推論モデルを示す名称又はアイコン等によって表示する例が示されている。

【0105】

使用者は、この推論モデルの一覧表示画面の表示中に操作部４４に含まれる所定の操作部材を用いて所望の推論モデルを選択設定する。例えば、当該撮像装置１が、表示部４３の表示画面上に重ねて操作部としてのタッチパネルが配置される構成であれば、表示画面に表示される一覧の中から所望の推論モデルを表示するアイコンなどを、手指にてタッチ操作する。

【0106】

すると、選択設定された推論モデルのアイコン表示が、例えばフラッシュ表示若しくは強調表示等によって目視可能な表示形態に変化する。図７に示す例では、選択された推論モデルを強調表示する表示例として、推論モデルを表す名称文字を囲う枠線を太い枠線として表示している。

【0107】

これにより、使用者が撮像を行おうとする撮像対象物（被写体）に対応する推論モデルが選択設定される。

【0108】

その後、撮像装置１を用いて撮像を開始するわけであるが、その場合には、当該撮像装置１の動作モードを設定モードから撮像モードに切り換える。そのときに、例えば、図６に示すような表示、即ちライブビュー画像に対して設定済みの推論モデルに関する情報表示を重畳させてもよい。

【0109】

このようにして推論モデルが設定された状態になると、図２に戻って、次のステップＳ１５において、制御部２０は、撮像部１０と推論エンジン３０とを制御して、所定の推論処理を行う。

【0110】

この場合における推論処理は、設定済みの推論モデルに基づいて、撮像部１０によって取得される画像データ（即ちライブビュー画像）に施す所定の処理である。例えば、推論処理は、画像データに含まれる主要被写体（撮像対象物）の特徴点を抽出し、抽出した特徴点のデータを推論モデルに照合し、推論結果を導くといった処理である。この推論処理は、機械学習などにおいて従来一般的行われる処理であるので、その詳細説明は省略する。

【0111】

続いて、ステップＳ１６において、制御部２０は、上述のステップＳ１５の推論処理の推論結果について、信頼性が高いか否かの確認を行う。ここで、推論結果の信頼性が低いと判断された場合には、ステップＳ１７の処理に進む。また、推論結果の信頼性が高いと判断された場合には、次のステップＳ１８の処理に進む。

【0112】

ステップＳ１７において、制御部２０は、所定の時間の間は設定された推論モデルを維持する。

【0113】

ここで、例えば、図２に示す状況下において、使用者は、撮像装置１を用いて、その撮像範囲Ｆ内に所望の撮像対象物２０１（被写体）を捉えている状態であるものとする。このときの表示部４３に表示されるライブビュー画像は、例えば、図６に示すような形態となる。このとき、撮像装置１は、「鳥」推論モデルが設定されている。

【0114】

この状態において、撮像装置１は、上述のステップＳ１５の推論処理の推論結果に基づいて、ステップＳ１８の制御処理がなされる。その制御処理の一つとして、例えばライブビュー画像内の主要被写体となる「鳥」を識別して、これにフォーカスを合わせる焦点調節動作といった制御も含まれる。

【0115】

この場合においては、撮像対象物２０１を「鳥」のような生き物としているので、使用者２００が撮像装置１を固定していたとしても、時間経過と共に、当該撮像対象物２０１は動き回ることは必定である。

【0116】

例えば、図８は、図６の状態から撮像対象物２０１である「鳥」が枝２０２から飛び立とうとして動き出そうとする状態を示している。また、図９は、図８の状態の後、撮像対象物２０１である「鳥」が撮像範囲Ｆ外に出てしまった状態を示している。このときのライブビュー画像には、枝２０２だけが表示されている。さらに、図１０は、図９の状態の後、使用者が撮像装置１を構え直して、移動後の撮像対象物２０１である「鳥」を撮像範囲Ｆ内に捕らえ直した状態を示している。

【0117】

このように、撮像装置１の撮像範囲Ｆ内で所望の撮像対象物２０１が動いた場合にも、当該撮像範囲Ｆ内に当該撮像対象物２０１が含まれている状態にある間は、当該撮像装置１は、撮像対象物２０１を識別してフォーカスを合わせ続ける焦点調節制御が継続される。さらに、当該撮像対象物２０１が撮像範囲外に出てしまったとしても、所定の時間内では、設定されている推論モデルは維持される（ステップＳ１７）。

【0118】

そして、例えば、図９の状態から、使用者が撮像装置１を構え直すなどによって、図１０のように移動後の撮像対象物２０１である「鳥」を撮像範囲Ｆ内に捕らえ直せば、維持されている推論モデルを用いた推論が継続される。

【0119】

図２に戻って、ステップＳ１８において、制御部２０は、パラメータ制御部２３及び表示部４３等を制御して、上述のステップＳ１５の推論処理による推論結果に応じた適切な撮像制御処理を実行する。ここで、撮像制御処理は、例えば、撮像対象とする被写体に適応する各種撮像パラメータの設定等の制御処理である。

【0120】

ステップＳ１９において、制御部２０は、動画又は静止画の撮像動作処理の実行開始指示の確認を行う。

【0121】

ここで、動画又は静止画の撮像動作処理の実行開始指示が確認された場合には、次のステップＳ２０の処理に進む。また、動画又は静止画の撮像動作処理の実行開始指示が確認されない場合には、ステップＳ１１の処理に戻る。

【0122】

なお、動画又は静止画の撮像動作処理の実行開始指示は、例えばレリーズオン信号である。このレリーズオン信号は、例えば操作部４４に含まれるレリーズ操作部材が使用者により操作されることで発生する信号である。また、それ以外にも、例えば、上述のステップＳ１８の撮像制御処理において、適宜所定のタイミングで自動的にレリーズオン信号を発生させるようにしてもよい。この場合、具体的には例えば、ライブビュー画像内における撮像対象物の位置等が、適切な位置となったタイミング（当該撮像対象物に応じた適切な構図が得られる時点）で、自動的にレリーズオン信号が発生するような制御を行うといったことが考えられる。

【0123】

ステップＳ２０において、制御部２０は、撮像部１０を制御して撮像動作を実行し、続いて、画像処理部２５及び記録部４２等を制御して記録処理を実行する。

【0124】

なお、静止画撮像動作処理の場合には、上記実行開始指示信号を受けて撮像動作を開始し、所定の一連の処理を経て終了する。また、動画撮像動作処理の場合には、上記実行開始指示信号を受けて撮像動作を開始し、その後、同レリーズ操作部材が再度操作されることにより、若しくは所定時間経過後に自動的に、発生する再度のレリーズオン信号を受けて動作終了する。その後、ステップＳ１１の処理に戻る。

【0125】

一方、上述のステップＳ１１の処理にて、現在設定されている動作モードが撮像モード以外であることが確認されて、ステップＳ２１の処理に進んだ場合は、以下の通りである。

【0126】

即ち、ステップＳ２１において、制御部２０は、現在設定されている動作モードが推論モデル取得モードであるか否かの確認を行う。ここで、推論モデル取得モードとは、当該撮像装置１において利用しようとする推論モデルを、例えば外部機器１００等から取得するための動作モードである。

【0127】

推論モデル取得モードが設定されていることが確認されると、次のステップＳ２２の処理に進む。また、推論モデル取得モード以外が設定されている場合には、その他の動作モード、例えば再生モード等の確認を行う。

【0128】

しかしながら、その他の動作モードの作用については、本発明に直接関連しない部分である。したがって、図２のフローチャートにおいては、その他の動作モードに関する処理シーケンスの図示は省略し、上述のステップＳ１１の処理に戻るものとし、その他の動作モードの説明については省略する。

【0129】

ステップＳ２２において、制御部２０は、対象物設定処理を実行する。この場合において、、例えば制御部２０は、設定制御部２２及び表示部４３等を制御して、表示部４３の表示画面上に、図７に示すような推論モデル選択画面を表示させる。使用者は、この選択画面に対し、操作部４４（タッチパネル等）を用いて設定操作することにより、所望の撮像対象物に対応する推論モデルを選択する。これにより、使用者が所望する撮像対象物に対応する推論モデルが設定される。

【0130】

また、このステップＳ２２の処理においては、必要に応じて、所望の撮像対象物に対応する推論モデルについての再学習処理の設定を行う。

【0131】

次に、ステップＳ２３において、制御部２０は、必要に応じて、設定制御部２２及び表示部４３等を制御して学習依頼処理及び再学習依頼処理を実行する。

【0132】

これは、画像の撮像（観察や撮影など）時に、対象物によって重要な撮影上のこだわりポイントが異なるゆえに、一般的な人物の撮像とはことなる状況下で、特別な対象物を的確に撮像するために必要とされることが多くなっている。

【0133】

例えば、鳥の撮影を行う場合などは、その鳥が何であるかによって、ピントを合わせるべき部位、色調を強調すべき部位が異なったりするためである。つまり、この鳥の種別やそれを正しく撮影するための画像からの判定は、カスタマイズされた方が撮像の成功の確率を上げることが出来る。

【0134】

従って、このようなカテゴリーの画像を撮像したいといったニーズをテキストや画像等で設定して依頼すれば良い。この再学習は、装置の製造時に組み込まれて撮像装置内に豊富な辞書があったり、ユーザの狙ったターゲットがその辞書にマッチングしたりしている場合は、それで撮影、撮像時には間に合うので必要ない。

【0135】

ここで、学習依頼処理は、例えば、新たに所望する撮像対象物についての新規の推論モデルを生成する要求を外部機器１００等に指示するといった処理である。この指示を、例えば学習依頼指示というものとする。

【0136】

また、再学習依頼処理は、例えば、所定の撮像対象物に対応する既存の推論モデルについて、新たな画像データ（ユーザが新たに取得した画像データ等）を学習母体に追加して、再度の機械学習等を行って、既存の推論モデルに対する更新処理を外部機器１００等に指示するといった処理である。

【0137】

この再学習依頼処理においては、撮像装置１は、外部機器１００に向けて、再学習を依頼するための情報として、ユーザが取得した新たな画像データを含む所定の情報（依頼データというものとする）を、外部機器１００へと送信する。

【0138】

これら学習依頼処理及び再学習依頼処理は、使用者が必要に応じて行う所定の操作を受けて実行される。

【0139】

ステップＳ２４において、制御部２０は、上述のステップＳ２２の処理にて選択設定した推論モデルを、例えば外部機器１００とのデータ通信を介して取得する。

【0140】

また、このステップＳ２４の処理において、制御部２０は、苦手画像情報記録処理を実行する。この苦手画像情報記録処理は、上述のステップＳ２２における再学習依頼処理にて送出した依頼データに含まれる画像データを「苦手画像情報」として記録する処理である。

【0141】

次に、本実施形態の撮像装置１との間でデータ通信を行う外部機器１００の制御処理シーケンスを、図３を用いて以下に説明する。図３に示す制御処理シーケンスの開始に際しては、まず、外部機器１００は、電源供給状態がオン状態であり、使用可能状態にあるものとする。

【0142】

この状態において、図３のステップＳ３１において、外部機器１００の機器制御部１０７は、撮像装置１から送信されてくる指示情報に学習依頼指示（図２のステップＳ２３参照）が含まれているか否かの確認を行う。ここで、撮像装置１からの学習依頼指示が確認された場合には、次のステップＳ３２の処理に進む。また、撮像装置１からの学習依頼指示が確認されない場合には、当該学習依頼指示を確認するまで同じ確認処理を繰り返す。

【0143】

ステップＳ３２において、機器制御部１０７は、撮像対象物の種別設定処理を実行する。撮像対象物種別設定処理は、図２のステップＳ２３の処理にて撮像装置１から当該外部機器１００に向けて送信され、上述のステップＳ３１の処理にて受信される学習依頼指示に含まれる各種の情報に基づいて、生成しようとする推論モデルに対応する撮像対象物の種別を設定する処理である。

【0144】

続いて、ステップＳ３３において、機器制御部１０７は、学習母体設定及び撮像パラメータ設定処理を実行する。学習母体設定処理は、上述のステップＳ３２の処理にて設定された撮像対象物種別に対応する複数の画像データを、外部画像データベース１１０から読み出して、学習母体（機械学習を行う対象とする大量の画像データ）として設定する処理である。

【0145】

また、撮像パラメータ設定処理は、設定された学習母体に含まれる大量の画像データのそれぞれに付随する撮像パラメータ情報のうち、所定の撮像パラメータ情報を読み出して、生成される推論モデルに関連付ける処理である。

【0146】

ステップＳ３４において、機器制御部１０７は、設定された学習母体に含まれる大量の画像データから撮像対象物の各画像データの画像内における位置情報等を収集し、生成する推論モデルに関連付ける処理である。

【0147】

ステップＳ３５において、機器制御部１０７は、推論モデル化処理を実行する。この推論モデル化処理は、上述のステップＳ３２〜ステップＳ３４の各処理結果を統合して、所定の推論モデルを生成する処理である。

【0148】

ステップＳ３６において、機器制御部１０７は、撮像装置１からの依頼データを受信した場合（即ち再学習依頼があった場合）には、当該依頼データに基く推論処理（即ち再学習処理）を実行する。

【0149】

ステップＳ３７において、機器制御部１０７は、上述のステップＳ３６の推論処理の結果についての信頼性が所定値以上であるか否かを確認する。ここで、信頼性が所定値以上である場合には、次のステップＳ３８の処理に進む。また、信頼性が所定値未満である場合には、ステップＳ３９の処理に進む。

【0150】

ステップＳ３８において、機器制御部１０７は、新たに生成された推論モデル若しくは再学習の結果により更新された推論モデルを撮像装置１へと送信する送信処理を実行する。これを受けて、撮像装置１は、図２のステップＳ２４の処理にて、当該推論モデルを取得することになる。その後、ステップＳ３１の処理に戻る。

【0151】

一方、上述のステップＳ３７の処理にて推論モデルの信頼性が低いと判断されて、ステップＳ３９の処理に進むと、このステップＳ３９において、機器制御部１０７は、学習母体及び撮像パラメータ情報の再設定処理を実行する。

【0152】

ステップＳ４０において、機器制御部１０７は、ステップＳ３９の処理回数が所定回数以上繰り返されているか否かの確認を行う。ここで、所定回数を超えている場合には、次のステップＳ４１の処理に進む。また、所定回数未満であれば、ステップＳ３４の処理に戻り、以降の処理を繰り返す。

【0153】

ステップＳ４１において、機器制御部１０７は、苦手画像情報送信処理を実行する。ここで、苦手画像情報送信処理は、所定回数以上の機械学習等によっても信頼性の高い推論結果が得られなかった場合に、対象としていた画像データ（依頼データに含まれる画像データ）を、当該推論モデルを生成するのに際して不適切な画像、即ち「苦手画像」として、外部画像データベース１１０へと送信する処理である。これにより、当該外部画像データベース１１０は、当該画像データ（苦手画像情報）を所定の領域に記録する。

【0154】

以上説明したように上記一実施形態によれば、所望する特定の撮像対象物を含む所定の範囲の画像信号を取得する撮像装置１において、特定範囲を撮像して画像信号を取得する撮像部１０と、撮像部１０によって取得される画像信号に含まれる特定の対象物を表す像信号を適切に撮像するための撮像パラメータを制御するパラメータ制御部２３と、複数種類の対象物にそれぞれ対応する複数の対象物画像辞書（推論モデル）を記憶する記憶部３１と、複数の対象物画像辞書のうちから選択された対象物画像辞書を用いて撮像制御を実行する制御部２０と、を具備して構成している。ここで、複数の対象物画像辞書は、予め外部機器１００等によって生成されたものを読み込んで記憶部３１に予め記憶されている。

【0155】

このような構成とすることにより、当該撮像装置１は、撮像部１０によって取得される画像データ（ライブビュー画像）と、複数の対象物画像辞書（推論モデル）のうちから選択された対象物画像辞書とに基づいて所定の推論処理を行う。

【0156】

この推論処理により、ライブビュー画像に含まれる撮像対象物（主要被写体）の種類が判別され、判別された撮像対象物（主要被写体）が所望の撮像対象物として設定され、設定された撮像対象物を撮像するのに適する撮像パラメータが設定され、撮像範囲内の設定された撮像対象物を追尾してフォーカスを合わせ続ける等の制御がなされる。そして、レリーズオン信号が発生すると、適宜所定のタイミングで撮像動作を実行する。この場合、レリーズオン信号は、使用者によるレリーズ操作部材の手動操作を受けて発生する場合のほか、例えば適切な構図となったタイミングで自動的にレリーズオン信号を発生させる制御であってもよい。

【0157】

このような作用によって、本実施形態の撮像装置１は、装置の設定状態や周囲状況及び所望する特定の撮像対象物（所望の被写体）の種類などに応じて、撮像パラメータ等の各種設定を自動的にかつ適切に行うことができ、よって、常に良好な撮像結果（所望の撮像対象物を含む画像データ）を取得することが容易にできる。

【0158】

また、本実施形態の撮像装置１においては、撮像部１０によって取得された画像データ（依頼データ）に基づく推論モデルの再学習処理を、外部機器１００に対して依頼することができるようにしている（図２のステップＳ２３の再学習依頼処理）。これにより、使用者の撮像傾向や好みに応じた推論モデルを再構築することができる。

【0159】

次に、上述の一実施形態の撮像装置１における作用についての変形例を、図１１，図１２を用いて以下に説明する。

【0160】

図１１，図１２は、本発明の一実施形態の撮像装置における制御処理シーケンスの変形例を示すフローチャートである。

【0161】

図１１，図１２に示す作用例では、撮像装置１によって取得された画像データのうち「成功画像」を用いて、当該画像に含まれる撮像対象物に対応する推論モデルの重み付けを行って、当該撮像装置１が予め記憶部３１に記憶している複数の推論モデルの使用優先度を設定するように構成している。これによって、当該撮像装置１においては、その主な使用者（例えば所有者）の使用傾向に応じて頻繁に使用される推論モデルが優先的に選択される。

【0162】

なお、上述の「成功画像」とは、例えば撮像装置１の撮像部１０によって取得され記録された複数の画像データのうち、使用者が所望する特定の撮像対象物を含むと共に、使用者の撮像意図に沿うと思われるような画像をいうものとする。

【0163】

ステップＳ５１において、制御部２０は、推論モデルの仮設定処理を実行する。この推論モデル仮設定処理は、例えば、当該撮像装置１の起動時に自動的に使用する推論モデルを設定する処理である。

【0164】

この仮設定処理は、例えば、当該撮像装置１の使用者が頻繁に使用する推論モデルや、使用者が予め指定しておいた推論モデルなどを優先的に設定するための処理である。また、これ以外の所定の手順に基づいて、複数の推論モデルの中から所定の推論モデルを選択し、仮設定するようにしてもよい。

【0165】

ステップＳ５２において、制御部２０は、撮像部１０，表示部４３等を制御してライブビュー動作を開始する。

【0166】

続いて、ステップＳ５３において、制御部２０は、撮像部１０によって取得された画像データ（ライブビュー画像）に含まれる特定の撮像対象物（主要被写体）と、上述のステップＳ５１の処理にて仮設定された推論モデルとのマッチング処理を実行する。

【0167】

ステップＳ５４において、制御部２０は、上述のステップＳ５３のマッチング処理の結果、画像データ（ライブビュー画像）に含まれる撮像対象物が、仮設定された推論モデルに含まれる撮像対象物に合致する（該当する）ものであるか否かの確認を行う。ここで、該当無しである場合には、次のステップＳ５５の処理に進む。また、該当する場合には、ステップＳ５６の処理に進む。

【0168】

ステップＳ５６において、制御部２０は、上述のステップＳ５４の処理にて該当すると判断された撮像対象物を、特定の撮像対象物として設定する処理を行う。この設定処理では、当該特定の撮像対象物の設定のほか、当該特定撮像対象物に対応する撮像パラメータ情報等の設定も含む。その後、ステップＳ５７の処理に進む。

【0169】

一方、該当無しの場合にステップＳ５５の処理に進むと、このステップＳ５５において、制御部２０は、仮設定されている推論モデルを別の推論モデルに切り換える処理を実行する。

【0170】

続いてステップＳ５７において、制御部２０は、レリーズオン信号の発生の有無を確認する。ここで、レリーズオン信号が確認された場合には、次のステップＳ５８の処理に進む。また、レリーズオン信号が確認されない場合には、上述のステップＳ５２の処理に戻り、以降の処理を繰り返す。

【0171】

ステップＳ５８において、制御部２０は、通常の撮像動作処理を実行する。その後、図１２のステップＳ６１の処理に進む（図１１，図１２の符号「１２」）。

【0172】

図１２のステップＳ６１において、制御部２０は、図１１のステップＳ５８の処理にて取得された画像信号（画像データ）を記録する通常の記録処理を実行する。

【0173】

ステップＳ６２において、制御部２０は、図１１のステップＳ５８の処理にて取得され、上述のステップＳ６１の処理にて記録された画像信号（画像データ）について、成功画像か否かの確認を行う。ここで、成功画像とは、上述したように、使用者が所望する特定の撮像対象物を撮像した際に、同使用者の撮像意図に沿う画像である。したがって、成功画像であるか否かの判断は、使用者の意志に基づいて、当該使用者が手動操作によって決定される。そのために、このステップＳ６２の処理において、制御部２０は、表示部４３を制御して、可否選択画面を表示して、使用者に選択操作を行わせるようにする（不図示）。

【0174】

また、これとは別に、図１１のステップＳ５７の処理にて発生したレリーズオン信号が、推論モデルに応じて所定のタイミング（例えば適切な構図となったタイミング）で自動的に発生した場合には、これによって取得された画像は、全て成功画像であると自動的に判断してもよい。

【0175】

ここで、成功画像であると判断された場合には、次のステップＳ６３の処理に進む。また、成功画像ではない（失敗画像である）と判断された場合には、ステップＳ６９の処理に進む。

【0176】

ステップＳ６３において、制御部２０は、記録画像データと推論モデルとのマッチング処理を実行する。

【0177】

続いてステップＳ６４において、制御部２０は、上述のステップＳ６３のマッチング処理の結果、記録画像データに含まれる撮像対象物が、推論モデルに含まれる撮像対象物に合致する（該当する）ものであるか否かの確認を行う。ここで、該当無しである場合には、次のステップＳ６５の処理に進む。

【0178】

ただし、対象物が画面外に行ってしまって、その次にユーザが継続して同じ対象物を追尾したり捜したりする場合は、同じ推論モデルで捜す方が良いので、画面外に対象物がいなくなった状況で、まだ撮像装置を構え続けている場合（画像の変化や装置に内蔵した姿勢センサなどの信号で判定すればよい）などは、推論エンジンは、対象物特定用の画像から特定対象物を判定するための辞書（推論モデル）の切換を行わない方が良い。

【0179】

また、対象物を捜して所定時間迷うような状況下でも同じような判定を行って、同様に辞書切換を行わないほうが良いので、そのような制御を行う。

【0180】

つまり、上記推論エンジンは、上記撮像部により取得された画像信号に含まれる上記特定の対象物を表す像信号と、上記選択された上記対象物画像辞書とのマッチング処理を行って、上記特定の対象物が合致しない場合にも所定の状況下では上記対象物画像辞書を他の対象物画像辞書に切り換えない。

【0181】

一方、上述のステップＳ６４にて、該当する場合には、ステップＳ６６の処理に進む。

【0182】

ステップＳ６５において、制御部２０は、現在設定されている推論モデルを記録部３１に記憶済みの別の推論モデルに切り換え、上述のステップＳ６３のマッチング処理を繰り返し、ステップＳ６６の重み付け処理を実行する。その後、ステップＳ６８の処理に進む。

【0183】

ステップＳ６６において、制御部２０は、現在設定されている推論モデルに対し重み付け処理を実行する。これにより、当該推論モデルは、使用者の使用傾向に応じて更新される。

【0184】

続いてステップＳ６７において、制御部２０は、優先度順に推論モデルを並び換える処理を行う。その後、ステップＳ６８の処理に進む。

【0185】

ステップＳ６８の処理において、制御部２０は、電源オフ信号の有無を確認する。ここで、電源オフ信号が確認された場合には、一連の処理シーケンスを終了する（エンド）。また、電源オフ信号が確認されない場合には、図１１のステップＳ５２の処理に進み、以降の処理を繰り返す（図１１，図１２の符号「１１」）。

【0186】

一方、上述のステップＳ６２の処理にて、記録画像データが失敗画像であると判断された場合にステップＳ６９の処理に進むと、このステップＳ６９において、制御部２０は、再学習依頼処理を実行する。この再学習依頼処理は、当該失敗画像（今回の記録画像データ）に基づく再学習処理を外部機器１００に対して依頼する処理である。

【0187】

この再学習依頼処理においては、制御部２０は、外部機器１００にて再学習処理を行うのに必要となる追加の画像データ（失敗画像；撮像パラメータ情報を含む）等の各種の情報を外部機器１００へと依頼データとして送信し提供する。

【0188】

このように「失敗画像」が取得されたような場合には、再学習処理を行って、使用者の失敗パターン（失敗傾向）を分析したり把握することで、失敗画像とならないような撮像パラメータ等を設定するような情報を含めた推論モデルに更新することができる。

【0189】

以上説明したように、上記変形例によれば、当該撮像装置１を用いて使用者が撮像動作を実行して成功画像を取得すると、この成功画像データを用いて対応する推論モデルの更新を行うことができる。したがって、これにより、撮像装置１の主な使用者（例えば所有者）の使用傾向に応じて適切な推論モデルとすることができる。

【0190】

また、使用者の使用頻度に応じて、記憶部３１に記憶されている複数の推論モデルに優先度を付与することによって、使用頻度の高い推論モデルを自動的に選択されるようにしている。これにより、使用者の使用傾向に沿った推論モデルが優先的に選択されるので、より使用感の良好な撮像装置とすることができる。

【0191】

なお、上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲，明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。

【0192】

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスクＣＤ−ＲＯＭ等不揮発性メモリ等の可搬媒体やハードディスク揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に本実施形態の撮像装置を実現することができる。

【0193】

また、プログラムで構成した部分を適宜、回路に置き換えることも可能である。なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。メカ的に位置制御される部位などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。

【0194】

本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。