(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021069008
(43)【公開日】20210430
(54)【発明の名称】電子機器、電子機器の制御方法、プログラム及び記憶媒体
(51)【国際特許分類】
   H04N 5/232 20060101AFI20210402BHJP
   G06F 3/01 20060101ALI20210402BHJP
   G03B 7/091 20210101ALI20210402BHJP
   A61B 3/113 20060101ALI20210402BHJP
【FI】
   !H04N5/232
   !G06F3/01 510
   !G03B7/091
   !H04N5/232 930
   !A61B3/113
【審査請求】未請求
【請求項の数】19
【出願形態】OL
【全頁数】20
(21)【出願番号】2019192894
(22)【出願日】20191023
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
【住所又は居所】東京都大田区下丸子3丁目30番2号
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】江平 達哉
【住所又は居所】東京都大田区下丸子3丁目30番2号 キヤノン株式会社内
【テーマコード(参考)】
2H002
4C316
5C122
5E555
【Fターム(参考)】
2H002CC00
2H002GA63
4C316AA21
4C316FB21
4C316FC28
4C316FZ01
5C122EA58
5C122FH11
5C122FK09
5C122FK12
5C122FK16
5C122FK24
5C122FK34
5C122FK41
5C122HA86
5C122HB01
5C122HB05
5E555AA04
5E555AA12
5E555AA54
5E555BA18
5E555BB18
5E555BC13
5E555CA42
5E555CB65
5E555FA00
(57)【要約】
【課題】ユーザの視線位置を検出する際の検出精度を向上させる。
【解決手段】
ユーザの視線位置を検出する視線検出手段と、表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御手段であって、前記輝度値が第1の輝度値の際に、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第2の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値を前記第1の輝度値から第2の輝度値に変更するように制御する制御手段とを有し、前記視線検出手段は、前記輝度値が前記第2の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする。
【選択図】図4
【特許請求の範囲】
【請求項1】
ユーザの視線位置を検出する視線検出手段と、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御手段であって、
前記輝度値が第1の輝度値の際に、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第2の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値を前記第1の輝度値から第2の輝度値に変更するように制御する制御手段とを有し、
前記視線検出手段は、前記輝度値が前記第2の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする電子機器。
【請求項2】
前記輝度値が前記第2の輝度値に変更された後、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置と、前記表示部の前記第2の位置にアイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出することを特徴とする請求項1に記載の電子機器。
【請求項3】
前記制御手段は、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置を検出したことに応じて、前記表示部の前記第2の位置に前記アイテムを表示するように制御することを特徴とする請求項1又は2に記載の電子機器。
【請求項4】
前記表示部に前記アイテムが表示されている位置と、当該アイテムの表示中に前記視線検出手段が検出したユーザの前記視線位置とが関連付けて記録されることを特徴とする請求項1乃至3何れか1項に記載の電子機器。
【請求項5】
前記アイテムが、前記表示部の中央部及び上下左右の各端部のうちの少なくともいずれか1箇所に表示されることを特徴とする請求項1乃至4何れか1項に記載の電子機器。
【請求項6】
前記制御手段は、前記表示部の光量を調整することで前記輝度値を変更するように制御することを特徴とする請求項1乃至5何れか1項に記載の電子機器。
【請求項7】
前記制御手段は、前記輝度値を前記第1の輝度値から前記第1の輝度値よりも高い前記第2の輝度値へ少なくとも2段階で変更するように制御することを特徴とする請求項1乃至6何れか1項に記載の電子機器。
【請求項8】
前記背景画像が単色の画像であることを特徴とする請求項1乃至7何れか1項に記載の電子機器。
【請求項9】
前記制御手段は、前記背景画像の色を黒色から白色へ少なくとも2段階で変更するように制御することを特徴とする請求項1乃至8何れか1項に記載の電子機器。
【請求項10】
前記制御手段は、前記輝度値を変更する場合に、前記輝度値を変更した状態で前記視線位置を検出する旨の通知を行うように制御することを特徴とする請求項1乃至9何れか1項に記載の電子機器。
【請求項11】
前記輝度値を変更した後で一定時間経過した場合、もしくは前記アイテムに対して注視されていることが検出された場合に、前記視線検出手段がユーザの前記視線位置を検出することを特徴とする請求項1乃至10何れか1項に記載の電子機器。
【請求項12】
前記制御手段は、前記視線検出手段の検出結果に基づいて目つむり状態を検出し、目つむり状態を検出した回数が所定の回数以上であった場合及び目つむり状態を検出している時間が所定の時間以上であった場合のうち少なくともいずれか一方の場合に、エラーを表示する、もしくは記録した前記視線位置に関する情報を削除する、もしくは前記視線位置に関する情報を記録せずに、前記視線検出手段が前記視線位置を再度検出するように制御することを特徴とする請求項1乃至11何れか1項に記載の電子機器。
【請求項13】
ユーザの視線位置を検出する視線検出手段と、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御手段であって、
前記輝度値が第1の輝度値であって、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値が第2の輝度値であって、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置を前記視線検出手段が検出するように制御する制御手段と
を有することを特徴とする電子機器。
【請求項14】
ユーザの視線位置を検出する視線検出ステップと、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御ステップであって、
前記輝度値が第1の輝度値の際に、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第2の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出ステップが検出した後、前記輝度値を前記第1の輝度値から第2の輝度値に変更するように制御する制御ステップとを含み、
前記視線検出ステップは、前記輝度値が前記第2の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする電子機器の制御方法。
【請求項15】
ユーザの視線位置を検出する視線検出ステップと、
表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御ステップであって、
前記輝度値が第1の輝度値であって、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置を前記視線検出ステップが検出した後、前記輝度値が第2の輝度値であって、前記表示部の前記第1の位置に前記アイテムが表示された場合のユーザの前記視線位置を前記視線検出ステップが検出するように制御する制御ステップと
を含むことを特徴とする電子機器の制御方法。
【請求項16】
コンピュータを、請求項1乃至12何れか1項に記載された電子機器の各手段として機能させるためのプログラム。
【請求項17】
コンピュータを、請求項13に記載された電子機器の各手段として機能させるためのプログラム。
【請求項18】
コンピュータを、請求項1乃至12何れか1項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【請求項19】
コンピュータを、請求項13に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子機器、電子機器の制御方法、プログラム及び記憶媒体に関し、特にユーザの視線による視線入力が可能な電子機器、電子機器の制御方法、プログラム及び記憶媒体に関するものである。
【背景技術】
【0002】
従来、ユーザである撮影者の視線方向を検出し、撮影者がファインダー視野内のどの領域(位置)を観察しているかを検出して、自動焦点調節等の撮影機能を制御するカメラが提案されている。
しかし、視線方向の検出は、ユーザの眼の瞳孔径やファインダーへの覗き方、周囲の明るさ等によって精度が左右される。そこで、視線位置をデータとして取得し、取得したデータから視線位置を補正するキャリブレーションが行われている。
【0003】
特許文献1には、ファインダー画面に注視対象を表示し、注視対象の周囲の色(背景色)を単色表示することで、注視点と注視対象との偏差から、視線検出位置の補正を行う方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平05−088074号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1では、背景色が黒の1色のみでキャリブレーションが実行されている。一方で、眼の瞳孔径は周囲の明るさによって変化し、それにより視線の検出位置は変化する。そのため、明るさが変わった際に視線位置の検出の精度が向上しない可能性がある。
【0006】
そこで本発明は、ユーザの視線位置を検出する際の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の電子機器は、ユーザの視線位置を検出する視線検出手段と、表示部に表示される背景画像の輝度値を少なくとも2段階で変更可能な制御手段であって、前記輝度値が第1の輝度値の際に、前記表示部の第1の位置にアイテムが表示された場合のユーザの前記視線位置と、前記表示部の第2の位置に前記アイテムが表示された場合のユーザの前記視線位置とを少なくとも含む複数のユーザの前記視線位置を前記視線検出手段が検出した後、前記輝度値を前記第1の輝度値から第2の輝度値に変更するように制御する制御手段とを有し、前記視線検出手段は、前記輝度値が前記第2の輝度値の際に、ユーザの前記視線位置を検出することを特徴とする。
【発明の効果】
【0008】
本発明によれば、ユーザの視線位置を検出する際の検出精度を向上させることができる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係るカメラの外観図である。
【図2】本実施形態に係るカメラの構成を示すブロック図である。
【図3】本第1の実施形態に係るキャリブレーション処理を示すフローチャートである。
【図4】本第1の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。
【図5】本第1の実施形態に係る視線位置データの登録処理を示すフローチャートである。
【図6】本第1の実施形態のキャリブレーション実行時の表示画面例を示す図である。
【図7】本第1の実施形態に係るメッセージ画面例を示す図である。
【図8】本第2の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。
【図9】本第2の実施形態のキャリブレーション実行時の表示画面例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の好適な実施形態を説明する。
【0011】
<第1の実施形態>
図1(a)、(b)に本発明を適用可能な電子機器の一例としてのカメラ100の外観図を示す。図1(a)は、本実施形態に係るカメラ100の前面斜視図であり、図1(b)は、本実施形態に係るカメラ100の背面斜視図である。
【0012】
図1において、表示部28は、カメラ背面に設けられており、画像や各種情報を表示する。表示部28は、操作部70としての機能を兼ね備えたタッチパネル70aを有している。タッチパネル70aは、表示部28の表示面(操作面)に対するタッチ操作を検出することができる。ファインダー外表示部43は、カメラ上面に設けられており、シャッター速度や絞りをはじめとするカメラの様々な設定値が表示される。シャッターボタン61は撮影指示を行うための操作部である。
【0013】
モード切替スイッチ60は、各種モードを切り替えるための操作部70である。端子カバー40は、外部機器との接続ケーブルとカメラ100とを接続するコネクタ(不図示)を保護するカバーである。メイン電子ダイヤル71は、操作部70に含まれる回転操作部材であり、このメイン電子ダイヤル71を回すことで、シャッター速度や絞り等の設定値の変更等が行える。
【0014】
電源スイッチ72は、カメラ100の電源のON及びOFFを切り替える操作部材である。サブ電子ダイヤル73は、操作部70に含まれる回転操作部材であり、選択枠の移動や画像送り等を行える。十字キー74は、操作部70に含まれ、4方向に押し込み可能な押しボタンを有する操作部材である。十字キー74の押下した方向に応じた操作が可能である。SETボタン75は、操作部70に含まれ、押しボタンであり、主に選択項目の決定等に用いられる。
【0015】
動画ボタン76は、動画撮影(記録)の開始、停止の指示に用いられる。AEロックボタン77は、操作部70に含まれ、撮影待機状態で押下することにより、露出状態を固定することができる。拡大ボタン78は、操作部70に含まれ、撮影モードのライブビュー表示において拡大モードのON、OFFを行うための操作ボタンである。拡大モードをONとしてからメイン電子ダイヤル71を操作することにより、ライブビュー画像の拡大、縮小を行える。再生モードにおいては再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。再生ボタン79は操作部70に含まれ、撮影モードと再生モードとを切り替える操作ボタンである。撮影モード中に再生ボタン79を押下することで再生モードに移行し、記録媒体200に記録された画像のうち最新の画像を表示部28に表示させることができる。メニューボタン81は、操作部70に含まれ、押下することにより各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、十字キー74やSETボタン75を用いて直感的に各種設定を行うことができる。通信端子10はカメラ100が後述するレンズユニット150(着脱可能)と通信を行うための通信端子である。
【0016】
接眼部16は、接眼ファインダー(覗き込み型のファインダー)の接眼部であり、ユーザは、接眼部16を介して内部のEVF(Electric View Finder)29に表示された映像を視認することができる。接眼検知部57は接眼部16に撮影者が接眼しているか否かを検知する接眼検知センサーである。蓋202は記録媒体200を格納したスロットの蓋である。グリップ部90は、ユーザがカメラ100を構えた際に右手で握りやすい形状とした保持部である。グリップ部90を右手の小指、薬指、中指で握ってカメラを保持した状態で、右手の人差指で操作可能な位置にシャッターボタン61、メイン電子ダイヤル71が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル73が配置されている。
【0017】
図2は、本実施形態によるカメラ100の構成例を示すブロック図である。なお、図1と同一の構成は、同一符号を付してその説明を適宜省略する。
カメラ100は、レンズユニット150が装着される。
レンズ103は、通常、複数枚のレンズから構成されるが、ここでは簡略して一枚のレンズのみで示している。通信端子6は、レンズユニット150がカメラ100と通信を行うための通信端子である。レンズシステム制御回路4は、この通信端子6と前述の通信端子10を介してシステム制御部50と通信し、絞り駆動回路2を介して絞り1の制御を行う。その後AF駆動回路3を介して、レンズ103を変位させることで焦点を合わせる。
【0018】
シャッター101は、システム制御部50の制御下で、撮像部22の露光時間を自由に制御できるフォーカルプレーンシャッターである。
撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、又は、後述するメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。
また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行う。画像処理部24により得られた演算結果に基づいて、システム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
【0019】
メモリ制御部15は、A/D変換器23、画像処理部24、メモリ32間のデータ送受を制御する。A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、あるいは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28、EVF29に表示するための画像データ等を格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。メモリ32に書き込まれた表示用の画像データはメモリ制御部15を介して表示部28、EVF29により表示される。
【0020】
表示部28、EVF29は、システム制御部50の制御下で、LCDや有機EL等の表示器上に、メモリ制御部15からの信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデータを、表示部28又はEVF29に逐次転送して表示することで、ライブビュー表示(LV表示)を行える。以下、ライブビューで表示される画像をライブビュー画像(LV画像)と称する。
【0021】
赤外発光ダイオード166は、ファインダー画面内におけるユーザの視線位置を検出するための発光素子であり、接眼部16に接眼したユーザの眼球(目)161に赤外光を照射する。赤外発光ダイオード166から発した赤外光は眼球(目)161で反射し、その赤外反射光はダイクロイックミラー162に到達する。ダイクロイックミラー162は赤外光だけを反射して可視光を透過させる。光路を変更された赤外反射光は、結像レンズ163を介して視線検知センサー164の撮像面に結像する。結像レンズ163は視線検知光学系を構成する光学部材である。視線検知センサー164は、CCD型イメージセンサ等の撮像デバイスである。
【0022】
視線検知センサー164は、入射された赤外反射光を電気信号に光電変換して視線検出回路165へ出力する。視線検出回路165は、少なくとも1つのプロセッサーを含み、視線検知センサー164の出力信号に基づき、ユーザの眼球(目)161の画像又は動きからユーザの視線位置を検出し、検出情報をシステム制御部50に出力する。このようにダイクロイックミラー162、結像レンズ163、視線検知センサー164、赤外発光ダイオード166、視線検出回路165により視線検出ブロック160が構成される。
【0023】
本実施形態では、視線検出ブロック160を用いて、角膜反射法と呼ばれる方式で視線を検出する。角膜反射法とは、赤外発光ダイオード166から発した赤外光が眼球(目)161の特に角膜で反射した反射光と、眼球(目)161の瞳孔との位置関係から、視線の向き・位置を検出する方式である。この他にも黒目と白目での光の反射率が異なることを利用する強膜反射法と呼ばれる方式等、様々な視線の向き・位置を検出する方式がある。なお、視線の向き・位置を検出できる方式であれば、上記以外の方式を用いてもよい。
【0024】
ファインダー外液晶表示部43には、ファインダー外表示部駆動回路44を介して、シャッター速度や絞りをはじめとするカメラ100の様々な設定値が表示される。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばFlash−ROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラムの他、各種のデータ等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータープログラムのことである。
【0025】
システム制御部50は、少なくとも1つのプロセッサー又は回路からなる演算処理装置(制御部)であり、カメラ100の全体を制御する。システム制御部50が、前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ52には、例えばRAMが用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。また、システム制御部50は、メモリ32、表示部28、EVF29等を制御することにより表示制御も行う。更に、システム制御部50は、表示部28、EVF29を制御することにより表示部28、EVF29に表示される画像の輝度値を変更可能である。
【0026】
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、第1シャッタースイッチ62、及び第2シャッタースイッチ64等を含む操作部70は、システム制御部50に各種の動作指示を入力するための操作手段である。モード切替スイッチ60は、システム制御部50の動作モードを静止画撮影モード、動画撮影モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)等がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。モード切替スイッチ60により、ユーザはこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切替スイッチ60で撮影モードの一覧画面に一旦切り換えた後に、表示された複数のモードのいずれかを選択し、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【0027】
第1シャッタースイッチ62は、カメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。システム制御部50は、第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから撮像された画像を画像ファイルとして記録媒体200に書き込むまでの一連の撮影処理の動作を開始する。
【0028】
操作部70は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部70には、シャッターボタン61、タッチパネル70a、メイン電子ダイヤル71、電源スイッチ72、サブ電子ダイヤル73、十字キー74、SETボタン75、動画ボタン76、AEロックボタン77、拡大ボタン78、再生ボタン79、及びメニューボタン81等が含まれる。
【0029】
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【0030】
通信部54は、無線又は有線ケーブルによって外部機器に接続し、映像信号や音声信号の送受信を行う。通信部54は無線LAN(Local Area Network)やインターネットとも接続可能である。また、通信部54は、Bluetooth(登録商標)やBluetooth Low Energyを用いて外部機器と通信可能である。通信部54は、撮像部22で撮像した画像(ライブビュー画像を含む)や、記録媒体200に記録された画像を送信可能であり、また、外部機器から画像やその他の各種情報を受信することができる。
【0031】
姿勢検知部55は、重力方向に対するカメラ100の姿勢を検知する。姿勢検知部55で検知された姿勢に基づいて、撮像部22で撮影された画像が、カメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像であるかを判別可能である。システム制御部50は、姿勢検知部55で検知された姿勢に応じた向き情報を撮像部22で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部55としては、加速度センサーやジャイロセンサー等を用いることができる。また、姿勢検知部55である、加速度センサーやジャイロセンサーを用いて、カメラ100の動き(パン、チルト、持ち上げ、静止しているか否か等)を検知することも可能である。
【0032】
接眼検知部57は、ファインダーの接眼部16に対する目(物体)161の接近(接眼)及び離脱(離眼)を検知する(接近検知)、接眼検知センサーである。システム制御部50は、接眼検知部57で検知された状態に応じて、表示部28とEVF29の表示(表示状態)/非表示(非表示状態)を切り替える。
より具体的には、少なくともカメラ100が撮影待機状態であって、かつ、撮像部22で撮像されたライブビュー画像の表示先の切替設定が自動切替設定である場合において、非接眼中は表示先を表示部28として表示をオンとし、EVF29は非表示とする。また、接眼中は表示先をEVF29として表示をオンとし、表示部28は非表示とする。
【0033】
接眼検知部57は、例えば赤外線近接センサーを用いることができ、EVF29を内蔵するファインダーの接眼部16への何らかの物体の接近を検知することができる。物体が接近した場合は、赤外線近接センサーの投光部(不図示)から投光した赤外線が反射して赤外線近接センサーの受光部(不図示)に受光される。受光された赤外線の量によって、物体が接眼部16からどの距離まで近づいているか(接眼距離)も判別することが可能である。
【0034】
以上のように、接眼検知部57は、接眼部16への物体の近接距離を検知する接眼検知を行う。そして、検知結果が、システム制御部50へ出力される。なお、本実施形態では、接眼検知部57の投光部及び受光部は、前述の赤外発光ダイオード166及び視線検知センサー164とは別体のデバイスであるものとする。ただし、接眼検知部57の投光部を赤外発光ダイオード166が兼ねてもよい。また、受光部を視線検知センサー164が兼ねてもよい。接眼検知部57は、非接眼状態(非接近状態)から、接眼部16に対して所定距離以内に近づく物体が検出された場合に、接眼されたことを検出する。また、接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたことを検出する。接眼を検出する閾値及び離眼を検出する閾値は、例えばヒステリシスを設ける等により異なっていてもよい。また、接眼を検出した後であって、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後であって、接眼を検出するまでは非接眼状態であるものとする。なお、赤外線近接センサーは、接眼検知部57の一例であって、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサーを採用してもよい。
【0035】
システム制御部50は視線検出ブロック160からの出力に基づいて、接眼部16に対する以下の操作、あるいは状態を検知できる。
・接眼部16に接眼したユーザの視線が新たに入力(検出)されたこと。すなわち、視線入力の開始。
・接眼部16に接眼したユーザの視線入力がある状態であること。
・接眼部16に接眼したユーザが注視している状態であること。
・接眼部16に接眼したユーザが入力していた視線を外したこと。すなわち、視線入力の終了。
・接眼部16に接眼したユーザが何も視線入力していない状態であること。
ここで述べた注視とは、ユーザの視線位置が所定時間内に所定の移動量を超えなかった場合のことを指す。
システム制御部50は、視線入力がある状態や注視している状態を検知した場合、視線検出回路165からの検出情報に含まれる位置情報と、EVF29の表示座標との対応関係に基づいて、EVF29の表示画面上の視線位置を検出する。このように、システム制御部50は、表示画面上の視線位置を検出する機能を有しており、視線検出手段に対応する。
【0036】
タッチパネル70aと表示部28とは、一体的に構成されている。
例えば、タッチパネル70aは、光の透過率が表示部28の表示を妨げないように構成され、表示部28の表示面の上層に取り付けられる。そして、タッチパネル70aにおける入力座標と、表示部28の表示画面上の表示座標とが対応付けられる。これにより、あたかもユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUI(グラフィカルユーザインターフェース)が構成される。
【0037】
システム制御部50は、タッチパネル70aへの以下の操作、あるいは状態を検出できる。
・タッチパネル70aにタッチしていなかった指やペンが新たにタッチパネル70aにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネル70aを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネル70aを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネル70aへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネル70aに何もタッチしていない状態であること(以下、タッチオフ(Touch−Off)と称する)。
【0038】
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
【0039】
これらの操作・状態や、タッチパネル70a上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部50に通知される。システム制御部50は、通知された情報に基づいてタッチパネル70a上にどのような操作(タッチ操作)が行われたかを判定する。タッチムーブについては、システム制御部50は、タッチパネル70a上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル70a上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合は、スライド操作が行われたと判定するものとする。タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックと呼ぶ。フリックは、言い換えればタッチパネル70a上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる(スライド操作に続いてフリックがあったものと判定できる)。更に、複数箇所(例えば2点)を同時にタッチして、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトと称する。ピンチアウトとピンチインを総称してピンチ操作(あるいは単にピンチ)と称する。
【0040】
タッチパネル70aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等、様々な方式のタッチパネルのうち、いずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式があるが、いずれの方式でもよい。
接眼状態でタッチムーブ操作が行われると、ユーザはタッチムーブ操作に応じた位置指標の位置の指定方法を、絶対位置指定と相対位置指定のいずれかに設定することができる。例えば、位置指標がAF枠とすると、絶対位置指定の場合、タッチパネル70aがタッチされると、タッチされた位置(座標入力された位置)に対応付けられたAF位置が設定される。つまり、タッチ操作が行われた位置座標と、表示部28の位置座標とが対応付けられる。一方、相対位置指定の場合、タッチ操作が行われた位置座標と表示部28の位置座標とは対応付けられない。相対位置指定では、タッチパネル70aに対するタッチダウン位置に関わらず、現在設定されているAF位置からタッチムーブの移動方向にタッチムーブの移動量に応じた距離だけ、AF位置が移動される。
【0041】
次に、本第1の実施形態のカメラ100における視線入力操作によるキャリブレーション処理を行う方法について説明する。
図3は、本第1の実施形態における、視線検出のキャリブレーションの開始から終了までの制御処理の流れを示すフローチャートである。この制御処理、及び後述の図4、図5の制御処理は、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
【0042】
図3のフローチャートは、カメラ100が起動し、MENU等の設定モードにおいてユーザが「キャリブレーションモード」を選択し、かつファインダーを覗いている場合、つまり接眼部16へ接眼状態であるときに開始される。
S301では、システム制御部50は、背景画像(LV画像)をEVF29に表示する。なお、背景画像(LV画像)は、撮像部22で撮像された画像に限られず、単色(例えば、白色、黒色、グレー)画像であってもよい。
【0043】
S302では、システム制御部50は、キャリブレーションを開始する旨のメッセージが表示されたダイアログ(図7(a))をEVF29に表示する。このダイアログには、キャリブレーションモードの開始を指示するボタン(OKボタン)やキャリブレーションモードの終了を指示するボタン(キャンセルボタン)が表示される。ユーザがカメラ100上の任意のボタン、又はタッチパネル70a等を操作することでこれらのボタンが選択される。
【0044】
S303では、システム制御部50は、ユーザによってキャリブレーションモードの終了を指示するボタン(キャンセルボタン)が押下されたか否かを判定する。システム制御部50が、キャンセルボタンが押下されたと判定した場合、一連の処理が終了する。システム制御部50が、キャンセルボタンが押下されていないと判定した場合、処理はS305に遷移する。
【0045】
S304では、後述する図5のS508に進むと、図3における視線検出のキャリブレーションを終了するために進むステップである。S304に遷移するための条件は、図5にて後述する。
S305では、システム制御部50は、ユーザ操作によってキャリブレーションモードの開始を指示するボタン(OKボタン)が押下されたか否かを判定する。システム制御部50がOKボタンが押下されたと判定した場合、処理はS400(キャリブレーションメイン処理)へ遷移する。システム制御部50がOKボタンが押下されていないと判定した場合、処理はS303に戻る。この場合、キャリブレーションを開始する旨のメッセージはEVF29に表示されたままである。
【0046】
S400の処理(キャリブレーションメイン処理)が終了すると、一連の処理が終了する。
なお、キャリブレーションモードにおいて、キャリブレーション処理が正常に終了した場合、システム制御部50は、キャリブレーションモード内の図5に記載の制御処理で不揮発性メモリ56に保存された視線位置データを記録媒体200に記憶する。
【0047】
次に、本第1の実施形態における、キャリブレーション時に表示や輝度を変更するための制御処理であるキャリブレーションメイン処理(S400)について、図4を参照して説明する。
図4は、本第1の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。図4の制御処理は、背景画像上の視線注視枠の表示位置を変更しつつ視線位置データの登録処理を行った後、背景画像の輝度値を変更する処理である。この制御処理は、図3のS305において、システム制御部50がユーザ操作によってOKボタンが押下されたと判定した後に実行される。
【0048】
S400では、システム制御部50が、キャリブレーションメイン処理を開始する。
S401では、システム制御部50は、背景画像(LV画像)を輝度値L1に設定してEVF29に表示する。輝度値L1の設定は、EVF表示器に応じて制御方法を変えてよい。例えば、EVF29上にLV画像を表示するためのバックライトの量や液晶に通す光量、カラーフィルターに通す光量(色輝度)を調整する方法があり、いずれの方法でもよい。
S402では、システム制御部50は、ユーザに視線注視させるための枠である視線注視枠をEVF29へ表示する。なお、本第1の実施形態において、視線注視枠の形状は、図6に示す通り四角形の形状としたが、視線を注視できるような形状であればいかなる形状でもよい。なお、視線注視枠が、本発明でいうアイテムに相当する。その後、処理はS500の視線位置データの登録処理へ遷移する。なお、S500の処理の詳細については、図5にて後述する。
【0049】
S500の処理が実行された後、S403では、システム制御部50は、輝度値L1に設定された状態で、かつ、視線位置データを登録する処理が全ての視線注視枠の表示位置で完了したか否かを判定する。すなわち、輝度値L1において、全ての視線注視枠の表示位置におけるユーザの視線情報を視線検出ブロック160が取得したか否かを判定する。システム制御部50が全ての視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、処理はS405へ遷移する。システム制御部50が視線位置データの登録が完了していないと判定した場合、処理はS404へ遷移する。
【0050】
S404では、システム制御部50は、視線注視枠の表示位置を別の位置へと変更する。その後、処理は再度S402の前まで遷移する。
S405では、システム制御部50は、EVF29に表示する背景画像(LV画像)の輝度値をL2に設定して表示する。本第1の実施形態では、輝度値を変更することによる目の負担や順応速度を考慮し、明順応させるようにする。すなわち、輝度値L2は輝度値L1よりも大きく、明るい画像が表示される。なお、輝度の明るい背景画像を先に表示し、全ての位置における視線位置の取得が終了した後に、背景画像の輝度を下げてもよい。一般的には、明順応の方が暗順応よりも要する時間が短いので、本第1の実施形態にあるように、先に輝度の低い背景画像を表示すると、ユーザが輝度を変えた後の画像により素早く順応でき、キャリブレーションをより素早く行うことができる。
S406では、システム制御部50は、EVF29に、輝度値L2での背景画像(LV画像)の表示状態で再度キャリブレーションを開始する旨のメッセージが表示されたダイアログ(図7(b))を表示する。
【0051】
S407では、システム制御部50は、ユーザ操作によってダイアログ内のキャリブレーションの開始を指示するボタン(OKボタン)が押下されたか否かを判定する。システム制御部50がOKボタンが押下されたと判定した場合、処理はS408へ遷移する。システム制御部50がOKボタンが押下されていないと判定した場合、処理はS406の前まで遷移する。
S408では、システム制御部50は、EVF29に表示する視線注視枠の表示位置を初期位置に戻す。
【0052】
S409では、システム制御部50は、視線注視枠をEVF29へ表示する。その後、処理はS500の視線位置データの登録処理へ遷移する。
S500の処理が実行された後、S410では、システム制御部50は、輝度値L2に設定された状態で、かつ、視線位置データを登録する処理が全ての視線注視枠の表示位置で完了したか否かを判定する。すなわち、輝度値L2において、全ての視線注視枠の表示位置におけるユーザの視線情報を視線検出ブロック160が取得したか否かを判定する。システム制御部50が全ての視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、キャリブレーションメイン処理が終了する。システム制御部50が視線位置データの登録が完了していないと判定した場合、処理はS411へ遷移する。
S411では、システム制御部50は、視線注視枠の表示位置を別の位置へと変更する。その後、処理は再度S409の前まで遷移する。
【0053】
図5は、キャリブレーション処理における、視線位置を座標としてデータ取得し、データを不揮発性メモリ56に記録するまでの登録処理である視線位置データの登録処理のフローを示したものである。
【0054】
S500では、システム制御部50が、視線位置データの登録処理を開始する。
S501では、システム制御部50は、注視対象の表示中に視線検出ブロック160から視線位置を取得する。なお、本第1の実施形態では、視線検出ブロック160で注視状態の出力が検知された場合に視線の位置を取得しているが、注視せずとも視線位置が取得できる場合は、その位置でもよい。
S502では、システム制御部50は、S501の取得結果に基づいて、目つむりや瞬き状態であるかを検出する。
S503では、システム制御部50は、目つむりや瞬き状態であるか否かを判定する。システム制御部50が目つむりや瞬き状態であると判定した場合、処理はS506へ遷移する。システム制御部50が目つむりや瞬き状態でないと判定した場合、処理はS504へ遷移する。
【0055】
S504では、システム制御部50は、S501で取得した視線位置のデータを視線注視枠の表示位置と関連付けて不揮発性メモリ56へ保存する。
S505では、システム制御部50は、S504で保存した視線位置のデータ数が、所定の閾値以上であるか否かを判定する。システム制御部50が視線位置のデータ数が所定の閾値以上であると判定した場合、視線位置データの登録処理が終了する。そして、処理はキャリブレーションメイン処理に戻る。システム制御部50が視線位置のデータ数が所定の閾値未満であると判定した場合、処理はS501の前まで遷移する。そして、再度視線位置のデータが取得される。
【0056】
S506では、システム制御部50は、目つむりや瞬き状態を検出した時間が所定の時間以上であるか否か、又は目つむりや瞬き状態を検出した回数が所定の回数以上であるか否かを判定する。システム制御部50が目つむりや瞬き状態を検出した時間が所定の時間以上である、又は目つむりや瞬き状態を検出した回数が所定の回数以上であると判定した場合、処理はS507へ遷移する。システム制御部50が目つむりや瞬き状態を検出した時間が所定の時間未満、又は目つむりや瞬き状態を検出した回数が所定の回数未満であると判定した場合、処理はS501の前まで遷移する。すなわち、この場合には、視線位置データは保存されない。そして、視線位置のデータが再度取得される。
【0057】
S507では、システム制御部50は、EVF29にキャリブレーション処理ができなかった旨のエラーメッセージ(図7(c))を表示する。
S508では、システム制御部50は、キャリブレーションモード内で不揮発性メモリ56に保存していた視線位置データを削除する。
なお、エラーとしてS507、S508の処理が実行されるのは、本第1の実施形態のように、目つむりや瞬き状態が検出された回数が所定の回数以上である場合や、目つむりや瞬き状態が検出されている時間が所定の時間以上である場合に限られない。接眼部16からユーザの目が離れた場合や、カメラ100の電源が切られた場合、キャリブレーション可能な人数やメモリサイズを超えていた場合等においても、エラーとしてS507、S508の処理が実行されてもよい。
S508の処理が実行されると、処理は、図3のS304へ遷移する。そして、一連のキャリブレーション処理が終了する。
【0058】
続いて、図6を用いて、本第1の実施形態において、背景画像(LV画像)の輝度値を変更して視線位置のキャリブレーションさせるための画面遷移例について説明する。
図6(a)〜図6(e)は、輝度値がL1(暗い)状態で背景画像を表示したものであり、図6(g)〜図6(j)は、輝度値がL2(明るい)状態で背景画像を表示したものである。図4、図5で説明した制御処理を実行することで画面が遷移する。
【0059】
ユーザの目601は、はじめ図6(a)で示す位置にある視線注視枠602に対して所定時間見続ける、すなわち注視をする。所定時間、EVF29に表示されている視線注視枠を見続けると、システム制御部50が図5による視線位置データの登録処理を実行する。所定時間とは例えば、1秒や1.5秒、2秒といった時間である。その後システム制御部50は、S404の処理により、図6(b)へと視線注視枠の表示位置を変更する。ユーザは図6(b)で示す視線注視枠602の位置を見ることで、システム制御部50は再度視線位置データの登録処理を行う。
【0060】
本第1の実施形態では、視線注視枠の表示位置が、中央部(図6(a)、図6(f))、上端部(図6(b)、図6(g))、下端部(図6(c)、図6(h))、左端部(図6(d)、図6(i))、右端部(図6(e)、図6(j))の5箇所である。なお、視線注視枠の表示位置や数、表示順序はこれに限定されない。
図6(e)まで視線位置データの登録処理が完了すると、システム制御部50はS405の処理により背景画像(LV画像)を輝度値L2にして、再度視線位置データの登録を開始する(図6(f)〜図6(j))。図6(j)まで視線位置データの登録処理が完了すると、キャリブレーション処理が終了する。
【0061】
なお、本第1の実施形態では、視線注視枠の表示順番を図6(a)〜図6(e)(図6(f)〜図6(j))で示す順番としたが、視線注視枠の表示順番はこれに限定せず、視線注視枠はどの順番で表示されてもよい。
【0062】
次に、図7を用いて、キャリブレーション処理の実行時にユーザに示すメッセージ画面例について説明する。
図7(a)は、S302で表示される、キャリブレーションを開始する旨のメッセージダイアログの表示例である。
ダイアログ701には、キャリブレーションを開始する旨のメッセージが表示される。また、ユーザにキャリブレーションを開始させるためのボタン(OKボタン)702や、キャリブレーションを中止させるためのボタン(キャンセルボタン)703が配置されている。
キャリブレーション開始時にメッセージを表示して、かつ開始するか否かをユーザ操作によって決定させることで、意図せず制御処理が実行されユーザが混乱するリスクを低減させることができる。
【0063】
図7(b)は、S406で表示される、背景画像(LV画像)を輝度値L2にした状態でキャリブレーションを開始することをユーザに示すメッセージダイアログ表示例である。
本第1の実施形態では、輝度値がL1、L2のように異なる状態で、それぞれ視線位置データを取得・蓄積するキャリブレーション処理を行う。これにより、視線位置の精度向上や作業回数の低減を図ることができる。
また、本第1の実施形態では、輝度を明るくしたときに、S406、S407の処理を行って、輝度値を変えて再度キャリブレーションを行う必要があることをユーザに知らせている。これにより、明順応による視線位置のブレや目つむりによる検出精度の低下を抑制することができる。
なお、システム制御部50は、メッセージを表示せずに、一定時間経過してからキャリブレーション処理を続行させてもよい。また、視線注視枠を表示してユーザが視線注視していることを検出できた後で、キャリブレーション処理を続行させてもよい。
【0064】
図7(c)は、S507で実行された、キャリブレーション処理に失敗したことをユーザに示すエラーダイアログの表示例である。エラーダイアログ706を表示することで、キャリブレーション処理に失敗したことをユーザが認識することができる。また、エラーダイアログ706に設けられたOKボタン707を押下することでキャリブレーション処理が終了する。
なお、エラーダイアログ706に表示されるメッセージ(ガイダンス、ガイド)は、キャリブレーション処理に失敗した旨のみに限定されない。例えば、キャリブレーション処理の失敗原因が、エラーダイアログ706内や、エラーダイアログ706とは異なる別のダイアログに表示されてもよい。
【0065】
また、ボタン707はキャリブレーションモードを終了させるために配置されているが、これにおいても別のボタンが配置されてもよい。そして、ユーザ操作によって押下されることで、キャリブレーション処理を再度初めからやり直すように制御処理が実行されてもよい。
【0066】
以上のような、本第1の実施形態のキャリブレーション処理によれば、背景画像の輝度値をL1にした状態で視線注視枠を各表示位置に表示することで、各表示位置での視線位置データが登録される。その後、視線注視枠の表示位置を初期位置に戻すとともに、背景画像の輝度値をL2に変更する。そして、同様にして、背景画像の輝度値をL2にした状態で視線注視枠の各表示位置に表示することで、各表示位置での視線位置データが登録される。これにより、視線位置のキャリブレーションにかかる作業負荷が低減される。また、登録された視線位置データを用いてキャリブレーションを行うことで、視線位置の検出精度を向上させることができる。
【0067】
<第2の実施形態>
次に、図8及び図9を用いて、本第2の実施形態のカメラ100にける視線入力操作によるキャリブレーション処理を行う方法について説明する。本第2の実施形態のキャリブレーション処理は、キャリブレーション時に表示や輝度を変更するための制御処理であるキャリブレーションメイン処理が第1の実施形態と異なる。
上述の第1の実施形態のキャリブレーションメイン処理は、背景画像を同じ輝度値に設定した状態で背景画像上の視線注視枠の表示位置を変更しつつ視線位置データの登録処理を行った後、輝度値を変更する処理であった。一方で、本第2の実施形態のキャリブレーションメイン処理は、背景画像上の同じ位置に視線注視枠を表示した状態で背景画像の輝度値を変更しつつ視線位置データの登録処理を行った後、視線注視枠の表示位置を変更する処理である。以下、第1の実施形態との相違点について詳細に説明する。本第2の実施形態のハードウェア構成は、図1、2を用いて説明をしたカメラ100と同様である。また、図3及び図5の制御処理も同様に実行される。従って、第1の実施形態と同様の部分については同じ符号を用いてその説明を省略する。
【0068】
図8は、本第2の実施形態に係るキャリブレーションメイン処理を示すフローチャートである。この制御処理は、図3のS305において、システム制御部50がユーザ操作によってOKボタンが押下されたと判定した後に実行される。なお、図8の制御処理は、第1の実施形態と同様に、システム制御部50が、不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
【0069】
S801では、システム制御部50は、背景画像(LV画像)を輝度値L1に設定してEVF29に表示する。輝度値L1の設定は、EVF表示器に応じて制御方法を変えてよい。例えば、EVF29上にLV画像を表示するためのバックライトの量や液晶に通す光量、カラーフィルターに通す光量(色輝度)を調整する方法があり、いずれの方法でもよい。
S802では、システム制御部50は、ユーザに視線注視させるための枠である視線注視枠をEVF29へ表示する。なお、本第2の実施形態において、視線注視枠の形状は、図9に示す通り四角形の形状としたが、視線を注視できるような形状であればいかなる形状でもよい。その後、処理はS500の視線位置データの登録処理(図5)へ遷移する。
【0070】
S500の処理が実行された後、S803では、システム制御部50は、輝度値L2に設定された状態で、かつ、視線位置データを登録する処理が現在の視線注視枠の表示位置で完了したか否かを判定する。システム制御部50が現在の視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、処理はS805へ遷移する。システム制御部50が現在の視線注視枠の表示位置で視線位置データの登録が完了していないと判定した場合、処理はS804へ遷移する。
【0071】
S804では、システム制御部50は、EVF29に表示する背景画像(LV画像)の輝度値をL2にして表示する。本第2の実施形態では、輝度値を変えることによる目の負担や順応速度を考慮し、明順応させるようにする。すなわち、輝度値L2は輝度値L1よりも大きく、明るい画像が表示される。その後処理は、S500の視線位置データの登録処理へ遷移する。
なお、システム制御部50が、EVF29に、輝度値L2での背景画像(LV画像)の表示状態で再度キャリブレーションを開始する旨のメッセージが表示されたダイアログ(図7(b))を表示してもよい。
【0072】
S805では、システム制御部50は、視線位置のデータを登録する処理が全ての視線注視枠の表示位置で完了したか否かを判定する。システム制御部50が全ての視線注視枠の表示位置で視線位置データの登録が完了していると判定した場合、キャリブレーションメイン処理が終了する。システム制御部50が全ての視線注視枠の表示位置で視線位置データの登録が完了していないと判定した場合、処理はS806へ遷移する。
S806では、システム制御部50は、視線注視枠の表示位置を別の位置へと変更する。その後、処理はS810へ遷移する。
S810で、処理はS801の前まで遷移し、再度S802からの処理へ移る。
【0073】
図9を用いて、本第2の実施形態において、背景画像(LV画像)の輝度値を変更して視線位置のキャリブレーションさせるための画面遷移例について説明する。
図9(a)、図9(c)、図9(e)、図9(g)、図9(i)は、輝度値がL1(暗い)状態で背景画像を表示したもの、図9(b)、図9(d)、図9(f)、図9(h)、図9(j)は、輝度値がL2(明るい)状態で背景画像を表示したものである。図5、図8で説明した制御処理を実行することで画面が遷移する。
【0074】
ユーザの目901は、はじめ図9(a)で示す位置にある視線注視枠902に対して見続ける操作を行う。見続ける操作を行うと、システム制御部50が図5による視線位置データの登録処理を実行する。その後システム制御部50は、S804の処理により、図9(b)へと視線注視枠は同じ位置で、背景画像を輝度値L2へ変更する。ユーザは図9(b)で示す視線注視枠の位置を見ることで、システム制御部50は再度視線位置データの登録処理を行う。
【0075】
本第2の実施形態では、視線注視枠の表示位置が、中央部(図9(a)、図9(b))、上端部(図9(c)、図9(d))、下端部(図9(e)、図9(f))、左端部(図9(g)、図9(h))、右端部(図9(i)、図9(j))の5箇所である。なお、視線注視枠の表示位置や数、表示順序はこれに限定されない。
【0076】
以上のように、本第2の実施形態のキャリブレーション処理によれば、同じ位置に表示される視線注視枠に対して背景画像の輝度値をL1からL2に変更して、各輝度値での視線位置データが登録される。その後、視線注視枠の表示位置を変更するとともに、背景画像の輝度値をL1に変更する。そして、同様にして、同じ位置に表示される視線注視枠に対して背景画像の輝度値をL1からL2に変更して、各輝度値での視線位置データが登録される。これにより、第1の実施形態と同様に、視線位置のキャリブレーションにかかる作業負荷が低減される。また、登録された視線位置データを用いてキャリブレーションを行うことで、視線位置の検出精度を向上させることができる。
【0077】
なお、システム制御部50が行うものとして説明した上述の各種制御は、1つのハードウエアが行ってもよいし、複数のハードウエア(例えば複数のプロセッサーや回路)が処理を分担することで装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【0078】
例えば、視線入力と組み合わせて使う位置移動の指示部材としてタッチパネル70aの例を説明したが、ボタンやダイヤル等これ以外の操作手段としてもよい。表示位置をAF枠としたが、アイコン枠やパラメーター設定枠等としてもよいし、マウスポインタ等の視線注視枠とは異なるインジケーター表示としてもよい。注視の判定基準について、視線検出ブロック160への視線入力が開始したあとの蓄積時間としたが、この蓄積時間についてあらかじめ設定した時間でもよい。表示されている視線注視枠と視線位置との位置関係に応じて変化するようにしてもよいし、ユーザが任意に設定できるようにしてもよい。また、ユーザの意図した視線位置の判断基準として上述の各実施形態では注視を取り上げたが、注視を判断基準として用いなくてもよい。また、上述の各実施形態では、背景画像の輝度をL1(暗い)、L2(明るい)の2段階でキャリブレーションを行うようにしているが、輝度値の異なる段階数は2段階に限定されない。また、設定される輝度値の組み合わせに応じて、キャリブレーション精度の向上が期待できる。
【0079】
また、上述した実施形態においては、本発明をカメラ100に適用した場合を例にして説明したが、これはこの例に限定されず視線入力を受け付け可能な受付手段を有する電子機器であれば適用可能である。また、各実施形態を適宜組み合わせることも可能である。上述の各実施形態ではEVF29と視線検出を使用する構成としたが、表示装置と視線検出を使用する構成でも各実施形態は実施可能である。すなわち、本発明はパーソナルコンピューターやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイ等のウェアラブル機器等に適用可能である。
【0080】
また、撮像装置本体に限らず、有線又は無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPC等の装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線又は無線通信を介して受信して制御装置側で表示できるようにしてもよい。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピューター(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【0081】
16:接眼部
29:ファインダー内表示部(EVF)
50:システム制御部
56:不揮発性メモリ
100:カメラ
160:視線検出ブロック
165:視線検出回路
602,902:視線注視枠
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】