(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO2018220856
(43)【国際公開日】20181206
【発行日】20190627
(54)【発明の名称】ストリートビューワーシステム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20190607BHJP
   G06T 19/00 20110101ALI20190607BHJP
   G09B 29/10 20060101ALI20190607BHJP
   G09B 29/00 20060101ALI20190607BHJP
【FI】
   !G06Q50/10
   !G06T19/00 A
   !G09B29/10 A
   !G09B29/00 A
【審査請求】有
【予備審査請求】未請求
【全頁数】53
【出願番号】2017540305
(21)【国際出願番号】JP2017020721
(22)【国際出願日】20170602
(11)【特許番号】6390992
(45)【特許公報発行日】20180919
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】517261419
【氏名又は名称】櫻井 秀敏
【住所又は居所】東京都荒川区南千住4−7−3−2215
(74)【代理人】
【識別番号】100109553
【弁理士】
【氏名又は名称】工藤 一郎
(72)【発明者】
【氏名】櫻井 秀敏
【住所又は居所】日本国 東京都江東区東雲1−9−31−2901
【テーマコード(参考)】
2C032
5B050
5L049
【Fターム(参考)】
2C032HB05
2C032HB25
2C032HC11
2C032HC23
2C032HC27
2C032HD13
5B050BA06
5B050BA09
5B050BA11
5B050CA07
5B050CA08
5B050DA07
5B050DA10
5B050EA07
5B050EA19
5B050EA27
5B050FA02
5B050GA08
5L049CC12
(57)【要約】
【課題】実際に旅行者が観光地に出向いて、その旅行者の視点情報に応じた景観画像情報を付加情報とともに見ることが可能なスマートビューワーシステムを提供する。
【解決手段】景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムであって、景観サーバ装置は、位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観画像情報保持部と、視点情報取得部と、景観画像情報出力部と、を有し、携帯端末装置は、位置情報取得部と、取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得部と、取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力部と、出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得部と、景観画像情報出力部と、を有する。
【選択図】図2
【特許請求の範囲】
【請求項1】
景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムであって、
景観サーバ装置は、
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観画像情報保持部と、
携帯端末装置から視点情報を取得する視点情報取得部と、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力部と、
を有し、
携帯端末装置は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得部と、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得部と、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力部と、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得部と、
取得した景観画像情報を出力する景観画像情報出力部と、
を有する
ストリートビューワーシステム。
【請求項2】
景観サーバ装置は、
景観画像情報保持部が、過去の複数の時期別の景観画像情報である時期別景観画像情報を保持する時期別景観画像情報保持手段を有し、
景観画像情報出力部が、取得した時期情報に対応する時期の時期別景観画像情報を携帯端末装置に出力する時期別景観画像情報出力手段を有するとともに、
携帯端末装置から過去の時期を示す情報である時期情報を取得するサーバ側時期情報取得部を有し、
携帯端末装置は、
時期情報を取得する携帯端末側時期情報取得部と、
取得した時期情報を景観サーバに送信する時期情報送信部と、
を有し、
景観画像情報取得部は、送信した時期情報に応じた時期別景観画像情報を取得する時期別景観画像情報取得手段を有する
請求項1に記載のストリートビューワーシステム。
【請求項3】
景観サーバ装置は、
景観画像情報保持部が、歴史的な又は/及び季節的なイベントの景観画像情報であるイベント別景観画像情報を保持するイベント別景観画像情報保持手段を有し、
景観画像情報出力部が、取得したイベント識別情報に対応したイベント別景観画像情報を携帯端末装置に出力するイベント別景観画像情報出力手段を有するとともに、
携帯端末装置からイベント識別情報を取得するサーバ側イベント識別情報取得部を有し、
携帯端末装置は、
イベント識別情報を取得する携帯端末側イベント識別情報取得部と、
取得したイベント識別情報を景観サーバ装置に送信するイベント識別情報送信部と、
を有し、
景観画像情報取得部は、送信したイベント識別情報に応じたイベント別景観画像情報を取得するイベント別景観画像情報取得手段を有する
請求項1又は請求項2に記載のストリートビューワーシステム。
【請求項4】
携帯端末装置に換えて移動体搭載端末装置とした請求項1から請求項3のいずれか一に記載のストリートビューワーシステム。
【請求項5】
請求項1から請求項4のいずれか一に記載の景観サーバ装置。
【請求項6】
請求項1から請求項3のいずれか一に記載の携帯端末装置。
【請求項7】
請求項4に記載の移動体搭載端末装置。
【請求項8】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、
景観サーバ装置の動作方法は、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を有し、
携帯端末装置の動作方法は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を有する
ストリートビューワーシステムの動作方法。
【請求項9】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、
景観サーバ装置の動作プログラムは、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、をコンピュータである景観サーバ装置に読み取り実行可能に記録した景観サーバ装置の動作プログラムであり、
携帯端末装置の動作プログラムは、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
をコンピュータである携帯端末装置に読取り実行可能に記録した携帯端末装置のプログラムである
ストリートビューワーシステムの動作プログラム。
【請求項10】
請求項8に記載の景観サーバ装置の動作方法。
【請求項11】
請求項8に記載の携帯端末装置の動作方法。
【請求項12】
請求項9に記載の景観サーバ装置の動作プログラム。
【請求項13】
請求項9に記載の携帯端末装置の動作プログラム。
【請求項14】
前記視線情報取得部は、
東西南北上下の向きを検出する視線方向センサーと、
視線方向センサーからの視線方向を連続的に取得する視線方向取得手段と、
連続して取得中の視線方向を保持命令の取得タイミングにてフィックスして保持する視線方向保持手段と、
視線方向保持手段にユーザからの入力に基づく保持命令を出力するための保持命令出力手段と、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力手段と、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように構成されている
請求項1から請求項3のいずれか一に記載のストリートビューワーシステム。
【請求項15】
前記携帯端末装置はカメラとディスプレイを有し、
前記視線方向センサーは、カメラを通してディスプレイに映し出されている景観を見る視線を視線方向として取得する請求項14に記載のストリートビューワーシステム。
【請求項16】
保持命令出力手段の保持命令の出力に応じて前記カメラは景観静止画を撮影する保持命令時撮影部と、
をさらに有する請求項15に記載のストリートビューワーシステム。
【請求項17】
前記カメラはユーザが操作可能なズームイン・ズームアウト機能を有し、
保持命令時撮影部での撮影時の景観静止画の倍率を取得する倍率取得部を有し、
景観画像情報出力部は、前記ディスプレイに前記撮影された静止画と同倍率の景観画像を出力する同倍率景観画像出力手段をさらに有する請求項16に記載のストリートビューワーシステム。
【請求項18】
前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを交互に出力可能な交互出力部をさらに有する請求項17に記載のストリートビューワーシステム。
【請求項19】
前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを重畳して出力可能な重畳出力部をさらに有する請求項17又は請求項18に記載のストリートビューワーシステム。
【請求項20】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、
景観サーバ装置の動作方法は、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を有し、
携帯端末装置の動作方法は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を有し、
前記視線情報取得ステップは、
東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、
視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、
連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように構成される
ストリートビューワーシステムの動作方法。
【請求項21】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、
計算機である景観サーバ装置の動作プログラムは、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を計算機である景観サーバ装置に読取り実行可能に記述され、
計算機である携帯端末装置の動作プログラムは、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を計算機である携帯端末装置に読取り実行可能に記述され、
携帯端末装置の動作プログラムの前記視線情報取得ステップは、
東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、
視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、
連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように処理される
ストリートビューワーシステムの動作プログラム。
【請求項22】
請求項21に記載の景観サーバ装置の動作プログラム。
【請求項23】
請求項21に記載の携帯端末装置の動作プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ストリートビューワーシステムに関し、特に現在や過去の風景や街並み(町並み)を示す景観画像を表示するのに好適なストリートビューワーシステムに関する。
【背景技術】
【0002】
従来、Googleマップのストリートビュー機能を利用すると、現在の風景や町並みを示す景観をパソコンのブラウザから利用して、表示することができる。最近ではそのGoogleマップのストリートビュー機能に、過去の風景が見られる「タイムマシン機能」も追加されている。パソコン上でGoogleマップを表示させ、ストリートビューを開始すると、地図上のストリートビューが表示できる場所が表示され、その場所の過去のストリートビューが表示できる。
【0003】
また、利用者が携帯端末で指定した地点の過去又は将来の景観を再現するシステムとして、特許第5363971号(特許文献1)が挙げられる。この特許文献1では、任意の再現時点における景観を再現するシステムである。この再現景観システムは、互いにネットワークを介して接続する利用者携帯端末と景観再現サーバからなる景観再現システムであって、再現画像要求受信部801で、利用者携帯端末の位置と方位と傾きと、指示された再現時点を含む再現画像要求を受信し、再現地形抽出部804と再現物体抽出部807で再現時点に対応する地形と物体の3次元形状情報を抽出し、2次元投射画像生成部809で、仮想の3次元空間に当該地形オブジェクト及び当該物体オブジェクトを配置した再現画像を生成し、再現画像送信部811より再現画像を利用者携帯端末に返信する構成を示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5363971号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のGoogleマップのストリートビュー機能では、パソコンのブラウザを利用して、表示画面上に表示された地図上から現在又は過去の景観を見るものであり、実際の観光地やその場所に行かなくても見られるバーチャル体験を提供するものであり、観光地やその地域にとっては、実際に来てもらわないと経済効果が期待できず、まだ十分ではなかった。
【0006】
上記特許文献1では、利用者携帯端末の位置と方位と傾きで景観を再現するものなので、利用者携帯端末を子供が社会科見学で使用する場合は、子どもの視点と利用者携帯端末との視点とでずれが生じ、使いにくいものとなってしまうという課題があった。また、端末装置のカメラを視線方位として景観画像を表示する構成としているので、常に再現画像を見たい領域の景観を撮影する姿勢(通常はカメラはディスプレイの裏面側なのでディスプレイを目の位置に掲げ続ける姿勢となる)で携帯端末の画面を見なければ再現画像を見ることができず不便であった。
【0007】
本発明の目的は、実際に旅行者が観光地に出向いて、その旅行者の視点情報に応じた景観画像情報を付加情報とともに見ることが可能なスマートビューワーシステムを提供することにある。
【0008】
本発明の他の目的は、表示させる景観画像と携帯端末装置を使用する形態を考慮して操作性を向上させ、社会科見学などで街に出向いて所望の視点の高さで景観情報を見ることが可能なストリートビューワーシステムを提供することにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために本発明において、以下のストリートビューワーシステムを提供する。すなわち、第一の発明として、景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムであって、景観サーバ装置は、位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観画像情報保持部と、携帯端末装置から視点情報を取得する視点情報取得部と、取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力部と、を有し、携帯端末装置は、携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得部と、取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得部と、取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力部と、出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得部と、取得した景観画像情報を出力する景観画像情報出力部と、を有する(請求項1対応)。
【0010】
前記特徴に加え、景観サーバ装置は、景観画像情報保持部が、過去の複数の時期別の景観画像情報である時期別景観画像情報を保持する時期別景観画像情報保持手段を有し、景観画像情報出力部が、取得した時期情報に対応する時期の時期別景観画像情報を携帯端末装置に出力する時期別景観画像情報出力手段を有するとともに、携帯端末装置から過去の時期を示す情報である時期情報を取得するサーバ側時期情報取得部を有し、携帯端末装置は、時期情報を取得する携帯端末側時期情報取得部と、取得した時期情報を景観サーバに送信する時期情報送信部と、を有し、景観画像情報取得部は、送信した時期情報に応じた時期別景観画像情報を取得する時期別景観画像情報取得手段を有する(請求項2対応)。
【0011】
前記特徴に加え、景観サーバ装置は、景観画像情報保持部が、歴史的な又は/及び季節的なイベントの景観画像情報であるイベント別景観画像情報を保持するイベント別景観画像情報保持手段を有し、景観画像情報出力部が、取得したイベント識別情報に対応したイベント別景観画像情報を携帯端末装置に出力するイベント別景観画像情報出力手段を有するとともに、携帯端末装置からイベント識別情報を取得するサーバ側イベント識別情報取得部を有し、携帯端末装置は、イベント識別情報を取得する携帯端末側イベント識別情報取得部と、取得したイベント識別情報を景観サーバ装置に送信するイベント識別情報送信部と、を有し、景観画像情報取得部は、送信したイベント識別情報に応じたイベント別景観画像情報を取得するイベント別景観画像情報取得手段を有する(請求項3対応)。
【0012】
前記特徴に加え、携帯端末装置に換えて移動体搭載端末装置としたストリートビューワーシステム(請求項4対応)。
【0013】
請求項1から請求項4のいずれか一に記載の景観サーバ装置(請求項5対応)
【0014】
請求項1から請求項3のいずれか一に記載の携帯端末装置(請求項6対応)。
【0015】
請求項4に記載の移動体搭載端末装置(請求項7対応)。
【0016】
第二の発明として、位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、景観サーバ装置の動作方法は、携帯端末装置から視点情報を取得する視点情報取得ステップと、取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、を有し、携帯端末装置の動作方法は、携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、取得した景観画像情報を出力する景観画像情報出力ステップと、を有するストリートビューワーシステムの動作方法(請求項8対応)。
【0017】
第三の発明として、位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、景観サーバ装置の動作プログラムは、携帯端末装置から視点情報を取得する視点情報取得ステップと、取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、をコンピュータである景観サーバ装置に読み取り実行可能に記録した景観サーバ装置の動作プログラムであり、携帯端末装置の動作プログラムは、携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、取得した景観画像情報を出力する景観画像情報出力ステップと、をコンピュータである携帯端末装置に読取り実行可能に記録した携帯端末装置のプログラムであるストリートビューワーシステムの動作プログラム(請求項9対応)。
【0018】
請求項8に記載の景観サーバ装置の動作方法(請求項10対応)。
【0019】
請求項8に記載の携帯端末装置の動作方法(請求項11対応)。
【0020】
請求項9に記載の景観サーバ装置の動作プログラム(請求項12対応)。
【0021】
請求項9に記載の携帯端末装置の動作プログラム(請求項13対応)。
【0022】
前記特徴に加え、前記視線情報取得部は、東西南北上下の向きを検出する視線方向センサーと、視線方向センサーからの視線方向を連続的に取得する視線方向取得手段と、連続して取得中の視線方向を保持命令の取得タイミングにてフィックスして保持する視線方向保持手段と、視線方向保持手段にユーザからの入力に基づく保持命令を出力するための保持命令出力手段と、視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力手段と、を有し、視線情報に含まれている視線方向は保持されている視線方向であるように構成されているいずれか一に記載のストリートビューワーシステム(請求項14対応)。
【0023】
前記特徴に加え、前記携帯端末装置はカメラとディスプレイを有し、前記視線方向センサーは、カメラを通してディスプレイに映し出されている景観を見る視線を視線方向として取得するストリートビューワーシステム(請求項15対応)。
【0024】
前記特徴に加え、保持命令出力手段の保持命令の出力に応じて前記カメラは景観静止画を撮影する保持命令時撮影部と、をさらに有する(請求項16対応)。
【0025】
前記特徴に加え、前記カメラはユーザが操作可能なズームイン・ズームアウト機能を有し、保持命令時撮影部での撮影時の景観静止画の倍率を取得する倍率取得部を有し、景観画像情報出力部は、前記ディスプレイに前記撮影された静止画と同倍率の景観画像を出力する同倍率景観画像出力手段をさらに有する(請求項17対応)。
【0026】
前記特徴に加え、前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを交互に出力可能な交互出力部をさらに有する(請求項18対応)。
【0027】
前記特徴に加え、前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを重畳して出力可能な重畳出力部をさらに有する(請求項19対応)。
【0028】
第四の発明として、位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、景観サーバ装置の動作方法は、携帯端末装置から視点情報を取得する視点情報取得ステップと、取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、を有し、携帯端末装置の動作方法は、携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、取得した景観画像情報を出力する景観画像情報出力ステップと、を有し、前記視線情報取得ステップは、東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、視線情報に含まれている視線方向は保持されている視線方向であるように構成されるストリートビューワーシステムの動作方法(請求項20対応)。
【0029】
第五の発明として、位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、計算機である景観サーバ装置の動作プログラムは、携帯端末装置から視点情報を取得する視点情報取得ステップと、取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、を計算機である景観サーバ装置に読取り実行可能に記述され、計算機である携帯端末装置の動作プログラムは、携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、取得した景観画像情報を出力する景観画像情報出力ステップと、を計算機である携帯端末装置に読取り実行可能に記述され、携帯端末装置の動作プログラムの前記視線情報取得ステップは、東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、視線情報に含まれている視線方向は保持されている視線方向であるように処理されるストリートビューワーシステムの動作プログラム(請求項21対応)。
【0030】
請求項21に記載の景観サーバ装置の動作プログラム(請求項22対応)。
【0031】
請求項21に記載の携帯端末装置の動作プログラム(請求項23対応)。
【発明の効果】
【0032】
上述した構成によれば、実際に旅行者が観光地に出向いて、その旅行者の視点情報に応じた景観画像情報を付加情報とともに見ることができる。また、社会科見学などで街に出向いて所望の視点の高さで景観情報を見ることができる。
【図面の簡単な説明】
【0033】
【図1】実施形態1のスマートビューワーシステムの概要を説明するための図
【図2】実施形態1のスマートビューワーシステムの機能ブロック図
【図3】実施形態1のスマートビューワーシステムのディスプレイを含まない構成の機能ブロック図
【図4】実施形態1のディスプレイ種別の例を示す図
【図5】実施形態1のスマートビューワーシステムにおけるディスプレイの一例(タブレット)を示す図
【図6】実施形態1のスマートビューワーシステムにおけるディスプレイの他の例(スマートフォン)を示す図
【図7】実施形態1のスマートビューワーシステムにおける他の例(ヘッドマウントディスプレイ)を示す図
【図8】実施形態1のスマートビューワーシステムにおける他の例(カーナビ)を示す図
【図9】実施形態1のスマートビューワーシステムにおける視点情報の取得手段の一例を示す図
【図10】実施形態1のスマートビューワーシステムにおける視点情報の取得を説明するための図
【図11】実施形態1のスマートビューワーシステムにおける景観画像取得インターフェース画面の一例を示す図
【図12】実施形態1のスマートビューワーシステムにおける景観サーバ装置のハードウェア構成の一例を示す図
【図13】実施形態1のスマートビューワーシステムにおける携帯端末装置のハードウェア構成の一例を示す図
【図14】実施形態1のスマートビューワーシステムの処理フローチャート
【図15】実施形態1のスマートビューワーシステムの処理フローチャート
【図16】実施形態2のスマートビューワーシステムの概要を説明するための図
【図17】実施形態2のスマートビューワーシステムの機能ブロック図
【図18】実施形態2のスマートビューワーシステムのディスプレイを含まない構成の機能ブロック図
【図19】実施形態2のスマートビューワーシステムにおける景観画像取得インターフェース画面の一例を示す図
【図20】実施形態2のスマートビューワーシステムにおける景観サーバ装置のハードウェア構成の一例を示す図
【図21】実施形態2のスマートビューワーシステムにおける携帯端末装置のハードウェア構成の一例を示す図
【図22】実施形態2のスマートビューワーシステムの処理フローチャート
【図23】実施形態2のスマートビューワーシステムの処理フローチャート
【図24】実施形態1のスマートビューワーシステムの概要を説明するための図
【図25】実施形態3のスマートビューワーシステムの機能ブロック図
【図26】実施形態3のスマートビューワーシステムのディスプレイを含まない構成の機能ブロック図
【図27】実施形態3のスマートビューワーシステムの景観サーバ装置のハードウェア構成の一例を示す図
【図28】実施形態3のスマートビューワーシステムの携帯端末装置のハードウェア構成の一例を示す図
【図29】実施形態3のスマートビューワーシステムの処理フローチャート
【図30】実施形態3のスマートビューワーシステムの処理フローチャート
【図31】実施形態4のスマートビューワーシステムの機能ブロック図
【図32】実施形態4のスマートビューワーシステムの携帯端末装置のハードウェア構成の一例を示す図
【図33】実施形態4のスマートビューワーシステムの処理フローチャート
【図34】実施形態5のスマートビューワーシステムにおけるカメラのズームイン・ズームアウト機能を説明するための図
【図35】実施形態5のスマートビューワーシステムにおけるウェアラブルカメラを搭載したキャップ例を示す図
【発明を実施するための形態】
【0034】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【0035】
なお、以下に記載する本装置の機能ブロックは、ハードウェア及びソフトウェアの組み合わせとして実現され得る。具体的には、コンピュータを利用するものであれば、CPU(中央演算装置)や主メモリ、システムバス、あるいは二次記憶装置(ハードディスクドライブや不揮発性メモリ、CDやDVDなどの記憶メディアとそれらメディアの読取ドライブなど)、情報入力に利用される入力デバイス、表示装置、その他の外部周辺装置などのハードウェア構成部、例えばタブレット、スマートフォン、VRヘッドマウントディスプレイ、メガネ型ディスプレイ(単眼、シースルー等)、メガネ型カメラ付ディスプレイ(カメラは組込型、クリップオン型等)、ウェアラブルカメラ(衣服装着・埋込み、クリップオン型、キャップ内蔵等)またその外部周辺装置用のインターフェース、通信用インターフェース、位置情報インターフェース、視線入力インターフェース、高さ入力インターフェース、タッチ入力インターフェース、ソフトウェアキーボードインターフェース、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、ユーザ・インターフェース用アプリケーションなどが挙げられる。そして主メモリ上に展開したプログラムに従ったCPUの演算処理によって、入力デバイスやその他インターフェースなどから入力され、メモリやハードディスク上に保持されているデータなどが加工、蓄積されたり、上記各ハードウェアやソフトウェアを制御するための命令が生成されたりする。あるいは本装置の機能ブロックは専用ハードウェアによって実現されてもよい。また、本装置は一つのハードウェアやソフトウェアにより構成される場合に限られず、複数のハードウェアやソフトウェアの組み合わせによって構成されてもよく、ネットワークを介在したサーバ装置を含んで構成されてもよい。
【0036】
また、この発明は装置として実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるプログラム、及びプログラムを固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
<実施形態1>
<概要>
【0037】
本実施形態1は、図1に示すように、旅行者が実際に観光地に旅行して、または社会科見学のために学生や生徒が実際に街に出向いて、図示しない景観サーバ装置から送られてきた風景、街並み等の景観を示す景観画像を携帯端末装置等で受信し、位置情報と旅行者の視線方向、視点高情報を含む視線情報とからなる視点情報に応じたストリートビュー(ストリートの景観)を案内情報とともに表示させるのに好適なストリートビューワーシステムに関する。このストリートビューワーシステムは、視点高情報を用いて所望の視点(例えば、大人や子供の視点)に応じたストリートビュー表示を行うことができるシステムを実現している。
図1の例では、旅行者が携帯端末装置を所持し、観光地の京都の街並み(ストリートビュー)を案内情報を付加して表示した例を示している。または、図24に示すように、旅行者が携帯端末装置を所持し、銀座でショッピングに訪れ、携帯端末装置を銀座四丁目のデパートに向けると、そのデパートのフロアー情報を付加して表示した例を示している。
<実施形態1 構成>
【0038】
図2に示すように、実施形態1のストリートビューワーシステムは、景観サーバ装置0200と、携帯端末装置0210と、からなるストリートビューワーシステムであって、景観サーバ装置0200は、景観画像情報保持部0201と、視点情報取得部0202と、景観画像情報出力部0203と、を有し、携帯端末装置0210は、位置情報取得部0211と、視線情報取得部0212と、視点情報出力部0213と、景観画像情報取得部0214と、景観画像情報出力部0215を有する。
<実施形態1 構成の説明>
<実施形態1 景観サーバ装置>
【0039】
本景観サーバ装置は、例えば、ビルの一室にサーバルームなどを設置して配置されていたり、データセンタにビッグデータとして保管されたりしているものである。そして、通信ネットワーク(インターネット、ブロードバンドネットワーク、モバイルネットワーク等を含む)を介して携帯端末装置と接続されており、携帯端末装置からの視点情報を取得して、その取得した視点情報に対応した景観画像情報を、携帯端末装置に対して送信する。景観サーバ装置の構成は、図2に示すようなものであり、以下のとおりである。
<実施形態1 景観画像情報保持部>
【0040】
「景観画像情報保持部」0201は、位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて景観を示す画像である景観画像情報を保持する。ここで、保持される景観画像情報は、風景や街並み等の景観画像を位置情報とこれに関連付けられた旅行者や社会科見学者等の視線情報(視線方向情報と視線高情報を含む視線情報)とからなる視点情報毎に保存されている。また、すべての視点情報に応じた景観画像情報をサーバ内に保存することが難しい場合は、基本の景観画像モデルを作成し、視点情報を受けてシミュレーションにより瞬間的に作成するような方法でも良い。景観画像情報は文字通り景観の画像情報であるが、画像には、ビルの内部を透視する透視画像(コンピュータによる合成画像)や、地下街を透視する透視画像(コンピュータによる合成画像)、説明のための文字、記号、符号などを含んでよく、また音声、音楽、効果音、解説音声、におい、かおり、振動(携帯端末のバイブレーションを鳴動させる命令)を含むものであってもよい。説明として年表、現在位置を示す地図、現在位置を示す古地図、関連する遺物の写真、関連する文化遺産の写真などを含んでいてもよい。景観画像はコンピュータによって合成された画像でも実写画像でも構わない。視点情報に関連付けて景観を示す画像を保持する仕組みとしてはグーグルアース(登録商標)のような三次元位置情報と関連付けられた高精細衛星画像を用いることができる。これを利用すると衛星写真を利用してビルの正面も裏側も見ることができ視点情報と関連付けた景観画像を任意に取得可能である。また保持されている景観画像情報は現在の景観、過去の景観を含みうるが、現在の景観に関しては人が見につけているウェアラブルカメラや、自動車に搭載されているカメラなどから常時景観画像を位置情報(カーナビゲーションシステムなどから収集)と関連付けて収集し、常時アップデートするように構成することができる。従って収集される画像は年月日、朝、昼、晩、夜という具合に時間に関連付けて保持することができる。従って視点情報を取得する時間に応じて景観画像を携帯端末装置に返信することができる。
<実施形態1 視点情報取得部>
【0041】
「視点情報取得部」0202は、携帯端末装置0210から視点情報を取得する。視点情報は、上述したように位置情報とこれに関連付けられた視線情報からなっており、GPS信号や景観画像などから取得する位置情報や、この位置情報に関連付けられた旅行者等の視線方向と視点高さの情報を示す視点高情報を携帯端末装置から取得する。また、位置情報サービスシステムを利用し、景観サーバ装置0200が携帯端末装置0210の位置を検出し、視線方向と視点高情報を取得するような構成も考えられる。視点情報には、必ずしも視線方向と視点高情報が必須ではなく、視点高情報を選択的に採用しても良い。視点情報には、携帯端末装置のカメラで撮影されている風景画像、構内撮影画像、などが含まれていてもよい。この情報と景観サーバ装置に保持されている視点情報と関連付けられた景観画像とを照合し、視点情報を割り出す参考情報として利用できる。
<実施形態1 景観画像情報出力部>
【0042】
「景観画像情報出力部」0203は、取得した視点情報に関連付けられた景観画像情報を携帯端末装置0210に送信する。すなわち、この送信される景観画像情報は、旅行者や社会科見学者が実際に街に出て、その現実の位置から視線方向と視線の高さの景観画像である。
<実施形態1 携帯端末装置>
【0043】
本実施形態の携帯端末装置は、通信機能を有するタブレット、スマートフォン、メガネ型や腕時計型等のウェアラブル端末、VRヘッドマウントシステム等が含まれる。これらのタブレットにディスプレイが含まれるものから、図3に示すように、携帯端末装置から景観画像情報を外部出力し、各種ディスプレイに表示させる形態が考えられる。
図4に示すように、ディスプレイの種別としては、タブレット画面(図5参照)、スマホ画面(図6参照)、メガネ組込ディスプレイ、VRヘッドマウントディスプレイ(図7参照)、移動体窓ガラス(例えば、新幹線等の列車の窓ガラス表面に薄型のシートを貼ったり、窓ガラス面にヘッドアップディスプレイで表示するもの、自動車のフロントガラス以外のガラス面)、移動体内ディスプレイ(カーナビ等の表示装置(図8参照)や車のフロントガラス面に表示するヘッドアップディスプレイ等、自動車の後部座席で視聴可能なディスプレイ)、観光地の人力車の座席の前に取り付けるディスプレイ、自転車タクシーの客席から視聴可能なディスプレイ、望遠鏡型ディスプレイ、フレキブルシートディスプレイなどがある。また、通信機能を小型の装置で実現し、別体構成を採用し、通信部と表示部を分けて構成しても良い。
【0044】
視点情報の取得手段は、位置情報取得部0211と視線情報取得部0121により行う。
【0045】
図9に示すように、上述したようなディスプレイに各種センサーを取り付けて実現しても良く、また、旅行者や社会科見学者に各種センサーを身に着けたり、衣服類に各種センサーを組み込んでも良い。すなわち、視点情報の取得手段としては、図9に示すように、センサー付メガネ、センサー付タブレット端末、センサー付スマートフォン、センサー付スマートウォッチ、センサー付衣服類などが考えられる。
【0046】
また、図10に視点情報の取得方法の具体例を示す。すなわち、視線方向と位置情報と視点の高さの形態を示している。以下、携帯端末装置0210の各部の構成の説明において、関連する箇所で説明する。
<実施形態1 位置情報取得部>
【0047】
「位置情報取得部」0211は、携帯端末装置が現在存在している位置の情報である位置情報を取得する。位置情報取得部0211は、図10に示すように、経度、緯度の位置情報を取得する。具体的には、加速度センサー+ジャイロセンサーのセンサー、GPS信号、道路の路面タグ情報、景観画像などから取得することができる。また位置情報は街頭に設けられる監視カメラに連結されたシステムから取得することも可能である。これは監視カメラが顔の特徴からその人物割り出し、さらにその人物が所有している携帯端末をデータベースから抽出して識別し、その監視カメラの映像で把握できる位置を割り出して、識別された携帯端末装置に位置情報を送信する、というものである。このとき携帯端末装置が複数抽出される場合には、その監視カメラの領域をカバーしている携帯端末装置の基地局IDを利用してどの携帯端末装置がその人物に携帯されているか割り出すことで携帯端末装置を絞り込むことができる。本システムの利用登録情報を合わせてサーチすることでも携帯端末装置の特定が容易となる。
<実施形態1 視線情報取得部>
【0048】
「視線情報取得部」0212は、取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する。視線方向の取得は、図10に示すように、ジャイロセンサー、コンパス、景観画像などから取得することができる。また、視点高情報は、図10に示すように、携帯端末装置のユーザ入力による条件設定や、気圧情報、GPS信号、道路の路面タグ情報、景観画像などから取得することができる。視線情報はウェアラブルカメラから取得するようにしても良い。
<実施形態1 視点情報出力部>
【0049】
「視点情報出力部」0213は、取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する。ここで、景観サーバ装置0200と携帯端末装置0210とは、ネットワーク(インターネット、ブロードバンド、モバイルネットワークを含む)を介して接続されているので、無線通信により情報のやり取りが行われる。また、街中に無線WIFIのアクセスポイントがある場合は、無線WIFIアクセスポイント経由で景観サーバ装置0200に出力することができる。携帯電話網のモバイルネットワークを利用する場合は、3G対応の携帯端末装置やLTE対応の携帯端末装置であれば、直接通信を行うことができる。なお以上では視点情報は現実に携帯端末が存在している位置に基づいて取得したが、上空の空から眺める仮想の視点を設定するオプションを設けてもよい。この場合には、空中から景観画像の中に携帯端末の存在位置にたたずむユーザの仮想的な姿を含めた景観画像情報が景観サーバ装置から送信され、これを見ることができるように構成することが考えられる。
さらに携帯端末は自身が持っている物に限られず、ドローンのようなものであってもよい。ドローンに搭載されたカメラの目線が視点情報として取得されるように構成する。
<実施形態1 景観画像情報取得部>
【0050】
「景観画像情報取得部」0214は、出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する。ここで、携帯端末装置0210の景観画像取得インターフェース画面としては、図11に示すような各種選択メニューが挙げられる。例えば、「建物・ランドマーク・景観 解説」や「朝・昼・夜別」などの選択メニューがあり、携帯端末装置のユーザが「建物・ランドマーク・景観 解説」を選択すると、図1に示すような建物・ランドマーク・景観の解説(案内情報を含む)が景観画像情報とともに表示される。また、携帯端末装置のユーザが「朝・昼・夜別」の選択メニューを選択すると、一日の時間帯に応じた景観画像情報が表示されることになる。さらに天候として、「晴れ」「雨」「曇り」「降雪」「嵐」(景観サーバ装置中にこれらに応じて蓄積される)などを選択可能としてもよい。またこれらをスライドバーで選択可能とし、「晴れ」から「曇り」、「曇り」から「雨」、「雨」から「嵐」と連続的に変化するに選択可能とすることも考えられる(連続的な変化は景観サーバ装置内で自動生成する)。現地の天候情報をインターネットなどから取得し、これを景観サーバ装置に送信することで、景観サーバ装置からその天候に合わせた景観画像情報を取得し表示するように構成したり、逆の天候の様子を取得し表示するように構成したり、することも考えらえる。このような景観画像情報の中に景観の解説が含まれる構成をしている。選択メニューとして、「子どもモード」(子供用の解説がされる)を設定したり、選択メニューをダイヤル形式のようなものを採用しても良い。「子どもモード」を選択した場合は、「小学生」(小学生用の解説がされたり、視点高が小学生の平均的な視点高に設定される)、「中学生」(中学生用の解説がされたり、視点高が中学生の平均的な視点高に設定される)、「高校生」(高校生用の解説がされたり、視点高が高校生の平均的な視点高に設定される)、「大学生」(大学生向けの解説がされたり、視点高が大学生の平均的な視点高に設定される)などのプルダウンメニューを表示させたり、直接ユーザ自身が自分の身長を入力しても良い。携帯端末装置はその身長から視点の高さを自動的に計算させるようにしても良い。プルダウンメニューでワンタッチ入力を行った場合は、視点の高さに個人差があり、表示画面が見にくいようなケースでは、視点の高さを「+」プラスボタンや、「−」マイナスボタンで変更しても良い。
<実施形態1 景観画像情報出力部>
【0051】
「景観画像情報出力部」0215は、取得した景観画像情報を出力する。ここで、携帯端末装置0210がディスプレイを含む場合は、その携帯端末装置の表示画面に景観画像取得インターフェースの選択に対応して旅行者や社会科見学者の視点情報に合致した景観画像情報が表示される。また、携帯端末装置がディスプレイを含まない場合は、図3に示すように、携帯端末装置0310に接続されたディスプレイ0316に景観画像情報が表示される。出力先はこの他に、同画像を共有させたい他の携帯端末装置の内臓ディスプレイや、他のコンピュータに接続されているディスプレイであってもよい。また出力される景観画像情報は、同時にカメラにて撮影中の実際の景観画像と同時保存されるように構成してもよい。これは景観画像同時保存部などによって実行される。この場合、後日、自宅などのディスプレイに両画像を並べて表示し楽しむことが可能となる。これは動画であっても静止画であってもよい。なお、ディスプレイが視界を妨げる態様でなければ景観画像を出力できない形態の場合には、景観画像情報出力部は、位置情報の変化がある場合に歩行中であると判断して、出力しないように構成することも考えられる。さらに、景観サーバ装置が景観画像を持たないエリアに出た場合には景観サーバ装置からその旨の情報を受け取るように構成して、景観画像出力範囲外に出たことをアラームで知らせるように構成することが考えられる。
景観サーバ装置の景観画像の蓄積範囲が例えば歴史的な建造物とその周辺に限定されているような場合である。さらに景観サーバ装置の景観画像の蓄積範囲観が京都などの観光地に限定されている場合である。
<実施形態1 作用:ハードウェア的構成(景観サーバ装置)>
【0052】
図12に示すように、景観サーバ装置のコンピュータの構成は、CPU1201と、HDD、ROM等の不揮発性メモリ1202と、D−RAM等の主メモリ1203と、インターフェース1204とから構成されている。不揮発性メモリ1202には景観画像情報保持プログラムと視点情報取得プログラムと景観画像情報出力プログラム等のプログラムが格納されている。データとしては、位置情報、視線情報、視点情報、景観画像情報などがある。これらのプログラムやデータは、主メモリ1203の保持領域に読み込まれ、作業領域で実行される。また、インターフェース1204には、ネットワークインターフェース1205、ディスプレイインターフェース1206、ディスクインターフェース1207、キーボードインターフェース1208などがある。
<実施形態1 作用:ハードウェア的構成(携帯端末装置)>
【0053】
図13に示すように、携帯端末装置のコンピュータの構成は、CPU1301と、HDD、ROM等の不揮発性メモリ1302と、D−RAM等の主メモリ1303と、インターフェース1304とから構成されている。不揮発性メモリ1302には、位置情報取得プログラム、視線情報取得プログラム、視点情報取得プログラム、景観画像情報取得プログラム、景観画像情報出力プログラム等のプログラムが格納されている。データとしては、位置情報、視線方向情報、視点高情報、視線情報、視点情報、景観画像情報などがある。これらのプログラムやデータは、主メモリ1303の保持領域に読み込まれ、作業領域で実行される。また、インターフェース1304には、ネットワークインターフェース1305、位置情報インターフェース1306、視線入力インターフェース1307、高さ入力インターフェース1308、タッチ入力インターフェース1309、ソフトウェアキーボード入力インターフェース1310などがある。
<実施形態1 処理の流れ 景観サーバ装置>
【0054】
図14左図に示すように、このような景観サーバ装置のコンピュータの動作は、視点情報取得プログラムにより携帯端末装置から視点情報を取得する視点情報取得ステップを実行する(ステップ1401)。ここで、視点情報は、位置情報及びこれに関連付けられた視線情報とからなり、詳細は上述したので、説明を省略する。
【0055】
次に景観画像情報出力プログラムにより取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップを実行する(ステップ1402)。 携帯端末装置からの視点情報取得が終了するまで(ステップ1403)、上述した視点情報取得ステップ1401と景観画像情報出力ステップ1403を繰り返す。
<実施形態1 処理の流れ 携帯端末装置>
【0056】
図14右図に示すように、このような携帯端末装置のコンピュータの動作は、位置情報取得プログラムにより携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップを実行する(ステップ1411)。ここで、位置情報の取得については、上述したので、説明は省略する。
【0057】
次に視線情報取得プログラムにより取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップを実行する(ステップ1412)。ここで、視線情報には視線方向の情報だけでも良く、視線方向と視点高情報の両方を含んだものでも良い。
【0058】
次に視点情報出力プログラムにより取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップを実行する(ステップ1413)。ここで、視点情報の取得については、詳細は上述したので、説明を省略する。
次に景観画像情報取得プログラムにより出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップを実行する(ステップ1414)。
次に景観画像情報出力プログラムにより取得した景観画像情報を出力する景観画像情報出力ステップを実行する(ステップ1415)。そして、携帯端末装置の表示画面に上述したような景観画像取得インターフェースの選択に対応して旅行者や社会科見学者の視点情報に合致した景観画像情報が表示される。
処理ステップ1411〜1415までの処理を終了するまで(ステップ1416)、繰り返す。
【0059】
携帯端末装置がディスプレイを含まない場合は、図15に示すように、景観画像情報出力ステップ1515の後に、ディスプレイ表示ステップ1516を実行する。図3に示すように、携帯端末装置0310に接続されたディスプレイ0316に景観画像情報が表示される。その他の処理は、実施形態1の図14の処理と同様であるので、説明を省略する。
【0060】
このように、実施形態1によれば、実際に旅行者が観光地に出向いて、その旅行者の視点情報に応じた景観画像情報を付加情報とともに見ることができる。また、社会科見学などで街に出向いて所望の視点(例えば、子供)の視点の高さで景観情報を見ることができる。
<実施形態2>
<概要>
【0061】
本実施形態2は、図16に示すように、実施形態1のストリートビューワーシステムに加えて、過去の時期別景観画像情報を表示可能としたシステムである。図16の例では、西暦972年の景観画像情報を表示した例を示している。これらの過去の時期別景観情報は実際にデータベースとして存在している場合はリアルな過去の景観画像情報を景観サーバ装置に保持しており、その保持した景観画像情報を表示させる。かなり時代を遡って景観画像情報が存在しない場合は景観画像情報のコンテンツを作成して景観サーバ装置に保管する。景観サーバ装置への保管は時代別になっており、前述のグーグルアースのコンピュータ合成の三次元版が用意されている。前述のとおりコンピュータ合成の中を自在に視点移動できるように構成されており、任意の視点で景観画像を取得できるようにする。これらは歴史教材にも利用可能である。
<実施形態2 構成>
【0062】
図17に示すように、実施形態2のストリートビューワーシステムは、景観サーバ装置1700と、携帯端末装置1710と、からなるストリートビューワーシステムであって、景観サーバ装置1700は、景観画像情報保持部1701と、視点情報取得部1702と、景観画像情報出力部1704と、を有し、景観画像情報保持部1701が、時期別景観画像情報保持手段1704を有し、時期別景観画像情報出力手段1705を有するとともに、サーバ側時期情報取得部1706を有し、
携帯端末装置1710は、位置情報取得部1711と、視線情報取得部1712と、視点情報出力部1713と、景観画像情報取得部1714と、景観画像情報出力部1715を有し、携帯端末側時期情報取得部1716と、時期情報送信部1717と、を有し、景観画像情報取得部1714は、時期別景観画像情報取得手段1718を有する。
図17は実施形態2の携帯端末装置にディスプレイを含む構成を示しており、図18は実施形態2の携帯端末装置にディスプレイを含まない構成を示している。図18のディスプレイ1819以外は、図17の構成と同様であるので、説明を省略する。
<実施形態2 構成の説明>
<実施形態2 景観サーバ装置>
【0063】
本景観サーバ装置は、実施形態1の構成に加え、装置内には時期別景観画像情報を保持しており、携帯端末装置から時期情報を取得して、取得した視点情報に応じた時期別景観画像情報を出力する構成をしている。その他詳細は、実施形態1と同様であるので、詳細な説明は省略する。
以下、実施形態1と共通的な特徴は省略することとし、特徴的な構成について説明する。
<実施形態2 時代別景観画像情報保持手段>
【0064】
「時期別景観画像情報保持手段」1704は、景観画像情報保持部1701内に有し、過去の複数の時期別の景観画像情報である時期別景観画像情報を保持する。例えば、携帯端末装置において、携帯端末装置のユーザが、図11に示すような景観画像取得インターフェースで時期別というような選択メニューを選択した場合、「明治〜昭和」、「江戸後期」、「江戸中期」、「江戸初期」、「安土・桃山」、「室町」、「鎌倉」の時期が設定可能なように、複数の時期別の景観画像情報を保持している。現在、存在しない景観画像情報については、画像処理技術により景観画像情報を作成したり、コンピュータグラフィック画像が他のデータベースに保管されている場合はその画像を利用する。
【0065】
また位置情報に応じて典型的な景観画像構成要素が複数あらかじめ準備されており、準備されている景観画像構成要素を処理のルールで組み合わせて景観画像を作成し送信するように構成してもよい。例えば、位置情報と時期情報によって特定されるのが室町期の京都御所近傍であれば、典型的な貴族の屋敷を構成する景観画像構成要素や、御所の塀を構成する景観画像構成要素などを組み合わせて街並みを再現するのである。また位置情報と時期情報によって特定されるものが明治期の横浜港近辺であれば、洋館を構成する景観画像構成要素や、明治期の船舶を構成する景観画像構成要素を組み合わせて横浜の街内を制限し、景観画像として送信するのである。
【0066】
なお古い写真を蓄積する古写真蓄積部と、蓄積されている古写真から景観画像構成要素を作り出す景観画像構成要素作成部を有していてもよい。古写真から景観画像構成要素を作り出すためには古写真の建物部分などを画像認識する建物画像認識手段や、その認識された建物の面がどのような素材で構成されているか判断する建物面構成要素判断手段などからなっているとよい。そして判断された結果に基づいて景観画像構成要素をコンピュータグラフィックにて作り出すのである。
<実施形態2 サーバ側時期情報取得部>
【0067】
「サーバ側時期情報取得部」1706は、携帯端末装置から過去の時期を示す情報である時期情報を取得する。時期情報とは、「明治〜昭和」、「江戸後期」、「江戸中期」、「江戸初期」、「安土・桃山」、「室町」、「鎌倉」の歴史年代別の情報であったり、平成元年、平成10年、平成20年、平成25年などの年代であったり、1年ごと、2年ごと、何年何時何分等の細かい情報でも良い。ユーザによりこのような時期情報を携帯端末装置の選択メニューから選択されると、サーバ側時期情報取得部1706は、上述したような過去の時期情報をネットワーク経由で取得する。
<実施形態2 時代別景観画像情報出力手段>
【0068】
「時期別景観画像情報出力手段」1705は、景観画像情報出力部1703内に有し、取得した時期情報に対応する時期の時期別景観画像情報を携帯端末装置1710に出力する。時期別景観画像情報は、明治・大正時代などは静止画や動画の画像であったり、昭和の場合は動画像が残っていれば、リアル性を求めて動画像で構成する。また、江戸時代や安土・桃山時代などは、動画像は存在していないので、過去の絵画や資料などからディジタル画像の時代別景観画像を作成したり、アニメなどのコンテンツ動画を利用する。観光地によっては、歴史的に有名な偉人などのNHK大河ドラマの映像が残っているので、そのような映像を時代別景観画像情報として利用することができる。また、その街々でオリジナルな動画コンテンツを作成しても良い。本システムを社会科見学で利用する場合は、時代別景観画像はディジタル教材として利用できるように時代別景観画像情報と解説などを加えて構成する。
<実施形態2 携帯端末装置>
<実施形態2 携帯端末側時期情報取得部>
【0069】
「携帯端末側時期情報取得部」1716は、時期情報を取得する。ここで、時期情報は携帯端末装置のユーザによる選択メニューの選択や、年月日などの直接入力により行う。
図19に示すように、携帯端末装置の表示画面に景観画像取得インターフェース画面を表示させ、現在位置か録画位置かを選択し、時期設定画面で過去の年代を選択する。例えば、
「明治〜昭和」、「江戸後期」、「江戸中期」、「江戸初期」、「安土・桃山」、「室町」、「鎌倉」の歴史年代の時期時報を取得する。または、平成元年、平成10年、平成20年、平成25年などの年代であったり、1年ごと、2年ごと、何年何時何分等の細かい情報入力画面であっても良い。これらの時期情報は、ストリートビューワーシステムが旅行者や社会科見学者などの使用者によって適宜選択メニューは変更可能である。
ユーザにより「OKボタン」が選択されると、時期情報送信部1717から景観サーバ装置1700に送信される。選択を間違えた場合は「やりなおしボタン」を選択すると、最初から選択し直せる。上述した例では、選択メーニューによる選択例を示したが、音声入力インターフェースによりユーザの音声指示による選択方法でも良い。時期情報取得部は、インターフェイスとしてディスプレイ上にスライドバー(タッチパネルでスライドできるように構成してもよい)を表示してスライドバーで時期情報を連続的に変化させながら取得するように構成することも可能である。そのような場合には、スライドバーの動きに同期して異なる時代の景観画像情報を連続的に見ることができる。またスライドバーは歴史年表と合わせて表示されるように構成してもよい。つまり、帯状の歴史年表の年号を示す位置に隣接してスライドバーを表示し、タッチパネルで移動できるように構成すると便利である。そうすると例えば奈良の大仏の様子も時代に応じた修復の様子を連続的に見ることができる。
<実施形態2 時期情報送信部>
【0070】
「時期情報送信部」1717は、取得した時期情報を景観サーバ装置1700に送信する。ここで、携帯端末側時期情報取得部1716から取得した上述したような時期情報を図示しないネットワーク経由で景観サーバ装置1700に送信する。
<実施形態2 時期別景観画像情報取得手段>
【0071】
「時期別景観画像情報取得手段」1718は、景観画像情報取得部1714内に有し、送信した時期情報に応じた時期別景観画像情報を取得する。例えば、携帯端末装置の利用者が京都を旅行中にストリートビューワーシステムを使用したようなケースでは、京都の時代別の景観画像情報が表示されることになる。これは、京都に限らず、地域にあった景観画像情報を表示することにより、それぞれの観光地の旅行者やそこで生活する人にとって魅力を伝えることができる。
<実施形態2 作用:ハードウェア的構成(景観サーバ装置)>
【0072】
図20に示すように、景観サーバ装置のコンピュータの構成は、CPU2001と、HDD、ROM等の不揮発性メモリ2002と、D−RAM等の主メモリ2003と、インターフェース2004と、ネットワークインターフェース2005と、ディスプレイインターフェース2006と、ディスクインターフェース2007と、キーボードインターフェース2008とから構成されている。不揮発性メモリ2002には時期別景観画像情報保持サブプログラムとサーバ側時期情報取得プログラムと時期別景観画像情報出力サブプログラム等のプログラムが格納されている。データとしては、位置情報、視線情報、視点情報、景観画像情報、時期情報などがある。これらのプログラムやデータは、主メモリ2003の保持領域に読み込まれ、作業領域で実行される。その他のプログラムの構成は、実施形態1の図12の構成と同様であるので、説明を省略する。
<実施形態2 作用:ハードウェア的構成(携帯端末装置)>
【0073】
図21に示すように、携帯端末装置のコンピュータの構成は、CPU2101と、HDD、ROM等の不揮発性メモリ2102と、D−RAM等の主メモリ2103と、インターフェース2104と、ネットワークインターフェース2105と、位置情報インターフェース2106と、視線入力インターフェース2107と、高さ入力インターフェース2108と、タッチ入力インターフェース2109と、ソフトウェアキーボード入力インターフェース2110とから構成されている。不揮発性メモリ2102には、携帯端末側時期情報取得プログラム、時期情報送信プログラム、時期別景観画像情報取得プログラム等のプログラムが格納されている。データとしては、位置情報、視線方向情報、視点高情報、視線情報、視点情報、景観画像情報、時期情報などがある。これらのプログラムやデータは、主メモリ2103の保持領域に読み込まれ、作業領域で実行される。その他のプログラムの構成は、実施形態1の図13の構成と同様であるので、説明を省略する。
<実施形態2 処理の流れ 景観サーバ装置>
【0074】
図22左図に示すように、このような景観サーバ装置のコンピュータの動作は、視点情報取得プログラムにより携帯端末装置から視点情報を取得する視点情報取得ステップを実行する(ステップ2201)。ここで、視点情報は、位置情報及びこれに関連付けられた視線情報とからなり、詳細は上述したので、説明を省略する。
【0075】
次にサーバ側時期情報取得プログラムにより携帯端末装置から過去の時期を示す情報である時期情報を取得するサーバ側時期情報取得ステップを実行する(ステップ2202)。ここで、時期情報については、上述したので、説明を省略する。
【0076】
次に景観画像情報出力プログラムにより取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップを実行する(ステップ2203)。景観画像情報出力ステップ2203では、時期別景観画像情報出力サブプログラムにより取得した時期情報に対応する時期の時期別景観画像情報を携帯端末装置に出力する時期別景観画像情報出力ステップを実行する(ステップ2204)。
【0077】
携帯端末装置からの視点情報取得が終了するまで(ステップ2205)、上述した視点情報取得ステップ2201とサーバ側時期情報取得ステップ2202と景観画像情報出力ステップ2203と時期別景観画像情報出力サブステップ2204を繰り返す。
<実施形態2 処理の流れ 携帯端末装置>
【0078】
図22右図に示すように、このような携帯端末装置のコンピュータの動作は、位置情報取得プログラムにより上述したような位置情報の取得を行う位置情報取得ステップを実行する(ステップ2211)。
【0079】
次に視線情報取得プログラムにより取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップを実行する(ステップ2212)。ここで、視線情報には視線方向の情報だけでも良く、視線方向と視点高情報の両方を含んだものでも良い。
【0080】
次に視点情報出力プログラムにより取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップを実行する(ステップ2213)。ここで、視点情報の取得については、詳細は上述したので、説明を省略する。
【0081】
次に携帯端末側時期情報取得プログラムにより時期情報を取得する携帯端末側時期情報取得ステップを実行する(ステップ2214)。ここで、時期情報の取得については、上述したので、説明を省略する。
【0082】
時期情報送信プログラムにより取得した時期情報を景観サーバ装置に送信する時期情報送信ステップを実行する(ステップ2215)。
次に景観画像情報取得プログラムにより出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップを実行する(ステップ2216)。景観画像情報取得ステップ2216では、時期別景観画像情報取得プログラムにより送信した時期情報に応じた時期別景観画像情報を取得する時期別景観画像情報取得ステップを実行する(ステップ2217)。
【0083】
次に景観画像情報出力プログラムにより取得した景観画像情報を出力する景観画像情報出力ステップを実行する(ステップ2218)。そして、携帯端末装置の表示画面に上述したような景観画像取得インターフェースの選択に対応して旅行者や社会科見学者の視点情報に合致し、送信した時期情報に応じた時期別景観画像情報が表示される。
処理ステップ2211〜2218までの処理を終了するまで(ステップ2219)、繰り返す。
携帯端末装置がディスプレイを含まない場合は、図23に示すように、景観画像情報出力ステップ2318の後に、ディスプレイ表示ステップ2319を実行する。図18に示すように、携帯端末装置1810に接続されたディスプレイ1819に景観画像情報が表示される。
【0084】
このように、本実施形態2によれば、実施形態1に加え、過去の時期別景観画像情報を表示することにより、旅行者や社会科見学者にとって観光地や地域のさらなる魅力を伝えることができる。
<実施形態3>
<概要>
【0085】
本実施形態3は、実施形態1又は実施形態2のストリートビューワーシステムに加えて、歴史的な又は/季節的なイベントの景観情報であるイベント別景観画像情報を表示可能としたシステムである。歴史的なイベントの代表的な例としては、「本能寺の変」などが挙げられる。このような歴史的なイベントの景観画像情報は、視点情報とイベント識別情報とともに、景観サーバ装置にコンテンツを保管しておく。季節的なイベントの景観情報は定期的にデータ収集を行い、景観サーバ装置に保持しておく。歴史的なイベントの場合は、その歴史的な記念碑や城跡、昔存在していた建物などの視点情報(位置情報+視線情報)とともにイベントに関連した景観画像情報のコンテンツを景観サーバ装置に保管している。
<実施形態3 構成>
【0086】
図25に示すように、実施形態3のストリートビューワーシステムは、景観サーバ装置2500と、携帯端末装置2510と、からなるストリートビューワーシステムであって、景観サーバ装置2500は、景観画像情報保持部2501と、視点情報取得部2502と、景観画像情報出力部2504と、を有し、景観画像情報保持部2501が、イベント別景観画像情報保持手段2504を有し、イベント別景観画像情報出力手段2505を有するとともに、サーバ側イベント識別情報取得部2606を有し、
携帯端末装置2510は、位置情報取得部2511と、視線情報取得部2512と、視点情報出力部2513と、景観画像情報取得部2514と、景観画像情報出力部2515を有し、携帯端末側イベント識別情報取得部2516と、イベント識別情報送信部2517と、を有し、景観画像情報取得部2514は、イベント別景観画像情報取得手段2518を有する。
【0087】
図25は実施形態3の携帯端末装置にディスプレイを含む構成を示しており、図26は実施形態3の携帯端末装置にディスプレイを含まない構成を示している。図26のディスプレイ2619以外は、図25の構成と同様であるので、説明を省略する。
<実施形態3 構成の説明>
<実施形態3 景観サーバ装置>
【0088】
本景観サーバ装置は、実施形態1又は実施形態2の構成に加え、装置内にはイベント別景観画像情報を保持しており、携帯端末装置からイベント識別情報を取得して、取得した視点情報に応じたイベント別景観画像情報を出力する構成をしている。また、イベント別景観画像には付加的に文字、テキスト、音声情報なども保持する構成をしている。その他詳細は、実施形態1又は実施形態2と同様であるので、詳細な説明は省略する。
以下、実施形態1又は実施形態2と共通的な特徴は省略することとし、特徴的な構成について説明する。
<実施形態3 イベント別景観画像情報保持手段>
【0089】
「イベント別景観画像情報保持手段」2504は、景観画像情報保持部2501内に有し、歴史的な又は/及び季節的なイベントの景観画像情報であるイベント別景観画像情報を保持する。イベント別景観画像とは、携帯端末装置のユーザが現在存在する位置との関係で関連する景観画像を表示するものであり、ユーザが現在存在する位置との関係で関連しないものは含まない。イベント別景観画像情報は、あらかじめ歴史的なイベントや季節的なイベントのデータを収集し、静止画、動画などとともに、解説やナレーションの音声情報を付加して保管しておく。または必要に応じて他に関連する景観画像情報がインターネット上に存在する場合は、景観サーバ装置がインターネット上から探して保持しても良い。
<実施形態3 サーバ側イベント識別情報取得部>
【0090】
「サーバ側インターネット識別情報取得部」2506は、携帯端末装置からイベント識別情報を取得する。イベント識別情報とは、記念碑、城跡、古戦場跡などの歴史的なイベントの情報や、国際・国内イベント会場などの季節的なイベントの情報である。
ユーザにより、図11に示すような携帯端末装置の選択メニューから「イベントメニュー」が選択されると、サーバ側イベント識別報取得部2506は、上述したようなイベント識別情報をネットワーク経由で取得する。また、景観サーバ装置は旅行者が観光地に行って、その観光地と全く関係のないイベント識別情報を受け取ったときは、ユーザメッセージとして、エラー表示など携帯端末装置に送信する。
<実施形態3 イベント別景観画像情報出力手段>
【0091】
「イベント別景観画像情報出力手段」2505は、景観画像情報出力部2503内に有し、取得したイベント識別情報に対応したイベント別景観画像情報を携帯端末装置に出力する。イベント別景観画像情報としては、古戦場跡などの視点情報に関連づけられた景観画像情報が表示されたり、街中のデパートの位置情報に関連づけられた景観画像情報が表示される。歴史的なイベント別景観画像情報は、実際にそこを訪れた社会科見学者や旅行者に対して、表示されるので、そこの場所の記憶を鮮明にすることができる。旅行者や社会科見学者に対して強力にアピールできる情報ツールを実現できる。
<実施形態3 携帯端末装置>
<実施形態3 携帯端末側イベント識別情報取得部>
【0092】
「携帯端末側イベント識別情報取得部」2516は、イベント識別情報を取得する。ここで、イベント識別情報は携帯端末装置のユーザによる選択メニューの選択や、直接入力により行う。
図11に示すように、携帯端末装置の表示画面に景観画像取得インターフェース画面を表示させ、現在位置か録画位置かを選択し、「イベント」メニューを選択する。これらのイベント識別情報は、ストリートビューワーシステムが旅行者や社会科見学者などの使用者によって適宜選択メニューは変更可能である。
ユーザにより「イベントメニュー」が選択されると、イベント識別情報送信部2517から景観サーバ装置2500に送信される。上述した例では、選択メニューによる選択例を示したが、音声入力インターフェースによりユーザの音声指示による選択方法でも良い。
<実施形態3 イベント識別情報送信部>
【0093】
「イベント識別情報送信部」2517は、取得した時期情報を景観サーバ装置2500に送信する。ここで、携帯端末側イベント識別情報取得部2516から取得した上述したようなイベント識別時期情報を図示しないネットワーク経由で景観サーバ装置2500に送信する。
<実施形態3 イベント別景観画像情報取得手段>
【0094】
「イベント別景観画像情報取得手段」2518は、景観画像情報取得部2514内に有し、送信したイベント識別情報に応じたイベント別景観画像情報を取得する。例えば、旅行者が京都の本能寺を訪れ、本実施形態3のスマートビューワーシステムを利用し、本能寺の外で旅行者が携帯端末装置を向けると、「本能寺の変」の明智光秀軍の様子を示すイベント別景観画像情報として表示されたり、本能寺の中に入り、旅行者が携帯端末装置を見ると、織田信長と明智光秀軍との合戦の様子を示すイベント別景観画像が表示されたりする。イベント別景観画像情報は、携帯端末装置のユーザの位置によって表示する内容を変えたりすることができる。これは、「本能寺の変」に限らず、地域にあった景観画像情報を表示することにより、それぞれの観光地の旅行者やそこで生活する人にとって魅力を伝えることができる。
<実施形態3 作用:ハードウェア的構成(景観サーバ装置)>
【0095】
図27に示すように、景観サーバ装置のコンピュータの構成は、CPU2701と、HDD、ROM等の不揮発性メモリ2702と、D−RAM等の主メモリ2703と、インターフェース2704と、ネットワークインターフェース2705と、ディスプレイインターフェース2706と、ディスクインターフェース2707と、キーボードインターフェース2708とから構成されている。不揮発性メモリ2702にはイベント別景観画像情報保持サブプログラムとサーバ側イベント識別情報取得プログラムとイベント別景観画像情報出力サブプログラム等のプログラムが格納されている。データとしては、位置情報、視線情報、視点情報、景観画像情報、イベント識別情報などがある。これらのプログラムやデータは、主メモリ2703の保持領域に読み込まれ、作業領域で実行される。その他のプログラムの構成は、実施形態1の図12の構成と同様であるので、説明を省略する。
<実施形態3 作用:ハードウェア的構成(携帯端末装置)>
【0096】
図28に示すように、携帯端末装置のコンピュータの構成は、CPU2801と、HDD、ROM等の不揮発性メモリ2802と、D−RAM等の主メモリ2803と、インターフェース2804と、ネットワークインターフェース2805と、位置情報インターフェース2806と、視線入力インターフェース2807と、高さ入力インターフェース2808と、タッチ入力インターフェース2809と、ソフトウェアキーボード入力インターフェース2810とから構成されている。不揮発性メモリ2802には、携帯端末側イベント識別情報取得プログラム、イベント識別情報送信プログラム、イベント識別別景観画像情報取得プログラム等のプログラムが格納されている。データとしては、位置情報、視線方向情報、視点高情報、視線情報、視点情報、景観画像情報、イベント識別情報などがある。これらのプログラムやデータは、主メモリ2803の保持領域に読み込まれ、作業領域で実行される。その他のプログラムの構成は、実施形態1の図13の構成と同様であるので、説明を省略する。
<実施形態3 処理の流れ 景観サーバ装置>
【0097】
図29左図に示すように、このような景観サーバ装置のコンピュータの動作は、視点情報取得プログラムにより携帯端末装置から視点情報を取得する視点情報取得ステップを実行する(ステップ2901)。ここで、視点情報は、位置情報及びこれに関連付けられた視線情報とからなり、詳細は上述したので、説明を省略する。
【0098】
次にサーバ側イベント識別情報取得プログラムにより携帯端末装置からイベント識別情報を取得するサーバ側イベント識別情報取得ステップを実行する(ステップ2902)。ここで、イベント識別情報については、上述したので、説明を省略する。
【0099】
次に景観画像情報出力プログラムにより取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップを実行する(ステップ2903)。景観画像情報出力ステップ2903では、イベント時期別景観画像情報出力サブプログラムにより取得したイベント識別情報に対応するイベントのイベント別景観画像情報を携帯端末装置に出力するイベント別景観画像情報出力ステップを実行する(ステップ2904)。
【0100】
携帯端末装置からの視点情報取得及びイベント識別情報の取得が終了するまで(ステップ2905)、上述した視点情報取得ステップ2901とサーバ側イベント識別情報取得ステップ2902と景観画像情報出力ステップ2903とイベント別景観画像情報出力サブステップ2904を繰り返す。
<実施形態3 処理の流れ 携帯端末装置>
【0101】
図29右図に示すように、このような携帯端末装置のコンピュータの動作は、位置情報取得プログラムにより上述したような位置情報の取得を行う位置情報取得ステップを実行する(ステップ2911)。
【0102】
次に視線情報取得プログラムにより取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップを実行する(ステップ2912)。ここで、視線情報には視線方向の情報だけでも良く、視線方向と視点高情報の両方を含んだものでも良い。
【0103】
次に視点情報出力プログラムにより取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップを実行する(ステップ2913)。ここで、視点情報の取得については、詳細は上述したので、説明を省略する。
【0104】
次に携帯端末側イベント識別情報取得プログラムによりイベント識別情報を取得する携帯端末側イベント識別情報取得部ステップを実行する(ステップ2914)。ここで、イベント識別情報の取得については、上述したので、説明を省略する。
【0105】
次にイベント識別情報送信プログラムにより取得したイベント識別情報を景観サーバ装置に送信するイベント識別情報送信ステップを実行する(ステップ2915)。
次に景観画像情報取得プログラムにより出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップを実行する(ステップ2916)。景観画像情報取得ステップ2916では、イベント別景観画像情報取得プログラムにより送信したイベント識別情報に応じたイベント別景観画像情報を取得するイベント別景観画像情報取得ステップを実行する(ステップ2917)。
次に景観画像情報出力プログラムにより取得した景観画像情報を出力する景観画像情報出力ステップを実行する(ステップ2918)。そして、携帯端末装置の表示画面に上述したような景観画像取得インターフェースの選択に対応して旅行者や社会科見学者の視点情報に合致し、送信したイベント識別情報に応じたイベント別景観画像情報が表示される。
処理ステップ2911〜2918までの処理を終了するまで(ステップ2919)、繰り返す。
【0106】
携帯端末装置がディスプレイを含まない場合は、図30に示すように、景観画像情報出力ステップ3018に、ディスプレイ表示ステップ3019を実行する。図26に示すように、携帯端末装置2610に接続されたディスプレイ2619に景観画像情報が表示される。
【0107】
このように、本実施形態3によれば、実施形態1又は実施形態2に加え、イベントのイベント別景観画像情報を表示することにより、旅行者や社会科見学者にとって観光地や地域のさらなる魅力を伝えることができる。
<実施形態4>
<概要>
【0108】
本実施形態4は、実施形態1から実施形態3のいずれか一記載のスマートビューワーシステムに加え、携帯端末装置の使用形態を考慮して景観画像を見るユーザの姿勢にも対応したストリートビューワーシステムを実現している。
<実施形態4 構成>
【0109】
図31に示すように、実施形態4のストリートビューワーシステムは、景観サーバ装置3100と、携帯端末装置3110と、からなるストリートビューワーシステムであって、景観サーバ装置3100は、景観画像情報保持部3101と、視点情報取得部3102と、景観画像情報出力部3103と、を有し、携帯端末装置3110は、位置情報取得部3111と、視線情報取得部3112と、視点情報出力部3113と、景観画像情報取得部3114と、景観画像情報出力部3115を有する。
さらに、前記視線情報取得部3112は、視線方向センサー3120と、視線方向取得手段3121と、視線方向保持手段3122と、保持命令出力手段3123と、保持解消命令出力手段3124と、を有し、視線情報に含まれている視線方向は保持されている視線方向であるように構成されている。
以下では、実施形態1から実施形態3のいずれか一記載の共通の構成は説明を省略し、本実施形態4に特徴的な構成について説明する。
<実施形態4 構成の説明>
<実施形態4 景観サーバ装置>
【0110】
本実施形態4の景観サーバ装置は、実施形態1から実施形態3のいずれか一に記載の景観サーバ装置と同様であるので、説明を省略する。
<実施形態4 携帯端末装置>
【0111】
本実施形態4の携帯端末装置は、実施形態1から実施形態3の携帯端末装置に加え、視線情報取得部3112の機能に特徴を有している。以下、本実施形態4の携帯端末装置の特徴的な構成について説明する。
<実施形態4 視線方向センサー>
【0112】
「視線方向センサー」3120は、東西南北上下の向きを検出する。ここで、視線方向センサーの例としては、ディジタル電子コンパスなどが挙げられ、東西南北の向きと水平度を検出することによって上下の向きが検出される。このようなディジタル電子コンパスは携帯端末装置3110に内蔵されている。
<実施形態4 視線方向取得手段>
【0113】
「視線方向取得手段」3121は、視線方向センサー3120からの視線方向を連続的に取得する。携帯端末装置3110のユーザがその携帯端末装置をいろいろな向きで使用していた場合に視線方向を連続的に取得する。原則として連続で取得される視線方向の情報は、景観サーバ装置に対して連続的に視点情報に含めて送信される。位置情報や視点高情報も同様であり、連続的に視点情報が生成されて景観サーバ装置に連続的に送信される。従って、連続的に送信される視点情報に応じて景観サーバ装置からは連続的に景観画像情報を受信する。これが一つの動作パターンである。この動作は実施形態1から実施形態3のシステムでも同様である。一方、前述のとおり一般に視線方向は、携帯端末装置のカメラの撮像方向と同じであるので、景観画像を見るためには常時カメラをほしい景観に向けなければならず、肉眼からは携帯端末装置の影に隠れて実際の風景を見ることができなくなる。つまり、実際の景観と景観画像とを比較しながら観察することが困難となる。そこで、視線方向が例えば膝の上に置いたタブレット端末の画面を除くようなものであっても、景観サーバ装置から送信される景観画像を見ることができるような構成が望まれる。
以下にはこの問題の解決の構成を記述する。
<実施形態4 視線方向保持手段>
【0114】
「視線方向保持手段」3122は、連続して取得中の視線方向を保持命令の取得タイミングにてフィックスして保持する。携帯端末装置のユーザからの入力があると、保持命令出力手段3123から連続して取得した視線方向の保持命令が出され、その取得タイミングにてフィックスする。また時間をフィックスするモードの中には瞬間をフィックスするモードと、所定時間長をフィックスするモードがあってよい。前者は瞬間的な視線方向をフィックスし、後者は一定の時間、例えば10秒間の視線方向をフィックスする。後者の場合には、例えばタブレットのカメラを360度回転して、周囲全体の景観画像を10秒間で見ることができるように構成する。
<実施形態4 保持命令出力手段>
【0115】
「保持命令出力手段」3123は、視線方向保持手段3122にユーザからの入力に基づく保持命令を出力する。ここで、携帯端末装置の表示画面上に設けられた「保持ボタンアイコン」をユーザがタッチすることで、実現できる。また、この保持方法は、ユーザによるタッチ入力方法を用いたが、音声入力により保持する方法でも良い。このように視線情報に含まれている視線方向は保持されているので、ユーザは携帯端末装置の向きを気にすることなく、自由な姿勢で所望の景観画像を見ることができる。景観サーバ装置では保持命令出力手段によって出力され受信するフィックスされた視点情報を受信した場合には後述の保持解消命令に伴って保持が解消された旨が携帯端末装置から通知されない限り、フィックスされた時間の景観画像以外は送信しないようにする。余計な視線方向の景観画像を携帯端末装置が受信しなくても済むようにするためである。またフィックスされた時間が10秒間のような場合には10秒間の景観画像を繰り返し送信するように景観サーバ装置は構成される。10秒間とは視線の動きの時間長である。
<実施形態4 保持解消命令出力手段>
【0116】
「保持解消命令出力手段」3123は、視線方向保持手段3122に保持されている視線方向の保持をユーザからの入力に基づいて解消する。ここで、視線方向が保持されて固定(フィックス)状態を解消するには、「保持解消ボタンアイコン」をユーザがタッチすることで、元の通常表示状態に復帰できる。この場合も、ユーザがいる環境雑音の問題がなければ、音声入力により保持解消する方法でも良い。
<実施形態4 景観画像情報出力部>
【0117】
「景観画像情報出力部」3114は、取得した景観画像情報を出力する。ここで、携帯端末装置3110がディスプレイを含む場合は、その携帯端末装置の表示画面に景観画像取得インターフェースの選択に対応して旅行者や社会科見学者の視点情報に合致した景観画像情報が表示される。例えば10秒間のフィックスであれば、10秒間の景観画像が繰り返し表示されるように構成される。
<実施形態4 作用:ハードウェア的構成(景観サーバ装置)>
【0118】
実施形態4の景観サーバ装置のコンピュータのハードウェア構成は、実施形態1から実施形態3のいずれか一記載の景観サーバ装置と同様であるので、説明を省略する。
<実施形態4 作用:ハードウェア的構成(携帯端末装置)>
【0119】
図32に示すように、携帯端末装置のコンピュータの構成は、CPU3201と、HDD、ROM等の不揮発性メモリ3202と、D−RAM等の主メモリ3203と、インターフェース3204と、ネットワークインターフェース3205と、位置情報インターフェース3206と、視線入力インターフェース3207と、高さ入力インターフェース3208と、タッチ入力インターフェース3209と、ソフトウェアキーボード入力インターフェース3210とから構成されている。不揮発性メモリ3202には、視線方向センサーサブプログラム、視線方向取得サブプログラム、視線方向保持サブプログラム、保持命令出力サブプログラム、保持解消命令出力サブプログラム等のプログラムが格納されている。データとしては、位置情報、視線方向情報、視点高情報、視線情報、視点情報、景観画像情報などがある。これらのプログラムやデータは、主メモリ3203の保持領域に読み込まれ、作業領域で実行される。
<実施形態4 処理の流れ 景観サーバ装置>
【0120】
図33左図に示すように、このような景観サーバ装置のコンピュータの動作は、視点情報取得ステップ3301、景観画像情報出力ステップ3302の処理を実行する。
【0121】
携帯端末装置からの視点情報取得が終了するまで(ステップ3303)、上述した視点情報取得ステップ3301と景観画像情報出力ステップ3302を繰り返す。
<実施形態4 処理の流れ 携帯端末装置>
【0122】
図33右図に示すように、このような携帯端末装置の処理の流れは以下のとおりである。
【0123】
まず、位置情報取得ステップ3311で携帯端末装置の現在位置の位置情報を取得する。次に視線情報取得ステップ3312では、当初視線方向を連続的に取得していたところ、ユーザからの保持命令を受けてこれを視線方向保持手段に出力し、視線方向保持ステップが実行される。視線方向保持サブステップ3313は、ユーザの入力のタイミングで連続的に取得していた視線方向を瞬間的に時間を止めて保持し、又は所定時間長で保持するステップである。その後、視線高情報と合わせて視点情報を生成するサブステップ3314を経て、視点情報を景観サーバ装置に送信するステップ3315が実行される。この保持されている視線方向に基づいて生成された視点情報を受信した景観サーバ装置からの景観画像を受信するステップ3316を経て、ディスプレイ等に景観画像を表示するステップ3317を実行する。これによって、連続的に取得される視線方向でなくフィックスされた視線方向にも基づいた景観画像を視線方向の現在の向きを気にすることなく鑑賞することが可能となる。
<実施形態5A >
<実施形態5A 概要>
【0124】
本実施形態の携帯端末装置は、カメラとディスプレイを有し、視線方向センサーは、カメラを通じてディスプレイに映し出されている景観を見る視線を視線方向として取得する点に特徴がある。
<実施形態5A 構成>
【0125】
実施形態5Aの構成は、実施形態14の構成を基本としてカメラとディスプレイを加えたものである。実施形態14と共通の構成要件は、景観サーバ装置については、景観画像情報保持部と、視点情報取得部と、景観画像情報出力部と、であり、携帯端末装置については、位置情報取得部と、視線情報取得部と、視点情報出力部と、景観画像情報取得部と、景観画像情報出力部と、前記視線情報取得部に備えられた視線情報に含まれている視線方向は保持されている視線方向であるように構成する視線方向センサーと、視線方向取得手段と、視線方向保持手段と、保持命令出力手段と、保持解消命令出力手段と、であり、共通部分に関しては説明を省略する。
<実施形態5A 構成の説明>
<実施形態5A カメラの説明>
【0126】
「カメラ」は、携帯端末装置に備えられる。レンズは単数でも複数でも構わない。また固定焦点レンズでも可変焦点レンズでも構わない。カメラの撮像素子は個体撮像素子が一般的である。撮像速度の観点からCMOSのほうがなおよい。撮像素子によってとらえられる画像の中心法線方向を視線方向として処理するように構成される。つまり内蔵されている各種の視点関係機能は撮像素子の中心法線方向を検出するように構成される。
【0127】
カメラが複数のレンズを備えている場合には視線方向とするレンズを切換えることで視線方向を切換えるように構成することができる。また全天周カメラの場合には景観サーバ装置から全天周方向の景観画像が送信されてくるように構成することが考えられる。360度撮影が可能な全天球カメラの場合は景観サーバ装置から全天動画の景観画像が送信されるように構成しても良い。全天周カメラを2台使用して全天球カメラと同様な撮影ができるようなものでもよい。
【0128】
図35に示すように、キャップに備え付けたカメラの撮像中心を視線方向とするようなウェアラブルカメラ(携帯端末装置の一部)を利用する場合には、視線方向は(A)の状態でフィックスし(例えば音声、手元の操作手段などによって)、その後人が(B)のように下を向いたとしてもカメラの視線方向がフィックスされた状態を維持するように構成してもよい。そうすることで自分が見た景観の昔の景観画像を自然な姿勢でタブレットのディスプレイなどから視聴できる。
<実施形態5A ディスプレイ>
【0129】
「ディスプレイ」は、カメラによってとらえられた画像が映し出されたり、視線方向センサーによって得られる視線方向を含む視点情報によって景観サーバ装置から返信される景観画像が表示される。まず、ユーザは、カメラによってとらえられる現地の風景画像をディスプレイに表示し、その画角などを確認したうえでディスプレイに景観サーバ装置から送られてくる景観画像を表示するように利用する。
【0130】
ただし、ディスプレイは単数でなく複数であってもよいので一のディスプレイに現地風景を、他のディスプレイに景観画像を表示するように構成してもよい。
さらにディスプレイが一つの場合に切換ボタンによって景観画像と、実際の景観とが切換えられてもよい。また内蔵のディスプレイには景観画像が実際の景観を表示し、ブルートゥース(登録商標)などの近接無線で他のタブレット端末などの携帯端末装置に、景観サーバ装置からの景観画像を出力し、そちらで送信されてきた景観画像を視聴できるようにしてもよい。
【0131】
<その他の付随的要素>
「音声」について、景観サーバ装置からの景観画像は音声が付加されたものであってもよい。その風景にマッチする音をあらかじめ準備するのである。例えば寺の鐘の音、風の音、商人の呼び込みの声などである。例えば鐘の音である場合には、その景観画像中で鐘が存在している方向からその音が聞こえるように音響を構成するのが好ましい。マルチチャンネルスピーカーなどを利用して構成可能である。
<実施形態5B >
<実施形態5B 概要>
【0132】
本実施形態の携帯端末装置は、カメラは保持命令時撮影部を有し、保持命令出力手段の保持命令の出力に応じて、景観静止画を撮影する点に特徴がある。
<実施形態5B 構成>
【0133】
実施形態5Bの構成は、実施形態5Aの構成を基本としてカメラに保持命令撮影部を加えたものである。実施形態15と共通の構成要件は、景観サーバ装置については、景観画像情報保持部と、視点情報取得部と、景観画像情報出力部と、であり、携帯端末装置については、位置情報取得部と、視線情報取得部と、視点情報出力部と、景観画像情報取得部と、景観画像情報出力部と、前記視線情報取得部に備えられた視線情報に含まれている視線方向は保持されている視線方向であるように構成する視線方向センサーと、視線方向取得手段と、視線方向保持手段と、保持命令出力手段と、保持解消命令出力手段と、であり、共通部分に関しては説明を省略する。
<実施形態5B 構成の説明>
<実施形態5B 保持命令時撮影部>
「保持命令時撮影部」は、前記カメラ内に内蔵され、保持命令出力手段3123の保持命令の出力に応じて景観静止画を撮影する。保持命令時撮影部は、視線方向の保持状態において、静止画が撮影できる。なお、静止画には所定時間長の動画であってもよい。さらに静止画はフォーカスを複数に切り替えながら複数の静止画を撮影するように構成することもできる。手前の茶屋にフォーカスするのか、奥の山門にフォーカスするのか、異なるからである。このフォーカス情報は視点情報に含んで景観サーバ装置に送信されるのが好ましく景観サーバ装置ではフォーカス位置を加味したうえで景観画像を送信するように構成するとよい。フォーカス位置に応じて複数枚の景観画像を携帯端末装置に対して送信し、携帯端末装置では、フォーカス位置で関連付けて景観画像と静止画とを保持するように構成する。
<実施形態5C>
<実施形態5C 概要>
【0134】
本実施形態の携帯端末装置は、ユーザが操作可能なズームイン・ズームアウト機能を有するカメラに倍率取得部を有し、保持命令時撮影部での撮影時に景観静止画の倍率を取得して、ディスプレイに前記撮影された静止画と同倍率の景観画像を出力する点に特徴がある。
<実施形態5C 構成>
【0135】
実施形態5Cの構成は、実施形態5Bの構成を基本としてズームイン・ズームアウト機能するカメラに倍率取得部を加え、景観画像情報出力部に前記ディスプレイに前記撮影された静止画と同倍率の景観画像を出力する同倍率景観画像出力手段を加えたものである。実施形態16と共通の構成要件は、景観サーバ装置については、景観画像情報保持部と、視点情報取得部と、景観画像情報出力部と、であり、携帯端末装置については、位置情報取得部と、視線情報取得部と、視点情報出力部と、景観画像情報取得部と、景観画像情報出力部と、前記視線情報取得部に備えられた視線情報に含まれている視線方向は保持されている視線方向であるように構成する視線方向センサーと、視線方向取得手段と、視線方向保持手段と、保持命令出力手段と、保持解消命令出力手段と、ズームイン・ズームアウト機能を有するカメラに有する倍率取得部と、景観画像情報出力部に有する同倍率景観画像出力手段と、であり、共通部分に関しては説明を省略する。
<実施形態5C 構成の説明>
<実施形態5C カメラの説明>
「カメラ」は、ユーザが操作可能なズームイン・ズームアウト機能を有し、ユーザの操作により倍率撮影を行うことができるようになっている。
<実施形態5C 倍率取得部>
【0136】
「倍率取得部」は、保持命令時撮影部での撮影時の景観静止画の倍率を取得する。ユーザがカメラのズームイン・ズームアウト機能を利用して、携帯端末装置の視線方向を保持している場合において、保持命令時撮影部での撮影時の景観静止画の倍率を取得することができる。図34(A)に示すように、携帯端末装置の視線方向を保持している場合において、2倍ズーム撮影を行う例をしている。建物とその後ろに五重の塔の一部が撮影されたとすると、倍率取得部より倍率を取得し、ユーザの位置座標と景観画像中に映し出すべき対象物の位置座標及び対象物のサイズがあらかじめわかっているために、2倍ズームであれば、景観画像をどのような縮尺で携帯端末装置に映し出せばよいか計算で求めることができる。
<実施形態5C 同倍率景観画像出力手段>
「同倍率景観画像出力手段」は、景観画像情報出力部内に有し、前記ディスプレイに前記撮影された静止画と同倍率の景観画像を出力する。図34(B)に示すように、景観画像の座標位置と大きさがわかっているので、撮影された景観静止画と同じ倍率の、例えば図16に示すような西暦972年の過去の景観画像を出力する。
<実施形態5D>
<実施形態5D 概要>
【0137】
本実施形態の携帯端末装置は、前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを交互に出力可能な交互出力部を加え、前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを交互に出力する点に特徴がある。
<実施形態5D 構成>
【0138】
実施形態5Dの構成は、実施形態5Cの構成を基本として前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを交互に出力可能な交互出力部を加えたものである。
実施形態17と共通の構成要件は、景観サーバ装置については、景観画像情報保持部と、視点情報取得部と、景観画像情報出力部と、であり、携帯端末装置については、位置情報取得部と、視線情報取得部と、視点情報出力部と、景観画像情報取得部と、景観画像情報出力部と、前記視線情報取得部に備えられた視線情報に含まれている視線方向は保持されている視線方向であるように構成する視線方向センサーと、視線方向取得手段と、視線方向保持手段と、保持命令出力手段と、保持解消命令出力手段と、ズームイン・ズームアウト機能を有するカメラに有する倍率取得部と、景観画像情報出力部に有する同倍率景観画像出力手段と、であり、共通部分に関しては説明を省略する。
<実施形態5D 構成の説明>
【0139】
「交互出力部」は、前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを交互に出力する。これにより、景観静止画と景観画像と交互に比較しながら見ることができる。
<実施形態5E>
<実施形態5E 概要>
【0140】
本実施形態の携帯端末装置は、前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを重畳して出力可能な重畳出力部を加え、ディスプレイに撮影された景観静止画と同倍率の景観画像とを重畳して出力する点に特徴がある。
<実施形態5E 構成>
【0141】
実施形態5Eの構成は、実施形態5C又は5Dの構成を基本として前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを重畳して出力可能な重畳出力部を加えたものである。実施形態5C又は5Dと共通の構成要件は、景観サーバ装置については、景観画像情報保持部と、視点情報取得部と、景観画像情報出力部と、であり、携帯端末装置については、位置情報取得部と、視線情報取得部と、視点情報出力部と、景観画像情報取得部と、景観画像情報出力部と、前記視線情報取得部に備えられた視線情報に含まれている視線方向は保持されている視線方向であるように構成する視線方向センサーと、視線方向取得手段と、視線方向保持手段と、保持命令出力手段と、保持解消命令出力手段と、ズームイン・ズームアウト機能を有するカメラに有する倍率取得部と、景観画像情報出力部に有する同倍率景観画像出力手段と、交互出力部と、であり、共通部分に関しては説明を省略する。
<実施形態5E 構成の説明>
【0142】
「重畳出力部」は、前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを重畳して出力する。これにより、景観静止画と過去の景観画像がミックスされた形態でディスプレイに表示され、旅行者や社会科見学者にとって現在と過去を融合したような新たな体験を提供できる。
【0143】
このように、実施形態によれば、実際に旅行者が観光地に出向いて、その旅行者の視点情報に応じた景観画像情報を付加情報とともに見ることができる。また、社会科見学などで街に出向いて所望の視点(例えば、子供の視点)の高さで景観情報を見ることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】

【手続補正書】
【提出日】20171215
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項1
【補正方法】変更
【補正の内容】
【請求項1】
景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムであって、
景観サーバ装置は、
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて現在の景観と過去の景観を含みうる景観を示す画像である景観画像情報を保持する景観画像情報保持部と、
携帯端末装置から視点情報を取得する視点情報取得部と、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力部と、
を有し、
携帯端末装置は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得部と、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得部と、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力部と、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得部と、
取得した景観画像情報を出力する景観画像情報出力部と、
を有する
ストリートビューワーシステム。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項8
【補正方法】変更
【補正の内容】
【請求項8】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて現在の景観と過去の景観を含みうる景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、
景観サーバ装置の動作方法は、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を有し、
携帯端末装置の動作方法は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を有する
ストリートビューワーシステムの動作方法。
【手続補正3】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項9
【補正方法】変更
【補正の内容】
【請求項9】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて現在の景観と過去の景観を含みうる景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、
景観サーバ装置の動作プログラムは、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、をコンピュータである景観サーバ装置に読み取り実行可能に記録した景観サーバ装置の動作プログラムであり、
携帯端末装置の動作プログラムは、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
をコンピュータである携帯端末装置に読取り実行可能に記録した携帯端末装置のプログラムである
ストリートビューワーシステムの動作プログラム。
【手続補正4】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項20
【補正方法】変更
【補正の内容】
【請求項20】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて現在の景観と過去の景観を含みうる景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、
景観サーバ装置の動作方法は、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を有し、
携帯端末装置の動作方法は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を有し、
前記視線情報取得ステップは、
東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、
視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、
連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように構成される
ストリートビューワーシステムの動作方法。
【手続補正5】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項21
【補正方法】変更
【補正の内容】
【請求項21】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて現在の景観と過去の景観を含みうる景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、
計算機である景観サーバ装置の動作プログラムは、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を計算機である景観サーバ装置に読取り実行可能に記述され、
計算機である携帯端末装置の動作プログラムは、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を計算機である携帯端末装置に読取り実行可能に記述され、
携帯端末装置の動作プログラムの前記視線情報取得ステップは、
東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、
視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、
連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように処理される
ストリートビューワーシステムの動作プログラム。


【手続補正書】
【提出日】20180618
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムであって、
景観サーバ装置は、
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて収集された複数の現在の景観と、過去の景観とをコンピュータによって合成したものであり、かつ、天候毎の複数の過去の景観を示す画像である景観画像情報を保持する景観画像情報保持部と、
携帯端末装置から視点情報を取得する視点情報取得部と、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力部と、
を有し、
携帯端末装置は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得部と、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得部と、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力部と、
出力した視点情報に応じて景観サーバ装置から携帯端末装置の所在する現地の天候に合わせた過去の景観画像情報を取得する景観画像情報取得部と、
取得した景観画像情報を出力する景観画像情報出力部と、
を有するストリートビューワーシステム。
【請求項2】
景観サーバ装置は、
景観画像情報保持部が、過去の複数の時期別の景観画像情報である時期別景観画像情報を保持する時期別景観画像情報保持手段を有し、
景観画像情報出力部が、取得した時期情報に対応する時期の時期別景観画像情報を携帯端末装置に出力する時期別景観画像情報出力手段を有するとともに、
携帯端末装置から過去の時期を示す情報である時期情報を取得するサーバ側時期情報取得部を有し、
携帯端末装置は、
時期情報を取得する携帯端末側時期情報取得部と、
取得した時期情報を景観サーバに送信する時期情報送信部と、
を有し、
景観画像情報取得部は、送信した時期情報に応じた時期別景観画像情報を取得する時期別景観画像情報取得手段を有する
請求項1に記載のストリートビューワーシステム。
【請求項3】
景観サーバ装置は、
景観画像情報保持部が、歴史的な又は/及び季節的なイベントの景観画像情報であるイベント別景観画像情報を保持するイベント別景観画像情報保持手段を有し、
景観画像情報出力部が、取得したイベント識別情報に対応したイベント別景観画像情報を携帯端末装置に出力するイベント別景観画像情報出力手段を有するとともに、
携帯端末装置からイベント識別情報を取得するサーバ側イベント識別情報取得部を有し、
携帯端末装置は、
イベント識別情報を取得する携帯端末側イベント識別情報取得部と、
取得したイベント識別情報を景観サーバ装置に送信するイベント識別情報送信部と、
を有し、
景観画像情報取得部は、送信したイベント識別情報に応じたイベント別景観画像情報を取得するイベント別景観画像情報取得手段を有する
請求項1又は請求項2に記載のストリートビューワーシステム。
【請求項4】
携帯端末装置に換えて移動体搭載端末装置とした請求項1から請求項3のいずれか一に記載のストリートビューワーシステム。
【請求項5】
請求項1から請求項4のいずれか一に記載の景観サーバ装置。
【請求項6】
請求項1から請求項3のいずれか一に記載の携帯端末装置。
【請求項7】
請求項4に記載の移動体搭載端末装置。
【請求項8】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて収集された複数の現在の景観と、過去の景観とをコンピュータによって合成したものであり、かつ、天候毎の複数の過去の景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、
景観サーバ装置の動作方法は、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を有し、
携帯端末装置の動作方法は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から携帯端末装置の所在する現地の天候に合わせた過去の景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を有するストリートビューワーシステムの動作方法。
【請求項9】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて収集された複数の現在の景観と、過去の景観とをコンピュータによって合成したものであり、かつ、天候毎の複数の過去の景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、
景観サーバ装置の動作プログラムは、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、をコンピュータである景観サーバ装置に読み取り実行可能に記録した景観サーバ装置の動作プログラムであり、
携帯端末装置の動作プログラムは、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から携帯端末装置の所在する現地の天候に合わせた過去の景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
をコンピュータである携帯端末装置に読取り実行可能に記録した携帯端末装置のプログラムであるストリートビューワーシステムの動作プログラム。
【請求項10】
請求項8に記載の景観サーバ装置の動作方法。
【請求項11】
請求項8に記載の携帯端末装置の動作方法。
【請求項12】
請求項9に記載の景観サーバ装置の動作プログラム。
【請求項13】
請求項9に記載の携帯端末装置の動作プログラム。
【請求項14】
前記視線情報取得部は、
東西南北上下の向きを検出する視線方向センサーと、
視線方向センサーからの視線方向を連続的に取得する視線方向取得手段と、
連続して取得中の視線方向を保持命令の取得タイミングにてフィックスして保持する視線方向保持手段と、
視線方向保持手段にユーザからの入力に基づく保持命令を出力するための保持命令出力手段と、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力手段と、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように構成されている
請求項1から請求項3のいずれか一に記載のストリートビューワーシステム。
【請求項15】
前記携帯端末装置はカメラとディスプレイを有し、
前記視線方向センサーは、カメラを通してディスプレイに映し出されている景観を見る視線を視線方向として取得する請求項14に記載のストリートビューワーシステム。
【請求項16】
保持命令出力手段の保持命令の出力に応じて前記カメラは景観静止画を撮影する保持命令時撮影部と、
をさらに有する請求項15に記載のストリートビューワーシステム。
【請求項17】
前記カメラはユーザが操作可能なズームイン・ズームアウト機能を有し、
保持命令時撮影部での撮影時の景観静止画の倍率を取得する倍率取得部を有し、
景観画像情報出力部は、前記ディスプレイに前記撮影された静止画と同倍率の景観画像を出力する同倍率景観画像出力手段をさらに有する請求項16に記載のストリートビューワーシステム。
【請求項18】
前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを交互に出力可能な交互出力部をさらに有する請求項17に記載のストリートビューワーシステム。
【請求項19】
前記ディスプレイに撮影された景観静止画と同倍率の景観画像とを重畳して出力可能な重畳出力部をさらに有する請求項17又は請求項18に記載のストリートビューワーシステム。
【請求項20】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて収集された複数の現在の景観と、過去の景観とをコンピュータによって合成したものであり、かつ、天候毎の複数の過去の景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作方法であって、
景観サーバ装置の動作方法は、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を有し、
携帯端末装置の動作方法は、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から携帯端末装置の所在する現地の天候に合わせた過去の景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を有し、
前記視線情報取得ステップは、
東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、
視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、
連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように構成される
ストリートビューワーシステムの動作方法。
【請求項21】
位置情報及びこれに関連付けられた後記視線情報とからなる視点情報に関連付けて収集された複数の現在の景観と、過去の景観とをコンピュータによって合成したものであり、かつ、天候毎の複数の過去の景観を示す画像である景観画像情報を保持する景観サーバ装置と、携帯端末装置と、からなるストリートビューワーシステムの動作プログラムであって、
計算機である景観サーバ装置の動作プログラムは、
携帯端末装置から視点情報を取得する視点情報取得ステップと、
取得した視点情報に関連付けられた景観画像情報を携帯端末装置に送信する景観画像情報出力ステップと、
を計算機である景観サーバ装置に読取り実行可能に記述され、
計算機である携帯端末装置の動作プログラムは、
携帯端末装置が現在存在している位置の情報である位置情報を取得する位置情報取得ステップと、
取得した位置情報での視線方向又は/及び視点高情報を示す情報である視線情報を取得する視線情報取得ステップと、
取得した位置情報と視線情報とを関連付けた視点情報を景観サーバ装置に出力する視点情報出力ステップと、
出力した視点情報に応じて景観サーバ装置から携帯端末装置の所在する現地の天候に合わせた過去の景観画像情報を取得する景観画像情報取得ステップと、
取得した景観画像情報を出力する景観画像情報出力ステップと、
を計算機である携帯端末装置に読取り実行可能に記述され、
携帯端末装置の動作プログラムの前記視線情報取得ステップは、
東西南北上下の向きを連続的に検出する視線方向センサーサブステップと、
視線方向センサーサブステップにて検出される視線方向を連続的に取得する視線方向取得サブステップと、
連続して取得中の視線方向を視線方向保持手段にユーザからの入力に基づく保持命令の取得タイミングにてフィックスして保持する視線方向保持サブステップと、
視線方向保持手段に保持されている視線方向の保持をユーザからの入力に基づいて解消する保持解消命令出力サブステップと、を有し、
視線情報に含まれている視線方向は保持されている視線方向であるように処理される
ストリートビューワーシステムの動作プログラム。
【請求項22】
請求項21に記載の景観サーバ装置の動作プログラム。
【請求項23】
請求項21に記載の携帯端末装置の動作プログラム。
【国際調査報告】