(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO2021053789
(43)【国際公開日】20210325
【発行日】20210930
(54)【発明の名称】視程推定装置、視程推定方法、および、記録媒体
(51)【国際特許分類】
   G01C 3/00 20060101AFI20210903BHJP
【FI】
   !G01C3/00 110
【審査請求】有
【予備審査請求】未請求
【全頁数】27
【出願番号】2021513357
(21)【国際出願番号】JP2019036755
(22)【国際出願日】20190919
(11)【特許番号】6901647
(45)【特許公報発行日】20210714
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】595168749
【氏名又は名称】株式会社ウェザーニューズ
【住所又は居所】千葉県千葉市美浜区中瀬1丁目3番地 幕張テクノガーデン
(74)【代理人】
【識別番号】110000958
【氏名又は名称】特許業務法人 インテクト国際特許事務所
(74)【代理人】
【識別番号】100140763
【弁理士】
【氏名又は名称】平野 隆之
(72)【発明者】
【氏名】境野 英朋
【住所又は居所】千葉県千葉市美浜区中瀬一丁目3番地 株式会社ウェザーニューズ内
(72)【発明者】
【氏名】ドゥ グォドン
【住所又は居所】千葉県千葉市美浜区中瀬一丁目3番地 株式会社ウェザーニューズ内
【テーマコード(参考)】
2F112
【Fターム(参考)】
2F112AD10
2F112BA09
2F112CA12
2F112FA03
2F112FA21
2F112FA32
2F112FA45
(57)【要約】
特別の測定装置が不要で視程を推定できる視程推定装置等を提供する。
撮影手段Cにより屋外を撮影した画像を取得し(S1)、画像から環境光および光の透過マップを推定し、環境光および光の透過マップに基づき、画像を鮮鋭化した鮮鋭化画像を生成し(S2)、鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算し(S5)、物体の物理的スケールの奥行き方向の成分から物体の奥行き方向距離を計算し(S6)、透過マップと撮影手段からの距離との関係式を画像に適用して、大気の光減衰パラメータを計算し(S8、S20)、計算された光減衰パラメータを当てはめた関係式に基づき、奥行き方向距離から、視程を計算する(S8、S21)。
【特許請求の範囲】
【請求項1】
撮影手段により屋外を撮影した画像を取得する取得手段と、
前記画像から環境光および光の透過マップを推定する推定手段と、
前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段と、
前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算手段と、
前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算手段と、
前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段と、
前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段と、
を備えたことを特徴とする視程推定装置。
【請求項2】
請求項1に記載の視程推定装置において、
前記画像において、前記奥行き方向距離を計算するための物体が認識できない場合、前記撮影手段の設置の高さおよび撮影方向から、前記画像における前記奥行き方向距離を計算することを特徴とする視程推定装置。
【請求項3】
請求項1または請求項2に記載の視程推定装置において、
前記関係式が、指数関数の他に、正弦関数および余弦関数のうち少なくとも一方の関数の要素を含み、
前記光減衰パラメータが、前記光減衰パラメータ計算手段により計算された、前記正弦関数および余弦関数のうち少なくとも一方の関数の要素に対するパラメータを含むことを特徴とする視程推定装置。
【請求項4】
請求項1から請求項3のいずれか1項に記載の視程推定装置において、
前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値であって、所定の前記画像の領域における前記光透過の値と、前記奥行き方向距離から、視程を算出することを特徴とする視程推定装置。
【請求項5】
請求項1から請求項4のいずれか1項に記載の視程推定装置において、
前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値が所定値になる前記視程を計算することを特徴とする視程推定装置。
【請求項6】
請求項1から請求項5のいずれか1項に記載の視程推定装置において、
前記視程を視程レベルに変換する視程レベル手段を更に備えたことを特徴とする視程推定装置。
【請求項7】
取得手段が、撮影手段により屋外を撮影した画像を取得する取得ステップと、
推定手段が、前記画像から環境光および光の透過マップを推定する推定ステップと、
画像鮮鋭化手段が、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化ステップと、
物体スケール換算手段が、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算ステップと、
奥行方向距離計算手段が、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算ステップと、
光減衰パラメータ計算手段が、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算ステップと、
視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算ステップと、
を含むことを特徴とする視程推定方法。
【請求項8】
コンピュータを、
撮影手段により屋外を撮影した画像を取得する取得手段、
前記画像から環境光および光の透過マップを推定する推定手段、
前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段、
前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールから当該物体の物理的スケールを換算する物体スケール換算手段、
前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する物体奥行方向距離計算手段、
前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段、および、
前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段として機能させることを特徴とする視程推定装置用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理による視程推定装置、視程推定方法、および、記録媒体に関する。
【背景技術】
【0002】
霧、靄、雨、雪等による悪天候条件、曇、夜間での照度条件による視界不良が生じて、この視界不良を図る尺度として、視程が測定されている。例えば、特許文献1には、光源は近赤外線を測定対象空間に向けて照射し、分光カメラは偏光フィルタが装着され、測定対象空間の被測定物で偏光された近赤外線のうち、偏光フィルタの偏光角と同じ近赤外線を透過することで、当該被測定物の二次元画像を撮像し、画像解析装置で二次元画像情報に基づき測定対象空間の被測定物の異なる分光・偏光画像情報から相関等統計処理で高精度に測定対象空間の被測定物の種類を識別するとともに、量及び視程を算出する気象測定装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−86604号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記技術では、光源から近赤外線を照射し、その反射光により視程等を測定しているため、特別の測定装置が必要であり、特に多くの観測点に設置する場合、コストが増大していた。
【0005】
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、特別の測定装置が不要で視程を推定できる視程推定装置等を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、請求項1に記載の発明は、撮影手段により屋外を撮影した画像を取得する取得手段と、前記画像から環境光および光の透過マップを推定する推定手段と、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段と、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算手段と、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算手段と、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段と、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段と、を備えたことを特徴とする。
【0007】
また、請求項2に記載の発明は、請求項1に記載の視程推定装置において、前記画像において、前記奥行き方向距離を計算するための物体が認識できない場合、前記撮影手段の設置の高さおよび撮影方向から、前記画像における前記奥行き方向距離を計算することを特徴とする。
【0008】
また、請求項3に記載の発明は、請求項1または請求項2に記載の視程推定装置において、前記関係式が、指数関数の他に、正弦関数および余弦関数のうち少なくとも一方の関数の要素を含み、前記光減衰パラメータが、前記光減衰パラメータ計算手段により計算された、前記正弦関数および余弦関数のうち少なくとも一方の関数の要素に対するパラメータを含むことを特徴とする。
【0009】
また、請求項4に記載の発明は、請求項1から請求項3のいずれか1項に記載の視程推定装置において、前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値であって、所定の前記画像の領域における前記光透過の値と、前記奥行き方向距離から、視程を算出することを特徴とする。
【0010】
また、請求項5に記載の発明は、請求項1から請求項4のいずれか1項に記載の視程推定装置において、前記視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値が所定値になる前記視程を計算することを特徴とする。
【0011】
また、請求項6に記載の発明は、請求項1から請求項5のいずれか1項に記載の視程推定装置において、前記視程を視程レベルに変換する視程レベル手段を更に備えたことを特徴とする。
【0012】
また、請求項7に記載の発明は、取得手段が、撮影手段により屋外を撮影した画像を取得する取得ステップと、推定手段が、前記画像から環境光および光の透過マップを推定する推定ステップと、画像鮮鋭化手段が、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化ステップと、物体スケール換算手段が、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算ステップと、奥行方向距離計算手段が、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算ステップと、光減衰パラメータ計算手段が、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算ステップと、視程計算手段が、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算ステップと、を含むことを特徴とする。
【0013】
また、請求項8に記載の発明は、コンピュータを、撮影手段により屋外を撮影した画像を取得する取得手段、前記画像から環境光および光の透過マップを推定する推定手段、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールから当該物体の物理的スケールを換算する物体スケール換算手段、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する物体奥行方向距離計算手段、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段、および、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段として機能させることを特徴とする。
【発明の効果】
【0014】
本発明によれば、撮影手段により屋外を撮影した画像を取得し、画像を鮮鋭化した鮮鋭化画像を生成し、鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算し、物体の物理的スケールの奥行き方向の成分から奥行き方向距離を計算し、光の透過マップと撮影手段からの距離との関係式を画像に適用して、大気の光減衰パラメータを計算し、計算された光減衰パラメータを当てはめた関係式に基づき、奥行き方向距離から、視程を計算することにより、特別の測定装置が不要で、視程を推定できる。
【図面の簡単な説明】
【0015】
【図1】本発明の実施形態に係る視程推定システムの概要構成例を示す模式図である。
【図2】図1の情報処理サーバ装置の概要構成例を示すブロック図である。
【図3】図2の情報処理サーバ装置の画像データベースに記憶されたデータの一例を示す模式図である。
【図4】図2の情報処理サーバ装置の物体データベースに記憶されたデータの一例を示す模式図である。
【図5】図2の情報処理サーバ装置のカメラ情報データベースに記憶されたデータの一例を示す模式図である。
【図6】図1の端末装置の概要構成例を示すブロック図である。
【図7】視程を計算する画像処理の一例を示すフローチャートである。
【図8】カメラが撮影した画像の一例を示す模式図である。
【図9A】物体の部分画像領域の一例を示す模式図である。
【図9B】物体の部分画像領域の一例を示す模式図である。
【図9C】物体の部分画像領域の一例を示す模式図である。
【図10A】カメラが撮影した画像の一例を示す模式図である。
【図10B】奥行き方向距離の一例を示す模式図である。
【図10C】奥行き方向距離の一例を示す模式図である。
【図10D】奥行き方向距離の一例を示す模式図である。
【図11A】カメラが撮影した画像の一例を示す模式図である。
【図11B】カメラが撮影した画像の一例を示す模式図である。
【図12】カメラシステムモデルの一例を示す模式図である。
【図13A】画像と奥行き方向距離の一例を示す模式図である。
【図13B】画像と奥行き方向距離の一例を示す模式図である。
【図14】視程のレベルの一例を示す模式図である。
【図15】図7の画像鮮鋭化のサブルーチンを示すフローチャートである。
【図16】図7の視程の推定のサブルーチンを示すフローチャートである。
【図17A】視程の計算の一例を示す模式図である。
【図17B】視程の計算の一例を示す模式図である。
【図18】カメラシステムモデルの一例を示す模式図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、視程推定システムに対して本発明を適用した場合の実施形態である。
【0017】
[1.視程推定システムの構成および機能の概要]
【0018】
まず、本発明の一実施形態に係る視程推定システムの構成および概要機能について、図1を用いて説明する。
図1は、本発明の実施形態に係る視程推定システムの概要構成例を示す模式図である。
【0019】
図1に示すように、視程推定システム1は、道路等の各地点に設置されたカメラCからの画像データから各地点での視程等の気象情報を計算する情報処理サーバ装置10と、情報処理サーバ装置10から提供された視程等の気象情報を表示する端末装置20と、を備える。
【0020】
視程推定装置の一例である情報処理サーバ装置10と、各端末装置20とは、ネットワーク3を通して接続されている。撮影手段の一例であるカメラCは、道路等の屋外の気象状況を撮影する。カメラCは、無線局5を通した無線通信により、情報処理サーバ装置10と通信をする。また、ネットワーク3は、例えば、インターネット、専用通信回線(例えば、CATV(Community Antenna Television)回線)、移動体通信網(基地局等を含む)でもよい。
【0021】
情報処理サーバ装置10は、各種の気象情報を提供する会社のサーバ装置である。情報処理サーバ装置10は、高速道路、一般道、鉄道、空港等の交通機関の気象情報や、航路、港湾、海上等の気象情報を、端末装置20に提供する。例えば、気象情報の一例として、天気、気温、湿度、気圧、風向、風速、視界の程度を示す視程等の情報が挙げられる。
【0022】
また、情報処理サーバ装置10は、車両の渋滞、通行規制等の交通情報や、列車、飛行機等の運行状況、船舶の運航状況を提供してもよい。
【0023】
また、情報処理サーバ装置10は、各地点のカメラCからの画像データを画像解析して、視程等の気象に関する値を算出する。また、情報処理サーバ装置10は、カメラCからの画像データを画像解析して、路面の状態、滑走路の状態、海上の状態、交通量等を算出して提供してもよい。
【0024】
端末装置20は、気象情報を情報処理サーバ装置10から受信して、気象情報を表示する。
【0025】
カメラCは、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮影素子を有するカラーまたは白黒のデジタルカメラである。カメラCは、静止画、動画等を撮影する。カメラCは、車両、飛行機、列車等の移動体に搭載されたカメラでもよい。カメラCは、スマートフォン等の携帯端末に搭載されたカメラでもよい。
【0026】
各カメラCは、例えば、高速道路等の道路において、所定の間隔や、所定の位置に設置されている。道路脇にポールが設置され、所定の高さにカメラCが設置されている。カメラCは、例えば、道路の進行方向に向いている。道路の上方から撮影できるように、カメラCが設置されていればよい。
【0027】
[2.各情報処理サーバ装置の構成および機能]
(2.1 情報処理サーバ装置10の構成および機能)
次に、情報処理サーバ装置10の構成および機能について、図2から図5を用いて説明する。
【0028】
図2は、の情報処理サーバ装置10の概要構成例を示すブロック図である。図3は、情報処理サーバ装置10の画像データベースに記憶されたデータの一例を示す模式図である。図4は、情報処理サーバ装置10の物体データベースに記憶されたデータの一例を示す模式図である。図5は、情報処理サーバ装置のカメラ情報データベースに記憶されたデータの一例を示す模式図である。
【0029】
図2に示すように、コンピュータとして機能する情報処理サーバ装置10は、通信部11と、記憶部12と、表示部13と、操作部14と、入出力インターフェース部15と、制御部16と、を備えている。そして、制御部16と入出力インターフェース部15とは、システムバス17を介して接続されている。
【0030】
通信部11は、ネットワーク3に接続して、各カメラCおよび各端末装置20との通信状態を制御するようになっている。
【0031】
記憶部12は、例えば、ハードディスクドライブ、シリコンディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや気象情報等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク3を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【0032】
また、記憶部12には、画像データベース12a(以下「画像DB12a」とする。)、物体情報データベース12b(以下「物体情報DB12b」とする。)、機械学習データベース12c(以下「機械学習DB12c」とする。)、気象・交通情報データベース12d(以下「気象・交通DB12d」とする。)、カメラ情報データベース12e(以下「カメラ情報DB12eとする。)等が構築されている。
【0033】
画像DB12aには、各カメラCが撮影した画像データが記憶されている。図3に示すように、画像DB12aには、カメラCを特定するカメラIDに関連付けられて撮影した時刻、所定のフォーマット形式の画像データが記憶されている。
【0034】
なお、カメラCの位置情報は、記憶部12において、カメラIDに関連付けられて、別のデータベースに記憶されていてもよい。
【0035】
物体情報DB12bには、認識された物体の実スケールに関する情報の一例として、物体の種別毎に物体のサイズ情報が記憶されている。例えば、図4に示すように、物体情報DB12bには、物体の種別を特定する物体種別IDに関連付けられて、物体種別、物体のサイズ情報が記憶されている。物体のサイズ情報として、全長[m]×高さ[m]×幅「m」等が挙げられる。
【0036】
ここで、物体の種別の一例として、車両の場合、普通自動車、軽自動、バス、小型バス、大型トラック、中型トラック等の種別が挙げられる。物体の種別の一例として、航空機の場合、旅客機、セスナ機等の種別が挙げられる。物体の種別の一例として、建物等のランドマークの場合、小型ビル、中型ビル等の種別が挙げられる。各自動車メーカーの車種毎に、物体種別IDが設定されてもよい。
【0037】
機械学習DB12cには、AI(Artificial Intelligence)による分析に必要なデータが記憶されている。物体認識の機械学習の場合、物体認識用の学習済みのデータが記憶されている。例えば、教師データである物体の種別毎の画像によって、学習した物体認識用の学習済みのデータである。物体の種別には、物体種別IDが割り振られている。
【0038】
気象・交通DB12dには、気温、湿度、気圧、風向、風速、天気、水温、波浪、海流、潮流、気圧配置、衛星からの各種の画像データ等の気象データが記憶されている。これらの気象データは、各船舶、気象衛星、各国の気象機関、観測地点等から入手される。また、気象・交通DB12dには、現在、過去の気象データの他に、算出された予測の気象データも記憶されている。例えば、低気圧の予想経路や気圧の変化等が挙げられる。
【0039】
気象・交通DB12dには、車両の渋滞、通行規制等の交通情報や、列車、飛行機等の運行状況、船舶の運航状況の情報が記憶されている。また、気象・交通DB12dには、道路、鉄道、海図等を含む地図情報が記憶されている。地図情報には、船舶の場合、氷山の位置、海賊が出没する地域等の回避区域、排出量規制区域等の情報が含まれてもよい。
【0040】
カメラ情報DB12eには、各カメラCが設置されている位置等の情報が記憶されている。図5に示すように、画像DB12aには、カメラCを特定するカメラIDに関連付けられて、カメラCが設置されている場所の位置情報(例えば、経度および緯度)、設置地点におけるカメラCの高さ、カメラCの撮影方向等が記憶されている。カメラCの高さは、カメラCの撮影中心から設置面までの高さでも、カメラCを支えるポールの高さでもよい。カメラCの撮影方向は、例えば、方位角、仰角等で表現される。なお、カメラの向きが可変の場合、撮影時のカメラの撮影方向のデータが、画像DB12aに、記憶されてもよい。
【0041】
表示部13は、例えば、液晶表示素子または有機EL(Electro Luminescence)素子等によって構成されている。操作部14は、例えば、キーボードおよびマウス等によって構成されている。入出力インターフェース部15は、通信部11等と制御部16との間のインターフェース処理を行うようになっている。
【0042】
制御部16は、CPU(Central Processing Unit)16a、ROM(Read Only Memory)16b、RAM(Random Access Memory)16c等により構成されている。
【0043】
(2.2 端末装置20の構成および機能)
次に、端末装置20の構成および機能について、図6を用いて説明する。
図6は、端末装置20の概要構成の一例を示すブロック図である。
【0044】
図6に示すように、コンピュータとして機能する端末装置20は、通信部21と、記憶部22と、表示部23と、操作部24と、入出力インターフェース部25と、制御部26と、を備えている。そして、制御部26と入出力インターフェース部25とは、システムバス27を介して接続されている。なお、端末装置20は、情報処理サーバ装置10とほぼ同様の構成および機能を有するので、共通する部分の説明は省略する。
【0045】
通信部21は、ネットワーク3に接続して、情報処理サーバ装置10との通信状態を制御するようになっている。
【0046】
記憶部22は、情報処理サーバ装置10の記憶部12のように、例えば、ハードディスクドライブ、シリコンディスクドライブ等により構成されている。
【0047】
表示部23は、表示部13に対応し、操作部24は、操作部14に対応し、入出力インターフェース部25は、入出力インターフェース部15に対応する。また、制御部26は、制御部16に対応して、CPU26a、ROM26b、RAM26c等により構成されている。
【0048】
[3.視程推定システム1の動作]
次に、本発明の1実施形態に係る視程推定システム1の動作について、図を用いて説明する。
【0049】
(3.1 視程推定システム1の動作)
視程推定システム1の動作について、図7から図14を用いて説明する。
図7は、視程を計算する画像処理の一例を示すフローチャートである。図8は、カメラが撮影した画像の一例を示す模式図である。図9Aから図9Cは、物体の部分画像領域の一例を示す模式図である。図10Bから図10Dは、奥行き方向距離の一例を示す模式図である。図11Aおよび図11Bは、カメラが撮影した画像の一例を示す模式図である。図12は、カメラシステムモデルの一例を示す模式図である。図13Aおよび図13Bは、画像と奥行き方向距離の一例を示す模式図である。図14は、視程のレベルの一例を示す模式図である。
【0050】
図7に示すように、視程推定システム1は、画像データを取得し記憶する(ステップS1)。具体的には、情報処理サーバ装置10が、屋外に設置された各カメラCが撮影した画像を、各カメラCから取得する。更に具体的には、制御部16が、各カメラCから、各カメラCのカメラIDと共に画像データを受信する。画像データの中には、撮影時刻のデータが含まれてもよい。
【0051】
制御部16が、受信した画像データを、カメラIDに基づき画像DB12aに記憶する。
【0052】
情報処理サーバ装置10が、撮影手段により屋外を撮影した画像を取得する取得手段の一例として機能する。
【0053】
次に、視程推定システム1は、画像鮮鋭化処理を行う(ステップS2)。具体的には、情報処理サーバ装置10が、画像DB12aから画像を取得して、霧、靄、雨等により画像が鮮明でない場合、画像鮮鋭化処理を行う。さらに具体的には、制御部16が、取得した画像から環境光および光の透過マップを推定し、環境光および透過マップに基づき、画像を鮮鋭化した鮮鋭化画像を生成する。なお、霧と靄は同一気象現象であり、視程が霧の方が靄よりも近い距離である。詳細は、後述の画像鮮鋭化処理サブルーチンで説明する。
【0054】
ここで、霧、靄を除去するため、例えば、物理モデルを用いて画像鮮鋭化の処理を行う。物理モデルは、例えば、式(1)のモデルである。
I(x)=J(x)t(x)+A(1―t(x)) ・・・(1)
ここで、カメラCが撮影した霧等がかかった原画像I(x)、霧等がかかっていない鮮鋭化画像J(x)、環境光の強度A、光の透過マップt(x)である。光の透過マップは、光伝送マップ、光減衰関数、光伝達関数とも呼ばれる。また、ベクトルxは、画像内の2次元位置ベクトル(x,y)であり、例えば、I(x,y)、J(x,y)、t(x,y)である。
【0055】
この物理モデル(線形画像生成モデル、または、霧画像モデルとも呼ばれる)では、画像の輝度(I(x))については、2つの光路を仮定し、1つには,太陽や月などから画像上の物体に、霧や靄による光の減衰を伴ったもの(J(x)t(x))と、直接画像に入る光(A(1―t(x)))とがある。なお,本実施形態においては、図8に示すように、画像の左下を原点とする。ベクトルx=0は、画像の下部であり、通常のシーンでいえば、カメラCに最も近い部分に相当する。
【0056】
この透過マップt(x)については,画像内の位置に応じて、指数関数的に変化するものとする。
t(x)=exp(−beta × d(x)) ・・・(2)
ここで、カメラ視点から画像内の奥行き方向にかけての距離をd(x)とする。betaは光減衰の程度を調整するパラメータで、光減衰パラメータの一例である。光減衰パラメータは、エアロゾル等による光の減衰の程度を示す係数である。または、光減衰パラメータは、光の散乱係数でもよい。式(2)は、透過マップと撮影手段からの距離との関係式の一例である。
【0057】
透過マップt(x)は、画像内の霧の濃度に相当し、カメラCから遠く離れるほど、濃度が高くなり,手前の距離ほど、霧の濃度が低くなる。また、ベクトルxは、画像内の2次元位置ベクトル(x,y)であり、例えば、t(x,y)、d(x,y)である。
【0058】
なお、撮影された画像が、霧や靄がなく、画像が鮮明であれば、情報処理サーバ装置10は、画像鮮鋭化処理を行わず、次の物体認識の処理を行ってもよい。
【0059】
情報処理サーバ装置10が、前記画像から環境光および光の透過マップを推定する推定手段の一例として機能する。情報処理サーバ装置10が、前記環境光および前記透過マップに基づき、前記画像を鮮鋭化した鮮鋭化画像を生成する画像鮮鋭化手段の一例として機能する。
【0060】
次に、視程推定システム1は、物体を認識する(ステップS3)。具体的には、情報処理サーバ装置10の制御部16が、機械学習DB12cを参照して、機械学習の画像認識処理により、自動車、貨物自動車等の物体を認識して、物体の種別も判定する。例えば、図8に示すように、制御部16が、画像30において道路上の物体を認識し、各物体の物体種別IDを特定する。なお、図8において、認識された物体は、画像30において矩形の枠で示されている。画像30の大きさは、p×qピクセルである。例えば、機械学習の方法として、CNN(Convolution Neural Network)、Faster RCNN(Region Convolution Neural Network)、 SSD(Single Shot MultiBox Detector)等が挙げられる。
【0061】
物体を認識した場合(ステップS3;YES)、視程推定システム1は、画像における物体部分の大きさを計算する(ステップS4)。例えば、制御部16が、図9Aから図9Cに示すように、普通自動車の物体の部分画像領域30a、大型トラックの物体の部分画像領域30b、普通自動車の物体の部分画像領域30c等の各物体の部分画像領域を抽出する。制御部16が、部分画像領域30aにおいて、物体の高さha×幅wa×全長daを画素単位で測定する。制御部16が、部分画像領域30bにおいて、物体の高さhb×幅wb×全長dbを画素単位で測定する。制御部16が、部分画像領域30cにおいて、物体の高さhc×幅wc×全長dcを画素単位で測定する。例えば、制御部16が、部分画像領域30aからエッジを抽出し、直方体のモデルを当てはめ、物体の高さ×幅×全長を画素単位で測定する。なお、制御部16が各物体の向きも計算する。
【0062】
機械学習の画像処理により、制御部16が、物体の高さ×幅×全長を画素単位で計算したり、物体の向きを計算してもよい。画像における物体部分の大きさとして、制御部16が各部分画像領域のx方向、y方向のピクセルを算出してもよい。例えば、部分画像領域30aの大きさは、xa×yaピクセル、部分画像領域30bの大きさは、xb×ybピクセル、部分画像領域30cの大きさは、xc×ycピクセルである。また、高さ×幅に対応する物体の面が正面になるように、制御部16が、部分画像領域30a、30b、30cに対して、立体回転する画像処理を行った後、物体の高さhc×幅wc×全長dcを求めてもよい。
【0063】
なお、物体の向きが、カメラCの撮影方向とほぼ一致する場合、全長Da、Db、Dc等は、物体の物理的スケールの奥行き方向の成分の一例である。なお、制御部16が物体の向きと、カメラCの撮影方向との角度から、全長Da、高さHaまたは幅Wa等から、物体の物理的スケールの奥行き方向の成分を計算してもよい。
【0064】
次に、視程推定システム1は、物体の物理的スケールを計算する(ステップS5)。具体的には、制御部16が、特定された物体種別IDに基づき、物体情報DB12bを参照して、物体のサイズ情報として、全長[m]×高さ[m]×幅「m」を抽出する。
【0065】
情報処理サーバ装置10が、前記鮮鋭化画像から物体を認識して、当該認識された物体の実スケールに関する情報に基づき、当該物体の画素スケールを当該物体の物理的スケールに換算する物体スケール換算手段の一例として機能する。
【0066】
制御部16が、画素スケールと、物体の物理的スケールとの比率を計算する。制御部16が、図9Aに示すように、画素スケールの高さha×幅wa×全長daと、物理的スケールの高さHa×幅Wa×全長Da、すなわち、比率Ha/ha、比率Wa/wa、比率Da/daを計算する。この比率は、1画素当たりの物理的スケール[m]を表している。
【0067】
なお、比率Ha/haと、比率Wa/waと、比率Da/daとの平均値を、画素スケールと物体の物理的スケールとの比率としてもよい。また、制御部16が、平均する際、画像30中の物体の向きに基づき、補正した値を平均してもよい。補正として、部分画像領域における物体の高さ×幅×全長の各辺がカメラCの正面に向くように回転する補正でもよい。また、物体の全長が測定しにくい場合、高さ、幅の比率のみでもよい。画素スケールの高さha×幅waの代わりに、部分画像領域の大きさxa×yaでもよい。
【0068】
物体が複数の場合、制御部16が、複数の物体の画素スケールと物体の物理的スケールとの比率を計算してもよい。制御部16が、カメラCに近い方の物体に対して主に、画素スケールと物体の物理的スケールとの比率を計算してもよい。
【0069】
物体の正面または後面が、ほぼカメラCに向いている場合、比率Da/da、比率Db/db、比率Dc/dcは、画像30の所定のy方向の画素位置に対する1画素あたりの物理的スケール奥行き方向距離である。なお、1画素あたりの物理的スケール奥行き方向距離は、比率Da/daの代わりに、物体の幅方向が奥行きになるように、画像中の物体を回転変換して求めたwa’の比率Ha/wa’でもよい。ここで、奥行き方向距離は、画像30において、y方向の距離でもよいし、道路の面に沿った距離でもよいし、カメラCの視点からの距離でもよい。
【0070】
次に、視程推定システム1は、奥行き方向距離を推定する(ステップS6)。例えば、図10Aに示すように、制御部16が、部分画像領域30aの中心座標(xa0、ya0)および部分画像領域30cの中心座標(xc0、yc0)のような各物体の中心座標に基づき、画素スケールにおける各物体の奥行き方向距離(例えば、y1=yc0−ya0)を計算する。図10Bに示すように、制御部16が、ya0における比率Da/daと、yc0における比率Dc/dcとから、y=ya0からy=yc0までの、1画素あたりの物理的スケールの奥行き方向距離を加算して行って、図10Bに示すように、物体間の奥行き方向距離dy1を推定する。
【0071】
なお、図10Bに示すように、、制御部16が、比率Wa/waと比率Wc/wcとy1とから、物体の奥行き方向距離を計算してもよい。ここで、y=ya0からy=yc0において、比率Wa/waから比率Wc/wcへと比例的または所定の増加関数で、この比率が変わるとする。図10Cに示すように、物体が長い場合、物体の奥行き方向距離は、長さDbや長さdy3でもよい。
【0072】
また、図10Bにおいて、部分画像領域30aの物体および部分画像領域30cの物体において、物体の大きさを正規化して、物体と物体との間に相似倍則を考慮して、いくつの物体が詰まるか算出し、物体数×全長[m]により、制御部16が、奥行き方向距離を推定してもよい。
【0073】
また、図10Dに示すように、相似倍則による見かけ上の長さから、制御部16が、奥行き方向距離を推定してもよい。例えば、車両の横幅がほぼ一定として(奥行きの推定精度を数10mの誤差を許容した場合でも、比率Wa/waと比率Wc/wc等で正規化した場合)、奥行き方向は、道路の奥行き方向であるとして、車両正面の横幅の長さWa、Wcの大きさを選択し、制御部16が、見かけ横幅長として、Wa(例えば、2m)、Wc×wc/wa(例えば、1m)を計算する。
【0074】
次に、車両の全長を5m前後とし、制御部16が、奥行きを相似倍則により、奥行きを推定する。例えば、見かけ横幅長2m、見かけ横幅長1mの2つの車両間で、見かけ全長Da(例えば、5m)、および、見かけ全長Da’=Da×wa/wc(例えば、10m)から、視程を、例えば、5m+10m=15mと推定される。なお、物体が同じ物体種別IDでない場合、大きさを正規化する。例えば、制御部16が、waおよびwcの代わりに、比率Wa/waと比率Wc/wcの逆数を用いて計算してもよい。この場合、例えば、見かけ全長Dc’=Dc×wa/wc×Wc/Waとする。
【0075】
なお、AIを用いて画像処理により、3Dにモデル化して、各物体間の奥行き方向距離や、カメラCから各物体への奥行き方向距離を計算してもよい。
【0076】
情報処理サーバ装置10は、前記物体の物理的スケールの奥行き方向の成分から前記物体の奥行き方向距離を計算する奥行方向距離計算手段も一例として機能する。
【0077】
物体を認識できなかった場合(ステップS3;NO)、視程推定システム1は、カメラシステムモデルにより奥行き方向距離を計算する(ステップS7)。物体を認識できなかった場合とは、例えば、図11Aおよび図11Bに示すように、画像31、画像32の中に、車両等の物体が写っていない場合である。情報処理サーバ装置10は、下記の式(3)に従って、物理的スケールの奥行き方向距離を計算する。
【0078】
カメラシステムモデルにおける奥行き方向距離dvは、式(3)となる。
dv=1/(v−vh)×H×f/cos(theta)・・・(3)
【0079】
ここで、図12に示すように、カメラシステムモデルにおいて、カメラCのカメラ中心C0、カメラCを支えるポールの長さH(カメラCの設置点Sからカメラ中心C0まで)、ポールの傾きthetaである。画像31、32に対応するイメージ面Pは、カメラ中心C0から焦点距離fにあるとする。図12に示すように、奥行き方向距離dvは設置点Sからの水平距離であり、ベクトルvは、イメージ面Pにおいて、図11A、図11Bおよび図12に示すように、y=qを基点として、y=0の方向へのベクトルである。ベクトルvhは、画像における無限遠方に対応する画像点までの、y=qを基点とした、y=0の方向へのベクトルである。d0は、画像31、32のy=0に対応するイメージ面Pの点における奥行き距離である。ここで、長さHが、撮影手段の設置の高さの一例である。ポールの傾きthetaが、撮影手段の撮影方向の一例である。奥行き方向距離dvは、画像における奥行き方向距離の一例である。
【0080】
図13Aおよび図13Bに示すように、ベクトルvと奥行き方向距離dvとの関係は、画像31、32において、式(3)に示すように、ベクトルvがvhに近づくほど、奥行き方向距離dvが長くなり、vがy=0が近づくほど、奥行き方向距離dvが短くなる。
【0081】
次に、視程推定システム1は、視程を推定する(ステップS8)。情報処理サーバ装置10は、例えば、透過マップt(x)と距離との関係式(2)を、画像30(I(x))に適用して、光の減衰の程度を示す光減衰パラメータbetaを計算し、算出された光減衰パラメータbetaによる関係式(2)に基づき、奥行き方向距離から、視程を推定する。ここで、奥行き方向距離は、ステップS6で推定された距離や、ステプS7で計算された距離である。なお、詳細は、後述の視程の推定のサブルーチンで説明する。
【0082】
図14に示すように、情報処理サーバ装置10は、物理的スケールにおける推定された視程を、視程レベルで表現してもよい。例えば、視程レベルがレベル1であると、視程が10m以下で、前方がよく見えないので、道路の場合、交通規制を行うレベルである。視程レベルがレベル2であると、視程が10mから50mで、前方がかなり見えにくい状態で、車両の場合、速度規制が行われるレベルである。視程レベルが、レベル3であると、視程が50mから100mで、注意を喚起するレベルである。このように、視程をレベル分けにすることにより、視程推定の誤差を吸収でき、視程を表すことができる。なお、レベルの設定は、ユーザが任意に設定してよい。飛行場の場合、視程のレベルは、例えば、レベル1〜5で、視程100m単位でもよい。
【0083】
次に、視程推定システム1は、視程を出力する(ステップS9)。具体的には、情報処理サーバ装置10は、各カメラCの画像から推定した視程または視程のレベルの情報を、各カメラCの位置情報と共に、端末装置20へ送信する。
【0084】
端末装置20は、地図上に、位置情報に基づき、視程情報を、表示部23に表示する。なお、地図情報は、端末装置20の記憶部22から取得してもよいし、情報処理サーバ装置10等の外部から取得してもよい。
【0085】
なお、情報処理サーバ装置10が、画像30から霧等の不鮮明度を算出して、晴天の場合、上述の視程の計算を行わなくてもよい。例えば、画像の濃淡値(例えば、輝度)が100(0〜255段階)以上で、かつ、その偏差値が所定値以上の場合、制御部16が、晴天と判定する。なお、偏差値の所定値は、過去のデータを用いて、晴天か否かを分類した画像から、統計的に決定されてもよい。
【0086】
(3.2 画像鮮鋭化のサブルーチン)
次に、画像鮮鋭化のサブルーチンについて、図15を用いて説明する。
図15は、画像鮮鋭化のサブルーチンを示すフローチャートである。
【0087】
情報処理サーバ装置10は、式(1)に基づき、カメラCが撮影した画像I(x)から、鮮鋭化画像J(x)を、以下のように算出する。
【0088】
図15に示すように、情報処理サーバ装置10は、環境光の強度を決定する(ステップS10)。ここで、輝度が8ビット(0〜255)で表現されるカラー画像(例えば、RGB画像)で、自然画像の場合、画像はさまざまな明暗をもっている。一方、所定の画像領域(パッチ)においては、陰影や黒系物体などの存在により、輝度値が低い画素が存在する。なお、輝度の最小値は0である。太陽光が存在し、空が画像に存在する場合は、RGBチャネル、または、パッチ毎において、最も明るい画素の0.1%が、空に対応すると仮定する。制御部16は、画像I(x)内の該当箇所の画素から、環境光の強度Aを推定する。
【0089】
次に、情報処理サーバ装置10は、光の透過マップt(x)を推定する(ステップS11)。例えば、式(1)において、第1近似として、真の画像J(x)で、ダークチャネルの輝度が0とした場合、
I(x)=A(1―t(x)) ・・・(4)
を得る。ここで、I(x)は、ダークチャネルの成分Idark(x)を示している。この式(4)から、透過マップは、
t(x)=1−I(x)/A ・・・(5)
と変形できる。ただし、0<t(x)の値<1である。
【0090】
多くの場、霧画像の空領域は、カメラCから見て無限遠と考えられることから、この空領域では,t(x)の値は、ほぼ0になり、I≒A、すなわち、空画像Iは、環境光の強度Aと等しくなる。
【0091】
次に、情報処理サーバ装置10は、画像を鮮鋭化する(ステップS12)。例えば、鮮鋭化画像を取得するために、式(1)において、
J(x)=(I(x)−A)/t(x)+A ・・・(6)
となる。ここで、0除算を防ぐために、定数t0を与え、t(x)の代わりに、max(t(x),t0)により、式(6)の計算を行う。
【0092】
以上のようなHeのアルゴリズムの他に、Heのさまざまな改良手法、霧を除去する画像のコントラストを最大化する方法、メジアンフィルタを用いる方法、マルコフ確率場モデルによる方法等でもよく、画像が鮮鋭化されるならばよい。情報処理サーバ装置10は、AIを用いた画像処理により、霧を除去してもよい。
【0093】
(3.3 視程の推定のサブルーチン)
次に、視程の推定のサブルーチンについて、図16、図17Aおよび17Bを用いて説明する。
図16は、視程の推定のサブルーチンを示すフローチャートである。図17Aおよび図17Bは、視程の計算の一例を示す模式図である。
【0094】
図16に示すように、情報処理サーバ装置10は、光減衰パラメータを計算する(ステップS20)。具体的には、情報処理サーバ装置10は、透過マップt(x)とカメラCからの距離との関係式(2)を、I(x)である画像30に適用して、光減衰パラメータbetaを計算する。
【0095】
さらに具体的には、式(5)で、t(x)=1−I(x)/Aを得ているため、2次元の画素毎のt(x,y)は画像全体において濃淡値をもった光源減衰画像である。
【0096】
x=0((x,y)=(0,0))である画像の一番下(手前)から、x=MAX((x,y)=(p,q))である画像30の上部までの全画素においての和Sigmaとした場合、カメラCが撮影した画像I(x)と、奥行き方向距離d(x)の関数の式(2)の濃淡画像との差分の絶対値の和Eが最小となるように、未知数βを求めていく。
E=Sigma|I(x)―exp(−beta×d(x))|^2 > minimization ・・・(7)
この式(7)については、係数betaを未知数として、最小二乗法で求めることができる。例えば、必要条件として,Eのbetaによる一次偏微分が0である条件を課し、数値解法としてさまざまなものを適用することができ、最も簡易な最急降下法を適用して、係数betaおよびd(x)を求める。光減衰パラメータbetaが大きいほど、霧等の変化が奥行き方向距離に比べて、急激に変化していることを示している。なお、さまざまな画像に適用すると、0.1<beta<0.5であった。
【0097】
情報処理サーバ装置10は、前記透過マップと前記撮影手段からの距離との関係式を前記画像に適用して、光の減衰の程度を示す光減衰パラメータを計算する光減衰パラメータ計算手段も一例として機能する。
【0098】
次に、情報処理サーバ装置10は、光の透過マップの関係式(2)に基づき、物体から推定された奥行き方向距離、または、式(3)から計算された奥行き方向距離から視程を計算する(ステップS21)。具体的には、情報処理サーバ装置10は、算出された光減衰パラメータbetaによるexp(−beta×d(x))に基づき、ステップS6で推定した各物体の奥行き方向距離、または、ステップS7で計算された奥行き方向距離から、視程を計算する。ステップS6で推定した各物体の奥行き方向距離の場合、さらに具体的には、図17Aに示すように、制御部16が、所定の画像領域の一例である各物体の部分画像領域におけるI(x)等の霧等の濃さを示す値に対して、ステップS20で計算された光減衰パラメータbetaの値(例えば、beta1、beta2等)における関数exp(−beta×d(x))の濃度分布を当てはめる。なお、関数exp(−beta×d(x))の値や、その逆数等が、光減衰パラメータを当てはめた関係式に基づく光透過の値の一例である。また、図17Aにおいて、ステップS7で計算された奥行き方向距離の場合、横軸が式(2)の奥行き方向距離dvで、イメージ面Pにおいてベクトルvが示す画素の位置が、所定の画像領域に対応する。
【0099】
計算された光減衰パラメータを当てはめた関係式に基づく光透過の値が所定値になる視程の一例として、図17Aに示すように、制御部16が、関数値が所定の値になる距離(例えば、v1、v2)を視程とする。例えば、式(2)の右辺である関数exp(−beta×d(x))の関数値が、光減衰パラメータを当てはめた関係式に基づく光透過の値の一例である。関数exp(−beta×d(x))において、d(x)は、d1やd2の値でもよい。視程のレベルに応じて、閾値が複数設定されてもよい。
【0100】
式(2)の左辺の値である各物体の部分画像領域におけるI(x)等の霧等の濃さを示す値として、例えば、式(6)を変形した式(8)
t(x)=I(x)−A/(J(x)−A) ・・・(8)
から算出される。なお、ベクトルxが示す画素は、ステップS7で計算された奥行き方向距離の場合、イメージ面Pにおいてベクトルvに対応する画素である。
【0101】
また、t(x)の推定値は、画像30の鮮鋭化される前の画像におけるパッチ内で、RGBのいずれかの成分で計算される値でもよい。例えば、t(x)の推定値は、部分画像領域において、ある色成分におけるI/Aの最小値で、かつ、パッチ内おける最小値を、1から差し引いた値でもよい。
【0102】
なお、図17Bに示すように、カメラCにより近いd1を基準して、制御部16が濃度分布を当てはめてもよい。また、d1・d2間を、t(d1)、t(d2)で直線近似して、制御部16が視程を計算してもよい。
【0103】
光減衰関数であるt(x)が、手前から奥行きへ濃淡値分布をしていることから、その最大値、最小値を求めて、制御部16が、それぞれに物理的な距離(m単位)を割り当ててもよい。例えば、制御部16が、画像30の鮮鋭化される前の画像に対して、手前から奥行き方向について、横一ライン毎に、輝度を積算していき、全体の輝度の総和を求め、ノイズを考慮して、この積算値について、総和に対して10%を最小値として、90%を最大値としてもよい。
【0104】
このように、情報処理サーバ装置10は、前記計算された光減衰パラメータを当てはめた前記関係式に基づき、前記奥行き方向距離から、視程を計算する視程計算手段も一例として機能する。情報処理サーバ装置10は、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値であって、所定の前記画像の領域における前記光透過の値と、前記奥行き方向距離から、視程を計算する視程計算手段も一例として機能する。情報処理サーバ装置10は、前記計算された光減衰パラメータを当てはめた前記関係式に基づく光透過の値が所定値になる前記視程を計算する視程計算手段も一例として機能する。
【0105】
以上、本実施形態によれば、カメラCにより屋外を撮影した画像を取得し、画像を鮮鋭化した鮮鋭化画像を生成し、鮮鋭化画像から物体を抽出して、当該物体の画素スケールから当該物体の物理的スケールを換算し、物体の物理的スケールから物体の奥行き方向距離を計算し、光の透過マップt(x)とカメラCからの距離d(x)との関係式(2)を画像に適用して、大気の光減衰パラメータbetaを計算し、算出された光減衰パラメータbetaによる関係式(2)に基づき、奥行き方向距離から、視程を計算することにより、特別の測定装置が不要で、視程を推定できる。
【0106】
また、鮮鋭化画像から物体を抽出しているため、AIによる画像処理が適用しやすくなり、視程の精度が向上する。
【0107】
また、関係式(2)により計算されるd(x)は、あくまで画素単位であるが、物体の画素スケールから物体の物理的スケールを換算するテーブル(物体情報DB12d)により、メートル単位等の物理的にスケールが求まり、視程が計算できる。
【0108】
また、画像31、32において、奥行き方向距離を計算するための物体が認識できない場合、カメラCの設置の高さおよび撮影方向から、画像31、32における奥行き方向距離dvを計算する場合、道路等に車両が写っていない場合でも、視程が計算できる。
【0109】
また、計算された光減衰パラメータbetaを当てはめた関係式(2)に基づく光透過の値であって、所定の画像領域の一例である物体に対応する画像の領域における光透過の値と、物体の奥行き方向距離d(x)から、視程を算出する場合、画像に対して関係式を当てはめ、物体の奥行き方向距離d(x)に対応した視程を計算できる。
【0110】
また、計算された光減衰パラメータbetaを当てはめた関係式(2)に基づく光透過の値が所定値になる視程を算出する場合、所定値に対応した所定の視程を算出できる。
【0111】
また、視程を視程レベルに変換する場合、物理的距離の視程を推定する際の誤差を吸収でき、レベルにより安定して視程を表すことができる。
【0112】
(変形例)
また、図18に示すように、道路や滑走路が水平でない場合、情報処理サーバ装置10は、dvの値を、道路や滑走路の傾斜の度合いにより補正してもよい。例えば、道路が登り坂のとき、カメラCに道路が近づくため、dvの値が、道路の傾きに応じて短めに補正される。道路が下り坂のとき、カメラCが道路から離れるため、dvの値が、道路の傾きに応じて長めに補正される。なお、視程を視程レベルに変換される場合、dvの値を補正しなくても、dvの値の補正の範囲が、視程を視程レベルにより吸収される場合があるので、情報処理サーバ装置10は、道路等の傾きにより、式(3)のdvの値を補正しなくてもよい。
【0113】
次に、透過マップt(x)の変形例について説明する。式(8)の関係式は、式(2)の関係式の光の透過マップを拡張した式である。式(8)は、式(2)の指数の他に、正弦波、余弦波、線形の要素を示す各関数を加えた式である。
t(x)=alpha1 × exp(−beta1 × d(x))
+ alpha2 × sin(−beta2 × d(x))
+ alpha3 × cos(−beta3 × d(x))
+ alpha4 ×(beta4 × d(x))
・・・(9)
【0114】
ここで、重み係数alpha1からalpha4については、例えば、デフォルト1とする。重み係数alpha1からalpha4は、画像に応じて変えてもよい。光減衰パラメータの一例である係数beta1からbeta4は、それぞれ、指数関数の要素に対するパラメータbeta1、正弦関数の要素に対するパラメータbeta2、余弦関数の要素に対するパラメータbeta3、線形の要素に対するパラメータbeta4である。
【0115】
複数の光減衰パラメータbeta1からbeta4に関しては、カメラCが撮影した画像I(x)に対して、式(7)の関係式において、exp(−beta×d(x)の代わりに式(9)の透過マップt(x)を適用して、情報処理サーバ装置10が、係数beta1からbeta4を未知数として、最小二乗法で、各光減衰パラメータbeta1からbeta4を算出する。
【0116】
また、beta1からbeta4に関しては、カメラCが撮影した画像I(x)のヒストグラム分布(横軸0〜255輝度階調、縦軸、輝度値に対応する1枚の画像内の画素数)を求めて、このヒストグラム分布と式(9)に関して、最小二乗法により、情報処理サーバ装置10が、各光減衰パラメータbeta1からbeta4を算出してもよい。
【0117】
実際の霧の濃さは、時間と空間で時々刻々変化している特徴がある。一方で、従来からの単調減少する指数関数(式(2))は、霧の濃淡の均一分布を仮定したものである。そのため、霧の非均一性に反した分、精度が低下することが考えられる。しかし、式(9)に示すように、関係式が、指数関数の他に、正弦関数および余弦関数のうち少なくとも一方の関数の要素を含み、光減衰パラメータが、光減衰パラメータ計算手段により計算された、正弦関数および余弦関数のうち少なくとも一方の関数の要素に対するパラメータを含む場合、霧の濃淡が均一でなくても、より正確に視程を計算することができる。
【0118】
次に、画像鮮鋭化の変形例について説明する。
【0119】
濃霧が著しい画像の場合は、ステップS2の画像の鮮鋭化処理を一度施しただけでは、十分に、鮮鋭化ができない、視程が正確に計算できないといった問題が生じる。そのため、情報処理サーバ装置10は、1枚の画像しかない場合、ステップS2の画像の鮮鋭化処理を数回繰り返してもよい。例えば、情報処理サーバ装置10は、1回目の処理で、ステップS12において仮の鮮鋭化画像を得て、これを入力画像としてステップS10に戻すことを、数回繰り返す。
【0120】
また、情報処理サーバ装置10が、AIを用いた画像処理等により霧を除去する鮮鋭化処理を施して、第1光減衰パラメータ(式(9)のパラメータを含む)を式(7)により推定し、鮮鋭化処理された画像を入力画像としてステップS10に戻し、第2光減衰パラメータを式(7)により推定することを繰り返してもよい。第1光減衰パラメータと第2光減衰パラメータとから(例えば、第1光減衰パラメータと第2光減衰パラメータの平均値から)、ステップS21において、情報処理サーバ装置10が、視程を計算してもよい。
【0121】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【0122】
1:視程推定システム
10:情報処理サーバ装置(視程推定装置)
20:端末装置
30:画像
C:カメラ(撮影手段)
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【国際調査報告】