(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】2019527410
(43)【公表日】20190926
(54)【発明の名称】画像又はビデオ内の物体を隠す方法及び関連する拡張現実方法
(51)【国際特許分類】
   G06T 19/00 20110101AFI20190830BHJP
   H04N 5/232 20060101ALI20190830BHJP
   G02C 13/00 20060101ALI20190830BHJP
【FI】
   !G06T19/00 600
   !H04N5/232 290
   !G02C13/00
【審査請求】未請求
【予備審査請求】未請求
【全頁数】49
(21)【出願番号】2018569126
(86)(22)【出願日】20170629
(85)【翻訳文提出日】20190208
(86)【国際出願番号】FR2017051744
(87)【国際公開番号】WO2018002533
(87)【国際公開日】20180104
(31)【優先権主張番号】1656154
(32)【優先日】20160630
(33)【優先権主張国】FR
(31)【優先権主張番号】15/285,554
(32)【優先日】20161005
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】519001420
【氏名又は名称】フィッティングボックス
【住所又は居所】フランス国・31670・ラベージュ・ヴォワ ロクシタン・644・イムーブル アリゾナ−バティマン アー
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(72)【発明者】
【氏名】シュクルン,アリエル
【住所又は居所】フランス国・31400・トゥールーズ・ブールヴァール ドゥ ラ メディトゥラネ・25・レジダンス レ シクラード−バティマン・エー−アパルトマン
(72)【発明者】
【氏名】ゲナール,ジェローム
【住所又は居所】フランス国・89240・シュヴァンヌ・リュ ドゥ ラ ヴォ ドゥリエール・12
【テーマコード(参考)】
2H006
5B050
5C122
【Fターム(参考)】
2H006DA05
5B050AA03
5B050BA04
5B050BA06
5B050BA09
5B050BA12
5B050CA07
5B050DA04
5B050DA07
5B050EA07
5B050EA09
5B050EA10
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5C122EA47
5C122EA61
5C122FA18
5C122FH11
5C122FH14
5C122FH18
5C122FH21
5C122FK41
5C122HA29
5C122HA88
(57)【要約】
本発明は、個人が着用するのに適した物体を含む元の画像から最終画像を生成する方法を含む。前記方法は、
a)最初の画像において前記物体の存在を検出するステップ;
b)最初の画像の上に第1の層を重ねるステップであって、第1の層は、最初の画像内の物体を少なくとも部分的に覆うマスクを含む、ステップ;
c)マスクの少なくとも一部の外観を修正するステップ
を含む。
本発明は、特に、画像又はビデオ内の物体の全て又は一部を隠すことを可能にする。
本発明は、視覚デバイスを顔の上に着用している個人が使用することを意図する拡張現実方法、及び仮想物体の試着デバイスにも関する。
【選択図】図1
【特許請求の範囲】
【請求項1】
個人(120;520;820;920)が着用するのに適した物体(111)を含む元の画像(220)から最終画像(210)を生成する方法(300)において、前記方法(300)は、
a)前記最初の画像において前記物体の存在を検出するステップ(310);
a’)前記最初の画像上の前記物体を少なくとも部分的に覆うマスクを展開するステップ(360);
b)前記最初の画像の上に第1の層を重ねるステップであって、前記第1の層は、前記最初の画像内の前記物体を少なくとも部分的に覆う前記マスクを含む、ステップ;
c)前記マスクの少なくとも一部の外観を修正するステップ(370)
を含むことを特徴とする、方法。
【請求項2】
前記マスクの外観の修正は、前記最終画像内の前記物体の全て又は一部のテクスチャを置き替えるステップを含むことを特徴とする、請求項1に記載の画像生成方法。
【請求項3】
前記マスクの外観の修正は、前記物体の全て又は一部のテクスチャを決定するステップを含み、前記テクスチャは、前記最終画像内の前記物体の全て又は一部を隠すため、前記物体の背景内の要素を再現することを特徴とする、請求項1又は2に記載の画像生成方法。
【請求項4】
前記マスクは、前記物体によってかかる影の全て又は一部も覆うことを特徴とする、請求項1から3のいずれか一項に記載の画像生成方法。
【請求項5】
前記方法は、
d)前記第1の層を重ねた前記最初の画像の上に第2の層を重ねるステップ
も含み、前記第2の層は、前記マスクを少なくとも部分的に覆う要素を含むことを特徴とする、請求項1から4のいずれか一項に記載の画像生成方法。
【請求項6】
前記方法は、前記ステップb)の前に、
−前記最初の画像を取得する捕捉デバイスに対する前記物体の向きを決定するステップ;
−前記最初の画像内の前記物体の特徴的寸法を決定するステップ
も含むことを特徴とする、請求項1から5のいずれか一項に記載の画像生成方法。
【請求項7】
前記方法は、前記ステップb)の前に、
−前記物体の3次元モデルを展開するステップ;
−前記第1の層の上に前記3次元モデルを形状投影することによって、前記マスクを展開するステップ
も含み、前記モデルは、前記第1の層の上で前記物体と同じ向き及び同じ特徴的寸法を有することを特徴とする、請求項6に記載の画像生成方法。
【請求項8】
前記物体モデルの計算は、前記物体単独の少なくとも1つの画像からもたらすことを特徴とする、請求項7に記載の画像生成方法。
【請求項9】
前記物体は、個人の顔の上に着用することを特徴とする、請求項1から8のいずれか一項に記載の画像生成方法。
【請求項10】
前記物体モデルの計算は、個人の顔の上に着用した物体の少なくとも1つの画像を使用して行うことを特徴とする、請求項9に記載の画像生成方法。
【請求項11】
前記物体は、顔の両側に延在するフレーム、及び前記フレームに組み付けた少なくとも1つのレンズを備えることを特徴とする、請求項9又は10に記載の画像生成方法。
【請求項12】
前記方法は、事前にモデル化し、データベース内に保存したフレームから前記フレームを識別するステップも含み、前記マスクは、前記識別したフレームのモデルに基づき生成されていることを特徴とする、請求項11に記載の画像生成方法。
【請求項13】
前記フレームの識別は、前記フレームの外形に調節した支持曲線を生成することによってもたらすことを特徴とする、請求項12に記載の画像生成方法。
【請求項14】
前記フレームの識別は、以下の基準:
−前記フレームの形状;
−前記フレームの色(複数可);
−前記フレームのテクスチャ(複数可);
−前記フレーム上に示されるロゴ
の少なくとも1つに基づくことを特徴とする、請求項12又は13に記載の画像生成方法。
【請求項15】
前記方法は、前記物体の環境表現を計算するステップも含むことを特徴とする、請求項1から14のいずれか一項に記載の画像生成方法。
【請求項16】
前記マスクの外観を修正するステップは、
−中間層を前記第1の層の上に重ねた前記環境表現を形状投影するサブステップ;
−前記マスクの画素付近の前記中間層の少なくとも1つの画素の色に従って、前記マスクの画素の新たな色を決定するサブステップ
を含むことを特徴とする、請求項15に記載の画像生成方法。
【請求項17】
前記新たな色の決定は、「ポアソン画像編集」型画像編集方法を実施することを特徴とする、請求項16に記載の画像生成方法。
【請求項18】
前記方法は、前記環境内で顔の存在を検出するステップも含むこと、及び前記環境表現は、前記検出した顔のモデルを含み、前記顔モデルに、顔テクスチャを適用することを特徴とする、請求項15から17のいずれか一項に記載の画像生成方法。
【請求項19】
前記方法は、前記捕捉デバイスに対する顔の向きを決定するステップも含むこと、及び前記顔モデルは、本質的に、事前に確立した向きに従って配置することを特徴とする、請求項18に記載の画像生成方法。
【請求項20】
顔に着用した物体を少なくとも部分的に覆う前記マスクは、前記顔モデルの形状投影に基づき前記第1の層の上に展開することを特徴とする、請求項18又は19に記載の画像生成方法。
【請求項21】
前記方法は、
−個人の顔を照らす少なくとも1つの光源を分析するステップ;
−前記顔モデルの全て又は一部の色(複数可)を変換するステップ;
も含むことを特徴とする、請求項18から20のいずれか一項に記載の画像生成方法。
【請求項22】
前記顔テクスチャ上の画素の色は、前記画素付近のパッチの色に基づき、インペインティング方法を通じて決定することを特徴とする、請求項20又は21に記載の画像生成方法。
【請求項23】
前記パッチの位置は、本質的に、前記画素の直交面及び/又は垂直面上に位置することを特徴とする、請求項22に記載の画像生成方法。
【請求項24】
前記顔テクスチャ上の画素の色は、事前に確立した向きの顔モデルに基づき、インペインティング方法を通じて決定し、前記顔モデルは、目の表現を含むことを特徴とする、請求項21から23のいずれか一項に記載の画像生成方法。
【請求項25】
前記方法は、前記顔テクスチャ上に少なくとも1つの目領域を識別するステップも含み、前記目領域は、前記検出した顔の目の位置に対応することを特徴とする、請求項20から24のいずれか一項に記載の画像生成方法。
【請求項26】
前記目領域の充填は、前記検出した顔の目のトポロジ知識を通じて行うことを特徴とする、請求項25に記載の画像生成方法。
【請求項27】
個人の顔の上に着用した物体の環境表現に対する前記展開は、前記環境内での顔の検出を伴わずにもたらされることを特徴とする、請求項15から17のいずれか一項に記載の画像生成方法。
【請求項28】
環境表現の前記展開は、前記環境と前記最初の画像を取得する捕捉デバイスとの間に配置した透明要素によって生じる光学的歪みを修正するサブステップを含むことを特徴とする、請求項15から27のいずれか一項に記載の画像生成方法。
【請求項29】
前記方法は、ビデオを形成する画像シーケンスの全て又は一部に対し適用することを特徴とする、請求項1から28のいずれか一項に記載の画像生成方法。
【請求項30】
前記環境表現及び/又は前記物体モデルは、前記シーケンスの各画像において更新することを特徴とする、請求項29に記載の画像生成方法。
【請求項31】
前記環境表現及び/又は前記物体モデルは、複数の異なる視野角に従って取得した複数の最初の画像に基づき更新することを特徴とする、請求項15から30のいずれか一項に記載の画像生成方法。
【請求項32】
前記最終画像の生成は、前記最初の画像からリアルタイムでもたらされることを特徴とする、請求項1から31のいずれか一項に記載の画像生成方法。
【請求項33】
可搬デバイスを顔の上に着用している個人が使用することを意図する拡張現実方法において、前記方法は、
−前記視覚デバイスを顔の上に着用している個人のビデオをリアルタイムで取得するステップ;
−前記ビデオをリアルタイムで表示するステップ
含み、前記視覚デバイスの外観は、請求項1から32のいずれか一項に記載の画像生成方法によって完全又は部分的に修正されることを特徴とする、拡張現実方法。
【請求項34】
前記可搬デバイスは、リアルタイムで表示する前記ビデオにおいて、完全又は部分的に隠されることを特徴とする、請求項33に記載の拡張現実方法。
【請求項35】
個人が装着する前記可搬デバイスは、前記個人の視力に適合する矯正レンズを備えることを特徴とする、請求項33又は34に記載の拡張現実方法。
【請求項36】
前記可搬デバイスを装着する個人は、仮想物体を試着し、前記仮想物体は、前記ビデオにおいて、部分的又は全体的に隠される前記可搬デバイスに対し少なくとも部分的に重なることを特徴とする、請求項33から35のいずれか一項に記載の拡張現実方法。
【請求項37】
前記方法は、前記可搬デバイスを顔に着用していない個人の少なくとも1つの画像に基づき、前記個人の顔モデルを初期化するステップを含むことを特徴とする、請求項33から36のいずれか一項に記載の拡張現実方法。
【請求項38】
前記方法は、前記可搬デバイスを着用している個人の複数の画像に基づき、前記個人の顔モデルを初期化するステップを含み、前記画像は、異なる視野角の顔に対応することを特徴とする、請求項33から36のいずれか一項に記載の拡張現実方法。
【請求項39】
前記方法は、専用モデル化デバイス内で取得した前記可搬デバイスの少なくとも1つの画像に基づき、前記可搬デバイスのモデルを初期化するステップを含むことを特徴とする、請求項33から38のいずれか一項に記載の拡張現実方法。
【請求項40】
前記方法は、前記可搬デバイスを着用している個人の少なくとも1つの画像に基づき、前記可搬デバイスのモデルを初期化するステップを含むことを特徴とする、請求項33から38のいずれか一項に記載の拡張現実方法。
【請求項41】
視覚デバイス(111)を着用する個人(120;520;820;920)による仮想物体(110;510)の試着を可能にする拡張現実デバイス(100;500;800)であって、前記仮想物体は、前記視覚デバイスを少なくとも部分的に覆う、拡張現実デバイス(100;500;800)において、前記拡張現実デバイス(100;500;800)は、
−個人のビデオを捕捉する少なくとも1つのカメラ(532;832);
−捕捉した前記ビデオのための処理ユニット(134;534)であって、請求項3から32のいずれか一項に記載の画像生成方法を通じて、前記ビデオ画像の大部分又は全体において前記視覚デバイスを少なくとも部分的に隠す処理ユニット(134;534);
前記処理された個人のビデオを表示する少なくとも1つの画面(130;530;830)
を備えることを特徴とする、拡張現実デバイス(100;500;800)。
【請求項42】
前記画面は、垂直であること、及び前記カメラは、それに応じて前記画面の平面に固定することを特徴とする、請求項41に記載の拡張現実デバイス。
【請求項43】
前記拡張現実デバイスは、2つのカメラを備え、前記2つのカメラは、前記画面の縁部に対し平行に、30から50センチメートルの間に含まれる距離で離間することを特徴とする、請求項41又は42に記載の拡張現実デバイス。
【請求項44】
前記拡張現実デバイスは、本質的に前記2つの第1のカメラの間の中央軸上に置かれる第3のカメラを更に備えることを特徴とする、請求項43に記載の拡張現実デバイス。
【請求項45】
前記画面は、タッチ感応性であることを特徴とする、請求項41から44のいずれか一項に記載の拡張現実デバイス。
【請求項46】
前記捕捉し、修正したビデオの表示は、リアルタイムで行うことを特徴とする、請求項41から45のいずれか一項に記載の拡張現実デバイス。
【請求項47】
前記拡張現実デバイスは、前記視覚デバイスの3次元モデル捕捉デバイスを備えることを特徴とする、請求項41から46のいずれか一項に記載の拡張現実デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理及び画像合成の分野に関する。
【0002】
より詳細には、本発明は、画像又はビデオ内の物体を隠す方法に関する。
【0003】
本発明は、拡張現実の分野において、個人が現実の眼鏡を着用しているにもかかわらず、仮想眼鏡を試着しているという特定の用途を見出すものである。
【背景技術】
【0004】
矯正レンズを着用する個人にとって、新たな眼鏡を購入前に試着することは困難である。実際、試着する新たなフレームは、視力を矯正していないレンズを含むため、ユーザは、自分の視力障害の精度よりも遠くを見ることができない。したがって、例えば、平均的な近視のユーザの場合、ユーザは、自分を観察できるようにするため、鏡の20センチメートル以内に来なければならない。したがって、ユーザは、新たなフレームが自分に合っているか否か自分自身で評価することができない。このことは、明るさを大幅に低減させ、ユーザの視認性を更に低減するサングラス又は色付きレンズを試着する場合、より一層複雑である。
【0005】
当技術分野で公知であるのは、特に顔認識の状況において、画像内の眼鏡を隠す技法である。
【0006】
こうした技法は、特徴点を使用して目の位置を検出する顔認識に基づく。この検出は、眼鏡を着用している顔と何も着用していない顔との間の差を学習することと合わせ、眼鏡を着用している個人の画像から、眼鏡をかけていない個人の画像を再構成することを可能にする。
【0007】
この技法の主な欠点は、技法が、同一の視野角、通常は正面からの個人の画像から顔を統計的に再構成することである。この技法は、画像内の顔の2D野の内側のみを考慮して2次元で作用する。言い換えれば、顔の背景上に重なっている眼鏡の全ての要素は、この技法によっては考慮されず、画像が顔よりも広い眼鏡を含む場合、又は顔が画像内で前を向いていない場合、画像を損なう。
【0008】
この技法の別の主要な欠点は、この技法が、特に薄いフレームを有する眼鏡しか考慮しないため、厚いフレームを有する眼鏡の全てが除外されることである。
【0009】
同じく当技術分野で公知であるのは、個人が新たな眼鏡を試着する際、アバタにより自分自身を画面上で見ることを可能にする技法である。
【0010】
こうした技法は、眼鏡を着用していない個人の事前画像を取得することに基づく。これらの画像は、新たな眼鏡のモデルを追加した個人の頭部の仮想モデルの生成を可能にする。
【0011】
この技法の主要な欠点は、技法が、眼鏡着用者が新たな眼鏡を試着した際、鏡のように画面上に自分の画像を見ることができるという現実的な技法を達成しないことである。
【0012】
最後に、人が仮想眼鏡を試着することを可能にする拡張現実システムがある。
【0013】
現在、既存の拡張現実システムのいずれも、例えば眼鏡等の現実の物体を着用している1人又は複数の個人に対し、そのような物体を仮想的に取り除くことを可能にするものではない。
【発明の概要】
【発明が解決しようとする課題】
【0014】
本発明は、上記で挙げた従来技術の欠点の全て又は一部を改善することを目的とする。
【0015】
本発明の主な目的の1つは、現実の視覚デバイスを着用するユーザが、顔に留まる現実の視覚デバイスを画面上で取り替えることによって、現実の視覚デバイスを顔に付けていない自分自身を鏡のように画面上で見て、仮想物体を試着することを可能にする技法を提案することである。
【0016】
本発明の別の目的は、ユーザにとって現実的である技法を提案することである。
【0017】
本発明の別の目的は、リアルタイムに機能する技法を提案することである。
【0018】
本発明の別の目的は、ユーザが、仮想物体を試着する間、自分の頭部を任意の方向に動かすことを可能にする技法を提案することである。
【0019】
本発明の目的は、画像又はビデオにおいて、物体、特に眼鏡の見える部分を隠すだけではなく、眼鏡からのまぶしい光又はかかる影等、局所的な光の相互作用も隠す技法を提案することでもある。
【課題を解決するための手段】
【0020】
これら及び以下で明らかとなる他の目的は、本発明は、個人が着用するのに適した物体を含む元の画像から最終画像を生成する方法の使用により達成される。
【0021】
物体は、例えば、眼鏡等、顔に着用する視覚デバイス、又は仮想現実、複合現実若しくは拡張現実ヘルメット等、頭部に着用し、フレーム及び表示画面を備える可搬デバイスとすることができる。物体は、スカーフ、帽子、メーキャップ、宝飾品又はヘアスタイル等、個人の頭部に付けられるあらゆる他のアクセサリであってもよい。
【0022】
物体は現実のものであることを強調する。
【0023】
画像は、カメラ、写真装置又は深度カメラとすることができる画像捕捉デバイスを通じて取得する。当業者に周知である深度カメラは、カメラと、対象に対する距離を赤外線により測定する素子とを組み合わせたものである。画像は、単一画像であっても、ビデオとも呼ぶ画像シーケンス内に含まれていてもよい。
【0024】
本発明によれば、画像生成方法は、
a)最初の画像において前記物体の存在を検出するステップ;
a’)最初の画像上の物体を少なくとも部分的に覆うマスクを展開するステップ;
b)最初の画像上に第1の層を重ねるステップであって、第1の層は、最初の画像内の物体を少なくとも部分的に覆うマスクを含む、ステップ;
c)マスクの少なくとも一部の外観を修正するステップ
を含む。
【0025】
したがって、方法は、検出した物体を、態様を修正したマスクで覆うことによって、この物体の視覚態様の修正を可能にするものである。マスクは、最初の画像内の連続領域又は不連続領域を覆う画素から構成される。マスクは、物体の全体又は一部分を覆うことができる。眼鏡の例では、マスクは、単に、眼鏡のフレーム、フレーム及びレンズの一部、フレーム及びレンズの全体、又はレンズのみを覆うことができる。眼鏡の影もマスクによって覆うことができることを強調する。
【0026】
マスクの外観の修正は、マスクの画素の一部又は全体の色及び/又は不透明度の修正に対応する。
【0027】
本発明の特定の実施形態では、マスクの外観の修正は、最終画像内の物体の全て又は一部のテクスチャを置き替えるステップを含む。
【0028】
したがって、ユーザが、ある色の眼鏡を着用し、別の色の同じ眼鏡をかけている自分自身を見ることが可能である。物体テクスチャは、物体の外部態様の1つの表現である。テクスチャは、例えば、物体の色、様々な多孔質又は透明材料層の存在等、物体の組成に関係付けることができる。テクスチャは、例えば、光沢又は無光沢ワニス層の存在等、物体の仕上げの種類に関係付けることができる。
【0029】
本発明の特定の実装形態では、マスクの外観の修正は、物体の全て又は一部のテクスチャを決定するステップを含み、テクスチャは、最終画像内の物体の全て又は一部を隠すため、物体の背景要素を複製する。
【0030】
したがって、最初の画像内で検出した物体は、最終画像内で自動的に隠される。言い換えれば、最初の画像から最終画像を生成する方法は、画像内の物体を隠す方法である。
【0031】
本発明の特定の実装形態では、マスクは、物体によってかかる影の全て又は一部も覆う。
【0032】
したがって、マスクの外観の修正は、物体によってかかる影を見えなくすることも可能にする。例えば、眼鏡を着用している個人の顔にかかる前記眼鏡の影は、顔から消去することができるため、眼鏡を隠すことの現実性を強化する。
【0033】
本発明の特定の実施形態では、画像生成方法は、
d)第1の層を重ねた最初の画像の上に第2の層を重ねるステップ
も含み、第2の層は、マスクを少なくとも部分的に覆う要素を含む。
【0034】
したがって、第2の層内に含まれる要素は、例えば、眼鏡の片側を覆う頭髪又は物体の一部の前に置かれた手である。様々な層を重ねることにより、最終画像の現実性を保護することを可能にする。
【0035】
本発明の特定の実施形態では、画像生成方法は、ステップb)の前に、
−最初の画像を取得する捕捉デバイスに対する物体の向きを決定するステップ;
−最初の画像内の物体の特徴的寸法を決定するステップ
も含む。
【0036】
最初の画像のための捕捉デバイスは、写真センサ及び写真レンズを備え、現実の画像を、写真センサの感応性表面上に収束させることを可能にする。カメラは、少なくとも1つの収束レンズを備える。画像捕捉デバイスは、例えば、カメラ、写真装置又はウェブカムとすることができる。
【0037】
画像捕捉デバイスに対する物体の向きは、捕捉デバイスの基準フレーム内で物体が形成する角度に対応する。この基準フレームは、例えば、1つの軸が物体の光学軸と一致する正規直交フレームとすることができる。言い換えれば、向きを決定する物体は、画像シーケンスに対して追従する。物体の特徴的寸法は、例えば、眼鏡のフレームの幅とすることができる。
【0038】
本発明の特定の実装形態では、画像生成方法は、ステップb)の前に、
−物体の3次元モデルを展開するステップ;
−3次元モデルを第1の層上に形状投影することによって、マスクを展開するステップ
も含み、モデルは、第1の層上に、物体と同じ向き及び同じ特徴的寸法を有する。
【0039】
したがって、物体を表すモデルは、物体上に仮想的に重ねられる。
【0040】
物体モデルは、現実の物体の向き及び寸法に従って、歪曲し、平らになっている2次元画像を含み得ることを強調する。物体モデルは、厚さのある又は厚さのない3次元モデルであることもある。モデルの向き及び特徴的寸法は、物体モデルと現実の物体との間の類似度パラメータに対応する。3次元モデルの投影は、マスクをもたらす。マスクは、層の上のモデルの投影結果の全体又は一部を覆うことができる。マスクは、投影よりも広い画像領域を覆い得ることも強調する。
【0041】
本発明の特定の実施形態では、物体モデルの展開は、物体単独の少なくとも1つの画像からもたらす。
【0042】
物体モデルの生成は、例えば、物体を中に収容するボックスを備えるモデル化専用デバイス内で生成することができ、1つ又は複数の捕捉デバイスは、物体に合焦する。例えば眼鏡等の物体の4分の3の視野が、対称平面を表すという条件で、物体モデルの展開は、1つの画像で十分とすることができる。より一般的には、物体モデルの展開は、画像が2つの異なる角度下で物体を示す少なくとも2つの物体画像に基づき、もたらされる。
【0043】
本発明の特定の実装形態では、物体は、個人の顔の上に着用する。
【0044】
本発明の特定の実施形態では、物体モデルの展開は、個人の顔の上に着用した物体の少なくとも1つの画像を使用して行う。
【0045】
したがって、個人は、モデルを生成する間、自分の顔の上に物体を保持することができる。
【0046】
本発明の特定の実施形態では、物体は、顔の両側に延在するフレーム、及び前記フレームに組み付けた少なくとも1つのレンズを備える。
【0047】
したがって、物体は、例えば、眼鏡等の視覚デバイスとすることができる。
【0048】
本発明の特定の実施形態では、画像生成方法は、事前にモデル化し、データベース内に保存したフレームからフレームを識別するステップも含み、マスクは、識別したフレームのモデルに基づき展開する。
【0049】
したがって、第1の層の上に、事前にモデル化し、識別したフレームのモデルを投影することにより、フレームの現実のマスクを生成可能にする。マスクは、第1の層の上へのフレームの投影の全て又は一部を含み得ることを強調する。フレーム内に組み付けたレンズ、又はかかる影に対応する画像領域もマスクに追加することができる。データベースは、フレーム・モデルを保存し得ること、及びフレームは、データベース内に保存したフレームの中で識別されることを強調する。
【0050】
識別は、本方法によって自動的に、又は個人が手作業で行うことができる。手作業の識別は、例えば、眼鏡フレームの内側に製造業者が記載した情報を通じて行うことができる。
【0051】
本発明の特定の実施形態では、フレームの識別は、フレームの外形に調節した支持曲線を生成することによってもたらされる。
【0052】
本発明の特定の実施形態では、フレームの識別は、以下の基準:
−フレームの形状;
−フレームの色(複数可);
−フレームのテクスチャ(複数可);
−フレーム上に示されるロゴ
の少なくとも1つに基づく。
【0053】
本発明の特定の実施形態では、画像生成方法は、物体の環境表現を展開するステップも含む。
【0054】
環境は、画像内で物体を取り囲む要素の全て、及び画像内の物体の背景内の要素を含む。表現は、画像及び/又は3次元モデルの形態とすることができる。例えば、顔に着用した眼鏡の場合、環境表現は、眼鏡を着用している顔モデル及び/又は顔の背景に対応する画像を備えることができる。
【0055】
本発明の特定の実施形態では、マスクの外観を修正するステップは、
−中間層を第1の層の上に重ねた環境表現を形状投影するサブステップ;
−マスクの画素付近の中間層の少なくとも1つの画素の色に従って、マスクの画素の新たな色を決定するサブステップ
を含む。
【0056】
したがって、マスクの外観の修正は、最終画像において物体を隠すことを可能にする。環境表現を中間層の上に形状投影することにより、物体のマスクが上に重ねられている画像を生成可能にする。背景画像及び3次元モデルを含む表現の場合、3次元モデルを中間層の上に形状投影すると、背景画像の上に重ねられている画像をもたらす。したがって、中間層は、物体のマスクが上に重ねられている2次元の環境表現を示す。
【0057】
3次元モデルはテクスチャをもつことを強調する。
【0058】
本発明の特定の実施形態では、新たな色の決定は、「ポアソン画像編集」型画像編集方法を実施する。
【0059】
したがって、マスクに適用するテクスチャは、最初の画像に従って比色調節され、最初の画像に溶け込むようにする。特に、マスクの縁部は、最終画像ではもはや見えず、マスクは、この最終画像ではもはや区別することができない。例えば、文献「Poisson Image Editing」、P.Perez及びM.Gangnet著に記載のこの画像編集技法は、ポアソン方程式を解くものである。
【0060】
本発明の特定の実施形態では、画像生成方法は、環境における顔の存在を検出するステップも含み、環境表現は、検出した顔モデルを含み、顔モデルに対し、顔テクスチャを適用する。
【0061】
顔テクスチャは、モデルに適用される2次元画像である。モデル及びテクスチャは、有利には現実のものであり得ることを強調する。顔の存在の検出は、例えば、こめかみの縁部、鼻若しくはあごの先端部又は目の角等、顔の特徴点を検出することによって行うことができる。
【0062】
本発明の特定の実施形態では、画像生成方法は、捕捉デバイスに対する顔の向きを決定するステップも含み、顔モデルは、本質的に、事前に決定した向きに従って配置する。
【0063】
したがって、顔を表す3次元モデルは、画像が取得した場面に対応する仮想空間内で現実のように向けられる。
【0064】
本発明の特定の実施形態では、顔に着用した物体を少なくとも部分的に覆うマスクは、第1の層の上の顔モデルの形状投影に基づき展開する。
【0065】
したがって、顔に着用した物体を隠すことは、物体モデルの投影に基づくマスクではなく、顔モデルの投影に基づき展開したマスクのために実現される。本発明のこの特定の実施形態は、物体を追跡する必要性をなくすことを強調する。更に、展開したマスクは、物体の寸法を考慮しなくてもよく、この場合、マスクの寸法は、顔の寸法に従って展開する。顔に着用した眼鏡の場合、マスクの寸法は、有利には、既存の眼鏡のモデルの大部分を覆うのに十分なものである。
【0066】
本発明の特定の実施形態では、画像生成方法は、
−個人の顔を照らす少なくとも1つの光源を分析するステップ;
−顔モデルの全て又は一部の色を変換するステップ
も含む。
【0067】
したがって、顔モデルは、実際の場面に対して現実のように照らされる。
【0068】
本発明の特定の実施形態では、画像生成方法は、
−最初の画像から、顔モデルの少なくとも1つの画素の比色変換を推定するステップ;
−顔モデルの全て又は一部に対し比色変換を適用するステップ
も含む。
【0069】
比色変換の推定は、個人の顔を照らす少なくとも1つの光源を分析することによって実施することができる。
【0070】
本発明の特定の実施形態では、顔テクスチャ上の画素の色は、画素付近のパッチの色に基づき、インペインティング方法を通じて決定する。
【0071】
パッチは、連続領域を形成するいくつかの画素に対応する。パッチの形状は、各辺が一般に1から5の画素を含む正方形又は長方形とすることができる。円形状パッチは、ガウス・フィルタを正方形パッチの内部に挿入することによって得ることができる。当業者に周知のインペインティング方法は、特に、眼鏡を着用している個人の顔モデルを生成する場合、顔テクスチャの完成を可能にする。実際、本例では、フレーム又はレンズが顔の一部を隠している。
【0072】
本発明の特定の実装形態では、パッチの位置は、本質的に、欠けている画素を含む領域の外形に対する直交面に位置する。
【0073】
したがって、顔の一部が隠れている場合、顔テクスチャの欠けている画素の色は、欠けている画素付近のパッチに基づき再現され、このパッチは、顔の不明瞭な領域の外形に対する直交面に位置する。
【0074】
本発明の特定の実装形態では、パッチの位置は、本質的に、前記画素の垂直面に位置する。
【0075】
したがって、インペインティング方法は、両側でこめかみの一部を覆う頭髪の垂直領域を含む顔の全体形状を考慮する。
【0076】
本発明の特定の実施形態では、顔テクスチャに対する画素の色は、事前に確立した向きの顔モデルに基づき、インペインティング方法を通じて決定し、顔モデルは、目の表現を含む。
【0077】
本発明の特定の実施形態では、画像生成方法は、顔テクスチャ上に少なくとも1つの目領域を識別するステップも含み、目領域は、検出した顔の1つの目の位置に対応する。
【0078】
顔テクスチャ上で1つの目領域を識別することは、例えば、目の正確な外側及び内側の角等、1つの目の特徴点の位置の識別によってもたらすことができる。
【0079】
本発明の特定の実装形態では、目領域の充填は、検出した顔の目のトポロジ知識を通じて行う。
【0080】
目のトポロジは、湾曲部、虹彩及び眼瞼を含む目の様々な領域を介するパラメトリック表現を含む。
【0081】
したがって、目領域の充填は、虹彩及び瞳孔の位置を考慮するため、より現実的である。虹彩の充填は、虹彩の対応領域において、付近の画素を回復させるインペインティング方法を介して行うことができる。虹彩の対応領域が空の画素又は値に一貫性がない画素を含む場合、可能性としては、他の検出した目の虹彩の色を考慮することによって、標準虹彩トポロジに従って虹彩を再現する。
【0082】
本発明の特定の実施形態では、個人の顔に着用した物体の環境表現に対する展開は、環境内で顔を検出せずにもたらされる。
【0083】
したがって、方法は、個人の顔を検出又は監視せずに使用する。
【0084】
本発明の特定の実施形態では、環境表現の展開は、環境と最初の画像を取得する捕捉デバイスとの間に配置した透明要素によって生じた光学的歪みを修正するサブステップを含む。
【0085】
したがって、例えば、個人の顔に位置する眼鏡の矯正レンズの反射によって生じた顔又は背景の画像の形状歪みを修正する。
【0086】
本発明の特定の実施形態では、画像生成方法は、ビデオを形成する画像シーケンスの全て又は一部に適用する。
【0087】
ビデオは、録画、又は例えばストリーミング・ビデオ放送等のリアルタイム・ストリーミングの形態のそれ自体周知の技法とし得ることを強調する。ビデオは、カメラからのリアルタイム・ストリーミングとすることができ、画面上で瞬時に見ることができる。
【0088】
本発明の特定の実装形態では、環境表現及び/又は物体モデルは、シーケンスの各画像に対し更新する。
【0089】
したがって、シーケンスの多数の画像に基づき更新される表現及び/又はモデルは、漸進的に現実性を表現する。したがって、例えば、眼鏡の背後に位置する顔の一部等、物体により隠れている領域は、個人が頭部の向きを変えた際、顔モデルを含む環境表現において更新することができる。実際、頭部の向きを変えると、最初の画像の捕捉デバイスは、新たな視野角の下で顔の画像を撮影し、これにより、顔認識を向上させる。
【0090】
本発明の特定の実施形態では、環境表現及び/又は物体モデルは、複数の異なる視野角に従って取得した複数の最初の画像に基づき更新する。
【0091】
複数の異なる視野角に従って撮った最初の画像は、異なる角度に従って合焦した1つ又は複数の画像取得デバイスを用いて取得することができる。
【0092】
本発明の特定の実施形態では、最終画像の生成は、最初の画像からリアルタイムでもたらされる。
【0093】
したがって、捕捉画像処理は、短い、保証された時間で行われる。個人の捕捉画像の処理時間は、特に、個人に目に見える遅延を伴わずに、個人の処理画像を表示可能にする。処理時間は、10分の1秒未満である。処理時間は、好ましくは、必ずしもそうではないが、2つの画像の間の表示時間未満であり、通常、25分の1秒に等しい。言い換えれば、リアルタイムの処理は、カメラからのビデオ・ストリームを画面上に瞬時に表示することを可能にし、このストリーム画像は、人間の目では知覚されないほどの十分に短い時間で処理を既に受けている。
【0094】
本発明は、可搬デバイスを顔の上に着用している個人が使用することを意図する拡張現実方法にも関し、方法は、
−可搬デバイスを顔の上に着用している個人のビデオをリアルタイムで取得するステップ;
−ビデオをリアルタイムで表示するステップ
を含み、可搬デバイスの外観は、画像生成方法によって完全又は部分的に修正される。
【0095】
したがって、画像生成方法を通じて、個人は、画面上で、可搬デバイスを自分の顔に着用していない自分自身を直接見ることができる。可搬デバイスは、一般に、頭部に着用することができるフレームを含む。可搬デバイスは、少なくとも1つのガラス及び/又は少なくとも1つの表示器も含むことができる。1つのフレームのみを有する可搬デバイスの場合、フレームを、目及び眉を覆わないように好都合に構成することができる。可搬デバイスは、視覚デバイスであってもよいことを強調する。この拡張現実方法は、特に、矯正眼鏡を着用している個人が、同じ眼鏡ではあるが異なる色及び/又はテクスチャを有する眼鏡をかけている自分自身を画面上で見ることを可能にする。
【0096】
有利には、可搬デバイスは、リアルタイムで表示されるビデオ内に完全又は部分的に隠される。
【0097】
したがって、眼鏡を着用している個人は、眼鏡をかけていない自分自身を画面上で見ることができる。
【0098】
本発明の特定の実施形態では、可搬デバイスは、視覚デバイスであり、視覚デバイスは、フレーム、及び可搬デバイスを顔に着用している個人の視力に適合する矯正レンズを備える。
【0099】
言い換えれば、個人が着用する可搬デバイスは、個人の視力に適合する矯正レンズを含む。
【0100】
本発明の特定の実施形態では、可搬デバイスを着用する個人は、仮想物体を試着し、仮想物体は、ビデオ内で部分的又は全体的に隠れる可搬デバイスの上に少なくとも部分的に重ねられる。
【0101】
したがって、矯正眼鏡を着用しているユーザは、矯正眼鏡を保持したまま、新たな眼鏡を仮想的に試着することができ、ユーザが視覚の快適さを維持することを可能にする。
【0102】
本発明の特定の実施形態では、拡張現実方法は、可搬デバイスを顔に着用していない個人の少なくとも1つの画像に基づき、個人の顔モデルを初期化するステップを含む。
【0103】
したがって、個人は、事前に可搬デバイスを顔から外して顔モデルを生成し、特定の時間の後、可搬デバイスを戻す。個人の画像の取得は、1つ又は複数の画像捕捉デバイスを介して行うことができる。個人は、頭部を動かすことができ、顔モデルの生成は、様々な視野角下で捕捉した顔の複数の画像に基づき行われる。
【0104】
本発明の特定の実施形態では、拡張現実方法は、可搬デバイスを着用している個人の複数の画像に基づき、個人の顔モデルを初期化するステップを含み、画像は、様々な視野角の顔に対応する。
【0105】
したがって、顔モデル生成は、ユーザが可搬デバイスを顔から取り外す必要なく、もたらされる。
【0106】
本発明の特定の実装形態では、拡張現実方法は、専用モデル化デバイス内で捕捉した可搬デバイスの少なくとも1つの画像に基づき、前記可搬デバイスのモデルを初期化するステップを含む。
【0107】
本発明の別の特定の実施形態では、拡張現実方法は、可搬デバイスを着用している個人の少なくとも1つの画像に基づき、可搬デバイスのモデルを初期化するステップを含む。
【0108】
本発明は、視覚デバイスを着用している個人による仮想物体の試着を可能にする拡張現実デバイスにも関し、仮想物体は、視覚デバイスを少なくとも部分的に覆い、試着デバイスは、
−個人のビデオを捕捉する少なくとも1つのカメラ;
−捕捉したビデオのための処理ユニットであって、画像生成方法を通じて、ビデオ画像の大部分又は全てにおいて視覚デバイスを少なくとも部分的に隠す処理ユニット;
−処理された個人のビデオを表示する少なくとも1つの画面
を備える。
【0109】
本発明の特定の実施形態では、画面は、垂直であり、カメラは、それに応じて画面の平面に配置される。
【0110】
したがって、この特定の構成は、カメラに面して着座又は起立している個人が、自分自身をライブで、鏡のように見ることを可能にする。
【0111】
本発明の特定の実施形態では、仮想物体の試着デバイスは、2つのカメラを備え、2つのカメラは、画面の縁部に対し平行に、30から50センチメートルの間に含まれる距離で離間する。
【0112】
したがって、個人は、一般に、画面から25センチメートルから1メートルの間に含まれる距離で置かれ、画面に触れることができるようにし、カメラの間の距離は、2枚の顔のショットを得るのに最適なものであり、顔のモデル及びテクスチャを現実のように再構成することを可能にする。
【0113】
本発明の特定の実施形態では、仮想物体の試着デバイスは、第3のカメラを更に備え、第3のカメラは、本質的に、2つの第1のカメラの間の中央軸に置かれる。
【0114】
したがって、第3のカメラは、個人の正面の画像を得ることを可能にし、この画像は、画面上に表示される。2つの第1のカメラは、顔及びユーザが着用している眼鏡の現実的なモデル化の向上を可能にする。
【0115】
本発明の特定の実施形態では、画面は、タッチ感応性である。
【0116】
したがって、ユーザは、試着する仮想物体を選択することができる。仮想物体は、視覚眼鏡又はサングラス等の視覚デバイス、顔のアクセサリ又はメーキャップとすることができる。
【0117】
本発明の特定の実施形態では、捕捉、修正したビデオの表示は、リアルタイムで行われる。
【0118】
言い換えれば、デバイスは、拡張現実デバイスであり、ユーザは、仮想物体を試着し、リアルタイムで自分自身を画面上で見ることができる。
【0119】
本発明の特定の実施形態では、仮想物体の試着デバイスは、視覚デバイスの3次元モデル捕捉デバイスを備える。
【0120】
本発明の他の利点、目的及び特定の特徴は、添付の図面を参照する、本発明の主題である方法及びデバイスの少なくとも1つの特定の実施形態に対する以下の非限定説明から明らかになるであろう。
【図面の簡単な説明】
【0121】
【図1】現実の視覚デバイスを着用している個人による仮想物体の試着を可能にする拡張現実デバイスの一実施形態の図である。
【図2】最初の画像に基づき最終画像を生成する方法の一実施形態のブロック図である。
【図3】図2で参照した画像生成方法のステップの概略図である。
【図4】5つの形態の目のモデルの図である。 4aは、目のモデルの斜視図である。 4bは、眼球モデルの側面図である。 4cは、目のモデルの正面図である。 4dは、眼瞼の湾曲部を含む眼球モデルの側面図である。 4eは、虹彩の動きを示す眼のモデルの正面図である。
【図5】現実の顔から捕捉したテクスチャの一例の図である。
【図6】図2で参照した画像生成方法の間に生成したマスクの図である。
【図7】現実の視覚デバイスを着用している個人による仮想物体の試着を可能にする拡張現実デバイスの別の実施形態の図である。
【図8】最初の画像に基づき最終画像を生成する方法の別の実施形態の概略図である。
【図9】現実の視覚デバイスを着用している個人が使用する拡張現実デバイスの別の実施形態の図である。
【図10】本発明の実施形態の例で使用する眼鏡の図である。
【図11】眼鏡を顔に着用している個人のビデオを表示する画面の図である。
【図12】眼鏡が隠されている、図11で参照したビデオを表示する画面の図である。
【発明を実施するための形態】
【0122】
本明細書は、限定せずに示し、一実施形態のそれぞれの特徴は、任意の他の実施形態の任意の他の特徴と有利な様式で組み合わせることができる。
【0123】
図面は一定の縮尺でないことを記す。
【0124】
本発明の実施形態例に対する予備的な説明
図10は、眼鏡111を表し、眼鏡111は、硬質フレーム112、及びフレーム112内に組み付けた2つの矯正レンズ113を含む。フレーム112は、中央平面AAに対し対称であり、面112b、及び面112bの両側に側方に延在する2つのつる117を備える。
【0125】
面112bは、レンズ113を取り囲む2つの縁114、縁114の間の間隔を保証するブリッジ115、及び2つのピン119を備える。2つのパッド116はそれぞれ、縁114に取り付けられ、個人の鼻の両側に位置することを目的とする。
【0126】
2つのつる117はそれぞれ、ヒンジ118を通して面112bのピン119に取り付けられ、こうしてフレーム111をヒンジ留め可能にする。フレーム112の開位置において、面112bは、つる117の軸が形成する平面の直交平面に対して5°から10°の間に含まれる角度で傾斜する。この角度は、本質的に、眼鏡111の広角度と併合される、即ち、面112bの角度は、眼鏡111が、頭部を傾けずに離れたところを見ている個人の鼻の上に置かれ、つる117の平面が水平である間、垂直を有する。各つる117は、個人の耳の上に位置することを目的とするつる先端部117bで終端する。したがって、フレーム112は、眼鏡111を着用している個人の顔の両側に側方に延在する。
【0127】
本発明の以下の2つの実施形態例で使用する眼鏡111は、本発明の方法の主題によって画像又は画像シーケンス内に隠される現実の物体の制限的な例ではないことを強調する。
【0128】
本発明の特定の実施形態例
図1は、眼鏡111を顔に着用している個人120によって仮想物体110を試着するデバイス100を示す。
【0129】
本発明の非制限例において、個人120は、中程度の近視であることを強調する。したがって、任意の矯正眼鏡を着用していない個人120の視認度は、約20センチメートルである。
【0130】
デバイス100は、支持体131上に垂直に固定したタッチ・スクリーン130、画面130の上の中央に置かれるカメラ132、2つの周辺カメラ133、及び処理ユニット134を備える。
【0131】
この実施形態の一変形形態では、デバイス100は、深度センサを更に備え、深度センサは、赤外線を介してカメラに対する要素の距離を測定する。深度センサは、赤外線投射器及び赤外線波長内の光センサを備えることができる。光センサは、投射器の直ぐ近傍にあり、画像点の深度により、センサに対する各画像点の距離を示す深度マップの推測を可能にする。
【0132】
本発明のこの特定の実施形態の別の変形形態では、デバイス100は、走査器又は二重センサも備え、個人120の顔モデル全体の取得を可能にする。
【0133】
個人120が画面130に対面している間、個人120は、カメラ132がリアルタイムで捕捉した自分の顔121の画像を正面から見る。
【0134】
タッチ・スクリーン130に触れることができるように、個人120は、画面130に対し腕の長さの距離で立つ。個人120とタッチ・スクリーン130との間の距離は、60から120センチメートルの間に含まれる。個人120は、画面130をはっきりと見るため、眼鏡111を着用する。
【0135】
2つの周辺カメラ133は、画面130の上縁部に沿って平行軌道135上に、カメラ132の両側に対称的に固定する。2つの周辺カメラ133の間の距離は、30から50センチメートルの間に含まれる。本例では、2つのカメラ133の間の空間は、40センチメートルに等しく、視野角が法線から約20度ずれた状態で個人120の顔121の画像を取得することを可能にする。
【0136】
処理ユニット134は、カメラ132の捕捉したシーケンスのそれぞれの最初の画像に基づき個人120の顔121の最終画像を生成し、最終画像では、眼鏡111は隠されている。言い換えれば、眼鏡111を、画面130上に顔121をリアルタイムに表示する際、見えなくする。
【0137】
この目的で、カメラ132が取得する場面の仮想表現を生成する。この仮想表現は、個人120の顔モデルを含む環境表現上に配置される眼鏡111の3次元モデルを含む。眼鏡111モデル及び環境表現モデルの投影により、マスクの生成を可能にし、マスクは、カメラ132の取得したシーケンスの各画像において、現実の眼鏡の上に重ねられる。
【0138】
仮想表現に関し、仮想カメラは、同じ角度及び同じ倍率を有するカメラ132に代わることに留意されたい。言い換えれば、仮想カメラの光学特性は、カメラ132の光学特性と同一である。
【0139】
したがって、図2に示すように、処理ユニット134は、画像生成方法300に従って、カメラ132の取得したシーケンス200の各画像220に基づき新たな画像210を生成する。
【0140】
図3は、生成方法300を概略図の形態で示す。
【0141】
第1のステップ310において、生成方法300は、初期画像220内で眼鏡111の存在を検出する。
【0142】
生成方法300は、第2のステップ320において、カメラ132に対する眼鏡111の向きを決定する。
【0143】
生成方法300は、ステップ330において、最初の画像220における眼鏡111の特徴的寸法を決定する。
【0144】
特徴的寸法は、本発明の非制限例では、フレーム112の幅に等しい。
【0145】
生成方法300は、ステップ340において、カメラ132が捕捉した現実の空間を表す仮想空間内に眼鏡111の3次元モデルを精巧に作る。
【0146】
眼鏡111モデルの展開ステップ340は、事前にモデル化し、処理ユニット134に連結したデータベース内に保存した眼鏡から眼鏡111を識別するという第1のサブステップ341を含む。この識別は、眼鏡及び要素に付けられたフレームマーキング(framemarking)と呼ばれる眼鏡及び要素に対する基準知識によって行うことができる。
【0147】
眼鏡111の識別は、ユーザが着用する眼鏡の画像に基づく自動認識によって、又は例えばライトボックス等、眼鏡単独の画像を捕捉する専用のデバイス内で行うこともできる。この目的で、自動識別は、例えば眼鏡111の外形に適合する支持曲線を生成することによって3D物体の外観を索引付けして視覚的に認識する方法内で使用され、この方法は当業者に周知である。
【0148】
眼鏡の視覚的認識は、
−眼鏡の形状;
−眼鏡の色(複数可);
−眼鏡のテクスチャ;
−眼鏡上の目立つ特徴又はロゴの存在
の基準に基づき行い得ることを強調する。
【0149】
サブステップ341が、眼鏡を識別する正の結果をもたらすケースでは、サブステップ342を通して、眼鏡111のモデルをデータベースから抽出する。
【0150】
眼鏡111がデータベースのいずれの眼鏡とも一致しない反対のケースでは、サブステップ343の間、カメラ132の捕捉したシーケンス200からの画像に基づき、及び最終的には、データベースの探索ステップの間に決定した形状の最も近いモデルを表すパラメータに基づき、眼鏡111の3Dモデルを精巧に作る。
【0151】
シーケンス200の画像は、眼鏡111を顔に着用している個人120を示すことを強調する。したがって、眼鏡111のモデルの展開は、中央カメラ132及び周辺カメラ133の捕捉した画像に基づきリアルタイムで生成される。個人120の頭部が傾いている及び/又は向きを変えた場合、カメラは、新たな視野角から画像を捕捉する。眼鏡111のモデルは、特に、画像が、個人120に対する異なる角度からの視野を示す場合、各画像内で更新される。
【0152】
サブステップ343の間に生成した眼鏡111のモデルは、第1のステップにおいて、眼鏡111の面112bの形状モデル及び眼鏡111のつる117のモデルを形成することによって構成される。眼鏡が対称ではない場合、各つるのモデルを生成することを強調する。
【0153】
本発明のこの特定の実施形態の一変形形態では、面112bの形状モデルは、パッド116も含む。
【0154】
眼鏡111の面112bのモデル及びつる117のモデルを生成するために、眼鏡の骨格を使用する。骨格は、眼鏡のトポロジの種類をグループ化したデータベースから抽出される。眼鏡のトポロジの種類により、眼鏡の形状に従った眼鏡の分類を可能にする。トポロジは、
−縁の種類:完全な縁、上半分の縁、下半分の縁、縁なし;
−縁の形状:丸形、楕円形、長方形;
−ピンの形状;
−2つのレンズを接続するブリッジ又は棒材、このブリッジ及び/又は棒材は、1本であっても複数であってもよい;
−2本のつる;
−上記要素のそれぞれの特徴、例えば、つるの穴の存在、縁の間の非対称性、フレーム上の延長部等を区別する知識
によって規定される。
【0155】
厚さは、眼鏡111を取り囲む閉鎖3D包絡線を生成することによって、眼鏡の骨格の周囲で決定される。
【0156】
3D包絡線の生成は、以下の3つのサブステップ:
−骨格の直交平面における支持曲線の生成。これらの支持曲線は、フレーム112の断面に対応する;
−支持曲線と接触する3D包絡線の生成;
−3D包絡線内部における格子の生成
においてもたらされる。
【0157】
3D包絡線の生成を可能にする支持曲線は、手作業で又は統計的に計算した事前知識から生成されることを強調する。支持曲線の初期化は、一般に、眼鏡111を自動的に識別しようとする視覚的認識ステップの間に行われる。支持曲線は、顔の上に着用した眼鏡111の画像に基づき、又は専用モデル化デバイス(図1には示さない)によって無彩色背景上で捕捉した眼鏡111の画像に基づき生成される。
【0158】
眼鏡111を顔に着用している個人120の画像に基づき眼鏡111のモデルを生成した後、次に、ステップ350の間、眼鏡111のモデルは、現実の眼鏡111と同じように再度較正する。したがって、眼鏡111のモデルは、画像において、現実の眼鏡111とカメラ132に対する同じ向き及び同じ特徴的寸法を有する。
【0159】
言い換えれば、眼鏡111のモデルは、仮想空間内に配置され、仮想カメラの位置に従って向けられ、実際の眼鏡111の寸法に従って構成される。したがって、ある倍率を眼鏡111のモデルに適用することができる。眼鏡111のモデル・ポーズ・パラメータは、PeMgと表記される。
【0160】
ステップ355の間、生成方法は、眼鏡111を付けていない顔を表すアバタの3次元形状モデルMaを生成する。眼鏡111を付けていない顔テクスチャTaNGもステップ355の間に生成する。形状モデルMaは、以下で説明する顔モデルの展開方法による形態及び式で構成される。
【0161】
アバタの展開方法は、画像内で顔を検出し、検出した顔の顔分析をする第1のステップを含む。顔の検出は、本発明の非限定例において、FR2955409等において説明されるViola−Jones法によってもたらされる。
【0162】
特徴整合アルゴリズムは、顔展開方法の第2のサブステップの間、顔に特定の特徴を発見するために使用される。この目的で、当業者に周知の特徴検出機構を使用し、顔の内部特徴をかなり確実に発見することができる。
【0163】
この場合、欧州特許出願EP2678804に記載のHPAAM特徴整合アルゴリズムは、画像内の顕著な3D特徴の投影に対し、正確な位置特定を可能にする。密集環境内で位置の誤差を生じさせる既存の技法に反して、HPAAMは、耳の先端部等、顔の外形に位置する特徴に対し特に安定している。HPAAMアルゴリズムが知識構成段階で使用する技法であると仮定すると、3D整合をもたらす所定点の使用は、特に、包括的顔分析技法のロバストネス及び有効性が懸念される場合、技法の成功に影響を及ぼす。概して、この関係は、5つの点を手作業で規定する3DMM調節方式の開始点等、3D顔分析技法の少数の点に特定のものである。
【0164】
この顔検出ステップは、眼鏡111がもたらす顔への妨害に対しロバストであることを強調する。
【0165】
アバタ展開方法の第2のステップは、顔モデル・パラメータθmodelの推定に関係し、顔モデル・パラメータθmodelは、
−顔モデルの外的パラメータPeMa、即ち、顔の位置及び向きである顔ポーズ・パラメータ;
−顔の内的パラメータPiMa、即ち、顔の3D形態;及び最後に、
−顔表現モデル
を含み、外的パラメータ(変換TSE)及び目構成パラメータは、追跡の間、各画像で再度推定される。
【0166】
顔モデル・パラメータθmodelは、人間の顔の形態に対する統計的形状モデルを使用して推定される。この目的で、例えば、2003年発行のBlanz及びVetterによる文献、表題「Face Recognition Based on Fitting a 3D Morphable Model」に記載のデータベース等の顔データベースを使用する。
【0167】
顔モデル・パラメータθmodel及び仮想カメラ・パラメータθcamの1つの推定は、特徴検出段階で発見された特徴の使用によって、及び画像の外形を動的に調節することによってもたらされる。
【0168】
カメラの内的及び外的パラメータθcam並びに顔モデルの内的及び外的パラメータθmodelを推定するため、画像内で発見された顔の特徴fi,i=1..nと顔パラメトリック上に規定される3Dセマンティック点の投影Proj(Xs(i))との間の距離の最小化、及び顔のパラメトリック外形の投影と画像の関連縁部との間の距離の最小化の両方を行う。
【0169】
関数Proj(X)は、当業者に周知のピンホール型カメラモデルを考慮することによって、例えば、顔又は眼鏡等の3D場面を、層又は平面画像に投影変換することを表し、これにより、遠近分割の生成を可能にする。したがって、関数Proj(X)は、K行列内に含まれるカメラの固有のパラメータ及び形状RX+Tの剛体変換を考慮することによって、場面の3D点X=(x,y,z)と、層点(u,v)というユークリッド空間との間の切替えを可能にし、但し、Rは回転行列3×3であり、Tは変換3×1である。必要な場合、この投影をProj(X;K,R,T)と記す。顔のパラメトリック外形の投影は、法線が観察方向に直交する顔モデル点の投影に対応することを強調する。
【0170】
この目的で、現在の標本点における外形の直交方向の標本化を行い、複数の理由、即ち、3D物体の追跡で使用する他の整合技法との数の有効性、安定性及び適合性のため、外形の標本化を可能にする。この目的で、最小化の各反復について、顔モデル点Xjの部分集合を含む計算C(θcam,θmodel)を行い、法線njは、軸投影で直交し、画像の外形に関連する点は、contj=ProjContour(Xj,nj)であり、ProjContourは、点Xjを投影し、複数の仮定のうち、法線投影に沿ってより良好な外形を探索する関数である。これらの仮定は、局所的に計算される。というのは、縁部は、法線方向に沿って計算され、信号振幅に追従し、これにより、対象の顔の全部のスケールに従って正確で一定の縁部の検出をもたらすためである。この方法は、以下の標準方法によって求められる。
【0171】
例えば、費用関数は、チューキーのロバスト重み関数によって使用されるもの等、M推定量型手法の使用により実施することができる。代替的に、複数の仮定に対して外形の法線方向に沿って最も近い点の剰余の計算を行うことができる。
【0172】
最終的に、解くべき式は、
【0173】
【数1】
【0174】
であり、式中、
【0175】
【数2】
【0176】
は、ユークリッド距離を表し、γは、費用関数の2つの部分、即ち、外形又は特徴のいずれか1つに対しより多くの重要度を置くことを可能にするパラメータである。この式は、当業者に周知の従来の勾配降下技法を使用して解くことができる。
【0177】
この推定技法の主な利点は、この画像シーケンス200内のように複数の画像を利用可能である一方で、セマンティック2D/3D一致制約条件を緩和する多数の画像分析アルゴリズムに拡張され、全ての推定パラメータを洗練可能にすることである。この技法を使用し、画像の全てに対し最良に調節された形態を発見することができる。
【0178】
顔の走査を3Dで行う場合、特に、例えば赤外線センサ又はRGB−D型(「赤−緑−青−深度」の頭文字)深度カメラを通じた3Dデータの生成は、3D/3D制約条件が追加されることを強調する。したがって、各顔モデル点
【0179】
【数3】
【0180】
に対し、顔モデル点
【0181】
【数4】
【0182】
と走査データに最も近い3D点
【0183】
【数5】
【0184】
との間の距離を最小化するように探索する。したがって、式(1)に項:
【0185】
【数6】
【0186】
の最小化を追加することができる。
【0187】
アバタ展開方法の第3のステップは、顔の3D表現の追加に関係する。
【0188】
この表現は、特定の変動性を顔モデルに追加し、これらの除外は、ポーズ・パラメータ及び顔形態のより安定で正確な推定を可能にする。
【0189】
通例、格子のパラメトリック変動の生成に使用される1つの手法は、混合形状の使用から構成される、即ち、形状モデル・アンサンブルは、線形結合し、一意のインスタンスを生成する。こうした格子形状の計算に一般に使用される技法は、[A 3D Face Model for Pose and Illumination Invariant Face Recognition、Paysan等、2009年]に記載のように、格子形状を統計的に推測することから構成される。
【0190】
モデルは、以下の形状
g(α)=gm+α×V,,
を示し、式中、g(α)は、新たな形状を表すベクトルであり、g(α)=(x1,y1,z1,・・・,xn,yn,znTと記述され、(xi,yi,zi)は、i番目のピークであり、gmは、平均3D形状であり、αは、ユーザに属する適合パラメータを含むベクトルであり、Vは、統計式データベースを含む行列である。一般的な様式では、統計式データベースは、表現の変化に関わらず、識別情報の変動のみを含み、個別のコマンド・パラメータに対する良好な能力を保証する。
【0191】
とはいえ、表現は、有利には、リアルタイムでの計算のためモデルに追加される。
【0192】
3Dモデルは、g(α,β)=gm+αV+βAに従って変形させることができるワイヤーフレーム・モデルであり、式中、βは、アニメーション・パラメータを含むベクトルであり、Aは、アニメーション単位を含む行列である。[CANDIDE−3−An Updated Parameterised Face,Ahlberg,technical report、2001年]等に示されるように、アニメーション行列単位は、3D内で追跡する点が表現の変動を表すことを保証可能にする。
【0193】
このパラメータ分離は、従来のモデル化よりも強力であるのみならず、リアルタイムでの計算も単純化する。3Dポーズ・パラメータの全てを管理するのではなく、追跡工程の間、顔及び表現の識別は、各フレームに修正され、一定の識別パラメータは、顔分析段階に基づき提供される。3Dポーズ・パラメータ及び少数の表現変動パラメータのみを各画像で推定する。
【0194】
推定は、変形可能な形態でモデル・パラメータを完成し、
【0195】
【数7】
【0196】
の解に基づき実施され、式中、Rは、3D回転行列であり、Tは、3D変換であり、Kは、固有のカメラ・パラメータであり、αは、顔分析段階の間固定され、p2Dは、3D内で追跡した画像点の現在の位置である。
【0197】
顔モデルは、目モデルを含み、目モデルは、顔モデル・フレームと目モデル・フレームとの間の剛体変換TSEによって接続される。
【0198】
図4に示すように、2つの目401は、PSとして示す2つの回転中心402によって表し、S∈{R,L}は、右側(S=R)又は左側(S=L)のいずれかに対応する。2つの回転中心402は、距離pdS,S∈{R,L}による目系統フレームSEに関連する。各目401は、角度rxe,ryeS,S∈{R,L}によって目系統フレームに対して向けられ、角度rxe,ryeS,S∈{R,L}は、x軸及びy軸回りのそれぞれの回転角度である。回転中心402は、虹彩を表す半径hdiの板403の中心から距離drにある。板403は、3つの順の3つのベジエ曲線410から構成される要素内に含まれ、図4cに表すように、同じ開始・終了制御点、pEo、pEiを有する。目の縁部の曲線は、顔の格子上に3Dで表すことができる。点pEo、pEiは、目の縁部の曲線の交点にあること、及び変位する曲線は、パラメータdpELvによってパラメータ化されることが重要であり、眼瞼曲線4103がより高い曲線4101の値とより低い曲線4102の値との間に及ぶことを可能にする。この1次元パラメータは、空間内で規定した曲線に従って、眼瞼曲線4103の3D進路に影響を及ぼすことができる。
【0199】
曲線4101及び4102は、それぞれ点pEuL及びpEuR並びに点pEdL及びpEdRを含む制御点によって制御されることを強調する。
【0200】
眼瞼曲線4103の3D進路は、特定の目フレームのx軸の回りの回転rxELによって与えられる眼瞼位置dpELy(t)の変位に従って、構成可能形態モデルの変形モデル内で表すことができ、tは、0と1との間に含まれ、眼瞼曲線4103上の点位置を構成することを可能にする。
【0201】
tが0.5に等しい場合、眼瞼曲線4103の点は、中央点に対応することを強調する。この点において、点dpELy(t=0.5)は、本質的に半径板drに移動する。本発明者等は、dpELyの左目L及び右目Rの構成を区別しており、これにより、片方の眼瞼の閉鎖をモデル化することを可能にする。これは、かなりの大部分のケースでは、左目及び右目の変位が同じである目の垂直回転パラメータrxeとは反対である。
【0202】
式TSEは、点PL及びPR回りに回転する目の虹彩板が、眼瞼曲線に接触していることを可能にする。
【0203】
顔を検出した画像220に基づき、ポーズの固有のパラメータPeMa0及び顔の固有のパラメータPiMa0のため、パラメータTSE、rxEL、rxe、{pdS,ryeS};S∈{R,L}は、各画像に対する顔に対するモデルのポーズの瞬間に推測される。顔フレームにおける目系統SEの配置パラメータTSE、並びに瞳孔間距離パラメータpdR及びpdLは、ユーザの形態に属するとみなされ、一度安定したら再計算する必要がない。これらのパラメータは、画像内のモデルの再現に関係して、又は捕捉画像の全てに基づき解くことができる。瞳孔間距離のパラメータを解くことは、例えば、特許FR2971873に記載されている。
【0204】
パラメータ・アンサンブルTSE、rxEL、rxe、{pdS,ryeS};S∈{R,L}の解像度は、1つ又は複数の捕捉画像を考慮する以下の要素に基づく:
−モデルの投影と画像との間の差を考慮する場合:Lucas−Kanade方法を通じて、顔の合成外観と画像との差を最小化する勾配下降方法によって、
−外形画像における虹彩CI及び眼瞼曲線の整合を考慮する場合:外形の間の距離を最小化することによって。この外形間の距離最小化を解くために、標準外形上に位置する相同点を考慮する。曲線はパラメトリックであり、
・円である虹彩曲線に対する角度パラメータθ,θ∈[0,2π];
・3つの順のベジエ曲線である眼瞼曲線の評価パラメータs,s∈[0,1]
とのサンプル化が容易である。
【0205】
固有のパラメータPiMa0のポーズPeMa0に投影したモデルのサンプル化点CIθi及びCEsiと、Canny又はSobel型の従来の演算子により得た顔の外形画像IC0との間の差を測定する。
【0206】
サンプル化点と外形画像との間の差は、前に説明した標準方法による調査によっても決定し得ることを強調する。
【0207】
投影した外形のモデル距離マップを生成することによってポーズ・パラメータを解き、この計算用マップ内に画像外形点を投影することも可能である。
【0208】
2つの種類の解くべき式は、以下の式である:
a)目系統を解く、画像差に対応する式:
【0209】
【数8】
【0210】
式中、Kは、カメラ固有パラメータの行列Iであり、(fprojTa,SE)は、アバタ・モデル及び目系統の投影によって生成した画像であり、眼瞼の閉鎖又はモデルのポーズによる自動的な掩蔽による目系統SEの掩蔽を考慮することによって行う。画像生成は、既知のテクスチャを仮定する。したがって、初期化の間、能動外観モデル型を使用するテクスチャに対する学習パラメータの計算を追加する。初期化の際、場面の特定のテクスチャを使用するものとする。外形差は、有利には、データの性能及び単純化の理由で、初期化で使用されることを強調する。
b)目系統の解像度のための外形差の式
【0211】
【数9】
【0212】
式中、画像点IC0の全ては、投影したCI又はCEを考慮する曲線に対する勾配の法線に沿って、パラメータ値θ及びsに関連する曲線点のために選択される。
【0213】
本発明の特定の実施形態の一変形形態では、関数ProjContourは、目の最小化にも使用される。
【0214】
最初の初期化において式系統をロバストにするため、以下の標準値を使用することに留意されたい:
−初期化のため、hdi=6.5mm、dr=10.5mm、
−同様に制約条件のため、pdR=pdL、ryeR=ryeL。
−有意な知識アンサンブル上での0度の顔の平均統計回転値に関する回転値のため、回転値rxe0=0。このことは、目系統パラメータの解像度の制約を可能にする。
【0215】
次に、パラメータ更新の間、これらの値を再計算する。
【0216】
2つの較正画像又は深度マップを処理する場合、パラメータの全てを容易に発見することが可能である。これらの式は、顔の外的及び内的パラメータの解に結合することができる。
【0217】
画像及び画像深度マップの場合、顔の外的及び内的パラメータの推定が改善される。実際、これらの値は、パラメトリック・モデルの推定を完成させるために使用される。パラメトリック・モデルが、設定が深度の説明を可能にしないため、完全に対応しない場合、顔モデルは、顔の3D解像度の式(1)に記載される系統を解くことによって、表面上に適合される。この場合、顔のパラメータを推定していないが、測定学的に構成したユーザの顔モデルを推定している。
【0218】
顔モデルと目モデルと画像220との間の整合を実現した後、ステップ356の間、以下でより詳細に規定する顔テクスチャTaNG及び背景テクスチャTbgを更新し、カメラ132が取得した場面の現実に対応させる。
【0219】
図5に示すテクスチャTaNG 450は、当業者に周知の従来の格子展開方法に従って計算した顔マップである。例えばZバッファ又はカリング方法によって、カメラの方に向けた目に見える顔の3D顔を画像内に投影した後、画像テクスチャTaNG 450の充填を可能にする。
【0220】
目テクスチャは、顔テクスチャ上に分配し、3つの部分:虹彩テクスチャTaNG_I 451、白目テクスチャTaNG_E 452、眼瞼テクスチャTaNG_ELに分解される。これらの3つの要素は、取得の間不完全である場合があるが、合成すべき未知の領域に対しては、TaNG_E及びTaNG_ELに対する補間によって、又は目を大きく広げていない場合の虹彩の上部等、見えない部分のトポロジ知識によって、単純な様式で完成させることができる。瞳孔及び虹彩の円形性質は、極性パラメータ化によるテクスチャの完成を可能にする。
【0221】
背景マップ又は背景とも呼ばれる背景マップTbgは、ステップ357の間、精巧に作られる。
【0222】
マップTbgは、背景に対応し、背景は、ユーザが着用する現実の眼鏡、顔、顔及び眼鏡111に重なっている頭髪又は手のモデル等の明示的にモデル化されるあらゆる他の要素のいずれにも属さない全てのものとみなされる。マップTbgは、従来の背景差分技法で見出されるもの等の以下の更新規準に従うことによって動的に更新される。画素のそれぞれに対し、色に対して可能な確率及びモードの分布を使用して、主要な色のモデルを参照する。混合ガウス等の複数のモデル、又はカーネル方法によるヒストグラムに対するモードの推定を利用することができる。このモデルは、更新した時間及び可能性としては空間動的モデルと結合する。
【0223】
例えば、更新動的モデルは、[Active Attentional Sampling for Speed−up of Background Subtraction、Chang等、2012年]等のように、以下のように行うことができる:各画素に対し、時間特性Pt、孤立した画素を除去する空間特性Ps、及びビデオの最後の画像における頻度の妥当性Pfを考慮し、ノイズによりもたらされた可能性のある頻繁に変化しすぎる画素の除去を可能にする。これらの3つの値の積により、各画素がマップに属し、更新される確率をもたらす。
【0224】
背景マップTbgは、投影される顔又は投影される眼鏡とはみなされない画素の全てによって、このステップで初期化される。背景マップは、画像220と同じ寸法を有する。
【0225】
性能のために、追跡モデルの相補的分析、及び異常点とも呼ばれる統計的に逸脱する点の分析を通じて、修正方法を使用する。この方法は、以下のステップを含み、以下のステップの間:
−それぞれの新たな画像Iに対し、画像内の顔モデルMaの投影に基づき、顔区分化マップTaを計算する。同様に、眼鏡モデルMgの投影により、眼鏡区分化マップTgを得ることを可能にする。
−これらのマップのそれぞれに対し、モデルの投影に属する画素は、1の値を有する一方で、その他の画素は0の値を有する。他のモデルがない単純なケースに留まる場合、各画素pは、以下のように処理する:
・Ta(p)=0及びTg=0である場合、Tbg(p)=I(p)であり、
・それ以外の場合、テクスチャを修正しない。
【0226】
bgの各画素に対し、画素の最終更新前に捕捉した画像の数を表示するマップを計算することも可能であり、これにより、画素が最近修正されているか否かを評価することを可能にする。したがって、画素値が、それぞれの最終更新時間に従って、付近に位置する画素に対し関係するかどうかを評価することが可能である。したがって、この修正方法は、最近修正された画素を支持するものである。
【0227】
例えば、手又は一房の頭髪等、顔121に重なっている掩蔽要素モデルは、ステップ358の間に展開する。
【0228】
掩蔽マップは、シーケンス200の各画像で更新される動的テクスチャTfgによって表す。本発明者等は、空間的及び時間的一貫性を有する眼鏡111及び顔121のモデルの外観を中断するものを掩蔽と見なし、顔121への照明、眼鏡111によってかかる影若しくは顔に元来生じる影(例えば鼻)又は眼鏡111によって顔121にもたらされる火面といった特徴とは区別される。最もありそうなケースは、頭髪又は手のケースである。
【0229】
掩蔽マップは、可変であり得る形状モデルMfgに関連する。掩蔽マップは、3D場面の前の層を表す平面であるか、又は推測若しくは利用可能な深度マップである。
【0230】
掩蔽マップの値は、現実の画像に対し予測される外観の差、即ち、顔、眼鏡及び背景を表す仮想モデルの投影と、現実の画像との間の差によって決定される。言い換えれば、掩蔽マップは、以前にモデル化されていない全ての要素を含む。
【0231】
本発明のこの特定の実施形態の一変形形態では、インペインティング技法を使用し、掩蔽マップ内の最終的に空の空間を充填し、したがって、掩蔽マップの外観の改善を可能にする。
【0232】
同様に、例えば、顔の要素又は眼鏡111の要素と共に画素内に示される一房の細い頭髪等、画像内の画素サイズよりも小さい、小さな要素に関し、掩蔽マップは、局所的な不透明度を考慮する。この不透明度の修正は、現在、デジタル・マッティングの問題を解決するために使用されている。掩蔽マップの灰色レベルにおける不透明通路に名前Tαfgを割り当て、Tαfgを、値1の不透明画素の二値化に割り当てる。
【0233】
深度センサを使用する場合、掩蔽の検出は、より容易であり、当業者に周知の方法を適用することができる。しかし、ユーザが眼鏡を着用している本ケースでは、赤外線技術に基づくRGBDセンサでは、信号の入手は非常に不十分である。というのは、眼鏡は、一般に、金属、透明プラスチック及びガラス等を含む非常に動的な複合材料から作製されるためである。こうした材料の回折及び反射の影響により、深度マップ生成システムが正確に機能するのを妨げる。一方で、これらのセンサの空間解像度は、非常に薄い眼鏡では十分ではない。これにより、眼鏡は、システムによる識別が非常に不十分であるだけでなく、近傍及び背景に位置する顔のデータの全てを損なう又はアクセス不可能にする。画像及び眼鏡パラメトリック・モデルの使用は、深度センサに対するこれらの構造的な問題の中立化を可能にすることを提案する。
【0234】
眼鏡、顔及び/又は背景のテクスチャは、画像生成方法のステップ359の間に完成、更新される。
【0235】
この処理の間、画像に付いている要素を表すマップの状態は、要素の知識に従って進化する。本例では、個人120の顔は、眼鏡111によって部分的にマスクされている。個人120の顔の新たな要素は、個人が頭部の向きを変えたときに出現する。色情報は、特にレンズが色付きである場合、レンズの反射によって、又は眼鏡111によって顔にかかる影により歪むこともある。
【0236】
したがって、背景マップ又は顔マップ等の確立したマップの画素データ、ユーザが十分に変位した後もはや利用可能ではない色情報が、必要な領域を出現させることが可能である。
【0237】
しかし、顔領域で使用する学習統計モデルは、背景の学習統計モデルほど効率的ではない。したがって、能動外観モデル又は3Dモーフィング可能モデル等公知の技法で顔領域の画素を取り替えることができる。
【0238】
外観の予測が可能ではない場合、空間的局所性による充填技法を使用する。当業者に周知のインペインティング技法と同様の充填技法は、テクスチャの合成に依拠し、これは、確実でリアルタイムの充填問題の解に対し、関連知識を適用することによって行う。眼鏡モデルのトポロジが既知であり、リアルタイム制約条件が重要であると仮定すると、パッチによる充填が使用され、これにより、彩色領域の間の色の連続性及びテクスチャ構造に対する考慮を保証する。この技法は、画像内で同様の要素を迅速に探索し、取り替える画素の大部分を平行に処理することを可能にする。
【0239】
リアルタイム充填技法は、当業者に周知のインペインティング技法に依拠する。
【0240】
処理領域の充填は、画素別又はパッチ別に、以下の3つのステップ:
1.パッチの優先度を計算するステップ、
2.構造のテクスチャ及び情報を伝搬するステップ、
3.信頼値を更新するステップ
におけるアルゴリズムを使用して行われる。
【0241】
本発明の非制限的な例では、パッチは、画素を中心とする正方形ウィンドウによって形成される。
【0242】
眼鏡111及び顔モデル等の異なる要素のトポロジを知ることにより、当業者が現在使用している技法を使用して領域の充填をリアルタイムで行い、複数の利点:
−方向に依存しないこと
−(画素に対する)任意のパッチ・サイズによる作用が可能性であること;
−同様のパッチの系統的で費用のかかる探索を回避すること、及び
−充填の間、色の連続性を保証すること
がもたらされる。
【0243】
当業者に周知のパッチ優先度の計算は、例えば、背景領域に対応するマスクの画素等、情報が入手可能ではない領域に従う。
【0244】
しかし、顔領域に位置する画素について、顔のトポロジの知識は、パッチ標本化に対する方向、及び方向優先度、及び事前領域の定義を可能にする。例えば、目を閉じている場合、目の構造形状モデルは事前にパラメトリックに分かるため、目の特定のトポロジに関連する曲線に従って、優先度、パッチ・サイズ及び伝搬方向を適合させることができる。
【0245】
背景又は皮膚等、隠れたパラメトリック構造に関する情報をもっていない領域において、眼鏡のトポロジ知識は、外形に対する形状骨格の直交線又は直交面に従った構造の伝搬方向の事前定義を可能にする。
【0246】
構造の伝搬は、顔のあらゆるポーズに対する等輝度線の伝搬方向と同様であることを強調する。実際、眼鏡は、厚いフレームを有する場合があるにもかかわらず、同じ下位物体の異なる縁部がほぼ平行であるような投影を画像内に有する。
【0247】
眼鏡トポロジに当てはまる方向に集中することによって、2つの態様が改善される。第1に、この方向に情報を含むことが分かった第1のパッチに対するパッチの探索が低減される。当然、各反復において、先行する反復において取り替えた画素を使用し、構造の連続性を可能にする。伝搬方向も事前定義し、構造基準によって非常に構造的であると見なされるパッチでは計算しない。例えば、考慮するパッチ・エントロピー、又は法線の勾配方向に依存する係数を使用することができる。この手法は、系統的な分類、並びに優先度及び伝搬方向に関する費用を回避する。
【0248】
構造を保護しながら色の連続性を保証し、オニオン・ピール(onion peel)型経路内で観察されることがある方向平滑化を回避するために、以下の方法を使用する。
【0249】
取り替えパッチT0は、取り替えマスク前部の距離に対し、画素p0を中心とし、パッチが既知の領域の画素を含むようにする。本発明者等は、構造連続性を保証する信頼度最大距離dmaxを定義し、眼鏡マスク外形
【0250】
【数10】
【0251】
まで2つの法線方向経路内に移動し、最も近い「テクスチャ」領域において(pT1及びpT2を中心とする)2つの完全パッチT1及びT2を発見する。この技法は、最も近い比色パッチに対する探索計算の低減を可能にする。次に、比色適合を行い、p0からpT1までの距離d1及びp0からpT2までの距離d2を考慮に入れることによってパッチT0の画素を取り替え、以下の線形補間:
【0252】
【数11】
【0253】
が可能であり、但し、d1<dmax、d2<dmaxの場合且つその場合に限り(iff)、式中、各pi(u,v)Tは、パッチTの画素に対応する。表記iffは、「〜の場合且つその場合に限り(if and only if)」の省略に対応する。
【0254】
他のケースでは、以下がある:
pi(u,v)T0=pi(u,v)T1、但し、d1<dmax、d2≧dmaxの場合且つその場合に限り、
pi(u,v)T0=pi(u,v)T2、但し、d1≧dmax、d2<dmaxの場合且つその場合に限る。
【0255】
この処理は、マスクの全ての画素を処理するまで、複数回呼び戻される。
【0256】
(1画素までの)小さいサイズのパッチに関し、オニオン・ピールの影響を回避し、画像の圧縮による構造アーチファクトを再現しないようにするため、弱い構造の領域に無作為な局所的歪みを追加する。均一ノイズ又はガウス・ノイズを使用することができる。この均一ノイズは、当業者に周知の技法によって画像の既知の周囲領域の平均ノイズに従って推定される。構造がモデルを通じて既知ではない場合、エントロピを使用し、構造を整理することができる。取り替えた領域は、完全パッチの取り替え画素であるか、又は更には1画素までのより小さなパッチとすることができる。
【0257】
パッチ・サイズは、取り替える構造のサイズ、即ち、眼鏡の厚さ及びカメラに対するユーザの距離に依存することを強調する。
【0258】
図6は、ユーザ120の画像220に基づくマスクの展開を示す(図6a)。図6bに示すように、眼鏡111の背景に対する環境Ibgは、複数の領域:
−顔に対応する領域470;及び
−背景に対応する領域471
に分解される。
【0259】
領域470は、セマンティック下位領域472に細分化でき、セマンティック下位領域472は、例えば、頭髪領域4721及び皮膚領域4722に対応することを強調する。
【0260】
ステップ360の間、生成方法は、眼鏡111の3次元モデルの形状投影によって、第1の層の上に眼鏡111のマスクを生成する。
【0261】
第1の層は、形状投影の前に既にフラッシュされていることを強調する。したがって、第1の層は、現実の眼鏡111と同じ視野角及び同じサイズに従った眼鏡111の3次元モデル画像を含む。
【0262】
眼鏡111のマスクTMgは、複数の部分:
−フレーム112b及びつる117のマスクTMg_f;並びに
−レンズ113のマスクTMg_l
に分割される。
【0263】
顔にもたらされる照明効果、特に、火面及び影に対応するマスクTMg_eを同時に生成する。マスクTMg_eは、レンズに対する照明効果、特に反射も含む。
【0264】
マスクTMg_fは、画像220に対応する瞬間で推測した顔パラメータPeMa及び眼鏡パラメータPeMgの値のため、眼鏡111のモデルをRGBAレンダリングした画像に対応する。マスクTMg_fは、例えば、顔の前に置かれた手又は顔にかかる一房の頭髪等、眼鏡111に対し起こり得る掩蔽を反映する。
【0265】
二値マスクTMBg_fは、マスクTMg_fのレンダリングしたアルファ層を二値化することによって得られる。アルファ層は、画素の透明度を表し、アルファ層の二値化により、マスクTMg_fの境界を定めることを可能にする。
【0266】
図6cは、図6bからの環境Ibgを表し、環境Ibgには、マスクTMBg_fが追加されている。
【0267】
マスクTMg_l及びTMg_eは、マスクTMg_fと同じ技法に従うことによって、各マスクのレンズ113、及びレンズに対する反射又は顔にかかる影等の照明効果のそれぞれを考慮することにより決定される。
【0268】
顔に対応するマスクTMaは、目を含む顔モデルに基づき、画像220に対して事前に推定した顔の向き及び配置のパラメータに従ってステップ365の間に生成される。
【0269】
眼鏡の線形マスクTMBg_fは、図6cから分かるように、顔の領域TMa又は背景マップTbg内に含まれることを強調する。
【0270】
被写体の眼鏡トポロジ知識を通じて、眼鏡トポロジによって与えられるパラメータ化に従って、マスクTMBg_fの両側に規定した場所で、外形
【0271】
【数12】
【0272】
に対する法線方向で標本化を行う。
【0273】
したがって、めがねのつるは、TMa又はTbgによって規定される領域の区画ΩRを表す最大サイズ領域内において、各側で標本化される。本ケースでは、空間のトリミング調節は、領域の正面曲線に沿って行う。このトリミングにより、眼鏡TMgの領域とは無関係である顔TMa及び背景Tbgの領域に対し、予測の外観と現在の画像との間の局所的な比色変換の場を推測することが可能であり、これにより、全体照明の変化又はかかる影による変換の発見を可能にする。
【0274】
顔に関し、例えば眉、頭髪又は顎髭等、この動的比色分析に応答しない領域は、最初は考慮せずに、皮膚に集中することができ、動的擬ランバートに従い、色の基本低周波適合を可能にする。これらの領域は、識別した特徴知識を通して発見した点及び曲線を通じて識別、区分化し、テクスチャ空間内で表示することができる。次に、当業者に周知の色転送技法又はトーン・マッピング技法と同様に、同じ型の領域内で変換を計算する。
【0275】
この比色変換の場は、画像TMa及びTbgにそれぞれ適用され、マップTMaWc及びTbgWCを形成する。色変換は、画像TMa及びTbgの一貫した比色下位領域に基づきもたらすことを強調する。これらの一貫した下位領域は、有利にはセマンティック下位領域472内に含まれ、最終結果を改善することができる。更に、色変換は、これらの空間の下位空間の間の動的な差を考慮する。
【0276】
「ポアソン画像編集」型画像編集技法を使用し、マスク外形上の閾値の影響を回避することができることを強調する。
【0277】
これらの新たな画像TMaWc及びTbgWCを使用し、特にレンズ及び顔の領域おける色が、予測によって決定されていない現在の画像Iの画素を分析し、関連領域において、レンズTMg_lの反射、並びに照明及び形状の変更のみならず、フレームTMg_eによってかかる影を検出する。この技法は、特に、ユーザ120が着用する眼鏡111のレンズの視力矯正による顔の歪みの補正を可能にする。
【0278】
このようにして、基準
【0279】
【数13】
【0280】
に従って、考慮する領域の各画素xに対するマップTMBg_l及びTMBg_eを充填し、式中、ΩRは、領域Ω={x;TMBα(x)=1}∪{x;TMBbg(x)=1}の一貫した比色下位領域である。閾値∈は、エイリアシング色を囲み、画像圧縮及びセンサのアーチファクトを消去するのに十分に大きい。次に、マスクは、3D物体知識信頼度及び再較正に従って拡張することができる。
【0281】
図6dは、図6cからの画像を表し、この画像には、照明効果、反射及び影を表すマップTMBg_eが追加されている。
【0282】
取り替えた画素のマップTMBgは、掩蔽アルファ・マップTBfgの画素を除いたマップTMBg_l、TMBg_e及びTMBg_fの結合である。
TMBg=∪{TMBgl,TMBge,TMBgf.}\TBfg
【0283】
掩蔽アルファ・マップTBfgは、掩蔽マップTfgの不透明画素、即ち、アルファ値が1に等しいTfgの画素を表す。
【0284】
図6eは、図6dからの画像を表し、この画像には、アルファ掩蔽マップTBfgが追加されている。
【0285】
眼鏡111を表すマスクの外観の修正は、ステップ370の間にもたらされる。
【0286】
画像220及び生成したマスクの全てに基づき外観を修正することにより、線形マスクTMBgに対応する画像220の画素に取り替える。これは、画像220内の眼鏡111の見える部分を隠すこと又は眼鏡111の見える部分に対する処理を適用することを可能にする十分な値によって行われる。
【0287】
選択された色は、以下の技法:
a.評価した形状パラメータ及び比色調節に対応する予測の色;
b.形状モデルに関連するオフラインで統計的に学習した色;
c.形状の事前知識に結合することができる色の空間的な一貫性及び連続性を保証する事前知識を伴わない色;
d.工程300の間に統計的に学習した色
又はそれらの組合せによって出すことができる。
【0288】
いずれの場合も、マスクの境界周囲の色に対する連続性に対する制約条件は、暗示的又は明示的に統合される。
【0289】
本例で好適な技法は、予測による色の取り替えである。というのは、この技法は、モデルの不連続性を最良に管理するためである。この技法は、推定誤差を知覚できる一方で、マスク拡張の追加及び色の連続性の制約により、人間の目では検出不可能な取り替え結果を提案することが可能である。マップTMaWC及びTbgWC並びにマップTfgの計算により、大部分のケースにおいて画素全体を取り替えることができる。
【0290】
一般に使用する別の好ましい技法は、「ポアソン画像編集」として公知の画像編集技法である。この技法は、マスクの外形への連続性を保証することによって、取り替え領域内の画素の色を解くことにある。この技法は、比色を変化させる一方で、マスクに適用するテクスチャ構造を維持することを強調する。このテクスチャは、一般に、例えば投影によって変形させ、眼鏡111の環境に適合するテクスチャを得るようにする。
【0291】
「ポアソン画像編集」画像編集技法は、インペインティング技法とは異なり、適用するテクスチャに対する事前の知識を必要とし、これにより、画像内の付近の画素から消失している画素を充填することを可能にすることを強調する。
【0292】
次に、最終画像210は、方法300のステップ380の間、背景から最初の画像220の上に重ねた様々な層、即ち:
−最初の画像210;
−眼鏡111のマスクを含む第1の層;
−掩蔽マスクを含む第2の層
を平坦化することによって生成する。
【0293】
したがって、眼鏡111を着用している個人120は、画面130上に、眼鏡111が顔に残っていない自分の画像を鏡のように見る。したがって、個人120は、現実の眼鏡111の代わりに顔に配置された新たな眼鏡110を仮想的に試着することができる。仮想眼鏡110は、第1の層と第2の層との間に挿入した中間層を通じて個人120の顔121の上に配置される。中間層は、個人120の顔121の上に現実のように配置される仮想眼鏡110のモデルの投影を備える。
【0294】
仮想眼鏡110の配置又は中間層の生成に対する技術的な詳細について、当業者は、例えば、個人による仮想眼鏡の試着を可能にする技法を詳細に記載している出願FR1050305又は出願FR1551531を参照することができる。
【0295】
本発明の特定の実施形態の別の例
図7は、眼鏡111を顔に着用している個人520による仮想物体510の試着デバイス500を示す。
【0296】
デバイス500は、支持体531上に垂直に固定したタッチ・スクリーン530、画面530の上の中央に位置するカメラ532、2つの周辺カメラ533、及び処理ユニット534を備える。
【0297】
デバイス500は、画面530に対する要素の距離測定デバイス537も備え、距離測定デバイス537は、設計を投影する赤外線投影器535及び赤外線カメラ536を含む。
【0298】
デバイス500は、モデル化デバイス540も備え、モデル化デバイス540は、眼鏡を中心に受けることを意図するターンテーブル541、ターンテーブル541の中心の方に向けられた2つの固定デジタル・カメラ542、及びモデル化する眼鏡の背景にすることを意図する背景ユニット543を含む。モデル化デバイス540は、処理ユニット534に連結され、したがって、ターンテーブル541を起動し、様々な視野角の下で眼鏡111の画像を捕捉することができる。
【0299】
本発明のこの特定の実施形態の一変形形態では、モデル化デバイス540のターンテーブルは、固定可能である。モデル化デバイス540は、ターンテーブルの中心の方に向けられた2つの固定補助デジタル・カメラも備える。2つの補助カメラの位置は、ターンテーブルの中心垂直軸を中心とする、2つのカメラ542の位置の90度回転に対応する。
【0300】
モデル化デバイス540は、各カメラ542が背景ユニット543の画像を単独で捕捉する間、較正をもたらすことを強調する。
【0301】
個人520は、顔に着用している眼鏡111を外し、ターンテーブル541の中心に、つる117を広げた状態で眼鏡111を置く。眼鏡111を適切に配置するため、マーキングがターンテーブル541上に表示されている。
【0302】
第1のカメラ5421は、カメラ5421の光学軸が眼鏡111の正面画像を捕捉し、次に、ターンテーブル541を90°回転させた後、眼鏡111の側部画像を捕捉するように向けられる。
【0303】
同時に、第2のカメラ5422は、正面の3/4から及び背面の3/4から眼鏡111の上面の画像を捕捉する。したがって、カメラ5422の位置は、ターンテーブル541の中央平面に対して約45°に上昇している。
【0304】
眼鏡111の3次元モデルは、捕捉した眼鏡111の4つの画像及び2つの背景画像に基づき生成される。
【0305】
この目的で、眼鏡111は、背景画像と眼鏡111を有する画像との間の差を表示する各捕捉画像において区分化され、これにより、様々な要素の二値マスクの生成を可能にする。
【0306】
モデル化に関し、眼鏡111のフレーム112は、3つの3D表面:
−眼鏡111の面112bを表す表面及び
−眼鏡111の各つる117の表面
の組立体とみなされる。
【0307】
眼鏡111は対称であるため、2つのつる117は同様であり、各つる117と面112bとの間の開放角度のみ変動し得ることを強調する。したがって、1つのつる117の3次元モデルのみを生成する。次に、もう一方のつる117の3次元モデルは、第1のつる117のモデルに基づき、第1のつる117の主要中央平面に対し対称に生成する。
【0308】
3D表面を推測するため、区分化から抽出したマスクに基づく画像のそれぞれに対し距離マップの計算を行う。3D表面パラメータの推定は、眼鏡111のフレームの中心対称性及び連続性といった基準を考慮する最小化を介して行う。
【0309】
面112b及びつる117の2D外形の推定は、面112b及びつる117の二値マスクに基づき生成する。
【0310】
次に、2D外形を対応する3D表面上に投影する。表面上に投影した2D外形のそれぞれに対し厚さを追加し、面112b及びつる117の3次元モデルを得、眼鏡111の3次元モデルを形成する。
【0311】
この目的で、2D外形の点に基づき、ドロネー三角形分割を行う。この三角形分割は、3D表面の点上に使用し、眼鏡111のモデルを生成する。眼鏡111の捕捉画像は、眼鏡111のモデル上のテクスチャ内で適用する。
【0312】
眼鏡111の各要素の3D統計モデルは、2D外形に基づく3D表面の設定及び格子のために使用し得ることを強調する。
【0313】
眼鏡をかけていない個人520の画像をカメラ532により取得する。
【0314】
眼鏡をかけていない個人520に基づき、個人520を表すアバタ・モデルMaは、実施形態の第1の例のステップ355で既に説明したアバタ・モデルMaの展開方法に従って、捕捉画像、及び画面に対する画像要素の距離測定値に基づき展開する。
【0315】
本発明の実施形態の変形形態では、デバイスは、3つのカメラ、例えば、画面に対して垂直に中央に位置するカメラ、及び中央カメラの両側に対称に水平に位置する2つのカメラを含む。これら3つのカメラは、個人520の3つの画像を異なる視野角で得、個人の顔の表現を向上させることを可能にする。
【0316】
個人520の顔の平坦テクスチャをアバタ・モデルMaから抽出する。
【0317】
眼鏡111の2Dモデルを得る前に、眼鏡111は、眼鏡111の追跡方法600により、カメラ132によって捕捉した画像シーケンスで追跡する。
【0318】
図8に概略図の形態で示す追跡方法600は、第1の初期化ステップ610を含む。
【0319】
初期化ステップ610は、眼鏡111が実際に個人520の顔の上に置かれているのと同じ
ように、つるが開いている眼鏡111のモデルMgをアバタMaの上に配置することを可能にする。
【0320】
このため、アバタMaの上へのモデルMgの第1の配置は、眼鏡111のモデルがアバタの鼻及び耳に載っているように、3Dで行われる。したがって、モデルMgは、ポーズ・パラメータの計算に従って配置される。ポーズ・パラメータは、画像内に表示される眼鏡111を得るため、カメラに対する向き及びモデルMgに適用される拡大を含む。
【0321】
アバタは、カメラ532と同じ向き及び同じ光学パラメータを有する仮想カメラに従って配置され、向けられる。このため、顔の位置及び向きは、当業者に周知の顔追跡方法を通じて各画像に対して決定される。この顔追跡は、顔の特徴点の追跡に基づく。しかし、画像内で隠される特徴、特に、眼鏡又は色付きレンズの背後に発見される特徴は、この顔追跡では考慮されないことを強調する。
【0322】
最初の画像の上に重ねた第1の層の上に、アバタ上に配置する眼鏡111のモデルを投影することで、眼鏡111のマスクを得ることを可能にする。
【0323】
第1の層の上での眼鏡111のマスクの位置を洗練するため、2つの成分:
−シーケンス内の先行する画像で見える顔及び目系統の特徴点、及びシーケンスの以前の画像に従って計算された成分;
−画像内の眼鏡111の外形、及び事前に合成した眼鏡111のモデルMgに従って計算された成分
に基づく費用関数を最小化することによってポーズ・パラメータを計算する。
【0324】
眼鏡111のモデルMgを初期化した後、追跡方法600は、第2のステップ620の間、モデルMgの点セットωを選択し、点セットωの法線は、本質的に点と仮想カメラとの間に形成した軸に直交する。
【0325】
眼鏡111の面112bが本質的にカメラ132の平面に平行であり、つる117があまり見えない場合、眼鏡111の追跡において、顔のモデルMgのみを考慮に入れることを強調する。
【0326】
顔がひどく曲がっており、面112bをあまり見えなくしている場合、眼鏡111の追跡において、つるのモデルMgのみを考慮に入れることを強調する。
【0327】
第3のステップ630の間、追跡方法600は、モデルMgの点セットωのうち、n個の点の下位サンプルを選択する。画像内でのn個の点の投影p2Dm=1・・nは、本質的に均一で規則的な間隔を示す。したがって、眼鏡111の面112bは、カメラの画像平面に対しほぼ平行である一方で、下位サンプルは、少数又はゼロの数のつる点を含む。
【0328】
n個の点のアンサンブルωの法線の投影に対応するベクトルn2Dm=1・・nは、第4のステップ640の間に計算する。
【0329】
投影p2D及びベクトルn2Dに基づき、方法600は、各指数mに対して、点n2Dmに対し、最も強い勾配の長さの投影p2Dmの法線を有する画像点p_gradmを探す。
【0330】
次に、追跡方法600は、第5のステップ650の間、点p2Dとp_gradとの間の距離の計算関数を最小化する。最小値に達した際、モデルMgの位置を眼鏡111の現実の位置を表すとみなす。
【0331】
第1の層の上へのモデルMgの投影に基づき、眼鏡111を覆うマスクを生成する。
【0332】
眼鏡111のマスクの外観の修正は、個人520が着用している現実の眼鏡111のフレーム112の色を新たな色に取り替えることによってもたらす。
【0333】
輝度の調節をもたらし、フレーム112の色の修正を現実のようにする。
【0334】
したがって、個人520は、画面530上に、同じ眼鏡111をかけているが異なる色のフレーム112を含む自分の画像を見る。
【0335】
本発明のこの実施形態の一変形形態では、眼鏡111のマスクの外観の変更により、最終画像において眼鏡111を隠すことを可能にし、このため、眼鏡111を顔に着用している個人520は、画面530上に、眼鏡111をかけていない自分の画像を見る。
【0336】
この目的で、本発明の別の実施形態で上記したように、眼鏡の環境表現の展開を実行する。したがって、眼鏡111の環境を表す顔及び背景テクスチャの値の投影を実施し、眼鏡111のマスクに対応する最初の画像の各画素を、投影から得た画素に取り替えることを可能にする。最終画像を現実のようにするため、新たなマスク画素の全て又は一部の比色を調節し、例えば、マスク縁部における比色差を消去する。この目的で、ポアソン画像編集として公知の画像編集技法を使用する。
【0337】
本発明の特定の実施形態の別の例
図9は、眼鏡111を顔に着用している個人820により使用される拡張現実デバイス800を示す。この例では、個人820の視力に適合する矯正レンズを有する眼鏡111が取り付けられる。
【0338】
個人820は、画面830に連結したカメラ832に向かって立ち、画面830は、個人820の頭部821の画像を鏡のようにライブ表示する。画面830上に表示される画像は、個人820の頭部を示すが、個人820は、眼鏡111を顔にかけていない。したがって、個人820は、眼鏡をかけていないが、まるで眼鏡を着用しているかのように自分自身をはっきりと見ることができる。
【0339】
個人820が実際には着用している眼鏡111を各画像内でリアルタイムに隠すため、ビデオとも呼ぶ、画面830上に表示される画像シーケンスの所与の瞬間に基づき、最初の画像に基づく最終画像の生成方法を使用する。
【0340】
この方法の間、眼鏡111を画像シーケンスの各画像内で検出、追跡する。眼鏡111のモデルを生成し、眼鏡111と同じように向け、層上への投影によってマスクを生成し、最初の画像の上に重ねる。
【0341】
眼鏡111を覆うマスクの外観を調節し、個人の顔に着用されている眼鏡111を画面上で消去する。
【0342】
この目的で、眼鏡111の背景内の環境の平坦マップを生成し、ビデオの各画像で捕捉した情報を考慮することによって動的に更新する。
【0343】
インペインティングという1つの方法により、マスクの画素付近の画像の少なくとも1つの画素に従って、眼鏡111のマスクの各画素の色の決定を可能にする。
【0344】
本例で使用する生成方法において、顔は、眼鏡111の環境内に含まれるが、環境を表すマップの展開のために検出するのではないことを強調する。眼鏡111のみを検出し、追跡する。
【0345】
本発明のこの特定の実施形態の変形形態では、個人820の顔の存在を検出するが、追跡しない。したがって、顔モデルを生成し、画像内で追跡した眼鏡の位置に関連して配置する。顔モデルは、投影の際に使用し、環境マップを展開する。顔モデルは、インペインティング方法によって直接使用することもできる。
【0346】
個人820は、眼鏡又はメーキャップを試着し、画面上で眼鏡又はメーキャップを付けた自分自身を見ることができる。仮想物体を試着する場合、眼鏡111の見える部分の外観のみ、即ち、仮想物体の投影によって覆われない部分のみを、有利に調節することが可能であり、これにより、計算時間を節約可能にすることを強調する。
【0347】
本発明の実施形態の別の例
図11は、コンピュータ・メモリ内に保存したビデオ915、又はカメラからのリアルタイム・ビデオ・ストリームを表示する画面910を表す。
【0348】
ビデオ915は、処理前の眼鏡111を顔921に着用している個人920の頭部を示している。
【0349】
図12は、ビデオ915を表示する画面910を表すが、眼鏡111は、本発明による最初の画像に基づく最終画像の生成方法によって、ビデオの各画像内で隠されている。
【0350】
この方法の間、ビデオの各画像において、顔921を検出、追跡する。各画像において、方法は、眼鏡111を覆う不透明マスクを含む層を追加する。マスクは、眼鏡の形状及びサイズの大部分を覆うようにサイズ決定されることを強調する。したがって、マスクは、本例で検出されない眼鏡111に結合されない。
【0351】
したがって、方法は、各画像に対し層を生成し、層の上で、マスクは、検出した顔に対して向けられ、サイズ決定される。
【0352】
各層に対し、生成方法は、事前に生成した眼鏡をかけていない顔モデルから作ったテクスチャをマスクに適用する。
【0353】
最終画像を現実のようにするため、生成方法は、マスク・テクスチャに「再度照明を当てる」技法を含み、テクスチャを、顔921を照らす現実の光の色に合わせる調節を可能にする。
【0354】
光源分析を可能にするため、例えば、擬ランバート表面モデル内で追跡する皮膚等の顔の部分に対し、照度差ステレオ等の周知の技法又は陰に基づく復元法(Shape from Shading)と呼ばれる技法を使用する。次に、合成光源等の光源及びそれらのパラメータを使用し、顔に「再度照明を当てる」。
【0355】
各マスクの上に、顔921の目のレベルで開口を確立し、各画像上に目を見せることができる。
【0356】
現実的にする理由で、目が眼鏡111レンズによって光学的に変形している場合、又はレンズが色付きである場合、開口をマスク上に生成しないことを強調する。
【0357】
開口をマスク上生成しない場合、再合成された目を含む層がマスク層の上に追加される。
【0358】
合成された目の向きは、有利には、当業者に周知の技法によって検出、追跡した目の実際の向きに基づき生成することができる。
【0359】
本発明の他の利点及び光学的特徴
本発明の実装形態の変形形態では、画像から消去する現実の物体は、顔を部分的又は完全に覆っている帽子、スカーフ、頭髪又はあらゆる他の要素とすることができる。方法は、例えば、個人が着用している衣類品等、画像内で隠すことが求められるあらゆる他の現実の物体に適用することもできる。
【0360】
本発明の実装形態の変形形態では、眼鏡に替わる、個人の顔に置かれる物体は、メーキャップ、宝飾品又は衣類等である。したがって、眼鏡を着用している個人は、メーキャップ又は礼服を仮想的に試着することができる一方で、眼鏡は画像から外されているため、コンタクト・レンズ装着シミュレーションを可能にする。スーツ、夜会服等、個人の体に着用する衣類品の試着の場合、個人の体の形態の走査が、現実的な衣類のレンダリングを得るのに有用であり得ることを強調する。
【0361】
本発明の実装形態の変形形態では、眼鏡を着用している個人は、同じ眼鏡をかけているが、現実に着用している眼鏡のフレームとは異なる色、テクスチャ及び/又は材料を表すフレームを有する眼鏡をかけている自分自身を画面上で見ることができる。
【0362】
本発明の実装形態の変形形態では、眼鏡を着用している個人は、同じ眼鏡をかけているが、現実に着用しているレンズの色とは異なる色のレンズをもつ眼鏡をかけている自分自身を画面上で見ることができる。
【0363】
本発明の実装形態の変形形態では、眼鏡を着用している個人は、同じ眼鏡をかけているが、現実に着用しているレンズとは異なる処理を含むレンズをもつ眼鏡をかけている自分自身を画面上で見ることができる。処理は、例えばレンズの反射防止処理又は減厚等、眼鏡技師に周知の処理の1つ又は組合せの追加又は抑制に対応する。
【0364】
本発明の実装形態の変形形態では、現実の眼鏡のレンズ領域が、仮想眼鏡の縁内部の画像内に含まれ、この状態を保持する場合、眼鏡を着用している個人は、新たな仮想眼鏡を試着している自分自身を画面上で見ることができるので、仮想眼鏡の現実性の強化を可能にする。実際、現実のレンズの一部を保持することによって、環境による現実の反射も画像内に保持される。レンズの現実の反射を全て保持したまま、現実のレンズの保持部分の色を修正し、色付き又は色の付いていないレンズを有する仮想眼鏡を得ることができることを強調する。
【0365】
本発明の実装形態の変形形態では、仮想物体は、画像内で消去すべき現実の物体の上に部分的にあり、現実の物体に対応するマスクの見える部分のみを修正する。
【0366】
本発明の実装形態の変形形態では、現実の物体は、画像の一部又は大部分から消去される。
【図1】
【図2】
【図3】
【図4(a)】
【図4(b)】
【図4(c)】
【図4(d)】
【図4(e)】
【図5】
【図6(a)】
【図6(b)】
【図6(c)】
【図6(d)】
【図6(e)】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】