(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021004863
(43)【公開日】20210114
(54)【発明の名称】検査装置
(51)【国際特許分類】
   G01B 11/02 20060101AFI20201211BHJP
【FI】
   !G01B11/02 H
【審査請求】未請求
【請求項の数】6
【出願形態】OL
【全頁数】24
(21)【出願番号】2019120293
(22)【出願日】20190627
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
【住所又は居所】大阪府大阪市東淀川区東中島1丁目3番14号
(74)【代理人】
【識別番号】100108523
【弁理士】
【氏名又は名称】中川 雅博
(74)【代理人】
【識別番号】100098305
【弁理士】
【氏名又は名称】福島 祥人
(74)【代理人】
【識別番号】100187931
【弁理士】
【氏名又は名称】澤村 英幸
(72)【発明者】
【氏名】下平 真達
【住所又は居所】大阪府大阪市東淀川区東中島1丁目3番14号 株式会社キーエンス内
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA24
2F065BB05
2F065DD04
2F065FF01
2F065FF09
2F065FF42
2F065GG07
2F065GG23
2F065GG24
2F065HH02
2F065HH07
2F065HH12
2F065HH14
2F065JJ03
2F065JJ09
2F065JJ26
2F065LL20
2F065NN02
2F065QQ01
2F065QQ24
2F065QQ25
2F065QQ28
2F065QQ41
(57)【要約】
【課題】測定対象物の高さについて検査の正確性を向上させることを可能にする検査装置を提供する。
【解決手段】照明部110A〜110Dについての複数の高さ画像データが合成され、合成高さ画像データが生成される。この合成時には、複数の高さ画像データの互いに対応する同一の画素位置の複数の画素piの各組pg1〜pgnについて、複数の画素piの複数の高さデータのうち組み合わせ条件に従う2つの高さデータの差分が算出される。差分が許容範囲内にあるか否かが判定される。差分が許容範囲内にある場合、差分の算出に用いられた2つの高さデータから予め定められた方法に従って求められる高さの値が、合成高さ画像データにおいて当該組に対応する対象画素の高さデータが示す合成有効値として設定される。差分が許容範囲内にない場合、当該組に対応する対象画素の高さデータの値が予め定められた合成無効値に設定される。
【選択図】図12
【特許請求の範囲】
【請求項1】
互いに異なる4方向から構造化光を複数のパターンに変化させつつ測定対象物に照射する第1の照明部、第2の照明部、第3の照明部および第4の照明部と、
測定対象物から反射される構造化光を受光することにより、前記第1の照明部に対応する複数の第1のパターン画像データを生成し、前記第2の照明部に対応する複数の第2のパターン画像データを生成し、前記第3の照明部に対応する複数の第3のパターン画像データを生成し、前記第4の照明部に対応する複数の第4のパターン画像データを生成する撮像部と、
前記複数の第1のパターン画像データに基づいて測定対象物の第1の高さ画像データを生成し、前記複数の第2のパターン画像データに基づいて測定対象物の第2の高さ画像データを生成し、前記複数の第3のパターン画像データに基づいて測定対象物の第3の高さ画像データを生成し、前記複数の第4のパターン画像データに基づいて測定対象物の第4の高さ画像データを生成するデータ生成部と、
前記第1〜第4の高さ画像データを合成することにより合成高さ画像データを生成する画像処理部とを備え、
前記画像処理部は、前記第1〜第4の高さ画像データにおける互いに対応する各同一の画素位置の高さデータから予め定められた条件に従う2つの高さデータを抽出してそれらの差分を算出するとともに、算出された差分が予め定められた許容範囲内にあるか否かを判定し、前記算出された差分が前記許容範囲内にある場合に前記差分の算出に用いられた2つの高さデータのうち少なくとも一方の高さデータに基づいて前記合成高さ画像データの当該画素位置の高さデータを決定し、前記算出された差分が前記許容範囲内にない場合に前記合成高さ画像データの当該画素位置の高さデータを無効値に設定する、検査装置。
【請求項2】
前記予め定められた条件は、各同一の画素位置の高さデータのうち各2つの高さデータの差分がそれぞれ算出された場合に、算出された複数の差分のうち最小の差分の算出に用いられた2つの高さデータを抽出することである、請求項1記載の検査装置。
【請求項3】
前記画像処理部は、各同一の画素位置の高さデータのうち予め定められた条件に従う2つの高さデータの差分が前記許容範囲内にある場合に前記差分の算出に用いられた2つの高さデータの平均値、または2つの高さデータのうち一方の値を前記合成高さ画像データの当該画素位置の高さデータの値として決定する、請求項1または2記載の検査装置。
【請求項4】
前記第1の照明部と前記第2の照明部とは、第1の方向において前記撮像部を挟んで互いに対向するように配置され、
前記第3の照明部と前記第4の照明部とは、前記第1の方向に交差する第2の方向において前記撮像部を挟んで互いに対向するように配置された、請求項1〜3のいずれか一項に記載の検査装置。
【請求項5】
前記データ生成部は、前記第1〜第4の高さ画像データの各々の生成時に、当該照明部に対応して生成される複数のパターン画像データと予め定められた受光判定条件とに基づいて、生成されるべき高さ画像データの各画素位置に対応する測定対象物の部分が構造化光を前記撮像部に反射することが不可能な照明不可能部分であるか否かを判定し、前記照明不可能部分に対応する画素位置の高さデータを照明無効値に設定し、
前記画像処理部は、前記予め定められた条件に従う2つの高さデータの差分の算出に前記照明無効値を用いない、請求項1〜4のいずれか一項に記載の検査装置。
【請求項6】
前記画像処理部は、各画素位置の4つの高さデータのうち1つの高さデータのみが前記照明無効値以外の値を示しかつ他の高さデータが前記照明無効値に設定されている場合に、当該画素位置の高さデータとして前記1つの高さデータを設定するかまたは当該画素位置の高さデータの値を前記無効値に設定するかをさらに選択可能に構成された、請求項5記載の検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、測定対象物の高さを検査する検査装置に関する。
【背景技術】
【0002】
三角測距方式の検査装置においては、例えば投光部により測定対象物の表面に構造化光が照射され、その反射光が1次元または2次元に配列された画素を有する受光部により受光される。受光部により得られる受光量分布のデータに基づいて、測定対象物の高さ画像を示す高さ画像データが生成される。
【0003】
高さ画像データの生成に関して、測定対象物に対する構造化光の照射方向、測定対象物から反射する構造化光を受ける受光方向または測定対象物の形状によっては、測定対象物の表面上で測定不可能な部分が生じる可能性がある。
【0004】
そこで、測定対象物に向けて構造化光を複数の方向において順次照射するとともに測定対象物により一方向に反射される構造化光を順次受光することにより複数の照射方向にそれぞれ対応する複数の高さ画像データを生成し、それらを合成する方法がある。あるいは、測定対象物に向かう一方向に構造化光を照射するとともに測定対象物から複数の方向に反射する構造化光をそれぞれ受光することにより複数の受光方向にそれぞれ対応する複数の高さ画像データを生成し、それらを合成する方法がある。複数の方向にそれぞれ対応する複数の高さ画像データが合成されることにより、測定不可能な部分が低減された高さ画像データが生成される。
【0005】
例えば、特許文献1に記載された三次元計測装置においては、一のプロジェクタから測定対象物に構造化光が照射される。構造化光が照射された測定対象物が複数の位置に配置された複数の撮像手段により撮像される。各撮像手段により得られた画像を用いて測定対象物の三次元点群(高さ画像データ)が計測される。複数の撮像手段にそれぞれ対応する複数の三次元点群の計測結果が統合される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第5633058号
【発明の概要】
【発明が解決しようとする課題】
【0007】
複数の三次元点群の計測結果の統合時には、複数の三次元点群の間で、互いに対応する画素ごとに信頼度が比較され、信頼度の高い計測結果が当該画素についての最終的な計測結果の候補として残される。画素ごとに残された計測結果から最終的な計測結果が得られる。
【0008】
特許文献1に記載された技術において、信頼度の比較は構造化光を用いた位相解析時に得られる各画素の輝度の振幅を比較することにより行われる。具体的には、ある画素について、複数の撮像手段のうち輝度の振幅が大きいと判定された撮像手段に対応する計測結果が残される。
【0009】
この場合、例えばハレーションの発生に起因して飽和した計測値が採用されることおよび影の発生に起因してノイズレベルの計測値が採用されることが低減される。しかしながら、上記のように画素ごとの輝度の振幅を用いても、適切な信頼度の比較を行うことができない可能性がある。
【0010】
例えば、測定対象物の形状、表面状態および材料によっては、測定対象物への構造化光の照射時にその表面上で多重反射が発生する場合がある。この場合、多重反射の発生部分においては、輝度の振幅が小さくならない(減衰しない)可能性がある。そのため、当該部分について多重反射の成分を含む計測結果が最終的な計測結果の候補として残されると、測定対象物の検査の正確性が低下する。
【0011】
本発明の目的は、測定対象物の高さについて検査の正確性を向上させることを可能にする検査装置を提供することである。
【課題を解決するための手段】
【0012】
(1)本発明に係る検査装置は、互いに異なる4方向から構造化光を複数のパターンに変化させつつ測定対象物に照射する第1の照明部、第2の照明部、第3の照明部および第4の照明部と、測定対象物から反射される構造化光を受光することにより、第1の照明部に対応する複数の第1のパターン画像データを生成し、第2の照明部に対応する複数の第2のパターン画像データを生成し、第3の照明部に対応する複数の第3のパターン画像データを生成し、第4の照明部に対応する複数の第4のパターン画像データを生成する撮像部と、複数の第1のパターン画像データに基づいて測定対象物の第1の高さ画像データを生成し、複数の第2のパターン画像データに基づいて測定対象物の第2の高さ画像データを生成し、複数の第3のパターン画像データに基づいて測定対象物の第3の高さ画像データを生成し、複数の第4のパターン画像データに基づいて測定対象物の第4の高さ画像データを生成するデータ生成部と、第1〜第4の高さ画像データを合成することにより合成高さ画像データを生成する画像処理部とを備え、画像処理部は、第1〜第4の高さ画像データにおける互いに対応する各同一の画素位置の高さデータから予め定められた条件に従う2つの高さデータを抽出してそれらの差分を算出するとともに、算出された差分が予め定められた許容範囲内にあるか否かを判定し、算出された差分が許容範囲内にある場合に差分の算出に用いられた2つの高さデータのうち少なくとも一方の高さデータに基づいて合成高さ画像データの当該画素位置の高さデータを決定し、算出された差分が許容範囲内にない場合に合成高さ画像データの当該画素位置の高さデータを無効値に設定する。
【0013】
その検査装置においては、第1〜第4の照明部の各々から構造化光が複数のパターンに変化されつつ測定対象物に複数回照射される。撮像部において、測定対象物から反射される構造化光が受光される。それにより、第1の照明部に対応する複数の第1パターン画像データが生成され、複数の第1パターン画像データに基づいて第1の高さ画像データが生成される。また、第2の照明部に対応する複数の第2のパターン画像データが生成され、複数の第2パターン画像データに基づいて第2の高さ画像データが生成される。また、第3の照明部に対応する複数の第3のパターン画像データが生成され、複数の第3パターン画像データに基づいて第3の高さ画像データが生成される。また、第4の照明部に対応する複数の第4のパターン画像データが生成され、複数の第4パターン画像データに基づいて第4の高さ画像データが生成される。
【0014】
第1〜第4の高さ画像データが合成され、合成高さ画像データが生成される。この合成時には、第1〜第4の高さ画像データにおける互いに対応する各同一の画素位置の高さデータから予め定められた条件に従う2つの高さデータが抽出され、それらの差分が算出される。また、算出された差分が許容範囲内にあるか否かが判定される。
【0015】
ここで、算出された差分が許容範囲内にある場合、差分の算出に用いられた2つの高さデータは当該画素位置に対応する測定対象物の部分の真の高さに対して許容誤差範囲内にある高さを示す正確性の高いデータである。そこで、算出された差分が許容範囲内にある場合には、差分の算出に用いられた2つの高さデータのうち少なくとも一方の高さデータに基づいて、合成高さ画像データの当該画素位置の高さデータが決定される。
【0016】
一方、算出された差分が許容範囲内にない場合、差分の算出に用いられた2つの高さデータは真の高さに対して許容誤差範囲から外れた高さを示す正確性の低いデータである可能性が高い。そこで、算出された差分が許容範囲内にない場合には、合成高さ画像データにおいて当該画素位置の高さデータが無効値に設定される。
【0017】
これにより、合成高さ画像データの各画素位置においては、正確性の高い高さデータの値が示されるが、正確性の低い高さデータの値は示されない。したがって、生成された合成高さ画像データを用いることにより、測定対象物の高さについて検査の正確性を向上させることが可能になる。
【0018】
(2)予め定められた条件は、各同一の画素位置の高さデータのうち各2つの高さデータの差分がそれぞれ算出された場合に、算出された複数の差分のうち最小の差分の算出に用いられた2つの高さデータを抽出することであってもよい。
【0019】
上記の条件に従って抽出される2つの高さデータは、各同一の画素位置の高さデータのうち特に高い正確性を有すると考えられる。したがって、合成高さ画像データの正確性がより向上する。
【0020】
(3)画像処理部は、各同一の画素位置の高さデータのうち予め定められた条件に従う2つの高さデータの差分が許容範囲内にある場合に差分の算出に用いられた2つの高さデータの平均値、または2つの高さデータのうち一方の値を合成高さ画像データの当該画素位置の高さデータの値として決定してもよい。
【0021】
この場合、合成高さ画像データの各画素位置の高さデータの値が容易かつ適切に算出される。
【0022】
(4)第1の照明部と第2の照明部とは、第1の方向において撮像部を挟んで互いに対向するように配置され、第3の照明部と第4の照明部とは、第1の方向に交差する第2の方向において撮像部を挟んで互いに対向するように配置されてもよい。
【0023】
この場合、測定対象物の表面の広い範囲に渡って構造化光を照射することができる。したがって、測定対象物の表面の広い範囲に渡って高い正確性を有する合成高さ画像データを取得することができる。
【0024】
(5)データ生成部は、第1〜第4の高さ画像データの各々の生成時に、当該照明部に対応して生成される複数のパターン画像データと予め定められた受光判定条件とに基づいて、生成されるべき高さ画像データの各画素位置に対応する測定対象物の部分が構造化光を撮像部に反射することが不可能な照明不可能部分であるか否かを判定し、照明不可能部分に対応する画素位置の高さデータを照明無効値に設定し、画像処理部は、予め定められた条件に従う2つの高さデータの差分の算出に照明無効値を用いなくてもよい。
【0025】
この場合、第1〜第4の高さ画像データにおいて照明不可能部分を示す画素位置の高さデータの値が、合成高さ画像データの生成に用いられない。それにより、照明不可能部分に起因する不安定な高さの成分が合成高さ画像データに残ることが防止される。
【0026】
(6)画像処理部は、各画素位置の4つの高さデータのうち1つの高さデータのみが照明無効値以外の値を示しかつ他の高さデータが照明無効値に設定されている場合に、当該画素位置の高さデータとして1つの高さデータを設定するかまたは当該画素位置の高さデータの値を無効値に設定するかをさらに選択可能に構成されてもよい。
【0027】
この場合、測定対象物の形状、材質および表面状態等に応じて適切な合成高さ画像データを生成することが可能になる。
【発明の効果】
【0028】
本発明によれば、測定対象物の高さについて検査の正確性が向上する。
【図面の簡単な説明】
【0029】
【図1】本発明の一実施の形態に係る検査装置の構成を示すブロック図である。
【図2】本発明の一実施の形態に係る検査装置の構成を示すブロック図である。
【図3】図1の各照明部の構成の一例を示す図である。
【図4】三角測距方式の原理を説明するための図である。
【図5】図1の検査装置により実行される検査処理の一例を示すフローチャートである。
【図6】(a)は高さ画像データの正確性を説明するための測定対象物の一例を示す外観斜視図であり、(b)は(a)の測定対象物Sの平面図であり、(c)は(a)の測定対象物の端面図である。
【図7】図6の測定対象物の検査時における図2の複数の照明部および撮像部と測定対象物との位置関係の一例を示す模式的斜視図である。
【図8】(a)は図7の一の照明部から測定対象物に構造化光が照射される状態を示す側面図であり、(b)は(a)の構造化光の照射により取得される高さ画像を示す図である。
【図9】(a)は図7の他の照明部から測定対象物に構造化光が照射される状態を示す側面図であり、(b)は(a)の構造化光の照射により取得される高さ画像を示す図である。
【図10】(a)は図7のさらに他の照明部から測定対象物に構造化光が照射される状態を示す側面図であり、(b)は(a)の構造化光の照射により取得される高さ画像を示す図である。
【図11】(a)は図7のさらに他の照明部から測定対象物に構造化光が照射される状態を示す側面図であり、(b)は(a)の構造化光の照射により取得される高さ画像を示す図である。
【図12】本発明の一実施の形態に係る合成処理の概念を示す図である。
【図13】本発明の一実施の形態に係る合成処理により生成される合成高さ画像データに基づく高さ画像の一例を示す図である。
【図14】本発明の一実施の形態に係る合成処理のフローチャートである。
【図15】他の実施の形態に係る合成処理のフローチャートである。
【発明を実施するための形態】
【0030】
以下、本発明の一実施の形態に係る検査装置について図面を参照しながら説明する。
【0031】
[1]検査装置の構成
図1および図2は、本発明の一実施の形態に係る検査装置の構成を示すブロック図である。図1および図2に示すように、検査装置300は、ヘッド部100、コントローラ部200、操作部310および表示部320を備える。コントローラ部200は、プログラマブルロジックコントローラ等の外部機器400に接続される。
【0032】
図1に太い矢印で示すように、複数の測定対象物Sが、ヘッド部100の下方の空間を通過するようにベルトコンベア301により順次搬送される。各測定対象物Sがヘッド部100の下方の空間を通過する際には、当該測定対象物Sがヘッド部100の下方の所定の位置で一時的に静止するように、ベルトコンベア301が一定時間停止する。
【0033】
ヘッド部100は、例えば投受光一体の撮像デバイスであり、複数の照明部110、撮像部120および演算部130を含む。なお、図2においては、演算部130の図示が省略されている。本実施の形態においては、4個の照明部110が90度間隔で撮像部120を取り囲むように設けられている。
【0034】
各照明部110は、任意のパターンを有する赤色、青色、緑色または白色の光を斜め上方から測定対象物Sに照射可能に構成される。また、各照明部110は、パターンを有しない赤色、青色、緑色または白色の一様な光を斜め上方から測定対象物Sに照射可能に構成される。以下、任意のパターンを有する光を構造化光と呼び、一様な光を一様光と呼ぶ。
【0035】
また、4個の照明部110を区別する場合は、4個の照明部110をそれぞれ照明部110A,110B,110C,110Dと呼ぶ。照明部110Aと照明部110Bとは撮像部120を挟んで対向する。また、照明部110Cと照明部110Dとは撮像部120を挟んで対向する。照明部110の構成については後述する。
【0036】
撮像部120は、図1に示すように、撮像素子121および受光レンズ122,123を含む。受光レンズ122,123のうち少なくとも受光レンズ122は、テレセントリックレンズである。測定対象物Sにより上方に反射された構造化光は、撮像部120の受光レンズ122,123により集光および結像された後、撮像素子121により受光される。撮像素子121は、例えばモノクロCCD(電荷結合素子)であり、各画素から受光量に対応するアナログの電気信号を出力することにより画像データを生成する。撮像素子121は、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。
【0037】
以下の説明では、構造化光が測定対象物Sに照射された状態で撮像部120により生成される測定対象物Sの画像を示す画像データをパターン画像データと呼ぶ。これに対し、一様光が測定対象物Sに照射された状態で撮像部120により生成される測定対象物Sの画像を示す画像データをテクスチャ画像データと呼ぶ。
【0038】
演算部130は、例えばFPGA(フィールドプログラマブルゲートアレイ)により実現され、撮像処理部131、演算処理部132、画像処理部133、記憶部134および出力処理部135を含む。本実施の形態においては、演算部130はFPGAにより実現されるが、本発明はこれに限定されない。演算部130は、CPU(中央演算処理装置)およびRAM(ランダムアクセスメモリ)により実現されてもよいし、マイクロコンピュータにより実現されてもよい。
【0039】
撮像処理部131は、4個の照明部110および撮像部120の動作を制御する。演算処理部132は、4個の照明部110の各々について、複数のパターン画像データに基づいて測定対象物Sの高さ画像を示す高さ画像データを生成する。高さ画像データは、複数の画素位置にそれぞれ対応する測定対象物Sの複数の部分の高さを示す複数の高さデータにより構成される。
【0040】
画像処理部133は、演算処理部132により複数の照明部110にそれぞれ対応して生成された複数の高さ画像データを合成することにより、合成高さ画像データを生成する。また、画像処理部133は、複数の照明部110にそれぞれ対応して撮像部120により生成された複数のテクスチャ画像データを合成することにより、合成テクスチャ画像データを生成する。画像処理部133の詳細については後述する。
【0041】
記憶部134は、演算部130における作業領域として用いられるとともに、撮像部120、演算処理部132および画像処理部133により生成されたパターン画像データ、高さ画像データ、合成高さ画像データ、テクスチャ画像データおよび合成テクスチャ画像データを一時的に記憶する。出力処理部135は、記憶部134に記憶された合成高さ画像データまたは合成テクスチャ画像データを出力する。
【0042】
コントローラ部200は、ヘッド制御部210、画像メモリ220および検査部230を含む。ヘッド制御部210は、外部機器400により与えられる指令に基づいて、ヘッド部100の動作を制御する。画像メモリ220は、演算部130により出力された合成高さ画像データまたは合成テクスチャ画像データを記憶する。
【0043】
検査部230は、使用者により指定された検査内容と、画像メモリ220に記憶された合成高さ画像データまたは合成テクスチャ画像データとに基づいてエッジ検出または寸法計測等の処理を実行する。また、検査部230は、計測値を所定のしきい値と比較することにより、測定対象物Sの良否を判定し、判定結果を外部機器400に与える。
【0044】
コントローラ部200には、操作部310および表示部320が接続される。操作部310は、キーボード、ポインティングデバイスまたは専用のコンソールを含む。ポインティングデバイスとしては、マウスまたはジョイスティック等が用いられる。使用者は、操作部310を操作することにより、コントローラ部200に所望の検査内容を指定することができる。
【0045】
表示部320は、例えばLCD(液晶ディスプレイ)パネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。表示部320は、画像メモリ220に記憶された合成高さ画像データに基づく高さ画像等を表示する。また、表示部320は、検査部230による測定対象物Sの判定結果を表示する。
【0046】
図3は、図1の各照明部110の構成の一例を示す図である。図3に示すように、各照明部110は、光源111,112,113、ダイクロイックミラー114,115、照明レンズ116、ミラー117、パターン生成部118および投光レンズ119を含む。光源111,112,113は、例えばLED(発光ダイオード)であり、緑色光、青色光および赤色光をそれぞれ出射する。各光源111〜113はLED以外の他の光源であってもよい。
【0047】
ダイクロイックミラー114は、光源111により出射された緑色光と光源112により出射された青色光とを重ね合わせ可能に配置される。ダイクロイックミラー115は、ダイクロイックミラー114により重ね合わされた光と光源113により出射された赤色光とを重ね合わせ可能に配置される。これにより、光源111〜113によりそれぞれ出射された光が共通の光路上で重ね合わされ、白色光が生成可能となる。
【0048】
照明レンズ116は、ダイクロイックミラー115を通過または反射した光を集光する。ミラー117は、照明レンズ116により集光された光をパターン生成部118に反射する。パターン生成部118は、例えばDMD(デジタルマイクロミラーデバイス)であり、入射した光に任意のパターンを付与する。パターン生成部118は、LCDまたはLCOS(反射型液晶素子)であってもよい。投光レンズ119は、パターン生成部118の光生成面からの光を拡大しつつ図1の測定対象物Sに照射する。なお、投光レンズ119は、パターン生成部118からの光を平行化して測定対象物Sに照射可能に構成されてもよい。
【0049】
図1の撮像処理部131は、光源111〜113による光の出射を制御するとともに、パターン生成部118により光に付与されるパターンを制御する。これにより、赤色、青色、緑色または白色の構造化光と赤色、青色、緑色または白色の一様光とを選択的に照明部110から出射することが可能となる。なお、本実施の形態では、白色の構造化光または一様光が、各照明部110から測定対象物Sに選択的に照射される。
【0050】
[2]高さ画像データの生成
検査装置300においては、ヘッド部100に固有の三次元座標系(以下、装置座標系と呼ぶ。)が定義される。本例の装置座標系は、原点と互いに直交するX軸、Y軸およびZ軸とを含む。以下の説明では、装置座標系のX軸に平行な方向をX方向と呼び、Y軸に平行な方向をY方向と呼び、Z軸に平行な方向をZ方向と呼ぶ。X方向およびY方向は、ベルトコンベア301の上面(以下、基準面と呼ぶ。)に平行な面内で互いに直交する。Z方向は、基準面に対して直交する。
【0051】
ヘッド部100においては、三角測距方式により測定対象物Sの高さ画像を示す高さ画像データが生成される。図4は、三角測距方式の原理を説明するための図である。図4には、X方向、Y方向およびZ方向がそれぞれ矢印で示される。図4に示すように、照明部110から出射される光の光軸と撮像部120に入射する光の光軸との間の角度αが予め設定される。角度αは、0度よりも大きく90度よりも小さい。
【0052】
ヘッド部100の下方に測定対象物Sが存在しない場合、照明部110から出射される光は、基準面Rの点Oにより反射され、撮像部120に入射する。一方、ヘッド部100の下方に測定対象物Sが存在する場合、照明部110から出射される光は、測定対象物Sの表面の点Aにより反射され、撮像部120に入射する。これにより、測定対象物Sが撮像され、測定対象物Sの画像を示す画像データが生成される。
【0053】
点Oと点Aとの間のX方向における距離をdとすると、基準面Rに対する測定対象物Sの点Aの高さhは、h=d÷tan(α)により与えられる。演算部130は、撮像部120により生成される画像データに基づいて、距離dを算出する。また、演算部130は、算出された距離dに基づいて、測定対象物Sの表面の点Aの高さhを算出する。測定対象物Sの表面の全ての点の高さを算出することにより、光が照射された全ての点について装置座標系で表される座標を特定することができる。それにより、測定対象物Sの高さ画像データが生成される。
【0054】
測定対象物Sの表面の全ての点に光を照射するために、各照明部110から種々のパターンを有する構造化光が順次出射される。本実施の形態においては、Y方向に平行でかつX方向に並ぶような直線状の断面を有する縞状の構造化光(以下、縞状光と呼ぶ。)が、その空間位相が変化されつつ各照明部110から複数回出射される。また、Y方向に平行な直線状の断面を有しかつ明部分と暗部分とがX方向に並ぶコード状の構造化光(以下、コード状光と呼ぶ。)が、その明部分および暗部分がグレイコード状に変化されつつ各照明部110から複数回出射される。
【0055】
[3]検査処理の基本的なフロー
図5は、図1の検査装置300により実行される検査処理の一例を示すフローチャートである。本例の検査処理においては、合成高さ画像データおよび合成テクスチャ画像データがこの順で生成される。図5に示すように、まず撮像処理部131は、照明部110A〜110Dのうち、いずれか1つの照明部110を選択する(ステップS11)。次に、撮像処理部131は、所定のパターンを有する白色の構造化光を出射するように、ステップS11または後述するステップS19で選択された照明部110を制御する(ステップS12)。
【0056】
また、撮像処理部131は、ステップS12における構造化光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する(ステップS13)。これにより、測定対象物Sのパターン画像データが撮像部120により生成される。その後、撮像処理部131は、ステップS13で生成されたパターン画像データを記憶部134に記憶させる(ステップS14)。続いて、撮像処理部131は、所定の回数撮像が実行されたか否かを判定する(ステップS15)。
【0057】
ステップS15で、所定の回数撮像が実行されていない場合、撮像処理部131は、構造化光のパターンを変更するように図3のパターン生成部118を制御し(ステップS16)、ステップS12に戻る。所定の回数撮像が実行されるまで、ステップS12〜S16が繰り返される。これにより、パターンが変化されつつ縞状光およびコード状光が測定対象物Sに順次照射されたときの複数のパターン画像データが記憶部134に記憶される。なお、縞状光とコード状光とは、いずれが先に出射されてもよい。
【0058】
ステップS15で、所定の回数撮像が実行された場合、演算処理部132は、記憶部134に記憶された複数のパターン画像データについて演算を行うことにより、高さ画像データを生成する(ステップS17)。
【0059】
ここで、一の照明部110について生成される複数のパターン画像データの互いに対応する同一の画素位置の複数の画素の値(輝度値)のばらつきの大きさが所定のしきい値以下であることは、当該複数の画素に対応する測定対象物Sの部分に光が到達せずに影が発生していることを意味する。または、一の照明部110について生成される複数のパターン画像データの互いに対応する同一の画素位置の複数の画素の値のばらつきの大きさが所定のしきい値以下であることは、当該複数の画素に対応する測定対象物Sの部分からの反射光が撮像部120に入射しないことを意味する。
【0060】
そこで、演算処理部132は、高さ画像データの生成時に、構造化光を撮像部120へ反射することが不可能な測定対象物Sの部分(以下、照明不可能部分と呼ぶ。)に対応する画素位置の高さデータの値を予め定められた照明無効値に設定する。
【0061】
具体的には、演算処理部132は、ステップS12〜S16で生成された複数のパターン画像データの互いに対応する同一の画素位置の複数の画素について、複数の画素データの値のばらつきの大きさが所定のしきい値以下であるか否かを判定する。そこで、演算処理部132は、複数の値のばらつきの大きさが所定のしきい値以下である場合に、高さ画像データにおいて複数のパターン画像データの互いに対応する同一の画素位置の複数の画素に対応する高さデータの値を照明無効値に設定する。このようにして、高さ画像データにおいて照明不可能部分に対応する画素位置の高さデータの値が照明無効値に設定される。照明無効値は、例えば0である。複数の値のばらつきの大きさを判定するための上記のしきい値は、測定対象物Sの検査前に、受光判定条件として予め図1の記憶部134に記憶される。
【0062】
次に、演算処理部132は、複数の照明部110にそれぞれ対応する所定数(本例では4個)の高さ画像データが生成されたか否かを判定する(ステップS18)。所定数の高さ画像データが生成されていない場合、撮像処理部131は、他の照明部110を選択し(ステップS19)、ステップS12に戻る。所定数の高さ画像データが生成されるまで、ステップS12〜S19が繰り返される。
【0063】
ステップS18で、所定数の高さ画像データが生成された場合、画像処理部133は、生成された所定数の高さ画像データを合成する合成処理を行う(ステップS20)。これにより、合成高さ画像データが生成される。合成処理の詳細については後述する。また、出力処理部135は、ステップS20で生成された合成高さ画像データをコントローラ部200に出力する(ステップS21)。これにより、コントローラ部200の画像メモリ220に合成高さ画像データが蓄積される。
【0064】
続いて、ヘッド部100においてテクスチャ生成処理が実行される(ステップS22)。テクスチャ生成処理においては、撮像処理部131は、白色の一様光が順次出射されるように複数の照明部110を制御する。また、撮像処理部131は、各一様光の出射と同期して測定対象物Sを撮像するように撮像部120を制御する。それにより、複数の照明部110にそれぞれ対応する複数のテクスチャ画像データが生成される。さらに、画像処理部133は、生成された複数のテクスチャ画像データを合成する。それにより、合成テクスチャ画像データが生成される。また、出力処理部135は、生成された合成テクスチャ画像データをコントローラ部200に出力する。これにより、コントローラ部200の画像メモリ220に合成テクスチャ画像データが蓄積される。
【0065】
その後、コントローラ部200において判定処理が実行される(ステップS23)。判定処理においては、検査部230は、画像メモリ220に蓄積された合成高さ画像データおよび合成テクスチャ画像データのうち少なくとも一方と画像メモリ220に予め設定された各種しきい値とに基づいて測定対象物Sの良否を判定(検査)する。なお、検査部230は、ステップS23における判定結果を表示部320に表示してもよいし、外部機器400に与えてもよい。
【0066】
上記のステップS11〜S21までの一連の処理とステップS22のテクスチャ生成処理とは、いずれが先に実行されてもよいし、部分的に並列して実行されてもよい。
【0067】
[4]高さ画像データの正確性
本実施の形態においては、測定対象物Sの複数の部分の各々について、当該部分の真の高さに対する当該部分に対応する高さ画像データの画素が示す値(高さデータが示す値)の一致度を高さ画像データの正確性と呼ぶ。真の高さに対して高さ画像データの値が一致しているかほぼ一致している場合に、高さ画像データの正確性は高いとされる。一方、真の高さに対して高さ画像データの値が大きく外れている場合に、高さ画像データの正確性は低いとされる。
【0068】
高さ画像データの正確性について具体例を参照しつつ説明する。図6(a)は高さ画像データの正確性を説明するための測定対象物Sの一例を示す外観斜視図であり、図6(b)は図6(a)の測定対象物Sの平面図であり、図6(c)は図6(a)の測定対象物Sの端面図である。
【0069】
図6(a)〜(c)に示すように、本例の測定対象物Sは、例えば表面に光沢がある金属材料により形成され、ベース部s0および壁部Wを有する。ベース部s0は、一方向に延びる矩形板状に形成され、一端面s01、他端面s02、上面および下面を有する。壁部Wは、ベース部s0の上面の一部から上方に突出するように形成され、ベース部s0の上面に平行な略U字形状の断面を有する。壁部Wの内側の空間GSは、ベース部s0における他端面s02から一端面s01に向く方向に開放されている。ベース部s0の上面は、ベース部s0の下面を基準として均一な高さを有する。また、壁部Wの上面も、ベース部s0の下面を基準として均一な高さを有する。
【0070】
図7は、図6の測定対象物Sの検査時における図2の複数の照明部110および撮像部120と測定対象物Sとの位置関係の一例を示す模式的斜視図である。図7では、複数の照明部110と撮像部120との位置関係の把握を容易にするために、図2の4個の照明部110A,110B,110C,110Dおよび撮像部120が丸印で示される。また、撮像部120を通ってX方向およびY方向にそれぞれ平行に延びる2本の直線が一点鎖線で示される。
【0071】
撮像部120は、撮像視野が下方に向くようにかつ撮像部120の光学系(図1の受光レンズ122,123)の光軸がZ方向に平行となるようにベルトコンベア301の上方に配置されている。一方、照明部110A,110Bは、Z方向における撮像部120と同じかまたはほぼ同じ高さ位置で、X方向において撮像部120を挟むように対称に配置されている。照明部110C,110Dは、Z方向における撮像部120と同じかまたはほぼ同じ高さ位置で、Y方向において撮像部120を挟むように対称に配置されている。
【0072】
測定対象物Sは、撮像部120の下方でかつ撮像部120の光学系の光軸上に位置する。また、測定対象物Sは、一端面s01が照明部110Aの方向に向きかつ他端面s02が照明部110Bの方向に向くように、ベルトコンベア301上でX方向に平行に配置されている。
【0073】
測定対象物Sの検査時には、図7に示すように、測定対象物Sの中心が撮像部120の光学系の光軸上に位置する状態でベルトコンベア301が一時停止する。また、上記の検査処理におけるステップS11〜S19の処理により、図7に太い実線の矢印で示すように、各照明部110A,110B,110C,110Dから測定対象物Sに複数のパターンを含む一連の構造化光が順次照射される。このとき、図7に太い二点鎖線の矢印で示すように、測定対象物Sから反射されて上方に進行する各構造化光が、撮像部120の図1の撮像素子121により受光される。それにより、照明部ごとに一連の構造化光に対応する一連のパターン画像データが生成される。
【0074】
ここで、各照明部110から測定対象物Sに照射される構造化光の進行方向は、撮像部120の光学系の光軸に対して傾斜している。そのため、測定対象物Sの形状によっては、構造化光の照射方向ごとに、上記の照明不可能部分が生じる可能性がある。あるいは、測定対象物Sの表面状態によっては、構造化光の照射方向ごとに撮像部120の撮像視野内で構造化光の多重反射が発生する部分(以下、多重反射部分と呼ぶ。)が生じる可能性がある。これらの部分については、高い正確性を有する高さ画像データを得ることができない。
【0075】
図8(a)は図7の一の照明部110Aから測定対象物Sに構造化光が照射される状態を示す側面図であり、図8(b)は図8(a)の構造化光の照射により取得される高さ画像を示す図である。
【0076】
図8(a)ならびに後述する図9(a)、図10(a)および図11(a)では、各照明部110A〜110Dから測定対象物Sに照射される構造化光の照射範囲がハッチングにより示される。また、図8(b)ならびに後述する図9(b)、図10(b)および図11(b)に示される高さ画像においては、測定対象物Sの表面上の各部の高さがドットパターンの濃度で表される。本例では、ドットパターンの濃度が高いほど対応する部分の高さが低いことを示し、ドットパターンの濃度が低いほど対応する部分の高さが高いことを示す。さらに、図8(b)ならびに後述する図9(b)、図10(b)および図11(b)に示される高さ画像においては、上記の照明不可能部分に対応する部分が濃いハッチングにより表され、上記の多重反射部分に対応する部分が空白で表される。本例の照明不可能部分は、影の発生部分である。
【0077】
図8(a)に示すように、照明部110Aからベース部s0の他端面s02に向かって進行する構造化光は、壁部Wにより遮光される。それにより、図8(a)に太い実線で示すように、ベース部s0の他端面s02の近傍には照明不可能部分ssが発生する。
【0078】
また、図8(a)に二点鎖線の矢印a1で示すように、照明部110Aからベース部s0の一端面s01に向かって進行する構造化光は、その一端面s01により反射され、ベルトコンベア301の上面のうち当該一端面s01の近傍部分に入射する。さらに、図8(a)に二点鎖線の矢印a2で示すように、照明部110Aから壁部Wの内側の空間GSに向かって進行する構造化光の一部は、その壁部Wの内面の一部により反射され、ベース部s0の上面の一部に入射する。それにより、ベルトコンベア301およびベース部s0の上面の一部分には、多重反射部分rrが発生する。
【0079】
その結果、図8(b)に示すように、照明部110Aについての高さ画像には、壁部W、ベース部s0およびベルトコンベア301の上面の高さをそれぞれ示す壁画像wi、ベース画像s0iおよびコンベア画像301iとともに、照明不可能部分ssおよび多重反射部分rrをそれぞれ示す照明不可能画像ssiおよび多重反射画像rriが含まれる。照明不可能画像ssiを構成する各画素の値は、上記の照明無効値に設定されている。照明不可能画像ssiおよび多重反射画像rriの表示部分は、本来的に壁部W、ベース部s0およびベルトコンベア301の上面のいずれかの高さが表されるべき部分である。そのため、照明部110Aについて取得される高さ画像データは、局部的に低い正確性を有する。
【0080】
図9(a)は図7の他の照明部110Bから測定対象物Sに構造化光が照射される状態を示す側面図であり、図9(b)は図9(a)の構造化光の照射により取得される高さ画像を示す図である。図10(a)は図7のさらに他の照明部110Cから測定対象物Sに構造化光が照射される状態を示す側面図であり、図10(b)は図10(a)の構造化光の照射により取得される高さ画像を示す図である。図11(a)は図7のさらに他の照明部110Dから測定対象物Sに構造化光が照射される状態を示す側面図であり、図11(b)は図11(a)の構造化光の照射により取得される高さ画像を示す図である。
【0081】
図9(a)、図10(a)および図11(a)の例においても、図8(a)の例と同様に、各照明部110B,110C,110Dから測定対象物Sに構造化光が照射されることにより、ベルトコンベア301およびベース部s0の上面の一部分には、照明不可能部分ssおよび多重反射部分rrが発生する。図9(a)、図10(a)および図11(a)では、照明不可能部分ssが太線または太い点線で示される。また、多重反射部分rrの発生要因となる構造化光の進行経路が二点鎖線の矢印で示される。
【0082】
それにより、図9(b)、図10(b)および図11(b)に示すように、各照明部110B,110C,110Dについての高さ画像には、壁画像wi、ベース画像s0iおよびコンベア画像301iとともに、照明不可能画像ssiおよび多重反射画像rriが含まれる。そのため、各照明部110B,110C,110Dについて取得される高さ画像データは、照明部110Aについて取得される高さ画像データと同様に、局部的に低い正確性を有する。
【0083】
ここで、照明不可能部分ssおよび多重反射部分rrの発生位置は、構造化光の照射方向に応じて異なる。したがって、4つの照明部110A,110B,110C,110Dにそれぞれ対応する4つの高さ画像データを比較した場合、照明不可能画像ssiおよび多重反射画像rriの画素位置は互いに異なる。
【0084】
複数の照明部110について生成される複数の高さ画像データを合成する場合に、正確性の低い高さ画像データの成分が合成高さ画像データに残留すると、合成高さ画像データの全体的な正確性が低下する。すなわち、照明不可能画像ssiおよび多重反射画像rriを構成する複数の画素の値が合成高さ画像データの生成に用いられると、合成高さ画像データの全体的な正確性が低下する。そこで、本実施の形態では、より高い正確性を有する合成高さ画像データを得るための合成処理が行われる。以下、図5のステップS20で実行される合成処理の詳細について説明する。
【0085】
[5]高さ画像データの合成処理
図12は本発明の一実施の形態に係る合成処理の概念を示す図である。図12に示すように、本実施の形態に係る合成処理では、まず4つの照明部110A〜110Dにそれぞれ対応して生成された4つの高さ画像データが用意される。
【0086】
4つの高さ画像データは、共通の一の撮像部120を用いて生成される。そのため、4つの高さ画像データは、互いに対応する同一の画素位置の4つの画素piの組を複数有する。図12の上段には、互いに対応する4つの画素piの複数組のうちの一部の組pg1,pg2,pg3,…,pgn(nは、一の高さ画像データの画素の総数)がそれぞれ太い一点鎖線と白抜きの矢印とで示される。
【0087】
次に、各組pg1〜pgnの互いに対応する同一の画素位置の4つの画素piの値のうち予め定められた組み合わせ条件に従う2つの値が抽出される。本例の組み合わせ条件は、第1の抽出条件および第2の抽出条件を含み、測定対象物Sの検査前に、予め図1の記憶部134に記憶される。
【0088】
第1の抽出条件は、各組pg1〜pgnの複数の画素piの値から照明無効値を除く高さデータを抽出することである。これにより、複数の画素piの値から、照明無効値の成分を排除することができる。
【0089】
第2の抽出条件は、第1の抽出条件で複数の高さデータの値が抽出された場合に使用される条件であり、抽出された複数の高さデータのうち各2つの高さの差分がそれぞれ算出された場合に、算出された複数の差分のうち最小の差分の算出に用いられた2つの高さデータを抽出することである。これにより、複数の画素piの高さデータから、正確性が高いと考えられる2つの高さデータを抽出することができる。
【0090】
例えば、図12の中段に示すように、各組pg1〜pgnの互いに対応する4つの画素piに、4つの照明部110A,110B,110C,110Dにそれぞれ対応する4つの高さデータの値va,vb,vc,vdが設定されている場合に、それらの値va,vb,vc,vdが昇順または降順に並べられる。
【0091】
次に、第1の抽出条件に従って、各組pg1〜pgnについて値va,vb,vc,vdのうち照明無効値を除く値が高さを示すものとして抽出される。照明無効値が0であるとすると、図12の中段の例では、組pg1について値va,vb,vcが抽出され、組pg2について値vb,vc,vdが抽出され、組pg3について値va,vb,vc,vdが抽出される。
【0092】
次に、第2の抽出条件に従って、各組pg1〜pgnについて昇順または降順で互いに隣り合う各2つの高さの差分diが算出され、最も小さい差分diの算出に用いられた2つの高さデータの値が抽出される。図12の中段の例では、太い点線で示すように、組pg1について値va,vbが抽出され、組pg2について値vc,vdが抽出され、組pg3について値vc,vdが抽出される。
【0093】
続いて、各組pg1〜pgnについて抽出された2つの高さデータの差分が、予め定められた許容範囲内の値であるか否かが判定される。許容範囲は、測定対象物Sの検査に要求される精度等を考慮して定められ、測定対象物Sの検査前に、予め図1の記憶部134に記憶される。
【0094】
この場合、一の組について抽出された2つの高さデータの差分が許容範囲内にある場合には、それらの2つの高さデータが示す値は当該組に対応する測定対象物Sの部分の真の高さに対して許容誤差範囲内にあり、正確性が高いと考えられる。そこで、各組pg1〜pgnについて抽出された2つの高さデータの差分が許容範囲内の値である場合には、2つの高さデータから予め定められた方法に従って求められる高さデータが決定される。また、決定された高さデータの値が、合成高さ画像データにおいて当該組の複数の画素に対応する対象画素が示す合成有効値として設定される。予め定められた方法は、2つの高さデータから平均高さを算出する方法であってもよいし、2つの高さデータのうち一方の高さを選択する方法であってもよい。
【0095】
一方、一の組について抽出された2つの高さデータの差分が許容範囲内にない場合には、それらの2つの高さデータのうち少なくとも一方は当該組に対応する測定対象物Sの部分の真の高さに対して許容誤差範囲から外れ、正確性が低いと考えられる。そこで、各組pg1〜pgnについて抽出された2つの高さデータの差分が許容範囲内にない場合には、合成高さ画像データにおいて当該組に対応する対象画素の高さデータの値が、予め定められた合成無効値に設定される。これにより、多重反射部分rrに起因する正確性の低い成分が合成高さ画像データに残留することが低減される。合成無効値は、例えば0である。
【0096】
図12の下段の例では、太い実線の矢印で示すように、組pg1の値va,vbの差分が許容範囲内であることにより、値va,vbに基づく合成有効値が組pg1に対応する合成高さ画像データの対象画素tpiの高さデータの値として設定される。また、太い二点鎖線の矢印で示すように、組pg2の値vc,vdの差分が許容範囲外であることにより、合成無効値が組pg2に対応する合成高さ画像データの対象画素tpiの高さデータの値として設定される。さらに、太い点線の矢印で示すように、組pg3の値vc,vdの差分が許容範囲内であることにより、値vc,vdに基づく合成有効値が組pg3に対応する合成高さ画像データの対象画素tpiの高さデータの値として設定される。
【0097】
上記のようにして、全ての組pg1〜pgnにそれぞれ対応する合成高さ画像データの全ての対象画素tpiの値が設定されることにより、合成高さ画像データの生成が完了し、合成処理が終了する。
【0098】
なお、図12の例では、各組pg1〜pgnの複数の画素piが示す複数の高さのうち予め定められた組み合わせ条件に従って2つの高さデータが抽出されている。しかしながら、例えば一の組の複数の画素piの全ての高さデータが照明無効値に設定されている場合には、高さデータについての上記の差分の算出を行うことができない。また、一の組の複数の画素piの高さデータうちの1つの高さデータのみが照明無効値以外の値(有効な高さの値)を示す場合にも、高さデータについての上記の差分の算出を行うことができない。そこで、本実施の形態では、一の組の複数の画素piの高さデータの全てが照明無効値に設定されている場合、および一の組の複数の画素piの高さデータのうちの1つの高さデータのみが照明無効値以外の値を示す場合にも、合成高さ画像データにおいて当該一の組に対応する対象画素の値が予め定められた合成無効値に設定される。
【0099】
図13は、本発明の一実施の形態に係る合成処理により生成される合成高さ画像データに基づく高さ画像の一例を示す図である。図13の高さ画像は、図8(b)、図9(b)、図10(b)および図11(b)の高さ画像を示す複数の高さ画像データを合成することにより得られた合成高さ画像データが示す高さ画像である。図13に示すように、本実施の形態に係る合成処理により生成される高さ画像においては、図8(b)、図9(b)、図10(b)および図11(b)の高さ画像に現れる多重反射画像rriが排除されている。また、高さ画像全体に対する照明不可能画像ssiの割合も十分に低減されている。
【0100】
図14は、本発明の一実施の形態に係る合成処理のフローチャートである。合成処理の開始時点では、図5のステップS11〜S19の処理により、演算処理部132において予め複数(本例では4つ)の照明部110A〜110Dについてそれぞれ複数(本例では4つ)の高さ画像データが生成されているものとする。
【0101】
図14に示すように、合成処理が開始されると、図1の画像処理部133は、複数の高さ画像データの互いに対応する同一の画素位置の複数の画素piの複数の組pg1〜pgnのうち一の組を注目組として選択する(ステップS31)。
【0102】
次に、画像処理部133は、注目組の複数(本例では4つ)の画素piの複数の高さデータのうち予め定められた組み合わせ条件に従う2つの高さデータを抽出する(ステップS32)。この場合、上記のように、複数の画素piの高さデータの全てが照明無効値に設定されている場合、および一の組の複数の画素piのうちの1つの画素の高さデータのみが照明無効値以外の値(有効な高さの値)を示す場合には、2つの高さを抽出することができない。
【0103】
そこで、画像処理部133は、ステップS32の処理で2つの高さデータが抽出されたか否かを判定する(ステップS33)。2つの高さデータが抽出された場合、画像処理部133は、抽出された2つの高さデータの差分が予め定められた許容範囲内にあるか否かを判定する(ステップS34)。
【0104】
抽出された2つの高さデータの差分が許容範囲内にある場合、画像処理部133は、予め定められた方法に従って、検出された2つの高さデータから合成有効値を決定する(ステップS35)。また、画像処理部133は、決定された合成有効値を、注目組に対応する対象画素の高さデータの値として設定する(ステップS36)。
【0105】
上記のステップS33において2つの高さデータが抽出されない場合、または上記のステップS34において抽出された2つの高さデータの差分が許容範囲内にない場合、画像処理部133は、注目組に対応する対象画素の高さデータの値を合成無効値に設定する(ステップS37)。
【0106】
ステップS36およびステップS37のいずれかの処理後、画像処理部133は、複数の組pg1〜pgnの全てが注目組として選択されたか否かを判定する(ステップS38)。複数の組pg1〜pgnの全てが注目組として選択されたことは、合成高さ画像データにおける全ての対象画素の高さデータの値が設定されたこと、すなわち合成高さ画像データの生成が完了したことを意味する。それにより、合成処理が終了する。一方、複数の組pg1〜pgnの全てが注目組として選択されていない場合、画像処理部133は、複数の組pg1〜pgnのうち注目組とされていない他の組を新たに注目組として選択し(ステップS39)、ステップS32の処理に進む。
【0107】
[6]実施の形態の効果
(1)上記の検査装置300においては、複数の照明部110の各々から構造化光が複数のパターンに変化されつつ測定対象物Sに複数回照射される。撮像部120において、測定対象物Sから反射される構造化光が受光されることにより、各照明部110に対応する複数のパターン画像データが生成される。各照明部110について、当該照明部110に対応する複数のパターン画像に基づいて高さ画像データが生成される。
【0108】
複数の照明部110についての複数の高さ画像データが合成され、合成高さ画像データが生成される。この合成時には、複数の高さ画像データの互いに対応する同一の画素位置の複数の画素piの各組pg1〜pgnについて、複数の画素piが示す複数の高さデータのうち組み合わせ条件に従う2つの高さデータの差分が算出される。また、算出された差分が許容範囲内にあるか否かが判定される。
【0109】
算出された差分が許容範囲内にある場合、差分の算出に用いられた2つの高さデータは当該画素位置に対応する測定対象物Sの部分の真の高さに対して許容誤差範囲内にある高さを示す正確性の高いデータである。そこで、算出された差分が許容範囲内にある場合には、差分の算出に用いられた2つの高さデータから予め定められた方法に従って求められる高さデータが決定される。また、決定された高さデータが、合成高さ画像データにおいて当該画素位置に対応する対象画素が示す合成有効値として設定される。
【0110】
一方、算出された差分が許容範囲内にない場合、差分の算出に用いられた2つの高さデータは真の高さに対して許容誤差範囲から外れた高さを示す正確性の低いデータである可能性が高い。そこで、算出された差分が許容範囲内にない場合には、合成高さ画像データにおいて当該画素位置に対応する対象画素の高さデータの値が予め定められた合成無効値に設定される。
【0111】
これにより、最終的に生成された合成高さ画像データにおいては、対象画素ごとに正確性の高い高さデータの値が合成有効値で示されるが、正確性の低い高さデータの値は示されない。したがって、生成された合成高さ画像データを用いることにより、測定対象物の高さについて検査の正確性を向上させることが可能になる。
【0112】
(2)本実施の形態では、図14の合成処理におけるステップS32の処理で、予め定められた組み合わせ条件に従って2つの値が抽出される。上記の組み合わせ条件は、各組pg1〜pgnに対応する複数の画素piの値から照明無効値の成分が排除されるようにかつ複数の画素piの高さデータから正確性が高いと推定される2つの高さデータが抽出されるように定められている。したがって、抽出された2つの高さデータに基づいて合成有効値が決定されることにより合成高さ画像データの正確性がより向上する。
【0113】
(3)本実施の形態では、照明部110A,110BはX方向において撮像部120を挟んで互いに対向するように配置されている。また、照明部110C,110DはY方向において撮像部120を挟んで互いに対向するように配置されている。
【0114】
この場合、測定対象物Sの表面の広い範囲に渡って構造化光を照射することができる。したがって、測定対象物Sの表面の広い範囲に渡って高い正確性を有する合成高さ画像データを取得することができる。
【0115】
[7]他の実施の形態
(1)上記の実施の形態に係る合成処理においては、注目組の複数の画素piが示す複数の高さのうち組み合わせ条件に従う2つの高さデータが抽出されない場合に、注目組に対応する合成高さ画像データの対象画素の値(高さデータの値)が合成無効値に設定されるが、本発明はこれに限定されない。
【0116】
注目組における複数の画素piの複数の高さデータのうち組み合わせ条件に従う2つの高さデータが抽出されない場合でも、注目組の複数の画素piのうち1つの高さデータの値が正確性の高い有効な値を示す場合には、その1つの画素の高さデータの値が合成有効値として決定されてもよい。
【0117】
図15は、他の実施の形態に係る合成処理のフローチャートである。図15の他の実施の形態に係る合成処理について、上記実施の形態に係る図14の合成処理と異なる点を説明する。
【0118】
図15の合成処理においては、ステップS33の処理で2つの高さデータが抽出されない場合に、画像処理部133は、注目組の全ての画素の高さデータの値が照明無効値に設定されているか否かを判定する(ステップS41)。
【0119】
ステップS41において注目組の全ての画素の高さデータの値が照明無効値に設定されている場合には、画像処理部133は、上記実施の形態と同様に、ステップS37に進む。それにより、注目組に対応する対象画素の高さデータの値が合成無効値に設定される(ステップS37)。
【0120】
一方、ステップS41において、注目組の全ての画素の高さデータの値が照明無効値に設定されていない場合には、注目組の複数の画素のうち1つの画素の高さデータの値は、その注目組に対応する測定対象物Sの部分の高さを正確に示している可能性がある。例えば、ゴム等で形成された測定対象物Sは、多重反射が発生しにくい表面状態を有する場合がある。このような測定対象物Sに関しては、注目組の各画素の値は、照明無効値でない限り、その注目組に対応する測定対象物Sの部分の高さを正確に示している可能性が高い。
【0121】
そこで、本例では、ステップS41において注目組の全ての画素の値が照明無効値に設定されていない場合に、画像処理部133は、注目組の複数の画素のうち1つの画素の高さデータの値を合成有効値として決定する(ステップS42)。その後、画像処理部133は、ステップS36の処理に進む。
【0122】
上記の図15の合成処理によれば、合成高さ画像データにおいて合成無効値が設定される対象画素の数を低減することができる。
【0123】
本例の検査装置300は、演算部130において実行されるべき合成処理として、図14の合成処理と図15の合成処理とが使用者により選択可能に構成されてもよい。この場合、例えば図1のコントローラ部200は、使用者による操作部310の操作に応答して、図14および図15の合成処理のうち実行されるべき合成処理の選択を受け付ける。また、画像処理部133は、測定対象物Sの検査時に、使用者により選択された合成処理を実行する。これにより、測定対象物Sの形状、材質および表面状態等に応じて適切な合成高さ画像データを生成することが可能になる。
【0124】
(2)上記実施の形態に係る合成処理においては、各組pg1〜pgnの複数の画素piの値のうち組み合わせ条件に従う2つ高さデータの値が抽出される。ここで、組み合わせ条件は、各組pg1〜pgnの複数の画素piの値から特定の2つの照明部110に対応する2つの高さデータの値を抽出することであってもよい。
【0125】
例えば、検査装置300において互いに対向する一対の照明部110が複数設けられる場合に、予め定められた一方向において互いに対向する2つの照明部110に対応する2つの画素piの高さデータの値が抽出されてもよい。または、検査装置300において互いに対向する一対の照明部110が複数対設けられる場合に、各対の照明部110にそれぞれ対応する2つ画素piの高さデータの値の差分を算出し、差分が最小となる2つの画素piの高さデータの値が抽出されてもよい。
【0126】
このような組み合わせ条件において、抽出される2つ高さデータの値の間に、当該組に属する他の高さデータの値が存在する場合には、抽出された2つの高さデータの値に加えて、他の高さデータの値を用いることにより合成有効値が決定されてもよい。この場合、合成有効値は、3つの高さデータの値に基づいて決定される。このように、合成有効値は、2以上の複数の高さデータの値に基づいて決定されてもよい。
【0127】
(3)上記実施の形態に係る検査装置300は、1個の撮像部120に対して4個の照明部110を有するが、本発明はこれに限定されない。検査装置300は、1個の撮像部120に対して4つ以上の照明部110を有していればよい。したがって、検査装置300は、5つまたは6つの照明部110を有してもよい。この場合においても、上記実施の形態の例と同様に合成処理が行われることにより、測定対象物の高さについて検査の正確性を向上させることが可能になる。
【0128】
[8]請求項の各構成要素と実施の形態の各部との対応関係
請求項の各構成要素と実施の形態の各部との対応の例について説明する。上記実施の形態においては、測定対象物Sが測定対象物の例であり、照明部110Aが第1の照明部の例であり、照明部110Bが第2の照明部の例であり、照明部110Cが第3の照明部の例であり、照明部110Dが第4の照明部の例である。
【0129】
また、撮像部120が撮像部の例であり、撮像処理部131および演算処理部132がデータ生成部の例であり、画像処理部133が画像処理部の例であり、X方向(またはY方向)が第1の方向の例であり、Y方向(またはX方向)が第2の方向の例であり、組み合わせ条件が予め定められた条件の例であり、合成無効値が無効値の例である。
【0130】
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
【符号の説明】
【0131】
100…ヘッド部,110,110A〜110D…照明部,111〜113…光源,114,115…ダイクロイックミラー,116…照明レンズ,117…ミラー,118…パターン生成部,119…投光レンズ,120,120A〜120D…撮像部,121…撮像素子,122,123…受光レンズ,130…演算部,131…撮像処理部,132…演算処理部,133…画像処理部,134…記憶部,135…出力処理部,200…コントローラ部,210…ヘッド制御部,220…画像メモリ,230…検査部,300…検査装置,301…ベルトコンベア,301i…コンベア画像,310…操作部,320…表示部,400…外部機器,pg1〜pgn…組,pi…画素,rr…多重反射部分,rri…多重反射画像,S…測定対象物,s0…ベース部,s01…一端面,s02…他端面,s0i…ベース画像,ss…照明不可能部分,ssi…照明不可能画像,tpi…対象画素,W…壁部,wi…壁画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】