(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】2021005374
(43)【公開日】20210114
(54)【発明の名称】重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステム
(51)【国際特許分類】
   G16B 40/20 20190101AFI20201211BHJP
   G06N 20/00 20190101ALI20201211BHJP
【FI】
   !G16B40/20
   !G06N20/00 160
【審査請求】有
【請求項の数】17
【出願形態】OL
【外国語出願】
【全頁数】19
(21)【出願番号】2020107836
(22)【出願日】20200623
(31)【優先権主張番号】62/866,922
(32)【優先日】20190626
(33)【優先権主張国】US
(71)【出願人】
【識別番号】519361520
【氏名又は名称】長佳智能股▲ぶん▼有限公司
【住所又は居所】台湾台中市西區台灣大道2段573號8樓
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】チュー・ユィ
【住所又は居所】台湾台中市西區台灣大道2段573號8樓
(72)【発明者】
【氏名】蔡 輔仁
【住所又は居所】台湾台中市西區台灣大道2段573號8樓
(72)【発明者】
【氏名】廖 英凱
【住所又は居所】台湾台中市西區台灣大道2段573號8樓
(72)【発明者】
【氏名】▲黄▼ 宗祺
【住所又は居所】台湾台中市西區台灣大道2段573號8樓
(57)【要約】      (修正有)
【課題】重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステムを提供する。
【解決手段】染色体認識モデルを訓練する方法は、核型画像におけるオブジェクトを識別し、染色体オブジェクトそれぞれのマスクと最小バウンディングボックスを取得し、1組の組織化染色体オブジェクトを含む組織化画像を取得し、染色体オブジェクトがランダムに再構成されたシミュレーションされた分裂中期画像を生成し、シミュレーションされた分裂中期画像に対して複数の染色体オブジェクトを検出し、染色体オブジェクト同士が分離された再校正画像を取得することによって、画像に含まれる染色体オブジェクトの特徴を識別するための染色体認識モデルを訓練する。
【選択図】図3
【特許請求の範囲】
【請求項1】
重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデル(600)を訓練する方法であって、
自動ラベリングユニット(602)とランダム生成ユニット(604)と検出ユニット(605)と再校正ユニット(608)とを備える染色体認識モデル(600)を構築するステップと、
参照対象に関連する核型画像を少なくとも1つ得るステップ(a)と、
前記自動ラベリングユニット(602)を制御して前記核型画像に対して自動ラベリング処理を実行するステップ(b)であって、
前記自動ラベリング処理は、
前記核型画像において複数の染色体オブジェクトとする複数のオブジェクトを識別する画像前処理手順を実行することと、
前記核型画像に対して前記画像前処理手順を実行し、前記複数の染色体オブジェクトそれぞれのマスク及び最小バウンディングボックスを得ることと、
前記複数の染色体オブジェクトを分類・組織化して1組の組織化染色体オブジェクトを含む組織化画像を得るために前記核型画像に対して教師なしクラスタリングを行うこととを有する、ステップ(b)と、
前記ランダム生成ユニット(604)を制御し、前記組織化画像を使って前記組織化画像における前記複数の染色体オブジェクトに基づき、ランダム生成処理を実行し、ランダム的に組織化された前記複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像を生成するステップ(c)と、
前記検出ユニット(606)を制御して前記シミュレーションされた分裂中期画像に対して前記複数の染色体オブジェクトを検出するためにオブジェクト検出を実行するステップ(d)と、
前記再校正ユニット(608)を制御して前記シミュレーションされた分裂中期画像に対して再校正手順を実行し、前記染色体オブジェクトが互いに分離された再校正画像を得るステップ(e)と、
前記ステップ(c)〜(e)を繰り返し行い、前記染色体認識モデル(600)を訓練することにより、前記染色体データを前記染色体認識モデル(600)の入力として含む画像に含まれた前記染色体オブジェクトの特徴を識別すると共に、前記組織化画像を前記染色体認識モデル(600)の出力として得るために前記染色体オブジェクトを分類するステップ(f)と、
を含む方法。
【請求項2】
前記自動ラベリング処理における前記画像前処理手順は、
前記核型画像の前記オブジェクトとバックグラウンドを区別する閾値操作と、
前記オブジェクトの各々を定義するマスクラベリング操作と、
ノイズオブジェクトと前記オブジェクトにおいて識別された穴とを取り除く操作と、
所定数の前記オブジェクトが識別された後、無用と判断されるデータを取り除く操作の少なくとも1つを含む請求項1に記載の方法。
【請求項3】
前記教師なしクラスタリングは、k平均法(k−means clustering)、k近傍法(k−nearest neighbors)、アフィニティー伝播(Affinity propagation)、ミーンシフト(Mean−shift)、 スペクトラルクラスタリング(Spectral clustering)、ウォード階層的クラスタリング(Ward hierarchical clustering)、凝集クラスタリング(Agglomerative clustering)、 DBSCAN法、OPTICS法、ガウス混合法(Gaussian mixtures)、及びバーチ法(Birch)の1つである請求項1又は2に記載の方法。
【請求項4】
前記ステップ(c)は、前記シミュレーションされた分裂中期画像を生成するために自動画像オーバラップシミュレーションを用いることを含み、前記自動画像オーバラップシミュレーションは、画像処理ライブラリを用いて生成されたアルゴリズムを使って実施され、
前記画像処理ライブラリは、Scikit−image、OpenCV(open source computer vision)ライブラリ、Mahotas, SimplelTK, SciPy, Pillow、及びMatplotlibの1つである、請求項1〜3の何れか1項に記載の方法。
【請求項5】
前記染色体認識モデル(600)の前記ランダム生成ユニット(604)は、画像増強サブユニットを有し、
前記ステップ(c)は、前記ランダム生成ユニットを制御して画像増強操作を行なうことを含み、前記画像増強操作は、複数の前記染色体オブジェクトを検出するために、前記シミュレーションされた分裂中期画像に対してオブジェクト検出アルゴリズムを実行することと、前記核型画像に対してインスタンスセグメンテーションアルゴリズムを実行し、前記シミュレーションされた分裂中期画像の画像サイズを1024×1333ピクセルに調整することとを含む、
請求項1〜4の何れか1項に記載の方法。
【請求項6】
前記オブジェクト検出は、前記染色体オブジェクト毎に、
位置の検出と、対応する特徴の検出と、分離とを実行し、
深層残差畳み込みニューラルネットワーク(deep residual CNN)をバックボーンとして用いて画像特徴分類操作を実行する
請求項1〜5の何れか1項に記載の方法。
【請求項7】
前記再校正ユニット(608)は、検証サブユニット(608a)を有し、
更に前記検証サブユニット(608a)を制御して前記再校正画像に対して検証処理を実行するステップを含み、
前記検証処理は、
前記染色体オブジェクトの自動計数と、
性染色体オブジェクトの自動ラベリングと、
前記染色体オブジェクトの回転と、
組織化画像を得るための前記染色体オブジェクトの組織化との1つ以上の機能を含む
請求項1〜6の何れか1項に記載の方法。
【請求項8】
前記ニューラルネットワークは、畳み込みニューラルネットワーク(CNN)である請求項1〜7の何れか1項に記載の方法。
【請求項9】
染色体認識のための方法であって、
請求項1に記載の染色体認識モデル(600)をロードするステップと、
参照対象に関連する染色体データを前記染色体認識モデル(600)の入力として含む画像を取り入れるステップであって、前記染色体データは複数の染色体オブジェクトを含むものであるステップと、
前記染色体認識モデル(600)を制御して前記画像に含まれた前記染色体オブジェクトの特徴を識別し、前記染色体オブジェクトを分類して、組織化画像を出力として得るステップと、
を含む方法。
【請求項10】
更に、前記特徴を識別する前に前記染色体認識モデル(600)を制御して前記画像において前記染色体オブジェクトの位置を定める位置検出を行なうステップを有する
請求項9に記載の方法。
【請求項11】
前記画像に他の1つの前記染色体オブジェクトと重なった少なくとも1つの染色体オブジェクトが含まれていると判定されたとき、
前記染色体認識モデル(600)は重なり合った染色体オブジェクトの分離をすることができる請求項9又は10に記載の方法。
【請求項12】
重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデル(600)を訓練するシステムであって、
プロセッサ(402)と、
自動ラベリングユニット(602)とランダム生成ユニット(604)と検出ユニット(606)と再校正ユニット(608)とを備えている前記染色体認識モデル(600)を格納する非一時的な機械可読媒体と、を備え、
前記プロセッサ(402)は、訓練するために前記染色体認識モデル(600)をロードするように構成され、前記染色体認識モデル(600)の入力としての核型画像に応答して、前記訓練は、
前記核型画像において複数の染色体オブジェクトとする複数のオブジェクトを識別する画像処理手順を実行することと、
前記核型画像に対して教師なしクラスタリングを行って、前記複数の染色体オブジェクトそれぞれのマスク及び最小バウンディングボックスを得ることと、
1組の組織化染色体オブジェクトを含む組織化画像を得るために前記核型画像に対して教師なしクラスタリングを行って前記複数の染色体オブジェクトを分類・組織化することとを含む、自動ラベリング処理を、前記自動ラベリングユニット(602)が核型画像に対して実行することと、
前記ランダム生成ユニット(604)が、前記組織化画像における前記複数の染色体オブジェクトに基づき、ランダム生成処理を実行し、ランダム的に組織化された前記複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像を生成することと、
前記再校正ユニット(608)が、前記シミュレーションされた分裂中期画像に対して再校正手順を実行することによって、前記染色体オブジェクト同士が分離されている再校正画像を得ることとを含み、
前記プロセッサ(402)は、前記訓練の後、前記染色体認識モデル(600)を前記非一時的な可読媒体に格納するように構成される
システム。
【請求項13】
前記染色体認識モデル(600)は更に、
前記核型画像の画像サイズを1024×1333ピクセルに調整するように前記核型画像に対してインスタンスセグメンテーションアルゴリズムを実行するように構成される画像増強サブユニットと、
複数の前記染色体オブジェクトの検出を行なうために前記核型画像に対して深層学習インスタンスセグメンテーションアルゴリズム(deep learning instance segmentation algorithm)を実行するように構成され、前記検出には前記染色体オブジェクトそれぞれに最小バウンディングボックスを用いて前記核型画像における特徴を抽出すると共に対応する特徴を検出することが含まれる、検出ユニット(606)とを備え、
前記検出ユニット(606)は更に、深層残差畳み込みニューラルネットワーク(CNN)をバックボーンとして用いて画像特徴分類操作を実行するように構成される請求項12に記載のシステム。
【請求項14】
前記教師なしクラスタリングは、k平均法(k−means clustering)、k近傍法(k−nearest neighbors)、アフィニティー伝播(Affinity propagation)、ミーンシフト(Mean−shift)、 スペクトラルクラスタリング(Spectral clustering)、ウォード階層的クラスタリング(Ward hierarchical clustering)、凝集クラスタリング(Agglomerative clustering)、 DBSCAN法、OPTICS法、ガウス混合法(Gaussian mixtures)、及びバーチ法(Birch)の1つである請求項12又は13に記載のシステム。
【請求項15】
前記染色体認識モデル(600)は更に再校正報知ユニットを含み、前記再校正報知ユニットは、
前記染色体オブジェクトを自動的に計数する機能と、
性染色体オブジェクトを自動的にラベリングする機能と、
前記染色体オブジェクトを回転させる機能と、
前記染色体オブジェクトを組織化して組織化画像を得る機能とを実行する、
請求項12〜14の何れか1項に記載のシステム。
【請求項16】
前記プロセッサ(402)は更に前記染色体認識モデル(600)をロードするように構成され、
参照対象と関連する複数の染色体オブジェクトを含む染色体データを前記訓練された染色体認識モデル(600)として含む画像に応答して、
前記染色体認識モデル(600)は、前記画像に含まれた前記染色体オブジェクトの特徴を識別するように構成され、前記染色体オブジェクトを分類して組織化画像を出力として得る請求項12〜15の何れか1項に記載のシステム。
【請求項17】
前記画像に他の染色体オブジェクトと重なった少なくとも1つの染色体オブジェクトが含まれていると判定されたとき、前記染色体認識モデル(600)は前記重なり合った染色体オブジェクトの分離をすることができる請求項16に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2019年6月26日に出願された米国仮出願番号62/866922に対して優先権を主張する。
【0002】
本開示は、重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステムに関する。
【背景技術】
【0003】
染色体異常(chromosome abnormality)試験は、通常(とりわけ高齢妊婦(advanced maternal age/AMA)に対して)特殊遺伝子疾患を選別する又は特定の疾患(例えば、白血病(leukemia)、リンパ腫(lymphoma)等)に起因する変異細胞を選別するために行われている。
従来技術では、胞胚培養液を利用することによって胞胚の染色体異常を検出する方法が既に開示されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】台湾特許第I622651号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来、染色体異常試験は、オブジェクト(例えば患者、試験者等)から特定細胞を抽出することにより行われ、特定ホルモンを使って細胞を分裂中期(metaphase)に入らせるようにし、細胞から染色体を摘出し、摘出された染色体の画像を取得し(図1参照)、摘出された染色体を手動で再校正することにより摘出された染色体の核型(karyotype)の画像を得る(図2参照)。専門家はそれから当該核型の画像を読み取り、当該染色体の一部又はそれ以上に変異(例えば、半数性(haploid)/倍数性(polyploidy)、リング、欠失(deletion)、転座(translocation)、逆位(inversion)等)が存在するか否かを判定する。当該核型の読み取りに基づき、オブジェクトに対して特定遺伝子疾患の存在及び/又は危険性が判定されると、対応する提案及び/又は治療が提出されることができる。
【0006】
染色体異常は癌の主因である。核型を読み取ることにより、患者に予後診断をより多くの適切な選択肢と共に提供することができる。更に、核型を読み取ることによって、1種の癌から全快したかどうかを判定することができる(例えば、癌のタイプに関連する特定の染色体がまだ核型の中に存在するか否かを判定する)。
【0007】
なお、染色体核型分析は、単純且つ直接的に行うことができるので、ゲノム配列の決定等の他の技術よりも便利であるが、核型の判読は時間の掛かる作業であり、また専門家の個人の経験に頼らなければならない問題点がある。
【0008】
そこで、本開示は、重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【0009】
1の観点によれば、本開示は、重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法であって、
自動ラベリングユニットとランダム生成ユニットと検出ユニットと再校正ユニットとを備える染色体認識モデルを構築するステップと、
参照対象に関連する核型画像を少なくとも1つ得るステップ(a)と、
前記自動ラベリングユニット(602)を制御して前記核型画像に対して自動ラベリング処理を実行するステップ(b)であって、
前記自動ラベリング処理は、
前記核型画像において複数の染色体オブジェクトとする複数のオブジェクトを識別する画像前処理手順を実行することと、
前記核型画像に対して前記画像前処理手順を実行し、前記複数の染色体オブジェクトそれぞれのマスク及び最小バウンディングボックスを得ることと、
前記複数の染色体オブジェクトを分類・組織化して1組の組織化染色体オブジェクトを含む組織化画像を得るために前記核型画像に対して教師なしクラスタリングを行うこととを有する、ステップ(b)と、
前記ランダム生成ユニット(604)を制御し、前記組織化画像を使って前記組織化画像における前記複数の染色体オブジェクトに基づき、ランダム生成処理を実行し、ランダム的に組織化された前記複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像を生成するステップ(c)と、
前記検出ユニット(606)を制御して前記シミュレーションされた分裂中期画像に対して前記複数の染色体オブジェクトを検出するためにオブジェクト検出を実行するステップ(d)と、
前記再校正ユニット(608)を制御して前記シミュレーションされた分裂中期画像に対して再校正手順を実行し、前記染色体オブジェクトが互いに分離された再校正画像を得るステップ(e)と、
前記ステップ(c)〜(e)を繰り返し行い、前記染色体認識モデル(600)を訓練することにより、前記染色体データを前記染色体認識モデル(600)の入力として含む画像に含まれた前記染色体オブジェクトの特徴を識別すると共に、前記組織化画像を前記染色体認識モデル(600)の出力として得るために前記染色体オブジェクトを分類するステップ(f)と、
を含む方法を提供する。
【0010】
他の観点によれば、本開示は、
上述の染色体認識モデルをロードするステップと、
複数の染色体オブジェクトを含む、参照対象に関する染色体データを含んでいる画像を染色体認識モデルの入力として取り入れるステップであって、前記染色体データは複数の染色体オブジェクトを含むものであるステップと、
前記染色体認識モデルを制御して前記画像に含まれた染色体オブジェクトの特徴を識別し 前記染色体オブジェクトを分類して、組織化画像を出力として得るステップと、を含む方法をも提供する。
【0011】
本発明の他の特徴および利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になるであろう。
【図面の簡単な説明】
【0012】
【図1】分裂中期における1組の染色体を含む画像の概略図である。
【図2】図1の画像から得られた核型画像を示す概略図である。
【図3】本開示の実施形態に係る重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法を説明するためのフローチャートである。
【図4】本開示の実施形態に係る図3の方法を実施するためのコンピュータ装置の一例を示すブロック図である。
【図5】本開示の実施形態に係る染色体認識モデルの一例を示すブロック図である。
【図6】本開示の一例に係る自動ラベリング処理を実行するサブステップを説明するフローチャートである。
【図7】参照対象の1組の染色体(染色体それぞれはラベリングされている)を含む核型画像の一例を説明する図である。
【図8】ランダム生成処理を使って生成されるシミュレーションされた分裂中期画像の一例を示す図である。
【図9】シミュレーションされた分裂中期画像に対して行う検出処理の一例を説明する図である。
【図10】本開示の実施形態に係る染色体認識のための方法の一例を説明するフローチャートを示す図である。
【図11】図5の染色体認識モデルを使って図1の画像から得られた組織化画像の一例を示す図である。
【発明を実施するための形態】
【0013】
本開示をより詳細に説明する前に、適切と考えられる場合において、符号又は符号の末端部は、同様の特性を有し得る対応の又は類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。
【0014】
図3は、本開示の実施形態に係る重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法を説明するためのフローチャートである。
【0015】
この例では、本開示の方法はコンピュータ装置を使って実施することができる。図4は、本開示の実施形態に係る図3の方法を実施するためのコンピュータ装置の一例を示すブロック図である。この例では、コンピュータ装置400はプロセッサ402とディスプレイ404と通信素子406とストレージ媒体408と撮像素子410とを備えている。
【0016】
プロセッサ402は、シングルコアプロセッサ(single core processor)、マルチコアプロセッサ(multi−core processor)、デュアルコアモバイルプロセッサ(dual−core mobile processor)、マイクロプロセッサ(microprocessor)、マイクロコントローラ、デジタルシグナルプロセッサ(digital signal processor、DSP)、フィールドプログラマブルゲートアレイ(field−programmable gate array、FPGA)、特定用途向け集積回路(application specific integrated circuit、ASIC)、無線周波数集積回路(radio−frequency integrated circuit、RFIC)等を含むがこれらに限定されない。
【0017】
ディスプレイ404は、プロセッサ402に電気的に接続され、プロセッサ402によって画像を表示するように制御可能にされる。
【0018】
通信素子406は、プロセッサ402に電気的に接続され、ブルートゥース(登録商標)及び/又はWi−Fi(登録商標)等の無線技術を使う近距離無線通信ネットワークをサポートする近距離無線通信モジュール(short−range wireless communicating module)と、LTE(Long−Term Evolution、長期的進化)や第三世代(3G)及び/又は第四世代(4G)の無線移動通信技術等を使う通信をサポートする移動通信モジュール(mobile communicating module)とを備えている。
【0019】
ストレージ媒体408は、プロセッサ402に電気的に接続され、ハードディスク、ソリッドステートドライブ(SSD)、フラッシュメモリ、他の非一時的な記憶媒体の1つ又はそれ以上を使って具現化され得る。ストレージ媒体408は、プログラムアプリケーション、複数のアルゴリズム及び複数のニューラルネットワークを格納している。プログラムアプリケーションは、複数のソフトウェア命令を格納しており、プロセッサ402によって実行される時、プロセッサ402がシミュレーションに基づく重なり合った染色体を分離するための染色体認識モデルを訓練する方法のステップを実行するようになる。
【0020】
撮像素子410は、プロセッサ402に電気的に接続されている。この例では、撮像素子410はマイクロスコープカメラを用いる。
【0021】
再び図3を参照すると、ステップ302では、プロセッサ402は訓練されるための染色体認識モデルを構築する。図5に示されているように、この例では、例示された染色体認識モデル600は入力ノード601と自動ラベリングユニット602とランダム生成ユニット604と検出ユニット606と再校正ユニット608と出力ノード609とを備えている。染色体認識モデルがプロセッサ402によってロードされると、プロセッサ402は染色体認識モデル600の各構成成分を制御し、下記のように複数の操作を施す。
染色体認識モデル600を訓練するために、複数の画像を含む染色体データを入力として入力ノード601に取り入れる。
【0022】
この例では、コンピュータ装置400のプロセッサ402は、ステップ304において参照対象(例えば、患者、メディカルチェックを受ける試験者)に関連する核型画像701を少なくとも1つ得る。核型画像701は、通信素子406を介して外部の記憶媒体から受信され、又は、ストレージ媒体408に予め記憶され、ストレージ媒体408にアクセスしてプロセッサ402によって取得される。
【0023】
一例では、核型画像701は、参照対象の染色体を1組含んでおり、例えば医師等の専門家によって参照対象から抽出された染色体を手動で再校正することにより構築される。なお、図2に示されているように、染色体に加えて、例えば数字、シンボル、専門家によるメモ書きのような複数の小さなオブジェクトが核型画像に示され得る。
【0024】
ステップ304では、コンピュータ装置400におけるプロセッサ402は自動ラベリングユニット602を制御し、核型画像に対して自動ラベリング処理を行う。
具体的には、自動ラベリング処理は図6に示されているサブステップを用いて説明される。
【0025】
サブステップ304aでは、自動ラベリングユニット602は、画像前処理手順を実施し核型画像において複数の染色体オブジェクトとされる複数のオブジェクトを識別する。
具体的には、画像前処理手順では下記の操作の内の1つ以上の操作を行う。
【0026】
一例として、自動ラベリングユニット602は、閾値操作を行い、核型画像におけるオブジェクトとバックグラウンドとを区別する。この例では、色/光強度(例えば1以上の特定色に関連する強度値)に関連する予め定められた閾値が核型画像701の一部が1つのオブジェクト(関連する色/光強度が閾値以下の時)、又は、バックグラウンド(関連する色/光強度が閾値以上の時)に属するかどうかを判定するために使用される。
【0027】
一例として、自動ラベリングユニット602は、マスクラベリング操作(mask labelling operation)を実施し、個々のオブジェクトの輪郭を定める。定められた染色体それぞれは、オブジェクトとして参照できる。
一例として、自動ラベリングユニット602は、オブジェクトにおいて識別されたノイズオブジェクトと穴の除去を行う。
【0028】
具体的には、ここでいう「ノイズオブジェクト」とは、核型画像701において染色体オブジェクトではないオブジェクトを指す。また、オブジェクト(例えば染色体オブジェクト)の1つにおける複数の小部分は当該オブジェクトにおいて穴のように見えるように当該オブジェクトの他の部分と異なる色又は強度を有する。この例では、オブジェクトにおいて識別されたノイズオブジェクト及び穴の除去は、拡張/侵食モロフォロジーオプレーター(dilation/erosion morphology operator)を用いて実施される。
【0029】
一例として、自動ラベリングユニット602は、所定数のオブジェクトが識別された後無用と判断されるデータの除去を行う。この例では、参照対象(ヒト)は典型的に46本の染色体を有し、46本の染色体オブジェクトが識別された時、自動ラベリングユニット602は識別されていない全てのオブジェクトを無用なデータとして判別し、これら無用なデータを除去する。例えば、図2に示された画像は無用なデータと判断される1つの小さなオブジェクトとテキスト(46、XX)を少なくとも含む。
なお、この例では、画像前処理手順は上記の操作全てを含むが、実施例によっては、画像前処理手順は、上記の操作の組み合わせを含み得る。
【0030】
また、画像前処理手順においてサブステップ304bでは、自動ラベリングユニット602は核型画像701に対して画像処理(例えば、閾値、画像領域ラベリング等を含む)を行い、複数の染色体オブジェクトそれぞれのマスクと最小バウンディングボックス(図7参照)を得る。このように、複数の染色体対象それぞれは、明確に定義され、除去、回転などの操作をすることができる。
【0031】
その後、サブステップ304cでは、自動ラベリングユニット602は、教師なしクラスタリングを行い、複数の染色体オブジェクトを分類・組織化することにより、1組の組織化染色体オブジェクトを含む組織化画像を得る。図7は、組織化された染色体オブジェクトにおける組織化画像の一例を示す概略図である。この例では、参照対象(ヒト)は2本の染色体同士が対となった22組の常染色体ペアと性別(XX)又は(XY)を示す2本の性染色体とを含む46本の染色体が存在する。
【0032】
使用の際、教師なしクラスタリングを行うことによって染色体オブジェクトを分類することができる(例えば、染色体オブジェクト毎にクラスを割り当てる)。本例では、教師なしクラスタリングはk平均法(k−means clustering)であり、他の例では、教師なしクラスタリングはk近傍法(k−nearest neighbors)、アフィニティー伝播(Affinity propagation)、ミーンシフト(Mean−shift)、 スペクトラルクラスタリング(Spectral clustering)、ウォード階層的クラスタリング(Ward hierarchical clustering)、凝集クラスタリング(Agglomerative clustering)、 DBSCAN法、OPTICS法、ガウス混合法(Gaussian mixtures)、及びバーチ法(Birch)の1つである。
【0033】
一例として、自動ラベリングユニット602は染色体オブジェクトそれぞれをヒト染色体の1つとして分類し、ヒト染色体の順位(例えば、染色体1、染色体2等)に基づき染色体オブジェクトを組織化する。結果として、図7に示されたように、染色体毎にラベルされた組織化画像が得られる。
【0034】
なお、核型画像において、複数組の染色体は手動的に並べられており、他の無関係、無用なオブジェクトが含まれ得る。自動ラベリング処理を行うことによって、複数組の染色体は更なる分析のために自動的にラベリング・分類され、組織化画像に組織化される。
なお、自動ラベリング処理は、手動的に作成された複数の核型画像に対して繰り返して行なわれることによって、複数の組織化画像を得ることができる。
【0035】
ステップ306では、プロセッサ402は、ランダム生成ユニットを制御し、組織化画像を用いて、組織化画像における複数の染色体オブジェクトに基づきランダム生成処理を行うことによって、ランダムに再組織化された複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像(metaphase image)を生成する。
【0036】
ここで、ランダム生成処理を行ってシミュレーションされた分裂中期画像を生成することによって、他の画像が染色体認識モデルを訓練するために入力として用いられ得る。
【0037】
一例として、ステップ306は自動画像オーバラップシミュレーションを使ってシミュレーションされた分裂中期画像を生成するよう行なわれる。自動画像オーバラップシミュレーションは画像処理ライブラリを使って作成されたアルゴリズムを使って実行される。この例では、画像処理ライブラリはScikit−image、OpenCV(open source computer vision)ライブラリ、Mahotas, SimplelTK, SciPy, Pillow、及びMatplotlibの1つである。
【0038】
幾つかの例では、染色体認識モデル600のランダム生成ユニット604は、画像増強サブユニット604aを有する。加えて、ランダム生成処理は更にシミュレーションされた分裂中期画像を生成する際に画像増強サブユニット604aにより画像増強操作を実行し、生成された分裂中期画像にてより多くの変動を与えると共に染色体オブジェクトの基本的特性を保つ。付加するシミュレーションされた分裂中期画像を用いることにより、起こり得るオーバフィッティング問題を解消することができる。
【0039】
一例として、画像増強操作は、複数の染色体オブジェクトを検出するために、シミュレーションされた分裂中期画像に対してオブジェクト検出アルゴリズムを実行することを含み、少なくとも1つの検出された染色体オブジェクトを再配列し、核型画像701に対してインスタンスセグメンテーションアルゴリズムを実行し、シミュレーションされた分裂中期画像の画像サイズを1024×1333ピクセルに調整する。
【0040】
検出された染色体オブジェクトに対しての再校正の例示的な操作は下記の(表1)のように提供される。
【0041】
【表1】
【0042】
一例として、画像増強操作は更にシミュレーションされた分裂中期画像の幾つかの部分に冗長ノイズを加算することにより、染色体認識モデル600のロバスト性を強化することができる。例えば、細胞からの染色体オブジェクトに関連していないオブジェクトが、シミュレーションされた分裂中期画像の幾つかの部分に付加され得る。
【0043】
図8はステップ306を使って生成されたシミュレーションされた分裂中期画像の一例を示す図である。
ステップ308では、プロセッサ402は、複数の染色体オブジェクトを検出するために、検出ユニット606を制御してシミュレーションされた分裂中期画像に対してオブジェクト検出を実行する(図9参照)。
【0044】
この例では、オブジェクト検出は、複数の染色体オブジェクト毎に、検出ユニット606は位置検出と、対応する特徴の検出と、分離とを実行する。具体的には、位置検出は、染色体オブジェクトのバウンディングボックスに対してリグレッション方法を用いて行われる。なお、上記操作は、マスク領域に基づく畳み込みニューラルネットワーク(CNN)を用いて行われる。
【0045】
その後、検出ユニット606は、深層残差畳み込みニューラルネットワーク(deep residual CNN)をバックボーンとして用いて画像特徴分類操作を実行する。深層残差CNNは、ResNet 50、ResNet 101、又はSE−Res Netの1つ等である。具体的には、少なくとも1つの染色体オブジェクトが他の1つの染色体オブジェクトと重なっていると判定された時(染色体オブジェクトそれぞれのマスク又はバウンディングボックスに基づいて)、検出ユニット606のマスクモジュール(図示せず)は重なり合った染色体オブジェクトを分離することができる。
【0046】
図9には染色体オブジェクトを検出する検出操作の一例を示している。
そして、ステップ310では、プロセッサ402は再校正ユニット608を制御し、シミュレーション分裂中期画像に対して再校正手順を実行することによって、染色体オブジェクト同士が分離されている再校正画像を得ることができる。
【0047】
この例では、染色体オブジェクトそれぞれの再校正は、主成分分析(principal component analysis;PCA)を使って実施され得る。
【0048】
一例として、プロセッサ402は更にPCAを実行し、染色体オブジェクトそれぞれの向きを認識する(例えば、染色体オブジェクトの上部及び/又は下部を認識する)。1つの染色体オブジェクトの向きが正しくないと判定された場合(例えば、図8に示された態様)、当該1つの染色体オブジェクトこれに応じて回転又は反転される。
【0049】
なお、ステップ308はステップ306で生成されたシミュレーションされた画像を使って複数回行われることがあり、これによってシミュレーションされた画像にそれぞれ対応する複数の再校正画像が得られる。
【0050】
ステップ310では、プロセッサ402は訓練手順を実施し、当該ニューラルネットワークが収束されるまで再校正画像をニューラルネットワークに加えることによって、重なり合った染色体の分離をシミュレーションする分離モデルを得ることができる。
一例として、ニューラルネットワークは、畳み込みニューラルネットワーク(CNN)である。
【0051】
一例として、再校正ユニット608は、検証サブユニット608aを有する。プロセッサ402は検証サブユニット608aを制御し、検証サブユニット608aが再校正画像に対して検証処理を実行する。検証処理は例えば染色体オブジェクトの自動計数や、性染色体オブジェクトの自動ラベリング、染色体オブジェクトの回転、組織化画像を得るための染色体オブジェクトの組織化の1つ以上の機能を実行する。
【0052】
なお、染色体認識モデル600は更に異なるシミュレーションされた分裂中期画像を使ってステップ306〜310を繰り返し実行することによって訓練され得る。
【0053】
染色体認識モデル600が図3に示された方法によって訓練された後、プロセッサ402は、染色体認識モデル600をストレージ媒体408に格納することができる。染色体認識モデル600は、染色体データを染色体認識モデル600の入力として含む画像に含まれる染色体オブジェクトの特徴を識別すると共に、組織化画像を染色体認識モデル600の出力として得るために染色体オブジェクトを分類することに使われる。
【0054】
図10は、本開示に係る染色体認識方法の一例を示すフローチャートである。この方法は、図4に示された電子装置400を使って実行されてよく、他の実施例ではスーパーコンピュータ、量子コンピュータ、パソコン、ノートパソコンのような類似部品を含む任意の電子装置を使って実行されてもよい。
【0055】
ステップ802では、コンピュータ装置400のプロセッサ402は染色体認識モデル600をロードする。染色体認識モデル600は、ストレージ媒体408にアクセスすることによって得られてもよく、又は、通信素子406を介して外部のストレージ媒体から受け取られてもよい。
【0056】
ステップ804では、コンピュータ装置400のプロセッサ402は参照対象に関連する染色体データを染色体認識モデル600の入力として含む画像を取り入れる。染色体データは複数の染色体オブジェクトを含んでいるとされる。
【0057】
ステップ806では、染色体認識モデル600の自動ラベリングユニット602を制御して、画像における染色体オブジェクトの位置を定めるために検出を行う。
ステップ808では、染色体認識モデル600を制御して、画像に含まれたステップ806で位置決めされた染色体オブジェクトの特徴を識別する。
【0058】
ステップ810では、染色体認識モデル600を制御して、他の1つの染色体オブジェクトと重なり合っている染色体オブジェクトを画像に少なくとも1つ含むかどうかを判定する。具体的には、染色体認識モデル600は、画像の1部が、同時に1つ以上の染色体オブジェクトの一部になっている部分を有するかどうかを判定する。この判定が肯定のとき、ステップ812に移行する。そうでない場合、ステップ814に移行する。
【0059】
ステップ812では、染色体認識モデル600を制御して、重なり合った染色体オブジェクトの1つを、重なり合った染色体オブジェクト同士を引き離す分ことで他の1つから離し、1つ以上の染色体オブジェクトのそれぞれにおいて、同時に1つ以上の染色体オブジェクトの一部になっている部分を複製する。そして、ステップ814に移行する。
ステップ814では、染色体認識モデル600を制御して染色体オブジェクトを分類することにより組織化画像を出力として得る。
図11は、染色体認識モデル600を使って図1における画像から得られた組織化画像の一例を示す概略図である。
【0060】
ここで、図10の方法を実施して画像を処理することで、核型画像を手動的に処理することなく画像の主要部分を読み取り参照対象が遺伝性疾患を有するかどうかを判定することができる。
【0061】
以上により、本開示の実施例によれば、重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法及びシステム、分離モデルを利用する方法が提供されることができる。染色体認識モデルを用いることにより、核型分類の処理は効率高く(例えば分裂中期画像は平均0.1〜1秒間で処理され)、また、精度よく(例えば95〜99%の染色体異常が識別される)自動的に実施されるようになり、手動的に分類及び組織化する手間を省くことができる。
【0062】
上記においては、説明のため、本開示の全体的な理解を促すべく多くの具体的な詳細が示された。しかしながら、当業者であれば、一またはそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一つの実施形態」「一実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本開示の具体的な実施に含まれ得るものであることと理解されたい。更に、本説明において、時には複数の変化例が一つの実施形態、図面、またはこれらの説明に組み込まれているが、これは本説明を合理化させるためのもので、また、本開示の多面性が理解されることを目的としたものである。
【0063】
以上、本開示の好ましい実施形態及び変化例を説明したが、本開示はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。
【符号の説明】
【0064】
400 コンピュータ装置
402 プロセッサ
404 ディスプレイ
406 通信素子
408 ストレージ媒体
410 撮像素子
600 染色体認識モデル
601 入力ノード
602 自動ラベリングユニット
604 ランダム生成ユニット
604a 画像増強サブユニット
606 検出ユニット
608 再校正ユニット
608a 検証サブユニット
609 出力ノード
701 核型画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【外国語明細書】
2021005374000001.pdf