(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)【申请公布号】CN110517250A
(43)【申请公布日】20191129

(21)【申请号】201910797551.8
(22)【申请日】20190827
(71)【申请人】 东北大学 ; 【地址】 110819 辽宁省沈阳市和平区文化路三巷11号 ;
(72)【发明人】 佘黎煌 ; 杨晓 ; 郭一蓉 ; 张石 ; 石鑫 ;
(74)【专利代理机构】大连东方专利代理有限责任公司 21212【代理人】姜玉蓉 ; 李洪福 ;
(51)【Int.CI.】 G06T 7/00 (2017.01) ; G06T 7/10 (2017.01) ; G06N 3/04 (2006.01) ;

(54)【发明名称】一种基于增强对抗生成网络的眼底视网膜血管分割系统
(57)【摘要】本发明提供一种基于增强对抗生成网络的眼底视网膜血管分割系统,属于医学图像处理技术领域,为解决现有眼底视网膜血管分割存在算法限制、实际成像对比度较低、分割结果出现血管断裂、血管分支细节存在冗余的问题。本发明系统,包括用于对人工分割的样本标签和视网膜图像对比自适应直方图均衡化进行增强处理的视网膜图像预处理单元、通过增加训练的数据量对图像进行再次增强处理的数据增强单元以及对数据增强单元处理后的视网膜数据图像进行分割以提取更多的细小血管,提高分割效果准确度的对抗生成网络模型。效果是极大的加速网络的训练,并使得细小的血管分支细节也可以分割出来,有效的去除了视网膜图像的噪声,提高了血管分割的准确率。

【权利要求书】


1.一种基于增强对抗生成网络的眼底视网膜血管分割系统,其特征在于,包括:

用于对人工分割的样本标签和视网膜图像对比自适应直方图均衡化进行增强处理提高对比度的视网膜图像预处理单元;

通过增加训练的数据量对视网膜图像预处理单元处理后的人工分割的样本标签和视网膜图像进行再次增强处理,以提高对抗生成网络模型泛化能力以及提高模型鲁棒性的数据增强单元;

用于对数据增强单元处理后的视网膜数据图像进行分割,以提取更多的细小血管,提高分割效果准确度,完成分割结果的对抗生成网络模型。

2.根据权利要求1所述的基于增强对抗生成网络的眼底视网膜血管分割系统,其特征在于,所述的对抗生成网络模型包括生成网络模型和判别网络模型;

所述的生成网络模型包括收缩路径、扩展路径、输出层;

所述的判别网络模型包括多个卷积模块和池化层以及全连接层和sigmoid激活函数层。

3.根据权利要求1或2所述的基于增强对抗生成网络的眼底视网膜血管分割系统,其特征在于,所述收缩路径主要由多个卷积块和下采样组成,所述扩展路径主要由反卷积块和上采样组成,所述的输出层由sigmoid激活函数进行血管和背景像素分类,以实现血管的精细分割。

4.根据权利要求3所述的基于增强对抗生成网络的眼底视网膜血管分割系统,其特征在于,所述收缩路径中的多个卷积块具体为resnet卷积块。

5.根据权利要求3所述的基于增强对抗生成网络的眼底视网膜血管分割系统,其特征在于,所述扩展路径中在反卷积块进行反卷积之前还使用了concatenate操作,将与之相对应的收缩路径进行卷积操作之后的图像按通道链接到扩展路径中。

6.根据权利要求1所述的基于增强对抗生成网络的眼底视网膜血管分割系统,其特征在于,所述的对抗生成网络模型其对抗生成网络损失函数的目标函数为:

式中,G(x,y)表示生成器,D(x,y)表示判别器,x为人工分割的血管,z为生成网络生成的血管。

【说明书】


一种基于增强对抗生成网络的眼底视网膜血管分割系统

【0001】技术领域

【0002】本发明涉及医学图像处理技术领域,具体而言,尤其涉及一种基于增强对抗生成网络的眼底视网膜血管分割系统。

【0003】背景技术

【0004】视网膜微血管是人体全身血管系统中唯一可以非创伤直接观察且较深层的微血管,许多疾病如:高血压、糖尿病等都会引起视网膜血管状态或结构的改变。通过视网膜血管的数量、分支、宽度等信息,可以作为视网膜血管相关疾病的诊断依据。通过对视网膜血管进行分析,来对一些疾病做早期的诊断和预防是有着及其重要的临床医学意义。因此视网膜血管分割技术尤为重要。

【0005】由于视网膜图像灰度分布不均匀,血管结构复杂,目标血管与图像背景对比度较低,以及图像噪声等影响,视网膜血管分割面临着巨大的挑战。传统分割方法有基于模式识别的方法(监督分类和无监督分类)、基于匹配滤波的、基于数学形态学的、基于追踪的方法等。视网膜图像分割作为图像分割的分支,目前有许多的分割方法已经被大量研究和报道,存在的方法主要基于以上几种方面,或者是在这几个方面上的结合。

【0006】上述的方法能够提取大部分视网膜血管,由于算法的限制或者实际成像对比度较低,算法分割结果常常出现血管断裂的现象和血管分支细节存在冗余。

【0007】发明内容

【0008】根据上述提出的技术问题,而提供一种基于增强对抗生成网络的眼底视网膜血管分割系统。本发明主要利用构建的对抗生成网络模型,极大的加速网络的训练,并使得细小的血管分支细节也可以分割出来,有效的去除了视网膜图像的噪声,提高了血管分割的准确率。

【0009】本发明采用的技术手段如下:

【0010】一种基于增强对抗生成网络的眼底视网膜血管分割系统,包括:

【0011】用于对人工分割的样本标签和视网膜图像对比自适应直方图均衡化进行增强处理提高对比度的视网膜图像预处理单元;

【0012】通过增加训练的数据量对视网膜图像预处理单元处理后的人工分割的样本标签和视网膜图像进行再次增强处理,以提高对抗生成网络模型泛化能力以及提高模型鲁棒性的数据增强单元;

【0013】用于对数据增强单元处理后的视网膜数据图像进行分割,以提取更多的细小血管,提高分割效果准确度,完成分割结果的对抗生成网络模型。

【0014】进一步地,所述的对抗生成网络模型包括生成网络模型和判别网络模型;

【0015】所述的生成网络模型包括收缩路径、扩展路径、输出层;

【0016】所述的判别网络模型包括多个卷积模块和池化层以及全连接层和sigmoid激活函数层。

【0017】进一步地,所述收缩路径主要由多个卷积块和下采样组成,所述扩展路径主要由反卷积块和上采样组成,所述的输出层由sigmoid激活函数进行血管和背景像素分类,以实现血管的精细分割。

【0018】进一步地,所述收缩路径中的多个卷积块具体为resnet卷积块。

【0019】进一步地,所述扩展路径中在反卷积块进行反卷积之前还使用了concatenate操作,将与之相对应的收缩路径进行卷积操作之后的图像按通道链接到扩展路径中。

【0020】进一步地,所述的对抗生成网络模型其对抗生成网络损失函数的目标函数为:

【0021】

【0022】式中,G(x,y)表示生成器,D(x,y)表示判别器,x为人工分割的血管,z为生成网络生成的血管。

【0023】较现有技术相比,本发明具有以下优点:

【0024】1、本发明提供的基于增强对抗生成网络的眼底视网膜血管分割系统,适用于视网膜眼底图像中血管的分割。

【0025】2、本发明提供的基于增强对抗生成网络的眼底视网膜血管分割系统,其对抗生成网络中生成网络的卷积采用了resnet的思想,极大的加速网络的训练,并使得细小的血管分支细节也可以分割出来。

【0026】3、本发明提供的基于增强对抗生成网络的眼底视网膜血管分割系统,通过生成网络中伸缩路径,有效的去除了视网膜图像的噪声,提高了血管分割的准确率。

【0027】基于上述理由本发明可在医学图像处理等领域广泛推广。

【0028】附图说明

【0029】为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

【0030】图1为本发明系统整体结构图。

【0031】图2为本发明系统中的生成网络结构图。

【0032】图3为本发明系统中的判别网路结构图。

【0033】图4为本发明系统中的生成网络中收缩路径和扩展路径中的卷积块示意图。

【0034】图5为本发明实施例提供的分割结果图。

【0035】图6为本发明实施例提供的本系统与Wavelets、HED分割细节对比图。

【0036】具体实施方式

【0037】需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

【0038】为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

【0039】需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

【0040】除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时,应当清楚,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任向具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。

【0041】本发明提供了一种基于增强对抗生成网络的眼底视网膜血管分割系统,包括:视网膜图像预处理单元、数据增强单元以及对抗生成网络模型;

【0042】作为本发明优选的实施方式,视网膜图像预处理单元只针对人工分割的样本标签和视网膜图像对比自适应直方图均衡化进行增强处理提高对比度,考虑到将视网膜图像进行灰度化处理会丢失部分特征现象,故采用RGB三通道视网膜图像进行网络训练。

【0043】作为本发明优选的实施方式,数据增强单元通过增加训练的数据量对视网膜图像预处理单元处理后的人工分割的样本标签和视网膜图像进行再次增强处理,以提高对抗生成网络模型泛化能力以及提高模型鲁棒性;本实施例中,考虑到视网膜数据集,DRIVE数据集共40张,STARE数据集20张,训练样本数少,本发明将训练样本的眼底图像和对应的人工分割的图像标签分别进行3度的旋转,使得一张训练样本变为120张,从而对训练样本进行数据增强。

【0044】作为本发明优选的实施方式,对抗生成网络模型用于对数据增强单元处理后的视网膜数据图像进行分割,以提取更多的细小血管,提高分割效果准确度,完成分割结果。本实施例中的对抗生成网络模型,如图1所示,包括生成网络模型和判别网络模型;

【0045】生成网络模型:

【0046】本实施例中,生成网络模型中采用将U型网络和resnet网络相结合的方法。如图2所示,生成网络模型包括收缩路径、扩展路径和输出层。

【0047】收缩路径主要由多个resnet卷积块和下采样组成,收缩路径中特征提取部分采用resnet网络的思想,解决梯度消失或者梯度爆炸的问题,可以保护信息的完整性,整个网络只需要学习输入和输出的差别部分,更容易进行优化,收敛速度更快。其结构如图3(a)所示,卷积变换采用的是BN+ReLu+Conv(3×3)的组合,使用批量归一化BN进行优化调整,线性修正单元ReLu激活函数有效的减少了反向传播中梯度消失,ReLu激活函数如下:

【0048】ReLU(x)=max(x,0)

【0049】下采样采用2x2的最大池化来压缩和提取特征,降低参数复杂度。

【0050】扩展路径主要由反卷积块和上采样组成,在反卷积块进行反卷积之前还使用了concatenate操作,将U型网络左侧收缩路径卷积之后的图像按通道跳跃链接到与之相对应的扩展路径中,解决了在收缩路径中因为下采样导致特征信息丢失的问题。其卷积结构如图3(b)所示,卷积变换采用的是2个Conv(3×3)+BN+ReLu的组合,扩大了感受野。

【0051】输出层由sigmoid激活函数进行血管和背景像素分类,以实现血管的精细分割。本实施例中,使用的是1x1的卷积实现跨通道的信息交互和信息整合,并使用了sigmoid激活函数进行2分类达到血管分割的效果。

【0052】判别网络模型:

【0053】判别网络模型包括多个卷积模块和池化层以及全连接层和sigmoid激活函数层。本实施例中,如图4所示,判别网络模型整个卷积部分在前4层采用2次卷积模块Conv(3×3)+BN+ReLu组合和最大池化,在第五层采用2次Conv(3×3)+BN+ReLu和平均池化,然后进行全连接操作,最后使用sigmoid激活函数进行2分类。

【0054】作为本发明优选的实施方式,本实施例中,对抗生成网络模型其对抗生成网络在分割问题上,通过优化对抗生成网络损失函数的方式实现,其优化后的目标函数为:

【0055】

【0056】式中,G(x,y)表示生成器,D(x,y)表示判别器,x为人工分割的血管,z为生成网络生成的血管。本发明使用的是交叉熵函数,在反向传播时通过Adam梯度下降算法更新鉴别网络和生成网络的参数。

【0057】通过以上步骤,如图5(b)所示,在迭代完之后最终得到的视网膜分割图。如图6所示,在STARE数据集编号为im0255的血管图像,本发明系统与Wavelets算法、HED算法相比,本发明对于血管断裂点的连接效果明显,在微小细节处分割时血管更加清晰。

【0058】最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

【说明书附图】


【0001】


图1

【0002】


图2

【0003】


图3

【0004】


图4

【0005】


图5

【0006】


图6