一种基于无锚框的多期相肝脏病灶检测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112102317A(43)申请公布日2020.12.18(21)申请号202011268110.8(22)申请日2020.11.13(71)申请人之江实验室地址310023浙江省杭州市余杭区文一西路1818号人工智能小镇10号楼(72)发明人基隆若沙库提提郎陈延伟林兰芬童若锋李劲松(74)专利代理机构杭州求是专利事务所有限公司33200代理人刘静(51)Int.Cl.G06T7/00(2017.01)G06K9/32(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书9页附图2页(54)发明名称一种基于无锚框的多期相肝脏病灶检测方法及系统(57)摘要本发明公开了一种基于无锚框的多期相肝脏病灶检测方法及系统，本发明首次使用无锚框方法进行多期相肝脏病灶的检测，避免参数的手工调节问题，极大提升检测效率；本发明提出全尺度连接循环深层聚合检测网络，通过该网络可以充分结合浅层、深层特征，同时保留浅层特征信息，提升网络对病灶多尺度特征的学习能力；本发明提出循环特征连接模块，通过该模块可以结合多期相每个尺度的特征，提取该尺度多期相动态变化模式，进一步提升多期相图像中对病灶的检测能力。CN112102317ACN112102317A权利要求书1/3页1.一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，该方法包括以下步骤：（1）构建无锚框多期相CT图像肝脏病灶自动检测网络；所述无锚框多期相CT图像肝脏病灶自动检测网络包括特征提取网络RDLA++和检测分支；输入各期相CT图像，首先由RDLA++提取图像特征，然后由检测分支预测图像中的病灶位置；所述RDLA++由全尺度连接循环深层聚合检测网络DLA++和循环特征连接模块构成；所述DLA++采用密集跳跃连接将浅层特征传递给深层特征，同层特征能够跨越传递，DLA++输出多个不同尺度的特征图以实现全尺度特征提取；所述循环特征连接模块通过CLSTM实现；各期相图像经各自的DLA++输出的同尺度的特征通过循环特征连接模块依次级联；循环特征连接模块级联的结果按尺寸从小到大依次输入各连接节点，后一个连接节点的输入为所对应的循环特征连接模块的输出和前一个连接节点的输出的合成；每个连接节点对输入进行上采样卷积；最后一个连接节点输出RDLA++所提取的时空间特征；（2）训练RDLA++和检测分支，实现肝脏病灶检测：采集各期相CT图像，标注肝脏病灶区域构成训练集对RDLA++和检测分支进行训练；将待检测用户的各期相CT图像输入训练好的RDLA++和检测分支中，得到病灶位置。2.根据权利要求1所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所述DLA++有两条特征提取路径：横向I路径和纵向J路径；I路径由卷积层和池化层所组成，由浅到深，特征图的大小随之变小；J路径只有卷积层，特征图的大小不变；（i，j）卷积层的输出表示成公式(1)；(1)其中，H(x)表示卷积层的输出，x表示卷积层的输入；U(x)表示x的上采样；表示把合并成一个特征图，表示把合并成一个特征图；J代表J路径的总层数。3.根据权利要求2所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所述DLA++输出三个不同尺度的特征图时，所述循环特征连接模块的实现过程如公式(2)；(2)其中，代表连接节点Gs输出的特征，CLSTM代表卷积长短时记忆网络，H1×1代表1×1上采样卷积；分别表示NC、ART、PV期相CT图输入时的DLA++的（i,j）卷积层的输出。4.根据权利要求1所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所述检测分支采用CenterNet方法，具体为：假定输入的某期相m的图像为，W和H分别为图像的宽和高；对于RDLA++输出的特征图，采用全连接层通过softmax生成C个热2CN112102317A权利要求书2/3页力图，第c类热力图，其中F是尺寸缩小率，C是被检测物体的种类数；热力图中的最大值的位置（px,py）就是所要检测的第c类物体的中心点；用回归方法通过RDLA++的特征图计算肿瘤的大小S和中心点的局部偏移O。5.根据权利要求1所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，所述训练集的构建具体为：采集NC、ART、PV三个期相的腹部CT图像，将3D图像分解成多张二维切片图像，选取包含病灶的若干张二维切片图像，由医生手工标注肝脏病灶区域，构成训练集。6.根据权利要求4所述的一种基于无锚框的多期相肝脏病灶检测方法，其特征在于，采用三个损失函数的线性组合进行端对端地训练RDLA++和检测分支；（1）用于生成热力图的Focalloss函数，见公式(3)；(3)其中，是根据标注