脑出血医学图像的病变合成方法、装置及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953345A(43)申请公布日2023.04.11(21)申请号202310221137.9G06T7/11(2017.01)(22)申请日2023.03.09G06T7/60(2017.01)G06N3/045(2023.01)(71)申请人同心智医科技（北京）有限公司G06N3/0475(2023.01)地址100089北京市海淀区王庄路1号院清G06N3/094(2023.01)华同方科技大厦D座23层2301-1、G06V10/764(2022.01)2301-2号G06V10/82(2022.01)(72)发明人刘伟奇马学升陈金钢陈凯乐G06N3/047(2023.01)陈磊赵晓彤(74)专利代理机构北京知果之信知识产权代理有限公司11541专利代理师苏利(51)Int.Cl.G06T5/50(2006.01)G06T5/00(2006.01)G06T7/00(2017.01)权利要求书3页说明书12页附图8页(54)发明名称脑出血医学图像的病变合成方法、装置及存储介质(57)摘要本申请实施例公开了一种脑出血医学图像的病变合成方法、装置及存储介质，其中脑出血医学图像的病变合成方法包括：使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。CN115953345ACN115953345A权利要求书1/3页1.一种脑出血医学图像的病变合成方法，其特征在于，包括：使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。2.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，所述根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版包括：基于现有的病变蒙版，设置一个形状池，将D=[D1,D2,...,Dn]定义为所述形状池中形状的数据矩阵，将w=[w1,w2,...,wn]定义为权重或系数，Dw是标准化的组合形状，生成的形状A的所述蒙版通过公式：得到，其中，S是具有两个所述端点的颅侧边缘，是其余轮廓，T(·)是一个带有参数α的变换，它从生成的形状Dw到进行反向标准化和反向对齐，通过随机设置不同出血的不同权重的w，生成任何位置、大小或形状的所述蒙版。3.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，所述生成器为将UNet结构中的所有卷积层替换为部分卷积层；所述补丁GAN鉴别器用于区分补丁是否是自然形成的。4.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，所述病变合成网络还包括：损失函数，所述损失函数计算的因素包括像素损失、内容损失、纹理损失和/或补丁GAN损失；所述像素损失通过方程：,得到，其中，给定输入图像I和二进制蒙版M，0表示孔，1表示非孔输入，地面实况和预测输出定义为x和y；所述内容损失通过方程：,得到，其中，Φl(·)是VGG‑16第l层的特征图，它是在ImageNet上用输入(·)预训练的，z为y和x合成的图像，定义为；所述纹理损失通过方程：2CN115953345A权利要求书2/3页,得到，其中，图像的纹理可以看成是基于Gram矩阵与维度为Cl×Cl的两幅图像的相关性；所述补丁GAN损失通过方程：,得到，其中，是未完成的图像。5.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，在所述病变合成网络输出修复后的病变合成图像和空白蒙版图像之后，还包括：通过预训练的残差网络评估生成的所述病变合成图像的真实性，给定一个内部有合成病变的补丁q，输出类标签是o，每一类的概率向量记为p(o|q)∈[0,1]c，其中c是出血类的数量，因此，残差分数RS被定义为max(p(o|q))，而相应的类是argmax(p(o|q))。6.根据权利要求5所述的脑出血医学图像的病变合成方法，其特征在于，还包括：使用ResNet50用作检测网络和分类模型，将带有和不带有人工病变的图像放在一起进行训练，验证人工病变是