一种异常脑连接预测系统、方法、装置及可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113724880A(43)申请公布日2021.11.30(21)申请号202111295888.2A61B5/00(2006.01)(22)申请日2021.11.03A61B5/055(2006.01)(71)申请人深圳先进技术研究院地址518055广东省深圳市西丽大学城学苑大道1068号申请人中国科学院深圳理工大学（筹）(72)发明人王书强左乾坤申妍燕(74)专利代理机构北京中巡通大知识产权代理有限公司11703代理人李宏德(51)Int.Cl.G16H50/50(2018.01)G16H50/20(2018.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书9页附图3页(54)发明名称一种异常脑连接预测系统、方法、装置及可读存储介质(57)摘要本发明公开了一种异常脑连接预测系统、方法、装置及可读存储介质，通过深度学习方法自动提取不同模态内的高阶相关特征和不同模态间的高阶互补特征，并通过对抗训练的方法实现多模态脑网络异常连接的分析和不同认知疾病的预测。本发明解决了现有方法无法精准评估脑结构形态与功能连接变化规律的问题。本发明利用先验知识引导模型学习可解释性的表征，并通过成对协同判别器约束不同模态表征分布的一致性，再通过逆向生成器和解码器对特征编码进行重构脑部图数据，最后通过超图感知融合模块提取模态间和模态内的高阶相关特征，并设置对抗损失、重构损失和分类损失函数指导模型学习，以此达到挖掘阿尔兹海默症异常脑连接的目的。CN113724880ACN113724880A权利要求书1/4页1.一种异常脑连接预测方法，其特征在于，包括以下步骤：对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布；利用先验分布引导双通道对抗网络结构提取原始多模态图像数据的特征、多模态潜在表征及其联合分布信息；利用超图感知融合网络建立模态间的高阶相关性，进而构建异常脑连接预测模型；基于先验引导的对抗学习损失函数、重构损失函数、分类损失函数和稀疏正则化损失函数对异常脑连接预测模型进行训练。2.根据权利要求1所述的异常脑连接预测方法，其特征在于，所述对原始多模态图像数据进行处理，并从处理后的多模态图像数据中提取多模态潜在表征，通过核密度方法估计出多模态潜在表征的先验分布，包括：步骤1，将阿尔茨海默症患者、晚期轻度认知障碍患者、早期轻度认知障碍患者和正常老年人各M位的脑部的fMRI、DTI和MRI图像作为原始数据集；步骤2，对脑部DTI图像进行预处理，得到脑白质的纤维束，并基于AAL模板将大脑皮层及皮下组织划分为N个脑区，完成脑区之间纤维束网络的构建，脑区之间的纤维束的密度即为结构性连接特征，将该连接特征作为真实图结构数据Areal，另外构建一个生成器G，将脑部DTI图像数据直接映射为图结构数据Afake，判别器D约束生成的Afake接近真实的Areal；对脑部fMRI图像进行预处理，然后将fMRI图像映射到AAL模板得到90个脑区的时间序列，其输出即为脑区特征矩阵X；对脑部MRI图像进行预处理，输出的三维图像大小为91×109×91，经过DenseNet40层网络，输出1×q大小的特征向量V；步骤3，以脑部DTI图像数据构建大小为m×m的连接矩阵A；以脑部fMRI图像数据构建大小为m×d的脑区特征矩阵X，其中m为节点的数量，d为脑区特征的长度；基于行列式点过程从A中抽取大小为s×s的子方阵，其中s包含左右侧的海马体以及左右侧的海马旁回，并在脑区特征矩阵X中提取对应s个脑区的特征向量，再使用PCA降维，得到大小为m×q的特征矩阵Z，最后通过核密度方法估计出脑区特征的先验分布PZ(z｜X,A)。3.根据权利要求2所述的异常脑连接预测方法，其特征在于，所述异常脑连接预测模型包括双向对抗学习网络和超图感知融合网络，所述双向对抗学习网络和超图感知融合网络中均设置有判别器、超边感知卷积模块，用于对多模态数据的高阶特征和互补特征进行提取。4.根据权利要求3所述的异常脑连接预测方法，其特征在于，所述双向对抗学习网络采用双通道对抗网络结构，所述双通道对抗网络结构基于双映射脑区特征空间的真伪进行对抗学习，提取有意义的认知疾病脑区特征表示，具体方法如下：(1)对抗阶段的流程生成器G1接受脑部结构连接特征A和功能特征X作为输入，输出大小为N×q的潜在的脑区表征；编码器S接受脑部结构连接特征A和脑部形态特征V为输入和输出大小为N×q的潜在的脑区表征；从脑部多模态的先验分布PZ(Z｜X,A)中采样潜在脑区特征Z，将其送给生成器G2，得到大小为N×d的脑区表征；然后，将(,Z)、(X,)和(X,)三