一种基于图文交互的多模态数据融合方法.pdf

本发明公开了一种基于图文交互的多模态数据融合方法,包括如下步骤:S1、获取多模态数据,所述多模态数据包括巡检图像数据和设备状态数据;S2、通过卷积神经网络获取巡检图像的图像特征图;S3、通过文本抽取器对设备状态数据进行预处理得到文本特征图;S4、构建多头注意力模块获取文本注意力权重和图像注意力权重;S5、基于文本注意力权重和图像注意力权重获取图像文本混合特征;S6、通过多头交叉注意力模块获取训练数据和目标的双向交互式信息;S7、通过特征图混合模块得到混合特征图信息并输出预测结果。方案通过对多模态特征进行融合学习和分析,提高了识别精度。