一种基于互补内容感知的多模态事件检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114154587A(43)申请公布日2022.03.08(21)申请号202111503622.2G06N3/08(2006.01)(22)申请日2021.12.10G06F16/35(2019.01)G06F16/55(2019.01)(71)申请人北京航空航天大学地址100191北京市海淀区学院路37号(72)发明人李伟欣李建凯王蕴红(74)专利代理机构北京天汇航智知识产权代理事务所(普通合伙)11987代理人黄川史继颖(51)Int.Cl.G06K9/62(2022.01)G06V10/774(2022.01)G06V10/74(2022.01)G06V10/764(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)权利要求书3页说明书10页附图4页(54)发明名称一种基于互补内容感知的多模态事件检测方法(57)摘要本发明涉及多模态处理技术领域，提供了一种基于互补内容感知的多模态事件检测方法。该方法包括：将经过预处理的包括图像和文本的多模态数据集，随机划分成训练集和验证集；采用图像编码器和文本编码器提取图像和文本的特征，构建多模态图结构；基于多模态图结构，构建多模态事件检测模型；通过多模态事件检测模型损失函数和反向传播算法训练多模态事件检测；将多模态图结构输入至目标多模态事件检测模型，获得多模态事件检测结果。本发明的方案，拓展了多模态事件检测的思路，提高了事件检测的效果，弥补了复杂多模态关系建模不充分的缺陷。CN114154587ACN114154587A权利要求书1/3页1.一种基于互补内容感知的多模态事件检测方法，其特征在于，包括：S1将经过预处理的包括图像和文本的多模态数据集，随机划分成训练集和验证集；S2基于所述训练集和验证集，采用图像编码器和文本编码器提取图像和文本的特征，构建多模态图结构；S3基于所述多模态图结构，构建多模态事件检测模型；S4通过所述多模态事件检测模型的损失函数和反向传播算法训练所述多模态事件检测模型，获得目标多模态事件检测模型；S5将所述多模态图结构输入至所述目标多模态事件检测模型，获得多模态事件检测结果。2.根据权利要求1所述的多模态事件检测方法，其特征在于，所述S2，包括：基于所述训练集和验证集，采用图像编码器和文本编码器提取图像和文本的特征；将每个图像或文本看作节点，通过同模态特征之间的相似程度及K近邻算法构建同模态连接的边，通过所述图像和文本之间同时出现的关联关系构建跨模态连接的边；基于所述同模态连接的边和所述跨模态连接的边，构建多模态图结构。3.根据权利要求1所述的多模态事件检测方法，其特征在于，所述S3，包括：基于所述多模态图结构，上下文建模部分部分利用预先构建的所述同模态连接的边连接，并提取同模态数据之间的上下文信息，对多模态图中的数据给予同模态的信息补充；基于所述多模态图结构，跨模态互补信息传播部分利用预先构建的跨模态连接的边连接，并提取互补的跨模态语义信息，对所述多模态图中的数据给予跨模态的信息补充；基于所述多模态图中的数据给予同模态的信息补充、所述多模态图中的数据给予跨模态的信息补充构成所述多模态事件检测模型。4.根据权利要求3所述的多模态事件检测方法，其特征在于，所述上下文建模部分的构建，包括：通道注意力模块接收节点特征和所述上下文信息，并计算所述节点特征和所述上下文信息每个通道之间的注意力；通过对所述节点特征和所述上下文信息的每个通道的注意力打分，获得所述节点特征和所述上下文信息融合特征的结果，并基于所述节点特征和所述上下文信息融合特征的结果，构建所述上下文建模部分；所述上下文信息和所述上下文信息每个通道之间的注意力的计算式分别如下：Scontextual＝AH其中，A表示图像或者是文本的单模态图的邻接矩阵，H表示所拥有节点对应的特征矩阵，表示节点特征和上下文信息每个通道之间的注意力，是节点特征，是上下文特征，σ表示Sigmoid激活函数，W1和W2表示维度映射操作，表示偏置向量。5.根据权利要求3所述的多模态事件检测方法，其特征在于，所述跨模态互补信息传播部分的构建，包括：设定基于所述节点特征计算，获得所述同模态的两个节点之间的相似度；基于所述节点特征的传播，获得跨模态节点之间相似度的传播，并基于所述跨模态节2CN114154587A权利要求书2/3页点之间相似度的传播，构建所述跨模态互补信息传播部分。6.根据权利要求4所述的多模态事件检测方法，其特征在于，所述上下文信息和所述节点融合特征的结果的计算式如下：其中，通道注意力模块接收节点特征，表示输入上下文信息，W1和W2表示维度映射操作，是偏置向量，表示融合特征的结果，⊙表示逐元素乘法。7.根据权利要