模态数据融合处理方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963200A(43)申请公布日2022.01.21(21)申请号202111210370.4G06N3/04(2006.01)(22)申请日2021.10.18G06N3/08(2006.01)(71)申请人郑州大学地址450001河南省郑州市高新区高新技术开发区科学大道100号申请人河南信通智能物联有限公司(72)发明人陈恩庆郭佳乐丁英强刘强张娟马龙吕小永郭新王宏伟张丽娟张秀琳朱广磊(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人曹瑞敏(51)Int.Cl.G06V10/764(2022.01)G06K9/62(2022.01)权利要求书2页说明书14页附图6页(54)发明名称模态数据融合处理方法、装置、设备及存储介质(57)摘要本申请提供一种模态数据融合处理方法、装置、设备及存储介质，涉及计算机视觉技术领域。该方法包括：获取多个模态数据；将各模态数据输入预先训练得到的分类网络中，得到各模态数据的初始分类信息；将各分类以及概率输入目标权重分配模型中，得到各模态数据的各初始分类信息对应的目标权重；根据各模态数据的各初始分类信息对应的目标权重，确定多个模态数据的目标分类结果。本方案为了改变各模态数据采用固定权重值进行融合方式，提出了基于深度强化学习的多模态融合权重分配网络，使得能够充分利用和挖掘各种动作类别不同的模态数据的表征能力，解决了对多模态数据融合过程中权重值的合理分配问题。CN113963200ACN113963200A权利要求书1/2页1.一种模态数据融合处理方法，其特征在于，包括：获取多个模态数据，各所述模态数据包括：视频模态；将各所述模态数据输入预先训练得到的分类网络中，得到各模态数据的初始分类信息，所述初始分类信息包括：至少一种分类以及所述模态数据属于所述分类的概率；将各分类以及所述概率输入目标权重分配模型中，得到各模态数据的各初始分类信息对应的目标权重，所述目标权重分配模型包括：策略网络和评估网络，所述策略网络用于根据所述评估网络输出的状态和奖励确定动作，并将所述动作发送给所述评估网络，所述评估网络用于根据所述动作对状态进行更新，并将更新后的状态发送给所述策略网络，所述状态用于表征各分类对应的权重，所述状态的初始值为所述模态数据属于所述分类的概率，所述动作用于表征针对所述分类的动作；根据各模态数据的各初始分类信息对应的目标权重，确定所述多个模态数据的目标分类结果。2.根据权利要求1所述的方法，其特征在于，所述将各所述初始分类信息输入预先训练得到的目标权重分配模型中，得到各模态数据的各初始分类信息对应的目标权重之前，还包括：A、将第一分类的当前状态和奖励输入初始权重分配模型的策略网络中，得到所述第一分类的当前动作；所述第一分类的当前状态包括：当前分类概率、当前权重值、以及标签；所述当前动作用于表征对所述第一分类所包含的各模态数据的当前权重调整的幅度；B、由所述初始权重分配模型的评估网络根据所述第一分类的当前动作，确定新的当前状态和新的奖励，并将所述新的当前状态和新的奖励发送给所述策略网络；循环执行A‑B，直至循环次数达到预设次数，根据循环结果修正所述初始权重分配模型的参数，得到所述目标权重分配模型。3.根据权利要求2所述的方法，其特征在于，所述将第一分类的当前状态和奖励输入初始权重分配模型的策略网络中，得到所述第一分类的当前动作，包括：由所述策略网络根据所述第一分类的当前状态中的当前权重值、预设的权重调整步长，计算得到所述第一分类的当前动作。4.根据权利要求2所述的方法，其特征在于，所述由所述初始权重分配模型的评估网络根据所述第一分类的当前动作，确定新的当前状态和新的奖励，包括：由所述评估网络根据第一分类的当前动作、以及所述第一分类的当前状态，确定所述新的当前状态和所述新的奖励。5.根据权利要求2所述的方法，其特征在于，所述初始权重分配模型还包括：第一目标网络、第二目标网络；所述第一目标网络和所述第二目标网络的输入层均用于输入所述第一分类的新的当前状态和新的奖励，所述第一目标网络的输出层用于输出所述第一分类的第一目标值，所述第二目标网络的输出层用于输出所述第一分类的第二目标值；所述根据循环结果修正所述初始权重分配模型的参数，得到所述目标权重分配模型，包括：根据所述第一目标值、所述第二目标值、以及所述初始权重分配模型中评估网络输出的所述第一分类的当前目标值，确定损失函数；所述第一目标值、所述第二目标值、以及所2CN113963200A权利要求书2/2页述第一分类的当前目标值均用于表征所述第一分类的标签；根据所述损失函数，修正所述初始权重分配模型中网络参数，得到所述目标权重分配模型。6.根据权利要求5所