一种基于多模态深度迁移学习机制的多源异构数据融合系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115310489A(43)申请公布日2022.11.08(21)申请号202210987221.7(22)申请日2022.08.17(71)申请人江苏新纪翎宇科技有限公司地址215400江苏省苏州市太仓市太仓港经济技术开发区北环路16号3号楼1203-6(72)发明人刘越刘晓溪支雪峰雷振坤郭超陈佳(51)Int.Cl.G06K9/00(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书1页说明书3页附图1页(54)发明名称一种基于多模态深度迁移学习机制的多源异构数据融合系统(57)摘要本发明公开了一种基于多模态深度迁移学习机制的多源异构数据融合系统，涉及人工智能和信号处理技术领域，包括多组单个异构数据融合整合模块、多源异构数据融合整合模块与数据对比模块；所述多组单个异构数据融合整合模块：用于将细小的数据进行整合融合处理。本发明首先利用多组单个异构数据融合整合模块的作用，完成对外界较小样品数据的收集与整合，并且配合数据对比模块将重复的数据去除，且将有效的数据保留，并进行数据融合，最后传输至多源异构数据融合整合模块，使其将多组融合数据再次进行融合，并得到融合数据，而此过程多源异构数据融合整合模块所要处理的数据相对较少，从而降低对设备的负荷，进而大大提高设备的使用效率。CN115310489ACN115310489A权利要求书1/1页1.一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：包括多组单个异构数据融合整合模块、多源异构数据融合整合模块与数据对比模块；所述多组单个异构数据融合整合模块：用于将细小的数据进行整合融合处理；所述多源异构数据融合整合模块：用于将多组单个异构数据整合模块后的数据进行异构数据融合；所述数据对比模块：用于将收集的到的数据以及融合后的数据进行对比，去除重复，保留有效信息。2.根据权利要求1所述的一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：所述单个异构数据融合整合模块、多源异构数据融合整合模块的内部皆包括信号采集器、处理器与结果输出模块，所述信号采集器、处理器与结果输出模块，用于对所得到的数据进行整合与输出。3.根据权利要求2所述的一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：所述信号采集器：用于单源或者多源信息进行收集，所述结果输出模块：用于输出分类器或回归器的判断结果。4.根据权利要求2所述的一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：所述处理器：用于对收集来的数据以及对融合后的数据进行处理整合。5.根据权利要求3所述的一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：所述信号采集器采集有三个模态的源信息和目标信息，包括人脸信号、步态信号和语音信号。6.根据权利要求4所述的一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于：所述处理器包括卷积层、激活函数、池化层和全连接层，所述卷积层用于抽取图像特征，所述激活函数用于进行非线性整合，所述池化层用于减少特征图空间尺寸，所述全连接层用于将图像展开进行分类操作。2CN115310489A说明书1/3页一种基于多模态深度迁移学习机制的多源异构数据融合系统技术领域[0001]本发明涉及人工智能和信号处理技术领域，具体为一种基于多模态深度迁移学习机制的多源异构数据融合系统。背景技术[0002]目前大多数目标分类与检测研究都涉及到复杂目标，为了充分检测目标信息，就需要采用多源多模态传感器进行信息探测，然后进行融合，便于后续的分类与回归，由于多源多模态传感器因其探测信息机理不同，所探测的信息存在多源异构的特点，且由于大多数情况下目标数据样本较少，因此传统方法难以取得较好的效果，因此如何实现非大样本情况下的多源异构数据融合是一个当前研究的热点和难点。[0003]目前多源异构数据融合方法方面的研究较少，其主要方法思路是：先对不同模态样本进行时空配准，获取对应感兴趣，然后提取特征，合并特征，对特征进行选择或者转换，形成融合后的多模态特征。[0004]上述方法思路其缺陷是：(1)现有研究大多处于理论研究阶段，产品化较少；2)现有各种融合方法难以实现对原始信息实现高质量的非线性变换，从而获取高层次特征，以实现对目标的精确完整表征。[0005](3)现有融合方法需要对多源异构数据进行时空配准等预处理操作，难度大，且需要人工干预，无法实现端到端的处理。[0006](4)现有融合方法需要根据经验知识进行特征提取，主观性强，稳定性差，自适应性差，难以适应复杂多变情况下的分类和回归要求。[0007](5)基于传统深度学习的融合方法缺乏对小样本