融合模型、融合方法、训练方法、装置、设备及介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114972940A(43)申请公布日2022.08.30(21)申请号202210467940.6(22)申请日2022.04.29(71)申请人珠高智能科技（深圳）有限公司地址518133广东省深圳市宝安区新安街道海滨社区N26区宝兴路21号万俊经贸大厦504(72)发明人周颖婕钟成(74)专利代理机构北京润泽恒知识产权代理有限公司11319专利代理师吴文心(51)Int.Cl.G06V10/80(2022.01)G06V10/764(2022.01)权利要求书5页说明书22页附图6页(54)发明名称融合模型、融合方法、训练方法、装置、设备及介质(57)摘要本发明实施例提供了一种融合模型、融合方法、训练方法、装置、设备及介质，所述融合模型包括：至少包括多头检测器以及融合器，多头检测器包括若干个检测头；其中，检测头用于对输入融合模型中的若干个目标数据集进行标注，获得目标数据集对应的目标标签；融合器用于将各个目标数据集以及目标数据集对应的目标标签进行数据融合，输出针对若干个目标数据集的融合数据集。以解决或部分解决不同数据集之间因标签空间不同直接合并数据集后会导致数据集中存在大量目标漏标、误标以及标签精度差等导致融合数据集质量低的问题。CN114972940ACN114972940A权利要求书1/5页1.一种领域自适应的多数据集融合模型，其特征在于，所述多数据集融合模型至少包括多头检测器以及融合器，所述多头检测器包括若干个检测头；其中，所述检测头用于对输入所述多数据集融合模型中的若干个目标数据集进行标注，获得所述目标数据集对应的目标标签；所述融合器用于将各个所述目标数据集以及所述目标数据集对应的目标标签进行数据融合，输出针对所述若干个目标数据集的融合数据集。2.根据权利要求1所述的多数据集融合模型，其特征在于，每一所述检测头对应一预设数据集；其中，所述多数据集融合模型还包括特征提取器；所述特征提取器用于对输入所述多数据集融合模型中的若干个目标数据集分别进行特征提取，获得所述目标数据集对应的第一数据特征；所述检测头还用于根据所述若干个目标数据集中除所述检测头对应的预设数据集之外的其他目标数据集所对应的第一数据特征进行数据集标注，输出所述目标数据集对应的伪标签。3.根据权利要求2所述的多数据集融合模型，其特征在于，每一所述目标数据集对应一原始标签，所述原始标签包括在所述目标数据集中的原始检测框，所述伪标签包括在所属目标数据集中的伪检测框；所述融合器包括标签融合器以及数据集融合器；其中，所述标签融合器用于若同一目标数据集中所述原始检测框与所述伪检测框之间的重叠区域以及各个所述伪检测框之间的重叠区域均小于第三预设阈值，则对所述原始标签和所述伪标签进行合并，获得所述目标数据集对应的目标标签；若同一目标数据集中存在部分所述伪检测框之间的重叠区域大于或等于所述第三预设阈值，则将大于或等于所述第三预设阈值的重叠区域作为目标重叠区域，以及将所述目标重叠区域对应的伪检测框作为重叠检测框；若所述目标重叠区域中存在目标数据集对应的原始标签中的原始检测框，则对所述原始检测框以及所述伪检测框中除所述重叠检测框之外的其他伪检测框进行合并，获得所述目标数据集对应的目标标签；若所述目标重叠区域中不存在所述原始检测框，则获取各个所述重叠检测框对应的置信度，并将其余重叠区域对应的原始检测框和/或伪检测框以及所述目标重叠区域中置信度最高的重叠检测框进行合并，获得所述目标数据集对应的目标标签；将各个所述目标数据集对应的目标标签进行融合，获得所述若干个目标数据集对应的融合标签；所述数据集融合器用于将各个所述目标数据集进行融合，获得所述若干个目标数据集对应的融合数据集。4.根据权利要求2所述的多数据集融合模型，其特征在于，所述多数据集融合模型包括多头分类器；其中，所述特征提取器还用于对输入所述多数据集融合模型的若干个训练数据集进行特征提取，获得所述训练数据集对应的第二数据特征；所述检测头还用于根据所述检测头对应的训练数据集所对应的第二数据特征进行模型训练，获得所述训练数据集对应的第一分类信息；所述多头分类器用于根据各个所述训练数据集对应的第二数据特征进行模型训练，获得所述训练数据集对应的第二分类信息，并根据所述第一分类信息与所述第二分类信息对所述多数据集融合模型进行对抗训练。2CN114972940A权利要求书2/5页5.根据权利要求4所述的多数据集融合模型，其特征在于，所述多头分类器还用于获取图像级损失函数以及实例级损失函数以及所述多数据融合模型对应的一致性约束损失，并根据所述第一分类信息与所述第二分类信息对所述多数据融合模型进行对抗训练，并计算与所述图像级损失函数对应的第一损失值、所述实例级损失函数对应的第