领域泛化方法、装置和模型产品.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887238A(43)申请公布日2022.01.04(21)申请号202111151006.5(22)申请日2021.09.29(71)申请人京东科技信息技术有限公司地址100176北京市大兴区北京经济技术开发区科创十一街18号院2号楼6层601(72)发明人王羽潘滢炜姚霆梅涛(74)专利代理机构中国贸促会专利商标事务所有限公司11038代理人许蓓(51)Int.Cl.G06F40/30(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书9页附图3页(54)发明名称领域泛化方法、装置和模型产品(57)摘要本公开提出一种领域泛化方法、装置和模型产品，涉及计算机视觉技术领域。本公开利用风格记忆进行领域有关的风格特征的学习，利用语义记忆进行领域无关的语义特征的学习，再进行风格特征和语义特征的解耦合，根据语义特征，通过分类预测源领域的样本的类别，根据风格特征的学习损失、语义特征的学习损失、解耦合损失、分类损失，更新领域泛化模型的参数，从而使模型有能力提取样本与领域无关的语义特征，提高模型对任何未知目标领域的泛化能力。CN113887238ACN113887238A权利要求书1/3页1.一种领域泛化方法，其特征在于，包括：利用源领域的样本，根据风格记忆信息，进行领域有关的风格特征的学习；利用源领域的样本，根据语义记忆信息，进行领域无关的语义特征的学习；对风格特征和语义特征进行解耦合；根据语义特征，通过分类预测源领域的样本的类别；根据风格特征的学习损失、语义特征的学习损失、解耦合损失、分类损失，更新领域泛化模型的参数，学习完成后的领域泛化模型能够提取目标领域的样本的与领域无关的语义特征。2.根据权利要求1所述的方法，其特征在于，所述领域泛化模型包括：编码器，包括：用于提取样本特征的特征编码器、与特征编码器级联的用于提取语义特征的语义编码器、与特征编码器级联的用于提取风格特征的风格编码器；记忆编码器，与所述编码器的结构一致，在学习过程中，记忆编码器的参数根据编码器的参数在时间上的累积进行更新。分类器，与所述编码器的语义编码器级联。3.根据权利要求2所述的方法，其特征在于，风格记忆信息包括每个源领域相应的风格记忆特征库，用于存放所述每个源领域的各个样本的风格记忆特征，其中，源领域的每个样本的风格记忆特征通过记忆编码器中的特征编码器和风格编码器得到。4.根据权利要求3所述的方法，其特征在于，所述进行领域有关的风格特征的学习包括：进行领域有关的风格特征的对比学习，使得任一源领域的样本的风格特征与相同源领域的风格记忆特征库中的风格记忆特征具有高相似度、且与不同源领域的风格记忆特征库中的风格记忆特征具有低相似度。5.根据权利要求4所述的方法，其特征在于，所述进行领域有关的风格特征的对比学习包括：利用softmax函数构建对比学习损失函数，用于确定风格特征的学习损失，并利用对比学习损失函数进行领域有关的风格特征的对比学习。6.根据权利要求2所述的方法，其特征在于，语义记忆信息包括语义记忆特征库，用于存放各个源领域的各个样本的变体的语义记忆特征，其中，源领域的每个样本的变体的语义记忆特征通过记忆编码器中的特征编码器和语义编码器得到，每个样本的变体与所述每个样本是相似的。7.根据权利要求6所述的方法，其特征在于，每个样本的变体通过对所述每个样本进行数据增强得到，或者，每个样本的变体从任一源领域与所述每个样本属于相同类别的样本挑选出来。8.根据权利要求6所述的方法，其特征在于，所述进行领域无关的语义特征的学习包括：计算源领域的每个样本的语义特征与语义记忆特征库中的各个语义记忆特征之间的第一语义相似度分布；计算源领域的每个样本的变体的语义记忆特征与语义记忆特征库中的各个语义记忆2CN113887238A权利要求书2/3页特征之间的第二语义相似度分布；根据第一语义相似度分布与第二语义相似度分布，构建交叉熵损失函数，用于确定语义特征的学习损失，使得第一语义相似度分布与第二语义相似度分布趋于一致。9.根据权利要求2所述的方法，其特征在于，所述对风格特征和语义特征进行解耦合包括：利用正交约束，对风格特征和语义特征进行解耦合。10.根据权利要求9所述的方法，其特征在于，所述利用正交约束，对风格特征和语义特征进行解耦合包括：根据源领域的各个样本的风格特征构成风格特征矩阵；根据源领域的各个样本的语义特征构成语义特征矩阵；根据风格特征矩阵和语义特征矩阵中的其中一个矩阵与其中另一个矩阵的转置，构建正交约束，用于确定解耦合损失，使得风格特征矩阵与语义特征矩阵趋于正交。11.根据权利要求2所述的方法，其特征在于，根据语义特征，通过分类预测源领域的