模型训练方法、图像分类方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115424060A(43)申请公布日2022.12.02(21)申请号202211037161.9G06N3/08(2006.01)(22)申请日2022.08.26(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人何凤翔(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204专利代理师王达佐马晓亚(51)Int.Cl.G06V10/764(2022.01)G06V10/82(2022.01)G06V10/44(2022.01)G06N3/04(2006.01)权利要求书3页说明书14页附图5页(54)发明名称模型训练方法、图像分类方法和装置(57)摘要本公开的实施例提供的一种模型训练方法，包括：响应于获取到包括样本图像、样本图像对应的标注信息和查询图像，构建样本图像和查询图像对应的图像对，并构建包括局部特征提取器、语义特征提取器和分类判别器的小样本学习网络，将图像对输入局部特征提取器进行局部特征提取，得到样本图像对应的第一局部特征和查询图像对应的第二局部特征，将第一局部特征和第二局部特征分别输入语义特征提取器进行语义特征提取，得到第一局部特征对应的第一语义特征和第二局部特征对应的第二语义特征，并将第一局部特征和第一语义特征、第二局部特征和第二语义特征分别输入分类判别器，基于样本图像对应的标注信息，对小样本学习网络进行训练，得到图像分类模型。CN115424060ACN115424060A权利要求书1/3页1.一种模型训练方法，所述方法包括：响应于获取到包括样本图像、样本图像对应的标注信息和查询图像，构建所述样本图像和所述查询图像对应的图像对；构建包括局部特征提取器、语义特征提取器和分类判别器的小样本学习网络；将所述图像对输入所述局部特征提取器进行局部特征提取，得到所述样本图像对应的第一局部特征和所述查询图像对应的第二局部特征；将所述第一局部特征和所述第二局部特征分别输入所述语义特征提取器进行语义特征提取，得到所述第一局部特征对应的第一语义特征和所述第二局部特征对应的第二语义特征；将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器，基于所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型。2.根据权利要求1所述的方法，其中，所述将所述第一局部特征和所述第二局部特征分别输入所述语义特征提取器进行语义特征提取，得到所述第一局部特征对应的第一语义特征和所述第二局部特征对应的第二语义特征，包括：通过所述语义特征提取器分别对所述第一局部特征和所述第二局部特征进行特征压缩，得到压缩后的第一局部特征和压缩后的第二局部特征；通过所述语义特征提取器分别对压缩后的第一局部特征和压缩后的第二局部特征进行维度扩充和语义特征提取，得到所述第一局部特征对应的第一语义特征和所述第二局部特征对应的第二语义特征。3.根据权利要求1所述的方法，其中，所述将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器，基于所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型，包括：将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器进行特征聚合，得到所述第一局部特征对应的第一聚合特征和所述第二局部特征对应的第二聚合特征；基于所述第一聚合特征、所述第二聚合特征和所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型。4.根据权利要求3所述的方法，所述将所述第一局部特征和所述第一语义特征、所述第二局部特征和所述第二语义特征分别输入所述分类判别器进行特征聚合，得到所述第一局部特征对应的第一聚合特征和所述第二局部特征对应的第二聚合特征，包括：通过所述分类判别器对所述第一局部特征和所述第一语义特征进行权重计算，得到所述第一局部特征的第一权重；基于所述第一权重和所述第一局部特征，确定出所述第一局部特征对应的第一聚合特征；通过所述分类判别器对所述第二局部特征和所述第二语义特征进行权重计算，得到所述第二局部特征的第二权重；基于所述第二权重和所述第二局部特征，确定出所述第二局部特征对应的第二聚合特征。2CN115424060A权利要求书2/3页5.根据权利要求3或4所述的方法，其中，所述基于所述第一聚合特征、所述第二聚合特征和所述样本图像对应的标注信息，对所述小样本学习网络进行训练，得到图像分类模型，包括：基于所述第一聚合特征和所述第二聚合特征，确定交叉熵损失函数；基于所述交叉熵损失函数和所述样本图像对应的标注信息