特征提取模型训练方法、图像检索方法、装置和设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113536003A(43)申请公布日2021.10.22(21)申请号202110638262.0(22)申请日2021.06.08(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人徐富荣王萌张伟程远褚崴(74)专利代理机构北京国昊天诚知识产权代理有限公司11315代理人许振新(51)Int.Cl.G06F16/532(2019.01)G06K9/46(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书14页附图4页(54)发明名称特征提取模型训练方法、图像检索方法、装置和设备(57)摘要本说明书实施例公开了一种特征提取模型训练方法、图像检索方法、装置和设备，所述方法可以将包含多种类别的样本图像的批量样本图像输入目标特征提取模型，得到该批样本图像的原始特征；并对该批样本图像的原始特征进行选择性掩码，以掩去该批样本图像的原始特征中具有区分性的特征元素，得到该批样本图像的掩码特征；然后基于该批样本图像的掩码特征计算损失；最后基于该损失最小的策略优化所述目标特征提取模型的参数。CN113536003ACN113536003A权利要求书1/4页1.一种特征提取模型训练方法，包括：将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；基于所述批量样本图像的掩码特征计算损失；基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型。2.根据权利要求1所述的方法，其中，所述对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征，包括：确定第一类样本图像的至少一个选择性特征掩码矩阵，其中，所述第一类样本图像为所述多种类别的样本图像中的任一种，所述选择性特征掩码矩阵的维度与样本图像的原始特征的维度相同，且所述选择性特征掩码矩阵中目标位置元素的值是根据所述第一类样本图像与第二类样本图像的原始特征中相应位置特征元素的值的差异程度确定的，所述差异程度与所述目标位置元素的值负相关，所述第二类样本图像包括所述多种类别的样本图像中除所述第一类样本图像外的至少一种；将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到对应数量的所述第一类样本图像的掩码特征。3.根据权利要求2所述的方法，所述第二类样本图像包括所述多种类型的样本图像中的至少两种，其中，所述确定第一类样本图像的至少一个选择性特征掩码矩阵，包括：分别基于第一类样本图像与所述至少两种第二类样本图像的原始特征中目标位置特征元素的值的差异程度，确定所述第一类样本图像的多个第一选择性特征掩码矩阵中相应位置元素的值，得到多个第一选择性特征掩码矩阵，其中，一种第二类样本图像对应确定出一个第一选择性特征掩码矩阵；对所述多个第一选择性特征掩码矩阵进行求和，得到所述第一类样本图像的第二选择性特征掩码矩阵；对所述第二选择性特征掩码矩阵进行取反运算，得到所述第一类样本图像的第三选择性特征掩码矩阵。4.根据权利要求3所述的方法，其中，基于第一类样本图像与一种第二类样本图像的原始特征中目标位置特征元素的值的差异程度，确定所述第一类样本图像的一个第一选择性特征掩码矩阵中相应位置元素的值，包括：确定第一类样本图像与该第二类样本图像的原始特征中目标位置特征元素的值的差异程度；在该差异程度小于所述目标门限值时，确定所述第一类样本图像的该第一选择性特征掩码矩阵中相应位置元素的值为第一值；在该差异程度大于或等于所述目标门限值时，确定所述第一类样本图像的该第一选择性特征掩码矩阵中相应位置元素的值为第二值；2CN113536003A权利要求书2/4页其中，所述第二值远小于所述第一值。5.根据权利要求1‑4任一项所述的方法，所述目标特征提取模型包括卷积神经网络和变换器模型中的一种。6.根据权利要求5所述的方法，第一类样本图像与第二类样本图像的原始特征中目标位置特征元素的值的差异程度，用第一类样本图像与第二类样本图像的原始特征中目标位置特征元素值之差的绝对值表征；所述目标门限值是根据第一类样本图像与第二类样本图像的原始特征中全部或部分元素值之差的绝对值的平均值确定的。7.根据权利要求4所述的方法，所述目标特征提取模型为卷积神经网络，所述卷积神经网络包含全连接层