图像识别与神经网络模型的训练方法、装置和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110070030A(43)申请公布日2019.07.30(21)申请号201910312111.9(22)申请日2019.04.18(71)申请人北京迈格威科技有限公司地址100190北京市海淀区科学院南路2号融科资讯中心A座316-318(72)发明人杜佳慧(74)专利代理机构北京华进京联知识产权代理有限公司11606代理人朱五云王程(51)Int.Cl.G06K9/00(2006.01)G06N3/08(2006.01)权利要求书3页说明书16页附图6页(54)发明名称图像识别与神经网络模型的训练方法、装置和系统(57)摘要本申请涉及一种图像识别与神经网络模型的训练方法、装置、系统和可读存储介质。该方法包括：获取待识别图像；将待识别图像输入神经网络模型进行特征提取处理，输出待识别图像的目标图像特征；神经网络模型包括至少一个空间变换块，空间变换块用于采用空间变换矩阵对输入的中间图像特征进行空间变换处理；中间图像特征是待识别图像在特征提取处理过程中生成的；将待识别图像的目标图像特征和底库图像组中底库图像的底库图像特征进行比对，得到比对结果；其中，底库图像组包括至少一个底库图像，底库图像和待识别图像为不同模态的两个图像，底库图像特征是神经网络模型从底库图像中提取的。采用本方法提高了跨模态图像比对的准确性。CN110070030ACN110070030A权利要求书1/3页1.一种图像识别方法，其特征在于，所述方法包括：获取待识别图像；将所述待识别图像输入神经网络模型进行特征提取处理，输出所述待识别图像的目标图像特征；所述神经网络模型包括至少一个空间变换块，所述空间变换块用于采用空间变换矩阵对输入的中间图像特征进行空间变换处理；所述中间图像特征是所述待识别图像在所述特征提取处理过程中生成的；将所述待识别图像的目标图像特征和底库图像组中底库图像的底库图像特征进行比对，得到比对结果；其中，所述底库图像组包括至少一个底库图像，所述底库图像和所述待识别图像为不同模态的两个图像，所述底库图像特征是所述神经网络模型从所述底库图像中提取的。2.根据权利要求1所述的方法，其特征在于，所述空间变换块包括：全连接层和特征变换层，所述全连接层对应一个空间变换矩阵；所述特征变换层与所述全连接层连接，用于通过所述空间变换矩阵对输入至所述特征变换层的中间图像特征进行空间变换，输出空间变换后的中间图像特征。3.根据权利要求2所述的方法，其特征在于，所述空间变换块还包括：预处理层，所述预处理层包括：前后连接的卷积层和残差层；所述卷积层用于对输入至所述卷积层的中间图像特征进行卷积操作，输出卷积操作结果；所述残差层用于对所述输入至所述残差层的中间图像特征和所述卷积操作结果进行按位相加操作，输出按位相加结果作为所述特征变换层的输入。4.根据权利要求2或3所述的方法，其特征在于，所述空间变换块还包括：后处理层，所述后处理层的输入为所述特征变换层的输出，所述后处理层包括：前后连接的卷积层和残差层；所述卷积层用于对输入至所述卷积层的中间图像特征进行卷积操作，输出卷积操作结果；所述残差层用于对所述输入至所述残差层的中间图像特征和所述卷积操作结果进行按位相加操作，输出按位相加结果作为所述空间变换块的输出。5.根据权利要求4所述的方法，其特征在于，所述卷积层为深度可分离卷积层。6.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括多个级联的特征提取块和多个所述空间变换块，所述空间变换块位于级联的两个特征提取块之间；所述特征提取块用于对所述待识别图像进行特征提取处理，生成中间图像特征，并将所述中间图像特征作为所述空间变换块的输入；所述空间变换块将空间变换处理后的中间输出特征作为级联的下一个特征提取块的输入。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取训练样本；所述训练样本包括多个对象的不同模态的图像，且各图像标注有对象标签和模态标签；将各图像输入初始神经网络模型中，输出所述各图像的图像特征，以及基于所述各图像的图像特征进行分类处理所得到的各图像的对象分类；计算各图像的对象分类与对象标签之间的第一损失，并基于所述模态标签，计算训练样本中不同模态的图像特征之间的第二损失，以及根据所述第一损失和第二损失，计算所述初始神经网络模型的损失函数的值；根据所述损失函数的值，对所述初始神经网络模型的参数进行调整，得到所述神经网2CN110070030A权利要求书2/3页络模型；所述初始神经网络模型的参数包括至少一个所述空间变换块对应的空间变换矩阵。8.根据权利要求7所述的方法，其特征在于，所述第一损失为交叉熵损失，所述交叉熵损失包括训练样本中各图像的对象标签与对象分类之间的损失；所述第二损失为三