图像识别方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111931873A(43)申请公布日2020.11.13(21)申请号202011040050.4(22)申请日2020.09.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人劳江微王剑陈景东褚崴孙剑哲顾欣欣甘利民马波汪佳孙晓冬余泉(74)专利代理机构济南信达专利事务所有限公司37100代理人李世喆(51)Int.Cl.G06K9/62(2006.01)G06K9/46(2006.01)G06K9/00(2006.01)权利要求书3页说明书10页附图2页(54)发明名称图像识别方法和装置(57)摘要本说明书实施例提供了图像识别方法和装置。根据实施例的方法，首先需要对待识别图像分别进行两次降尺寸处理，其中一个分支得到保留有待识别图像的全局语义及上下文关系的全局特征，另一个分支得到损失了待识别图像的全局语义但是保留有局部细节的多个第一局部特征。然后利用两个分支协同工作，在特征层面进行了特征共享，使得两个分支能够共享信息，同时关注各自擅长的部分，有效地利用待识别图像的整体和局部信息完成对待识别图像的识别。CN111931873ACN111931873A权利要求书1/3页1.图像识别方法，包括：对待识别图像进行第一降尺寸处理，得到能够被计算机处理的该待识别图像的全局特征；所述全局特征包含所述待识别图像的全局语义及上下文关系；对待识别图像进行第二降尺寸处理，得到能够被计算机处理的该待识别图像的至少两个第一局部特征；对所述全局特征和所述至少两个第一局部特征进行合并处理；对合并处理后的特征进行识别，得到所述待识别图像的识别结果。2.根据权利要求1所述的方法，其中，所述对所述全局特征和所述至少两个第一局部特征进行合并处理，包括：将所述全局特征划分为至少两个第二局部特征；将所述至少两个第一局部特征与所述至少两个第二局部特征进行合并处理。3.根据权利要求2所述的方法，其中，所述对所述全局特征和所述至少两个第一局部特征进行合并处理进一步包括：将所述至少两个第一局部特征进行拼接，将拼接后的特征与所述全局特征进行第一合并处理，得到第一合并特征；其中，所述拼接后的特征的大小与所述全局特征的大小相同；所述对合并处理后的特征进行识别得到所述待识别图像的识别结果，包括：对所述第一合并特征进行识别，得到第一识别结果；对所述第二合并特征进行识别，得到第二识别结果；所述第二合并特征为所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理后得到的特征；根据所述第一识别结果和所述第二识别结果，得到所述待识别图像的识别结果。4.根据权利要求3所述的方法，其中，所述对所述第一合并特征进行识别，得到第一识别结果，包括：对所述第一合并特征进行分析，得到全局注意力图和全局识别概率图，其中，所述全局注意力图用于表征所述第一合并特征中的每一个特征项被关注的程度，所述全局识别概率图用于描述所述第一合并特征项中的每一个特征项属于被识别出的类别的概率；将全局注意力图中的每一个特征项被关注的程度与所述全局识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘，得到第一识别结果；所述对所述第二合并特征进行识别，得到第二识别结果，包括：对所述第二合并特征进行分析，得到局部注意力图和局部识别概率图，其中，所述局部注意力图用于表征所述第二合并特征中的每一个特征项被关注的程度，所述局部识别概率图用于描述所述第二合并特征项中的每一个特征项属于被识别出的类别的概率；将局部注意力图中的每一个特征项被关注的程度与所述局部识别概率图中相对应的一个特征项属于被识别出的类别的概率相乘，得到第二识别结果。5.根据权利要求3所述的方法，其中，所述根据所述第一识别结果和所述第二识别结果得到所述待识别图像的识别结果，包括：计算所述第一识别结果和所述第二识别结果的平均值，将得到的该平均值作为所述待识别图像的识别结果。6.根据权利要求2所述的方法，其中，所述将所述至少两个第二局部特征与所述至少两个第一局部特征进行合并处理，包括：2CN111931873A权利要求书2/3页将每一个所述第一局部特征与该第一局部特征相对应的一个第二局部特征进行合并处理；其中，第一局部特征及该第一局部特征相对应的第二局部特征映射在所述待识别图像中的相同位置。7.根据权利要求1所述的方法，其中，所述对所述全局特征和所述至少两个第一局部特征进行合并处理，包括：将所述至少两个第一局部特征进行拼接，将拼接后的特征与所述全局特征进行合并处理；其中，所述拼接后的特征的大小与所述全局特征的大小相同。8.根据权利要求1至7中任一所述的方法，其中，所述对待识别图像进行第一降尺寸处理包括：对所述待识