字符识别方法、装置、计算机设备以及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110097019A(43)申请公布日2019.08.06(21)申请号201910387655.1(22)申请日2019.05.10(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人吕鹏原杨志成冷欣航李睿宇沈小勇戴宇荣贾佳亚(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人张所明(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书13页附图5页(54)发明名称字符识别方法、装置、计算机设备以及存储介质(57)摘要本发明公开了一种字符识别方法、装置、计算机设备以及存储介质，属于图像处理技术领域。本发明实施例通过提取图像的二维图像特征，采用注意力机制，来确定二维图像特征中图像特征向量之间的依赖关系，从而进一步采用并行计算注意力权重的方式来确定特征的重要程度，使得在字符识别的过程中，可以直接基于二维图像特征以及二维图像特征中各个特征向量的重要程度，来进行字符识别，上述基于二维图像特征的处理过程，由于保留了特征的空间信息，因此可以大大提高字符识别的准确性，并且通过上述基于注意力机制的识别，能够通过简单的流程有效的进行任意形状的字符识别，避免循环运算的过程，大大提高了运算效率。CN110097019ACN110097019A权利要求书1/2页1.一种字符识别方法，其特征在于，所述方法包括：提取待识别的图像的二维图像特征，所述二维图像特征包括多个图像特征向量；获取所述二维图像特征中每个图像特征向量的依赖特征向量，依赖特征向量用于表示图像信息以及图像特征向量与其他图像特征向量之间的依赖关系；基于所述多个图像特征向量的依赖特征向量，通过并行计算，获取目标数量的注意力权值，注意力权值用于表示图像特征向量的重要程度；根据所述多个图像特征向量和所述目标数量的注意力权值，得到所述至少一个字符。2.根据权利要求1所述的方法，其特征在于，所述提取待识别的图像的二维图像特征包括：将所述图像输入卷积神经网络，通过所述卷积神经网络中主干网络的各个通道对所述图像进行特征提取，输出所述二维图像特征。3.根据权利要求2所述的方法，其特征在于，所述卷积神经网络中主干网络包括所述卷积神经网络中除去分类模块的剩余结构。4.根据权利要求1所述的方法，其特征在于，所述获取所述二维图像特征中每个图像特征向量的依赖特征向量包括：将所述多个图像特征向量输入字符识别模型的关系注意力模块，通过所述关系注意力模块每一层中的转换单元对每个图像特征向量与其他图像特征向量在注意力映射空间进行相似度计算，以得到各个图像特征向量的权重，并基于得到的权重做线性加权，输出所述每个图像特征向量的依赖特征向量，依赖特征向量用于表示图像信息以及图像特征向量与其他图像特征向量之间的依赖关系。5.根据权利要求4所述的方法，其特征在于，所述输出所述每个图像特征向量的依赖特征向量之前，所述方法还包括：对所述线性加权得到的特征向量进行非线性处理，得到所述每个图像特征向量的依赖特征向量。6.根据权利要求1所述的方法，其特征在于，所述获取所述二维图像特征中每个图像特征向量的依赖特征向量之前，所述方法还包括：对所述二维图像特征中的各个图像特征向量进行拼接，得到特征序列；基于各个图像特征向量在所述特征序列中的位置，为每个图像特征向量确定与所述维度相同的位置向量；将每个图像特征向量与对应的位置向量相加，得到处理后的所述多个图像特征向量。7.根据权利要求1所述的方法，其特征在于，所述基于所述多个图像特征向量的依赖特征向量，通过并行计算，获取目标数量的注意力权值包括：将所述多个图像特征向量的依赖特征向量输入并行注意力模块，通过所述并行注意力模块中的目标数量的输出节点并行对输入的特征向量进行计算，输出所述目标数量的注意力权值。8.根据权利要求1所述的方法，其特征在于，所述根据所述多个图像特征向量和所述目标数量的注意力权值，得到所述至少一个字符包括：根据所述多个图像特征向量和所述目标数量的注意力权值，得到至少一个注意力特征；2CN110097019A权利要求书2/2页对所述至少一个注意力特征进行解码，得到所述至少一个字符。9.根据权利要求8所述的方法，其特征在于，所述对所述至少一个注意力特征进行解码，得到所述至少一个字符包括：将所述至少一个注意力特征输入字符识别模型的解码模块中，对于每个注意力特征，通过所述解码模块获取所述注意力特征的依赖特征向量，对所述注意力特征对应的依赖特征向量进行解码，将解码所得到的字符中概率最大的字符作为所述注意力特征对应的字符输出。10.一种字符识别装置，其特征在于，所述装置包括：特征提