图像识别、模型训练方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113919404A(43)申请公布日2022.01.11(21)申请号202010652227.X(22)申请日2020.07.08(71)申请人阿里巴巴集团控股有限公司地址英属开曼群岛大开曼资本大厦一座四层847号邮箱(72)发明人陈新鹏陈静远夏亮刘袁(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134代理人谢湘宁张文华(51)Int.Cl.G06K9/62(2006.01)G06V30/194(2022.01)G06V10/774(2022.01)G06V30/148(2022.01)G06V30/24(2022.01)权利要求书2页说明书13页附图3页(54)发明名称图像识别、模型训练方法和装置(57)摘要本发明公开了一种图像识别、模型训练方法和装置。其中，该方法包括：获取待识别图像中的字符串；获取字符串的编辑距离，其中，编辑距离作为奖惩函数；依据奖惩函数对字符串进行策略梯度计算，得到识别文本。本发明解决了由于现有技术对整个词汇预测的正确性在OCR模型的训练中未纳入到模型训练中，导致训练阶段和测试阶段的优化目标不一致，识别性能降低的技术问题。CN113919404ACN113919404A权利要求书1/2页1.一种图像识别方法，包括：获取待识别图像中的字符串；获取所述字符串的编辑距离，其中，所述编辑距离作为奖惩函数；依据所述奖惩函数对所述字符串进行策略梯度计算，得到识别文本。2.根据权利要求1所述的方法，其中，获取所述字符串的编辑距离，并将所述编辑距离作为奖惩函数包括：获取训练集中每张图像被采样的概率、基于所述待识别图像得到所述字符串的概率和所述字符串的奖赏值；依据所述每张图像被采样的概率、基于所述待识别图像得到所述字符串的概率和所述字符串的奖赏值进行期望计算，得到所述奖惩函数。3.根据权利要求1或2所述的方法，其中，依据所述奖惩函数对所述字符串进行策略梯度计算，得到识别文本包括：依据预设采样算法和所述奖惩函数对所述字符串进行采样，得到第一识别文本；将所述第一识别文本进行策略梯度计算，得到梯度值；依据所述梯度值对所述第一识别文本进行优化，得到第二识别文本；将所述第二识别文本确定为所述识别文本。4.根据权利要求1所述的方法，其中，在所述获取所述字符串的编辑距离之前，所述方法还包括：对所述待识别图像进行裁剪和调整图像的大小；对裁剪和调整图像的大小后的所述待识别图像进行编码，得到编码后的所述字符串；对编码后的所述字符串进行解码，得到解码后的所述字符串。5.根据权利要求4所述的方法，其中，对所述待识别图像进行裁剪和调整图像的大小包括：对所述待识别图像进行裁剪和调整图像的大小，获取所述待识别图像中的字符串的高和宽。6.根据权利要求4所述的方法，其中，对编码后的所述字符串进行解码，得到解码后的所述字符串包括：通过神经网络对编码后的所述字符串进行解码，将解码后的所述字符串。7.一种模型训练方法，包括：获取待识别图像中字符串的编辑距离；依据所述编辑距离和所述字符串进行策略梯度计算，得到梯度值；依据所述梯度值对文字识别网络模型进行训练，得到优化后的所述文字识别网络。8.根据权利要求7所述的方法，其中，所述依据所述编辑距离和所述字符串进行策略梯度计算，得到梯度值包括：依据所述编辑距离和所述字符串计算所述字符串的奖赏值；依据所述奖赏值计算所述字符串对应的期望值；通过预设采样算法对所述字符串进行采采样，并结合所述期望值计算梯度，得到所述梯度值。9.根据权利要求8所述的方法，其中，所述依据所述梯度值对文字识别网络模型进行训2CN113919404A权利要求书2/2页练，得到优化后的所述文字识别网络包括：依据所述梯度值以及所述梯度值的计算公式，对所述文字识别网络模型进行训练，得到优化后的所述文字识别网络。10.一种图像识别方法，包括：获取待识别图像中的字符串；获取所述字符串的编辑距离，其中，所述编辑距离作为奖惩函数；依据所述奖惩函数对所述字符串进行策略梯度计算，得到识别文本；展示所述识别文本；接收依据所述识别文本返回的用户意见信息；依据所述用户意见信息优化所述识别文本。11.一种图像识别装置，包括：第一获取模块，用于获取待识别图像中的字符串；第二获取模块，用于获取所述字符串的编辑距离，其中，所述编辑距离作为奖惩函数；识别模块，用于依据所述奖惩函数对所述字符串进行策略梯度计算，得到识别文本。12.一种模型训练装置，包括：获取模块，用于获取待识别图像中字符串的编辑距离；计算模块，用于依据所述编辑距离和所述字符串进行策略梯度计算，得到梯度值；训练模块，用于依据所述梯度值对文字识别网络模型进行训练，得到优化后的所述文字识别网络。13.一种图像识别装置，包括：第一获