一种端到端光学字符检测识别方法与系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110598690A(43)申请公布日2019.12.20(21)申请号201910707220.0(22)申请日2019.08.01(71)申请人达而观信息科技（上海）有限公司地址201203上海市浦东新区亮秀路112号B座301、303、304室(72)发明人蔡华陈运文王文广纪达麒马振宇周炳诚(74)专利代理机构上海智力专利商标事务所(普通合伙)31105代理人周涛(51)Int.Cl.G06K9/32(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)权利要求书2页说明书5页附图3页(54)发明名称一种端到端光学字符检测识别方法与系统(57)摘要本发明公开了一种端到端光学字符检测识别方法与系统，所述识别方法包括：提取图像特征，获得感兴趣区域；分类感兴趣区域，获得感兴趣区域的边框的角度信息；分割感兴趣区域，获得区域中的文本图像轮廓信息；基于角度信息、文本图像轮廓信息将文本图像全部划分入多个基于极坐标的圆，调整圆及其圈定内容的坐标从而修整文本图像；识别修整后的文本图像。本发明融合了一种变换网络实现等变性变换的方法，实现了弯曲文本区域的精确变换。CN110598690ACN110598690A权利要求书1/2页1.一种端到端光学字符检测识别方法，其特征在于，所述识别方法包括：提取图像特征，获得感兴趣区域；分类感兴趣区域，获得感兴趣区域的边框的角度信息；分割感兴趣区域，获得区域中的文本图像轮廓信息；基于角度信息、文本图像轮廓信息将文本图像全部划分入多个基于极坐标的圆，调整圆及其圈定内容的坐标从而修整文本图像；识别修整后的文本图像。2.根据权利要求1所述的端到端光学字符检测识别方法，其特征在于，所述提取图像特征包括：将图像输入特征金字塔网络，获得图像的主干特征图；将主干特征图输入区域生成网络，获得感兴趣区域。3.根据权利要求1所述的端到端光学字符检测识别方法，其特征在于，所述分类感兴趣区域包括：将感兴趣区域分类为具体的类别，并对感兴趣区域的边框进行回归。4.根据权利要求1所述的端到端光学字符检测识别方法，其特征在于，所述分割感兴趣区域包括：反卷积感兴趣区域，生成文字图像的掩模。5.根据权利要求1所述的端到端光学字符检测识别方法，其特征在于，所述基于角度信息、文本图像轮廓信息将文本图像全部划分入多个基于极坐标的圆包括：基于角度信息、文本图像轮廓信息，找出文本图像的中心线；以中心线的一端为圆心，绘制第一个圆；沿着中心线每预定间隔绘制后续的圆，直至文本图像全部划分入多个圆所圈定的区域内。6.根据权利要求5所述的端到端光学字符检测识别方法，其特征在于，所述找出文本图像的中心线包括：在文本图像的边界上选择一点；确定穿过该点的切线后再确定穿过该点且垂直于切线的垂线；沿着垂线向文本图像的边界内移动该点，直至该点距离垂线穿过文本图像的两端距离相等，该点即为中心线上一点；拟合多个上述点后获得文本图像的中心线。7.根据权利要求1所述的端到端光学字符检测识别方法，其特征在于，所述识别修整后的文本图像中采用卷积循环神经网络识别文本图像。8.一种端到端光学字符检测识别系统，其特征在于，所述识别系统包括：图像特征提取模块，所述图像特征提取模块提取图像特征，获得感兴趣区域；分类模块，所述分类模块分类感兴趣区域，获得感兴趣区域的边框的角度信息，所述分类模块与所述图像特征提取模块连接；分割模块，所述分割模块分割感兴趣区域，获得区域中的文本图像轮廓信息，所述分割模块与所述图像特征提取模块连接；等变形变换模块，所述等变形变换模块基于角度信息、文本图像轮廓信息将文本图像2CN110598690A权利要求书2/2页全部划分入多个基于极坐标的圆，调整圆及其圈定内容的坐标从而修整文本图像，所述等变形变换模块与所述图像特征提取模块、分类模块、分割模块连接；以及文字识别模块，所述文字识别模块识别修整后的文本图像，所述文字识别模块与所述等变形变换模块连接。3CN110598690A说明书1/5页一种端到端光学字符检测识别方法与系统技术领域[0001]本发明属于文字识别领域，具体涉及一种端到端光学字符检测识别方法与系统。背景技术[0002]传统的OCR方法是将文字检测和文字识别分为两个分开的部分，即输入一张图，先进行文字检测，检测出文字的位置，再进行文字识别，即对检测出的文字抠出来并送入识别网络。这样一方面比较费时间，第二没有共享检测和识别的特征。这种方法的缺点在于文字可能检测的不够精准，这样对于识别来说就会造成一定困难，比如文字边缘多框了一些空白区域等。[0003]同时现有的OCR方法对于弯曲文本识别效果不理想，其难度在于水平检测框或者四