具有弯曲文本的印章识别方法、系统及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887337A(43)申请公布日2022.01.04(21)申请号202111078213.2(22)申请日2021.09.15(71)申请人浪潮云信息技术股份公司地址250100山东省济南市高新区浪潮路1036号浪潮科技园S01号楼(72)发明人马凤强吴运祥梁延灼刘琛安晓博(74)专利代理机构济南信达专利事务所有限公司37100代理人孙园园(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图3页(54)发明名称具有弯曲文本的印章识别方法、系统及存储介质(57)摘要本发明公开了一种具有弯曲文本的印章识别方法、系统及存储介质，属于计算机视觉技术领域，本发明要解决的技术问题为传统的政务文件审批以及票据信息审核效率低下，耗时耗力，采用的技术方案为：该方法具体如下：通过深度学习的目标检测网络对图片中的印章进行检测；对检测到的印章图片使用角度分类网络进行印章方向矫正；将矫正后的印章送到文本检测网络检测印章中的文字；把检测出的文字送入到文字识别网络进行文字识别。该系统包括印章检测模块、印章方向矫正模块、印章文本检测模块以及印章弯曲文本识别模块。CN113887337ACN113887337A权利要求书1/3页1.一种具有弯曲文本的印章识别方法，其特征在于，该方法具体如下：通过深度学习的目标检测网络对图片中的印章进行检测；对检测到的印章图片使用角度分类网络进行印章方向矫正；将矫正后的印章送到文本检测网络检测印章中的文字；把检测出的文字送入到文字识别网络进行文字识别。2.根据权利要求1所述的具有弯曲文本的印章识别方法，其特征在于，通过深度学习的目标检测模型对图片中的印章进行检测具体如下：获取待识别原图图像，待识别原图图像中包含印章类型；其中，印章类型包括圆形或椭圆形；将待识别原图图像输入目标检测网络，获取所有印章对应的坐标信息；其中，目标检测网络采用YOLOV3、YOLOV4或YOLOV5；根据印章的坐标信息，在待识别原图图像上裁剪出相应的印章图像。3.根据权利要求1所述的具有弯曲文本的印章识别方法，其特征在于，对检测到的印章图片使用角度分类网络进行印章方向矫正具体如下：将裁剪的印章图像输入到预训练的角度分类网络，获取裁剪的印章图像的旋转角度，进而获取印章角度类别；其中，角度分类网络采用ResNet、GoogleNet或DPN；角度分类网络分为36类，从0°到360°每隔10°为一类；根据印章角度类别，对裁剪的印章图像按照角度信息进行角度旋转，获取矫正印章图像。4.根据权利要求1所述的具有弯曲文本的印章识别方法，其特征在于，将矫正后的印章送到文本检测网络检测印章中的文字具体如下：将矫正印章图像输入文本检测网络，获取文本轮廓的坐标值，根据不同形状的文本贴合文本区域；其中，文本检测网络包括PANet、PSENet或DBNet；将矫正印章图像按照文本文本轮廓的坐标值进行裁剪，获取不同形状的文本信息图像。5.根据权利要求1‑4中任一所述的具有弯曲文本的印章识别方法，其特征在于，把检测出的文字送入到文字识别网络进行文字识别具体如下：将文本信息图像进行预处理，具体为：针对文本信息图像通过定位网络预测一组基准点；根据基准点，在网格生成器中计算文本信息图像变换参数，产生一个基于原始图像的采样网络，采样器将网络和输入图像一起通过采样网络上的点得到一个初步矫正图像；将初步矫正图像输入到SRN网络中进行识别，SRN网络的编码器直接从输入的初步矫正图像中识别一个序列；其中，编码器包括7个卷积层，且第1个卷积层、第2个卷积层、第4个卷积层及第6个个卷积层后均接一个2*2的max‑pooling层，卷积层上是一个双层的BLSTM网络，每一个BLSTM网络有256个隐单元；编码器的输出序列为h＝(h1，h2，…，hL)；其中，L等于卷积层的宽度；SRN的解码器根据SRN的编码器的输出序列循环生成目标字符序列；其中，解码器是基于注意力机制的循环网络，解码器的网络结构采用的GRU是LSTM的一种变体，根据输出结果不断更新权重，权重计算函数公式为：2CN113887337A权利要求书2/3页αt＝Attend(st‑1，αt‑1，h)；其中，α表示当前输出字符对应的权重向量；st‑1表示前一个GRU的输出；αt‑1表示前一个权重向量；h表示输入序列；由权重计算函数公式可知，当前输出字符对应的权重向量α与前一个GRU的输出st‑1、前一个权重向量αt‑1以及输入序列h有关；根据解码器生成的目标字符序列，通过softmax函数来计算概率分布，最终输出概率最高的字符。6