基于多尺度残差和注意力机制的发票文本识别方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953791A(43)申请公布日2023.04.11(21)申请号202310018808.1G06V10/82(2022.01)(22)申请日2023.01.06G06N3/0464(2023.01)G06N3/0442(2023.01)(71)申请人国网安徽省电力有限公司电力科学G06N3/045(2023.01)研究院地址230000安徽省合肥市经济开发区紫云路299号(72)发明人钱光超孙建翟玥范明豪马亚彬苏文苏雅(74)专利代理机构合肥市浩智运专利代理事务所(普通合伙)34124专利代理师丁瑞瑞(51)Int.Cl.G06V30/19(2022.01)G06V30/42(2022.01)G06V30/18(2022.01)权利要求书3页说明书11页附图3页(54)发明名称基于多尺度残差和注意力机制的发票文本识别方法及系统(57)摘要本发明公开了基于多尺度残差和注意力机制的发票文本识别方法及系统，包括以下步骤：对发票图像进行预处理，分割成单个字符图像；构建多尺度残差CNN网络，将单个字符图像输入到该网络中得到单个字符图像的表示向量；构建基于注意力机制的BiGRU网络，得到每个样本的文本识别结果；训练上述多尺度残差CNN网络与基于注意力机制的BiGRU网络构成的文本识别网络，寻找最优的网络参数，得到最优的文本识别网络，利用最优的文本识别网络从发票图像中识别文本信息；本发明的优点在于：能够提取更全面的特征，解决梯度消失的问题以及文本识别准确性高。CN115953791ACN115953791A权利要求书1/3页1.基于多尺度残差和注意力机制的发票文本识别方法，其特征在于，包括以下步骤：步骤1、对发票图像进行预处理，分割成单个字符图像；步骤2、构建多尺度残差CNN网络，将单个字符图像输入到该网络中，使用卷积核大小不同的卷积层分别对图像数据分别进行卷积操作，然后进行最大池化操作，池化结果与输入向量进行拼接融合得到单个字符图像的表示向量；步骤3、构建基于注意力机制的BiGRU网络，将每个样本中的单个字符图像的表示向量输入到该网络中，获取样本中的上下文语义信息并输入到文本识别模型中，得到每个样本的文本识别结果；步骤4、训练上述多尺度残差CNN网络与基于注意力机制的BiGRU网络构成的文本识别网络，寻找最优的网络参数，得到最优的文本识别网络，利用最优的文本识别网络从发票图像中识别文本信息。2.根据权利要求1所述的基于多尺度残差和注意力机制的发票文本识别方法，其特征在于，所述步骤1包括：步骤1.1、使用图像采集设备收集发票的原始图像数据；步骤1.2、对原始图像数据进行图像校正、灰度化处理和阈值分割去噪；步骤1.3、将处理过的原始图像数据分割成单个字符图像，对单个字符图像进行标注，得到每个字符图像对应的真实标签，处理后的数据表示为D＝{(x1,y1),(x2,y2),...,(xi,yi),...,(xn,yn)}，其中，xi＝{xi1,xi2,...,xij,...,xim}为第i个样本中的m张单个字符图像集合，xij为第i个样本中的第j张单个字符图像，yi＝{yi1,yi2,...,yij,...,yim}为第i个样本中的标签集合，yij为xij的真实标签数据，1≤i≤n，1≤j≤m。3.根据权利要求2所述的基于多尺度残差和注意力机制的发票文本识别方法，其特征在于，所述步骤2包括：步骤2.1、构建多尺度残差CNN网络，该网络包括多个并行的卷积核大小不同的卷积层，以及分别与每个卷积层连接的池化层；将每个样本中的单个字符图像数据输入到多尺度残差CNN网络中，使用卷积核大小不同的卷积层分别对图像数据进行卷积操作，得到输出向量fl，l表示卷积核的标号；步骤2.2、卷积后的输出向量fl输入池化层进行最大池化操作，然后对池化后的输出向量进行填充，与卷积层的输入向量进行拼接得到单个字符图像的表示向量；步骤2.3、重复步骤2.1和2.2，直至每个样本中的单个字符图像数据计算完毕，进而得到每个样本中单个字符图像的特征表示为{(f1,y1),(f2,y2),...,(fi,yi),...,(fn,yn)}，fi＝{fi1,fi2,...,fij,...,fim}，fij为第i个样本中的第j张单个字符图像的表示向量。4.根据权利要求3所述的基于多尺度残差和注意力机制的发票文本识别方法，其特征在于，所述步骤2.1中使用卷积核大小不同的卷积层分别对图像数据进行卷积操作，卷积操作的计算方式如公式(1)：其中，fl为卷积后的输出向量，wl和bl为卷积层的可学习参数，表示卷积操作，为ReLU激活函数，l表示卷积核的标号。5.根据权利要求3所述的基于多尺度残差和注意力机制的发票文本识别方法，其特征