文本识别模型训练方法、文本识别方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963358A(43)申请公布日2022.01.21(21)申请号202111560609.0(22)申请日2021.12.20(71)申请人北京易真学思教育科技有限公司地址102200北京市昌平区未来科学城英才北三街16号院16号楼401室(72)发明人刘军秦勇(74)专利代理机构北京北汇律师事务所11711代理人李英杰(51)Int.Cl.G06V30/19(2022.01)G06V30/41(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06F40/295(2020.01)权利要求书5页说明书22页附图14页(54)发明名称文本识别模型训练方法、文本识别方法、装置及电子设备(57)摘要本公开涉及一种文本识别模型训练方法、文本识别方法、装置及电子设备。文本识别模型训练方法包括：构建包括第一卷积神经网络、第一循环神经网络、第二循环神经网络和编解码网络的初始文本识别模型；将第一文本图像输入第一卷积神经网络，以输出第一文本图像的第一特征序列至第一循环神经网络和第二循环神经网络，通过第一循环神经网络输出第一特征向量标签分布，通过第二循环神经网络输出第一预测结果，由编解码网络根据第一特征向量标签分布和第一预测结果输出第一文本图像中字符序列的第一文本识别结果，用于训练初始文本识别模型，获得目标文本识别模型，以提高目标文本识别模型的可靠性。CN113963358ACN113963358A权利要求书1/5页1.一种文本识别模型训练方法，其特征在于，包括：获取训练数据集，所述训练数据集中包括多张文本图像，以及所述多张文本图像中每张文本图像的字符标注信息，所述字符标注信息包括整体字符信息；构建初始文本识别模型，所述初始文本识别模型包括第一卷积神经网络、第一循环神经网络、第二循环神经网络和编解码网络；针对所述训练数据集中的每张第一文本图像，将所述第一文本图像输入所述第一卷积神经网络，以供所述第一卷积神经网络输出所述第一文本图像的第一特征序列至所述第一循环神经网络和所述第二循环神经网络，并通过所述第一循环神经网络输出所述第一特征序列的第一特征向量标签分布，以及通过所述第二循环神经网络输出第一预测结果，且由所述编解码网络根据所述第一特征向量标签分布和所述第一预测结果输出所述第一文本图像中字符序列的第一文本识别结果，所述第一预测结果为所述第一文本图像中字符序列的分词结果和实体标注信息的预测结果；在每获得一次所述第一文本识别结果之后，根据所述第一文本识别结果，以及所述第一文本识别结果所对应的第一文本图像的整体字符信息，对所述第一卷积神经网络、所述第一循环神经网络、所述第二循环神经网络和所述编解码网络进行训练，获得目标文本识别模型。2.根据权利要求1所述的文本识别模型训练方法，其特征在于，所述字符标注信息还包括分词结果和实体标注信息，所述构建初始文本识别模型，包括：构建初始文本处理模型，所述初始文本处理模型包括所述第一卷积神经网络、所述第一循环神经网络和所述第二循环神经网络；针对所述训练数据集中的每张第二文本图像，将所述第二文本图像输入所述第一卷积神经网络，以供所述第一卷积神经网络输出所述第二文本图像的第二特征序列至所述第一循环神经网络和所述第二循环神经网络，并通过所述第一循环神经网络输出所述第二特征序列的第二特征向量标签分布，以及通过所述第二循环神经网络输出第二预测结果，所述第二预测结果为所述第二文本图像中字符序列的分词结果和实体标注信息的预测结果；在每获得一次所述第二特征向量标签分布之后，根据所述第二特征向量标签分布，以及所述第二特征向量标签分布所对应的第二文本图像的整体字符信息，对所述第一卷积神经网络和所述第一循环神经网络进行训练；在每获得一次所述第二预测结果之后，根据所述第二预测结果，以及所述第二预测结果所对应的第二文本图像的分词结果和实体标注信息，对所述第一卷积神经网络和所述第二循环神经网络进行训练；通过所述编解码网络，以及训练之后的所述第一卷积神经网络、所述第一循环神经网络和所述第二循环神经网络构建所述初始文本识别模型。3.根据权利要求2所述的文本识别模型训练方法，其特征在于，所述构建初始文本识别模型之前，所述文本识别模型训练方法还包括：构建命名实体识别模型，所述命名实体识别模型包括所述第一卷积神经网络和所述第二循环神经网络；针对所述训练数据集中的每张第三文本图像，将所述第三文本图像输入所述第一卷积神经网络，以供所述第一卷积神经网络输出所述第三文本图像的第三特征序列至所述第二2CN113963358A权利要求书2/5页循环神经网络，并通过所述第二循环神经网络输出第三预测结果，所述第三预测