文本识别模型训练方法、文本识别方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963359A(43)申请公布日2022.01.21(21)申请号202111560929.6(22)申请日2021.12.20(71)申请人北京易真学思教育科技有限公司地址102200北京市昌平区未来科学城英才北三街16号院16号楼401室(72)发明人李盼盼秦勇(74)专利代理机构北京北汇律师事务所11711代理人张臻贤(51)Int.Cl.G06V30/19(2022.01)G06V30/40(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书13页附图6页(54)发明名称文本识别模型训练方法、文本识别方法、装置及电子设备(57)摘要本公开涉及一种文本识别模型训练方法、文本识别方法、装置及电子设备。文本识别模型训练方法包括：获取多对第一文本图像；通过多对第一文本图像，以及多对第一文本图像中每对第一文本图像所对应的文本相似度标签，基于对比学习，获得目标特征提取网络；获取多张第二文本图像；通过多张第二文本图像，以及多张第二文本图像中每张第二文本图像所对应的字符序列标注信息，对包括目标特征提取网络和目标编解码网络的初始文本识别模型进行训练，获得目标文本识别模型。本公开提供的文本识别模型训练方法、文本识别方法、装置及电子设备能够提高目标文本识别模型的可靠性。CN113963359ACN113963359A权利要求书1/3页1.一种文本识别模型训练方法，其特征在于，包括：获取多对第一文本图像，以及所述多对第一文本图像中每对第一文本图像所对应的文本相似度标签；通过所述多对第一文本图像，以及所述多对第一文本图像中每对第一文本图像所对应的文本相似度标签，基于对比学习，获得目标特征提取网络；获取多张第二文本图像，以及所述多张第二文本图像中每张第二文本图像所对应的字符序列标注信息；通过所述多张第二文本图像，以及所述多张第二文本图像中每张第二文本图像所对应的字符序列标注信息，对包括所述目标特征提取网络和目标编解码网络的初始文本识别模型进行训练，获得目标文本识别模型。2.根据权利要求1所述的文本识别模型训练方法，其特征在于，所述获取多对第一文本图像，以及所述多对第一文本图像中每对第一文本图像所对应的文本相似度标签之前，所述文本识别模型训练方法还包括：获取多张基础文本图像；对所述多张基础文本图像中的至少部分基础文本图像进行局部遮挡处理，获得多张目标文本图像；将所述多张目标文本图像中的每张目标文本图像与对应的基础文本图像组成一对文本相似的第一文本图像，以获得多对文本相似的第一文本图像；为所述多对文本相似的第一文本图像中的每对第一文本图像添加对应的文本相似度标签。3.根据权利要求1所述的文本识别模型训练方法，其特征在于，所述通过所述多对第一文本图像，以及所述多对第一文本图像中每对第一文本图像所对应的文本相似度标签，基于对比学习，获得目标特征提取网络，包括：针对所述多对第一文本图像中的每一对第一文本图像，将所述一对第一文本图像分别输入初始对比学习网络中的第一初始特征提取网络和第二初始特征提取网络，以供所述第一初始特征提取网络输出第一特征图像，所述第二初始特征提取网络输出第二特征图像，并将所述第一特征图像和所述第二特征图像输入所述初始对比学习网络中的多层全连接层，所述第二初始特征提取网络与所述第一初始特征提取网络具有相同的模型参数；获取所述多层全连接层输出的对比结果表征标签，其中，所述对比结果表征标签用于表征所述一对第一文本图像的文本相似程度预测结果；根据所述文本相似度标签和所述对比结果表征标签，调整所述第一初始特征提取网络、所述第二初始特征提取网络和所述多层全连接层的模型参数，所述目标特征提取网络为经过模型参数调整之后的所述第一初始特征提取网络或所述第二初始特征提取网络。4.根据权利要求1所述的文本识别模型训练方法，其特征在于，所述通过所述多张第二文本图像，以及所述多张第二文本图像中每张第二文本图像所对应的字符序列标注信息，对包括所述目标特征提取网络和目标编解码网络的初始文本识别模型进行训练，获得目标文本识别模型之前，所述文本识别模型训练方法还包括：获取多个训练用字符序列；根据所述多个训练用字符序列，获得多个序列词向量；2CN113963359A权利要求书2/3页通过所述多个序列词向量，对初始编解码网络进行训练，获得所述目标编解码网络。5.根据权利要求4所述的文本识别模型训练方法，其特征在于，所述通过所述多个序列词向量，对初始编解码网络进行训练，获得所述目标编解码网络之前，所述文本识别模型训练方法还包括：将所述初始编解码网络中的初始编码器的输出模式配置为仅输出一个特征向量，和/或将所