模型训练方法、文本识别方法、装置、设备和介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113887535A(43)申请公布日2022.01.04(21)申请号202111464610.3(22)申请日2021.12.03(71)申请人北京世纪好未来教育科技有限公司地址100089北京市海淀区中关村大街32号蓝天和盛大厦1702-03室(72)发明人秦勇(74)专利代理机构北京开阳星知识产权代理有限公司11710代理人唐博(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书3页说明书12页附图6页(54)发明名称模型训练方法、文本识别方法、装置、设备和介质(57)摘要本公开涉及模型训练方法、文本识别方法、装置、设备和介质，包括：利用第一训练样本训练第一候选模型中的第一候选分支和第二候选分支，得到训练后的第一目标分支，第一训练样本包括第一文本图像以及第一文本图像对应的文本字符，第二候选分支采用循环神经网络；基于训练后的第一目标分支和第三候选分支构建第二候选模型，并利用第二训练样本训练第二候选模型得到文本识别模型，第二训练样本包括第二文本图像以及第二文本图像对应的文本字符，第三候选分支采用图神经网络，实现快速准确的文本识别。CN113887535ACN113887535A权利要求书1/3页1.一种文本识别模型训练方法，其特征在于，包括：利用第一训练样本训练第一候选模型中的第一候选分支和第二候选分支，得到训练后的第一目标分支，所述第一训练样本包括第一文本图像以及第一文本图像对应的文本字符，所述第二候选分支采用循环神经网络；基于所述训练后的第一目标分支和第三候选分支构建第二候选模型，并利用第二训练样本训练所述第二候选模型得到所述文本识别模型，所述第二训练样本包括第二文本图像以及第二文本图像对应的文本字符，所述第三候选分支采用图神经网络。2.根据权利要求1所述的方法，其特征在于，所述利用第一训练样本训练第一候选模型中的第一候选分支和第二候选分支，得到训练后的第一目标分支，包括：将所述第一训练样本中的第一文本图像输入所述第一候选模型，得到第一预测结果；基于第一预设损失函数，根据所述第一预测结果和所述第一训练样本中的与所述第一文本图像对应的文本字符，对所述第一候选模型中的第一候选分支和第二候选分支进行训练，获得第一候选分支经训练后对应的第一目标分支。3.根据权利要求2所述的方法，其特征在于，所述将所述第一训练样本中的第一文本图像输入所述第一候选模型，得到第一预测结果，包括：通过所述第一候选模型中的第一候选分支对所述第一文本图像进行第一特征提取，得到第一文本图像对应的第一图像特征，其中，所述第一图像特征为经过残差网络提取的特征映射图；通过所述第一候选模型的第二候选分支对所述第一图像特征进行第二特征提取，得到第二图像特征，并对所述第二图像特征进行解码转录，得到第一预测文本字符，其中，所述第二图像特征为经过双向长短期记忆神经网络提取的特征映射图。4.根据权利要求3所述的方法，其特征在于，所述第一候选分支包括残差网络，所述残差网络包括依次串联的N个残差块，其中，N为大于1的正整数；所述通过所述第一候选模型中的第一候选分支对所述第一文本图像进行第一特征提取，得到第一文本图像对应的第一图像特征，包括：拼接前N‑1个残差块输出的特征映射，获得拼接特征映射；将所述拼接特征映射与第N个残差块提取的特征映射进行逐点相加，得到所述第一图像特征。5.根据权利要求3所述的方法，其特征在于，所述第二候选分支包括双向长短期记忆网络、自注意力层和门控循环网络；所述通过所述第一候选模型的第二候选分支对所述第一图像特征进行第二特征提取，得到第二图像特征，并对所述第二图像特征进行解码转录，得到第一预测文本字符，包括：通过所述第二候选分支的双向长短期记忆网络对所述第一图像特征进行第二特征提取，得到与所述第一图像特征对应的第二图像特征；通过所述第二候选分支的自注意力层和门控循环网络对所述第二图像特征进行解码转录，得到第一预测文本字符。6.根据权利要求2所述的方法，其特征在于，所述基于第一预设损失函数，根据所述第一预测结果和所述第一训练样本中的与所述第一文本图像对应的文本字符，对所述第一候选模型中的第一候选分支和第二候选分支进行训练，获得第一候选分支经训练后对应的第2CN113887535A权利要求书2/3页一目标分支，包括：基于第一预设损失函数，根据所述第一预测结果和所述第一训练样本中与所述第一文本图像对应的文本字符，确定第一损失值；根据所述第一损失值调整所述第一候选模型中的第一候选分支的参数和所述第二候选分支的参数，直至第一候选模型收敛，获得所述第一目标分支。7.根据权利要求1所述的方法，其特征在于，所述利用