端到端的文本识别模型训练方法、文本识别方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115082937A(43)申请公布日2022.09.20(21)申请号202210704167.0(22)申请日2022.06.21(71)申请人抖音视界（北京）有限公司地址100041北京市石景山区实兴大街30号院3号楼2层B-0035房间(72)发明人张宇轩林丽黄灿(74)专利代理机构北京信远达知识产权代理有限公司11304专利代理师储倩(51)Int.Cl.G06V30/19(2022.01)G06V30/18(2022.01)权利要求书3页说明书23页附图6页(54)发明名称端到端的文本识别模型训练方法、文本识别方法及装置(57)摘要本申请公开了一种端到端的文本识别模型训练方法及装置，将目标文本行图像输入特征提取模块，获取目标输入特征向量。将目标输入特征向量和目标字符位置向量输入特征编码器，获得第一特征向量。对第一特征向量进行重复操作，获取第二特征向量。基于目标文本行图像对应的标签，获取目标输出特征向量。将第二特征向量、目标输出特征向量以及目标字符位置向量输入特征解码器，获得目标文本行图像的预测概率分布结果。由图像对应的标签和预测概率分布结果，获取损失值，基于损失值训练模型。目标输出特征向量由图像中每个字符的真实位置向量和真实文本内容向量拼接组成。训练完成的模型可同时预测字符的字符位置和文本内容，可提高文本识别的效率。CN115082937ACN115082937A权利要求书1/3页1.一种端到端的文本识别模型训练方法，其特征在于，所述方法包括：将目标文本行图像输入特征提取模块，获取目标输入特征向量；获取所述目标文本行图像对应的目标字符位置向量，并将所述目标输入特征向量和所述目标字符位置向量输入特征编码器，获得第一特征向量；基于所述目标文本行图像对应的标签，获取目标输出特征向量；所述目标文本行图像对应的标签包括所述目标文本行图像中每个字符的真实字符位置和真实文本内容；所述目标输出特征向量由所述目标文本行图像中每个字符对应的真实位置向量和真实文本内容向量拼接组成；对所述第一特征向量进行重复操作，获取第二特征向量；所述第二特征向量的维度和所述目标输出特征向量的维度相同；将所述第二特征向量、所述目标输出特征向量以及所述目标字符位置向量输入特征解码器，获得所述目标文本行图像对应的预测概率分布结果；所述预测概率分布结果包括所述目标文本行图像中每个字符的预测位置概率分布和预测文本内容概率分布；根据所述目标文本行图像对应的标签和所述目标文本行图像对应的预测概率分布结果，获取损失值；基于所述损失值训练所述特征提取模块、所述特征编码器以及所述特征解码器，重复执行所述将目标文本行图像输入特征提取模块，获取目标输入特征向量以及后续步骤，直到达到预设条件。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标文本行图像对应的标签，获取目标输出特征向量，包括：构建目标字典，基于所述目标字典将所述目标文本行图像对应的标签转换为所述目标字典中的对应的字典数值，获取所述标签对应的数值向量；将所述标签对应的数值向量转换为高维空间的向量，获得目标输出特征向量。3.根据权利要求1所述的方法，其特征在于，所述对所述第一特征向量进行重复操作，获取第二特征向量，包括：设置重复操作函数中的重复次数参数，将所述第一特征向量输入设置后的所述重复操作函数中，获取第二特征向量。4.根据权利要求1所述的方法，其特征在于，所述特征编码器包括第一多头注意力模块和第一前馈网络模块；所述将所述目标输入特征向量和所述目标字符位置向量输入特征编码器，获得第一特征向量，包括：将所述目标输入特征向量和所述目标字符位置向量进行拼接，将拼接后的向量输入所述第一多头注意力模块中，获取所述第一多头注意力模块的输出向量；将所述第一多头注意力模块的输出向量输入所述第一前馈网络模块中，获取所述第一前馈网络模块输出的第一特征向量。5.根据权利要求1所述的方法，其特征在于，所述特征解码器包括第二多头注意力模块、第三多头注意力模块以及第二前馈网络模块，所述端到端的文本识别模型还包括回归模块；所述将所述第二特征向量、所述目标输出特征向量以及所述目标字符位置向量输入特征解码器，获得所述目标文本行图像对应的预测概率分布结果，包括：将所述目标输出特征向量以及所述目标字符位置向量进行拼接，将拼接后的向量输入2CN115082937A权利要求书2/3页所述第二多头注意力模块中，获取所述第二多头注意力模块输出的第三特征向量；将所述第二特征向量以及所述第三特征向量输入所述第三多头注意力模块中，获取所述第三多头注意力模块输出的第四特征向量；将所述第四特征向量输入所述第二前馈网络模块中，获取所述第二前馈网络模块输出的第五特征向量；将所述第五特征向量输入所述回归