票据识别方法、装置、电子设备以及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114821603A(43)申请公布日2022.07.29(21)申请号202210211125.3G06N3/08(2006.01)(22)申请日2022.03.03(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人何烩烩王佳阳向宇波(74)专利代理机构北京猷德知识产权代理有限公司16084专利代理师范继晨(51)Int.Cl.G06V30/40(2022.01)G06V10/774(2022.01)G06V10/82(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)权利要求书3页说明书18页附图4页(54)发明名称票据识别方法、装置、电子设备以及存储介质(57)摘要本公开提供了一种票据识别方法、装置、电子设备以及存储介质，涉及深度学习、模式识别领域，可以为：获取待识别的目标票据；分别对多个文本块在目标票据上的二维位置信息进行编码处理，得到多个编码结果；分别对多个编码结果进行图卷积处理，得到多个卷积结果；基于第一条件随机场模型对每个卷积结果进行识别，得到目标票据的文本块级别的第一预测结果，第一条件随机场模型与第二条件随机场模型之间协同训练，第二条件随机场模型用于对每个卷积结果进行识别，以得到目标票据的字级别的第二预测结果。避免了第二条件随机场模型引入的切分误差，在提升第二条件随机场模型的性能的同时，也促进了第一条件随机场模型的预测性能。CN114821603ACN114821603A权利要求书1/3页1.一种票据识别方法，包括：获取待识别的目标票据，其中，所述目标票据包括多个文本块；分别对所述多个文本块在所述目标票据上的二维位置信息进行编码处理，得到多个编码结果，其中，所述多个编码结果与所述多个文本块一一对应；分别对所述多个编码结果进行图卷积处理，得到多个卷积结果，其中，所述多个卷积结果与所述多个编码结果一一对应；基于第一条件随机场模型对每个所述卷积结果进行识别，得到所述目标票据的文本块级别的第一预测结果，其中，所述第一条件随机场模型与第二条件随机场模型协同训练，所述第二条件随机场模型用于对每个所述卷积结果进行识别，以得到所述目标票据的字级别的第二预测结果，所述第一预测结果用于表示所述目标票据中关键字对应的结构化信息。2.根据权利要求1所述的方法，所述编码结果包括每个所述文本块对应的字级别的第一隐藏层向量，基于第一条件随机场模型对每个所述卷积结果进行识别，得到所述目标票据的文本块级别的第一预测结果包括：将字级别的每个所述卷积结果和所述第一隐藏层向量二者之间的和，转换为字级别的第二隐藏层向量；基于所述第二隐藏层向量确定对应的每个所述文本块的第一文本块向量；基于所述第一条件随机场模型对每个所述文本块的第一文本块向量进行识别，得到所述第一预测结果。3.根据权利要求2所述的方法，还包括：基于所述第二条件随机场模型对所述第二隐藏层向量进行识别，得到所述第二预测结果。4.根据权利要求1所述的方法，还包括：基于所述第一条件随机场模型的第一损失函数和所述第二条件随机场模型的第二损失函数，训练得到所述第一条件随机场模型。5.根据权利要求4所述的方法，基于所述第一条件随机场模型的第一损失函数和所述第二条件随机场模型的第二损失函数，训练得到所述第一条件随机场模型，包括：获取所述第一损失函数和所述第二条件随机场模型的第二损失函数二者之和；基于所述和训练得到所述第一条件随机场模型。6.根据权利要求1所述的方法，所述二维位置信息包括每个所述文本块在所述目标票据上的二维坐标值，其中，分别对所述多个文本块在所述目标票据上的二维位置信息进行编码处理，得到多个编码结果包括：确定所述二维坐标值对应的目标坐标向量；对所述目标坐标向量进行编码处理，得到每个所述编码结果。7.根据权利要求6所述的方法，其中，所述二维坐标值包括每个所述文本块的文本框的第一角的第一二维坐标值和第二角的第二二维坐标值，所述第一角和所述第二角位于所述文本框的对角线上，其中，确定所述二维坐标值对应的目标坐标向量，包括：确定所述第一二维坐标值对应的第一坐标向量和所述第二二维坐标值对应的第二坐标向量；将所述第一坐标向量与所述第二坐标向量二者之间的和，确定为所述目标坐标向量。2CN114821603A权利要求书2/3页8.根据权利要求6所述的方法，还包括：基于每个所述文本块的尺寸信息，将所述目标坐标向量的向量维度由原始向量维度调整到目标向量维度，其中，所述目标向量维度大于所述原始向量维度；其中，对所述目标坐标向量进行编码处理，得到每个所述编码结果包括：对所述目标向量维度的所述目标坐标向量进行编码处理，得到每个所述编码结果。9.根据权利要求8所述的方