表格图像识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113255566A(43)申请公布日2021.08.13(21)申请号202110657029.7G06N3/08(2006.01)(22)申请日2021.06.11(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人孙增辉(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人张明周良玉(51)Int.Cl.G06K9/00(2006.01)G06K9/32(2006.01)G06K9/34(2006.01)G06K9/46(2006.01)G06N3/04(2006.01)权利要求书4页说明书10页附图3页(54)发明名称表格图像识别方法及装置(57)摘要本说明书实施例提供一种表格图像识别方法及装置，在表格图像识别方法中，对于存在表头信息的表格图像，则先根据表头信息，确定针对表格图像划分的若干区域各自的属性类别。之后将各区域分别输入各自的属性类别所对应的文本识别模型进行文本识别。对于不存在表头信息的表格图像，则先利用属性类别预测模型预测针对表格图像划分的若干区域各自的属性类别。之后将各区域分别输入各自的属性类别所对应的文本识别模型进行文本识别。CN113255566ACN113255566A权利要求书1/4页1.一种表格图像识别方法，包括：获取表格图像；判断所述表格图像中是否存在表头信息，其中，所述表头信息用于指示出表格内的行内容和/或列内容的属性类别；在所述表格图像存在表头信息的情况下，根据所述表头信息，确定针对所述表格图像划分的若干区域各自的属性类别，并将各区域分别输入各自的属性类别所对应的文本识别模型进行文本识别；在所述表格图像不存在表头信息的情况下，利用属性类别预测模型，预测针对所述表格图像划分的若干区域各自的属性类别，并将各区域分别输入各自的属性类别所对应的文本识别模型进行文本识别。2.根据权利要求1所述的方法，其中，在所述表格图像存在表头信息的情况下，所述区域与所述表格图像中表格的单元格相对应，或者，所述区域与所述表格图像中表格的一行或一列相对应；在所述表格图像不存在表头信息的情况下，所述区域与所述表格图像中表格的一行或一列相对应。3.根据权利要求1所述的方法，其中，所述判断所述表格图像中是否存在表头信息，包括：从所述表格图像中提取表头区域；对所述表头区域进行文本识别，得到文本内容；判断所述文本内容是否为表头信息。4.根据权利要求3所述的方法，其中，所述从所述表格图像中提取表头区域，包括：将所述表格图像输入行列分割模型，得到若干行分割结果以及若干列分割结果；从所述若干行分割结果中，提取第一行分割结果作为所述表头区域；和/或，从所述若干列分割结果中，提取第一列分割结果作为所述表头区域。5.根据权利要求4所述的方法，其中，所述区域是所述若干行分割结果与所述若干列分割结果之间的相交区域。6.根据权利要求3所述的方法，其中，所述对所述表头区域进行文本识别，包括：将所述表头区域输入基础特征提取器和解码器，其中，利用所述基础特征提取器，对所述表头区域进行特征提取，得到基础特征表示；利用所述解码器，对所述基础特征表示进行解码，得到所述表头信息。7.根据权利要求1所述的方法，其中，在所述表格图像存在表头信息的情况下，所述文本识别模型包括各属性类别共享的基础特征提取器和解码器，以及该文本识别模型的属性类别所对应的专属特征提取器；所述将各区域分别输入各自的属性类别所对应的文本识别模型，包括：对于所述各区域中任意的第一区域，利用所述基础特征提取器对所述第一区域进行特征提取，得到基础特征表示；利用所述第一区域的第一类别对应的专属特征提取器，基于所述第一区域和所述基础特征表示进行特征处理，得到目标特征表示；利用所述解码器，对所述目标特征表示进行解码，得到所述第一区域的文本内容。8.根据权利要求7所述的方法，其中，所述专属特征提取器包括：专属空间特征提取器2CN113255566A权利要求书2/4页和专属语义特征提取器；所述基于所述第一区域和所述基础特征表示进行特征处理，得到目标特征表示，包括：利用所述第一类别对应的专属空间特征提取器，对所述第一区域进行特征提取，得到空间特征表示；根据所述基础特征表示和所述空间特征表示，得到综合特征表示；将所述综合特征表示输入所述第一类别对应的专属语义特征提取器，得到目标特征表示。9.根据权利要求1所述的方法，其中，所述属性类别预测模型包括各属性类别共享的基础特征提取器、特征抽取器和分类器；所述利用属性类别预测模型，预测针对所述表格图像划分的若干区域各自的属性类别，包括：利用所述基础特征提取器对所述表格图像进行特征提取，得到基础特征表示