一种三线表格图像识别方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113869085A(43)申请公布日2021.12.31(21)申请号202010614672.7(22)申请日2020.06.30(71)申请人北京金山数字娱乐科技有限公司地址100085北京市海淀区小营西路33号金山软件大厦2层西区(72)发明人王洪伟李长亮(74)专利代理机构北京智信禾专利代理有限公司11637代理人王治东(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书11页附图5页(54)发明名称一种三线表格图像识别方法及装置(57)摘要本申请提供一种三线表格图像识别方法及装置，其中所述三线表格图像识别方法包括：获取待识别图像，其中，所述待识别图像包括三线表格；确定所述三线表格的关键点信息，并根据所述关键点信息确定所述三线表格的顶线、底线和栏目线；根据所述顶线、所述底线和所述栏目线对所述三线表格进行文字检测，确定所述三线表格的表格列信息、项目栏信息和表身信息；根据所述表格列信息、所述项目栏信息和所述表身信息生成所述待识别图像对应的表格，通过本方法提高了三线表格图像识别的识别准确性。CN113869085ACN113869085A权利要求书1/2页1.一种三线表格图像识别方法，其特征在于，包括：获取待识别图像，其中，所述待识别图像包括三线表格；确定所述三线表格的关键点信息，并根据所述关键点信息确定所述三线表格的顶线、底线和栏目线；根据所述顶线、所述底线和所述栏目线对所述三线表格进行文字检测，确定所述三线表格的表格列信息、项目栏信息和表身信息；根据所述表格列信息、所述项目栏信息和所述表身信息生成所述待识别图像对应的表格。2.如权利要求1所述的三线表格图像识别方法，其特征在于，确定所述三线表格的关键点信息，包括：将所述待识别图像输入至预先训练好的关键点定位网络模型；所述关键点定位网络模型根据输入的所述待识别图像确定所述三线表格的关键点信息。3.如权利要求2所述的三线表格图像识别方法，其特征在于，所述关键点定位网络模型通过下述步骤训练获得，包括：获取训练图像和所述训练图像对应的关键点标准信息；将所述训练图像输入至关键点定位网络模型；所述关键点定位网络模型响应于所述训练图像作为输入而生成所述训练图像的关键点信息；基于所述关键点信息和所述关键点标准信息计算损失值；通过对所述损失值进行反向传播以训练所述关键点定位网络模型。4.如权利要求1所述的三线表格图像识别方法，其特征在于，根据所述顶线、所述底线和所述栏目线对所述三线表格进行文字检测，确定所述三线表格的表格列信息、项目栏信息和表身信息，包括：对所述三线表格的项目栏做文字检测，确定所述三线表格的表格列信息和项目栏信息，其中，所述项目栏由所述顶线和所述栏目线确定；根据所述表格列信息对所述三线表格的表身做文字检测，确定所述三线表格的表身信息，其中，所述表身由所述栏目线和所述底线确定。5.如权利要求4所述的三线表格图像识别方法，其特征在于，对所述三线表格的项目栏做文字检测，确定所述三线表格的表格列信息和项目栏信息，包括：对所述三线表格的项目栏做文字检测，获得多个第一区域和每个所述第一区域对应的第一区域信息；根据每个所述第一区域信息确定所述三线表格的表格列信息；根据每个所述第一区域确定所述三线表格的项目栏信息。6.如权利要求5所述的三线表格图像识别方法，其特征在于，所述第一区域信息包括第一区域的第一顶点坐标和第二顶点坐标；根据每个所述第一区域信息确定所述三线表格的表格列信息，包括：根据每个所述第一区域的第一顶点坐标和第二顶点坐标确定每个所述第一区域的中心点坐标；2CN113869085A权利要求书2/2页对每个所述第一区域的中心点坐标进行聚类；根据聚类结果确定所述三线表格的表格列信息。7.如权利要求5所述的三线表格图像识别方法，其特征在于，根据每个所述第一区域确定所述三线表格的项目栏信息，包括：对每个所述第一区域做文字识别，获得每个所述第一区域的第一文字信息；根据每个所述第一文字信息确定所述三线表格的项目栏信息。8.如权利要求4所述的三线表格图像识别方法，其特征在于，根据所述表格列信息对所述三线表格的表身做文字检测，确定所述三线表格的表身信息，包括：对所述三线表格的表身做文字检测，获得多个第二区域和每个所述第二区域对应的第二区域信息；根据所述表格列信息和每个所述第二区域信息确定每个所述第二区域对应的位置信息；对每个所述第二区域做文字识别，获得每个所述第二区域的第二文字信息；根据每个所述第二区域对应的位置信息和每个所述第二文字信息确定所述三线表格的表身信息。9.如权利要求8所述的三线表