前端页面图像中的元素提取方法、装置及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111291738A(43)申请公布日2020.06.16(21)申请号202010384142.8(22)申请日2020.05.09(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人谢杨易崔恒斌(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人周嗣勇(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)G06F16/958(2019.01)权利要求书3页说明书10页附图4页(54)发明名称前端页面图像中的元素提取方法、装置及电子设备(57)摘要本申请的一个或多个实施例提出前端页面图像中的元素提取方法、装置及电子设备。上述方法包括，响应于元素提取指令，将接收的目标前端页面图像的图像数据输入元素检测模型进行计算，得到与上述目标前端页面图像包括的元素对应的元素图像数据。确定上述元素的元素类型。如果上述元素为文本元素，则进一步确定上述文本元素的文字内容数据，并存储上述文字内容数据以完成针对上述目标前端页面图像的元素提取。CN111291738ACN111291738A权利要求书1/3页1.前端页面图像中的元素提取方法，包括：响应于元素提取指令，将接收的目标前端页面图像的图像数据输入元素检测模型进行计算，得到与所述目标前端页面图像包括的元素对应的元素图像数据；基于所述元素图像数据确定所述元素的元素类型；如果所述元素为文本元素，则进一步确定所述文本元素的文字内容数据，并存储所述文字内容数据以完成针对所述目标前端页面图像的元素提取。2.根据权利要求1所述的方法，还包括：如果所述元素为图像元素，则存储所述图像元素对应的元素图像数据，并基于存储所述元素图像数据的地址生成相应的下载地址，存储所述下载地址以完成针对所述目标前端页面图像的元素提取。3.根据权利要求2所述的方法，所述确定所述元素的元素类型，包括：针对所述元素对应的元素图像数据进行OCR识别，得到与所述元素对应的识别结果；确定所述识别结果中的包括的识别置信度是否达到预设阈值；如果是，则确定所述元素的元素类型为文本元素；如果否，则确定所述元素的元素类型为图像元素。4.根据权利要求3所述的方法，所述进一步确定所述文本元素的文字内容数据，包括：获取所述识别结果中包括的文字内容数据；将获取的所述文字内容数据确定为所述文本元素的文字内容数据。5.根据权利要求2所述的方法，所述确定所述元素的元素类型，包括：将所述元素对应的元素图像数据输入预先训练的分类器进行计算，并基于计算结果确定所述元素的元素类型；其中，所述分类器为基于若干被标记了元素类型的元素图像样本进行训练得到的；所述元素类型包括图像元素或文本元素。6.根据权利要求5所述的方法，所述进一步确定所述文本元素的文字数据，包括：针对所述元素对应的元素图像数据进行OCR识别，得到文字内容数据；将所述文字内容数据确定为所述文本元素的文字内容数据。7.根据权利要求1所述的方法，所述元素检测模型为基于深度神经网络构建的检测模型。8.前端页面的构建方法，包括：响应于元素提取指令，将接收的目标前端页面图像的图像数据输入元素检测模型进行计算，得到与所述目标前端页面图像包括的元素对应的元素图像数据；确定所述元素的元素类型；如果所述元素为文本元素，则进一步确定所述文本元素的文字内容数据，并存储所述文字内容数据以完成针对所述目标前端页面图像的元素提取；如果所述元素为图像元素，则存储所述图像元素对应的元素图像数据，并基于存储所述元素图像数据的地址生成相应的下载地址，存储所述下载地址以完成针对所述目标前端页面图像的元素提取；基于存储的图像元素的下载地址、以及文本元素的文字内容数据，构建与所述目标前端页面图像对应的前端页面。9.前端页面图像中的元素提取装置，包括：2CN111291738A权利要求书2/3页计算模块，响应于元素提取指令，将接收的目标前端页面图像的图像数据输入元素检测模型进行计算，得到与所述目标前端页面图像包括的元素对应的元素图像数据；确定模块，基于所述元素图像数据确定所述元素的元素类型；第一存储模块，如果所述元素为文本元素，则进一步确定所述文本元素的文字内容数据，并存储所述文字内容数据以完成针对所述目标前端页面图像的元素提取。10.根据权利要求9所述的装置，还包括：第二存储模块，如果所述元素为图像元素，则存储所述图像元素对应的元素图像数据，并基于存储所述元素图像数据的地址生成相应的下载地址，存储所述下载地址以完成针对所述目标前端页面图像的元素提取。11.根据权利要求10所述的装置，所述确定模块，包括：针对所述元素对应的元素图像数据进行OCR识别，得到与所