网页信息抽取方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114329138A(43)申请公布日2022.04.12(21)申请号202111597859.1(22)申请日2021.12.24(71)申请人奇安信科技集团股份有限公司地址100088北京市西城区新街口外大街28号102号楼3层332号申请人网神信息技术（北京）股份有限公司(72)发明人郭峰郝旭杰(74)专利代理机构北京路浩知识产权代理有限公司11002代理人王宇杨(51)Int.Cl.G06F16/951(2019.01)权利要求书3页说明书15页附图7页(54)发明名称网页信息抽取方法、装置、电子设备及存储介质(57)摘要本发明提供一种网页信息抽取方法、装置、电子设备及存储介质，网页信息抽取方法应用于图文网页，图文网页至少包括图文正文，图文正文至少包括图文主体，网页信息抽取方法包括：获取待抽取图文网页，并将待抽取图文网页渲染为html格式图文网页；基于html格式图文网页，得到与待抽取图文网页对应的dom节点树，其中，dom节点树包括多个节点，节点包括节点信息特征；基于节点信息特征，将多个节点进行聚类得到多个节点簇；确定节点簇的信息量，并基于信息量，确定与图文主体对应的图文主体节点簇；基于图文主体节点簇，抽取图文正文。通过本发明，实现了在对图文网页信息自动抽取的基础上，提高了信息抽取的准确度。CN114329138ACN114329138A权利要求书1/3页1.一种网页信息抽取方法，其特征在于，所述方法应用于图文网页，所述图文网页至少包括图文正文，所述图文正文至少包括图文主体，所述方法包括：获取待抽取图文网页，并将所述待抽取图文网页渲染为html格式图文网页；基于所述html格式图文网页，得到与所述待抽取图文网页对应的dom节点树，其中，所述dom节点树包括多个节点，所述节点包括节点信息特征；基于所述节点信息特征，将多个所述节点进行聚类得到多个节点簇；确定所述节点簇的信息量，并基于所述信息量，确定与所述图文主体对应的图文主体节点簇；基于所述图文主体节点簇，抽取所述图文正文。2.根据权利要求1所述的网页信息抽取方法，其特征在于，所述图文正文还包括图文标题以及图文发布时间，所述基于所述图文主体节点簇，抽取所述图文正文，包括：基于所述图文主体节点簇，分别确定与所述图文标题对应的图文标题节点，以及与所述图文发布时间对应的图文发布时间节点；基于所述图文主体节点簇、所述图文标题节点以及所述图文发布时间节点，分别抽取所述图文主体、所述图文标题以及所述图文发布时间；基于所述图文主体、所述图文标题以及所述图文发布时间，抽取所述图文正文。3.根据权利要求1所述的网页信息抽取方法，其特征在于，所述图文正文还包括图文主体翻页链接，在所述基于所述信息量，确定与所述图文主体对应的图文主体节点簇之后，所述方法还包括：基于所述节点信息特征，确定与所述图文主体翻页链接对应的图文主体翻页链接节点；所述基于所述图文主体节点簇，抽取所述图文正文，包括：基于所述图文主体节点簇以及所述图文主体翻页链接节点，整合多页图文主体，并基于整合后的多页图文主体抽取所述图文正文。4.根据权利要求1所述的网页信息抽取方法，其特征在于，所述基于所述节点信息特征，将多个所述节点进行聚类得到多个节点簇，包括：基于所述节点信息特征，在所述节点中确定有效节点；基于节点路径，确定由所述有效节点聚类得到的关于所述dom节点树的节点子树，并将所述节点子树作为所述节点簇。5.根据权利要求4所述的网页信息抽取方法，其特征在于，所述节点信息特征至少包括图片信息特征，所述图片信息特征至少包括关于图片面积的特征、关于图片横竖比的特征以及关于图片信息熵的特征，所述基于所述节点信息特征，在所述节点中确定有效节点，包括：分别确定所述节点的图片面积、图片横竖比以及图片信息熵；将所述图片面积小于面积阈值，或所述图片横竖比大于比例阈值，或所述图片信息熵小于信息熵阈值的节点确定为无效节点；基于所述无效节点，在所述节点中确定所述有效节点，其中，所述有效节点为所述节点中除所述无效节点之外的其他节点。6.根据权利要求4所述的网页信息抽取方法，其特征在于，所述节点信息特征至少包括2CN114329138A权利要求书2/3页文本信息特征，所述文本信息特征至少包括关于文本与图文标题相关性的特征、关于文本中预设字符数量的特征，所述基于所述节点信息特征，在所述节点中确定有效节点，包括：分别确定所述节点的所述文本与图文标题相关性，以及所述文本中预设字符数量；将所述文本与图文标题相关性小于相关性阈值，或所述文本中预设字符数量大于字符数量阈值的节点确定为无效节点；基于所述无效节点，在所述节点中确定所述有效节点，其中，所述有效节点为所述节点中除所述无效节点之外