网页正文获取方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114201700A(43)申请公布日2022.03.18(21)申请号202111509751.2(22)申请日2021.12.10(71)申请人北京金堤科技有限公司地址100098北京市海淀区知春路65号院1号楼B座20层2001号(72)发明人薛秋雨陈祖德潘仕江李天与柳超(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人张桂杰(51)Int.Cl.G06F16/955(2019.01)G06F16/958(2019.01)权利要求书3页说明书14页附图4页(54)发明名称网页正文获取方法、装置、存储介质及电子设备(57)摘要本公开提供了一种网页正文获取方法、装置、存储介质及电子设备，涉及互联网技术领域。该方法包括：获取目标网页的网页源码；根据网页源码构建对应的DOM树；根据DOM树中各个子节点的文本密度，生成对应的节点列表；针对目标网页中包含的至少一个标题中的每个标题，在节点列表中存在与当前标题匹配的正文节点的情况下，至少根据正文节点对应的正文内容与正文节点对应的正文标题在目标网页中的位置关系，定位正文内容在目标网页中的位置并获取正文内容。CN114201700ACN114201700A权利要求书1/3页1.一种网页正文获取方法，包括：获取目标网页的网页源码；根据所述网页源码构建对应的DOM树；根据所述DOM树中各个子节点的文本密度，生成对应的节点列表；针对所述目标网页中包含的至少一个标题中的每个标题，在所述节点列表中存在与当前标题匹配的正文节点的情况下，至少根据所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容。2.根据权利要求1所述的方法，其中，至少根据所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容，包括：根据所述正文节点的至少一个祖先节点，以及所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容。3.根据权利要求1所述的方法，其中，通过以下操作获取所述DOM树中各个子节点的文本密度：针对所述DOM树中每个子节点，基于对应子节点中包含的标题的个数以及每个标题对应的文本中包含的字符的个数进行对数运算，以得到所述对应子节点的文本密度。4.根据权利要求1所述的方法，其中，通过以下操作确定所述节点列表中与所述当前标题匹配的正文节点：确定所述节点列表中与所述当前标题的相关度达到预设值且为非网页锚点的第一目标节点；将所述第一目标节点作为与所述当前标题匹配的正文节点。5.根据权利要求1所述的方法，还包括：在所述节点列表中不存在与所述当前标题匹配的正文节点的情况下，循环遍历所述节点列表，直至遍历次数达到预设次数，以确定所述节点列表中与所述当前标题相关度最高的第二目标节点；将所述第二目标节点作为对应所述当前标题的正文节点；至少根据所述正文节点对应的正文内容与所述正文节点对应的正文标题在所述目标网页中的位置关系，定位所述正文内容在所述目标网页中的位置并获取所述正文内容。6.根据权利要求1所述的方法，还包括，通过以下方式中的至少之一获取所述目标网页中包含的所述至少一个标题中的每个标题：根据目标网页中标题的标签特征，获取所述目标网页中包含的所述至少一个标题中的每个标题；通过获取随所述目标网页的URL或者随所述网页源码输入的标题，获取所述目标网页中包含的所述至少一个标题中的每个标题。7.根据权利要求6所述的方法，其中，所述根据目标网页中标题的标签特征，获取所述目标网页中包含的所述至少一个标题中的每个标题，包括：将所述目标网页中的目标标签确定为标题标签；2CN114201700A权利要求书2/3页根据所述标题标签，获取所述目标网页中包含的所述至少一个标题中的每个标题；其中，所述目标标签包括以下中的至少之一：通过H1‑H5展示的标签、通过标签Style进行属性设置的标签、通过Class引入CSS样式的标签。8.根据权利要求6所述的方法，其中，所述通过获取随所述目标网页的URL或者随所述网页源码输入的标题，获取所述目标网页中包含的所述至少一个标题中的每个标题，包括：从随所述目标网页的URL或者随所述网页源码输入的标题中确定出多个候选标题；根据每个候选标题与所述目标网页的文本相似度，从所述多个候选标题中确定所述目标网页中包含的所述至少一个标题中的每个标题。9.根据权利要求1所述的方法，还包括：在根据所述网页源码构建对应的DOM树之前，对所述网页源码进行预处理。10.根据权利要求9所述的