网页正文内容获取方法、装置、计算机设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110688552A(43)申请公布日2020.01.14(21)申请号201910568687.1(22)申请日2019.06.27(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人王涛朱葛(74)专利代理机构深圳市力道知识产权代理事务所(普通合伙)44507代理人何姣(51)Int.Cl.G06F16/951(2019.01)权利要求书2页说明书9页附图3页(54)发明名称网页正文内容获取方法、装置、计算机设备及存储介质(57)摘要本申请涉及数据采集领域，具体使用了数据爬取技术，采用网络爬虫的方式进行爬取，并公开了一种网页正文内容获取方法、装置、计算机设备及存储介质，对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容，将所述预留content内容进行合并处理以得到第一Block块，对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块，从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，根据预设规则提取目标的正文内容。本申请利用网页标题及相关内容的特点，能够实现快速定位正文内容并进行爬取，避免遗漏正文重点信息，提高了爬取的精确度，还减少人工参与的工作量。CN110688552ACN110688552A权利要求书1/2页1.一种网页正文内容获取方法，其特征在于，包括：对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容；将所述预留content内容进行合并处理以得到第一Block块；对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块；从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本；根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容。2.根据权利要求1所述的网页正文内容获取方法，其特征在于，所述从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，具体包括：获取所述多个第二Block块的多个长度值，并对所述多个长度值进行比较；根据比较结果获取长度值为最长的目标Block块；从所述目标Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本。3.根据权利要求2所述的网页正文内容获取方法，其特征在于，所述从所述目标Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，具体包括：计算所述目标Block块的突升点和突降点；爬取介于所述突升点和所述突降点的边界内且连续的内容以作为网页标题和周围文本。4.根据权利要求1-3任一项所述的网页正文内容获取方法，其特征在于，所述根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容，具体包括：对所述网页标题和所述周围文本进行分词处理，并去掉无实质意义词，以得到待处理正文；提取所述待处理正文的特征信息；通过预置算法根据所述特征信息从所述待处理正文中提取目标的正文内容。5.根据权利要求4所述的网页正文内容获取方法，其特征在于，所述对所述网页标题和所述周围文本进行分词处理，去掉无实质意义词，以得到待处理正文，之前还包括：将所述网页标题和所述周围文本进行合并处理，其中，所述合并处理为合并到同一数据集合中，或通过预定的关联函数进行映射关联。6.根据权利要求5所述的网页正文内容获取方法，其特征在于，所述对所述网页标题和所述周围文本进行分词处理，具体包括：采用字符串匹配分词方法、词义分词方法或统计分词方法将合并处理后的所述网页标题和所述周围文本进行切分。7.根据权利要求5所述的网页正文内容获取方法，其特征在于，所述通过预置算法根据所述特征信息从所述待处理正文中提取目标的正文内容，具体包括：通过机器学习算法、人工提炼评分算法或KEA知识进化算法根据所述特征信息从所述待处理正文中提取目标的正文内容。8.一种网页正文内容获取装置，其特征在于，所述网页正文内容获取装置包括：预处理模块，用于对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容；2CN110688552A权利要求书2/2页合并模块，用于将所述预留content内容进行合并处理以得到第一Block块；去除模块，用于对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块；爬取模块，用于从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本；提取模块，用于根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容。9.一种计算机设备，其特征在于，所述计算机设备包括存储器和