新闻资讯抓取方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113065055A(43)申请公布日2021.07.02(21)申请号202110432611.3(22)申请日2021.04.21(71)申请人平安国际智慧城市科技股份有限公司地址518000广东省深圳市前海深港合作区妈湾兴海大道3048号前海自贸大厦1-34层(72)发明人郑德生(74)专利代理机构深圳市赛恩倍吉知识产权代理有限公司44334代理人杨毅玲刘丽华(51)Int.Cl.G06F16/953(2019.01)G06F16/955(2019.01)权利要求书3页说明书18页附图4页(54)发明名称新闻资讯抓取方法、装置、电子设备及存储介质(57)摘要本发明涉及大数据技术领域，提供一种新闻资讯抓取方法、装置、电子设备及存储介质，所述方法包括：获取多个种子URL生成目标新闻资讯抓取树；启动主线程读取目标新闻资讯抓取树中每个抓取节点的目标种子URL及对应的抓取策略；在读取了预设数量的目标种子URL时，启动多个子线程，将预设数量的目标种子URL分给多个子线程；控制每个子线程使用Puppeteer打开每个目标种子URL进行抓取处理；通过主线程对多个子线程的抓取结果进行统计得到目标新闻资讯的目标抓取结果。本发明通过使用Puppeteer启动无头浏览器打开每个目标种子URL，并启动多个子线程进行抓取处理，减少了真实浏览器的渲染工作，提高了目标新闻资讯的抓取效率。CN113065055ACN113065055A权利要求书1/3页1.一种新闻资讯抓取方法，其特征在于，所述方法包括：解析接收到的目标新闻资讯的抓取请求获取多个种子URL；为每个所述种子URL创建抓取策略，并根据所述多个种子URL生成目标新闻资讯抓取树，其中，所述目标新闻资讯抓取树的每个抓取节点中包含有对应的抓取策略；启动主线程逐个读取所述目标新闻资讯抓取树中的每个抓取节点的目标种子URL及对应的抓取策略；当侦测到所述主线程读取了预设数量的目标种子URL时，启动多个子线程，并将所述主线程读取的所述预设数量的目标种子URL按照预设的分配规则分给所述多个子线程；控制每个所述子线程使用Puppeteer打开所述主线程读取的每个目标种子URL，并进行抓取处理；当侦测到所述多个子线程完成抓取处理后，通过所述主线程对所述多个子线程的抓取结果进行统计得到所述目标新闻资讯的目标抓取结果。2.如权利要求1所述的新闻资讯抓取方法，其特征在于，所述为每个所述种子URL创建抓取策略包括：分析每个所述种子URL中的页面内容和页面结构得到分析结果；获取每个所述种子URL对应的抓取需求；根据每个所述种子URL的分析结果和对应的抓取需求为每个所述种子URL创建抓取策略。3.如权利要求1所述的新闻资讯抓取方法，其特征在于，所述根据所述多个种子URL生成目标新闻资讯抓取树包括：将所述多个种子URL中的每个所述种子URL的抓取节点转换为对应的目标新闻资讯抓取树的节点；将所述多个种子URL中的每个所述种子URL的抓取节点之间的引用关系转换为对应的目标新闻资讯抓取树中节点之间的边，其中，所述目标新闻资讯抓取树中节点之间的边作为所述目标新闻资讯抓取树的节点之间的引用关系；根据所述目标新闻资讯抓取树的节点和所述目标新闻资讯抓取树中节点之间的边生成目标新闻资讯抓取树。4.如权利要求1所述的新闻资讯抓取方法，其特征在于，所述控制每个所述子线程使用Puppeteer打开所述主线程读取的每个目标种子URL，并进行抓取处理包括：使用Puppeteer启动无头浏览器打开所述主线程读取的每个目标种子URL及对应的抓取策略；跳转至所述目标种子URL对应的目标页面；按照所述目标种子URL对应的抓取策略调用所述Puppeteer对所述目标页面进行抓取处理。5.如权利要求1所述的新闻资讯抓取方法，其特征在于，所述方法还包括：侦测是否有子线程发生异常事件；当侦测到有子线程发生异常事件时，识别发生异常事件的子线程对应的目标抓取节点；对所述目标抓取节点中的目标种子URL及对应的目标抓取策略进行校验。2CN113065055A权利要求书2/3页6.如权利要求5所述的新闻资讯抓取方法，其特征在于，所述对所述目标抓取节点中的目标种子URL及对应的目标抓取策略进行校验包括：将所述目标抓取节点中目标种子URL与所述多个种子URL进行匹配；当所述目标抓取节点中的目标种子URL与所述多个种子URL中的任意一个种子URL匹配时，判断目标抓取策略是否为所述目标种子URL的抓取策略；当所述目标抓取策略为所述目标种子URL的抓取策略时，发送抓取建议至客户端；或者当所述目标抓取策略不为所述目标种子URL的抓取策略时，将所述目标抓取节点中的抓取策略进行修正，根据修正后的抓取策略对所述目标抓取