一种分布式数据采集方法、系统、服务器和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112199567A(43)申请公布日2021.01.08(21)申请号202011035041.6(22)申请日2020.09.27(71)申请人深圳市伊欧乐科技有限公司地址518000广东省深圳市宝安区新安街道大浪社区大宝路49-1号金富来综合大楼201（宝安石岩街道水田社区石龙大道80号B栋3-4楼）(72)发明人豆兴捷(74)专利代理机构北京品源专利代理有限公司11332代理人潘登(51)Int.Cl.G06F16/951(2019.01)H04L29/08(2006.01)G06F9/54(2006.01)权利要求书2页说明书8页附图5页(54)发明名称一种分布式数据采集方法、系统、服务器和存储介质(57)摘要本发明提供一种分布式数据采集方法，由分布式爬虫系统的分节点爬虫引擎执行，包括：从分布式爬虫系统的分节点服务器读取共享任务队列，以获取一个或多个爬虫任务，所述共享任务队列由所述分节点服务器从主服务器获取；确定所述爬虫任务的任务参数，所述任务参数包括目标网页链接和数据获取请求；将所述目标网页链接和数据获取请求分发至一个或多个下载器，获取目标数据；向所述分节点服务器返回队列更新信息，以使所述分节点服务器将更新后的所述共享任务队列反馈至主服务器并进行同步更新。本发明在分布式爬虫系统中实现对任务队列在各个分节点的共享，使各个分节点能够实时获取更新后的任务队列，实现读写迅速，避免堵塞，提高爬虫速度的效果。CN112199567ACN112199567A权利要求书1/2页1.一种分布式数据采集方法，由分布式爬虫系统的分节点爬虫引擎执行，其特征在于，包括：从分布式爬虫系统的分节点服务器读取共享任务队列，以获取一个或多个爬虫任务，所述共享任务队列由所述分节点服务器从主服务器获取；确定所述爬虫任务的任务参数，所述任务参数包括目标网页链接和数据获取请求；将所述目标网页链接和数据获取请求分发至一个或多个下载器，以使所述下载器在互联网的目标网页链接发起所述数据获取请求，获取目标数据；向所述分节点服务器返回队列更新信息，以使所述分节点服务器将更新后的所述共享任务队列反馈至主服务器并进行同步更新。2.根据权利要求1所述的一种分布式数据采集方法，其特征在于，所述数据获取请求包括关键请求参数，则所述将所述目标网页链接和数据获取请求分发至一个或多个下载器，包括：从预设的IP代理池中获取一个或多个第一IP；将所述一个或多个第一IP分配至所述一个或多个下载器；将所述目标网页链接、数据获取请求和关键请求参数分发至一个或多个下载器，以使每个下载器基于所述第一IP在互联网的目标网页链接发起所述数据获取请求，获取目标数据。3.根据权利要求2所述的一种分布式数据采集方法，其特征在于，所述将所述目标网页链接、数据获取请求和关键请求参数分发至一个或多个下载器，以使每个下载器基于所述第一IP在互联网的目标网页链接发起包括所述关键请求参数的所述数据获取请求，获取目标数据之后，还包括：判断所述下载器是否获取到所述目标数据；若否，则从所述IP代理池中获取与所述第一IP不同的第二IP；将所述第二IP发送至所述下载器，以使所述下载器基于所述第二IP在互联网的目标网页链接发起所述数据获取请求，获取目标数据。4.根据权利要求1所述的一种分布式数据采集方法，其特征在于，所述从分布式爬虫系统的分节点服务器读取共享任务队列，以获取一个或多个爬虫任务，还包括：实时监听所述共享任务队列，以判断所述共享任务队列中是否有所述爬虫任务；若有，则获取所述爬虫任务。5.根据权利要求1所述的一种分布式数据采集方法，其特征在于，所述将所述目标网页链接和数据获取请求分发至一个或多个下载器，以使所述下载器在互联网的目标网页链接发起所述数据获取请求，获取目标数据之后，还包括：判断所述目标数据中是否包括新增的所述任务参数；若有，则基于所述任务参数生成所述爬虫任务；将所述爬虫任务添加至所述共享任务队列。6.根据权利要求1所述的一种分布式数据采集方法，其特征在于，所述分布式爬虫系统基于docker架构，则还包括：基于用户需求，通过docker架构执行扩展和/或拆除爬虫服务。7.一种分布式数据采集系统，其特征在于，包括：获取模块，用于从分布式爬虫系统的分节点服务器读取共享任务队列，以获取一个或2CN112199567A权利要求书2/2页多个爬虫任务，所述共享任务队列由所述分节点服务器从主服务器获取；任务参数确定模块，用于确定所述爬虫任务的任务参数，所述任务参数包括目标网页链接和数据获取请求；采集模块，用于将所述目标网页链接和数据获取请求分发至一个或多个下载器，以使所述下载器在互联网的目标网页链接发起所述数据获取请求，获取目标数据；同步更新模