数据抓取方法、装置、存储介质及电子设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113934913A(43)申请公布日2022.01.14(21)申请号202111354326.0(22)申请日2021.11.12(71)申请人盐城金堤科技有限公司地址224008江苏省盐城市盐南高新区科城街道学海路大数据产业园B-17-1幢501-503室(CNK)(72)发明人赵智博潘仕江陈祖德唐杰成(74)专利代理机构北京英创嘉友知识产权代理事务所(普通合伙)11447代理人曹寒梅(51)Int.Cl.G06F16/951(2019.01)G06F9/445(2018.01)权利要求书2页说明书9页附图3页(54)发明名称数据抓取方法、装置、存储介质及电子设备(57)摘要本公开涉及一种数据抓取方法、装置、存储介质及电子设备，以使用户可以根据需求配置数据抓取任务，无需针对不同网站进行定制开发，就能够抓取所需的数据，耗时短、灵活性高。所述方法包括：获取用户配置的目标数据抓取任务，并从所述目标数据抓取任务中获取目标抓取地址以及所述目标抓取地址对应的目标解析模板；访问所述目标抓取地址对应的目标网页，并获取所述目标网页的页面信息；根据所述目标解析模板解析所述目标网页的页面信息，得到目标数据，并存储所述目标数据。CN113934913ACN113934913A权利要求书1/2页1.一种数据抓取方法，其特征在于，所述方法包括：获取用户配置的目标数据抓取任务，并从所述目标数据抓取任务中获取目标抓取地址以及所述目标抓取地址对应的目标解析模板；访问所述目标抓取地址对应的目标网页，并获取所述目标网页的页面信息；根据所述目标解析模板解析所述目标网页的页面信息，得到目标数据，并存储所述目标数据。2.根据权利要求1所述的方法，其特征在于，所述目标数据抓取任务是通过如下方式配置得到的：向所述用户展示待配置项，所述待配置项至少包括针对目标抓取地址的第一待配置项以及针对目标解析模板的第二待配置项；响应于所述用户针对所述待配置项的操作，获取用户设置的配置信息；根据所述配置信息生成所述目标数据抓取任务。3.根据权利要求2所述的方法，其特征在于，所述待配置项还包括针对数据存储方式的第三待配置项，所述存储所述目标数据，包括：从所述目标数据抓取任务中解析得到所述数据存储方式；根据所述数据存储方式存储所述目标数据。4.根据权利要求2所述的方法，其特征在于，所述待配置项还包括针对投词的第四待配置项，所述目标解析模板包括与所述投词对应的解析项，所述根据所述目标解析模板解析所述目标网页的页面信息，包括：从所述目标网页的页面信息中解析得到与所述投词对应的下一级抓取地址；所述方法还包括：将所述下一级抓取地址作为新的目标抓取地址。5.根据权利要求2所述的方法，其特征在于，所述待配置项还包括针对数据交互方式的第五待配置项，所述获取所述目标网页的页面信息，包括：基于所述数据交互方式从所述目标网页的服务器获取所述页面信息。6.根据权利要求1‑5中任一项所述的方法，其特征在于，所述获取用户配置的目标数据抓取任务，包括：在存在多个目标数据抓取任务的情况下，基于各所述目标数据抓取任务之间的优先级关系，获取优先级最高的所述目标数据抓取任务。7.根据权利要求2所述的方法，其特征在于，所述待配置项还包括针对预设周期的第六待配置项，所述获取用户配置的目标数据抓取任务，包括：基于所述预设周期获取用户配置的目标数据抓取任务。8.根据权利要求2所述的方法，其特征在于，所述待配置项还包括针对数据获取方式的第七待配置项，所述数据获取方式为全量获取方式或增量获取方式，所述访问所述目标抓取地址对应的目标网页，并获取所述目标网页的页面信息，包括：在第一次访问所述目标抓取地址对应的目标网页的情况下，根据所述全量获取方式获取所述目标网页的页面信息；在第n次访问所述目标抓取地址对应的目标网页的情况下，根据所述增量获取方式获取所述目标网页的页面信息，其中n为大于1的整数。2CN113934913A权利要求书2/2页9.根据权利要求2所述的方法，其特征在于，所述待配置项还包括针对并发数量的第八待配置项，所述获取所述目标网页的页面信息，包括：调用多个线程获取所述目标网页的页面信息，所述多个线程的数量不超过所述并发数量。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：在获取所述目标网页的页面信息的过程中检测到报警信息的情况下，和/或，在根据所述目标解析模板解析所述目标网页的页面信息的过程中检测到报警信息的情况下，向所述用户展示所述报警信息。11.一种数据抓取装置，其特征在于，所述装置包括：获取模块，用于获取用户配置的目标数据抓取任务，并从所述目标数据抓取任务中获取目标抓取地址以及所述目标抓取地址对应的目标解析模板；访问模块，用于访问所