一种网络信息采集方法、服务器、终端和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112994968A(43)申请公布日2021.06.18(21)申请号201911305040.6(22)申请日2019.12.17(71)申请人北京沃东天骏信息技术有限公司地址100176北京市北京经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人肖爽(74)专利代理机构中原信达知识产权代理有限责任公司11219代理人张效荣冯培培(51)Int.Cl.H04L12/26(2006.01)H04L29/08(2006.01)权利要求书3页说明书12页附图7页(54)发明名称一种网络信息采集方法、服务器、终端和系统(57)摘要本发明公开了一种网络信息采集方法、服务器、终端和系统，涉及计算机技术领域。该方法的一具体实施方式包括：确定采集任务；发送采集任务给目标终端，以使目标终端通过客户端为采集任务生成访问请求；接收目标终端发送的访问请求，并将访问请求发送给web服务端，以触发web服务端发送与访问请求相匹配的访问页面；接收访问页面，并采集访问页面中的信息。该实施方式能够完整的采集发布于客户端内置浏览器上的信息。CN112994968ACN112994968A权利要求书1/3页1.一种网络信息采集方法，其特征在于，应用于服务器，包括：确定采集任务；发送所述采集任务给目标终端，以使所述目标终端通过客户端为所述采集任务生成访问请求；接收所述目标终端发送的所述访问请求，并将所述访问请求发送给web服务端，以触发所述web服务端发送与所述访问请求相匹配的访问页面；接收所述访问页面，并采集所述访问页面中的信息。2.根据权利要求1所述的网络信息采集方法，其特征在于，进一步包括：设置采集管理项，并将多个配置信息录入所述采集管理项，其中，每一个所述配置信息包括采集时间；在所述采集管理项中，根据所述采集时间，查找是否存在满足当前时间的配置信息，如果是，则根据所述满足当前时间的配置信息，执行所述确定采集任务的步骤；否则，将兜底页面的访问地址发送给目标终端，所述兜底页面指示定时调用预设的接口，以使所述目标终端点击所述兜底页面的访问地址后，执行定时调用预设的接口的操作。3.根据权利要求2所述的网络信息采集方法，其特征在于，每一个所述配置信息进一步包括：访问地址、采集频率以及采集周期；所述根据所述满足当前时间的配置信息，执行所述确定采集任务的步骤，包括：将所述满足当前时间的配置信息中的访问地址包装为一个超链接标签，将所述超链接标签、所述满足当前时间的配置信息中的采集频率和采集周期组合为一个采集任务。4.根据权利要求3所述的网络信息采集方法，其特征在于，所述将所述超链接标签以及所述满足当前时间的配置信息中的采集频率组合为一个采集任务，包括：判断在当前时间是否接收到所述web服务端发送的访问页面，如果是，则将所述超链接标签、所述满足当前时间的配置信息中的采集频率和采集周期合并到所述访问页面，并确定合并后的访问页面为所述采集任务；否则，生成一个空白的任务访问页面，将所述超链接标签、所述满足当前时间的配置信息中的采集频率和采集周期合并到所述任务访问页面，并确定合并后的任务访问页面为所述采集任务。5.根据权利要求2所述的网络信息采集方法，其特征在于，在所述将兜底页面的访问地址发送给目标终端之后，进一步包括：通过所述预设的接口，将所述配置信息中的访问地址发送给所述目标终端，并根据所述配置信息中的采集频率和采集周期，控制所述目标终端，以使所述目标终端为所述配置信息中的访问地址生成访问请求。6.根据权利要求3至5任一所述的网络信息采集方法，其特征在于，进一步包括：监控所述配置信息中的访问地址所对应的采集状态；将所述采集状态写入所述采集管理项。7.根据权利要求1所述的网络信息采集方法，其特征在于，在所述发送所述采集任务给目标终端之前，进一步包括：监控所连接的多个终端的负载；2CN112994968A权利要求书2/3页根据监控到的所述多个目标终端的负载，为所述采集任务选择至少一个目标终端。8.一种网络信息采集方法，其特征在于，应用于终端，包括：接收采集任务；根据所述采集任务，点击所述采集任务所对应的客户端，以使所述客户端生成访问请求，其中，所述客户端安装于所述终端；发送所述访问请求给服务器，以使所述服务器获取并采集与所述访问请求相匹配的访问页面。9.根据权利要求8所述的网络信息采集方法，其特征在于，进一步包括：接收所述服务器发送的兜底页面的访问地址，所述兜底页面指示定时调用预设的接口；触发所述兜底页面的访问地址，定时调用预设的接口；通过所述预设的接口，接收访问地址；接收所述服务器的控制，点击所述访问地址，以使所述客户端为所述访问地址生成访问请求。10.一种服务器，其特征在于，包括：调