内容提供者
一种基于puppeteer的网站数据收集方法.pdf
2024-01-06
10金币
462KB
9页
邻家****mk
实名认证
内容提供者
1/9
2/9
3/9
4/9
5/9
6/9
7/9
8/9
9/9
在线预览结束，喜欢就下载吧，查找使用更方便
相关资料
一种基于puppeteer的网站数据收集方法.pdf
本发明提供了一种基于puppeteer的网站数据收集方法，在puppeteer中加载目标网站,通过多个独立数据爬虫子进程进行内部数据抓取,每个数据爬虫子进程包括如下步骤：步骤1，获取数据抓取任务，并对抓取任务加锁；步骤2，使用puppeteer打开目标网站，在预设事件发生后，提取目标数据；步骤3，存储抓取的数据，解锁并标志抓取任务为完成。本发明可以直接拿到渲染后的页面，获取到全部有效信息。可以运行于无视图模式，可以同时运行多个实例，且系统资源占用低，可以分布式部署，整体稳定性和抓取效率都非常高，可以部署在
2024-01-06
10
462KB
一种基于scrapy和puppeteer的动态数据抓取方法.pdf
本发明涉及一种基于scrapy和puppeteer的动态数据抓取方法，本发明所述的动态数据抓取方法包括以下步骤：步骤1)：分析网络请求；步骤2)：分析动态网络请求；步骤3)：安装scrapy‑redis；步骤4)：设置爬虫的初始url；步骤5)：提前定义scrapy.Item对象；步骤6)：在pipeline中处理Item对象；步骤7)：puppeteer监听redis队列；步骤8)：等待页面加载完成，获取页面html，通过xpath提取目标数据；步骤9)：将目标数据直接插入、或通过id更新到mongod
2023-07-25
10
310KB
一种基于Puppeteer和CGAN的海报自主生成系统.pdf
本发明公开了一种基于Puppeteer和CGAN的海报自主生成系统，包括客户端、业务服务端、CGAN推理服务器，所述客户端用于和客户进行交互，接收客户指令输入和输出最终海报生成结果，所述业务服务端用于执行截图操作和渲染海报图片，所述CGAN推理服务器用于将屏幕截图转换成特定类型的海报图片。该系统改变了传统的海报设计模式，提高了海报的设计效率，且该系统和已有代码解耦，无需考虑兼容和跨域，减小了对该系统二次开发和维护的成本，具有简洁高效、实用性强的特点。
2024-01-06
10
370KB
一种基于动态模板的数据收集方法及系统.pdf
本发明公开了一种基于动态模板的数据收集方法及系统，在数据库中建立不同的表格实现：建立JSON格式文件，用于存储模板格式；建立模板基本信息表，用于存储不同模板的基本信息；建立模板属性表，用于存储模板中每个字段的详细属性；建立页面容器，循环读取模板基本信息表、模板属性表、及JSON格式文件中的模板定义，在页面容器中添加组件，动态生成填写页面，通过填写页面实现数据收集。基于动态模板的数据收集方法代替开发执行大量开发重复性、验证性工作，节省定制开发的大量人工和时间，间接节省人工费用、场地占用费用等，有效节约评标成
2023-06-26
10
448KB
一种基于MADDPG算法的无人机数据收集方法.pdf
本发明涉及一种基于MADDPG算法的无人机数据收集方法，属于无线通信技术领域。该方法包括：S1：构建包含多个无人机以及多个传感器节点的无人机辅助的物联网数据收集系统，具体包括：建模无人机模型；建模传感器节点模型；建模信道模型；建模传感器节点关联变量；建模系统状态、动作和观测值；S2：建模系统代价函数：为由于缓冲区溢出和数据包到期而导致的丢包数量的相反数；S3：建模并训练MADDPG算法；S4：基于MADDPG算法确定无人机数据收集策略。本发明以最小化网络损失为优化目标，实现无人机数据收集轨迹及节点关联优化
2023-07-22
10
932KB