一种信息处理方法、设备、系统和计算机存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111159517A(43)申请公布日2020.05.15(21)申请号201911274626.0(22)申请日2019.12.12(71)申请人深信服科技股份有限公司地址518055广东省深圳市南山区学苑大道1001号南山智园A1栋(72)发明人唐荦彦(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人周艳张颖玲(51)Int.Cl.G06F16/951(2019.01)G06F16/955(2019.01)G06F16/958(2019.01)权利要求书2页说明书16页附图3页(54)发明名称一种信息处理方法、设备、系统和计算机存储介质(57)摘要本发明实施例公开了一种信息处理方法，其特征在于，所述方法包括：获取网站的地址信息；基于所述网站的地址信息，呈现第一数据信息，得到第一网页；其中，所述第一数据信息，用于表示与所述网站的地址信息对应的第一页面数据信息中的静态数据信息；所述第一页面数据信息，包括所述静态数据信息和动态数据信息；获取所述第一页面数据信息中的所述动态数据信息；基于所述第一网页，渲染所述动态数据信息，得到第二网页。本发明还提供了一种信息处理设备、系统和计算机可读存储介质。本发明可以解决相对技术中网站中网页爬取时，很容易导致爬取的页面层级深度不够、爬取的页面数量不足的问题。CN111159517ACN111159517A权利要求书1/2页1.一种信息处理方法，其特征在于，所述方法包括：获取网站的地址信息；基于所述网站的地址信息，呈现第一数据信息，得到第一网页；其中，所述第一数据信息，用于表示与所述网站的地址信息对应的第一页面数据信息中的静态数据信息；所述第一页面数据信息，包括所述静态数据信息和动态数据信息；获取所述第一页面数据信息中的所述动态数据信息；基于所述第一网页，渲染所述动态数据信息，得到第二网页。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一网页，渲染所述动态数据信息，得到第二网页，包括：获取所述动态数据信息中的每一动态对象；基于所述第一网页，渲染所述每一动态对象，得到所述第二网页。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取所述第二网页的网页数据信息；基于所述网页数据信息，获取所述第二网页的地址信息；存储所述地址信息至消息队列中；所述获取网站的地址信息，包括：从所述消息队列中获取所述网站的地址信息。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：获取所述第二网页的网页数据信息；基于所述网页数据信息，确定第二页面数据信息；其中，所述第二页面数据信息包括所述第二网页的静态数据信息和动态数据信息。5.根据权利要求4所述的方法，其特征在于，所述方法还包括:对所述第二页面数据信息执行页面信息检测，确定第二页面数据信息的安全级别。6.根据权利要求1所述的方法，其特征在于，所述基于所述网站的地址信息，呈现第一数据信息，得到第一网页，包括：基于所述网站的地址信息与历史地址信息的匹配关系，加载所述网站的地址信息，呈现第一数据信息，得到第一网页；其中，所述历史地址信息，用于表示已经加载过的地址信息。7.根据权利要求6所述的方法，其特征在于，所述基于所述网站的地址信息与历史地址信息的匹配关系，加载所述网站的地址信息，呈现第一数据信息，得到第一网页，包括：若所述网站的地址信息与历史地址信息不匹配，基于所述网站的地址信息，呈现第一数据信息，得到第一网页。8.一种信息处理设备，其特征在于，所述信息处理设备包括：处理器、存储器和通信总线；所述通信总线用于实现处理器与存储器之间的通信连接；所述处理器用于执行存储器中的存储的信息获取程序，以实现以下步骤：获取网站的地址信息；基于所述地址信息，呈现第一数据信息，得到第一网页；其中，所述第一数据信息，用于表示与所述第一地址信息对应的第一页面数据信息中的静态数据信息；所述第一页面数据2CN111159517A权利要求书2/2页信息，包括所述静态数据信息和动态数据信息；获取所述第一页面数据信息中的所述动态数据信息；基于所述第一网页，渲染所述动态数据信息，得到第二网页。9.一种信息处理系统，其特征在于，所述信息处理系统包括：获取模块和处理模块；其中，所述获取模块，用于获取网站的地址信息；所述处理模块，用于基于所述地址信息，呈现第一数据信息，得到第一网页；其中，所述第一数据信息，用于表示与所述第一地址信息对应的第一页面数据信息中的静态数据信息；所述第一页面数据信息，包括所述静态数据信息和动态数据信息；所述获取模块，还用于获取所述第一页面数据信息中的所述动态数据信息；所述处理模块，还用于基于所述第一网页，渲染所述动态数据信息，得到第二网页。10.一种计算机可读存储介质