页面信息获取方法、页面信息获取装置及计算机存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111079050A(43)申请公布日2020.04.28(21)申请号201911261559.9(22)申请日2019.12.10(71)申请人北京小米移动软件有限公司地址100085北京市海淀区西二旗中路33号院6号楼8层018号(72)发明人左景龙(74)专利代理机构北京钲霖知识产权代理有限公司11722代理人李英艳李志新(51)Int.Cl.G06F16/957(2019.01)G06F16/951(2019.01)权利要求书1页说明书7页附图3页(54)发明名称页面信息获取方法、页面信息获取装置及计算机存储介质(57)摘要本公开是关于一种页面信息获取方法、页面信息获取装置及计算机存储介质。页面信息获取方法，包括：获取页面主资源，并加载主资源。加载主资源中的子资源，并省略执行针对子资源的渲染。将主资源中的全部子资源加载完毕后得到页面信息。通过本公开提供的页面信息获取方法，能够在浏览器加载页面时，通过减少页面子资源的渲染步骤，简化页面加载过程，进而加快页面的加载速度，从而提高网页信息获取数量，有助于提高网页分析速率。CN111079050ACN111079050A权利要求书1/1页1.一种页面信息获取方法，其特征在于，包括：获取页面主资源，并加载所述主资源；加载所述主资源中的子资源，并省略执行针对所述子资源的渲染；将所述主资源中的全部子资源加载完毕后得到页面信息。2.根据权利要求1所述的方法，其特征在于，省略执行针对所述主资源的渲染。3.根据权利要求1或2所述的方法，其特征在于，所述加载所述主资源中的子资源，并省略执行针对所述子资源的渲染，包括：通过加载所述主资源，得到所述主资源中包含用于标识子资源的标签；若所述标签标识对应的子资源为不改变页面结构的子资源，则加载所述子资源并省略执行针对所述子资源的解析和渲染；若所述标签标识对应的子资源为改变页面结构的子资源，则加载所述子资源并省略执行针对所述子资源的渲染。4.根据权利要求3所述的方法，其特征在于，所述不改变页面结构的子资源包括：字体子资源、图片子资源和页面样式子资源；所述改变页面结构的子资源包括：脚本子资源。5.一种页面信息获取装置，其特征在于，包括：获取模块，用于获取页面主资源；加载模块，用于加载所述主资源，加载所述主资源中的子资源，并省略执行针对所述子资源的渲染，还用于将所述主资源中的全部子资源加载完毕后得到页面信息。6.根据权利要求5所述的页面信息获取装置，其特征在于，所述加载模块还用于：省略执行针对所述主资源的渲染。7.根据权利要求5或6所述的页面信息获取装置，其特征在于，所述加载模块采用下述方式加载所述主资源中的子资源，并省略执行针对所述子资源的渲染：通过加载所述主资源，得到所述主资源中包含用于标识子资源的标签；若所述标签标识对应的子资源为不改变页面结构的子资源，则加载所述子资源并省略执行针对所述子资源的解析和渲染；若所述标签标识对应的子资源为改变页面结构的子资源，则加载所述子资源并省略执行针对所述子资源的渲染。8.根据权利要求7所述的页面信息获取装置，其特征在于，所述不改变页面结构的子资源包括：字体子资源、图片子资源和页面样式子资源；所述改变页面结构的子资源包括：脚本子资源。9.一种页面信息获取装置，其特征在于，包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行如权利要求1至4中任一项所述的页面信息获取方法。10.一种计算机可读存储介质，其特征在于，存储有指令，所述指令被处理器执行时，执行如权利要求1至4中任一项所述的页面信息获取方法。2CN111079050A说明书1/7页页面信息获取方法、页面信息获取装置及计算机存储介质技术领域[0001]本公开涉及数据处理技术领域，尤其涉及一种页面信息获取方法、页面信息获取装置及计算机存储介质。背景技术[0002]网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。当前有很多业务通过网络爬虫进行网页抓取，然后分析网页内容进而对网页进行分类，从而能够进行精准推荐。[0003]在获取页面信息时，通过多个进程，将网络爬虫获取页面资源根据不同的网页进行区分。加载一个网页等同于执行一个进程。获取页面信息时，采用串行的方式控制网页的加载进程，当当前进程结束后，开始下一进程。即加载完当前网页，获取完页面信息后，再加载下一网页。由于浏览器页面的主资源复杂度情况不一，导致主资源内包含的子资源数量也各不相同。例如：图片、视频等子资源。当子资源数量过多时，浏览器获取页面信息所占用的加载时间较长，导致爬虫获取页面信息的效率较低，影响分析页面内容的效率。发明内容[0004]为克服相关技术中存在的问题，本公开提供一种页面信息获取方