预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共18页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)中华人民共和国国家知识产权局*CN102710748A*(12)发明专利申请(10)申请公布号CN102710748A(43)申请公布日2012.10.03(21)申请号201210133394.9(22)申请日2012.05.02(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人王一磊(74)专利代理机构北京三高永信知识产权代理有限责任公司11138代理人黄厚刚(51)Int.Cl.H04L29/08(2006.01)权利要求书权利要求书3页3页说明书说明书88页页附图附图66页(54)发明名称数据获取方法、系统及设备(57)摘要本发明公开了一种数据获取方法、系统及设备,属于计算机网络领域。所述方法包括:接收来自客户端的数据获取请求,所述数据获取请求包括网页地址;与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源;将抓取到的所述数据资源推送给所述客户端。本发明通过利用代理服务器建立多条数据通道来抓取网页的数据资源,然后主动推送给客户端的方案,解决了客户端在获取网络数据时,浪费流量和响应时间较长的问题,达到了客户端仅需要发起一次数据获取请求,就可以快速获得网页的所有数据资源以显示给用户的效果。CN102748ACN102710748A权利要求书1/3页1.一种数据获取方法,其特征在于,所述方法包括:接收来自客户端的数据获取请求,所述数据获取请求包括网页地址;与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源;将抓取到的所述数据资源推送给所述客户端。2.根据权利要求1所述的数据获取方法,其特征在于,所述接收来自客户端的数据获取请求,所述数据获取请求包括网页地址之前,还包括:接收来自客户端的持久通道建立请求;与所述客户端建立持久通道,以便接收来自所述客户端的至少一个数据获取请求;通过心跳信号与所述客户端维持所述持久通道。3.根据权利要求1所述的数据获取方法,其特征在于,所述与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源,具体包括:与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源,所述数据资源包括主资源和子资源,每条数据通道用于抓取一个主资源或者一个子资源;判断获取到的主资源或子资源是否包括脚本数据;如果获取到的主资源或子资源包括脚本数据,则预执行所述脚本数据。4.根据权利要求1或3所述的数据获取方法,其特征在于,所述与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源之后,还包括:将获取到的所述网页地址所对应的主资源或者子资源缓存到本地缓存。5.根据权利要求4所述的数据获取方法,其特征在于,所述将抓取到的所有数据资源推送给所述客户端,具体包括:监听所述本地缓存中是否缓存到所述网页地址所对应的主资源或者子资源;如果所述本地缓存中缓存到所述网页地址所对应的主资源或者子资源,则推送所述主资源或者子资源至所述客户端。6.一种数据获取方法,其特征在于,所述方法包括:接收来自用户的网页访问请求,所述网页访问请求包含网页地址;根据所述网页地址向代理服务器发送数据获取请求;接收由所述代理服务器推送的与所述网页地址对应的数据资源。7.根据权利要求6所述的数据获取方法,其特征在于,所述接收来自用户的网页访问请求之前,还包括:向所述代理服务器发送持久通道建立请求;与所述代理服务器建立持久通道,以便利用所述持久通道向所述代理服务器发送至少一个数据获取请求;通过心跳信号与所述代理服务器维持所述持久通道。8.根据权利要求7所述的数据获取方法,其特征在于,所述根据所述网页地址向代理服务器发送数据获取请求,具体包括:判断是否已经存在持久通道;如果已经存在持久通道,则继续判断所述持久通道是否正常;如果所述持久通道正常,则利用所述持久通道向代理服务器发送数据获取请求,所述数据获取请求中包含所述网页地址。2CN102710748A权利要求书2/3页9.一种代理服务器,其特征在于,所述代理服务器包括:请求接收模块,用于接收来自客户端的数据获取请求,所述数据获取请求包括网页地址;资源抓取模块,用于与网页服务器建立至少两条数据信道来并行抓取所述网页地址所对应的数据资源;资源推送模块,用于将抓取到的所述数据资源推送给所述客户端。10.根据权利要求9所述的代理服务器,其特征在于,所述代理服务器,还包括:信号接收模块、通道建立模块和通道维持模块;所述信号接收模块,用于接收来自客户端的持久通道建立请求;所述通道建立模块,用于与所述客户端建立持久通道,以便接收来自所述客户端的至少一个数据获取请求;所述通道维持模块,用于通过心跳信号与所述客户端维持所述持久通道。11.根据权利要求9所述的代理服务器,其特征在于,所述资源抓取模块,具