预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共12页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

本申请实施例提供了一种基于Zookeeper的异步下载方法及装置,用于降低数据下载所消耗的时间,该方法具体包括:根据m个Hadoop数据源,在Zookeeper中创建m个动态队列,m为Hadoop集群中支持查询功能的组件个数,m为大于等于1的正整数,对m个动态队列的数据下载任务进行并行控制,每个动态队列对应一种数据源,监听程序实时监听m个动态队列的变化情况,根据m个动态队列的变化情况,调用与发生变化的动态队列对应的查询组件从相应的数据源进行数据下载,获取数据下载任务状态及下载后的数据文件。