基于kubernetes的hdfs-hbase部署方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109885316A(43)申请公布日2019.06.14(21)申请号201910119277.9(22)申请日2019.02.18(71)申请人国家计算机网络与信息安全管理中心地址100029北京市朝阳区裕民路甲3号(72)发明人刘欣然张鸿吕雁飞张晨飞储小刚马秉楠惠榛鹿林(74)专利代理机构工业和信息化部电子专利中心11010代理人李勤媛(51)Int.Cl.G06F8/61(2018.01)权利要求书1页说明书5页附图3页(54)发明名称基于kubernetes的hdfs-hbase部署方法及装置(57)摘要本发明公开了一种基于kubernetes的hdfs-HBase部署方法，所述方法包括：计算层通过kubernetes模块获取服务器信息，打包基础镜像，并在所述镜像仓库中保存Hbase基础配置；在用户创建Hbase应用时，计算层通过管理页面获取用户输入的需求信息，修改Hbase基础配置，遴选服务器并打标签，并根据本次Hbase部署的需求信息，生成yaml文件，并调用所述kubernetes模块；所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群，并将所述Hbase集群添加到巡检队列中；所述巡检系统对所述巡检队列进行轮询。CN109885316ACN109885316A权利要求书1/1页1.一种基于kubernetes的hdfs-HBase部署方法，其特征在于，包括：安装平台系统，所述平台系统包括：管理页面、计算层、镜像仓库、kubernetes模块、以及巡检系统，其中，所述计算层与所述kubernetes模块和所述巡检系统分别通过接口进行交互；计算层通过kubernetes模块获取服务器信息，打包基础镜像，并在所述镜像仓库中保存Hbase基础配置；在用户创建Hbase应用时，计算层通过管理页面获取用户输入的需求信息，修改Hbase基础配置，遴选服务器并打标签，并根据本次Hbase部署的需求信息，生成yaml文件，并调用所述kubernetes模块；所述kubernetes模块按照所述yaml文件要求部署并启动Hbase集群，并将所述Hbase集群添加到巡检队列中；所述巡检系统对所述巡检队列进行轮询。2.如权利要求1所述的方法，其特征在于，所述需求信息具体包括：所需服务器信息、资源要求、以及配置信息。3.如权利要求1所述的方法，其特征在于，所述yaml文件具体包括：资源限制信息、及其标签要求、以及存储路径信息。4.如权利要求1所述的方法，其特征在于，打包基础镜像具体包括：打包HBase的基础镜像；将内置脚本协同基础系统镜像打包到HBase的基础镜像中。5.如权利要求1所述的方法，其特征在于，所述巡检系统对所述巡检队列进行轮询具体包括：步骤1，巡检系统对巡检队列中已有的需要校对的Hbase进行轮询检查，全量获取集群所包含的容器信息，判断是否与已有记录完全相符；如不相符或无记录，则确定该集群发生了hostname-IP变动或者是新增集群，执行步骤2，如果相符则确定集群未曾发生变动，此HBase集群不需要校对，本次轮询结束；步骤2，通过kubernetes接口，调用所获取的所有容器内的内置脚本，一次次传入本集群的hostname-IP；内置脚本识别开始结束指令，收到开始指令时创建新的/etc/hosts-bak配置；内置脚本将“开始指令”后“结束指令”前收到的内容写入/etc/hosts-bak文件中；收到结束指令时，用/etc/hosts-bak替换/etc/hosts文件，从而修正容器内配置。6.如权利要求1所述的方法，其特征在于，所述容器信息具体包括：Zookeeper容器信息、HDFS-NameNode容器信息、以及HBase容器信息。7.一种基于kubernetes的hdfs-HBase部署装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述方法的步骤。2CN109885316A说明书1/5页基于kubernetes的hdfs-hbase部署方法及装置技术领域[0001]本发明涉及计算机技术领域，尤其涉及一种基于kubernetes的hdfs-hbase部署方法及装置。背景技术[0002]由于大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据并行计算技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。不仅如此，以大数据处理为中心的计算技术将对传统计算技术产生革命性的影响，广泛影响计算机体系结构、操作系统、数据库、编译技术、程序设计技术和方法、软件工程技术、多媒体信息处理技术、