一种基于云原生平台Kubernetes的云原生大数据组件管理系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115827008A(43)申请公布日2023.03.21(21)申请号202310108301.5G06F8/71(2018.01)(22)申请日2023.02.14G06F9/50(2006.01)(71)申请人北京邮电大学地址100876北京市海淀区西土城路10号北京邮电大学新科研楼627室申请人四方联盟（北京）科技发展有限公司联洋国融（北京）科技有限公司施力(72)发明人刘钟允施力鄂海红宋美娜王勇魏文定王浩田双锴(74)专利代理机构北京清亦华知识产权代理事务所(普通合伙)11201专利代理师刘海莲(51)Int.Cl.G06F8/61(2018.01)权利要求书2页说明书7页附图1页(54)发明名称一种基于云原生平台Kubernetes的云原生大数据组件管理系统(57)摘要本发明提出一种基于云原生平台Kubernetes的云原生大数据组件管理系统，其特征在于，包括：镜像管理模块，用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库；容器部署模块，用于根据用户配置生成临时镜像和自动化部署脚本，通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署；集群监控模块，用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控；网络管理模块，用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。CN115827008ACN115827008A权利要求书1/2页1.一种基于云原生平台Kubernetes的云原生大数据组件管理系统，其特征在于，包括：镜像管理模块，用于从公共镜像仓库中拉取所需的大数据组件镜像以及将构建好的镜像存入私有镜像仓库；容器部署模块，用于根据用户配置生成临时镜像和自动化部署脚本，通过所述临时镜像和所述自动化部署脚本完成大数据组件的容器化部署；集群监控模块，用于管理Kubernetes集群中的资源以及对已部署的容器化大数据组件进行状态监控；网络管理模块，用于对使用Service资源实现Kubernetes集群内组件的网络配置管理以及使用Ingress资源实现服务的对外暴露。2.根据权利要求1所述的系统，其特征在于，所述镜像管理模块，还用于：在Kubernetes集群部署私有镜像仓库Harbor，通过所述云原生大数据组件管理系统创建并维护一个Pod资源，所述Pod资源包括一个具有Docker环境的容器，所述容器中运行一个用于拉取与推送镜像的微服务，并对外暴露API；通过所述云原生大数据组件管理系统提交请求到所述API，所述微服务在运行环境中执行拉取镜像的脚本到本地仓库，再执行推送镜像到私有仓库的脚本，推送完成后响应拉取成功，并清理本地仓库以节约磁盘空间。3.根据权利要求1所述的系统，其特征在于，所述容器部署模块，还用于：获取用户配置参数，所述用户配置参数包括所需镜像、部署副本数、Pod所需系统资源数、核心配置文件信息、依赖Jar包信息；根据所述用户配置参数的镜像配置信息生成Dockerfile并在指定环境中构建临时Docker镜像；解析部署环境配置信息并结合Yaml模板，生成Yaml格式的部署脚本，并将所述部署脚本提交到KubernetesAPI，使用所述临时Docker镜像在所述Kubernetes集群上进行部署。4.根据权利要求1所述的系统，其特征在于，所述集群监控模块，还用于：对完成部署任务的容器进行监控，包括查看容器状态以及资源占用率。5.根据权利要求1所述的系统，其特征在于，所述网络管理模块，还用于：采用所述Kubernetes集群中的Service资源和Ingress资源进行网络管理。6.根据权利要求1或5所述的系统，其特征在于，所述网络管理模块，还用于：为部署在所述Kubernetes集群上的大数据组件容器定义网络类型、端口名和端口号；根据所述网络类型、端口名和端口号以及容器名生成Yaml配置文件并提交到KubernetesAPI以创建Service信息；定义两个容器之间的网络依赖关系，获取依赖者的Service信息和被依赖者的Service信息；根据所述网络依赖关系和所述被依赖者的Service信息以及创建ConfigMap资源，以定义环境变量的方式将所述被依赖者的网络及相关配置信息注入到所述依赖者的容器中。7.根据权利要求1或5所述的系统，其特征在于，所述网络管理模块，还用于：针对需要将API暴露到云原生平台Kubernetes外部的组件，根据所述组件的Service创建Ingress资源，包括，生成TLS证书和私钥用于加密；2CN115827008A权利要求书2/2页在所述组件的Namespace下创建Sec