一种基于混合云计算平台的对账系统及其对账方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111192123A(43)申请公布日2020.05.22(21)申请号201911359843.X(22)申请日2019.12.25(71)申请人深圳晶泰科技有限公司地址518000广东省深圳市龙华区大浪街道新石社区华联工业区9号4层(72)发明人马颜芃林帅康刘阳马健温书豪(74)专利代理机构深圳市科吉华烽知识产权事务所(普通合伙)44248代理人胡玉(51)Int.Cl.G06Q40/00(2012.01)权利要求书1页说明书5页附图3页(54)发明名称一种基于混合云计算平台的对账系统及其对账方法(57)摘要本发明提供一种基于混合云计算平台的对账系统及其对账方法，账单数据处理模块，从公有云账单API或下载的账单详细文件处理数据；监控数据处理模块，处理从计算管理系统资源池采集资源池和任务资源请求的数据；任务数据处理模块，处理从计算调度系统的任务数据库中统计任务消耗资源核时；统计告警模块，结合以上三个模块所得出的资源数据表，得到计算任务装箱的利用率和差异范围，实现任务核时的对账告警和预测。本发明通过集成各大公有云厂商的账单API实现全球计算实例单价的管控；针对高性能计算任务计算力成本的校验核算，和计算力利用率的检测判断；可以通过对大量现有任务的计算力需求，对未来计算力的购买具有指导意义。CN111192123ACN111192123A权利要求书1/1页1.一种基于混合云计算平台的对账系统，其特征在于，包括：账单数据处理模块，从公有云账单API或下载的账单详细文件处理数据；监控数据处理模块，从计算平台的监控系统获取任务请求资源并处理数据；任务数据处理模块，从计算平台的调度系统任务数据库中获取任务数据并处理；统计告警模块，从账单监控以及任务数据中得到数据对比表，根据对账差异阀值对用户告警；并利用历史对账数据指导未来成本管理。2.根据权利要求1所述的一种基于混合云计算平台的对账系统的对账方法，其特征在于，包括以下步骤：（1）账单数据处理模块根据公有云服务提供商的明细账单进行数据处理，生成的账单计算实例成本计算力数据，待对账系统后续流程处理；（2）任务数据处理模块从计算平台调度系统存储的计算任务的生命周期数据库中获取任务运行的起止时间和申请核数数据，从而获取每个计算任务的消耗核时作为成本信息；（3）监控数据处理模块从计算平台的监控系统采集的数据库获取数据，其中采集的数据包括每个公有云资源池各个时间点的CPU核数以及各个时间点计算任务实际申请的CPU核数；通过任务监控数据，获取公有云计算集群监控核时和任务请求监控核时，作为对照组数据；（4）统计告警模块根据步骤（1）到（3）的所得出的资源数据表，得到计算任务装箱的利用率和差异范围，实现任务核时的三方对账；对异常对账数据进行告警，并积累历史对账数据，预测指导计算成本的管理。2CN111192123A说明书1/5页一种基于混合云计算平台的对账系统及其对账方法技术领域[0001]本发明属于数据处理技术领域，具体涉及一种基于混合云计算平台的对账系统及其对账方法。背景技术[0002]现今企业服务托管在公有云上，并通过云服务提供商购买大量计算资源替代自建本地搭建计算服务器的做法越发普遍。而在直接对接单个云服务提供商时，可以直接通过对应云服务提供商账单系统直接获取每月使用成本，并可以通过手动下载账单详情文件计算出各个服务的使用量和成本，以及计算池的使用量和成本。该技术存在以下问题：(1)这种对账与单个云服务提供商架构绑定较强，而对跨云以及本地计算需要单独分别手动核算，从而增加不同云服务提供商时的成本评估难度。[0003](2)不同的云服务提供商账单产品的数据结构和服务名称无统一标准，导致用户在统一核算很难对计算结果聚合，无法对多云服务的历史数据进行分析处理。[0004](3)由于计算任务调度系统的资源装箱以及弹性伸缩导致的空跑问题，实际计算资源使用上存在一定的损耗，无法获知实际计算任务运行需要申请的计算资源，缺乏对实际任务对应的成本控制。发明内容[0005]针对上述技术问题，本发明提供一种基于混合云计算平台的对账系统及其对账方法，适用于高性能计算领域，结合监控和告警系统，实现多云服务提供商的计算资源成本核算和实际利用率统计。[0006]所采用的技术方案为：一种基于混合云计算平台的对账系统，包括：账单数据处理模块，根据云服务提供商的区别和对账单接口的支持，可以直接通过API接口获取，或者手动下载账单详细文件，或者通过账单文件存储的对象存储来获取详细数据。由于每个云提供商的计算实例类型不同，虚拟核数多种多样，所在账单时区也不一致，需要根据每个云服务提供商的结算周期，统计总花费，每个实例花费，单位核时花费，总核时等统一的数据信息；