一种内存消耗值预估方法、装置、终端设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115904728A(43)申请公布日2023.04.04(21)申请号202211681113.3(22)申请日2022.12.26(71)申请人广东宜通衡睿科技有限公司地址510000广东省广州市天河区科韵路16号自编1栋1101自编之六（仅限办公）(72)发明人付承启江伟郭剑陈泳蒸卢益谦(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师吴松滨(51)Int.Cl.G06F9/50(2006.01)G06F18/214(2023.01)G06F18/2431(2023.01)权利要求书2页说明书9页附图1页(54)发明名称一种内存消耗值预估方法、装置、终端设备及存储介质(57)摘要本发明涉及内存预估技术领域，公开了一种内存消耗值预估方法、装置、终端设备及存储介质，方法包括获取应用场景中内存消耗的影响因素；以所述影响因素作为输入特征构建训练数据集，基于gbdt回归建立内存消耗模型；根据所述训练数据集对所述内存消耗模型进行训练，得到训练后的内存消耗模型；根据待测试的业务场景的数据特点构造测试数据集，将所述测试数据集输入至训练后的内存消耗模型，得到内存消耗预估值。本方法能同时基于多个因素，对内存消耗进行预估。CN115904728ACN115904728A权利要求书1/2页1.一种内存消耗值预估方法，其特征在于，包括：获取应用场景中内存消耗的影响因素；以所述影响因素作为输入特征构建训练数据集，基于gbdt回归建立内存消耗模型；根据所述训练数据集对所述内存消耗模型进行训练，得到训练后的内存消耗模型;根据待测试的业务场景的数据特点构造测试数据集，将所述测试数据集输入至训练后的内存消耗模型，得到内存消耗预估值。2.根据权利要求1所述的内存消耗值预估方法，其特征在于，所述内存消耗模型表示为：H0(x)＝0H1(x)＝H0(x)+T1(x；Θ)H2(x)＝H1(x)+T2(x；Θ)Hm(x)＝Hm‑1(x)+Tm(x；Θ)其中，x为输入特征，Hm为第m步的模型，Hm‑1是上一轮的已知的模型，Tm就是第m轮需要加进来的cart树模型；ceta为需要学习的树的结构，包括特征分割点及叶节点的输出；表示令整体损失最小的树结构。3.根据权利要求2所述的内存消耗值预估方法，其特征在于，所述内存消耗模型的第m轮的学习目标表示为：(i)(i)(i)(i)(i)(i)2(i)2L(y，Hm‑1(x)+Tm(x；Θ))＝(y‑Hm‑1(x)‑Tm(x)＝(residual‑Tm(x))。4.根据权利要求1所述的内存消耗值预估方法，其特征在于，在所述以所述影响因素作为输入特征构建训练数据集之后，所述方法还包括：对所述训练数据集进行标准化处理，得到标准数据集。5.根据权利要求4所述的内存消耗值预估方法，其特征在于，所述标准化处理的公式如下：其中，x表示所述训练数据集中的元素，x′表示所述标准数据集中的元素。6.根据权利要求1所述的内存消耗值预估方法，其特征在于，所述影响因素包括数据转换为java对象的大小、数据的有序程度、规则的复杂程度、并行度大小和任务的作业数量。7.一种内存消耗值预估装置，其特征在于，包括：数据获取模块，用于获取应用场景中内存消耗的影响因素；模型建立模块，用于以所述影响因素作为输入特征构建训练数据集，基于gbdt回归建立内存消耗模型；模型训练模块，用于根据所述训练数据集对所述内存消耗模型进行训练，得到训练后的内存消耗模型；内存预估模块，用于根据待测试的业务场景的数据特点构造测试数据集，将所述测试数据集输入至训练后的内存消耗模型，得到内存消耗预估值。2CN115904728A权利要求书2/2页8.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的内存消耗值预估方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的内存消耗值预估方法。3CN115904728A说明书1/9页一种内存消耗值预估方法、装置、终端设备及存储介质技术领域[0001]本发明涉及内存预估技术领域，尤其涉及一种内存消耗值预估方法、装置、终端设备及存储介质。背景技术[0002]目前，在生产实践当中，应用容器引擎docker由于其具有的可以移植性、环境的统一性的特点，是各种生产应用的首选的部署方式。而通过docker部署flinkcep应用时候，需要根据flinkcep配置参数以及处理事件的规模，对其在处理各种事件时所消耗的内存进行一个预估，以制作d