获取资源分配模型的方法、资源分配方法及对应装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115118780A(43)申请公布日2022.09.27(21)申请号202210630602.X(22)申请日2022.06.06(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人屈超詹姆士·张胡韵郑洋飞熊君武雷磊(74)专利代理机构济南信达专利事务所有限公司37100专利代理师李世喆(51)Int.Cl.H04L67/60(2022.01)H04L67/133(2022.01)H04L41/16(2022.01)权利要求书2页说明书11页附图5页(54)发明名称获取资源分配模型的方法、资源分配方法及对应装置(57)摘要本说明书实施例提供了一种获取资源分配模型的方法、资源分配方法及对应装置。具体技术方案包括：首先从一个以上的应用服务的历史数据中获取训练数据，各训练数据包括应用服务在各时刻的流量特征数据和计算资源实际使用状况；然后采用元强化学习机制建立资源分配模型，所述资源分配模型从所述流量特征数据和所述计算资源的实际使用状况中学习在各时刻对应用服务采用的资源分配调整策略，以使得按照资源分配调整策略调整计算资源后所述一个以上的应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异小于预定值。CN115118780ACN115118780A权利要求书1/2页1.建立资源分配模型的方法，包括：从一个以上的应用服务的历史数据中获取训练数据，各训练数据包括应用服务在各历史时刻的流量特征数据和计算资源实际使用状况；采用元强化学习机制建立资源分配模型，所述资源分配模型从所述流量特征数据和所述计算资源的实际使用状况中学习在各时刻对于应用服务采用的资源分配调整策略，以使得按照所述资源分配调整策略调整计算资源后，所述一个以上应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异小于预定值。2.根据权利要求1所述的方法，其中，所述流量特征数据包括：远程过程调用PRC数据、消息msg数据和流量traffic数据中的至少一种。3.根据权利要求1所述的方法，其中，所述采用元强化学习机制建立资源分配模型包括：利用所述训练数据训练包括元学习子模型和强化学习子模型的资源分配模型；其中，所述元学习子模型用以利用所述应用服务在各历史时刻的流量特征数据，得到所述应用服务的任务向量表示，并利用所述流量特征数据和所述任务向量表示预测所述应用服务在各时刻的计算资源使用状况，所述元学习子模型的训练目标为最小化预测结果与训练数据中对应的计算资源实际使用状况之间的差异；强化学习子模型用以将训练得到的所述元学习子模型作为环境，与所述元学习子模型进行交互，采用强化学习机制预测对所述应用服务在各时刻采用的资源分配调整策略，以使得按照所述资源分配调整策略调整计算资源后所述应用服务在各时刻的计算资源使用状况与预期使用状况之间的差异最小化。4.根据权利要求3所述的方法，其中，所述元学习子模型包括：编码网络和解码网络；所述编码网络用以利用输入的应用服务i在时刻tj的流量特征数据，得到所述应用服务i在时刻tj的任务向量表示；所述解码网络用以利用所述应用服务i在时刻tj的任务向量表示以及流量特征数据，预测所述应用服务i在时刻tj的计算资源使用状况。5.根据权利要求4所述的方法，其中，所述编码网络进一步用以利用所述训练数据所包含的流量特征数据对所述应用服务i在时刻tj的流量特征数据进行注意力机制的处理，得到所述应用服务i在时刻tj的流量特征向量表示；所述解码网络在预测所述应用服务i在时刻tj的计算资源使用状况时，进一步利用所述应用服务i在时刻tj的流量特征向量表示。6.根据权利要求3所述的方法，其中，与所述元学习子模型进行交互，采用强化学习机制预测对所述应用服务在各时刻采用的资源分配调整策略包括：所述强化学习子模型作为智能体，将应用服务在各时刻的流量特征数据和计算资源使用状况作为状态，将利用所述状态和所述应用服务的任务向量表示预测得到的在各时刻对应用服务采用的资源分配调整策略作为动作，所述智能体与训练得到的元学习子模型交互以进行强化学习，在所述强化学习过程中，利用按照所述资源分配调整策略调整计算资源后应用服务的计算资源使用状况与预期使用状况之间的差异得到奖励。7.资源分配方法，包括：获取应用服务在时刻t的流量特征数据；2CN115118780A权利要求书2/2页将所述流量特征数据输入资源分配模型，获取所述资源分配模型输出的在所述时刻t对所述应用服务采用的资源分配调整策略；依据所述资源分配调整策略调整为所述应用服务分配的计算资源；其中，所述资源分配模型采用如权利要求1至6中任一项所述的方法预先建立。8.根据权利要求7所述的方法，其中，所述获取应用服务