一种基于GPU虚拟化的资源复用方法、装置及设备.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110851285A(43)申请公布日2020.02.28(21)申请号202010037822.2(22)申请日2020.01.14(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人赵军平(74)专利代理机构北京晋德允升知识产权代理有限公司11623代理人王戈(51)Int.Cl.G06F9/50(2006.01)G06F9/455(2006.01)权利要求书3页说明书13页附图3页(54)发明名称一种基于GPU虚拟化的资源复用方法、装置及设备(57)摘要本说明书实施例公开了一种基于GPU虚拟化的资源复用方法、装置及设备。方案包括：通过在客户端预先存储对于第一资源的设置参数，从而令客户端本地可以处理AI框架层发送的用于创建第一资源的第一API调用请求，以及对所述第一资源进行设置的第二API调用请求，无需转发GPU驱动；并令客户端在获取到AI框架层发送的用于基于第一资源进行计算的第三API调用请求时，将生成的针对第一资源的第一计算指令以及预先存储的对于第一资源的设置参数，发送至GPU驱动，从而利用GPU虚拟化技术执行AI任务。CN110851285ACN110851285A权利要求书1/3页1.一种基于GPU虚拟化的资源复用方法，应用于GPU虚拟化系统中的客户端，包括：获取AI框架层发送的用于创建第一资源的第一API调用请求；确定预先存储的与所述第一资源相匹配的数据所在的内存地址；所述与所述第一资源相匹配的数据包含对于所述第一资源的设置参数；向所述AI框架层反馈所述与所述第一资源相匹配的数据所在的内存地址；获取所述AI框架层发送的用于对所述第一资源进行设置的第二API调用请求；向所述AI框架层反馈用于表示设置成功的消息；获取所述AI框架层发送的用于基于所述第一资源进行计算的第三API调用请求；基于所述第三API调用请求，生成针对所述第一资源的第一计算指令；将所述第一计算指令以及所述与所述第一资源相匹配的数据发送至GPU驱动。2.如权利要求1所述的方法，所述获取AI框架层发送的用于创建第一资源的API调用请求之前，还包括：在AI任务启动后的预热阶段，获取AI框架层发送的用于创建第二资源的第四API调用请求；创建所述第二资源，将所述第二资源对应的数据存储在所述内存地址；向所述AI框架层反馈所述内存地址；获取所述AI框架层发送的用于对所述第二资源进行设置的第五API调用请求；基于所述第五API调用请求，对所述内存地址中的数据进行设置；向所述AI框架层反馈用于表示设置成功的消息；获取所述AI框架层发送的用于基于所述第二资源进行计算的第六API调用请求；基于所述第六API调用请求，生成针对所述第二资源的第二计算指令；将所述第二计算指令发送至GPU驱动。3.如权利要求2所述的方法，所述获取所述AI框架层发送的用于基于所述第二资源进行计算的第六API调用请求之后，还包括：获取所述AI框架层发送的用于对所述第二资源对应的数据进行删除的第七API调用请求；保留所述第二资源对应的数据；向所述AI框架层反馈用于表示删除成功的消息。4.如权利要求1所述的方法，所述确定预先存储的与所述第一资源相匹配的数据所在的内存地址，具体包括：确定所述第一API调用请求对应的计算流；从所述计算流对应的队列中读取队首存储的地址指针；所述地址指针指向与所述第一资源相匹配的数据所在的内存地址。5.如权利要求4所述的方法，所述从所述计算流对应的队列中读取队首存储的地址指针之后，还包括：将所述地址指针从所述队列的队首删除；将所述地址指针写入所述队列的队尾。6.如权利要求3所述的方法，所述保留所述第二资源对应的数据之后，还包括：确定所述第四API调用请求对应的计算流；2CN110851285A权利要求书2/3页将所述第二资源对应的数据的存储地址的地址指针，写入所述计算流对应的队列中。7.如权利要求1所述的方法，所述获取AI框架层发送的用于创建第一资源的第一API调用请求之前，还包括：判断当前一轮的迭代过程是否计算完毕，得到判断结果；所述获取AI框架层发送的用于创建第一资源的第一API调用请求，具体包括：当所述判断结果表示当前一轮的迭代过程计算完毕时，获取AI框架层发送的用于创建第一资源的第一API调用请求。8.如权利要求7所述的方法，所述判断当前一轮的迭代过程是否计算完毕，具体包括：记录AI任务中的模型的第一层的输出结果的存储地址对应的第一地址指针；在后向梯度传播过程中，监测当前的输入数据的存储地址对应的第二地址指针；判断所述第二地址指针是否与所述第一地址指针相同。9.一种基于GPU虚拟化的资源复用装置，应用于GPU虚拟化系统