基于图形渲染管线的模型推理方法、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112348732A(43)申请公布日2021.02.09(21)申请号201910730619.0(22)申请日2019.08.08(71)申请人华为技术有限公司地址518129广东省深圳市龙岗区坂田华为总部办公楼(72)发明人石鑫栋王术吴江铮陆明伟(74)专利代理机构北京同立钧成知识产权代理有限公司11205代理人徐静刘芳(51)Int.Cl.G06T1/20(2006.01)G06T11/40(2006.01)G06N5/04(2006.01)权利要求书4页说明书23页附图11页(54)发明名称基于图形渲染管线的模型推理方法、装置及存储介质(57)摘要本申请提供一种基于图形渲染管线的模型推理方法、装置及存储介质，该方法包括获取渲染线程中的指令流；从指令流中提取并保存纹理数据信息，纹理数据信息包括纹理数据；将纹理数据信息输入至图形处理器GPU渲染管线中，GPU渲染管线用于对纹理数据进行基于GPU模型的推理，得到纹理数据的推理结果，GPU模型为在GPU中运行的模型。实现了对纹理数据的模型推理，避免了纹理数据与其他形式数据类型的转换，进而减少了IO内存开销。CN112348732ACN112348732A权利要求书1/4页1.一种基于图形渲染管线的模型推理方法，其特征在于，包括：获取渲染线程中的指令流；从所述指令流中提取并保存纹理数据信息，所述纹理数据信息包括纹理数据；将所述纹理数据信息输入至图形处理器GPU渲染管线中，所述GPU渲染管线用于对所述纹理数据进行基于GPU模型的推理，得到所述纹理数据的推理结果，所述GPU模型为在GPU中运行的模型。2.根据权利要求1所述的方法，其特征在于，还包括：加载所述GPU模型至内存中。3.根据权利要求2所述的方法，其特征在于，所述加载所述GPU模型至内存中，包括：获取所述渲染线程中训练模型的层状结构及各层参数；根据所述层状结构和所述各层参数，生成所述层状结构中各层各自对应的片元着色器；加载所述片元着色器至内存中。4.根据权利要求2所述的方法，其特征在于，所述加载所述GPU模型至内存中，包括：获取所述渲染线程中训练模型的层状结构及各层参数；根据所述层状结构对所述层状结构及各层参数进行合并处理，得到合并后的层状结构和合并后的各层参数；根据所述合并后的层状结构和所述合并后的各层参数，生成所述合并后的层状结构中各层各自对应的片元着色器；加载所述片元着色器至内存中。5.根据权利要求4所述的方法，其特征在于，所述根据所述层状结构对所述层状结构及各层参数进行合并处理，包括：确定所述层状结构中的多个分支层和多个1*1的卷积核；合并所述多个分支层以及所述多个分支层对应的多层参数，和/或，合并所述多个1*1的卷积核以及所述多个1*1的卷积核对应的多个参数。6.根据权利要求1-5任一项所述的方法，其特征在于，所述纹理数据信息还包括所述纹理数据在GPU内存中的纹理ID，将所述纹理数据信息输入至图形处理器GPU渲染管线中，所述GPU渲染管线用于对所述纹理数据进行基于GPU模型的推理之前，还包括：根据所述纹理ID和所述GPU模型，确定各层片元着色器的输入数据位置和输出数据位置，所述GPU渲染管线用于根据所述各层片元着色器的输入数据位置和输出数据位置，分别依次执行各层片元着色器。7.根据权利要求6所述的方法，其特征在于，在将所述纹理数据信息输入至图形处理器GPU渲染管线中之前，还包括：对所述纹理数据信息进行预处理；在所述得到所述纹理数据的推理结果之后，还包括：对所述推理结果进行后处理。8.根据权利要求7所述的方法，其特征在于，所述纹理数据信息还包括所述纹理数据在GPU内存中的第一保存格式以及所述纹理数据的第一图像大小，所述对所述纹理数据信息进行预处理，包括：2CN112348732A权利要求书2/4页根据所述GPU模型，转换所述第一图像大小为第二图像大小；将所述第一保存格式转换成所述GPU模型所要求的第二保存格式；所述对所述推理结果进行后处理，包括：转换所述纹理数据的所述第二图像大小为所述第一图像大小，转换所述纹理数据的所述第二保存格式为所述第一保存格式。9.根据权利要求1-5任一项所述的方法，其特征在于，在将所述纹理数据信息输入至图形处理器GPU渲染管线中之前，还包括：获取并保存所述渲染线程的上下文状态、处于激活状态的纹理ID以及处于激活状态的GPU执行程序的ID；所述方法还包括：通过所述渲染线程获取所述推理结果，所述推理结果通过纹理数据格式保存；恢复所述渲染线程的上下文状态、所述纹理ID以及所述GPU执行程序的ID。10.一种基于图形渲染管线的模型推理方法，其特征在于，包括：接收中央处理器CPU传输的纹理数据信息，所述纹理数据信息是所述C