模型推理加速方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114691148A(43)申请公布日2022.07.01(21)申请号202210374235.1G06N3/04(2006.01)(22)申请日2022.04.11G06N5/04(2006.01)(71)申请人北京百度网讯科技有限公司地址100085北京市海淀区上地十街10号百度大厦2层(72)发明人黄贲田津津王锐田少卿林晓春(74)专利代理机构北京博浩百睿知识产权代理有限责任公司11134专利代理师丰佩印(51)Int.Cl.G06F8/41(2018.01)G06F8/51(2018.01)G06N3/08(2006.01)G06N3/10(2006.01)权利要求书3页说明书13页附图4页(54)发明名称模型推理加速方法、装置、电子设备及存储介质(57)摘要本公开提供了一种模型推理加速方法、装置、电子设备及存储介质，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：获取基于动态语言训练得到的原始深度学习模型，获取基于动态语言对原始深度学习模型中的目标对象进行的第一描述，与基于预定静态语言对原始深度学习模型中的目标对象进行的第二描述间的对应关系，基于对应关系将原始深度学习模型中的目标对象转换为基于预定静态语言描述的对象，得到目标深度学习模型，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。本公开解决了相关技术中，难以将用动态语言训练的深度学习模型转化为适用于深度学习推理优化器的静态语言模型的问题。CN114691148ACN114691148A权利要求书1/3页1.一种模型推理加速方法，包括：获取基于动态语言训练得到的原始深度学习模型；获取第一描述与第二描述之间的对应关系，其中，所述第一描述为基于所述动态语言对所述原始深度学习模型中的目标对象所进行的描述，所述第二描述为基于预定静态语言对所述原始深度学习模型中的所述目标对象所进行的描述；基于所述对应关系，将所述原始深度学习模型中的所述目标对象转换为基于所述预定静态语言描述的对象，得到目标深度学习模型；将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。2.根据权利要求1所述的方法，其中，所述基于所述对应关系，将所述原始深度学习模型中的所述目标对象转换为基于所述预定静态语言描述的对象，得到目标深度学习模型，包括以下至少之一：在所述目标对象为所述原始深度学习模型中的变量的情况下，对所述原始深度学习模型中的所述变量进行类型注释，其中，所述类型注释用于标识所述变量的类型为所述变量在所述预定静态语言识别出的目标类型；在所述目标对象为所述原始深度学习模型中所述预定静态语言不支持的原始算子的情况下，将所述原始算子替换为所述预定静态语言支持的目标算子；在所述目标对象为所述原始深度学习模型中所述预定静态语言不支持的原始语法的情况下，将所述原始语法替换为所述预定静态语言支持的目标语法。3.根据权利要求1所述的方法，其中，所述将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型，包括：检测所述目标深度学习模型中的第一算子在所述预定的深度学习推理优化器中是否存在有映射关系的第二算子，其中，所述第一算子为所述目标深度学习模型中的任意一个算子；通过将所述目标深度学习模型中的第一算子映射为对应的所述第二算子，将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。4.根据权利要求3所述的方法，其中，所述通过将所述目标深度学习模型中的第一算子映射为对应的所述第二算子，将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型，包括：在所述目标深度学习模型中的多个第一算子分别存在有映射关系的第二算子的情况下，并且，所述多个第一算子分别存在有映射关系的第二算子中存在连续算子的情况下，对所述连续算子进行融合，得到融合算子；采用所述融合算子替换所述连续算子，将所述目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。5.根据权利要求4所述的方法，其中，所述对所述连续算子进行融合，得到融合算子，包括：确定所述连续算子中待融合算子；对所述待融合算子进行融合，得到融合算子。6.根据权利要求5所述的方法，其中，所述确定所述连续算子中待融合算子，包括：2CN114691148A权利要求书2/3页基于所述连续算子，确定多种融合方式；分别获取所述多种融合方式的权重值；基于所述多种融合方式的权重值，从所述多种融合方式中确定出目标融合方式；确定所述目标融合方式所包括的算子为所述连续算子中的待融合算子。7.根据权利要求1至6中任一项所述的方法，其中，在所述将所述目标深度学习模型加载到预定的深