内容提供者
模型部署方法、模型运行方法、装置、介质、及电子设备.pdf
2023-04-21
10金币
789KB
19页
是你****嘉嘉
实名认证
内容提供者
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10
亲，该文档总共19页，到这已经超出免费预览范围，如果喜欢就直接下载吧～
相关资料
模型部署方法、模型运行方法、装置、介质、及电子设备.pdf
本公开涉及一种模型部署方法、模型运行方法、装置、介质、及电子设备。模型部署方法包括:响应于接收到待部署终端的各异构硬件的相关信息,根据原始模型对应的映射关系和各异构硬件的相关信息,确定各异构硬件对应的原始模型的目标版本模型,其中,原始模型对应的映射关系用于表征原始模型中每一算子在不同异构硬件上运行时的耗时信息;将各异构硬件对应的原始模型的目标版本模型下发至待部署终端,以在待部署终端中部署各异构硬件对应的原始模型的目标版本模型。如此,针对待部署终端的每一异构硬件,可以确定出与该异构硬件相适配的目标版本模型,
2023-04-21
10
789KB
模型部署处理方法、装置、电子设备及存储介质.pdf
本申请涉及模型部署处理方法、装置、电子设备及存储介质，属于服务器部署模型技术领域。本申请包括：获取表征多模型数据处理的有向图以及服务器所能提供的资源，利用有向图中模型计算所需资源和模型间通信开销，对有向图进行分割处理，得到目标分割结果，对于目标分割结果中各子图所对应的模型集合，在模型集合计算所需资源得到服务器提供的基础上，模型集合间的通信开销整体最小；基于目标分割结果，确定多模型部署所需服务器并为服务器分配模型集合。通过本申请，有助于实现将多模型拆分部署于不同服务器下时服务器的整体性能达到最优。
2023-07-24
10
801KB
神经网络模型部署方法、装置、电子设备及存储介质.pdf
本公开涉及一种神经网络模型部署方法、装置、电子设备及存储介质，所述方法包括获取待部署到硬件设备上的原始神经网络模型所对应的原始计算图；将原始计算图转换为基于目标算子集构成的中间计算图，目标算子集为硬件设备支持的算子集；根据硬件设备对应的硬件约束条件，将中间计算图转换为适配硬件设备的目标计算图，硬件约束条件是基于硬件设备对应的数据精度、硬件资源以及目标算子集中的至少一种所确定的；基于目标计算图，确定硬件可执行文件，硬件可执行文件用于部署到硬件设备上。本公开实施例可实现将各种原始神经网络模型高效统一地转换成能
2023-07-21
10
766KB
一种模型部署方法、装置、电子设备及存储介质.pdf
本发明提供一种模型部署方法、装置、电子设备及储存介质,其特征在于,所述方法包括:对训练后的初始模型进行量化,得到量化模型;获取量化模型的各模块的onnx模型及量化校准文件;修正各模块的onnx模型及量化校准文件;合并各模块的onnx模型及量化校准文件,得到第一onnx模型和量化校准文件集;将量化校准文件集转码为可读取文件;基于第一onnx模型和可读取文件,由平台生成模型;对平台生成的模型进行部署。本发明中获取量化后模型的onnx模型,提高tensorRT对算子的融合,提高运行效率,并转化为特定平台的模型,
2023-04-17
10
713KB
一种模型部署方法、装置、电子设备和存储介质.pdf
本申请涉及人工智能技术领域，尤其涉及一种模型部署方法、装置、电子设备和存储介质，用以解决针对目前的人工智能开发过程复杂，耗时较长的问题。本申请方法包括：获取模型部署指令指示的模型属性信息，模型属性信息表征待生成的目标网络模型的运行需求；基于预配置的基础网络结构集合，获得至少一个候选网络模型；候选网络模型是基于基础网络结构集合中与模型属性信息相匹配的目标基础网络结构确定的；基于至少一个候选网络模型，确定目标网络模型，并将目标网络模型部署于目标设备，以在目标设备，基于目标网络模型对待处理资源进行相应的资源处理
2023-07-21
10
830KB