内容提供者
一种模型部署方法、装置、电子设备及存储介质.pdf
2023-04-17
10金币
713KB
15页
文阁****23
实名认证
内容提供者
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10
亲，该文档总共15页，到这已经超出免费预览范围，如果喜欢就直接下载吧～
相关资料
一种模型部署方法、装置、电子设备及存储介质.pdf
本发明提供一种模型部署方法、装置、电子设备及储存介质,其特征在于,所述方法包括:对训练后的初始模型进行量化,得到量化模型;获取量化模型的各模块的onnx模型及量化校准文件;修正各模块的onnx模型及量化校准文件;合并各模块的onnx模型及量化校准文件,得到第一onnx模型和量化校准文件集;将量化校准文件集转码为可读取文件;基于第一onnx模型和可读取文件,由平台生成模型;对平台生成的模型进行部署。本发明中获取量化后模型的onnx模型,提高tensorRT对算子的融合,提高运行效率,并转化为特定平台的模型,
2023-04-17
10
713KB
模型部署处理方法、装置、电子设备及存储介质.pdf
本申请涉及模型部署处理方法、装置、电子设备及存储介质，属于服务器部署模型技术领域。本申请包括：获取表征多模型数据处理的有向图以及服务器所能提供的资源，利用有向图中模型计算所需资源和模型间通信开销，对有向图进行分割处理，得到目标分割结果，对于目标分割结果中各子图所对应的模型集合，在模型集合计算所需资源得到服务器提供的基础上，模型集合间的通信开销整体最小；基于目标分割结果，确定多模型部署所需服务器并为服务器分配模型集合。通过本申请，有助于实现将多模型拆分部署于不同服务器下时服务器的整体性能达到最优。
2023-07-24
10
801KB
一种模型部署方法、装置、电子设备和存储介质.pdf
本申请涉及人工智能技术领域，尤其涉及一种模型部署方法、装置、电子设备和存储介质，用以解决针对目前的人工智能开发过程复杂，耗时较长的问题。本申请方法包括：获取模型部署指令指示的模型属性信息，模型属性信息表征待生成的目标网络模型的运行需求；基于预配置的基础网络结构集合，获得至少一个候选网络模型；候选网络模型是基于基础网络结构集合中与模型属性信息相匹配的目标基础网络结构确定的；基于至少一个候选网络模型，确定目标网络模型，并将目标网络模型部署于目标设备，以在目标设备，基于目标网络模型对待处理资源进行相应的资源处理
2023-07-21
10
830KB
神经网络模型部署方法、装置、电子设备及存储介质.pdf
本公开涉及一种神经网络模型部署方法、装置、电子设备及存储介质，所述方法包括获取待部署到硬件设备上的原始神经网络模型所对应的原始计算图；将原始计算图转换为基于目标算子集构成的中间计算图，目标算子集为硬件设备支持的算子集；根据硬件设备对应的硬件约束条件，将中间计算图转换为适配硬件设备的目标计算图，硬件约束条件是基于硬件设备对应的数据精度、硬件资源以及目标算子集中的至少一种所确定的；基于目标计算图，确定硬件可执行文件，硬件可执行文件用于部署到硬件设备上。本公开实施例可实现将各种原始神经网络模型高效统一地转换成能
2023-07-21
10
766KB
一种服务的部署方法、装置、电子设备及存储介质.pdf
本申请公开了一种服务的部署方法、装置、电子设备及存储介质。其中,服务的部署方法包括:基于设定的开发框架,生成第一镜像和第二镜像;所述第一镜像表征用于进行模型训练的容器镜像;所述第二镜像表征用于进行服务部署的容器镜像;通过调用所述第一镜像,生成并训练完成至少一个算法模型;通过调用所述第二镜像,基于所述至少一个算法模型中的一个或多个算法模型生成并部署第一服务。
2023-04-19
10
603KB