内容提供者
一种模型推理方法、模型推理装置及存储介质.pdf
2023-04-20
10金币
130KB
1页
海昌****姐淑
实名认证
内容提供者
1/1
在线预览结束，喜欢就下载吧，查找使用更方便
相关资料
一种模型推理方法、模型推理装置及存储介质.pdf
本公开是关于一种模型推理方法、模型推理装置及存储介质。其中,模型推理方法,应用于操作维护管理OAM实体,所述方法包括:响应于接收到控制无线接入网设备发送的模型订阅请求信息,确定与所述模型订阅请求信息对应的第一模型;将所述第一模型进行分割,得到第一数量的模型分割块,并将所述第一数量的模型分割块分发至第一数量的控制无线接入网设备。通过本公开可以能够有效提高模型推理效率,减小推理时延,同时有助于均衡网络负载。
2023-04-20
10
130KB
模型推理加速方法、装置、电子设备及存储介质.pdf
本公开提供了一种模型推理加速方法、装置、电子设备及存储介质，涉及人工智能领域，尤其涉及深度学习领域。具体实现方案为：获取基于动态语言训练得到的原始深度学习模型，获取基于动态语言对原始深度学习模型中的目标对象进行的第一描述，与基于预定静态语言对原始深度学习模型中的目标对象进行的第二描述间的对应关系，基于对应关系将原始深度学习模型中的目标对象转换为基于预定静态语言描述的对象，得到目标深度学习模型，将目标深度学习模型加载到预定的深度学习推理优化器中，得到优化的目标深度学习模型。本公开解决了相关技术中，难以将用动
2023-07-22
10
662KB
模型训练方法、推理方法、装置、系统、设备及存储介质.pdf
本申请实施例涉及深度学习技术领域，公开了一种模型训练方法、推理方法、装置、系统、设备及存储介质，其中，模型训练方法包括：获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；基于所述第一组模型参数将所述目标学习模型部署到模型部署平台。可以保证计算过程数据和模型参数安全性，从而可以在训练过程中杜绝了数据偷取攻击的可能性，也减少了存储模型参数的系统中受到攻击被盗取模型参数的风险。
2023-06-26
10
1.4MB
网络模型推理加速的方法、装置、设备及存储介质.pdf
本申请涉及人工智能技术领域，提供一种网络模型推理加速的方法、装置、设备及存储介质，包括：在网络模型开始执行推理任务时，检测是否存在图形处理器；在存在图形处理器时，确定网络模型的文件中目标计算结构；目标计算结构包括矩阵乘法；确定与目标计算结构关联的目标张量；在目标张量的源程序格式要求不满足预设计算统一设备架构并行程序格式要求时，按照预设计算统一设备架构并行程序格式要求对目标张量的源程序格式进行修改；基于图形处理器根据修改后的目标张量的源程序对推理任务进行预测推理。可将目标计算结构中关联的张量，转变为GPU加
2023-07-24
10
628KB
基于图形渲染管线的模型推理方法、装置及存储介质.pdf
本申请提供一种基于图形渲染管线的模型推理方法、装置及存储介质，该方法包括获取渲染线程中的指令流；从指令流中提取并保存纹理数据信息，纹理数据信息包括纹理数据；将纹理数据信息输入至图形处理器GPU渲染管线中，GPU渲染管线用于对纹理数据进行基于GPU模型的推理，得到纹理数据的推理结果，GPU模型为在GPU中运行的模型。实现了对纹理数据的模型推理，避免了纹理数据与其他形式数据类型的转换，进而减少了IO内存开销。
2024-01-06
10
1.3MB