预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共17页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

本申请公开一种AI模型推理方法和推理平台,涉及软件技术领域,AI模型推理平台通过Tensorrt部署至少一个AI模型;方法包括:接收第一终端发送的数据上传指令,将上传指令中的目标数据资源存储至Redis数据库;响应于从Redis数据库中检测到目标数据资源对应的数据标识码,从Redis数据库中提取目标数据资源,并确定出目标AI模型;响应于目标AI模型满足模型推理条件,对目标数据资源进行模型推理,并向第一终端下发模型推理结果。本发明通过平台可以适应多种框架模型,将终端上传的资源输入至AI推理模型中进行推理输出,且能够实现模型在线共享和更新,简化终端通过编辑脚本启动和输入的过程,提高模型推理的效率。