预览加载中,请您耐心等待几秒...
1/10
2/10
3/10
4/10
5/10
6/10
7/10
8/10
9/10
10/10

亲,该文档总共26页,到这已经超出免费预览范围,如果喜欢就直接下载吧~

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

本公开提供了一种模型训练方法、装置以及设备,涉及人工智能技术领域,具体涉及深度学习等技术领域。该方法的一具体实施方式包括:将模型的未切分模型状态集合和第i个已切分模型状态集合存储到第i个设备的显存中;获取第i个训练样本集,以及通过设备间通信从其他n?1个设备获取其他n?1个已切分模型状态集合,对模型进行训练,得到模型的各个模型状态的第一梯度;基于模型的各个模型状态的第一梯度更新未切分模型状态集合和第i个已切分模型状态集合。该实施方式减少了模型状态切分数量,从而降低了训练过程中模型状态的通信时间,优化训练速度,满足更好更快训练深度学习大模型的需求。