神经网络模型的训练方法、装置、电子设备及存储介质.pdf

本公开提供了神经网络模型的训练方法、装置、电子设备及存储介质,涉及及机器学习领域,尤其涉及深度学习技术领域。具体实现方案为:基于行为一致的多个子张量,构建融合张量并将融合张量存储至预设显存中;构建融合张量与子张量间的映射关系;在需要使用目标子张量的情况下,基于映射关系从融合张量中提取目标子张量以训练神经网络模型;在需要使用融合张量的情况下,从预设显存中提取融合张量以训练神经网络模型。本公开将具有同一行为的子张量进行融合,以融合张量为单位进行处理,可减少计算量,节约计算资源。而且相比通信融合方式,能够减少占用的显存。并且,在需要的情况下,也可以对子张量进行单独处理,使得模型训练比较灵活。