多方联合训练神经网络模型的方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965072A(43)申请公布日2023.04.14(21)申请号202211733452.1(22)申请日2022.12.30(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人吴豪奇韩伟力(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06N3/08(2023.01)G06N3/084(2023.01)G06N3/048(2023.01)权利要求书2页说明书13页附图2页(54)发明名称多方联合训练神经网络模型的方法和装置(57)摘要本说明书实施例提供一种多方联合训练神经网络模型的方法和装置，方法包括：获取模型的权重参数及训练样本的特征数据分别在第一环中第一精度的第一权重分片和第一特征分片；将第一特征分片和第一权重分片输入神经网络模型，通过与其他方进行对应于前向传播的多方联合计算，得到各个网络层的各个输出分片；获取各个输出分片，权重参数及训练样本的标签分别在第二环中第二精度的第二输出分片，第二权重分片，第二标签分片；第二环大于第一环，第二精度高于第一精度；利用第二输出分片、第二权重分片和第二标签分片，与其他方进行对应于反向传播的多方联合计算，得到各个网络层的各个梯度分片。能够在保证模型最终精度的前提下，提高模型训练效率。CN115965072ACN115965072A权利要求书1/2页1.一种多方联合训练神经网络模型的方法，所述方法由多方中的任一方执行，包括：获取模型当前的权重参数以及训练样本的特征数据分别在第一环中具有第一精度的第一权重分片和第一特征分片；将所述第一特征分片和所述第一权重分片输入待训练的神经网络模型，通过与其他方进行对应于前向传播的第一多方联合计算，得到各个网络层的各个输出分片；获取各个输出分片，所述权重参数以及训练样本的标签分别在第二环中具有第二精度的第二输出分片，第二权重分片，以及第二标签分片；其中，所述第二环大于所述第一环，所述第二精度高于第一精度；利用第二输出分片、第二权重分片和第二标签分片，与其他方进行对应于反向传播的第二多方联合计算，得到各个网络层的在第二环中具有第二精度的各个梯度分片；利用各个梯度分片更新所述第二权重分片，以实现对所述神经网络模型的本轮训练。2.如权利要求1所述的方法，其中，所述本轮训练是首轮训练；所述第一权重分片的获取，包括：获取预先设置的模型的权重参数在第二环中的第二精度的初始权重分片；通过与其他方联合进行右移第二精度减去第一精度位的移位操作，将初始权重分片转换为第二环中的第一精度的转换权重分片；通过与其他方联合进行模转换运算，将所述转换权重分片转换为所述第一权重分片。3.如权利要求1所述的方法，其中，所述本轮训练不是首轮训练；所述第一权重分片的获取，包括：针对上一轮训练得到的第二权重分片，通过与其他方联合进行右移第二精度减去第一精度位的移位操作，将第二权重分片转换为第二环中的第一精度的转换权重分片；通过与其他方联合进行模转换运算，将所述转换权重分片转换为所述第一权重分片。4.如权利要求1所述的方法，其中，所述各个网络层包括顺序排列的第一中间层、第二中间层和第三中间层，第一中间层和第三中间层对应于第一精度的计算，第二中间层对应于第二精度的计算，所述第一多方联合计算，包括：将第一中间层输出的第一环中的第一精度的第一输出分片，通过与其他方联合进行的模转换运算，转换为第二环中的第二精度的第二输出分片；将第一中间层对应的第二输出分片输入第二中间层，通过与其他方联合进行的运算得到该第二中间层输出的第二输出分片；将第二中间层输出的第二输出分片，通过与其他方联合进行的模转换运算，转换为第一环中的第一精度的第一输出分片，将该第一输出分片作为第三中间层的输入。5.如权利要求4所述的方法，其中，所述第一中间层和第三中间层各自包含线性运算和激活函数运算，所述第二中间层用于进行批标准化运算。6.如权利要求1所述的方法，其中，所述各个输出分片包括，所述各个网络层中某一网络层输出的、第一环中的第一精度的第一输出分片；所述第二输出分片的获取，包括：获取所述第一输出分片；针对所述第一输出分片，通过与其他方联合进行的模转换运算，将所述第一输出分片转换为第二环中的第一精度的转换输出分片；2CN115965072A权利要求书2/2页通过与其他方联合进行左移第二精度减去第一精度位的移位操作，将所述转换输出分片转换为第二环中的第二精度的第二输出分片。7.如权利要求1所述的方法，其中，所述本轮训练是首轮训练；所述第二权重分片的获取，包括：获取预先设置的模型的权重参数在第二环中的第二精度的初始权重分片；针对初始权