模型训练方法、推理方法、装置、系统、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116011552A(43)申请公布日2023.04.25(21)申请号202310297930.7G06N5/04(2023.01)(22)申请日2023.03.24(71)申请人摩尔线程智能科技（北京）有限责任公司地址100080北京市海淀区海淀大街31号2层209(72)发明人请求不公布姓名(74)专利代理机构北京派特恩知识产权代理有限公司11270专利代理师姚文娴浦彩华(51)Int.Cl.G06N3/082(2023.01)G06N3/045(2023.01)G06N3/096(2023.01)G06F21/60(2013.01)权利要求书3页说明书16页附图4页(54)发明名称模型训练方法、推理方法、装置、系统、设备及存储介质(57)摘要本申请实施例涉及深度学习技术领域，公开了一种模型训练方法、推理方法、装置、系统、设备及存储介质，其中，模型训练方法包括：获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；基于所述第一组模型参数将所述目标学习模型部署到模型部署平台。可以保证计算过程数据和模型参数安全性，从而可以在训练过程中杜绝了数据偷取攻击的可能性，也减少了存储模型参数的系统中受到攻击被盗取模型参数的风险。CN116011552ACN116011552A权利要求书1/3页1.一种模型训练方法，其特征在于，所述方法包括：获取密文训练数据；其中，所述密文训练数据是对采集的明文数据进行同态加密处理后得到的；利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数；基于所述第一组模型参数将所述目标学习模型部署到模型部署平台。2.根据权利要求1所述的方法，其特征在于，所述密文训练数据是利用生成的第一公钥对所述采集的明文数据加密得到的；所述利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数，包括：通过第一神经网络对所述密文训练数据进行逐层处理，得到对所述密文训练数据的预测结果；其中，所述第一神经网络中至少一层的模型参数为利用所述第一公钥进行加密的密文参数；根据所述密文训练数据的预测结果和所述密文训练数据的初始标签，确定学习损失；利用所述学习损失更新所述第一神经网络中每一层的模型参数；在满足预设训练停止条件的情况下，得到所述目标学习模型的第一组模型参数。3.根据权利要求2所述的方法，其特征在于，所述第一神经网络包括N层网络；所述N层网络中第i层的输入数据为对第i‑1层输出的中间结果加密得到的；其中，i为2至N中任一自然数；所述根据所述密文训练数据的预测结果和所述密文训练数据的初始标签，确定学习损失，包括：利用所述第一公钥对所述密文训练数据的初始标签进行N次加密，得到目标标签；根据所述密文训练数据的预测结果和所述目标标签，确定所述学习损失。4.根据权利要求3所述的方法，其特征在于，所述通过第一神经网络对所述密文训练数据进行逐层处理，得到对所述密文训练数据的预测结果，包括：在所述N层网络中第1层对所述密文训练数据进行处理，得到所述第1层输出的中间结果；利用所述第一公钥对所述N层网络中第i层的模型参数进行i次加密，得到第i密文参数；利用所述第一公钥对所述N层网络中第i‑1层输出的中间结果进行加密，得到所述第i‑1层的密文结果；根据所述第i密文参数和所述第i‑1层的密文结果，确定所述第i层输出的中间结果；在逐层迭代至i为N的情况下，将第N层的中间结果作为所述密文训练数据的预测结果。5.根据权利要求4所述的方法，其特征在于，所述利用所述学习损失更新所述第一神经网络中每一层的模型参数，包括：确定所述学习损失对于所述第一神经网络中每一层的模型参数的梯度值；根据所述每一层的模型参数的梯度值对同一层的模型参数进行参数更新。6.根据权利要求5所述的方法，其特征在于，所述确定所述学习损失对于所述第一神经网络中每一层的模型参数的梯度值，包括：根据所述第i层的输出数据的偏导和所述第i密文参数，确定所述第i层的输入偏导结果；其中，所述第N层的输出数据的偏导为所述学习损失的导数；2CN116011552A权利要求书2/3页利用所述第一公钥对对应的第一私钥进行加密，得到私钥密文；利用所述私钥密文对所述第i层的输入偏导结果进行解密，得到第i‑1层的输出数据的偏导；根据所述第i‑1层的输出数据的偏导和第i‑2层的密文结果，确定所述第i‑1层的模型参数的梯度值。7.根据权利要求2至6任一项所述的方法，其特征在于，所述利用所述密文训练数据进行模型训练，以得到目标学习模型的第一组模型参数，包括：利用所述密文训练数据对所述第一神经网络进行模型训练，得到初始学习模型的第二组模型参数