保护数据隐私的两方联合训练预测模型的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115544580A(43)申请公布日2022.12.30(21)申请号202211507939.8(22)申请日2022.11.29(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人赵闻飙吴若凡(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06F21/62(2013.01)G06N3/08(2006.01)权利要求书3页说明书9页附图3页(54)发明名称保护数据隐私的两方联合训练预测模型的方法及装置(57)摘要本说明书实施例提供一种保护数据隐私的两方联合训练预测模型的方法及装置，其中第一方和第二方对应部署预测模型中的序列表征层和预测层。所述方法应用于第一方，包括：利用序列表征层处理其持有的用户行为序列，其中包括样本用户在T个时刻做出的T个行为，具体地，利用行为表征子层确定T个行为对应的T个行为表征；利用注意力子层确定该T个行为表征对应的T个注意力权重，并用其对T个行为表征进行加权求和，得到原始序列表征；利用加噪子层对该原始序列表征添加基于行为个数T而确定的差分隐私噪声，得到加噪序列表征；从第二方接收其基于该加噪序列表征、其持有的对应用户行为序列的序列标签和预测层而确定的针对序列表征层的训练梯度。CN115544580ACN115544580A权利要求书1/3页1.一种保护数据隐私的两方联合训练预测模型的方法，其中第一方和第二方对应部署所述预测模型中的序列表征层和预测层；所述方法应用于所述第一方，包括：获取其持有的用户行为序列，其中包括样本用户在T个时刻做出的T个行为；利用所述序列表征层处理所述用户行为序列，具体包括：利用行为表征子层确定所述T个行为对应的T个行为表征；利用注意力子层确定所述T个行为表征对应的T个注意力权重，并用其对所述T个行为表征进行加权求和，得到原始序列表征；利用加噪子层对所述原始序列表征添加差分隐私噪声，得到加噪序列表征，所述差分隐私噪声的噪声分布基于行为个数T而确定；将所述加噪序列表征发送给所述第二方；从所述第二方接收针对所述序列表征层的训练梯度，所述训练梯度由所述第二方基于所述加噪序列表征、其持有的对应所述用户行为序列的序列标签和所述预测层而确定。2.根据权利要求1所述的方法，其中，所述用户行为序列中包含各个行为的行为特征向量；其中，利用行为表征子层确定所述T个行为对应的T个行为表征，包括：获取T个行为特征向量，作为所述T个行为表征。3.根据权利要求1所述的方法，其中，所述注意力子层中包括对应所述T个行为表征的可学习的T个参数向量；其中，利用注意力子层确定所述T个行为表征对应的T个注意力权重，包括：针对各个行为表征，将其与对应的参数向量进行点乘，并基于所述点乘的结果确定其对应的注意力分数；对T个注意力分数进行归一化处理，得到所述T个注意力权重。4.根据权利要求3所述的方法，其中，基于所述点乘的结果确定其对应的注意力分数，包括：利用值域非负的激活函数处理所述点乘的结果，得到所述注意力分数。5.根据权利要求1所述的方法，其中，利用加噪子层对所述原始序列表征添加差分隐私噪声，包括：基于所述原始序列表征的确定方式，确定差分隐私机制下的查询敏感度，所述确定方式涉及所述行为个数T；基于所述查询敏感度确定所述噪声分布，用于采样所述差分隐私噪声。6.根据权利要求5所述的方法，其中，所述噪声分布为高斯噪声分布；其中，基于所述查询敏感度确定所述噪声分布，包括：基于所述查询敏感度和预设的隐私预算确定所述高斯噪声分布中的噪声方差。7.根据权利要求6所述的方法，其中，基于所述查询敏感度确定所述噪声分布，包括：以0作为所述高斯噪声分布中的均值。8.根据权利要求1所述的方法，其中，所述原始序列表征为D维；利用加噪子层对所述原始序列表征添加差分隐私噪声，包括：对所述噪声分布进行D次随机采样，得到D个采样噪声，形成对应所述差分隐私噪声的噪声向量；在所述原始序列表征上叠加所述噪声向量。9.根据权利要求1所述的方法，其中，在从所述第二方接收针对所述序列表征层的训练2CN115544580A权利要求书2/3页梯度之后，所述方法还包括：利用所述训练梯度更新所述序列表征层中的模型参数。10.一种保护数据隐私的两方联合训练预测模型的方法，其中第一方和第二方对应部署所述预测模型中的序列表征层和预测层；所述方法包括：所述第一方获取其持有的用户行为序列，其中包括样本用户在T个时刻做出的T个行为；所述第一方利用所述序列表征层处理所述用户行为序列，具体包括：利用行为表征子层确定所述T个行为对应的T个行为表征，利用注意力子层确定所述T个行为表征对应的T个注