训练点击率预测模型和预测点击率的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114240555A(43)申请公布日2022.03.25(21)申请号202111552526.7(22)申请日2021.12.17(71)申请人北京沃东天骏信息技术有限公司地址100176北京市大兴区经济技术开发区科创十一街18号院2号楼4层A402室(72)发明人朱健刘聪聪赵夕炜(74)专利代理机构北京英赛嘉华知识产权代理有限责任公司11204代理人王达佐马晓亚(51)Int.Cl.G06Q30/06(2012.01)G06F11/34(2006.01)G06F16/9535(2019.01)G06N3/04(2006.01)权利要求书3页说明书15页附图9页(54)发明名称训练点击率预测模型和预测点击率的方法和装置(57)摘要本公开的实施例公开了训练点击率预测模型和预测点击率的方法和装置。该方法的具体实施方式包括：获取训练样本集和点击率预测模型；从训练样本集中选取目标训练样本通过第一表示嵌入层和第二表示嵌入层得到稀疏类目向量和用户行为向量；将稀疏类目向量输入基于域的动态参数化层得到第一输出结果；将用户行为向量输入基于用户行为的动态参数化层得到第二输出结果；基于第一输出结果和第二输出结果通过第一全连接层进行点击率预测，得到预测值；根据预测值和目标训练样本的点击标签计算损失值；根据损失值调整点击率预测模型的网络参数。该实施方式实现了根据训练样本生成动态权重，提高点击率预测模型的准确性。CN114240555ACN114240555A权利要求书1/3页1.一种训练点击率预测模型的方法，包括：获取训练样本集和点击率预测模型，其中，每个训练样本包括用户信息、商品信息和用户行为序列、点击标签，所述点击率预测模型包括第一表示嵌入层、第二表示嵌入层、基于域的动态参数化层、基于用户行为的动态参数化层、第一全连接层；执行如下训练步骤：从所述训练样本集中选取目标训练样本；将所述目标训练样本的用户信息和商品信息输入第一表示嵌入层得到稀疏类目向量；将所述目标训练样本的用户行为序列输入第二表示嵌入层得到用户行为向量；将所述稀疏类目向量输入基于域的动态参数化层，以生成第一权重和第一偏置，并根据所述第一权重和所述第一偏置将所述稀疏类目向量进行线性变化得到第一输出结果；将所述用户行为向量输入基于用户行为的动态参数化层，以生成第二权重和第二偏置，并根据所述第二权重和所述第二偏置对所述用户行为向量进行卷积得到第二输出结果；基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值；根据所述预测值和所述目标训练样本的点击标签计算损失值；如果损失值小于预定阈值，则确定出点击率预测模型训练完成。2.根据权利要求1所述的方法，其中，所述方法还包括：如果损失值大于等于预定阈值，则调整所述点击率预测模型的网络参数，继续执行上述训练步骤。3.根据权利要求1所述的方法，其中，所述点击率预测模型还包括基于搜索行为的动态参数化层、第一多头注意力层、第二多头注意力层、第二全连接层；以及所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值，包括：将所述用户行为向量输入第一多头注意力层，得到第一注意力结果；将所述第一注意力结果和所述第二输出结果的加权和作为第一加权结果；将所述稀疏类目向量输入第二全连接层得到查询向量；将所述第一加权结果和所述查询向量输入基于搜索行为的动态参数化层，以生成第三权重和第三偏置，并根据所述第三权重和所述第三偏置将所述查询向量进行线性变化得到第三输出结果；将所述第一加权结果和所述查询向量输入第二多头注意力层，得到第二注意力结果；将所述第二注意力结果和所述第三输出结果的加权和作为第二加权结果；基于所述第一输出结果和所述第二加权结果通过第一全连接层进行点击率预测，得到预测值。4.根据权利要求3所述的方法，其中，所述点击率预测模型还包括基于特征的动态参数化层、第三全连接层、第三嵌入表示层；以及所述基于所述第一输出结果和所述第二输出结果通过第一全连接层进行点击率预测，得到预测值，包括：从所述用户信息、商品信息中选择出上下文信息；将所述上下文信息输入第三嵌入表示层，得到上下文向量；将所述第一输出结果通过第三全连接层进行线性投射到低维度后和第二加权结果进行拼接，得到拼接结果；将所述拼接结果和所述上下文向量输入到基于特征的动态参数化层，以生成第四权重2CN114240555A权利要求书2/3页和第四偏置，并根据所述第四权重和所述第四偏置将所述拼接结果进行线性变化得到第四输出结果；将第四输出结果输入第一全连接层，得到点击率的预测值。5.根据权利要求1所述的方法，其中，所述点击率预测模型还包括基于特征的动态参数化层、第三全连接层、第三嵌入表示层；