训练时序预测模型、预测行为序列的方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116011609A(43)申请公布日2023.04.25(21)申请号202211336706.6G06N3/08(2023.01)(22)申请日2022.10.28G06F17/18(2006.01)(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人薛思乔师晓明蒋才高郝鸿延王言蒋刚玮(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309专利代理师陈霁周良玉(51)Int.Cl.G06Q10/04(2023.01)G06N3/0464(2023.01)G06N3/0442(2023.01)G06N3/049(2023.01)权利要求书3页说明书12页附图3页(54)发明名称训练时序预测模型、预测行为序列的方法和装置(57)摘要本说明书实施例提供一种训练时序预测模型，以及利用该模型进行预测的方法和装置，其中时序预测模型包括，自回归预测模型和能量计算模型。训练方法包括：获取标签行为序列，其中包括，用户在第一时段中的第一行为序列，以及在后续的第二时段中的行为序列。将第一行为序列输入自回归预测模型，得到对于第二时段中依次发生行为的概率分布信息。基于概率分布信息进行采样，得到N个采样行为序列，与第一行为序列拼接得到N个采样全序列。利用能量计算模型，确定标签行为序列的标签能量值，以及N个采样全序列各自的采样能量值。以目标函数的函数值趋于增大为目标，训练能量计算模型；其中目标函数与标签能量值负相关，与采样能量值正相关。CN116011609ACN116011609A权利要求书1/3页1.一种训练时序预测模型的方法，所述时序预测模型包括，自回归预测模型和能量计算模型，所述方法包括：获取标签行为序列，其中包括，样本用户在第一时段中的第一行为序列，以及在接续第一时段的第二时段中的第二行为序列；将所述第一行为序列输入所述自回归预测模型进行模型处理，通过逐个预测下一行为，得到对于第二时段中依次发生行为的概率分布信息；基于所述概率分布信息进行采样，得到N个采样行为序列；利用所述能量计算模型，确定标签行为序列的标签能量值，以及N个采样全序列各自的采样能量值；所述N个采样全序列，是所述第一行为序列分别与N个采样行为序列拼接的序列；以目标函数的函数值趋于增大为目标，调整所述能量计算模型中的模型参数；其中所述目标函数与所述标签能量值负相关，与所述采样能量值正相关。2.根据权利要求1所述的方法，其中，在将所述第一行为序列输入所述自回归预测模型进行模型处理之前，还包括：基于行为序列样本，以该样本中用户行为序列的时序点过程的似然性最大化为目标，训练所述自回归预测模型。3.根据权利要求1所述的方法，其中，所述模型处理包括，将所述第一行为序列作为初始的当前行为序列，执行多次迭代过程，任意迭代过程包括：利用所述自回归模型处理当前行为序列，确定下一行为的预测概率信息；根据所述预测概率信息确定下一预测行为，将其添加到当前行为序列中，作为更新的当前行为序列；所述预测概率分布包括，多次迭代分别得到的预测概率信息。4.根据权利要求3所述的方法，其中，所述预测概率信息包括，下一行为属于预设的多种行为类别中各个类别的概率，下一行为发生时间的置信度。5.根据权利要求3所述的方法，其中，所述预测概率信息包括，各个行为类别的强度函数值。6.根据权利要求5所述的方法，其中，基于所述概率分布信息进行采样包括，利用细化算法，基于强度函数值进行采样。7.根据权利要求1所述的方法，其中，所述能量计算模型包括transformer神经网络和多层感知机MLP，其中，所述transformer神经网络用于对输入行为序列进行注意力处理，得到表征输入行为序列的固定维度的向量；所述MLP用于将该固定维度的向量映射处理为标量，作为输入行为序列的能量值。8.根据权利要求1所述的方法，其中，所述目标函数包含第一项和第二项之和，其中第一项为基于所述标签能量值确定的标签行为序列为真实行为序列的似然度，其与所述标签能量值负相关；第二项为各个采样全序列不是真实行为序列的似然度之和，其与各个采样能量值正相关。9.根据权利要求1所述的方法，其中，所述目标函数包含第三项和第四项之和，其中第三项为标签能量值的相反数；第四项负相关于所述标签行为序列和N个采样全序列形成的N+1个行为序列的指标分数之和，各指标分数与对应行为序列的能量值负相关。2CN116011609A权利要求书2/3页10.根据权利要求8或9所述的方法，其中，所述目标函数还包括正则项，所述正则项用于将任一采样全序列的采样能量值和标签能量值的差值，约束在基于目标距离确定的边界范围中，所述目标距离为该采样全序列与标签行为序