基于事件序列进行业务预测的方法、神经网络模型和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113255908A(43)申请公布日2021.08.13(21)申请号202110584259.5(22)申请日2021.05.27(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李辉傅幸王维强(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N3/08(2006.01)G06N3/04(2006.01)权利要求书4页说明书16页附图7页(54)发明名称基于事件序列进行业务预测的方法、神经网络模型和装置(57)摘要本说明书实施例提供一种基于事件序列进行业务预测的方法和神经网络模型。在该方法中，首先获取目标事件序列，其中包含τ个事件；事件的类别型字段的备选类别值被视为实体。然后确定单个事件对应的事件嵌入向量；τ个事件的事件嵌入向量构成嵌入矩阵。接着，利用分配矩阵对嵌入矩阵进行线性变换，基于线性变换结果得到实体表征矩阵；其中，分配矩阵指示各事件对各实体的包含关系。进一步的，对实体表征矩阵中对应于同一字段的矩阵部分进行池化操作，得到该字段对应的字段表征向量；再基于各字段表征向量，确定目标事件序列对应的条件嵌入向量。从而至少基于该条件嵌入向量，确定目标事件序列对应的序列表征向量，用于进行与事件相关的业务预测。CN113255908ACN113255908A权利要求书1/4页1.一种基于事件序列进行业务预测的方法，包括：获取目标事件序列，其中包含预定数目τ个事件；每个事件的属性字段中包括若干类别型字段，所述若干类别型字段对应于实体集合，其中一个实体表示一个类别型字段的一个备选类别值；确定单个事件对应的事件嵌入向量；τ个事件对应的事件嵌入向量构成嵌入矩阵；利用预先构建的分配矩阵对所述嵌入矩阵进行线性变换，基于线性变换结果得到实体表征矩阵；其中，所述分配矩阵用于指示所述τ个事件中各个事件对于所述实体集合中各个实体的包含关系；对所述实体表征矩阵中对应于同一字段的矩阵部分进行第一池化操作，基于第一池化操作结果得到所述若干类别型字段对应的若干字段表征向量；基于所述若干字段表征向量，确定该目标事件序列对应的条件嵌入向量；至少基于所述条件嵌入向量，确定该目标事件序列对应的序列表征向量；基于所述序列表征向量，进行与事件相关的业务预测。2.根据权利要求1所述的方法，其中，确定单个事件对应的事件嵌入向量，包括：获取所述单个事件的编码向量，所述编码向量通过对所述单个事件的各个属性字段进行编码而得到；对所述编码向量进行变换处理，得到所述事件嵌入向量。3.根据权利要求2所述的方法，其中，对所述编码向量进行变换处理，得到所述事件嵌入向量，包括：对所述编码向量进行字段间高阶交互处理，得到高阶交互向量；至少基于所述高阶交互向量，确定所述事件嵌入向量。4.根据权利要求3所述的方法，其中，对所述编码向量进行字段间高阶交互处理，包括：对所述编码向量进行非线性变换，得到第一特征向量，所述第一特征向量中所有元素均为正数；针对多种高阶特征组合中任意的第一组合，利用与所述第一组合对应的第一组合矩阵处理所述第一特征向量的自然对数，得到中间向量，并基于所述中间向量的自然指数确定所述第一组合对应的特征交互向量；其中，所述多种高阶特征组合中每种组合，对应于所述第一特征向量中多个向量元素的相乘组合；对所述多种高阶特征组合各自对应的特征交互向量进行组合，得到所述高阶交互向量。5.根据权利要求4所述的方法，其中，所述编码向量包括稀疏子向量、稠密子向量和二元编码向量；对所述编码向量进行非线性变换，得到第一特征向量，包括：利用第一参数子集对所述稀疏子向量进行所述非线性变换，得到第一子向量；利用第二参数子集对所述稠密子向量进行所述非线性变换，得到第二子向量；利用第三参数子集对所述二元编码子向量进行所述非线性变换，得到第三子向量；基于所述第一子向量、第二子向量和第三子向量的拼接，得到所述第一特征向量。6.根据权利要求1所述的方法，其中，所述若干类别型字段包括第一字段；对所述实体表征矩阵中对应于同一字段的矩阵部分进行第一池化操作，基于第一池化操作结果得到所2CN113255908A权利要求书2/4页述若干类别型字段对应的若干字段表征，包括：对所述实体表征矩阵中对应于所述第一字段的行向量进行求和池化，得到和向量；用训练的第一参数矩阵对所述和向量进行线性变换后，再施加非线性变换，得到所述第一字段对应的字段表征向量。7.根据权利要求1或6所述的方法，其中，基于所述若干字段表征向量，确定该目标事件序列对应的条件嵌入向量，包括：对所述若干字段表征向量进行第二池化操作，得到综合向量；用训练的第二参数矩