对事件特征进行处理的方法、神经网络模型和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113255891A(43)申请公布日2021.08.13(21)申请号202110587002.5(22)申请日2021.05.27(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李辉傅幸王维强(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书11页附图3页(54)发明名称对事件特征进行处理的方法、神经网络模型和装置(57)摘要本说明书实施例提供一种通过高阶特征交互对事件进行处理的方法和神经网络模型。在该方法中，首先获取目标事件的编码向量；然后对该编码向量进行非线性变换，得到第一特征向量，其中所有元素均为正数。接着，对于多种高阶特征组合中任意的第一组合，利用与第一组合对应的第一组合矩阵处理该第一特征向量的自然对数，得到中间向量，并基于中间向量的自然指数确定第一组合对应的特征交互向量；其中，多种高阶特征组合中每种组合，对应于第一特征向量中多个向量元素的相乘组合。于是，至少基于上述多种高阶特征组合各自对应的特征交互向量，确定目标事件的事件表征向量；进而进行与事件相关的业务预测。CN113255891ACN113255891A权利要求书1/3页1.一种通过高阶特征交互对事件进行处理的方法，包括：获取目标事件的编码向量；对所述编码向量进行非线性变换，得到第一特征向量，所述第一特征向量中所有元素均为正数；针对多种高阶特征组合中任意的第一组合，利用与所述第一组合对应的第一组合矩阵处理所述第一特征向量的自然对数，得到中间向量，并基于所述中间向量的自然指数确定所述第一组合对应的特征交互向量；其中，所述多种高阶特征组合中每种组合，对应于所述第一特征向量中多个向量元素的相乘组合；至少基于所述多种高阶特征组合各自对应的特征交互向量，确定所述目标事件的事件表征向量；至少基于所述事件表征向量，进行与事件相关的业务预测。2.根据权利要求1所述的方法，其中，所述非线性变换包括，利用参数集进行线性变换后，施加relu非线性函数，并添加正数小量。3.根据权利要求1或2所述的方法，其中，所述编码向量包括稀疏子向量和稠密子向量；对所述编码向量进行非线性变换，得到第一特征向量，包括：利用第一参数子集对所述稀疏子向量进行所述非线性变换，得到第一子向量；利用第二参数子集对所述稠密子向量进行所述非线性变换，得到第二子向量；根据第一子向量和第二子向量，得到所述第一特征向量。4.根据权利要求3所述的方法，其中，所述编码向量还包括二元编码子向量；对所述编码向量进行非线性变换，得到第一特征向量，还包括：利用第三参数子集对所述二元编码子向量进行所述非线性变换，得到第三子向量；根据第一子向量和第二子向量，得到所述第一特征向量，包括：基于所述第一子向量、第二子向量和第三子向量的拼接，得到所述第一特征向量。5.根据权利要求1所述的方法，还包括：利用变换矩阵对所述第一特征向量进行线性变换，得到一阶变换向量；所述至少基于所述多种高阶特征组合各自对应的特征交互向量，确定所述目标事件的事件表征向量，包括：将所述一阶变换向量，和所述多种高阶特征组合各自对应的特征交互向量求和，基于求和结果，得到所述事件表征向量。6.根据权利要求1所述的方法，其中，所述多种高阶特征组合，对应于所述第一特征向量中多个向量元素的所有可能组合方式。7.根据权利要求1所述的方法，其中，所述多种高阶特征组合，对应于所述第一特征向量中至少3个向量元素的组合。8.根据权利要求1所述的方法，还包括：获取目标序列，所述目标序列包括多个事件，所述多个事件包括所述目标事件；至少基于所述事件表征向量，进行与事件相关的业务预测，包括：基于所述多个事件各自的事件表征向量，确定所述目标序列的序列表征向量；基于所述序列表征向量，进行所述业务预测。9.根据权利要求8所述的方法，其中，确定所述目标序列的序列表征向量，包括：2CN113255891A权利要求书2/3页将所述多个事件各自的事件表征向量，按照所述多个事件的发生顺序，依次输入循环神经网络，得到所述序列表征向量。10.根据权利要求8所述的方法，其中，确定所述目标序列的序列表征向量，包括：将所述多个事件各自的事件表征向量，一并输入序列表征网络，所述序列表征网络基于自注意力机制对各个事件表征向量进行融合，得到所述序列表征向量。11.根据权利要求1所述的方法，其中，所述目标事件为用户操作事件，所述业务预测为风险预测。12.一种通过高阶特征交互对事件进行处理的神经网络模型，包括：编码层，用于获取目标事件的编