深度学习模型及其预测流量数据的方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111738781A(43)申请公布日2020.10.02(21)申请号202010762405.4(22)申请日2020.07.31(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人张琳张杰王雅芳王颖于浩淼龙翀(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06Q30/02(2012.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书4页说明书12页附图3页(54)发明名称深度学习模型及其预测流量数据的方法(57)摘要本说明书实施例中提供了一种深度学习模型及其预测流量数据的方法。该深度学习模型可以包括输入层、编码器、解码器和预测层。可通过输入层获取按照时间顺序排列的N个时间段对应的N个原始特征集，前N‑1个时间段对应的N‑1个流量数据；单个原始特征集中包括影响流量数据的M项属性特征。接着通过包含编码注意力层和递归编码层的编码器，在编码器的输入阶段增加注意力机制，自适应的修正N个原始特征集以得到N个修正特征集，并对N个修正特征集进行递归处理以得到N个状态向量。接着由解码器对前N‑1个状态向量以及N‑1个流量数据进行递归处理，得到目标解码向量。最后通过预测层处理目标解码向量以及第N个状态向量，获得第N个时间段对应的流量数据。CN111738781ACN111738781A权利要求书1/4页1.一种利用深度学习模型预测流量数据的方法，所述深度学习模型包括输入层、编码器、解码器以及预测层，所述方法包括：通过所述输入层，获取按照时间顺序排列的N个时间段所对应的N个原始特征集，以及所述N个时间段中前N-1个时间段所对应的N-1个流量数据；其中，单个原始特征集中包括影响流量数据的M项属性特征，N为大于2的整数，M为大于1的整数；以及，将所述N个原始特征集依次输入所述编码器，所述编码器包括编码注意力层和递归编码层；其中，对于所述N个原始特征集中任意的第i个原始特征集，所述编码注意力层根据所述递归编码层针对第i-1个输入得到的第i-1个状态向量，以及第i个原始特征集中的M项属性特征，确定该M项属性特征各自对应的编码注意力权重；基于该M项属性特征各自对应的编码注意力权重，将第i个原始特征集处理为第i个修正特征集；其中i为大于0且不大于N的整数；所述递归编码层根据所述第i个修正特征集和所述第i-1个状态向量，递归得到针对第i个输入的第i个状态向量；将从第1到第N-1的N-1个状态向量以及所述N-1个流量数据输入所述解码器，处理得到目标解码向量；通过所述预测层，处理所述目标解码向量以及第N个状态向量，获得第N个时间段对应的流量数据。2.根据权利要求1所述的方法，其中，流量数据用于指示以下各项信息中的任意一项：访问智能客服机器人的客户端程序的数量、智能客服机器人接受客户端程序访问的频次、通过人工客服协助解决客户端程序向智能客服机器人提供的问题的频次。3.根据权利要求1所述的方法，其中，影响流量数据的M项属性特征包括以下各项属性特征中的多项：用于指示一年中的第几个月的属性特征、用于指示一个月中的第几天的属性特征、用于指示一星期中的第几天的属性特征、用于指示是否为工作日的属性特征、用于指示是否为账单日的属性特征，以及用于指示是否为还款日的属性特征。4.根据权利要求1所述的方法，其中，当i等于1时，第i-1个状态向量为预设的初始化向量。5.根据权利要求1所述的方法，其中，所述编码注意力层根据所述递归编码层针对第i-1个输入得到的第i-1个状态向量，以及第i个原始特征集中的M项属性特征，确定该M项属性特征各自对应的编码注意力权重，包括：所述编码层注意力层针对第i个原始特征集中的每项当前属性特征，对当前属性特征以及所述递归编码层针对第i-1个输入得到的第i-1个状态向量进行线性组合，得到组合结果；通过激活函数激活该组合结果，得到当前属性特征对应的注意力系数；对第i个原始特征集中的M项属性特征各自对应的注意力系数进行归一化处理，得到该M项属性特征各自对应的编码注意力权重。6.根据权利要求1所述的方法，其中，2CN111738781A权利要求书2/4页所述解码器包括解码注意力层和递归解码层；其中，对于所述N-1个状态向量中任意的第j个状态向量，所述解码注意力层根据所述递归解码层针对第j-1个状态向量得到的第j-1个解码向量，确定出第j个状态向量对应的解码注意力权重；以及，根据所述解码注意力层针对所述N-1个状态向量中的前j个状态向量各自得到的解码注意力权重，确定出第j个预解码向量；其中，j为大于0且不大于N-1的整数；所