一种基于深度学习的商品序列推荐方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111429234A(43)申请公布日2020.07.17(21)申请号202010299217.2(22)申请日2020.04.16(71)申请人电子科技大学中山学院地址528402广东省中山市石岐区学院路1号(72)发明人何怀文李治浩刘贵松王贺立陈述肖涛张绍楷(74)专利代理机构中山市粤捷信知识产权代理事务所(普通合伙)44583代理人张谦(51)Int.Cl.G06Q30/06(2012.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书8页附图2页(54)发明名称一种基于深度学习的商品序列推荐方法(57)摘要本发明公开了一种基于深度学习的商品序列推荐方法，包括以下步骤：步骤1：获取公开的用户购买商品序列，对其进行预处理，得到商品名及商品的元数据；步骤2：将商品名和元数据作为输入，输送至设计的序列推荐模型中，得到预训练模型，所述预训练模型分为输入层、编码层、多层感知机层和映射层；步骤3：在预训练模型的输出层上选择合适的输出作为当前序列的表示，进一步计算得到推荐商品列表，本方法考虑了日常购物商品的双向影响，采用的是编码器-解码器结构，能对商品序列进行双向建模，编码信息获取优于单向模型，能优化最终推荐内容。CN111429234ACN111429234A权利要求书1/3页1.一种基于深度学习的商品序列推荐方法，其特征在于，包括以下步骤：步骤1：获取公开的用户购买商品序列，对其进行预处理，得到商品名及商品的元数据；步骤2：将商品名和元数据作为输入，输送至设计的序列推荐模型中，得到预训练模型，所述预训练模型分为输入层、编码层、多层感知机层和映射层；步骤3：在预训练模型的输出层上选择合适的输出作为当前序列的表示，进一步计算得到推荐商品列表。2.根据权利要求1所述的一种基于深度学习的商品序列推荐方法，其特征在于：d在步骤2中，在输入层阶段，有N个输入，每个输入vi∈R，i∈[1,N]，vi为商品的嵌入表d示，有其对应的位置编码pi∈R，其中pi是通过位置嵌入表获取的，在输入阶段，令作为每一个商品的初始输入，输入层的目的在于将商品名向量化，作为模型的输入数据，经过输入层处理的数据被送至编码层处理。3.根据权利要求1所述的一种基于深度学习的商品序列推荐方法，其特征在于：在步骤2中，所述编码层的输入为输入层的输出，在编码层可以获取物品的隐层表示，编码层由多层transformer组合而成，其中transformer包括多头注意力层、L1归一化层、前馈网络层以及L2归一化层。4.根据权利要求3所述的一种基于深度学习的商品序列推荐方法，其特征在于：所述多头注意力层用于考虑输入层传送过来的数据之间的权重比，确保模型能获取商品间的长期依赖。多头注意力的计算公式为：由于采用的是自注意力，所以这里Q,K,V来自同一向量，其中Q表示查询向量query，K表示键向量key，V表示value向量V。在第一层Q,K,V都等于d表示输入向量的维度，h为多头的数量，是为了产生更小的注意力分布，防止梯度极小化，由于是多头注意力，所以在计算的过程中独立的分成几份来计算，这里选用4个头的注意力层，即h＝4。多头的计算方式如下所示：L-1QL-1KL-1Vheadi＝Attention(HWi，HWi，HWi)LOMH(H)＝[head1；head2；head3；head4]WL其中，headi为第i个计算得到的多头注意力值，MH(H)为第L层的4个多头注意力值的拼接。其中HL表示的是第L层的隐层表示输出，所以对于每个头能求得其对应的注意力，其中Qd×d/4Kd×d/4Vd×d/4Wi∈R，Wi∈R，Wi∈R为独立的权重矩阵，且每个头不共享。最后将得到的4个头拼接起来，再乘上一个权重矩阵WO即得到当前第L层的多头注意力值，多头注意力层的输出作为L1归一化层的输入。5.根据权利要求4所述的一种基于深度学习的商品序列推荐方法，其特征在于：所述归一化层的作用是将参数限定值一个区间内，能大幅提升模型的训练速度。在编码层的Transformer结构里，L1归一化层是将多层注意力层的输出做一个归一化整合，其输出为前馈网络层的输入，其表达式如下所示：2CN111429234A权利要求书2/3页L其中AN1表示第L层L1归一化层处理后得到的结果。6.根据权利要求5所述的一种基于深度学习的商品序列推荐方法，其特征在于：所述前馈网络层的输入为L1归一化层的输出，其目的是采用GELU函数激活归一化后的多头注意力值，使得该模型具有非线性，非线性的作用是使模型能拟合任意函数，。其激活表达式如下所示：f1f2FFN(x)＝GELU(xW+bf1)W+bf2GELU(x)＝xφ(