一种基于自注意力机制的推荐方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113822742A(43)申请公布日2021.12.21(21)申请号202111098120.6G06N3/08(2006.01)(22)申请日2021.09.18(71)申请人电子科技大学地址611731四川省成都市高新区（西区）西源大道2006号(72)发明人田玲闫科康昭惠孛罗光春张天舒曾翰林(74)专利代理机构成都希盛知识产权代理有限公司51226代理人陈泽斌李培茂(51)Int.Cl.G06Q30/06(2012.01)G06F16/9536(2019.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书7页附图2页(54)发明名称一种基于自注意力机制的推荐方法(57)摘要本发明涉及物品推荐领域，其公开了一种基于自注意力机制的推荐方法，提高推荐模型的训练效率和个性化推荐的效果。该方法包括以下步骤：首先采集用户历史交互信息并进行预处理，形成训练样本集；然后设计推荐模型，将训练样本集作为推荐模型的输入，采用平方损失函数作为优化目标，对推荐模型进行训练；最后通过训练好的推荐模型计算得到用户与待推荐项目的交互概率，根据交互概率的大小进行排序，生成用户的推荐候选集。CN113822742ACN113822742A权利要求书1/2页1.一种基于自注意力机制的推荐方法，其特征在于，包括以下步骤：S1、训练推荐模型：S11、采集用户历史交互信息并进行预处理，形成训练样本集；S12、设计推荐模型，将训练样本集作为推荐模型的输入，采用平方损失函数作为优化目标，对推荐模型进行训练；S2、根据训练好的推荐模型进行推荐：通过训练好的推荐模型计算得到用户与待推荐项目的交互概率，根据交互概率的大小进行排序，生成用户的推荐候选集。2.如权利要求1所述的一种基于自注意力机制的推荐方法，其特征在于，步骤S11具体包括：S111、获取用户的历史交互记录并转换为用户‑项目交互矩阵；其中，交互矩阵的项包括用户编码、项目编码和项目类别；S112、对项目类别信息为空值的进行置0填充；S113、将用户编码、项目编码以及项目类别转换为one‑hot编码，并进行数值压缩处理；S114、将用户‑项目交互矩阵中的用户的交互信息按照时间顺序进行排序，得到每个用户的历史交互序列，历史交互序列中的每一项以one‑hot编码表示。3.如权利要求1或2所述的一种基于自注意力机制的推荐方法，其特征在于，步骤S12中，所述设计的推荐模型包括：输入层、编码层、特征融合层及输出层；所述输入层用于将输入数据转换为低维的嵌入表示；所述编码层负责获取用户历史交互序列的长短期依赖表示；所述特征融合层用于将序列特征与项目类别特征进行融合并转换为更加稠密的特征；所述输出层负责结合用户编码嵌入、项目编码嵌入与特征融合层得到的特征生成最终的结果作为用户与项目的交互概率。4.如权利要求3所述的一种基于自注意力机制的推荐方法，其特征在于，步骤S12中，所述输入层用于将输入数据转换为低维的嵌入表示，包括：对用户编码、项目编码、项目类别、历史交互序列的one‑hot编码表示通过在随机初始化嵌入表中查表获取one‑hot索引对应的向量，从而转换为低维的嵌入值：用户编码的嵌入表示为其中，N为用户总数量，令du＝128；项目编码的嵌入表示为其中，M为项目总数量，令dd＝128,项目类别的嵌入表示为其中，T为项目类别总数量，令dc＝32；历史交互序列的嵌入表示为：其中，每一序列最多仅保留l个项目，为项目编码，pi为项目的位置编码。5.如权利要求3所述的一种基于自注意力机制的推荐方法，其特征在于，步骤S12中，所述编码层负责获取用户历史交互序列的长短期依赖表示，包括：采用Transformer模块作为长期依赖的学习模块，以历史交互序列的嵌入表示ET作为输入，来获取序列特征hL；2CN113822742A权利要求书2/2页采用GRU模块作为短期依赖的学习模块，以历史交互序列中的序列末端k项项目编码作为输入,选择第k个GRU单元的输出作为短期依赖表示，捕获用户近期的兴趣特征hS。6.如权利要求5所述的一种基于自注意力机制的推荐方法，其特征在于，所述Transformer模块包括多头自注意力层、前馈网络层和归一化层；所述多头自注意力层利用多个自注意力模块来学习不同的隐层表征；所述前馈网络层采用Gelu激活函数；所述归一化层采用残差网络。7.如权利要求5所述的一种基于自注意力机制的推荐方法，其特征在于，步骤S12中，所述特征融合层用于将序列特征与项目类别特征进行融合并转换为更加稠密的特征，包括：将项目类别对应特征与Transformer模块得到的序列特征hL以及GRU模块的输出hS拼接为新的向量，然后采用多层感