基于文本生成网络生成用户描述文本的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112949315A(43)申请公布日2021.06.11(21)申请号202110189520.1G06N20/00(2019.01)(22)申请日2021.02.19(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人李怀松张天翼黄涛(74)专利代理机构北京亿腾知识产权代理事务所(普通合伙)11309代理人陈霁周良玉(51)Int.Cl.G06F40/30(2020.01)G06F16/35(2019.01)G06F16/33(2019.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书11页附图4页(54)发明名称基于文本生成网络生成用户描述文本的方法和装置(57)摘要本说明书实施例提供一种基于文本生成网络生成用户描述文本的方法和装置，方法包括：将目标用户的各项特征输入第一编码器，通过第一编码器获取各项特征分别对应的各初始用户特征向量，基于自注意力机制进行编码，得到编码状态向量；将编码状态向量输入检索模型，通过检索模型从人工知识库中检索出K个语句，确定K个语句包含的各个字对应的字编码向量，根据解码器的输出反馈向量以及字编码向量确定各注意力系数，并根据各注意力系数对各字编码向量进行加权求和，得到语义表征向量；将编码状态向量、语义表征向量输入解码器，通过解码器生成目标用户的用户描述文本，解码器的隐藏状态作为输出反馈向量。能够提升得到的文本质量。CN112949315ACN112949315A权利要求书1/3页1.一种基于文本生成网络生成用户描述文本的方法，所述文本生成网络包括第一编码器、检索模型和解码器，所述方法包括：将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，对所述各初始用户特征向量基于自注意力机制进行编码，得到编码状态向量；将所述编码状态向量输入检索模型，通过所述检索模型从人工知识库中检索出K个语句，确定所述K个语句包含的各个字对应的字编码向量，根据所述解码器的输出反馈向量以及所述字编码向量确定各个字分别对应的各注意力系数，并根据各注意力系数对所述各字编码向量进行加权求和，得到所述K个语句对应的语义表征向量；将所述编码状态向量、所述语义表征向量输入解码器，通过所述解码器生成所述目标用户的用户描述文本，所述解码器的隐藏状态作为所述输出反馈向量。2.如权利要求1所述的方法，其中，所述第一编码器包括基于时序的单向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：将所述目标用户的各项特征依次作为所述第一编码器各个时刻的输入，将所述第一编码器各个时刻的输出作为所述各初始用户特征向量。3.如权利要求1所述的方法，其中，所述第一编码器包括基于时序的双向编码结构，所述将目标用户的各项特征输入第一编码器，通过所述第一编码器获取目标用户的各项特征分别对应的各初始用户特征向量，包括：将所述目标用户的各项特征依照第一顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第一特征向量；将所述目标用户的各项特征依照与所述第一顺序相反的顺序依次输入所述第一编码器，根据所述第一编码器各个时刻的输出得到各项特征的第二特征向量；将对应于同一项特征的第一特征向量和第二特征向量进行组合，作为该项特征的初始用户特征向量。4.如权利要求1所述的方法，其中，所述对所述各初始用户特征向量基于自注意力机制进行编码，包括：确定所述各初始用户特征向量分别对应的权重，并根据各权重对所述各初始用户特征向量进行加权求和，得到所述编码状态向量。5.如权利要求1所述的方法，其中，所述检索模型包括第二编码器，所述确定所述K个语句包含的各个字对应的字编码向量，包括：获取所述K个语句包含的各个字对应的字嵌入向量；将各个字嵌入向量输入第二编码器，通过所述第二编码器基于注意力机制确定所述K个语句包含的各个字对应的字编码向量。6.如权利要求1所述的方法，其中，所述解码器包括基于时序的解码结构，所述解码器将所述编码状态向量作为初始状态，将上一时刻的解码器输出和所述检索模型上一时刻输出的语义表征向量作为当前时刻的输入，确定当前时刻的输出和隐藏状态，当前时刻的隐藏状态作为当前时刻的输出反馈向量反馈至所述检索模型，各个时刻的输出分别对应所述用户描述文本中的各个字。2CN112949315A权利要求书2/3页7.如权利要求1所述的方法，其中，所述方法还包括：利用第一类样本和第二类样本对所述第一编码器、所述检索模型和所述解码器中的至少一个进行模型训练，其中所述