神经网络的训练、对话生成方法及装置、存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111783955A(43)申请公布日2020.10.16(21)申请号202010620299.6(22)申请日2020.06.30(71)申请人北京市商汤科技开发有限公司地址100080北京市海淀区北四环西路58号11层1101-1117室(72)发明人章学妙曹阳(74)专利代理机构北京博思佳知识产权代理有限公司11415代理人靳玫(51)Int.Cl.G06N3/04(2006.01)G06N3/08(2006.01)G06F16/332(2019.01)G06F16/35(2019.01)权利要求书4页说明书18页附图10页(54)发明名称神经网络的训练、对话生成方法及装置、存储介质(57)摘要本公开提供了一种神经网络的训练、对话生成方法及装置、存储介质，其中，神经网络包括生成器模块以及多个判别器模块，其中，多个判别器模块对应不同优化目标，该方法包括：将样本查询语句输入所述生成器模块，得到第一回复语句；在所述多个判别器模块中，确定第一轮对抗训练采用的第一判别器模块；获取与所述样本查询语句对应的样本回复语句，并根据所述样本回复语句和所述第一回复语句，确定所述第一判别器模块在对应的第一优化目标上产生的第一奖励信号；在所述第一轮对抗训练中，根据所述样本回复语句、所述第一回复语句、所述第一奖励信号，对所述神经网络进行训练。CN111783955ACN111783955A权利要求书1/4页1.一种神经网络的训练方法，其特征在于，所述神经网络包括生成器模块以及多个判别器模块，其中，多个判别器模块对应不同优化目标，所述方法包括：将样本查询语句输入所述生成器模块，得到第一回复语句；在所述多个判别器模块中，确定第一轮对抗训练采用的第一判别器模块；获取与所述样本查询语句对应的样本回复语句，并根据所述样本回复语句和所述第一回复语句，确定所述第一判别器模块在对应的第一优化目标上产生的第一奖励信号；在所述第一轮对抗训练中，根据所述样本回复语句、所述第一回复语句、所述第一奖励信号，对所述神经网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述在所述第一轮对抗训练中，根据所述样本回复语句、所述第一回复语句、所述第一奖励信号，对所述神经网络进行训练，包括如下至少一项：在所述第一轮对抗训练中，根据所述第一奖励信号，对所述生成器模块进行训练；在所述第一轮对抗训练中，根据所述样本回复语句和所述第一回复语句，对所述第一判别器模块进行训练。3.根据权利要求1或2所述的方法，其特征在于，所述将样本查询语句输入所述生成器模块，得到第一回复语句，包括：通过叠加的多层长短期记忆网络对输入的所述样本查询语句进行编码，得到与所述样本查询语句对应的至少一个隐状态向量；再通过叠加的多层长短期记忆网络对与所述样本查询语句对应的至少一个隐状态向量进行解码后，得到所述第一回复语句。4.根据权利要求1-3任一项所述的方法，其特征在于，所述多个判别器模块对应的采样概率值满足采样分布函数；所述在所述多个判别器模块中，确定第一轮对抗训练采用的第一判别器模块，包括：根据所述采样分布函数，将所述多个判别器模块中所述采样概率值最大的判别器模块作为所述第一判别器模块。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述样本回复语句和所述第一回复语句，确定所述第一判别器模块在对应的第一优化目标上产生的第一奖励信号，包括：通过第一判别器模块从所述样本回复语句和所述第一回复语句中提取与所述第一优化目标对应的特征信息；根据与所述第一优化目标对应的所述特征信息，确定所述第一回复语句在所述第一优化目标上取得的第一分值；在所述第一轮对抗训练中，将所述第一分值的变化量作为所述第一奖励信号对应的数值。6.根据权利要求5所述的方法，其特征在于，所述第一优化目标包括语言优化目标；所述通过第一判别器模块从所述样本回复语句和所述第一回复语句中提取与所述第一优化目标对应的特征信息，包括：通过叠加的多层长短期记忆网络从所述样本回复语句和所述第一回复语句中提取与所述语言优化目标对应的语言特征信息；2CN111783955A权利要求书2/4页所述根据与所述第一优化目标对应的所述特征信息，确定所述第一回复语句在所述第一优化目标上取得的第一分值，包括：通过二分类判别器对从所述样本回复语句和所述第一回复语句中提取的所述语言特征信息进行分类，得到分类结果；将所述分类结果为真值的所述语言特征信息的概率值作为所述第一回复语句在所述语言优化目标上取得的所述第一分值。7.根据权利要求5所述的方法，其特征在于，所述第一优化目标包括语法优化目标；所述通过第一判别器模块从所述样本回复语句和所述第一回复语句中提取与所述第一优化目标对应的特征信息，包括：通过预