信息生成方法、装置、电子设备和计算机可读介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113780009A(43)申请公布日2021.12.10(21)申请号202110130566.6G06K9/62(2006.01)(22)申请日2021.01.29G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人北京沃东天骏信息技术有限公司地址101116北京市大兴区北京经济技术开发区科创十一街18号院2号楼4层A402室申请人北京京东世纪贸易有限公司(72)发明人赵楠吴友政(74)专利代理机构北京唯智勤实知识产权代理事务所(普通合伙)11557代理人陈佳(51)Int.Cl.G06F40/35(2020.01)G06F40/211(2020.01)G06K9/46(2006.01)权利要求书2页说明书9页附图5页(54)发明名称信息生成方法、装置、电子设备和计算机可读介质(57)摘要本公开的实施例公开了信息生成方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取对话场景中的对话信息序列，其中，上述对话信息序列中的对话信息包括图片和语句；对上述对话信息序列所包括的各个图片进行图片特征提取处理，得到图片向量序列；对上述对话信息序列所包括的各个语句进行语句特征提取处理，得到语句向量序列；基于上述图片向量序列和上述语句向量序列，生成应答信息反馈结果。该实施方式通过考量用户上述输入的图片信息，提高了对用户所输入的语句进行回复的准确度。从而，提高了用户的体验感，降低了用户流量的流失。CN113780009ACN113780009A权利要求书1/2页1.一种信息生成方法，包括：获取对话场景中的对话信息序列，其中，所述对话信息序列中的对话信息包括图片和语句；对所述对话信息序列所包括的各个图片进行图片特征提取处理，得到图片向量序列；对所述对话信息序列所包括的各个语句进行语句特征提取处理，得到语句向量序列；基于所述图片向量序列和所述语句向量序列，生成应答信息反馈结果。2.根据权利要求1所述的方法，其中，所述基于所述图片向量序列和所述语句向量序列，生成应答信息反馈结果，包括：确定所述对话信息序列中的每个对话信息对应的位置，得到位置序列；对所述位置序列所包括的各个位置进行位置特征转换处理，得到位置向量序列；基于所述图片向量序列、所述语句向量序列和所述位置向量序列，生成应答信息反馈结果。3.根据权利要求2所述的方法，其中，所述基于所述图片向量序列、所述语句向量序列和所述位置向量序列，生成应答信息反馈结果，包括：确定所述对话信息序列中的每个对话信息对应的角色，得到所述对话信息序列对应的角色集合；对所述角色集合中的各个角色进行角色特征转换处理，得到角色向量序列；基于所述图片向量序列、所述语句向量序列、所述位置向量序列和所述角色向量序列，生成应答信息反馈结果。4.根据权利要求3所述的方法，其中，所述基于所述图片向量序列、所述语句向量序列、所述位置向量序列和所述角色向量序列，生成应答信息反馈结果，包括：将所述图片向量序列中的每个图片向量、对应所述图片向量的语句向量、位置向量和角色向量进行融合处理以生成融合向量，得到融合向量序列；将所述融合向量序列输入至预先训练的应答文本反馈模型中，以生成应答信息反馈结果。5.根据权利要求4所述的方法，其中，所述应答文本反馈模型包括：注意力编码神经网络和注意力解码神经网络；以及所述将所述融合向量序列输入至预先训练的应答文本反馈模型中，以生成应答信息反馈结果，包括：将所述融合向量序列输入至所述注意力编码神经网络中，得到多模态场景向量序列；将所述多模态场景向量序列输入至所述注意力解码神经网络中，得到应答信息反馈结果。6.根据权利要求1所述的方法，其中，所述对所述对话信息序列所包括的各个图片进行图片特征提取处理，得到图片向量序列，包括：对所述各个图片中的各个图片输入至预先训练的图片特征提取网络，得到图片向量序列。7.根据权利要求1所述的方法，其中，所述对所述对话信息序列所包括的各个语句进行语句特征提取处理，得到语句向量序列，包括：对所述各个语句中的每个语句进行池化处理以生成语句向量，得到语句向量序列。2CN113780009A权利要求书2/2页8.一种信息生成装置，包括：获取单元，被配置成获取对话场景中的对话信息序列，其中，所述对话信息序列中的对话信息包括图片和语句；图片特征提取单元，被配置成对所述对话信息序列所包括的各个图片进行图片特征提取处理，得到图片向量序列；语句特征提取单元，被配置成对所述对话信息序列所包括的各个语句进行语句特征提取处理，得到语句向量序列；生成单元，被配置成基于所述图片向量序列和所述语句向量序列，生成应答信息反馈结果。9.一种电子设备，包括：一个或多个处理器；存储装置，其上存储