问答处理方法、装置、计算机设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115757725A(43)申请公布日2023.03.07(21)申请号202211429880.5G06N3/0475(2023.01)(22)申请日2022.11.15G06N3/08(2023.01)(71)申请人中国平安财产保险股份有限公司地址518000广东省深圳市福田区益田路5033号平安金融中心12、13、38、39、40层(72)发明人刁梁(74)专利代理机构深圳市世联合知识产权代理有限公司44385专利代理师杨晖琼(51)Int.Cl.G06F16/332(2019.01)G06F16/335(2019.01)G06F40/205(2020.01)G06F40/289(2020.01)权利要求书3页说明书14页附图4页(54)发明名称问答处理方法、装置、计算机设备及存储介质(57)摘要本申请实施例属于人工智能领域，涉及一种问答处理方法、装置、计算机设备及存储介质，方法包括：获取携带有问题文本特征的问答请求，问题文本特征基于问题文本生成；获取多条初始信息特征，初始信息特征为图像特征或文本特征；筛选与问题文本相关的初始信息特征，得到多条召回信息特征；根据问题文本特征和各召回信息特征构建问答特征并输入问答模型，以基于问答模型中的图像处理子模型对问答特征中的图像特征进行处理生成图像答案信息，以及基于问答模型中的文本处理子模型对问答特征中的文本特征进行处理生成文本答案信息，从而得到答案信息。本申请还涉及区块链技术，初始信息特征可存储于区块链中。本申请提高了多模态问答的准确性。CN115757725ACN115757725A权利要求书1/3页1.一种问答处理方法，其特征在于，包括下述步骤：获取携带有问题文本特征的问答请求，其中，所述问题文本特征基于问题文本生成；获取多条初始信息特征，其中，初始信息特征为基于图像生成的图像特征或者基于文本生成的文本特征；通过关联评估模型筛选与所述问题文本相关的初始信息特征，得到多条召回信息特征；根据所述问题文本特征和各召回信息特征构建问答特征；将所述问答特征输入问答模型，以基于所述问答模型中的图像处理子模型对所述问答特征中的图像特征进行处理生成图像答案信息，以及基于所述问答模型中的文本处理子模型对所述问答特征中的文本特征进行处理生成文本答案信息；根据所述图像答案信息和所述文本答案信息生成所述问答请求的答案信息。2.根据权利要求1所述的问答处理方法，其特征在于，在所述获取携带有问题文本特征的问答请求的步骤之前，还包括：获取多条初始信息；当初始信息为图像时，通过第一视觉特征提取模型对所述图像进行特征提取，得到第一视觉特征和所述图像中的目标对象图像；通过第二视觉特征提取模型对所述目标对象图像进行特征提取，得到第二视觉特征；基于所述第一视觉特征和所述第二视觉特征生成所述图像的图像特征；当初始信息为文本时，对所述文本进行编码得到文本特征；将得到的图像特征和文本特征确定为初始信息特征。3.根据权利要求1所述的问答处理方法，其特征在于，所述通过关联评估模型筛选与所述问题文本相关的初始信息特征，得到多条召回信息特征的步骤包括：将所述问题文本特征与各初始信息特征分别进行拼接，得到多条待评估特征；将各待评估特征分别输入关联评估模型，得到多个关联评估值；选取关联评估值大于预设的关联阈值的待评估特征；将选取到的待评估特征中的初始信息特征确定为召回信息特征。4.根据权利要求1所述的问答处理方法，其特征在于，所述根据所述问题文本特征和各召回信息特征构建问答特征的步骤包括：对各召回信息特征中的图像特征进行拼接，并对所述各召回信息特征中的文本特征进行拼接；将所述问题文本特征、拼接后的图像特征和拼接后的文本特征分别调整至预设的类型特征长度；对长度调整后的所述问题文本特征、所述图像特征和所述文本特征进行拼接，得到初始问答特征；对所述初始问答特征中的所述问题文本特征、所述图像特征和所述文本特征分别添加位置编码和特征类型编码，得到问答特征。5.根据权利要求4所述的问答处理方法，其特征在于，在所述对所述各召回信息特征中的文本特征进行拼接的步骤之后，还包括：获取预设的问答配置信息，其中，所述问答配置信息包括问答风格信息、场景信息和用2CN115757725A权利要求书2/3页户信息；将所述问答配置信息合并至所述文本特征。6.根据权利要求1所述的问答处理方法，其特征在于，所述将所述问答特征输入问答模型，以基于所述问答模型中的图像处理子模型对所述问答特征中的图像特征进行处理生成图像答案信息，以及基于所述问答模型中的文本处理子模型对所述问答特征中的文本特征进行处理生成文本答案信息的步骤包括：将所述问答特征输入问答模型，以通过所述问答模型中的图像处理子模型获取所述问答特征中的图