一种元宇宙智能语音交互方法及系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115759178A(43)申请公布日2023.03.07(21)申请号202211397686.3(22)申请日2022.11.09(71)申请人广东外语外贸大学地址510420广东省广州市白云大道北2号(72)发明人劳斌吕薇(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师江嘉玲(51)Int.Cl.G06N3/04(2023.01)G10L15/22(2023.01)G06N3/08(2019.01)G06F40/30(2020.01)G06F16/17(2006.01)权利要求书2页说明书7页附图3页(54)发明名称一种元宇宙智能语音交互方法及系统(57)摘要本申请属于元宇宙交互技术领域，公开了一种元宇宙智能语音交互方法及系统。通过获取交互日志记录和多通道日志记录；构建神经网络模型，并进行训练，得到交互场景判断模型和交互结果推荐模型；接收用户在当前交互场景的语音信息，进行语音识别得到语音识别结果；获取多通道实时信息，基于语音识别结果和多通道实时信息，使用交互场景判断模型得到当前交互场景的交互场景判断结果；判断当前交互场景是否为人机交互场景，若为人机交互场景则将语音识别结果和多通道实时信息输入到交互结果推荐模型，得到若干交互推荐结果，将若干交互推荐结果进行排序供用户进行选择。实现为用户提供多种语音交互结果，提供元宇宙语音交互的用户体验。CN115759178ACN115759178A权利要求书1/2页1.一种元宇宙智能语音交互方法，其特征在于，所述方法包括：获取用户在元宇宙交互场景中产生的交互日志记录和多通道日志记录；构建神经网络模型，根据所述交互日志记录和所述多通道日志记录，对所述神经网络模型进行训练，得到训练好的交互场景判断模型和交互结果推荐模型；接收用户在元宇宙当前交互场景中产生的语音信息，并对所述语音信息进行语音识别，得到语音识别结果；从元宇宙交互设备中获取多通道实时信息，基于所述语音识别结果和多通道实时信息，使用所述交互场景判断模型得到当前交互场景的交互场景判断结果；基于所述交互场景判断结果判断所述当前交互场景是否为人机交互场景，若不属于人机交互场景，则结束当前语音交互场景；若属于人机交互场景，则将语音识别结果和所述多通道实时信息输入到所述交互结果推荐模型，得到若干交互推荐结果，将若干所述交互推荐结果进行排序供用户进行选择。2.根据权利要求1所述的元宇宙智能语音交互方法，其特征在于，所述将若干所述交互推荐结果进行排序供用户进行选择的步骤之后还包括：用户对所述交互推荐结果进行选择，确定最终语音交互结果；将所述当前交互场景中产生的交互日志以及最终语音交互结果发送至系统数据库中进行存储。3.根据权利要求1所述的元宇宙智能语音交互方法，其特征在于，所述构建神经网络模型，根据所述交互日志记录和所述多通道日志记录，对所述神经网络模型进行训练，得到训练好的交互场景判断模型和交互结果推荐模型的步骤包括：选择所述交互日志记录作为模型训练的第一训练数据，选择多通道日志记录作为模型训练的第二训练数据；提取所述第一训练数据的语义特征和所述第二训练数据的标注信息，得到所述第一训练数据的语义特征和所述第二训练数据的标注信息；利用所述语义特征为主题层的第一训练数据和所述标注信息为人机交互的第二训练数据，来训练所述神经网络模型，达到预设条件，得到训练好的交互场景判断模型；利用语义特征为语义层的第一训练数据和标注信息为交互结果的第二训练数据，来训练神经网络模型，达到预设条件，得到训练好的交互结果推荐模型。4.根据权利要求1所述的元宇宙智能语音交互方法，其特征在于，所述接收用户在元宇宙当前交互场景中产生的语音信息，并对所述语音信息进行语音识别，得到语音识别结果的步骤还包括：对所述语音信息进行降噪处理，得到降噪后的语音信息，并对所述降噪后的语音信息进行语音识别，得到语音识别结果。5.根据权利要求4所述的元宇宙智能语音交互方法，其特征在于，所述接收用户在元宇宙当前交互场景中产生的语音信息，并对所述语音信息进行语音识别，得到语音识别结果的步骤后还包括：检测所述语音识别结果中是否包含预设的唤醒词，若包含预设的唤醒词则跳转至进行交互推荐结果预测的步骤；若不包含预设的唤醒词则进行交互场景判断的步骤。6.根据权利要求1所述的元宇宙智能语音交互方法，其特征在于，所述基于所述交互场2CN115759178A权利要求书2/2页景判断结果判断所述当前交互场景是否为人机交互场景的步骤还包括:将所述交互场景判断结果中的人机交互概率值与预设阈值进行对比，若所述交互场景判断结果中的人机交互概率值大于或等于所述预设阈值，则判断所述当前交互场景为人机交互场景；若所述交互场景判断结果中的人机交互概率值