互动展示方法、装置、电子设备及可读介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116009682A(43)申请公布日2023.04.25(21)申请号202111217427.3G06N3/045(2023.01)(22)申请日2021.10.19G06N3/094(2023.01)(71)申请人北京字跳网络技术有限公司地址100190北京市海淀区紫金数码园4号楼2层0207(72)发明人田济源(74)专利代理机构北京远智汇知识产权代理有限公司11659专利代理师范坤坤(51)Int.Cl.G06F3/01(2006.01)G10L15/08(2006.01)G10L15/10(2006.01)G10L15/26(2006.01)G06N3/0475(2023.01)权利要求书2页说明书16页附图6页(54)发明名称互动展示方法、装置、电子设备及可读介质(57)摘要本公开公开了一种互动展示方法、装置、电子设备及可读介质，该方法包括：采集用户的展示操作信息，所述展示操作信息包括所述用户在展示过程中手部的运动轨迹；根据所述运动轨迹确定对象的轮廓；在预设数据库中查找与所述轮廓匹配的展示对应信息；根据所述展示对应信息生成展示结果。利用该方法，根据用户手部的运动轨迹，结合展示对应信息可以自动生成展示结果，用户可以自由发挥，使得展示操作更加灵活，同时，基于用户展示的轮廓可以提供所需的展示对应信息，增强互动展示的趣味性和交互性。CN116009682ACN116009682A权利要求书1/2页1.一种互动展示方法，其特征在于，包括：采集用户的展示操作信息，所述展示操作信息包括所述用户在展示过程中手部的运动轨迹；根据所述运动轨迹确定对象的轮廓；在预设数据库中查找与所述轮廓匹配的展示对应信息；根据所述展示对应信息生成展示结果。2.根据权利要求1所述的方法，其特征在于，所述采集用户的展示操作信息，包括：通过图像采集设备采集多帧展示过程的图像；对各所述图像进行语义分割，以提取各所述图像中的手部区域；根据各所述图像中的手部区域生成运动轨迹。3.根据权利要求1所述的方法，其特征在于，在预设数据库中查找与所述轮廓匹配的展示对应信息，包括：通过生成对抗网络GAN确定与所述轮廓关联的模板对象；在所述预设数据库中查找所述模板对象的展示对应信息。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：对各所述图像进行语义分割，以提取各所述图像中非手部区域；根据各所述图像中的非手部区域修正所述运动轨迹。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据各所述图像中的手部区域识别手部姿态和/或手持物体；根据所述手部姿态和/或所述手持物体确定所述对象的类别。6.根据权利要求1所述的方法，其特征在于，在预设数据库中查找与所述轮廓匹配的展示对应信息之前，还包括：通过自动语音识别ASR模型识别所述用户的语音流中的关键词；根据所述关键词确定所述对象的类别。7.根据权利要求5或6所述的方法，其特征在于，在预设数据库中查找与所述轮廓匹配的展示对应信息，包括：筛选所述预设数据库中与所述类别一致的模板对象的展示对应信息；从与所述类别一致的模板对象的展示对应信息中，查找与所述轮廓匹配的展示对应信息。8.根据权利要求6所述的方法，其特征在于，通过ASR模型识别所述用户的语音流中的关键词，包括：将所述语音流分段存储至缓冲区；通过ASR模型识别每个分段中的关键词，并确定所述关键词的置信度；将置信度最高的关键词作为所述语音流中的关键词。9.根据权利要求1所述的方法，其特征在于，所述采集用户的展示操作信息，包括：通过实时通信RTC模块采集展示过程的音频帧以及视频帧；利用回调函数，将所述视频帧以及所述音频帧通过RTC通道分别传输至ASR模块和视觉特效模块。10.根据权利要求9所述的方法，其特征在于，在根据所述展示对应信息生成展示结果2CN116009682A权利要求书2/2页之后，还包括：将所述展示结果由Aiortc推流至目的设备。11.根据权利要求1所述的方法，其特征在于，所述展示对应信息包括所述展示对象的渲染信息；所述根据所述展示对应信息生成展示结果，包括：根据所述渲染信息对所述轮廓进行渲染，得到所述展示结果。12.根据权利要求1所述的方法，其特征在于，所述展示结果包括模板对象以及所述模板对象的讲解信息；在根据所述展示对应信息生成展示结果之后，所述方法还包括：在第一区域展示所述模板对象，并在第二区域展示所述讲解信息。13.一种互动展示装置，其特征在于，包括：采集模块，用于采集用户的展示操作信息，所述展示操作信息包括所述用户在展示过程中手部的运动轨迹；轮廓确定模块，用于根据所述运动轨迹确定对象的轮廓；匹配模块，用于在预设数据库中查找与所述轮廓匹配的展示对应信息；生成模块，用于根据所述展示对应信息