虚拟人物的驱动方法、装置、电子设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030167A(43)申请公布日2023.04.28(21)申请号202310160671.3G06N3/094(2023.01)(22)申请日2023.02.24(71)申请人北京红棉小冰科技有限公司地址100080北京市海淀区北四环西路67号6层608房间(72)发明人余镇滔任逍航王宝元(74)专利代理机构北京路浩知识产权代理有限公司11002专利代理师王治东(51)Int.Cl.G06T13/40(2011.01)G06T15/08(2011.01)G06N3/045(2023.01)G06N3/0475(2023.01)G06N3/0499(2023.01)权利要求书2页说明书11页附图3页(54)发明名称虚拟人物的驱动方法、装置、电子设备及可读存储介质(57)摘要本申请提供一种虚拟人物的驱动方法、装置、电子设备及可读存储介质，涉及计算机技术领域，该方法包括：将包含目标虚拟人的视觉特征的隐向量输入到生成器模型中，得到包含目标虚拟人的目标特征空间；基于目标特征空间、根据驱动源得到的目标驱动信息以及多层感知机模型，构建目标动态神经辐射场；通过多层感知机模型在目标动态神经辐射场内根据目标驱动信息驱动目标虚拟人，并生成目标视频。本申请提供的虚拟人物的驱动方法、装置、电子设备及可读存储介质，通过从驱动视频中提取人物的表情，姿态，动作等作为驱动信息，以信息流的方式将其导入到神经辐射场中，从而渲染出自由视角下的虚拟人的驱动视频。CN116030167ACN116030167A权利要求书1/2页1.一种虚拟人物的驱动方法，其特征在于，包括：将包含目标虚拟人的视觉特征的隐向量输入到生成器模型中，得到包含所述目标虚拟人的目标特征空间；基于所述目标特征空间、根据驱动源得到的目标驱动信息以及多层感知机模型，构建目标动态神经辐射场；通过所述多层感知机模型在所述目标动态神经辐射场内根据所述目标驱动信息驱动所述目标虚拟人，并生成目标视频。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标特征空间、根据驱动源得到的目标驱动信息以及多层感知机模型，构建目标动态神经辐射场之前，所述方法还包括：使用注意力机制模型从所述驱动源中提取出所述目标驱动信息；其中，所述驱动源为包含第一虚拟人的视频；所述目标驱动信息包括以下至少一项：所述第一虚拟人的面部表情，所述第一虚拟人的动作，所述第一虚拟人的姿态。3.根据权利要求1所述的方法，其特征在于，所述通过所述多层感知机模型在所述目标动态神经辐射场内根据所述目标驱动信息驱动所述目标虚拟人，并生成目标视频，包括：所述多层感知机模型基于所述目标驱动信息将所述目标虚拟人映射到多个三维空间中；一个三维空间对应一个视频帧；对所述多个三维空间进行体渲染，得到多个视频帧，并基于所述多个视频帧生成所述目标视频；其中，所述多个视频帧包含所述目标虚拟人的连续动作。4.根据权利要求2所述的方法，其特征在于，所述生成器模型、所述多层感知机模型以及所述注意力机制模型的训练方法包括：通过所述注意力机制模型从目标样本视频中提取出长度为N的第一驱动信息，并将包含第二虚拟人的视觉特征的隐向量输入到所述生成器模型中，得到包含所述第二虚拟人的第一特征空间；基于所述第一特征空间、所述第一驱动信息以及所述多层感知机模型，构建第一动态神经辐射场；通过所述多层感知机模型在所述第一动态神经辐射场内根据所述第一驱动信息驱动所述第二虚拟人，生成包含多个视频帧的第一帧集合；通过判别器对所述第一帧集合中的每个视频帧进行判断，并根据判断结果调整所述生成器模型、所述多层感知机模型以及所述注意力机制模型的模型参数。5.根据权利要求4所述的方法，其特征在于，所述通过所述注意力机制模型从目标样本视频中提取出长度为N的第一驱动信息，包括：从训练集中筛选出所述目标样本视频，并从所述目标样本视频中提取出N个视频帧；所述目标样本视频为所述训练集中的任一样本视频；通过所述注意力机制模型从所述N个视频帧中提取出长度为N的驱动信息流，并根据所述驱动信息流得到所述第一驱动信息。6.根据权利要求4所述的方法，其特征在于，所述判别器包括：第一判别器和第二判别器；2CN116030167A权利要求书2/2页所述通过判别器对所述第一帧集合中的每个视频帧进行判断，包括：通过所述第一判别器判断所述第一帧集合中的每个视频帧是否为真实图像，并通过所述第二判别器判断所述第一帧集合中的每个视频帧中所包含的所述第二虚拟人的面部表情、动作、姿态是否与所述第一驱动信息一致。7.根据权利要求4所述的方法，其特征在于，所述通过所述多层感知机模型在所述第一动态神经辐射场内根据所述第一驱动信息驱动所述第二虚拟人，生成包含多个视频帧的第一帧集合之后，所述方法还包