虚拟形象处理方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115953706A(43)申请公布日2023.04.11(21)申请号202310026243.1G06N3/04(2023.01)(22)申请日2023.01.09G06N3/08(2023.01)(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯(74)专利代理机构北京国昊天诚知识产权代理有限公司11315专利代理师付先智(51)Int.Cl.G06V20/20(2022.01)G06V10/40(2022.01)G06V10/774(2022.01)G06V10/80(2022.01)G06V10/82(2022.01)权利要求书3页说明书12页附图4页(54)发明名称虚拟形象处理方法及装置(57)摘要本说明书实施例提供了虚拟形象处理方法及装置，其中，一种虚拟形象处理方法包括：将目标对象的图像帧序列输入像素特征预测模型进行像素特征预测，获得第一像素特征；将所述图像帧序列输入关键特征提取器进行关键特征提取，获得关键特征；将所述第一像素特征、所述关键特征以及虚拟形象更新的延时时间输入偏移特征预测模块进行偏移特征预测，获得偏移特征；将所述关键特征和所述偏移特征输入特征融合模块进行特征融合处理，获得融合特征；基于所述融合特征对所述目标对象在虚拟世界的虚拟形象进行更新。CN115953706ACN115953706A权利要求书1/3页1.一种虚拟形象处理方法，包括：将目标对象的图像帧序列输入像素特征预测模型进行像素特征预测，获得第一像素特征；将所述图像帧序列输入关键特征提取器进行关键特征提取，获得关键特征；将所述第一像素特征、所述关键特征以及虚拟形象更新的延时时间输入偏移特征预测模块进行偏移特征预测，获得偏移特征；将所述关键特征和所述偏移特征输入特征融合模块进行特征融合处理，获得融合特征；基于所述融合特征对所述目标对象在虚拟世界的虚拟形象进行更新。2.根据权利要求1所述的虚拟形象处理方法，所述像素特征预测，包括：将所述图像帧序列输入特征图谱提取子模型进行特征图谱提取，获得特征图谱；将所述特征图谱输入相关性计算模块进行相关性计算，获得所述第一像素特征。3.根据权利要求2所述的虚拟形象处理方法，所述特征图谱提取，包括：将所述图像帧序列输入所述特征图谱提取子模型包含的学生网络进行像素特征提取，获得第二像素特征；基于所述第二像素特征对所述图像帧序列进行特征图谱提取，获得所述特征图谱。4.根据权利要求2所述的虚拟形象处理方法，所述特征图谱提取子模型，采用如下方式训练获得：将样本第一像素特征输入待训练像素融合模块进行像素特征融合，获得样本融合像素特征；将所述第一帧序列样本输入待训练学生网络进行像素特征提取，获得样本第二像素特征；根据所述样本第二像素特征和预设像素特征计算第一特征损失，以及，根据所述样本融合像素特征和所述样本第二像素特征计算第二特征损失；根据所述第一特征损失与所述第二特征损失对所述待训练像素融合模块以及所述待训练学生网络进行参数调整；其中，所述样本第一像素特征通过将第一帧序列样本输入教师网络进行像素特征提取获得。5.根据权利要求2所述的虚拟形象处理方法，所述将所述特征图谱输入相关性计算模块进行相关性计算，获得所述第一像素特征，包括：将所述特征图谱进行编码处理，获得特征向量；根据所述特征向量计算特征矩阵，以及，将所述特征矩阵输入相关性计算模块的卷积网络进行相关性计算，获得所述第一像素特征。6.根据权利要求1所述的虚拟形象处理方法，所述像素特征预测模型，采用如下方式训练获得：将样本特征图谱输入待训练相关性计算模块进行相关性计算，获得样本第三像素特征；根据所述样本第三像素特征和所述预设像素特征计算第三特征损失；根据所述第三特征损失对所述待训练相关性计算模块进行参数调整；2CN115953706A权利要求书2/3页其中，样本特征图谱通过将第二帧序列样本输入所述特征图谱提取子模型进行特征图谱提取获得。7.根据权利要求1所述的虚拟形象处理方法，所述延时时间，采用如下方式获得：对采集的对象样本进行虚拟形象更新的延时时间进行归一化处理，获得所述延时时间。8.根据权利要求1所述的虚拟形象处理方法，所述偏移特征预测，包括：根据所述关键特征和所述第一像素特征计算初始偏移特征；基于所述延时时间对所述初始偏移特征进行修正，获得所述偏移特征。9.根据权利要求1所述的虚拟形象处理方法，所述关键特征提取器、所述偏移特征预测模块以及所述特征融合模块构成特征提取模型；所述特征提取模型的输入包括：所述图像帧序列、所述第一像素特征以及所述虚拟形象更新的延时时间；输出为所述融合特征。10.根据权利要求9所述的虚拟形象处理方法