虚拟形象的更新方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115731375A(43)申请公布日2023.03.03(21)申请号202211581979.7A63F13/63(2022.01)(22)申请日2022.12.09(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人曹佳炯(74)专利代理机构北京国昊天诚知识产权代理有限公司11315专利代理师付先智(51)Int.Cl.G06V10/10(2022.01)G06V10/40(2022.01)G06V10/74(2014.01)G06V10/774(2022.01)A63F13/55(2014.01)权利要求书3页说明书11页附图4页(54)发明名称虚拟形象的更新方法及装置(57)摘要本说明书实施例提供了虚拟形象的更新方法及装置，其中，一种虚拟形象的更新方法包括：将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征；将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征；计算所述稠密特征与特征库中的候选稠密特征的特征相似度；若所述特征相似度满足虚拟形象更新条件，基于所述用户图像更新虚拟世界中的用户虚拟形象。CN115731375ACN115731375A权利要求书1/3页1.一种虚拟形象的更新方法，包括：将物理世界采集的用户图像输入稀疏特征提取模型进行稀疏特征提取，获得稀疏特征；将所述用户图像以及所述稀疏特征输入稠密特征提取模型进行稠密特征提取，获得稠密特征；计算所述稠密特征与特征库中的候选稠密特征的特征相似度；若所述特征相似度满足虚拟形象更新条件，基于所述用户图像更新虚拟世界中的用户虚拟形象。2.根据权利要求1所述的虚拟形象的更新方法，所述计算所述稠密特征与特征库中的候选稠密特征的特征相似度步骤执行之后，还包括：若所述特征相似度不满足所述虚拟形象更新条件，则确定所述稠密特征为无效特征，并对所述用户图像进行二次特征提取。3.根据权利要求2所述的虚拟形象的更新方法，所述对所述用户图像进行二次特征提取，包括：将所述用户图像输入所述稀疏特征提取模型进行二次稀疏特征提取，获得二次稀疏特征；将所述用户图像以及所述二次稀疏特征输入所述稠密特征提取模型进行二次稠密特征提取，获得二次稠密特征。4.根据权利要求1所述的虚拟形象的更新方法，所述特征库中的候选稠密特征，通过如下方式获得：通过动作传感器采集用户的动作数据；对所述动作数据进行特征提取获得所述候选稠密特征。5.根据权利要求1所述的虚拟形象的更新方法，所述稀疏特征提取模型，采用如下方式训练获得：将所述物理世界采集的第一图像样本输入第一待训练模型进行稀疏特征提取，获得第一样本稀疏特征；根据所述第一样本稀疏特征和第一参考特征计算第一补偿损失，以及，根据所述第一样本稀疏特征和第二参考特征计算第一回归损失；根据所述第一补偿损失与所述第一回归损失对所述第一待训练模型进行参数调整。6.根据权利要求1所述的虚拟形象的更新方法，所述稠密特征提取模型，采用如下方式训练获得：将所述物理世界采集的第二图像样本以及第二样本稀疏特征输入第二待训练模型进行稠密特征提取，获得样本稠密特征；根据所述样本稠密特征和第三参考特征计算第二补偿损失，以及，根据所述样本稠密特征和第四参考特征计算第二回归损失；根据所述第二补偿损失与所述第二回归损失对所述第二待训练模型进行参数调整。7.根据权利要求1所述的虚拟形象的更新方法，所述稠密特征提取模型，采用如下方式训练获得：根据样本稠密特征以及映射样本稠密特征计算映射损失；2CN115731375A权利要求书2/3页根据所述映射损失对第二待训练模型进行参数调整；其中，所述映射样本稠密特征在将所述样本稠密特征输入神经网络进行特征提取后获得。8.根据权利要求6所述的虚拟形象的更新方法，所述第二样本稀疏特征，通过如下方式获得：将所述第二图像样本输入所述稀疏特征提取模型进行稀疏特征提取，获得所述第二样本稀疏特征。9.根据权利要求6所述的虚拟形象的更新方法，所述第二样本稀疏特征，通过如下方式获得：将所述稀疏特征提取模型训练过程中输出的第一样本稀疏特征作为所述第二样本稀疏特征。10.根据权利要求5所述的虚拟形象的更新方法，所述第一参考特征，通过对所述第一图像样本进行特征标注处理获得。11.根据权利要求5所述的虚拟形象的更新方法，所述根据所述第一样本稀疏特征和第一参考特征计算第一补偿损失，包括：根据所述第一样本稀疏特征携带的位置信息和所述第一参考特征携带的位置信息计算第一偏移量；根据所述第一偏移量计算所述第一补偿损失。12.根据权利要求5所述的虚拟形象的更新方法，所述根据所述第一样本稀疏特征和第二参考特征计算第一回归