手部图像生成方法、装置、电子设备及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116188704A(43)申请公布日2023.05.30(21)申请号202310487866.9(22)申请日2023.05.04(71)申请人北京红棉小冰科技有限公司地址100080北京市海淀区北四环西路67号6层608房间(72)发明人陈星宇王宝元沈向洋(74)专利代理机构北京路浩知识产权代理有限公司11002专利代理师王治东(51)Int.Cl.G06T17/00(2006.01)G06T15/00(2011.01)G06T15/06(2011.01)G06N3/04(2023.01)G06N3/08(2023.01)权利要求书2页说明书11页附图3页(54)发明名称手部图像生成方法、装置、电子设备及可读存储介质(57)摘要本申请提供一种手部图像生成方法、装置、电子设备及可读存储介质，涉及手部图像生成领域，该方法包括：基于手部网格模型构建手部各个骨骼的占用场以及手部着色场；基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用场信息、以及基于手部着色场预测每个空间坐标点的反照率信息以及光照信息；基于每个空间坐标点的占用值、每个空间坐标点的反照率信息以及每个空间坐标点的光照信息，计算每个像素的色彩值，并基于每个像素的色彩值使用体渲染方法合成手部图像。本申请提供的手部图像生成方法，用于以较低的成本渲染出真实感较强的手部图像。CN116188704ACN116188704A权利要求书1/2页1.一种手部图像生成方法，其特征在于，包括：获取手部姿态信息；将所述手部姿态信息输入到参数化模型中，得到手部网格模型，并基于所述手部网格模型构建手部各个骨骼的占用场以及手部着色场；基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用场信息、以及基于所述手部着色场预测所述每个空间坐标点的反照率信息以及光照信息；基于所述每个空间坐标点的占用值、所述每个空间坐标点的反照率信息以及所述每个空间坐标点的光照信息，计算每个像素的色彩值，并基于所述每个像素的色彩值使用体渲染方法合成所述手部图像。2.根据权利要求1所述的方法，其特征在于，所述基于所述手部网格模型构建手部各个骨骼的占用场，包括：根据手部活动信息以及预设手部骨骼划分信息对所述手部网格模型的顶点进行部分采样，得到第一点云；将目标骨骼在第一点云中对应的采样点的位置信息输入到与所述目标骨骼对应的零件几何编码器中，得到与所述目标骨骼对应的零件几何编码；一个骨骼对应一个零件几何编码器；将相邻骨骼对应的零件几何编码级联后输入到本地对解码器中，得到手部各个骨骼的占用场；其中，所述预设手部骨骼划分信息用于将手部划分为多个骨骼；所述目标骨骼为所述多个骨骼中的任一个。3.根据权利要求2所述的方法，其特征在于，所述基于手部各个骨骼的占用场预测手部图像的任一目标像素在观察方向上采样的多个空间坐标点中每个空间坐标点的占用信息，包括：对所述手部各个骨骼的占用场取最大值后，得到整个手部的手部占用场，并基于所述手部占用场确定目标关系；所述目标关系为：所述每个空间坐标点与手部几何空间的相对位置关系；基于所述手部占用场确定所述第一点云中与所述每个空间坐标点相邻的多个采样点的占用信息，并基于所述目标关系以及与所述每个空间坐标点相邻的多个采样点的占用信息预测所述每个空间坐标点的占用信息。4.根据权利要求2所述的方法，其特征在于，基于所述手部网格模型构建手部着色场，包括：根据所述手部网格模型以及所述手部各个骨骼的占用场构建所述手部着色场；其中，手部着色场用于预测所述每个空间坐标点的着色信息；所述着色信息为所述每个空间坐标点的光照信息以及所述每个空间坐标点的反照率信息相乘后得到。5.根据权利要求4所述的方法，其特征在于，所述基于所述手部着色场预测所述每个空间坐标点的反照率信息以及每个空间坐标点的光照信息，包括：对所述手部网格模型的每个网格进行重心采样，得到第二点云；基于所述第二点云中与所述每个空间坐标点相邻的多个采样点中的每个采样点的位2CN116188704A权利要求书2/2页置信息、每个采样点的位置编码、以及每个采样点的反照率编码，通过点插值算法计算所述每个空间坐标点的位置编码以及所述每个空间坐标点的反照率编码；将目标关系、所述每个空间坐标点的位置编码、所述每个空间坐标点的占用值以及所述手部姿态信息输入到第一多层感知机中，预测所述每个空间坐标点的光照信息，以及将所述每个空间坐标点的反照率编码输入到第二多层感知机中，预测所述每个空间坐标点的反照率信息；其中，所述目标关系为：所述每个空间坐标点与手部几何空间的相对位置关系；采样点的位置编码用于描述采样点与手部表面的相对位