一种基于深度生成模型的人体点云实时修复方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920020A(43)申请公布日2022.01.11(21)申请号202111129589.1(22)申请日2021.09.26(71)申请人中国舰船研究设计中心地址430064湖北省武汉市武昌区紫阳路268号(72)发明人胡洋朱伟锋席晓芸徐文君(74)专利代理机构湖北武汉永嘉专利代理有限公司42102代理人胡建平(51)Int.Cl.G06T5/00(2006.01)G06T7/50(2017.01)G06T15/00(2011.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书7页附图5页(54)发明名称一种基于深度生成模型的人体点云实时修复方法(57)摘要本发明涉及人机协作技术领域，尤其涉及一种基于深度生成模型的人体点云实时修复方法。首先根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；然后利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；最后借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图，达到人机协作环境下人体点云实时修复的目的。CN113920020ACN113920020A权利要求书1/3页1.一种基于深度生成模型的人体点云实时修复方法，其特征在于，根据深度图与空间点云的映射关系，采用转换策略将人体点云修复问题转换为人体深度图修复问题；所述转换策略具体如下：A、根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；B、利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；C、借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图。2.根据权利要求1所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，包括如下步骤：S1、结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理；S2、利用基于生成对抗网络的深度生成模型对人体深度图数据集进行训练，使得模型收敛；S3、对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图；S4、修复被遮挡的人体深度图，并将修复后的人体深度图像映射为人体空间点云。3.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤S1具体包括：S11、根据人机协作环境中人体形态特点，确定要收集的人员样本；S12、根据同一人员动作的多样性与连贯性特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；S13、对采集的深度图像数据集执行预处理操作，仅保留人体的深度数据，并对将图片的大小截取至256×256。4.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤S2具体包括：S21、提取原始人体深度图像x，生成与深度图像数据集具有相同尺寸的障碍物图像M，将两张图像构造为被遮挡的人体深度图像z，其中z＝x⊙M；S22、将z和M作为输入，生成预测人体深度图x'＝G(z,M)，并将x'的对应的障碍物区域的深度数据迁移到z中，输出结果其中G为生成对抗网络，为深度生成模型；S23、循环步骤S21和步骤S22，直到生成对抗网络G收敛。5.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤S3具体包括：S31、将三维体感摄影机捕获的完整人机协作单元的深度图像剔除共享工作空间之外的区域，突出共享工作空间，取该静态图像作为背景图像；S32、通过背景移除法去除背景图像中障碍物区域之外的部分，保留障碍物区域作为障碍物图像；2CN113920020A权利要求书2/3页S33、对障碍物图像进行高斯滤波、腐蚀和膨胀来移除图像中的噪声，并进行连通体检测，检测多个障碍物，生成用多个矩形来分别表示多个障碍物的掩码图像；S34、将三维体感摄影机检测的人体深度图像与障碍物掩码图像构建为带有遮挡区域的人体深度图。6.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤S4具体包括：S41、向训练收敛的深度生成模型输入带有遮挡区域的人体深度图以及障碍物掩码图像，生成修复后的人体深度图；S42、获取三维体感摄影机内参fx和fy，其中fx表示相机x轴焦距，fy表示相机y轴焦距，通过坐标系映射关系，将人体深度图映射为人体空间点云，所述坐标系映射关系具体公式为：其中，(XK,YK,ZK)表示三维体感摄影机空间坐标系中的空间点坐标，(u0,v0)表示像素坐标系的原点OI在像素坐标系下的坐标，(u