一种人体点云修复方法、装置、电子设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115760616A(43)申请公布日2023.03.07(21)申请号202211436378.7(22)申请日2022.11.16(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人王乐(74)专利代理机构北京品源专利代理有限公司11332专利代理师王瑞云(51)Int.Cl.G06T5/00(2006.01)G06N3/0464(2023.01)G06N3/0475(2023.01)G06N3/08(2023.01)权利要求书2页说明书9页附图4页(54)发明名称一种人体点云修复方法、装置、电子设备及存储介质(57)摘要本申请公开了一种人体点云修复方法、装置、电子设备及存储介质；该方法包括：获取待修复人体点云对应的深度图像和二进制掩码图像；将深度图像和二进制掩码图像分别输入至预先训练好的人体点云修复模型中；通过人体点云修复模型基于二进制掩码图像对深度图像进行修复，得到深度图像的修复结果；其中，人体点云修复模型包括：生成器网络和鉴别器网络；将深度图像的修复结果转换为待修复人体点云对应的三维目标点云。本申请实施例可以效仿人类视觉系统，在画面中的人体被遮挡或者缺失的情况下，仍然可以实时修复不完整的人体空间信息，从而可以赋予传统监控系统更加智能化的感知能力。CN115760616ACN115760616A权利要求书1/2页1.一种人体点云修复方法，其特征在于，所述方法包括：获取待修复人体点云对应的深度图像和二进制掩码图像；将所述深度图像和所述二进制掩码图像分别输入至预先训练好的人体点云修复模型中；通过所述人体点云修复模型基于所述二进制掩码图像对所述深度图像进行修复，得到所述深度图像的修复结果；其中，所述人体点云修复模型包括：生成器网络和鉴别器网络；将所述深度图像的修复结果转换为所述待修复人体点云对应的三维目标点云。2.根据权利要求1所述的方法，其特征在于，通过所述人体点云修复模型基于所述二进制掩码图像对所述深度图像进行修复，得到所述深度图像的修复结果，包括：通过所述生成器网络基于所述二进制掩码图像对所述深度图像进行生成处理，得到所述深度图像的生成结果；将所述深度图像的生成结果和所述二进制掩码图像输入至所述鉴别器网络，通过所述鉴别器网络基于所述二进制掩码图像对所述深度图像的修复结果对鉴别处理，得到所述深度图像的鉴别结果。3.根据权利要求2所述的方法，其特征在于，通过所述生成器网络基于所述二进制掩码图像对所述深度图像进行生成处理，得到所述深度图像的生成结果，包括：通过所述生成器网络中的粗糙生成网络基于所述二进制掩码图像对所述深度图像进行粗糙生成处理，得到所述深度图像的粗糙生成结果；将所述深度图像的粗糙生成结果输入至所述生成器网络中的精细生成网络，通过所述生成器网络中的精细生成网络对所述深度图像的粗糙生成结果进行精细生成处理，得到所述深度图像的精细处理结果；将所述深度图像的精细处理结果作为所述深度图像的生成结果。4.根据权利要求1所述的方法，其特征在于，所述生成器网络包括：门控卷积层、门控空洞卷积层、下采样门控卷积层和上采样门控卷积层；所述鉴别器网络包括：鉴别器网络层。5.根据权利要求1所述的方法，其特征在于，在获取待修复人体图像对应的深度图像和二进制掩码图像之前，所述方法还包括：若所述人体点云修复模型不满足预先设定的收敛条件，则在预先构建的样本数据库中提取出一个样本作为当前样本；使用所述当前样本对所述人体点云修复模型进行训练；重复执行上述操作，直到所述人体点云修复模型满足所述收敛条件。6.根据权利要求5所述的方法，其特征在于，使用所述当前样本对所述人体点云修复模型进行训练，包括：基于所述当前样本分别计算所述生成器网络对应的损失函数和所述鉴别器网络对应的损失函数；根据所述生成器网络对应的损失函数和所述鉴别器网络对应的损失函数，计算所述人体点云修复模型对应的损失函数；基于所述人体点云修复模型对应的损失函数对所述人体点云修复模型进行训练。7.根据权利要求6所述的方法，其特征在于，基于所述当前样本计算所述生成器网络对应的损失函数，包括：基于所述当前样本分别计算重建损失和所述鉴别器网络对所述生成器网络的对抗损2CN115760616A权利要求书2/2页失；根据所述重建损失和所述鉴别器网络对所述生成器网络的对抗损失计算所述生成器网络对应的损失函数。8.一种人体点云修复装置，其特征在于，所述装置包括：获取模块、修复模块和转换模块；其中，所述获取模块，用于获取待修复人体点云对应的深度图像和二进制掩码图像；所述修复模块，用于将所述深度图像和所述二进制掩码图像分别输入至预先训练好的人体点云修复模型中；通过所述人体点云修复模型基于所述二进制掩码图