图像处理方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965736A(43)申请公布日2023.04.14(21)申请号202310252156.8(22)申请日2023.03.16(71)申请人腾讯科技（深圳）有限公司地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人徐东(74)专利代理机构广州三环专利商标代理有限公司44202专利代理师陈梅君(51)Int.Cl.G06T15/06(2011.01)G06T15/20(2011.01)G06T17/00(2006.01)G06N3/08(2023.01)G06N3/0464(2023.01)权利要求书4页说明书26页附图7页(54)发明名称图像处理方法、装置、设备及存储介质(57)摘要本申请实施例公开了一种图像处理方法、装置、设备及存储介质。其中方法包括：获取三维空间场景对应的神经网络模型，以及三维空间场景对应的目标观测条件，调用神经网络模型，预测三维空间场景在目标观测条件下的第一平面图像的二维掩码，获取第二平面图像的二维掩码，基于第一平面图像的二维掩码和第二平面图像的二维掩码之间的差异，构造神经网络模型的处理损失，通过处理损失对神经网络模型进行优化，得到优化后的神经网络模型。可见，通过第一平面图像的二维掩码与第二平面图像的二维掩码之间的差异，对三维空间场景对应的神经网络模型进行优化，能够提高三维空间场景的神经网络模型的预测结果的准确度。CN115965736ACN115965736A权利要求书1/4页1.一种图像处理方法，其特征在于，所述方法包括：获取三维空间场景对应的神经网络模型，以及所述三维空间场景对应的目标观测条件；所述神经网络模型是对所述三维空间场景的平面图像集合进行学习得到的；所述平面图像集合中包含至少两张所述三维空间场景在不同观测条件下的平面图像；调用所述神经网络模型，预测所述三维空间场景在所述目标观测条件下的第一平面图像的二维掩码，所述第一平面图像的二维掩码用于指示所述第一平面图像中各个像素点关联的场景元素；获取第二平面图像的二维掩码，所述第二平面图像是所述三维空间场景的平面图像集合中与所述第一平面图像相似度最高的平面图像；基于所述第一平面图像的二维掩码和所述第二平面图像的二维掩码之间的差异，构造所述神经网络模型的处理损失；通过所述处理损失对所述神经网络模型进行优化，得到优化后的神经网络模型；所述优化后的神经网络模型用于渲染所述三维空间场景在任意观测条件下的平面图像。2.如权利要求1所述的方法，其特征在于，所述观测条件包括以下至少一项：观测方向、观测位置、观测光强、观测距离。3.如权利要求2所述的方法，其特征在于，所述目标观测条件包括观测方向；所述调用所述神经网络模型，预测所述三维空间场景在所述目标观测条件下的第一平面图像的二维掩码的过程包括：通过所述观测方向，确定第一查询光线，所述第一查询光线的方向与所述观测方向一致；获取所述第一查询光线上各个采样点的位置信息；调用所述神经网络模型通过所述第一查询光线上各个采样点的位置信息和所述第一查询光线，预测所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的渲染属性；所述热点向量用于指示相应采样点在所述三维空间场景中关联的场景元素；基于所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的渲染属性，预测所述第一查询光线对应的像素点关联的场景元素。4.如权利要求3所述的方法，其特征在于，所述渲染属性包括体积密度；所述基于所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的渲染属性，预测所述第一查询光线对应的像素点关联的场景元素，包括：基于所述第一查询光线上各个采样点的热点向量和所述第一查询光线上各个采样点的体积密度，计算所述第一查询光线上各个采样点在所述第一查询光线对应的像素点的投影结果；根据所述第一查询光线上各个采样点在所述第一查询光线对应的像素点的投影结果，预测所述第一查询光线对应的像素点关联的场景元素。5.如权利要求3所述的方法，其特征在于，所述场景元素包括所述三维空间场景中的空洞点和M个对象，M为正整数；所述热点向量的维度为M+1，所述热点向量的前M维与所述M个对象一一对应，第M+1维与所述空洞点对应，所述空洞点为所述三维空间场景中不属于所述M个对象的采样点；2CN115965736A权利要求书2/4页其中，若目标采样点的热点向量指示所述目标采样点与所述M个对象中的第j个对象相关联，则表示所述目标采样点属于所述第j个对象；若目标采样点的热点向量指示所述目标采样点与所述空洞点相关联，则表示所述目标采样点为空洞点；所述目标采样点为所述三维空间场景中的任一个采样点，j为小于等于M的正整数。6.如权利要求2所述的方法，其特征