多路视频与三维模型融合方法及其装置、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111402374A(43)申请公布日2020.07.10(21)申请号201811634403.6(22)申请日2018.12.29(71)申请人曜科智能科技（上海）有限公司地址201203上海市浦东新区中国(上海)自由贸易试验区张江路665号3层(72)发明人吴旻烨李家豪莫晓烨(74)专利代理机构上海光华专利事务所(普通合伙)31219代理人高彦(51)Int.Cl.G06T15/00(2011.01)权利要求书2页说明书9页附图2页(54)发明名称多路视频与三维模型融合方法及其装置、设备和存储介质(57)摘要本申请提供的一种多路视频与三维模型融合方法及其装置、设备和存储介质，通过获取多个监控相机的内外参数、及视频数据以形成三维场景模型，通过渲染得到对应各所述监控相机的监控深度图像，以及对虚拟相机的虚拟深度图像、及彩色图像，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡，最终得到对应当前帧的经完整渲染的三维场景模型。本申请能够极大改善视频与三维模型融合的效果，避免了场景物体出现重叠或颜色失真的问题。CN111402374ACN111402374A权利要求书1/2页1.一种多路视频与三维模型融合方法，其特征在于，所述方法包括：获取多个监控相机的内外参数、及视频数据，据以形成对应当前帧的三维场景模型、及对应所述三维场景模型的场景模型颜色贴图；在所述三维场景模型中分别对各所述监控相机的视角下的三维场景进行渲染以得到对应各所述监控相机的监控深度图像，以及对应虚拟相机的视角下的三维场景进行渲染以得到虚拟深度图像、及彩色图像；依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机，并判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡；若被遮挡，则判断是否存在下一个与所述虚拟相机的视角最接近的监控相机；若存在，则重复上一步骤；若不存在，则依据所述场景颜色贴图的像素颜色进行渲染；若未被遮挡，则依据当前选取的最接近的所述监控相机的视频解析图像中对应所述目标点的像素颜色对所述虚拟相机视角下的目标点进行渲染；最终得到对应当前帧的经完整渲染的三维场景模型。2.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，依据所述虚拟相机的内外参数、虚拟深度图像、及各所述监控相机的监控深度图像以选取与所述虚拟相机的视角最接近的监控相机的方法包括：依据所述虚拟相机的内外参数、及虚拟深度图像计算其视角下所述目标点在所述三维场景模型中的三维坐标；计算所述目标三维坐标分别到所述虚拟相机、及各监控相机的位置的方向向量，并计算所述虚拟相机对应的方向向量分别与各所述监控相机对应的方向向量之间的夹角；选取各所述夹角中最小的夹角所对应的所述监控相机为与所述虚拟相机的视角最接近的监控相机。3.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法包括：依据当前选取的最接近的所述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值；依据当前选取的最接近的所述监控相机所对应的所述监控深度图像以获取其上对应所述目标点的第二深度值；判断所述第一深度值是否大于所述第二深度值；若是，则判定为被遮挡；若否，则判定为未被遮挡。4.根据权利要求3所述的多路视频与三维模型融合方法，其特征在于，依据当前所选取的述监控相机的内外参数计算所述目标点在所选监控相机的视角下的第一深度值所依据的公式如下：2CN111402374A权利要求书2/2页其中，X、Y、Z为所述目标点在所述三维模型数据中的三维坐标；x、y为所述目标点在所选监控相机的物理坐标系下的二维坐标；R、T、K为所述监控相机的内外参数，d为所述目标点在所选监控相机的视角下的深度值。5.根据权利要求3所述的多路视频与三维模型融合方法，其特征在于，所述判断所述虚拟相机的视角下的目标点在当前选取的最接近的所述监控相机的视角下是否被遮挡的方法还包括：预设一偏移量，以判断所述第一深度值是否大于所述第二深度值与所述偏移量之和；若是，则判定为被遮挡；若否，则判定为未被遮挡。6.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，所述多个监控相机的内外参数、及视频数据是经过二进制格式处理后进行获取的。7.根据权利要求1所述的多路视频与三维模型融合方法，其特征在于，所述场景模型颜色贴图是依据所述三维场景模型得到的静态场景颜色