一种三维视频融合标定及实时渲染的方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115641379A(43)申请公布日2023.01.24(21)申请号202211219259.6(22)申请日2022.09.30(71)申请人中国人民解放军93114部队地址100195北京市海淀区闵航路29号院(72)发明人黄文广王庆刘晓晨魏勋苏国伟温珂魏登武李金朋乔艳江(74)专利代理机构北京艾纬铂知识产权代理有限公司16101专利代理师吴亚兰(51)Int.Cl.G06T7/80(2017.01)G06T15/00(2011.01)G06T15/04(2011.01)G06T19/20(2011.01)权利要求书3页说明书9页附图4页(54)发明名称一种三维视频融合标定及实时渲染的方法及装置(57)摘要本发明公开了一种三维视频融合标定及实时渲染的方法及装置，所述方法包括：获取视频帧图像，进行畸变校正，保存进行畸变校正的畸变参数；分别在所述视频帧图像及所述视频帧图像对应三维场景的画面位置中选取多个特征点，对所述视频帧图像与所述三维场景的画面位置进行配准；获取拍摄所述视频的相机的初始内参，通过优化求解的方式，求出最优内参；基于所述最优内参，确定所述相机相对世界坐标系原点的旋转、平移向量；确定所述相机在三维场景中的世界坐标和旋转角度，将畸变校正后的图像以纹理投影的方式，投影到所述三维场景的画面位置对应的三维面片上。本方法即使在内参模板差别较大的情况下，也可以快速找到合适的内参，保证了投射的准确性。CN115641379ACN115641379A权利要求书1/3页1.一种三维视频融合标定的方法，其特征在于，包括如下步骤：步骤S11：获取视频帧图像，对所述视频帧图像的径向畸变进行畸变校正，保存进行畸变校正的畸变参数；步骤S12：获取与所述视频帧图像对应的三维场景的画面位置，分别在所述视频帧图像及所述三维场景的画面位置中选取多个特征点，对所述视频帧图像与所述三维场景的画面位置进行配准；步骤S13：获取拍摄所述视频的相机的初始内参，通过优化求解的方式，求出最优内参；基于所述最优内参，确定所述相机相对世界坐标系原点的旋转、平移向量；所述初始内参为Fx、Fy、U0，V0，其中，Fx、Fy分别为相机X、Y方向上的焦距，(U0,V0)为所述视频帧图像的中心，(U0,V0)的初始取值为(视频帧图像宽*0.5，视频帧图像高*0.5)；步骤S14：确定所述相机在三维场景中的世界坐标和旋转角度，将畸变校正后的图像以纹理投影的方式，投影到所述三维场景的画面位置对应的三维面片上。2.如权利要求1所述的方法，其特征在于，在所述步骤S14之后，还包括：步骤S15：确定融合方式，若为单点融合，对所述三维场景的画面位置对应的三维面片进行裁切处理；若为多点融合，对所述三维场景的画面位置对应的三维面片的接缝进行裁切处理以及色差校正处理；步骤S16：保存处理后的三维面片，将所述三维面片的所有顶点坐标与畸变校正后的图像的纹理坐标建立一一对应关系，保存带有所述对应关系的三维面片；其中，三维面片是指保存有所有顶点坐标与畸变校正后图像的纹理坐标的一一对应关系的输出的obj或fbx格式的文件。3.如权利要求1‑2中任一所述方法，其特征在于，所述步骤S13，所述通过优化求解的方式，求出最优内参，包括：步骤S131：获取视频帧图像中的多个特征点，以及与所述视频帧图像对应的三维场景的画面位置中的多个特征点；获取拍摄所述视频的相机的初始内参；步骤S132：基于solvePnP算法，确定拍摄所述视频的相机的旋转平移向量；步骤S133：确定所述相机在世界坐标中的位置以及相对于世界坐标系原点的旋转角度；步骤S134：基于所述相机的位置和旋转角度，确定三维场景的画面位置中的多个特征点投影到所述视频帧图像的最小重投影误差；其中，对所述三维场景的画面位置中的每个特征点：由世界坐标转换为相机坐标，再根据相机内参得到所述视频帧图像中的像素坐标与视频帧图像中对应的特征点的像素坐标之间的第一误差；将全部特征点第一误差的平方和累加进行开方运算，得到全部特征点的L2范数，再对所述全部特征点的L2范数求均值，即为所述最小重投影误差，计算公式如下：其中，ξ表示所述最小重投影误差，n为特征点的个数，i为第i个特征点，(xi,yi)为第i个特征点经过投影转换计算得到的所述视频帧图像中的像素坐标，(x′i，y′i)为视频帧图像中2CN115641379A权利要求书2/3页第i个特征点的像素坐标；步骤S135：若相邻两次最小重投影误差差值小于0.00001，则方法结束；否则，更新所述相机的初始内参，进入步骤S132；其中，内参的更新方式为预设第一移动步长Delta1、第二移动步长Delta2及移动方向，所述移动方向为增加或减小，如果当前的相邻两次最小重