一种多源相机系统及RGBD配准方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112509023A(43)申请公布日2021.03.16(21)申请号202011461732.2G06T7/70(2017.01)(22)申请日2020.12.11(71)申请人国网浙江省电力有限公司衢州供电公司地址324000浙江省衢州市柯城区新河沿6号申请人北京隐山科技有限公司(72)发明人严伟雄杨谦许屹郑星华晓张晓汪勇周伟红许潜航杨永峰黄炎阶段凌霄何彬彬(74)专利代理机构杭州杭诚专利事务所有限公司33109代理人尉伟敏(51)Int.Cl.G06T7/35(2017.01)权利要求书1页说明书4页附图3页(54)发明名称一种多源相机系统及RGBD配准方法(57)摘要本发明涉及一种多源相机系统及RGBD配准方法，系统包括RGB图像采集模块、深度图像采集模块以及上位机，深度图像采集模块与上位机相连，RGB图像采集模块与上位机相连；方法包括采集多组标定板的RGB图像数据和深度图像数据；得到RGB相机的内外参数；把得到的RGB图像的内外参数作为输入，进行初始化；将深度图像转换到2D平面，选择ROI感兴趣区域，获得第一外参矩阵；对第一外参矩阵进行优化得到第二阶段的外参矩阵；输入需要配准的RGB图像和深度图像，利用第二外参矩阵得到渲染后的RGBD图像。本发明的优点是：使用灵活；深度图像采集模块结构简单，成本低，能够快速获取深度图像；RGB图像与深度图像的配准速度快、精度高。CN112509023ACN112509023A权利要求书1/1页1.一种多源相机系统，其特征是：包括RGB图像采集模块、深度图像采集模块以及上位机，所述RGB图像采集模块包括相连的RGB传感器单元和第一数据传输单元，所述深度图像采集模块包括TOF传感器单元、主动照明单元、处理器和第二数据传感器单元，所述处理器分别与TOF传感器单元、主动照明单元和第二数据传感器单元相连，所述深度图像采集模块通过第二数据传输单元与上位机相连，所述RGB图像采集模块通过第一数据传输单元与上位机相连。2.根据权利要求1所述的一种多源相机系统，其特征是：所述主动照明单元包括TOF镜头、照明板、传感器板和主控板，所述照明板、传感器板和主控板相互通信，所述TOF镜头和主动照明单元设置在照明板上，所述TOF传感器单元设置在传感器板上，所述处理器设置在主控制板上。3.根据权利要求2所述的一种多源相机系统，其特征是：所述TOF镜头上设有红外窄带通滤波光片。4.根据权利要求2所述的一种多源相机系统，其特征是：所述主动照明单元包括若干红外光源，所述红外光源设置在照明板上，红外光源的出光方向与TOF镜头方向相同。5.一种多源相机RGBD配准方法，用于权利要求1‑4任一项所述的多源相机系统，其特征是：包括以下步骤：S1：同时采集多组标定板的RGB图像数据和深度图像数据；S2：利用张正友标定得到RGB相机的内外参数；S3：把得到的RGB图像的内外参数作为输入，进行初始化；S4：将深度图像转换到2D平面，选择ROI感兴趣区域，获得第一外参矩阵；S5：对第一外参矩阵进行优化得到第二阶段的外参矩阵；S6：输入需要配准的RGB图像和深度图像，利用第二外参矩阵得到渲染后的RGBD图像。6.根据权利要求5所述的一种多源相机RGBD配准方法，其特征是：所述步骤S4包括以下步骤：S41：将输入的深度图像的深度值转换到给定的一组颜色，显示出带有色彩的二维平面图；S42：选择需要配准的深度图像距离范围，过滤掉超出范围的像素点；S43：利用标记工具选择感兴趣区域，计算选定误差值；S44：对所有标定的感兴趣区域计算得到深度图像的内外参数矩阵，即第一外参矩阵。7.根据权利要求6所述的一种多源相机RGBD配准方法，其特征是：所述步骤S5中利用鲁棒的总体最小二乘对第一外参矩阵进行优化得到第二外参矩阵。8.根据权利要求5所述的一种多源相机RGBD配准方法，其特征是：所述深度图像通过以下步骤采集：S01：所述主动照明单元发射连续波调制的红外光；S02：所述TOF传感器单元通过TOF镜头和红外窄带通滤光片接收目标表面漫反射的光束；S03：TOF传感器单元通过计算发射光与反射光的时间差或相位差获得场景原始深度相位数据。2CN112509023A说明书1/4页一种多源相机系统及RGBD配准方法技术领域[0001]本发明涉及图像采集领域，尤其涉及一种多源相机系统及RGBD配准方法。背景技术[0002]随着机器人导航、汽车自动驾驶以及虚拟现实等新兴技术的广泛应用，深度信息成像的优势日益突出。传统的二维成像通过透视投影变换将立体场景映射到二维平面，这种低维映射导致场景的深度信息丢失。而传统的红外深度图像则会导致场景的颜色信息丢失，不论是单独的传统的二维成像图像或是单独的