基于双目视觉与光流融合的无人机避障方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106681353A(43)申请公布日2017.05.17(21)申请号201611069481.7(22)申请日2016.11.29(71)申请人南京航空航天大学地址210016江苏省南京市秦淮区御道街29号(72)发明人张天翼杨忠胡国雄韩家明张翔沈杨杨(74)专利代理机构南京经纬专利商标代理有限公司32200代理人姜慧勤(51)Int.Cl.G05D1/10(2006.01)G06T7/70(2017.01)G06T7/564(2017.01)权利要求书2页说明书6页附图3页(54)发明名称基于双目视觉与光流融合的无人机避障方法及系统(57)摘要本发明公开了基于双目视觉与光流融合的无人机避障方法及系统，该方法通过机载双目摄像机实时获得图像信息；利用图形处理器GPU获得图像深度信息；利用获得的深度信息提取最具威胁障碍物的几何轮廓信息并通过威胁深度模型计算其威胁距离；通过对障碍物几何轮廓信息的矩形拟合获得障碍物追踪窗口并计算出障碍物所属区域的光流场以获得障碍物相对于无人机的速度；飞控计算机根据计算出的障碍物距离信息、几何轮廓信息和相对速度信息发出规避飞行动作指令以躲避障碍物。本发明将障碍物的深度信息与光流矢量进行有效融合，实时获得障碍物相对于无人机的运动信息，提高了无人机快速视觉避障的能力，其实时性、准确性相较于传统算法都有较大的提升。CN106681353ACN106681353A权利要求书1/2页1.基于双目视觉与光流融合的无人机避障方法，其特征在于，包括如下步骤：步骤1，利用双目摄像机获取无人机前进方向上的图像，并对图像做灰度变换；步骤2，计算灰度变换后图像上各像素点的特征信息并进行立体匹配，得到无人机前进方向上的深度图信息；步骤3，将深度图中的深度值分为属于障碍物或属于背景的深度值两类，将深度图分为障碍物区域和背景区域，将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓，并用矩形框对其进行拟合，得到障碍物追踪窗口作为障碍物的几何信息；步骤4，利用稠密光流法计算障碍物追踪窗口滑动的速度矢量，得到该窗口在x,y方向上的速度并根据速度判断下一帧图像障碍物追踪窗口的位置，将判断的位置与下一帧实际计算出的障碍物追踪窗口位置进行比较，若两者之间的差值小于阈值，则进行步骤5，否则，返回步骤1重新计算；步骤5，利用深度威胁模型计算障碍物对于无人机的威胁深度值；步骤6，将步骤3计算出的障碍物几何信息与步骤4计算出的障碍物速度信息从像素坐标转化为世界坐标，并利用无人机的运动参数进行校正；步骤7，将障碍物位置信息与步骤6得到的几何、速度信息发送至无人机的飞控计算机中，飞控计算机根据上述信息控制无人机做出实时规避动作。2.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，步骤1所述利用双目摄像机获取无人机前进方向上的图像的具体过程为：将双目摄像机安装于无人机的机头部位，通过标定方法获得双目摄像机的内外参数矩阵及畸变参数，利用双目摄像机获取无人机前进方向上的图像，并根据内外参数矩阵及畸变参数对图像进行校正，得到无畸变且行对准的两幅图像。3.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，所述步骤2的具体过程为：计算灰度变换后图像上各像素点上、下、左、右、左上、左下、右上、右下8个方向的能量函数并进行累加，求视差值使得累加后的能量函数最小化，根据视差值确定各像素点的深度值信息。4.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，步骤3所述将障碍物区域中闭合面积最大的轮廓作为障碍物轮廓之前，利用speckle滤波器对区分了障碍物区域和背景区域的深度图进行滤波，去除噪声。5.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，步骤3所述将深度图中的深度值分为属于障碍物或属于背景的深度值两类的具体过程为：设定分割阈值Dh，将深度值大于等于Dh的归类为属于障碍物的深度值，将深度值小于Dh的归类为属于背景的深度值，通过最大化障碍物与背景之间的方差求解Dh，方差计算公式为：其中，ω0、ω1分别为深度值被Dh分割为障碍物、背景深度值的概率，μ0、μ1分别为属于障碍物、背景的深度值的均值：2CN106681353A权利要求书2/2页其中，Di为离散的可信深度层，i＝1,…,t，t为深度层的数目，D1,…,Dh为属于障碍物的深度层，Dh+1,…,Dt为属于背景的深度层，Kj为各深度层中深度值的数目，j＝1,…,t。6.根据权利要求1所述基于双目视觉与光流融合的无人机避障方法，其特征在于，所述步骤5的具体过程为：设定属于障碍物的深度值集合为DK＝{d1,d2,…,dK}，d1,d2,…,dK均为深度值，K为属于障