一种无人艇载无人机海空协同视觉跟踪与自主回收方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113657256A(43)申请公布日2021.11.16(21)申请号202110936703.5(22)申请日2021.08.16(71)申请人大连海事大学地址116026辽宁省大连市高新园区凌海路1号(72)发明人范云生孙涛李欣(74)专利代理机构大连东方专利代理有限责任公司21212代理人姜玉蓉李洪福(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K17/00(2006.01)G06T7/70(2017.01)G06F17/16(2006.01)权利要求书1页说明书6页附图5页(54)发明名称一种无人艇载无人机海空协同视觉跟踪与自主回收方法(57)摘要本发明公开了一种无人艇载无人机海空协同视觉跟踪与自主回收方法，包括：无人机采用摄像头利用深度学习的目标检测算法对无人艇进行搜索；采用机载摄像头对无人艇上设置的标识码进行识别；当机艇之间高度小于设定值h1，则启用艇载摄像头对无人机底端设置的标识码进行识别并获取无人机相对于艇载摄像头的相对位置信息ΔX、ΔY和高度H，将机载摄像头和艇载摄像头获取的相对位置信息进行数据融合，从而输出无人机调整飞行位姿的控制信息；基于无人机相对于无人艇的相对位置信息调整无人机的姿态使无人机跟随无人艇运动，缩小无人机相对于降落平台的二维平面上的误差，根据无人机相对于标识码的垂直距离，给定相应的下降速度控制无人机降落到标识码的正中心。CN113657256ACN113657256A权利要求书1/1页1.一种无人艇载无人机海空协同视觉跟踪与自主回收方法，其特征在于包括：跟踪阶段：无人机采用摄像头利用深度学习的目标检测算法对无人艇进行搜索，当在帧图像中识别到无人艇后，将无人艇所在图像中的位置初始化K‑CFTLD目标跟踪算法，利用K‑CFTLD目标跟踪算法获得目标在图像中的位置信息，从而对无人艇进行动态跟踪；下降阶段：当收到降落指令时，无人机下降到指定高度，采用机载摄像头对无人艇上设置的标识码进行识别，通过改进的标识码检测算法检测图片从而识别标识码，并获取无人机相对于艇端标识码的相对位置信息Δx、Δy和高度h，通过相对位置信息给定下降速度，使无人机不断靠近无人艇的降落平台；当机艇之间高度小于设定值h1，则启用艇载摄像头对无人机底端设置的标识码进行识别并获取无人机相对于艇载摄像头的相对位置信息ΔX、ΔY和高度H，将机载摄像头和艇载摄像头获取的相对位置信息进行数据融合，将高度h和高度H分配权重，对相对位置信息Δx、Δy、ΔX、ΔY进行判断决策获得无人机靠近无人艇阶段的视觉定位信息，从而输出无人机调整飞行位姿的控制信息；基于无人机相对于无人艇的相对位置信息调整无人机的姿态使无人机跟随无人艇运动，缩小无人机相对于降落平台的二维平面上的误差，根据无人机相对于标识码的垂直距离，给定相应的下降速度控制无人机降落到标识码的正中心。2.根据权利要求1所述的方法，其特征在于：在跟踪阶段，采用K‑CFTLD目标跟踪算法获得目标在图像中的位置时：对无人艇进行动态跟踪过程中，K‑CFTLD目标跟踪算法对无人艇视觉跟踪时，具有跟踪框包围无人艇，并根据无人艇在帧图像中所占的比例和位置，不断调整跟踪框的大小和位置，根据跟踪框在图像中的位置，计算跟踪框正中心与帧图像正中心的相对位置偏差Δx、Δy，以得到的偏差Δx、Δy为控制命令控制无人机在水平方向上的移动，实现对无人艇动态跟踪；在K‑CFTLD目标跟踪算法中设置跟踪自校正环节，当跟踪结果的置信度低于设定阈值时，重启深度学习的目标检测算法进行目标检测，再次初始化K‑CFTLD目标跟踪算法进行无人艇的动态跟踪。3.根据权利要求1所述的方法，其特征在于：在下降阶段，当机载摄像头识别到艇端标识码，将标识码所在图像中的位置信息初始化K‑CFTLD目标跟踪算法，当能识别到标识码时，根据无人机相对于艇端标识码的相对位置信息进行降落控制，当海面出现反光或标识码被部分遮挡时，采用K‑CFTLD目标跟踪算法对标识码进行跟踪控制。4.根据权利要求1所述的方法，其特征在于：通过改进的标识码检测算法检测图片从而识别标识码具体采用如下方式：当检测到标识码时框选出标识码所在的矩形边框，将检测到的标识码的位置作为初始位置，初始化K‑CFTLD目标跟踪算法进行视觉追踪，通过对标识码的识别进行角点检测，确认标识码的四个正方形顶点，求出标识码的正中心点和帧图像中心点在二维平面内的偏差Δx和Δy，以标识码的四个顶点作为特征点，将标识码平面转换到相机成像平面，在已知标识码的尺寸和标识码特征点的位置关系的前提下，根据PnP算法计算出相机外参矩阵旋转矩阵R和平移矩阵T，当得到旋转矩阵和平移向量后，经过坐标变换得