一种基于视觉导航的水田农用底盘无人驾驶系统.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114495033A(43)申请公布日2022.05.13(21)申请号202111578234.0G06V10/25(2022.01)(22)申请日2021.12.22G05D1/02(2020.01)A01C11/00(2006.01)(71)申请人华南农业大学地址510642广东省广州市天河区五山路483号(72)发明人杨丹彤陈惠明岳学军郑丁科黄燕娟黄世醒戴久祥马宇翔张畅冉王雪斐靳晓虎王一鸣李会许行行郑健林安星宇蔡雨霖林泳达康高碧时浩文(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师冯炳辉(51)Int.Cl.G06V20/56(2022.01)权利要求书2页说明书5页附图4页(54)发明名称一种基于视觉导航的水田农用底盘无人驾驶系统(57)摘要本发明公开了一种基于视觉导航的水田农用底盘无人驾驶系统，包括摄像头、PC端、上位机和下位机；摄像头与上位机相连，用于查看实时画面；PC端作为上位机的显示器，显示摄像头传输过来的界面；上位机集成有一个目标跟踪模块，并通过串口与下位机相连；下位机从上位机接收到的指令控制水田农用底盘；目标跟踪模块是实现水田农用底盘自主导航作业的控制决策核心，其能够框选出目标物，再根据目标矩形框与摄像头的视野正中心作差，得到偏移量的正负，最后利用PID算法根据偏移量的正负来控制水田农用底盘的电动方向盘，且当目标物跟踪失败时，控制水田农用底盘的制动系统。该系统可以减少劳动力，实现水田农用底盘自动转向，提高作业效率。CN114495033ACN114495033A权利要求书1/2页1.一种基于视觉导航的水田农用底盘无人驾驶系统，所述水田农用底盘需配置有一个电动方向盘，其特征在于，该系统包括有分别安装在水田农用底盘上的摄像头、PC端、上位机和下位机；所述摄像头与上位机相连，用于查看实时画面；所述PC端作为上位机的显示器，显示摄像头传输过来的界面；所述上位机集成有一个目标跟踪模块，并通过串口与下位机相连，该上位机将目标跟踪模块处理的结果通过串口通信传输到下位机；所述下位机从上位机接收到的指令控制水田农用底盘；其中，所述目标跟踪模块是实现水田农用底盘自主导航作业的控制决策核心，该目标跟踪模块能够框选出目标物，形成目标矩形框，再根据目标矩形框与摄像头的视野正中心作差，得到偏移量的正负，最后利用PID算法根据偏移量的正负来控制水田农用底盘的电动方向盘，且当目标物跟踪失败时，控制水田农用底盘的制动系统，从而实现水田农用底盘的无人驾驶。2.根据权利要求1所述的一种基于视觉导航的水田农用底盘无人驾驶系统，其特征在于，在所述目标跟踪模块中，识别目标的中心位置(X1，Y1)，将目标的中心位置与摄像头的视野正中心作差，得到目标的偏移量X1‑X，其中摄像头的视野正中心为PC端显示的视频界面中心，设该位置为(X，Y)；若偏移量为正，则说明目标位于水田农用底盘右侧，若偏移量为负，则说明目标位于水田农用底盘左侧，偏移量的绝对值越大，则说明目标距离水田农用底盘的偏移越大。3.根据权利要求1或2所述的一种基于视觉导航的水田农用底盘无人驾驶系统，其特征在于，所述目标跟踪模块具体执行以下操作：S1、获取水田农用底盘前方的目标物，并框选出来；具体过程是：在启动系统后，实时获取水田农用底盘前进方向的视频图像，并在PC端上显示视频界面，在PC端上点击选择目标物按钮，然后框选出水田农用底盘前方的目标物；S2、输入初始化目标框，将其输入至SiamRPN算法中，得到目标物的下一帧矩形框；具体过程是：在框选出目标物后，输入进Siamese网络中进行特征提取，然后将特征输入进RPN网络中预测目标的位置和置信度，取出置信度最高的矩形框中点为新中点，对上一帧目标的宽高和置信度最高的矩形框的宽高进行运算得到新的宽高，使用新的中心点和宽高作为当前帧的矩形框；S3、将返回的矩形框中心与摄像头的视野正中心作差，返回偏移量，根据偏移量的正负来判断目标位于水田农用底盘的哪侧，并发送指令给下位机；具体过程是：摄像头的视野正中心为PC端显示的视频界面中心，视频界面是一个固定的值，经过运算获取其中心点坐标(X，Y)，对获取到的矩形框经过运算获取其中心点坐标(X1，Y1)，其偏移量等于X1‑X，若偏移量在允许的偏移范围内，就会给下位机传达直行的指令，若偏移量为正，下达给水田农用底盘右转的指令，若偏移量为负，下达给水田农用底盘左转的指令，从而实现水田农用底盘的自动转向功能。4.根据权利要求3所述的一种基于视觉导航的水田农用底盘无人驾驶系统，其特征在于，当目标物跟踪失败的时候，矩形框将会消失，然后启动查询功能，增大查询的面积，直到找到置信度高于设定值的候选框，将会对它进行重新识别，重新返回矩形框；具体过