基于图像认知的交互式智能导盲车设计与实现.docx

基于图像认知的交互式智能导盲车设计与实现冯廷浩摘要：本文将介绍一种结合了实时的图像识别技术和人机语音交互的能够辅助视觉障碍者外出的智能导盲系统，主要提出一种准确识别交通灯的图像处理方式和较为全面的智能导盲系统的的功能设计与组合方式。硬件方面将基于树莓派配合红外线传感器，超声波传感器实现（获取路面信息）图像信息的传递与处理和对行走的控制基本功能等，软件方面将使用opencv作为图像处理的平台。关键词：交通灯识别;导盲;语音交互一、介绍目前，在中国，中国盲人数量约为1730万人，且约有30%的盲人基本不会出门，而训练一只导盲犬大概要花费10万至20万元人民币且一个基地一年仅能培养出3到5只导盲犬，造成盲人的生活种的不便。所以，我们意在设计一种可以实现类似于导盲犬的功能的智能导盲车。对于一个智能导盲车，我们设计的重点在于对交通灯的及时、准确的识别。我们对交通灯的识别分为两个步骤，先使用opencv的基于haar特征的级联分类器进行寻来你，然后对交通灯的识别和框选，获取roi区域，再对该部分进行色彩空间转hsv，高斯模糊，膨胀腐蚀等预处理，以降低被其他背景颜色干扰的可能，从而增大识别精度，并判断颜色，以上过程在两个树莓派上实现。二、相关工作交通灯检测已被研究和开发用于众多研究和应用。在常规交通信号灯检测，TL的候选集通常是由颜色和形状信息[1]，[2]，[3]，[4]生成。然后通过跟踪和空间信息修剪此集合，在确定TL状态之前。例如在由Hak等人的工作中。[10]在HSV空间，然后根据形状和形状进行修剪时序信息。同样，Omachi等人[11]，生成归一化RGB颜色空间中的候选集，以及使用边缘和对称性信息修剪集合。在另一方面，deCharette等。[3]他们通过识别亮点从灰度图像进行设置，并使用自适应模板匹配（ATM）方案来识别TL状态。类似于这种方法，，Gong等人[2]生成候选区域使用颜色分割和形态学处理，在使用Adaboost算法执行检测之前。三、方案的实现1.基本组成及外观设计我们设计的智能导盲车的组成和外观如上图所示外观上，导盲车的驱动依靠一根推杆连接，滑轮使用万向轮，保证导盲车的位置完全受盲人控制，摄像头呈斜向上方向，据统计，中国的主干道、次干道、支路的路宽d的范围为18-40米，而人行道交通灯的高度h约为2.5m，从而可以计算摄像头的倾斜角度为，因此摄像头的角度固定为5°，可根据盲人经常走的道路对应的角度随时进行调节;组成上，以树莓派作为所有模块运行、处理的核心，超声波传感器针对平行方向障碍的检测，红外传感器针对地面的坑洼和障碍的检测，保障盲人在日常的道路行走过程中不会碰到障碍，相比于这些传统的基本的障碍检测，我们在另一块树莓派上实现了对日常行走过程中对交通信号灯的较为及时、准确的检测，尽可能模拟或超过导盲犬的功能从而辅助盲人的日常生活。2.超声波模块与红外模块红外模块具有最大探测距离（25厘米左右），红外模块的接收采用的是漫反射的方式，模块在使用时收发头的周边不要有其它的物体遮挡，从而减小周边物体对模块的干扰。红外模块安装在装置前底部，实时的检测与地面的距离，当相对距离大于5cm是判定为路面有坑，相对距离小于-5cm判定路面有石头。超声波模块，HC-SR04超声波测距模块可提供2cm-400cm的非接触式距离感测功能，测距精度可达高到3mm。最远探测距离4m。测量角度15度。超声波模块安装在装置正前方，实时的检测前方障碍物，当距离小于3m时判定前方有障碍物。3.交通灯识别算法与实现通过卷积神经网络（CNN）或某些方式直接从图片中捕捉并识别交通灯颜色在较为复杂的交通路口会有圆形对交通灯识别的干扰和某些颜色相近的物体对颜色识别的干扰，易将某些颜色相近的物体错误的识别为目标物体，所以我们将交通灯颜色识别的过程分为两个部分：第一部分，关于交通灯识别的训练，opencv已经提供了一个级联分类器（traincascade），我们采用它进行训练。这个级联分类器的工作原理[4]是首先在图像中找到目标物体（如果存在的话）并在该目標物体周围创建一个圆圈，向用户表明它确实找到了。一旦找到了潜在的目标物体之后，系统能够扫描该区域并将其与数据库进行比较，确定那里实际上是否存在目标物体。已经确认后，我们可以开始研究圆圈内的内容并使用该信息确定交通灯的颜色。对于这个特定的实验，我们选择对交通灯检测使用基于haar特征的级联分类器。这个分类器受过各种各样正负图像样本的训练。使用上图所示的1300张正样本和2000张负样本进行训练并得到xml文件，然后使用训练好的分类器对交通灯的整体进行识别并框选出原图片中交通灯的部分;第二部分，对框选出的图像进行颜色识别：首先选择颜色阈值，经过多组图片的测试我们对红、绿两个颜色设置了较为适合的HSV阈值：红色的阈值为：