一种穿戴式智能感知导盲系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112932910A(43)申请公布日2021.06.11(21)申请号202110098969.7(22)申请日2021.01.25(71)申请人杭州易享优智能科技有限公司地址311101浙江省杭州市余杭区乔司街道永西村5组7号1015(72)发明人刘宇红李伟斌付建伟张荣芬胡国军(74)专利代理机构北京众合诚成知识产权代理有限公司11246代理人刘妮(51)Int.Cl.A61H3/06(2006.01)G05B19/042(2006.01)权利要求书2页说明书8页附图5页(54)发明名称一种穿戴式智能感知导盲系统(57)摘要本发明公开一种穿戴式智能感知导盲系统,包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。CN112932910ACN112932910A权利要求书1/2页1.一种穿戴式智能感知导盲系统,其特征在于：包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。2.根据权利要求1所述的穿戴式智能感知导盲系统，其特征在于，所述MCU主控单元为XavierNX主控板，在所述XavierNX主控板中部署深度学习障碍物检测与识别算法和双目测距算法以及视障人士行走通道识别以及导航与避障算法。3.根据权利要求1所述的穿戴式智能感知导盲系统，其特征在于，所述MCU主控单元通过V4L2来实现双目摄像头的拍摄，首先使用V4L2获取双目摄像头参数，检测双目摄像头支持的格式，使用VIDIOC_S_FMT设置驱动的频捕获模式并计算其大小；然后申请帧缓冲数量为1，在内存中建立对应空间，通过mmap建立映射关系，将申请到的缓冲送入队列并开始捕捉图像。4.根据权利要求3所述的穿戴式智能感知导盲系统，其特征在于，由于拍摄的图像格式为YUYV，该格式较大且不便于传输及查看，因此对其进行格式转换，首先将YUYV转换为RGB格式，再使用JPEG压缩为jpg格式，最后保存图像，解除内存映射空间。5.根据权利要求2所述的穿戴式智能感知导盲系统，其特征在于，所述双目测距算法根据视差原理模拟人类的双眼，通过左右视图获取目标的三维信息，具体步骤如下：步骤一：使用未标定的双目摄像头拍摄20对左右视图数据，以完成相机的标定和立体校正；步骤二：校正信息保存为OpenCV的yml文件；步骤三：标定完成后，直接拍摄左右视图并使用BM算法测距，每次测距时，模块初始化，读取包含校正信息的yml文件，进行立体匹配获取深度图；步骤四：待障碍物检测识别算法计算后，将检测框坐标与深度图匹配，选取检测框中心点位置输出距离信息；步骤五：将深度图平均分为三个像素区域，分别为左前方、前方、右前方，并根据检测框中心点所在像素位置确定方位，输出目标的方位信息。6.根据权利要求2所述的穿戴式智能感知导盲系统，其特征在于，所述深度学习障碍物检测与识别算法以Darknet‑YOLOv3为框架，并基于GoogleNet的卷积神经网络，采用Darknet‑53作为特征提取主干网络。7.根据权利要求2所述的穿戴式智能感知导盲系统，其特征在于，视障人士行走通道识别以及导航与避障算法的实现步骤为：步骤一：运用机器视觉和人工智能技术对环境进行3D建模，所述3D建模的模型地图为包括有九个有效区域的九方格地图，将九方格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始方格，每一个有效区域的方格的边长