一种基于智能盲杖的室内导盲系统及导盲方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115887186A(43)申请公布日2023.04.04(21)申请号202111160665.5(22)申请日2021.09.30(71)申请人同济大学地址200092上海市杨浦区四平路1239号(72)发明人刘儿兀王杰(74)专利代理机构上海科律专利代理事务所(特殊普通合伙)31290专利代理师叶凤(51)Int.Cl.A61H3/06(2006.01)A61F9/08(2006.01)G06V20/10(2022.01)G06V10/56(2022.01)G06V10/80(2022.01)权利要求书4页说明书9页附图4页(54)发明名称一种基于智能盲杖的室内导盲系统及导盲方法(57)摘要本发明涉及导盲技术领域，提出了一种基于智能盲杖的室内导盲系统及导盲方法。一种智能盲杖系统，其特征在于，包括：左振动模块、右振动模块、轮子、超声波避障模块、编码器、摄像头、中央处理模块、IMU模块；所述中央处理模块用于对信息的处理以及决策，包括图像识别及导航模块、多传感器融合定位模块、最新时刻位置定位模块；使用多传感器融合算法获得室内定位信息。本发明可解决视障者室内出行问题，由于借助于轮式的导盲杖，可用编码器获取精确的行走距离，在长距离范围内，也可达到亚米级的定位精度，满足视障者的出行要求。CN115887186ACN115887186A权利要求书1/4页1.一种智能盲杖系统，其特征在于，包括：左振动模块1、右振动模块2、轮子3、超声波避障模块4、编码器5、摄像头6、中央处理模块7、IMU模块8；所述左振动模块1和右振动模块2分别内嵌在智能盲杖上部两侧，视障者使用盲杖手握手柄的时候，左振动模块1和右振动模块2根据左转或右转的角度给盲人一个振动反馈；所述轮子3，为双轮结构，安装于智能盲杖底部，为盲杖提供一个左右的固定平衡，防止摄像头左右摆动；所述超声波避障模块4，用于检测前方一定距离范围内的障碍物；所述编码器5，在结构上与轮子耦合，轮子转动会带动编码器转动并产生脉冲，用于计算里程；所述摄像头6，安装于盲杖上，且与盲杖的连接上可活动，使得摄像头在重力作用下一直垂直向下状态，不会因盲杖上下运动导致摄像头视线的前后偏移；所述惯性测量单元(IMU)用于融合定位和角度判断；所述中央处理模块用于对信息的处理以及决策，包括图像识别及导航模块、多传感器融合定位模块、最新时刻位置定位模块，其中：所述图像识别及导航模块，用于当视障者推动智能盲杖行走时，摄像头6采集地面上的盲道图像，并计算出前进的方向；具体的，所述图像识别及导航模块，包括图像预处理模块、小区域滤除模块、中线拟合模块、转角获取模块、振动反馈；所述图像预处理模块，根据室内盲道颜色特征将图像转换为HSV颜色空间描述，并提取出S通道图，采用迭代法计算出全局的最佳阈值进行图像分割，之后用中值滤波滤除微小的环境噪声；所述小区域滤除模块，利用区域生长方法设置合理的区域生长半径及种子点，对生长后的像素点数量多少进行排序，选择最大的区域，则滤除了周围的小区域；所述中线拟合模块，采用改进的灰度重心法，并根据室内盲道宽度设置合理的上下阈值约束，计算出部分室内盲道部分的中点，然后使用改进的最小二乘法对上述中点进行直线拟合，具体的，在中点参与直线拟合前先对该点进行判断，如该点与其它点具有较大偏差，则舍弃，提高拟合直线的精度；所述转角获取模块，根据中线的位置和图像的基线，计算出夹角的大小θ；所述振动反馈模块，获得转角度数θ后，根据转角大小和方向触发左/右振动模块振动，视障者通过振动模块振动的强度和持续时间来调整行走方向，另外所述振动反馈模块设置一个角度阈值，小于此阈值则振动模块不振动，防止振动反馈系统过于灵敏；所述多传感器融合定位模块，设置合适的中断定时器时间，这段时间内，通过编码器、IMU和摄像头分别获得走过的距离，因为在长距离上三者都会存在累计的误差或偏差，于是采用三者进行融合定位，采用动态滤波融合算法计算出定时器内的走过的精确路程信息L；具体的，所述多传感器融合定位模块，该模块算法为：轮子向前运动会带动编码器转动产生脉冲信息，在结合轮子半径计算出定时器时间内走过的距离，如公式1所示其中L1为轮子前进的距离，n为采集到的编码器的脉冲数，N为轮子转一周得到的脉冲数，r为轮子的半径；通过IMU传感器中加速度计经过两次积分得到位置，陀螺仪积分得到姿态方向，通过加2CN115887186A权利要求书2/4页速度计和陀螺仪组合的方式二次积分便得到位置，但IMU存在漂移误差，假设定时器内计算走过的距离为L2；假设X轴方向即为前进方面，则2L2＝∫∫axdt式中ax为加速度计x轴方向的加速度值；使用摄像头获取地面的图像帧数据，具体的有以下关系成立：I(x，y，t)＝I