一种移动型导盲机器人系统及导盲方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111609851A(43)申请公布日2020.09.01(21)申请号202010465070.X(22)申请日2020.05.28(71)申请人北京理工大学地址100081北京市海淀区中关村南大街5号(72)发明人戴亚平王笑涵赵乾(74)专利代理机构北京正阳理工知识产权代理事务所(普通合伙)11639代理人邬晓楠(51)Int.Cl.G01C21/16(2006.01)G01S17/93(2020.01)G01S17/86(2020.01)G01S17/08(2006.01)A61H3/06(2006.01)权利要求书3页说明书9页附图3页(54)发明名称一种移动型导盲机器人系统及导盲方法(57)摘要本发明涉及一种移动型导盲机器人系统及导盲方法，属于残疾人辅助设备领域。本发明能够实时的进行非结构化环境下的多源融合感知及智能评估，进而将评估结果提供给复杂环境约束下的决策规划模块进行运算，不仅能实现实时环境感知，同时可进行实时决策，实现全自主的路径引导。能够基于多源融合进行路面评估，从材质和平坦性两个维度对路面进行融合评估，获得更为全面的信息。当前的代表性方案普遍使用语义分割技术判别可行路面，通过RGB-D数据，融合平坦度检测和材质检测，能为盲人更好更全面的探测和评估路面可通行性。CN111609851ACN111609851A权利要求书1/3页1.一种移动型导盲机器人导盲方法，其特征在于：包括如下步骤：步骤一、采集训练数据；拍摄采集多张周围环境图片，构成图集D；并通过人工标注每张数据的内容轮廓；步骤二、构建识别网络；在图像集D基础上进行迁移学习，得到材质判别模型，之后进行修剪、量化和霍夫曼编码，将材质判别模型压缩并通过TensorRT工具优化材质判别模型的算力消耗，同时对每类材质赋予惩罚值l，得到材质惩罚系数表，再将判别模型和材质惩罚系数表一并存储在机器人系统中；所述惩罚值表示对系统在该材质上运动的拒绝程度；步骤三、材质检测以及材质评分；材质检测：在运行模式下，传感器将获取的深度相机和彩色相机数据帧分别发送给步骤二所得的判别模型；利用判别模型得到像素坐标系下的材质信息M；所述材质信息M元素格式为(u，v，C)，u表示x轴方向像素坐标；v表示y轴方向像素坐标；C表示材质类别；材质评分：为将其与世界坐标系下点云建立联系，切取世界坐标系中机器人正前方1m*1m区域，由其中的点计算对应的像素坐标其中Twc为世界坐标到相机坐标变换阵，由惯性测量单元(IMU)读取得到，Cm为相机矩阵，由传感器预先标定得到；由在M中查询对应的材质类别，按步骤二预定义的惩罚值替换材质类别C，得到材质损失Lmaterial，Lmaterial元素格式为(x，y，z，l)，x，y，z表示世界坐标系下坐标；l表示惩罚值；步骤四、基于点云平面拟合的平坦型检测；1)通过深度相机的深度点云信息获取实时路面点云数据；将数据转换为PCL点云处理库的PointCloud2数据类型，使用聚类型点云滤波器进行异常点补偿和点云滤波；2)对滤波后的点云数据进行随机采样一致性评估，获得拟检测地平面的参数，进而得到估计平面；计算点云集中每一点到此平面的欧氏距离di，并按下式计算对应的li，进而得地平面平坦性描述T，T＝{l1，l2，...lN}；上式中，均值σ为敏感度阈值；选取T中位于世界坐标系中机器人正前方1m*1m区域的点构成集合，记为平坦损失Lterrian；步骤五、2.5维栅格地图融合；将步骤四得到的Lterrian和步骤三得到的Lmaterial相加得总损失Lmerge，Lmerage向步骤四得到的估计平面投影，并栅格化；对每个栅格进行如下操作：无映射点的栅格记惩罚值为无穷大；存在多映射点的栅格取最大惩罚值，从而得到2.5维栅格地图，将栅格地图发布为ROS消息，提交给规划模块处理；步骤六、全局路径规划；即路网级规划，通过调用百度地图或高德地图API实现，其决策结果为一个路网级的轨迹参考线；步骤七、两步法进行局部路径规划；第一步、局部路径规划粗生成；在步骤五得到的栅格地图的信息基础上，暂不考虑行人2CN111609851A权利要求书2/3页这类高动态非合作目标的避碰约束，利用经典路径规划技术拟定初始局部规划的参考轨迹集第二步、局部路径规划细生成；在初始参考轨迹集的基础上考虑剩余约束要求和优化指标，生成最终的决策轨迹τ，进而由控制器生成具体的决策序列A0：T；考虑控制时间片[t0，tf]，设为处于导盲机器人领域中的Nnearby个行人在t时刻的状态向量，其中Px，Py，为位置、Vx，Vy为速度，θb，为躯干的方向角，θh为头部的方向角；容许控制ut＝[rls，rrs]；rls为机器人左轮转速，rrs为机