基于感知的盲人导航方法和装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114608606A(43)申请公布日2022.06.10(21)申请号202210282793.5(22)申请日2022.03.22(71)申请人北京瞳新亮科技有限公司地址101204北京市平谷区马坊镇金河北街17号院2号楼16层1621(72)发明人郭立文苏振宇任思捷(74)专利代理机构北京科领智诚知识产权代理事务所(普通合伙)11782专利代理师陈士骞(51)Int.Cl.G01C21/36(2006.01)G01C21/34(2006.01)权利要求书2页说明书5页附图1页(54)发明名称基于感知的盲人导航方法和装置(57)摘要本发明公开一种基于感知的盲人导航方法和装置，其中方法包括：根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息；根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。CN114608606ACN114608606A权利要求书1/2页1.一种基于感知的盲人导航方法，其特征在于，包括：根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；将所述映射图像各物件的形状、大小和位置信息转换为电信号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点，n、m均为正整数。2.根据权利要求1所述的盲人导航方法，其特征在于，所述物件包括可作为地点和方向参考的车站、广场、突出建筑物、商场、医院和学校中的至少一种。3.根据权利要求1所述的盲人导航方法，其特征在于，所述映射图像的构建及更新方式如下：对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例确定物件的形状、位置和大小；连续采集所述行走路线上的环境图像，对当前环境图像与前一帧环境图像的相似程度进行比较，若连续的两帧图像的相似程度不低于设定阈值，则无需当前环境图像进行物件识别，若连续的两帧图像的相似程度低于所述设定阈值，则对当前环境图像进行物件识别，根据识别出的物件信息和当前所处的行走路线上的位置得到更新的映射图像。4.根据权利要求3所述的盲人导航方法，其特征在于，所述相似程度通过以下方式计算：通过滑动窗口将每帧图像按照预设的分区数进行分区，对于每帧图像的任一分区，计算其与另一帧图象对应分区的结构相似度，将两帧图像所有分区的结构相似度的平均值作为该两帧图像的相似程度。5.根据权利要求1所述的导航方法，其特征在于，在提示用户转向后，根据方向传感器实时检测用户的旋转角度，当用户旋转至提示的角度后，语音提示用户完成转向并前行。6.根据权利要求1所述的导航方法，其特征在于，所述电极片为柔性电极片。7.一种基于感知的盲人导航装置，其特征在于，包括：路径规划模块，被配置为根据用户初始位置、目的地位置和导航地图数据得到盲人导航路径信息，所述盲人导航路径信息包括行走路线、用于提醒盲人行走需要注意的路况信息和中途转弯信息；引导模块，被配置为根据用户的当前所处位置、朝向及所述盲人导航路径信息，语音引导用户按照所述行走路线前行，并实时采集所述行走路线导航路径上的环境图像和深度信息；环境映射模块，被配置为基于所述环境图像中识别出的物件信息、所述深度信息和所述行走路线融合得到当前环境场景的映射图像，所述映射图像包含各物件的形状、大小和位置信息；用户感知模块，被配置为将所述映射图像各物件的形状、大小和位置信息转换为电信2CN114608606A权利要求书2/2页号传送至贴设在用户皮肤上的电极片上，以使用户通过触觉感知到当前环境中各物件的形状、大小和位置信息，所述电极片上设置有n行m列电极点。8.根据权利要求1所述的盲人导航装置，其特征在于，所述映射图像的构建及更新方式如下：对所采集的周围环境图像进行预处理后识别得到环境中的物件信息，根据预先设定的比例