导盲方法、装置及可读存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115205384A(43)申请公布日2022.10.18(21)申请号202210722609.4(22)申请日2022.06.24(71)申请人中国科学院深圳先进技术研究院地址518000广东省深圳市南山区深圳大学城学苑大道1068号(72)发明人宋呈群程俊吴福祥郭海光高向阳(74)专利代理机构深圳中一联合知识产权代理有限公司44414专利代理师张菁华(51)Int.Cl.G06T7/73(2017.01)G06V20/00(2022.01)A61H3/06(2006.01)权利要求书2页说明书12页附图4页(54)发明名称导盲方法、装置及可读存储介质(57)摘要本申请适用于导盲技术领域，提供了一种导盲方法、装置及可读存储介质。该方法包括：通过摄像头获取第一图像序列，第一图像序列包括第一时刻的第一图像；根据第一图像序列，获取第一时刻的环境地图和摄像头在第一时刻的环境地图中的位姿信息；在第一图像中识别出第一物体，获取第一物体的语义信息和第一物体的掩膜；将第一物体的掩膜投射到第一时刻的环境地图中，获取第一物体的三维位置信息；根据摄像头在第一时刻的环境地图中的位姿信息和第一物体的三维位姿信息，获取摄像头和第一物体之间的相对位姿信息；播报相对位姿信息和第一物体的语义信息。本申请有益于帮助视障人士更准确地感知周围的环境，提高了导盲方法的可靠性。CN115205384ACN115205384A权利要求书1/2页1.一种导盲方法，其特征在于，包括：通过摄像头获取第一图像序列，所述第一图像序列包括第一时刻的第一图像；根据所述第一图像序列，获取所述第一时刻的环境地图和所述摄像头在所述第一时刻的环境地图中的位姿信息；在所述第一图像中识别出第一物体，获取所述第一物体的语义信息和所述第一物体的掩膜；将所述第一物体的掩膜投射到所述第一时刻的环境地图中，获取所述第一物体的三维位置信息；根据所述摄像头在所述第一时刻的环境地图中的位姿信息和所述第一物体的三维位置信息，获取所述摄像头和所述第一物体之间的相对位姿信息；播报所述相对位姿信息和所述第一物体的语义信息。2.根据权利要求1所述的方法，其特征在于，所述第一时刻的环境地图包括多个特征点；所述将所述第一物体的掩膜投射到所述第一时刻的环境地图中，获取所述第一物体的三维位置信息，包括：将所述第一物体的掩膜投射到所述第一时刻的环境地图中，在所述多个特征点中获取所述掩膜对应的目标特征点；根据所述目标特征点的三维位置信息，得到所述掩膜的中心在所述第一时刻的环境地图中的三维位置信息，并确定为所述第一物体的三维位置信息。3.根据权利要求2所述的方法，其特征在于，获取所述第一物体的掩膜，包括：根据所述第一物体的语义信息，在所述第一物体上生成所述第一物体的掩膜；所述第一物体的掩膜的区域大小和形状与所述第一物体的类型相关。4.根据权利要求1‑3中任一项所述的方法，其特征在于，所述相对位姿信息包括所述摄像头和所述第一物体之间的相对距离和相对角度；所述播报所述相对位姿信息和所述第一物体的语义信息，包括：若所述相对距离在预设距离范围内，或者，所述相对角度在预设角度范围内，则播报所述相对位姿信息和所述第一物体的语义信息。5.根据权利要求1‑3中任一项所述的方法，其特征在于，所述方法还包括：通过摄像头获取第二图像序列，所述第二图像序列包括第二时刻的第二图像，所述第二时刻位于所述第一时刻之后；根据所述第二图像序列和所述第一时刻的环境地图，获取第二时刻的中间环境地图和所述摄像头在所述中间环境地图中的位姿信息；将所述中间环境地图中所述摄像头周围预设范围的部分确定为所述第二时刻的环境地图。6.根据权利要求1‑3中任一项所述的方法，其特征在于，所述根据所述第一图像序列，获取所述第一时刻的环境地图和所述摄像头在所述第一时刻的环境地图中的位姿信息，包括：通过IMU获取第一数据；根据所述第一数据和所述第一图像序列，通过SLAM方法获取所述第一时刻的环境地图和所述摄像头在所述第一时刻的环境地图中的位姿信息。2CN115205384A权利要求书2/2页7.根据权利要求1‑3中任一项所述的方法，其特征在于，还包括：接收超声波检测装置发送的障碍物信息；所述超声波检测装置用于检测所述摄像头前方是否有障碍物，所述障碍物信息包括所述摄像头与所述障碍物之间的距离；播报所述障碍物的信息。8.一种导盲装置，其特征在于，包括：获取模块、地图构建模块、物体识别模块、投影模块、确定模块和播报模块；所述获取模块，用于通过摄像头获取第一图像序列，所述第一图像序列包括第一时刻的第一图像；所述地图构建模块，用于根据所述第一图像序列，获取所述第一时刻的环境地图和所述摄像头在所述第一时刻的环境地图中的位姿信息；所述物体识别模