一种用于水面和水坑检测的盲人辅助眼镜.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108761843A(43)申请公布日2018.11.06(21)申请号201810532878.8(22)申请日2018.05.29(71)申请人杭州视氪科技有限公司地址310000浙江省杭州市余杭区五常街道五常大道181号9幢202-7(72)发明人杨恺伦程瑞琦汪凯巍(74)专利代理机构杭州求是专利事务所有限公司33200代理人黄欢娣邱启旺(51)Int.Cl.G02C11/00(2006.01)G06K9/00(2006.01)G06T7/11(2017.01)G06N3/04(2006.01)A61H3/06(2006.01)权利要求书2页说明书5页附图5页(54)发明名称一种用于水面和水坑检测的盲人辅助眼镜(57)摘要本发明公开了一种水面和水坑检测的盲人辅助眼镜。利用两个彩色相机和两个线偏振片采集图像，利用小型处理器对采集的图像进行处理，输出图像中水面的区域。该方法能够同时检测大型水面和小型路面水坑，具有统一性高，实时性高，不需要特定假设的优点，可以很好地满足视障人士在出行中避开水面和水坑的要求。CN108761843ACN108761843A权利要求书1/2页1.一种水面和水坑检测的盲人辅助眼镜，其特征在于，包括眼镜本体，嵌入式安装在其中一个镜腿内的小型处理器和电池模块，固定在镜框上方的两个个相机，以及设置在镜腿尾部的耳机模块；两个彩色相机同高，且光轴相互平行，两个相机前端均设置有偏振片的彩色相机，两个偏振片的偏振方向相互垂直。所述小型处理器中存储有包含有一个训练好的神经网络；相机、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，相机实时地采集周围场景的彩色图像，小型处理器利用神经网络模型对彩色图像Color进行处理，得到语义分割图像Semantics，获取被分割出的水面区域和路面可通行区域，进一步根据偏振差分值，检测出水坑；小型处理器将检测结果转化为声音信号，并传给耳机模块，告知用户。所述的神经网络通过以下方法训练得到：从大型的语义分割数据集中获取训练数据集，包括m张彩色图像Color与其一一对应的m张标记图像Label，所述对应关系如下：标记图像Label中的像素单元与彩色图像Color中的像素单元一一对应，标记图像Label中的像素单元标记彩色图像Color中的像素单元的语义标号。m≥10000。所述像素单元为：来源于同一物体的所有像素点组成的单元，同一类别的物体用一语义标号进行标识。以彩色图像Color为输入，标记图像Label为输出，对语义分割模型进行训练，所述基于神经网络的语义分割模型中每一层网络如下表所示，得到预先训练的神经网络模型。将待检测的彩色图像Color输入神经网络模型后，第19层得到的输出特征图即为各个类别的概率图，通过argmax函数即可得到语义分割图像Semantics。2CN108761843A权利要求书2/2页2.根据权利要求1所述的盲人辅助眼镜，其特征在于，检测流程如下：(1)通过两个前端设置有偏振片的彩色相机，分别获取一彩色图像。(2)将其中一个彩色图像输入到预先训练的神经网络模型，得到语义分割图像Semantics；(3)对语义分割图像Semantics进行处理，获取被分割出的水面区域和路面可通行区域，对路面可通行区域中任一像素点(u,v)，计算该像素点在偏振差分图像Polarization中的偏振差分值polarization，若polarization大于阈值PolarizationThreshold，则该点为水坑。所述偏振差分值polarization的计算方法如下：(3.1)对两个彩色图像行双目立体匹配，获取一幅视差图像Disparity；(3.2)从另一个彩色图像中找到对应于像素点(u,v)的对应点(u',v)，满足u-u'＝disparity，disparity为视差图像Disparity中像素点(u,v)的视差值；(3.3)计算像素点(u,v)、(u',v)的亮度值，分别为VL(u,v)，VR(u',v)；偏振差分值polarization为|VL(u,v)-VR(u',v)|。3.根据权利要求1所述的盲人辅助眼镜，其特征在于，所述一维分解瓶颈层通过使用3×1的卷积核和1×3的卷积核进行交替卷积，并采用线性整流函数ReLU作为激活函数，最后通过残差式联结，形成一个整体的一维分解瓶颈层。4.根据权利要求1所述的盲人辅助眼镜，其特征在于，从9到16层的一维分解瓶颈层中的卷积均采用扩张卷积完成，扩展卷积率分别为2，4，8，16，2，4，8，2。5.根据权利要求1所述的盲人辅助眼镜，其特征在于，所述下采样层通过使用3×3的卷积核输出的与经过最大池化的特征图，进行级联，输出下采样的特征图