基于深度视觉的人工视网膜幅频调控方法和系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号CN109157738B(45)授权公告日2022.02.15(21)申请号201810809873.5G06T7/55(2017.01)(22)申请日2018.07.23(56)对比文件(65)同一申请的已公布的文献号CN205681580U,2016.11.09申请公布号CN109157738ACN204709329U,2015.10.21US2016317811A1,2016.11.03(43)申请公布日2019.01.08CN106137532A,2016.11.23(73)专利权人浙江诺尔康神经电子科技股份有US2010220176A1,2010.09.02限公司CN106334258A,2017.01.18地址311100浙江省杭州市余杭区仓前街CN107157651A,2017.09.15道龙潭路17号CN101114336A,2008.01.30(72)发明人韩彦孙晓安黄穗US2018133504A1,2018.05.17EP1858586A2,2007.11.28(51)Int.Cl.鲍书朋.人工视觉假体系统设计.《郑州大A61N1/05(2006.01)学》.2014,5、30-37.A61N1/36(2006.01)G06T3/40(2006.01)审查员孙玉梅G06T7/11(2017.01)权利要求书1页说明书5页附图2页(54)发明名称基于深度视觉的人工视网膜幅频调控方法和系统(57)摘要本发明公开了基于深度视觉的人工视网膜刺激幅频调控方法和系统，方法包括以下步骤：两个并排水平摆放在同一垂直面上的摄像头采集前方的场景图像；将双摄像头采集的两帧同步场景图像，生成带有场景深度信息的二维深度图，将带有场景灰度信息和深度信息的二维深度图进行抽象，并输出；如果选择灰度信息，则按照观测物的表面灰度信息生成电极刺激的编码；如果用户选择深度信息，则按照观测物的表面距离生成电极刺激的编码。本发明能够从视觉上，给使用人工视网膜系统的盲人感知物体距离的能力。CN109157738BCN109157738B权利要求书1/1页1.一种基于深度视觉的人工视网膜刺激幅频调控系统，其特征在于，包括图像采集模块，图像处理模块和刺激编码模块，所述图像采集模块包括两个并排水平摆放在同一垂直面上的摄像头和与摄像头连接的辅助电路，摄像头将采集到的图像传输给辅助电路，再传输给所述图像处理模块；所述图像处理模块将双摄像头采集的两帧同步图像进行灰度处理，并生成二维深度图，再传输给所述刺激编码模块；所述刺激编码模块包括频率调控器和幅度调控器，幅度调控器用于按照观测物的表面灰度信息生成电极刺激的编码，频率调控器用于按照观测物的表面距离生成电极刺激的编码；其调控方法包括以下步骤：两个并排水平摆放在同一垂直面上的摄像头采集前方的场景图像；将双摄像头采集的两帧同步场景图像，生成带有场景深度信息的二维深度图，将带有场景灰度信息和深度信息的二维深度图进行抽象，并输出；如果选择灰度信息，则按照观测物的表面灰度信息生成电极刺激的编码；如果用户选择深度信息，则按照观测物的表面距离生成电极刺激的编码；所述双摄像头并排布置在可穿戴设备上，在眼部附近；所述双摄像头采集的两帧同步场景图像后，进行缩放，缩放后的图像与植入体电极阵列覆盖视网膜的视域成比例；所述二维深度图为根据视差，采用三角测量原理和立体匹配技术生成，在三维计算机图形中，包含与视点的场景对应的表面距离信息的图像。2.根据权利要求1所述的系统，其特征在于，所述按照观测物的表面灰度信息生成电极刺激的编码，包括以下步骤：对二维深度图进行线性转换，增强对比度；对转换后的灰度图分块，统计局部灰度，根据统计的情况，对图像进行二值化处理，并降采样，缩放后图像的分辨率为电极阵列横纵电极数目的4倍；对二值化的图像按4*4像素点进行分块，统计黑白像素点的比例，根据此比例并按照像素点的位置生成对应的刺激编码，按照固定刺激频率将编码分配到对应的发送序列中，完成对刺激的幅值调控。3.根据权利要求1所述的系统，其特征在于，所述按照观测物的表面距离生成电极刺激的编码，包括以下步骤：对二维深度图的距离信息进行过滤，只保留5米内的数据并将数值重新规划到0‑255的范围内；对转换后的深度图分块，统计局部深度值，根据统计的情况，将深度值映射到6个频段，同时降采样，处理后图像的像素点跟电极阵列中的电极一一对应；将处理后的图像，根据电极数目、电流源数目、刺激脉宽和传输速率，将编码按照预先指定的策略将编码分配到对应的发送序列中，完成对刺激的频率调控。2CN109157738B说明书1/5页基于深度视觉的人工视网膜幅频调控方法和系统技术领域[0001]本发明属于人工视觉领域，涉及一种基于深