辅助盲人进行视觉重构的方法、系统、设备和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN112634303A(43)申请公布日2021.04.09(21)申请号202011599079.6(22)申请日2020.12.29(71)申请人北京深睿博联科技有限责任公司地址102209北京市昌平区北七家镇七北路42号院4号楼3层3单元309申请人杭州深睿博联科技有限公司(72)发明人史业民俞益洲李一鸣乔昕(74)专利代理机构北京天方智力知识产权代理事务所(普通合伙)11719代理人张廷利(51)Int.Cl.G06T7/13(2017.01)A61F9/08(2006.01)A61N1/36(2006.01)权利要求书2页说明书7页附图2页(54)发明名称辅助盲人进行视觉重构的方法、系统、设备和存储介质(57)摘要本发明提供了一种辅助盲人进行视觉重构的方法、系统、设备和存储介质，属于计算机视觉技术领域，解决现有导盲方法响应速度慢、不实用的技术问题。该方法包括：实时获取视觉视据；根据视觉视据确定目标物体的边缘并形成关键点云；根据关键点云形成目标物体轮廓的辅助数据；将辅助数据以接触或非接触方式传输至脑内电极，使得与视网膜形成耦合的脑内电极获得信号输入。本发明可以在满足盲人视觉重构所需数据的条件下，将视据数据简化为低码率的数据实现对数据的精简，有利于降低计算量，提高响应速度，降低延时，提升用户使用体验。CN112634303ACN112634303A权利要求书1/2页1.一种辅助盲人进行视觉重构的方法，其特征在于，所述方法包括：实时获取视觉视据；根据视觉视据确定目标物体的边缘并形成关键点云；根据关键点云形成目标物体轮廓的辅助数据；将辅助数据以接触或非接触方式传输至脑内电极，使得与视网膜形成耦合的脑内电极获得信号输入。2.如权利要求1所述的一种辅助盲人进行视觉重构的方法，其特征在于，所述根据视觉视据确定目标物体的边缘并形成关键点云包括：根据目标检测算法实时检测视觉数据的物体区域，并将物体区域定义为有效区域；根据边缘数据检测算法保留有效区域内物体的边缘数据；采用双目摄像头计算每个边缘点的深度；提取边缘数据中关键节点的关键点云并对关键点云进行编码。3.如权利要求2所述的一种辅助盲人进行视觉重构的方法，其特征在于，所述提取边缘数据中关键节点的关键点云并对关键点云进行编码包括：根据边缘数据类型的不同将边缘数据分为孤立点、直线和弧线；将孤立点本身、直线上的两个端点和弧线上经过稀疏采样获得的多个采样点作为关键点云；按照关键点云的类型、空间坐标的深度进行编码。4.如权利要求3所述的一种辅助盲人进行视觉重构的方法，其特征在于，所述根据关键点云形成目标物体轮廓的辅助数据包括：对关键点云进行解码将关键点云还原为轮廓数据；通过函数拟合的方式将属于直线类型的关键点云还原为直线；通过样条插值的方式将属于弧线类型的关键点云还原为弧线。5.一种辅助盲人进行视觉重构的系统，其特征在于，所述系统包括：获取模块：用于实时获取视觉视据；第一形成模块：用于根据视觉视据确定目标物体的边缘并形成关键点云；第二形成模块：用于根据关键点云形成目标物体轮廓的辅助数据；传输模块：用于将辅助数据以接触或非接触方式传输至脑内电极，使得与视网膜形成耦合的脑内电极获得信号输入。6.如权利要求5所述的一种辅助盲人进行视觉重构的系统，其特征在于，所述第一形成模块具体包括：目标检测单元：用于根据目标检测算法实时检测视觉数据的物体区域，并将物体区域定义为有效区域；边缘检测单元：用于根据边缘数据检测算法保留有效区域内物体的边缘数据；深度计算单元：用于采用双目摄像头计算每个边缘点的深度；关键点云编码单元：用于提取边缘数据中关键节点的关键点云并对关键点云进行编码。7.如权利要求6所述的一种辅助盲人进行视觉重构的系统，其特征在于，所述关键点云编码单元具体用于：2CN112634303A权利要求书2/2页根据边缘数据类型的不同将边缘数据分为孤立点、直线和弧线；将孤立点本身、直线上的两个端点和弧线上经过稀疏采样获得的多个采样点作为关键点云；按照关键点云的类型、空间坐标的深度进行编码。8.如权利要求7所述的一种辅助盲人进行视觉重构的系统，其特征在于，所述第二形成模块具体用于：对关键点云进行解码将关键点云还原为轮廓数据；通过函数拟合的方式将属于直线类型的关键点云还原为直线；通过样条插值的方式将属于弧线类型的关键点云还原为弧线。9.一种电子设备，其特征在于，包括：处理器、存储器、与网关通信的接口；存储器用于存储程序和数据，所述处理器调用存储器存储的程序，以执行权利要求1至4任一项所述的一种辅助盲人进行视觉重构的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括程序，所述程序在被处理器执行时用于执行权利要1至4任