一种基于激光视觉反馈的眼动交互方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113963416A(43)申请公布日2022.01.21(21)申请号202111305832.0G06T7/136(2017.01)(22)申请日2021.11.05G06T5/00(2006.01)G06T5/10(2006.01)(71)申请人北京航空航天大学G06T5/20(2006.01)地址100083北京市海淀区学院路37号G06N3/04(2006.01)(72)发明人高硕王子皓张奡杰夏心悦G06N3/08(2006.01)张思哲(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人彭星(51)Int.Cl.G06V40/16(2022.01)G06V40/18(2022.01)G06T7/11(2017.01)G06T7/12(2017.01)G06T7/13(2017.01)权利要求书2页说明书13页附图3页(54)发明名称一种基于激光视觉反馈的眼动交互方法及系统(57)摘要本发明提供了一种基于激光视觉反馈的眼动交互方法及系统，包括：眼动追踪系统、视觉反馈系统以及舵机云台控制系统，其中，眼动追踪系统包括：眼镜框架、人眼摄像头、红外灯、场景摄像头、防滑橡胶套、支架、第一USB线以及第二USB线，视觉反馈系统包括：激光器、水平舵机、垂直舵机，水平舵机设置在垂直舵机上，用于向目标物体发射激光的激光器设置在水平舵机上，舵机云台控制系统，用于依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对水平舵机以及垂直舵机的方位进行调整。可以提高跟踪精度。CN113963416ACN113963416A权利要求书1/2页1.一种基于激光视觉反馈的眼动交互系统，其特征在于，包括：眼动追踪系统、视觉反馈系统以及舵机云台控制系统，其中，眼动追踪系统包括：眼镜框架、人眼摄像头、红外灯、场景摄像头、防滑橡胶套、支架、第一USB线以及第二USB线，其中，人眼摄像头固定在支架上，红外灯设置在人眼摄像头周围，红外灯向人眼发射红外光，人眼摄像头对人眼的注视点进行摄像，得到人眼图像；防滑橡胶套包裹眼镜框架；支架连接到眼镜框架的右腿框架，位于右眼前方预定距离；场景摄影头通过扎带固定在眼镜框架的左腿框架上，对目标物体上形成的激光光斑进行摄像，得到激光光斑图像；第一USB线连接到人眼摄像头以及舵机云台控制系统，内置在右腿框架内，第二USB线连接到场景摄像头以及舵机云台控制系统，内置在左腿框架内；视觉反馈系统包括：激光器、水平舵机、垂直舵机，其中，水平舵机设置在垂直舵机上，用于向目标物体发射激光的激光器设置在水平舵机上，水平舵机和垂直舵机接收舵机云台控制系统输出的控制信号，依据控制信号分别调整水平舵机以及垂直舵机的方位，以调整激光器发射的激光在目标物体的位置；舵机云台控制系统，用于依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对水平舵机以及垂直舵机的方位进行调整。2.根据权利要求1所述的眼动交互系统，其特征在于，所述舵机云台控制系统包括：瞳孔角膜反射向量获取单元、映射单元、激光光斑位置获取单元以及定位校正单元，其中，瞳孔角膜反射向量获取单元，用于对获取的人眼图像进行高斯滤波和灰度处理，得到人脸灰度图像；从人脸灰度图像中提取包含瞳孔的感兴趣区域；采用基于邻域平均的自适应阈值算法，对感兴趣区进行分割，通过Canny边缘检测算法，提取分割的感兴趣区的人眼轮廓；通过Hough圆变换算法，从提取的人眼轮廓中确定瞳孔区域；通过最小二乘椭圆拟合算法，拟合瞳孔区域中包含的瞳孔轮廓，得到瞳孔中心坐标；针对分割的感兴趣区，通过调整二值化灰度阈值，定位普尔钦斑，依据瞳孔中心坐标以及普尔钦斑，得到瞳孔角膜反射向量；映射单元，用于基于瞳孔角膜反射向量，利用预先标定的二阶多项式回归算法，该二阶多项式回归算法用于标定人眼图像中的注视点与激光光斑图像所在坐标系的人眼映射注视点的位置，获取瞳孔角膜反射向量映射的人眼映射注视点的位置；激光光斑位置获取单元，用于基于场景摄像头获取的激光光斑图像，获取激光光斑图像中的激光光斑的位置；定位校正单元，用于依据激光光斑的位置与人眼映射注视点的位置的差异，输出控制信号调整激光器的方位，以使激光器发射的激光在目标物体上形成的激光光斑与人眼映射注视点相匹配。3.根据权利要求2所述的眼动交互系统，其特征在于，所述激光光斑位置获取单元包括：静态检测单元，用于基于预设的连续步进阈值，对场景图像执行二值化操作，得到二值2CN113963416A权利要求书2/2页化图像；基于轮廓搜索算法，提取每个步进阈值下二值