一种穿戴式视觉注视目标定位装置及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109345542A(43)申请公布日2019.02.15(21)申请号201811090996.4(22)申请日2018.09.18(71)申请人重庆大学地址400044重庆市沙坪坝区沙坪坝正街174号(72)发明人刘宇新吴小鹰侯文生周平陈琳胡宁(74)专利代理机构北京同恒源知识产权代理有限公司11275代理人赵荣之(51)Int.Cl.G06T7/11(2017.01)G06K9/62(2006.01)G06T7/33(2017.01)G06T7/50(2017.01)权利要求书2页说明书6页附图3页(54)发明名称一种穿戴式视觉注视目标定位装置及方法(57)摘要本发明涉及一种穿戴式视觉注视目标定位装置及方法，硬件部分包括肩背支撑架、转轴及角度传感器、颈部转动卡环、视觉传感器、微处理器，用于数据接收和处理，将装置安置在受试者身上，首先得到头颈位置的角度方位，得到了视觉注视方向，利用颈部转动卡环将视觉传感器与视觉朝向同步，使得视觉传感器与人正视方向保持同步，利用二维机器视觉定位技术和深度信息确定目标物在注视视野中的空间位置，经坐标变换和视觉注视方位信息融合获取被注视目标物的位置信息，然后将三维信息进行坐标转换到需要的应用坐标。本装置可以用于实现人机混合的视觉主动选择目标并确定其相对于身体的空间坐标位置。CN109345542ACN109345542A权利要求书1/2页1.一种穿戴式视觉注视目标定位方法，其特征在于，采取人体头颈部转动的角度位置信息，采用视觉传感部分与人正视方向保持同步，得到了视觉注视方向，利用视觉传感部分测得深度信息参数，利用二维标定法定位出目标的二维坐标信息，将得到的信息扩展到三维得到基于视觉传感部分为中心的三维空间位置信息，确定了目标物在空间中的位置，然后将三维信息进行坐标转换传给机械臂助力其精确地抓取物件。2.根据权利要求1所述的一种穿戴式视觉注视目标定位方法，其特征在于，视觉传感器与人体相对固定，当测得人体颈部的扭转度数，视觉传感器相对的转动，将得到人的正视位置信息传送给视觉传感器，将视觉传感器做到与人正视角度位置同步。3.根据权利要求1所述的一种穿戴式视觉注视目标定位方法，其特征在于，视觉传感部分采用基于双目立体视觉的深度相机，依靠拍摄的彩色RGB和灰度图来计算深度，深度相机拍摄的图片上的每一个像素点的值都代表了摄像机原点到该处实际位置之间的距离，其图片像素点的明暗程度就代表距离摄像机的远近，进而实现二维的图像和深度信息获得。4.根据权利要求3所述的一种穿戴式视觉注视目标定位方法，其特征在于，二维坐标到三维坐标的算法，拓展到三维坐标包括以下步骤：步骤一，区域分割，基于深度图像的区域分割，用深度图像进行分割，获得的深度图是灰度图，距离和灰度级相关，然后利用直方图统计灰度级，接着分别将直方块作为阈值分割的阈值；步骤二，物体分类，区域分割后获取了主区域集合，对于这个主区域集合中的每个区域进行物体的类别判断，判断的依据依靠预处理阶段训练生成的物体分类器，若该区域中有物体则分类器会相应地输出预测的物体标签；若区域不包含物体，则分类器输出0，表示该区域属于背景类，主区域集合通过分类器的筛选后，剩下的就是含有物体的区域集合，这个集合内每个区域都有相应的物体类别标签，将这个区域集合记作候选区域集；步骤三，点云配准，对于候选区域集，对每个候选区域生成点云模型，然后根据候选区域预测的类别标签加载对应的预扫描二维点云模型，在生成点云与点云模型之间利用点云配准的方法进行配准，从而得出点云配准的变换矩阵，将二维候选区域点转换成三维点云数据，在生成的点云数据上抽取三维空间特征，基于抽取的三维空间特征使用点云配准方法使生成点云与预处理阶段的点云模型进行贴合，并输出迁移矩阵，根据迁移矩阵，将点云模型上的预定义的抓取点云映射到深度相机的空间坐标上去；步骤四，坐标映射，得到变换矩阵后，将预定义的目标位置通过变换矩阵转换可以得到目标位置在实际点云空间的位置信息，将此坐标与应用部分的坐标进行转换，转换的过程利用棋盘标定将相机坐标与机械臂坐标做迁移矩阵估计，得到需要的被注视目标物的位置信息。5.根据权利要求4所述的一种穿戴式视觉注视目标定位方法，其特征在于，记录下在一定时间内的所有动态数据，根据上述动态数据实现人体意图和视线目标坐标的实时联系，实现动态监测的效果。6.一种穿戴式视觉注视目标定位装置，其特征在于，所述定位装置包括：肩背支撑架，肩背支撑架佩戴在人体的肩部位置，与颈部转动卡环连接；惯性传感器，惯性传感器连接转轴，置于头的颈部位置，用于测量头部转动的角度；颈部转动卡环，位于头颈部位置，用于转轴及惯性传感器的固定，并与肩背支撑架连2CN109345542A权