一种三目视觉手语识别装置及多信息融合手语识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109460748A(43)申请公布日2019.03.12(21)申请号201811501014.6(22)申请日2018.12.10(71)申请人内蒙古科技大学地址014010内蒙古自治区包头市昆都仑区阿尔丁大街7号内蒙古科技大学(72)发明人张晓利刘欢邹亚男(74)专利代理机构北京挺立专利事务所(普通合伙)11265代理人叶盛(51)Int.Cl.G06K9/00(2006.01)G09B21/00(2006.01)权利要求书2页说明书6页附图4页(54)发明名称一种三目视觉手语识别装置及多信息融合手语识别方法(57)摘要本发明公开了一种三目视觉手语识别装置及多信息融合手语识别方法，涉及手语的智能翻译技术领域；解决双目设备的视觉盲区缺陷，以及独立的手势识别方案无法准确地获取聋哑人手语所要传达的信息的问题；本发明在双目设备的垂直平面增加一个单目摄像装置，采集视觉盲区中的信息，作为双目设备视觉盲区的数据补足；提出由手语表达者表情、正在进行手语交流时手在人身体的相对位置以及手语手势识别共同定义一组手语手势，这样组合定义手语的方式增加了可识别手势的数量，扩大了手语库的丰富性；同时，多种组合要素细化了每个手语，提高了每个手语的特异性，避免相似、相近手势造成手语判断错误，提高了手语识别的准确度。CN109460748ACN109460748A权利要求书1/2页1.一种三目视觉手语识别装置,其特征在于，包括：视觉平台、左摄像装置、右摄像装置、单目调节支架、单目摄像装置、图像处理设备；所述视觉平台水平放置，其上对称安装左摄像装置、右摄像装置，左摄像装置和右摄像装置镜头中心连线的垂直平分线上设置单目调节支架；所述单目调节支架包括支撑杆、丝杠、丝杠安装座、轴承、手摇柄、升降螺母；所述支撑杆垂直视觉平台安装，其前面设置沿支撑杆长度方向的升降限位槽，侧面设置高度标尺；所述丝杠平行安装在支撑杆前面，其上下两端可转动地安装在丝杠安装座上，丝杠安装座内安装轴承，丝杠上端设置手摇柄；所述升降螺母安装在丝杠上，其后侧面设置升降卡位部，升降卡位部可上下滑动地卡在升降限位槽内，升降螺母前侧面设置转动连接部，转动连接部上安装可水平左右转动的水平转动件，水平转动件前端水平安装单目摄像装置；所述升降卡位部上设置高度指针，高度指针指向高度标尺；所述升降螺母底面伸出量角器，量角器与视觉平台平行，单目摄像装置上设置角度指针，角度指针指向量角器上的刻度线；所述高度指针与单目摄像装置镜头中心在同一高度上，指示单目摄像装置镜头中心高度；所述角度指针与单目摄像装置镜头中心轴线平行，指示单目摄像装置水平转角；所述单目摄像装置镜头中心轴线与左摄像装置和右摄像装置所在竖直面垂直；所述左摄像装置、右摄像装置、单目摄像装置共同建立一个虚拟三维坐标系，其中单目摄像装置镜头中心轴线所在直线为X轴，垂直于视觉平台、且经过左摄像装置和右摄像装置镜头中心连线中点的直线为Z轴，垂直于XZ平面、与X轴、Y轴相交的直线为Y轴，X轴、Y轴、Z轴交点为坐标原点（X0，Y0，Z0）；所述左摄像装置、右摄像装置、单目摄像装置连接图像处理设备，其中，左摄像装置、右摄像装置组成双目立体视觉系统；所述图像处理设备至少包括图像采集单元、三维建模单元、手势模型库、人脸表情库、人手与人体相对位置库、组合手语库、手势验证单元、人脸表情验证单元、人手位置验证单元、组合手语验证单元、手语转换单元、手语输出单元；所述手势模型库中存储手势模型，手势模型为左摄像装置、右摄像装置、单目摄像装置预先采集录入的手势模型信息，包含指关节坐标和向量数据；人脸表情库中存储人脸表情图片；人手与人体相对位置库中存储人手与人体相对位置图片；组合手语库中存储组合手语，每个组合手语由一个手势模型、一张人脸表情图片、一张人手与人体相对位置图片共同定义。2.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述图像处理设备为PC机。3.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述手语转换单元将组合手语转换为文字，并发送至手语输出单元输出；手语输出单元为文字显示器。4.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述手语转换单元将组合手语转换为语音，并发送至手语输出单元输出；手语输出单元为语音播放器。5.如权利要求1所述的三目视觉手语识别装置，其特征在于，所述三维建模单元采用Opencv计算机视觉库，根据左摄像装置、右摄像装置从下向上获取的人手到左摄像装置、右摄像装置的深度距离信息，单目摄像装置从侧面获取的人手到单目摄像装置的深度距离信息，进行手势模型建立。6.一种利用权利要求1所述的三目视觉手语识别装置的多信息融合手语识别方法，其2CN109460748A权利要求