基于手势控制的智能轮椅系统及控制方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107390573A(43)申请公布日2017.11.24(21)申请号201710509586.8(22)申请日2017.06.28(71)申请人长安大学地址710064陕西省西安市碑林区南二环中段33号(72)发明人王萍茹峰黄鹤张倩(74)专利代理机构西安通大专利代理有限责任公司61200代理人徐文权(51)Int.Cl.G05B19/042(2006.01)G06F3/01(2006.01)A61G5/10(2006.01)A61G5/00(2006.01)权利要求书2页说明书7页附图6页(54)发明名称基于手势控制的智能轮椅系统及控制方法(57)摘要本发明属于智能轮椅控制技术领域，具体是一套基于手势控制的智能轮椅系统及控制方法。摄像头视频采集模块采集手势图像，手势检测模块接收来自摄像头视频采集模块采集到的手势图像，检测分析并提取出图像中的手势信息，手势识别模块接收来自手势检测模块的手势信息，并识别手势信息；手势信息无线传输模块接收手势识别模块识别后的手势信息并将该手势信息传回给智能轮椅的控制器；智能轮椅的控制器，接收手势信息，并按照手势信息对智能轮椅进行控制。本发明使人们能够通过手势来控制轮椅动作，具有方便、可靠的特点。CN107390573ACN107390573A权利要求书1/2页1.基于手势控制的智能轮椅系统，其特征在于，包括：摄像头视频采集模块，用于采集手势图像；手势检测模块，接收来自摄像头视频采集模块采集到的手势图像，检测分析并提取出图像中的手势信息；手势识别模块，接收来自手势检测模块的手势信息，并识别手势信息；手势信息无线传输模块，接收手势识别模块识别后的手势信息，并将该手势信息传回给智能轮椅的控制器；智能轮椅的控制器，接收手势信息，并按照手势信息对智能轮椅进行控制。2.根据权利要求1所述的基于手势控制的智能轮椅系统，其特征在于，所述手势信息无线传输模块包括无线发送模块和安装在智能轮椅上的无线接收模块，无线发送模块和无线接收模块均选用nRF24L01+无线收发器。3.根据权利要求1所述的基于手势控制的智能轮椅系统，其特征在于，所述智能轮椅的控制器为STC89C52芯片。4.基于手势控制的智能轮椅的控制方法，其特征在于，包括如下步骤：(1)先采集用于控制智能轮椅动作的手势图像；(2)检测并分析并提取出手势图像中的手势信息；(3)再识别手势信息；(4)再按照识别出的手势信息对智能轮椅进行控制。5.根据权利要求4所述的基于手势控制的智能轮椅的控制方法，其特征在于，采集手势图像时，摄像头视频采集模块拍摄范围包括坐在轮椅的操作者的胸前区域，以肩部以下上半身作为识别区域，人体上半身作为背景，在没有做手势之前之后做出对比，去除背景影响，并且方便残疾人做出手势。6.根据权利要求4所述的基于手势控制的智能轮椅的控制方法，其特征在于，所述步骤(1)中，采集手势图像时，手势距离用于采集手势图像的摄像头30cm到100cm。7.根据权利要求4所述的基于手势控制的智能轮椅的控制方法，其特征在于，所述步骤(2)中，通过基于YCbCr色彩空间和几何特征的方法来检测和提取手势图像中的手势信息。8.根据权利要求7所述的基于手势控制的智能轮椅的控制方法，其特征在于，所述基于YCbCr色彩空间和几何特征的方法来检测和提取手势图像中的手势信息的具体过程如下：先通过维纳滤波去除图像中含有的较多的高斯噪声；再将去噪后的图像转换到YCbCr颜色空间中提取肤色部分；再利用最大类间方差法对肤色区域进行二值化；再依次通过滤波、形态学膨胀和腐蚀操作填平手势二值图像内部细小的空洞并平滑手势图像边界；最后通过判断手势图像的长宽比进一步排除非手势区域并得到手势信息。9.根据权利要求4所述的基于手势控制的智能轮椅的控制方法，其特征在于，所述步骤(3)中，通过多列深度3D卷积神经网络识别手势信息，具体包括如下步骤：首先采用3D卷积核对连续帧图像进行卷积操作；再提取出目标的时间和空间特征捕捉运动信息。10.根据权利要求9所述的基于手势控制的智能轮椅的控制方法，其特征在于，所述采2CN107390573A权利要求书2/2页用3D卷积核对连续帧图像进行卷积操作时，先训练多组3DCNNs结构组成Multi-column3DCNNs，该结构通过对多组3DCNNs的输出结果进行权衡，权重最大的类别则判为最终的输出结果，每组Multi-column3DCNNs通过多个不同结构3DCNNs构成，每组3DCNNs的3D卷积核和特征图数目均不相同。3CN107390573A说明书1/7页基于手势控制的智能轮椅系统及控制方法【技术领域】[0001]本发明属于智能轮椅控制技术领域，具体是一套基于手势控制的智能轮椅系统