一种基于脑机接口的机械臂自主辅助系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106671084A(43)申请公布日2017.05.17(21)申请号201611180477.8(22)申请日2016.12.20(71)申请人华南理工大学地址511458广东省广州市南沙区环市大道南路25号华工大广州产研院(72)发明人张智军黄永前李远清(74)专利代理机构广州市华学知识产权代理有限公司44245代理人李斌(51)Int.Cl.B25J9/16(2006.01)G06F3/01(2006.01)权利要求书2页说明书6页附图4页(54)发明名称一种基于脑机接口的机械臂自主辅助系统及方法(57)摘要本发明公开了一种基于脑机接口的机械臂自主辅助系统及方法，所述系统包括感知层、决策层和执行层，感知层包括脑电采集与检测模块和视觉识别与定位模块，用于分析识别出用户意图，并用于根据用户意图识别与定位出相应的杯子及用户嘴部的位置；执行层包括机械臂控制模块，根据从决策模块接收来的执行指令，对机械臂进行轨迹规划及控制；决策层包括决策模块，用于连接脑电采集与检测模块、视觉识别与定位模块和机械臂控制模块，实现脑电信号、定位位置及机械臂状态数据的采集和传输，机械臂执行指令的发送。本发明将视觉识别与定位技术、脑机接口和机械臂相结合，为瘫痪病人提供自主喝水的便利，改善了瘫痪病人的生活质量。CN106671084ACN106671084A权利要求书1/2页1.一种基于脑机接口的机械臂自主辅助系统，其特征在于：所述系统按照感知层、决策层、执行层三层结构来搭建，感知层包括脑电采集与检测模块和视觉识别与定位模块，所述脑电采集与检测模块用于采集脑电信号，分析识别出用户意图，所述视觉识别与定位模块用于根据用户意图，识别与定位出相应的杯子及用户嘴部的位置；执行层包括机械臂控制模块，所述机械臂控制模块为在实际中对人进行辅助操作的载体，根据从决策模块接收来的执行指令，对机械臂进行轨迹规划及控制；决策层包括决策模块，所述决策模块用于连接脑电采集与检测模块、视觉识别与定位模块和机械臂控制模块，实现脑电信号、定位位置及机械臂状态数据的采集和传输，机械臂执行指令的发送。2.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统，其特征在于：所述脑电采集与检测模块包括脑电采集的电极帽、脑电采集仪和第一计算机，其中使用电极帽中的“A1”、“T5”、“P3”、“PZ”、“P4”、“T6”、“O1”、“Oz”、“O2”、“A2”十个通道，放置的位置遵循国际标准10-20系统；所述第一计算机用来实现P300信号的检测和屏幕中功能键闪烁的视觉刺激，所述闪烁的视觉刺激的功能键按2*2行列形式规则分布于计算机屏幕中，包括“cup1”、“cup2”、“cup3”以及“back”功能键，并以200ms的时间间隔进行随机顺序的黑、绿两种颜色变化闪烁。3.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统，其特征在于：所述视觉识别与定位模块包括两个MicrosoftKinect视觉传感器和第二计算机，所述两个MicrosoftKinect视觉传感器分别放置在所需抓取的杯子前和用户面前，用于识别、定位所需抓取的杯子和用户的嘴部；所述第二计算机用于实现杯子轮廓检测算法、杯子定位算法、模板匹配识别算法以及嘴部识别定位算法。4.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统，其特征在于：所述决策模块是基于TCP通信协议，通过定义统一的传输数据变量，包括用户的脑电意图、杯子及嘴部的位置信息，架设客户端与服务端服务代码框架，实现脑电意图、定位位置及机械臂状态数据的采集和传输，机械臂执行指令的发送。5.根据权利要求1所述的一种基于脑机接口的机械臂自主辅助系统，其特征在于：所述机械臂控制模块，采用一个多自由度机械臂作为执行机构。6.一种基于脑机接口的机械臂自主辅助方法，其特征在于：所述方法包括以下步骤：1)用户坐在第一计算机屏幕前，调整好位置，佩戴好脑电采集的电极帽，打开脑电采集仪和第一计算机，确认信号采集状态良好；2)启动基于脑机接口的机械臂自主辅助系统，确认识别、定位用户嘴部的MicrosoftKinect视觉传感器能够正确捕捉到用户的嘴部，确认所要抓取的三个预设的杯子被正确放在用于识别、定位所需抓取的杯子的MicrosoftKinect视觉传感器的视野内；3)第一计算机屏幕进入闪烁的视觉刺激的功能键界面，该功能键界面包括“cup1”，“cup2”，“cup3”以及“back”四个功能键；4)用户注视“cup1”，“cup2”或者“cup3”三个功能键的其中一个，即选择出三个预设的杯子中的其中一个，一旦功能键被选定，将得出用户关于杯子选择的脑电意图，并发送到视觉识别与定位模块和决策模块；5)视觉识别与