基于PYNQ和多模态脑机接口的飞行器控制系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113126767A(43)申请公布日2021.07.16(21)申请号202110447549.5(22)申请日2021.04.25(71)申请人合肥工业大学地址230009安徽省合肥市包河区屯溪路193号(72)发明人杜高明鲁杰罗文赵庆昊李桢旻尹勇生(74)专利代理机构安徽省合肥新安专利代理有限责任公司34101代理人陆丽莉何梅生(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)权利要求书2页说明书6页附图2页(54)发明名称基于PYNQ和多模态脑机接口的飞行器控制系统及方法(57)摘要本发明公开了一种基于PYNQ和多模态脑机接口的飞行器控制系统及方法，该系统包括：信号采集模块、处理模块、飞行器控制模块；信号采集模块包括脑电采集模块、眼电采集模块、通信模块；处理模块包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；飞行器控制模块包括：指令生成模块、姿态传感器，通过采集用户的脑电和眼电信号，并对信号进行处理，进而能实时控制飞行器。本发明通过结合脑机接口技术和嵌入式平台，能改善传统脑机接口控制系统便携性差、功耗高、成本高、可移植性差的缺点，从而提高实用性。CN113126767ACN113126767A权利要求书1/2页1.一种基于PYNQ和多模态脑机接口的飞行器控制系统，其特征在于，包括：信号采集模块、处理模块、飞行器控制模块：所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；所述飞行器控制模块包括：指令生成模块、姿态传感器；所述脑电采集模块用于采集大脑皮层感觉运动区域产生的原始脑电信号，并提供给通信模块；所述眼电采集模块用于采集眨眼产生的原始肌电信号，并提供给通信模块；所述通信模块将接收到的原始脑电信号和眨眼产生的原始肌电信号发送给处理模块；所述信号预处理模块对所接收到的原始脑电信号和眨眼产生的原始肌电信号依次进行滤波处理、归一化处理和小波变换处理，从而得到预处理后的脑电信号和肌电信号；所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；所述眨眼检测单元用于对预处理后的肌电信号进行眨眼情况的分类，包括：眨左眼、眨右眼、眨双眼和超时未眨眼的四种眨眼情况；所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；且所述卷积层使用AXI4‑Streaming接口；所述通用卷积神经网络网络加速IP由VivadoHLS工具生成，并包括：卷积层、池化层、非线性激活层和全连接层；所述卷积神经网络加速IP对预处理后的脑电信号进行运动想象脑电信号的分类，包括：想象左侧肢体运动的脑电信号、想象右侧肢体运动的脑电信号；所述存储模块包括：DMA单元、DDR单元；所述DMA单元用于提供数据缓冲；DDR单元用于储存脑电信号和眨眼产生的肌电信号的分类结果；所述语音播报模块通过串口与处理模块相连接，并根据信号解码模块得到的分类结果进行语音播报；所述无线通信模块包括：USBWiFi、USB蓝牙；所述USBWiFi用于建立信号采集模块和处理模块之间的通信，使处理模块能接收到来自信号采集模块发送的原始脑电信号和肌电信号；所述USB蓝牙用于建立处理模块和飞行器控制模块之间的通信，使信号解码模块的分类结果能发送至飞行器控制模块中的指令生成模块；所述指令生成模块用于将信号解码模块得到的分类结果转换为对应的飞行器控制指令，包括：眨双眼对应于起飞的控制指令、眨左眼对应于左转90度的控制指令、眨右眼对应于右转90度的控制指令、超时未眨眼对应于降落的控制指令、想象左对应于上升的控制指令、想象右对应于下降的控制指令，并将飞行器控制指令发送至姿态传感器；所述姿态传感器根据飞行器控制指令控制飞行器的飞行姿态。2.一种基于PYNQ和多模态脑机接口的飞行器控制方法，其特征在于是应用于由信号采集模块、处理模块、飞行器控制模块所组成的系统中；所述信号采集模块包括：脑电采集模块、眼电采集模块、通信模块；2CN113126767A权利要求书2/2页所述处理模块集成在PYNQ系列FPGA上，包括：信号预处理模块、信号解码模块、语音播报模块、无线通信模块；所述脑电信号解码单元包括：通用卷积神经网络加速IP、存储模块；所述飞行器控制模块包括：指令生成模块、姿态传感器；所述信号解码模块包括：眨眼检测单元、脑电信号解码单元；所述无线通信模块包括：USBWiFi、USB蓝牙；所述飞行器控制方法包括以下步骤：步骤1：处理模块上电，将语音播报模块和无线通信模块分别与处理模块连接；步骤2：用户佩戴脑电采集模块、眼电采集模块，并分别用于获取原始脑电信号和眨眼产生