一种适用于重度瘫痪病人的娱乐交互方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107741784A(43)申请公布日2018.02.27(21)申请号201710929483.7G06K9/00(2006.01)(22)申请日2017.10.09G06T7/11(2017.01)(71)申请人济南大学地址250022山东省济南市市中区南辛庄西路336号(72)发明人李金屏安庆浩蒋明敏鲁守银韩延彬(74)专利代理机构济南诚智商标专利事务所有限公司37105代理人李修杰(51)Int.Cl.G06F3/01(2006.01)G06F3/0481(2013.01)G06F3/0482(2013.01)G06F3/0484(2013.01)权利要求书2页说明书6页附图6页(54)发明名称一种适用于重度瘫痪病人的娱乐交互方法(57)摘要本发明公开了一种适用于重度瘫痪病人的娱乐交互方法，它包括以下步骤：步骤1，获取重度瘫痪病人的头部图像，将头部图像切割出病人的脸部区域图像；步骤2，计算病人脸部区域图像的中心位置，利用中心位置的偏移方向控制光标的移动；步骤3，将病人脸部区域图像切割出病人的眼睛和嘴巴区域，并根据眼睛和嘴部区域的图像识别病人的眨眼和张闭嘴动作；步骤4，根据病人的上下左右摇头及其组合控制光标的移动，根据病人张闭嘴两次完成鼠标右键的单击，根据病人眨眼两次完成鼠标左键的单击，从而控制光标和鼠标的操作来完成娱乐交互方式。本发明不仅满足了病人观看娱乐节目的需求，并且满足了娱乐交互实时性的要求。CN107741784ACN107741784A权利要求书1/2页1.一种适用于重度瘫痪病人的娱乐交互方法，其特征是，它通过病人的头部姿态、眨眼和张闭嘴动作控制光标的移动和鼠标的左右键操作，进而完成娱乐交互过程。2.根据权利要求1所述的一种适用于重度瘫痪病人的娱乐交互方法，其特征是，所述的娱乐交互方法包括以下步骤：步骤1，获取重度瘫痪病人的头部图像，将头部图像切割出病人的脸部区域图像；步骤2，计算病人脸部区域图像的中心位置，利用中心位置的偏移方向控制光标的移动；步骤3，将病人脸部区域图像切割出病人的眼睛和嘴巴区域，并根据眼睛和嘴部区域的图像识别病人的眨眼和张闭嘴动作；步骤4，根据病人的上下左右摇头及其组合控制光标的移动，根据病人张闭嘴两次完成鼠标右键的单击，根据病人眨眼两次完成鼠标左键的单击，从而控制光标和鼠标的操作来完成娱乐交互方式。3.根据权利要求2所述的一种适用于重度瘫痪病人的娱乐交互方法，其特征是，所述步骤1的具体步骤如下：步骤11：安装摄像头，并调整摄像头的角度，使摄像头对准病人的头部，进而获得病人的头部图像；步骤12：将病人的头部图像采用SeetaFace算法或OpenCV中的Adaboost算法切割出病人脸部区域的图像。4.根据权利要求2所述的一种适用于重度瘫痪病人的娱乐交互方法，其特征是，所述步骤2的具体步骤如下：步骤21：根据脸部区域图像的高和宽计算病人脸部区域图像的中心位置，所述人脸区域图像的中心位置为脸部区域图像高和宽的中点；步骤22：在病人的头部图像中标记出m1,m2,m3和m4四个区域，根据头部姿态获得中心位置的偏移方向；步骤23：根据脸部图像中心位置的偏移方向控制光标八个方向的移动，所述光标在当前显示器上的位置通过函数GetCursorPos()获得，并通过如下公式计算出光标新的位置：x1＝x+k(m1+m3)y1＝y+k(m2+m4)其中x和y为光标在当前显示器上的坐标，x1和y1为计算得到的光标在显示器上的新位置，k为光标移动的幅度。5.根据权利要求2所述的一种适用于重度瘫痪病人的娱乐交互方法，其特征是，所述步骤3的具体步骤如下：步骤31：根据切割出来的脸部区域图像利用SeetaFace算法计算出眼睛的两个中心点和嘴角的两个关键点，根据中心点、关键点和人脸区域图像的大小自定义出眼睛和嘴巴区域图像的大小；步骤32：眨眼阈值训练，从病人的图像序列中选出30幅睁眼图像和30幅闭眼图像，将眼睛区域的图像转化为灰度图，并根据如下公式计算出眼睛灰度图像的方差：2CN107741784A权利要求书2/2页其中，M×N为图像的大小，A(x,y)为图像中的像素值，μ1为人眼图像的均值，σ为计算得到的方差；步骤33：计算30幅睁眼图像方差的均值μ11和30幅闭眼图像方差的均值μ12，进而计算出眨眼图像的阈值T1＝(μ11+μ12)/2；步骤34：眨眼测试，计算病人眼睛区域图像的方差，大于阈值T1则认为是睁眼，否则认为是闭眼；步骤35：张闭嘴阈值训练，从病人的图像序列中选出30幅闭嘴图像和30幅张嘴图像，将嘴部区域的图像转化为灰度图，并根据如下公式计算出嘴部灰度图像的均值；μ2为计算得到的嘴部图像均值；步骤36：计算30幅闭嘴图像的均值μ