基于面部视频的工作记忆负荷水平识别方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114983415A(43)申请公布日2022.09.02(21)申请号202210535117.4G06V40/16(2022.01)(22)申请日2022.05.12(71)申请人华南理工大学地址510640广东省广州市天河区五山路381号(72)发明人丁泉龙祁梓昌曹燕王一歌韦岗(74)专利代理机构广州市华学知识产权代理有限公司44245专利代理师黄卫萍(51)Int.Cl.A61B5/16(2006.01)A61B5/024(2006.01)A61B5/00(2006.01)G06K9/62(2022.01)权利要求书3页说明书10页附图7页(54)发明名称基于面部视频的工作记忆负荷水平识别方法(57)摘要本发明公开了一种基于面部视频的工作记忆负荷水平识别方法，通过摄像头采集不同工作记忆负荷下的面部视频，计算出心率等多个指标，并对指标进行特征选取和负荷水平分类，识别工作记忆负荷水平。步骤如下：在屏幕上展示题目，不断增大记忆难度；从第二轮测试开始，被测者记忆当前轮和前一轮的题目，并写下前一轮的题目；在测试开始、中间和结束时段，通过摄像头采集人脸视频，提取出脉搏波信号，进行信号重构和去噪处理，计算出心率等多个指标，并进行特征选取和负荷水平分类，识别出工作记忆负荷水平。本发明能为工作记忆负荷水平的客观识别提供一种无损无创的便捷手段。CN114983415ACN114983415A权利要求书1/3页1.一种基于面部视频的工作记忆负荷水平识别方法，其特征在于，所述识别方法包含以下步骤：S1、设定工作记忆负荷等级，并出题；其中，工作记忆负荷等级设定为3个不同水平，分别为：高负荷、中负荷和低负荷水平；出题是指根据不同的负荷水平设计不同的数字记忆题目；S2、设计数字记忆规则，被测者根据数字记忆规则进行工作记忆负荷测试，完成记忆题目，并计算被测者的记忆正确率；S3、在指定记忆时段使用摄像头采集被测者记忆数字时的面部视频；其中，指定记忆时段是指在工作记忆负荷测试的开始、中间和邻近结束时段；S4、根据所拍摄的面部视频，进行人脸检测和人脸分割，将所分割出的人脸作为感兴趣区域并进行通道分离，针对所分离出的G通道进行信号分解和重构，并使用小波去噪算法和带通滤波器提取出脉搏波；S5、针对所提取出的脉搏波，进行时域和频域分析，计算得出心率、心率变异性指标；S6、对若干个被测者出不同工作记忆负荷等级的题目，重复步骤S1～S5，得到被测者的记忆正确率、心率、心率变异性指标，形成模型构建所需的数据集，然后基于模型构建所需的数据集，进行特征选取和负荷水平分类，构建工作记忆负荷生理模型；S7、在被测者工作记忆负荷实测中，将记忆正确率、以及通过采集的面部视频提取出的心率和心率变异性指标，输入到工作记忆负荷生理模型中，识别出被测者当前的工作记忆负荷水平。2.根据权利要求1所述的基于面部视频的工作记忆负荷水平识别方法，其特征在于，所述根据不同的负荷水平设计不同的数字记忆题目的规则如下：对于低负荷题目，题目含有6或7个数字，共有5题，数字记忆时间设置为10秒；对于中负荷题目，题目含有8个数字，共有5题，数字记忆时间设置为15秒；对于高负荷题目，题目含有9或10个数字，共有6题，数字记忆时间设置为20秒。3.根据权利要求1所述的基于面部视频的工作记忆负荷水平识别方法，其特征在于，所述步骤S2过程如下：S201、设计工作记忆负荷测试的做题规则，并使得被测者根据规则做题；其中，根据数字记忆题产生不同工作记忆负荷水平的测试规则如下：在屏幕上展示数字题，不断增大数字题的记忆难度；从第二轮测试开始，记忆当前轮和前一轮的数字，并在电脑上写下前一轮的数字；S202、记录被测者在电脑上所写下的数字，对照题目计算被测者的记忆正确率。4.根据权利要求1所述的基于面部视频的工作记忆负荷水平识别方法，其特征在于，所述步骤S3过程如下：指定记忆时段是指在工作记忆负荷测试的开始、中间和邻近结束时段，所设计的工作记忆测试共需要被测者写下5轮数字，其中在第一轮第一次测试的数字记忆时段、第三轮第三次测试的数字记忆时段、第五轮第三次测试的数字记忆时段，在光照充足的外部条件下，拍摄面部视频，拍摄距离为40～45厘米，拍摄时长分别为10秒、15秒和20秒。5.根据权利要求1所述的基于面部视频的工作记忆负荷水平识别方法，其特征在于，所述步骤S4中根据所拍摄的面部视频提取脉搏波的过程如下：2CN114983415A权利要求书2/3页S401、计算所拍摄视频的帧率，并根据帧率对视频进行分帧处理，将视频分成图像序列；S402、对于图像序列，检测人脸区域并根据人脸边缘进行分割，去除与人脸无关的区域，并将所分割出的人脸作为感兴趣区域；S403、对图像序列中的每