一种短时rPPG信号检测模型的构建方法及检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920387A(43)申请公布日2022.01.11(21)申请号202111068137.7A61B5/024(2006.01)(22)申请日2021.09.13(71)申请人西北大学地址710069陕西省西安市太白北路229号(72)发明人李斌江魏赵国英范建平彭进业祝轩张晓丹乐明楠王珺(74)专利代理机构西安恒泰知识产权代理事务所61216代理人王孝明(51)Int.Cl.G06V10/774(2022.01)G06V40/16(2022.01)G06V10/46(2022.01)G06K9/00(2022.01)权利要求书3页说明书9页附图2页(54)发明名称一种短时rPPG信号检测模型的构建方法及检测方法(57)摘要本发明公开了一种短时远程光体积描记信号检测模型构建方法，对采集人脸视频图像序列，并进行预处理作为初始数据集；对采集的光体积描记信号进行处理作为目标集；训练短时远程光体积描记信号检测模型，本发明设计了基于3D时空卷积过滤器和反卷积过滤器构建特征提取中的编码器和解码器、分支损失模块和残差恒定块、以及基于CBAM注意力机制的显著特征提取模块，采用编码器和解码器的设计用于在时空域特征和时域特征下进行尺度的变换，保证特征提取过程中保留与短时远程光体积描记信号时序信息高度相关的有效特征，提升模型的性能；基于CBAM注意力机制的显著特征提取模块，提升感性特征提取能力，解决了现有技术中的健壮性低的问题。CN113920387ACN113920387A权利要求书1/3页1.一种短时远程光体积描记信号检测模型构建方法，其特征在于，包括以下步骤：步骤1，采集人脸视频图像序列和光体积描记信号，对采集到的人脸视频图像序列进行预处理得到预处理后的人脸视频图像序列，作为初始数据集；对光体积描记信号进行带通滤波过滤和降采样处理得到单个光体积描记信号，作为目标集；步骤2，将所述的初始数据集和目标集作为输入，训练短时远程光体积描记信号检测模型，所述的短时远程光体积描记信号检测模型包括特征提取模块、残差恒等块、分支损失模块、显著特征提取模块和和平滑过滤模块；得到训练好的短时远程光体积描记信号检测模型，模型构建完成，其中：所述的特征提取模块包括相连接的编码器和解码器；所述的编码器包括串联的Conv_1卷积块、Conv_2卷积块、Conv_3卷积块、Conv_4卷积块、Conv_5卷积块，每一个卷积块均包括依次设置的2个3D卷积过滤器、平均池化层、批标准化层和ReLU激活函数；所述的残差恒等块包括Res_1残差恒等块、Res_2残差恒等块、Res_3残差恒等块和Res_4残差恒等块；所述的显著特征提取模块包括A1显著特征提取模块和A2显著特征提取模块；所述的编码器用于将初始数据集依次进行特征提取处理和时空缩减处理，得到时空编码特征图，具体包括以下步骤：step1，将初始数据集输入到Conv_1卷积块得到全局时空特征图F1，全局时空特征图F1通过A1显著特征提取模块得到显著时空特征图M1；step2，将显著时空特征图M1分别输入到Conv_2卷积块和Res_1残差恒等块得到全局时空特征图F2和残差值R1，将全局时空特征图F2和残差值R1进行元素加和操作得到全局时空特征图F′2；step3，将全局时空特征图F′2输入到A2显著特征提取模块得到显著时空特征图M2；step4，将显著时空特征图M2分别输入到Conv_3卷积块和Res_2残差恒等块得到全局时空特征图F3和残差值R2,将全局时空特征图F3和残差值R2进行元素加和操作得到全局时空特征图F′3；step5，将全局时空特征图F′3输入到Conv_4卷积块和残Res_3残差恒等块得到全局时空特征图F4和残差值R3，将全局时空特征图F4和残差值R3进行元素加和操作得到全局时空特征图F′4；step6，将全局时空特征图F′4输入到Conv_5卷积块和残Res_4残差恒等块得到全局时空特征图F5和残差值R4,将全局时空特征图F5和残差值R4进行元素加和操作得到全局时空特征图F′5；所述的全局时空特征图F′5作为编码器的输出，即时空编码特征图；所述的解码器用于将时空编码特征图进行反卷积过滤处理，得到时序解码特征图；所述的时序解码特征图与人脸视频图像序列时长一致；所述的分支损失模块用于将编码器得到的时空编码特征图进行特征变换处理与卷积过滤处理，得到早期短时远程光体积描记信号；所述的早期短时远程光体积描记信号用于与目标集组成损失值指导短时远程光体积描记信号检测模型学习；所述的平滑过滤模块用于将时序解码特征图依次进行全局自适应池化、维度缩减和卷积过滤操作，得到预测的短时远程光体积描记信号。2.如权利要求1所述的短时远程光体积描记信号