远程光体积描记信号和心率检测模型构建方法及检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116012916A(43)申请公布日2023.04.25(21)申请号202310008405.9G06V10/82(2022.01)(22)申请日2023.01.04G06V10/80(2022.01)G06F18/10(2023.01)(71)申请人西北大学G06N3/0464(2023.01)地址710127陕西省西安市长安区郭杜教G06N3/0455(2023.01)育科技产业区学府大街1号G06N3/049(2023.01)(72)发明人李斌孙迁彭进业乐明楠G06N3/048(2023.01)魏嘉琪祝轩汪霖范建平(74)专利代理机构西安泛想力专利代理事务所(普通合伙)61260专利代理师张涛(51)Int.Cl.G06V40/16(2022.01)A61B5/00(2006.01)A61B5/024(2006.01)G06V20/40(2022.01)权利要求书2页说明书8页附图2页(54)发明名称远程光体积描记信号和心率检测模型构建方法及检测方法(57)摘要本发明提供远程光体积描记信号和心率检测模型构建方法及检测方法，构建方法包括：采集人脸视频图像序列并进行预处理作为初始数据集，采集光体积描记信号作为标签集；构建光体积描记信号和心率检测模型，将初始数据集作为输入，标签集作为输出训练光体积描记信号和心率检测模型，模型输出最终的远程光体积描记信号。本发明在编码器和解码器中分别增加了多层次特征融合模块和多尺度增强模块，保证特征提取过程中保留与远程光体积描记信号时序信息高度相关的有效生理特征，从而恢复准确的远程光体积描记信号并提升模型的性能，通过信号估计模块将预测的信号进行滤波操作，可以在一定程度上更好地适应波形失真值，提高模型预测精度。CN116012916ACN116012916A权利要求书1/2页1.远程光体积描记信号和心率检测模型构建方法，其特征在于，包括以下步骤：S1：采集人脸视频图像序列和远程光体积描记信号，对采集到的人脸视频图像进行预处理以得到预处理后的人脸视频图像序列，并将预处理后的人脸视频图像序列作为初始数据集，采集到的远程光体积描记信号作为标签集；S2：构建远程光体积描记信号和心率检测模型，将所述初始数据集作为输入，所述标签集作为输出以训练所述远程光体积描记信号和心率检测模型；S3：将所述初始数据集输入至经过训练的所述远程光体积描记信号和心率检测模型，输出最终得到的远程光体积描记信号。2.根据权利要求1所述的远程光体积描记信号和心率检测模型构建方法，其特征在于：所述远程光体积描记信号和心率检测模型包括视频预处理模块、生理特征提取模块和信号估计模块，所述生理特征提取模块用于提取生理特征，所述信号估计模块用于合并信号；所述视频预处理模块用于从人脸图像序列中裁剪出包含丰富生理信息的脸颊，所述视频预处理模块将采集到的所述人脸视频图像序列中的RGB三通道分离，并为所述RGB三通道设置不同的权重。3.根据权利要求2所述的远程光体积描记信号和心率检测模型构建方法，其特征在于：所述生理特征提取模块包括编码器和解码器，所述编码器和解码器均并行设置有三个，所述编码器分别用于提取所述RGB三通道的生理特征，所述解码器分别用于恢复所述RGB三通道的信号；所述编码器分别增加多层次特征融合模块以依次融合前面每层的输出特征，所述解码器分别增加多尺度增强模块，以实现跳层连接和恢复准确的远程光体积描记信号。4.根据权利要求3所述的远程光体积描记信号和心率检测模型构建方法，其特征在于：所述信号估计模块用于合并自三个所述解码器来的RGB三通道的信号，对合并后的信号进行滤波以输出远程光体积描记信号。5.根据权利要求3所述的远程光体积描记信号和心率检测模型构建方法，其特征在于：所述编码器为四层，所述解码器为三层，其中所述编码器为一个1*5*5的三维卷积块和三个3*3*3的时空块，所述卷积块后均设置标准化层和ReLU层；所述卷积块后均设置有残差组，所述残差组用于传输特征尺寸变化中丢失的生理特征，以提高网络的稳定性；其中所述多层次特征融合模块分别设置于所述编码器的第2‑4层，以依次融合前面每层的输出特征，并加强每个通道特征的时空相关性；所述解码器有三个核大小为3*3*3的反卷积层，所述解码器的每层都增加了多尺度增强模块，以实现跳层连接，以及强化学习上层的面部生理特征，恢复准确的远程光体积描记信号。6.根据权利要求3所述的远程光体积描记信号和心率检测模型构建方法，其特征在于：所述多层次特征融合模块定义为：其中，ei是编码器第i层的隐藏特征，是通过特征融合后增强的特征，{1,2,…,i‑1}2CN116012916A权利要求书2/2页是编码器前i‑1层所有多层次特征融合模块融合的特征。7