一种基于面部视频的抑郁识别方法、装置及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114255433A(43)申请公布日2022.03.29(21)申请号202210169490.2(22)申请日2022.02.24(71)申请人首都师范大学地址100000北京市海淀区西三环北路105号(72)发明人尚媛园潘昱辰邵珠宏刘铁丁辉(74)专利代理机构北京超凡宏宇专利代理事务所(特殊普通合伙)11463代理人于彬(51)Int.Cl.G06V20/40(2022.01)G06V40/16(2022.01)G16H50/20(2018.01)G16H50/70(2018.01)权利要求书3页说明书16页附图6页(54)发明名称一种基于面部视频的抑郁识别方法、装置及存储介质(57)摘要本申请提供了一种基于面部视频的抑郁识别方法、装置及存储介质，包括：通过预先训练好的目标抑郁识别模型提取预先获取到的每个待识别面部子视频的目标时空特征；并通过目标抑郁识别模型输出每个待识别面部子视频的抑郁程度识别分数以及通过热力图生成器确定出每个待识别面部子视频的热力视频；基于每个待识别面部子视频的抑郁程度识别分数确定目标人员的第一抑郁识别结果；基于热力视频确定目标人员的第二抑郁识别结果；基于第一抑郁识别结果和第二抑郁识别结果，确定目标人员的最终抑郁识别结果。这样，基于待识别面部子视频的时空特征得到的抑郁程度识别分数和热力视频确定目标人员的最终抑郁识别结果，可有效的提高抑郁识别结果的准确度。CN114255433ACN114255433A权利要求书1/3页1.一种基于面部视频的抑郁识别方法，其特征在于，所述抑郁识别方法包括：获取目标人员的至少一个待识别面部子视频；其中，每个待识别面部子视频的帧数相等，所述至少一个待识别面部子视频构成所述目标人员的待识别面部视频；针对于每个待识别面部子视频，通过预先训练好的目标抑郁识别模型提取该待识别面部子视频的目标时空特征；通过所述目标抑郁识别模型分别对每个待识别面部子视频的目标时空特征继续进行处理，输出每个待识别面部子视频的抑郁程度识别分数；分别将每个待识别面部子视频的目标时空特征输入至热力图生成器，确定出每个待识别面部子视频的热力视频；基于每个待识别面部子视频的抑郁程度识别分数，确定目标人员抑郁程度的目标识别分数；所述目标识别分数用于确定所述目标人员的第一抑郁识别结果；对确定出的每个待识别面部子视频的热力视频进行拼接，确定目标人员的热力视频；所述热力视频用于辅助医师对所述目标人员进行综合判断，确定所述目标人员的第二抑郁识别结果；基于所述第一抑郁识别结果和所述第二抑郁识别结果，确定所述目标人员的最终抑郁识别结果。2.根据权利要求1所述的抑郁识别方法，其特征在于，通过以下步骤确定目标人员的至少一个待识别面部子视频，包括：获取目标人员的初始面部视频；确定所述初始面部视频的视频帧数是否为第一预设帧数的整数倍；当为是时，将所述初始面部视频确定为所述待识别面部视频；当为否时，将候选面部视频确定为所述待识别面部视频；所述候选面部视频为已添加不超过第一预设帧数的多帧空白图像的所述初始面部视频，所述候选面部视频的帧数为第一预设帧数的整数倍；按照第一预设帧数对所述待识别面部视频进行切割，确定出至少一个待识别面部子视频。3.根据权利要求2所述的抑郁识别方法，其特征在于，所述目标抑郁识别模型中包括多个时空自注意力层，所述通过预先训练好的目标抑郁识别模型提取该待识别面部子视频的目标时空特征，包括：通过所述目标抑郁识别模型中的卷积层对该待识别面部子视频中的每帧图像进行处理，确定该待识别面部子视频的卷积特征；通过所述目标抑郁识别模型中的最大池化层对所述卷积特征进行处理，确定该待识别面部子视频的最大池化特征；按照时空自注意力层的执行顺序，通过所述目标抑郁识别模型中的时空自注意力层依次对所述最大池化特征进行处理，将最后一个时空自注意力层处理完后输出的特征确定为该待识别面部子视频的目标时空特征。4.根据权利要求3所述的抑郁识别方法，其特征在于，所述通过所述目标抑郁识别模型中的时空自注意力层依次对所述最大池化特征进行处理，将最后一个时空自注意力层处理完后输出的特征确定为该待识别面部子视频的目标时空特征，包括：2CN114255433A权利要求书2/3页对输入至当前时空自注意力层的预处理特征进行处理，确定当前时空自注意力层输出的该待识别面部子视频的候选时空特征；所述预处理特征为上一个时空自注意力层输出的特征或所述最大池化特征；当所述当前时空自注意力层为最后一个时空自注意力层时，将输出的候选时空特征确定为该待识别面部子视频的目标时空特征。5.根据权利要求4所述的抑郁识别方法，其特征在于，所述时空自注意力层中包括时间自注意力层、空间自注意力层以及融合层，所述对输入至当