人脸异常行为检测方法、装置、设备及存储介质.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115862090A(43)申请公布日2023.03.28(21)申请号202211383679.8(22)申请日2022.11.07(71)申请人中国农业银行股份有限公司地址100005北京市东城区建国门内大街69号(72)发明人夏旭梅(74)专利代理机构北京集佳知识产权代理有限公司11227专利代理师王雨(51)Int.Cl.G06V40/16(2022.01)G06V10/30(2022.01)G06V10/46(2022.01)G06V10/762(2022.01)权利要求书3页说明书12页附图6页(54)发明名称人脸异常行为检测方法、装置、设备及存储介质(57)摘要本申请公开了一种人脸异常行为检测方法、装置、设备及存储介质，通过对提取到的视觉区域进行生物启发变换，得到不变属性特征图，从而得到具备旋转、缩放等不变性的特征向量，通过依次将当前帧图像的每个特征向量与模板图像的所有特征向量进行Pearson相关性计算，存在满足阈值的相关性计算结果则标记一个命中区域，最后统计命中区域的数量，用命中区域的数量表征当前帧图像和模板图像间的相关性，当命中区域的数量超过预设值时，将当前帧图像标记为正常。由于不同人脸图像的特征图是不同的，可以实现对本人脸的判断，且不会因为图像被翻转或缩放将当前帧图像误判为异常，应用本方案可以得到较为正确的考生人脸检测结果。CN115862090ACN115862090A权利要求书1/3页1.一种人脸异常行为检测方法，其特征在于，包括：在进行在线考试过程中，采集考生的人脸图像，得到待标记的当前帧图像，并获取所述考生预先上传的正常的模板图像；分别对所述当前帧图像和所述模板图像进行视觉区域的提取，得到预设数量个所述当前帧图像的视觉区域，和预设数量个所述模板图像的视觉区域，每一个所述视觉区域用于表征图像中人脸的一个关键特征点；对于所提取到的所述当前帧图像和所述模板图像的每一个所述视觉区域，利用生物启发变换模型对所述视觉区域进行处理，得到与所述视觉区域对应的特征图，由所述特征图得到对应的特征向量；对于所述当前帧图像的每一个特征向量，分别计算本特征向量与所述模板图像的各个特征向量的Pearson相关性，得到预设数量个相关性计算结果，若存在大于第一预设值的所述相关性计算结果，则将与本特征向量对应的视觉区域标记为命中区域；若所述当前帧图像的命中区域的数量达到第二预设值，则将所述当前帧图像标记为正常，否则，将所述当前帧图像标记为异常。2.根据权利要求1所述的方法，其特征在于，提取图像的所述视觉区域，包括：采用SIFT算法提取所述图像中的特征点；对提取到的特征点进行Kmeans聚类，得到n个聚类中心；对于每一个所述聚类中心，获取所述图像中的以所述聚类中心为中心的预设尺寸的图像，得到与所述图像的所述聚类中心对应的视觉区域。3.根据权利要求2所述的方法，其特征在于，利用生物启发变换模型对所述视觉区域进行处理，包括：利用生物启发变换模型中的Gabor滤波器、方向边缘检测器、局部空间频率检测器、整形处理单元ReLU和池化单元依次对所述视觉区域进行处理，得到与所述视觉区域对应的特征图。4.根据权利要求1所述的方法，其特征在于，在分别对所述当前帧图像和所述模板图像进行视觉区域的提取之前，该方法还包括：获取所述当前帧图像之前的被标记为正常的前连续帧图像，由所述当前帧图像和所述前连续帧图像构成输入图像组；利用协同显著性检测模型对所述输入图像组进行处理，得到协同显著图，所述协同显著图用于表征在所述输入图像组的各帧图像中重复出现的显著性目标；基于所述协同显著图得到所述当前帧图像与所述前连续帧图像各自的向量，基于所述向量进行Pearson相关性计算，得到第一相关性计算结果；在所述第一相关性计算结果小于第三预设值的情况下，输出用于表征当前人脸行为异常的标识。5.根据权利要求4所述的方法，其特征在于，所述利用协同显著性检测模型对所述输入图像组进行处理，得到协同显著图，包括：统一所述输入图像组中的各帧图像的尺寸；利用协同显著性检测模型分别对统一尺寸的各帧图像进行处理，得到各帧图像各自的图内协同显著图；2CN115862090A权利要求书2/3页对统一尺寸后的各帧图像进行拼接处理，利用协同显著性检测模型对拼接处理后的图像进行处理，得到图间协同显著图；对于每一帧图像，利用本帧图像的所述图内协同显著图与所述图间协同显著图中的与所述本帧图像对应的区域进行图像融合；将融合后的图像作为协同显著图。6.根据权利要求5所述的方法，其特征在于，所述利用协同显著性检测模型对拼接处理后的图像进行处理，得到图间协同显著图，包括：利用协同显著性检测模型对拼接处理后的图像进行Kmeans聚类分析，得到图间聚类结果，