图像中人脸睁眼闭眼检测方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113705460A(43)申请公布日2021.11.26(21)申请号202111003044.6(22)申请日2021.08.30(71)申请人平安科技（深圳）有限公司地址518000广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人洪叁亮(74)专利代理机构深圳市沃德知识产权代理事务所(普通合伙)44347代理人高杰于志光(51)Int.Cl.G06K9/00(2006.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书13页附图4页(54)发明名称图像中人脸睁眼闭眼检测方法、装置、设备及存储介质(57)摘要本发明涉及人工智能及数字医疗技术，揭露一种图像中人脸睁眼闭眼检测方法，包括：利用人脸检测模型对待检测图像执行人脸检测，得到人脸尺寸、人脸中心偏移量以及每一个像素点的热度；根据热度筛选出目标图像，根据目标图像中的人脸尺寸、人脸中心偏移量计算目标图像中的人脸框图；利用关键点检测模型检测人脸框图中的人脸关键点坐标；从人脸关键点坐标中提取左右眼角点坐标，得到左右眼图像；利用眼睛状态分类模型对左右眼图像分类检测，得到眼睛状态类别。此外，本发明还涉及区块链技术，如人脸检测模型可存储于区块链的节点。本发明还提出一种图像中人脸睁眼闭眼检测装置、设备以及介质。本发明可以提高图像中眼睛状态检测准确率。CN113705460ACN113705460A权利要求书1/2页1.一种图像中人脸睁眼闭眼检测方法，其特征在于，所述方法包括：获取待检测图像集，利用预构建的人脸检测模型计算所述待检测图像集中的每个待检测图像中的图像特征；根据所述图像特征从所述待检测图像集中筛选出目标图像并计算所述目标图像中的人脸框图；利用预构建的关键点检测模型检测所述人脸框图中的人脸关键点坐标；从所述人脸关键点坐标中提取左右眼角点坐标，通过对所述左右眼角点坐标进行外扩，得到左右眼框；根据所述左右眼框从所述人脸框图中裁剪出左右眼图像，利用预构建的眼睛状态分类模型对所述左右眼图像进行分类检测，得到眼睛状态类别。2.如权利要求1所述的图像中人脸睁眼闭眼检测方法，其特征在于，所述利用预构建的人脸检测模型计算所述待检测图像集中的每个待检测图像中的图像特征，包括：对所述待检测图像集中的每个待检测图像进行数据增强处理，得到标准待检测图像集；逐一统计所述标准待检测图像集中每个标准待检测图像的所有像素点的像素值，得到所述每个标准待检测图像的像素矩阵；利用所述人脸检测模型对所述像素矩阵进行卷积、池化以及激活处理，得到所述标准待检测图像中每一个像素点的热度；选取所述标准待检测图像中每一个像素点的热度大于预设阈值的像素点为人脸像素点，根据所述人脸像素点计算得到所述标准待检测图像的人脸尺寸；根据所述人脸像素点计算得到所述标准待检测图像中的人脸中心偏移量；汇总所述每一个像素点的热度、人脸尺寸及人脸中心偏移量，得到每个待检测图像中的图像特征。3.如权利要求2所述的图像中人脸睁眼闭眼检测方法，其特征在于，所述对所述待检测图像集中的每个待检测图像进行数据增强处理，得到标准待检测图像集，包括：对所述待检测图像集的待检测图像逐一进行随机裁剪；对剪裁后的待检测图像进行随机颜色抖动，汇总裁剪及抖动后的图像，得到标准待检测图像集。4.如权利要求2所述的图像中人脸睁眼闭眼检测方法，其特征在于，所述根据所述图像特征从所述待检测图像集中筛选出目标图像，包括：对所述待检测图像集中每个待检测图像的所有像素点的热度取平均值，得到热度平均值；筛选所述热度平均值大于预设阈值的图像为目标图像。5.如权利要求1所述的图像中人脸睁眼闭眼检测方法，其特征在于，所述利用预构建的关键点检测模型检测所述人脸框图中的人脸关键点坐标，包括：利用所述关键点检测模型的每个卷积层对所述人脸框图进行特征提取，得到关键点特征信息；利用回归器激活所述关键点特征信息，得到人脸关键点坐标。6.如权利要求5所述的图像中人脸睁眼闭眼检测方法，其特征在于，所述从所述人脸关2CN113705460A权利要求书2/2页键点坐标中提取左右眼角点坐标，包括：从所述人脸关键点坐标对应的关键点特征信息中提取出每一个关键点的位置信息，根据所述位置信息生成关键点数据表；利用预设的索引函数构建所述关键点数据表的索引；利用预设的左眼角点坐标标签和右眼角点坐标标签在所述索引中进行检索，并将检索得到位置信息作为左右眼点坐标。7.如权利要求1至6中任意一项所述的图像中人脸睁眼闭眼检测方法，其特征在于，所述利用预构建的眼睛状态分类模型对所述左右眼图像进行分类检测，得到眼睛状态类别，包括：统计所述左右眼图像中所有像素点的像素值，分别得到左眼图像的像