脸部器官的状态和眨眼的检测方法、网络训练方法及装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113920555A(43)申请公布日2022.01.11(21)申请号202110845221.9G06V10/82(2022.01)(22)申请日2021.07.26G06N3/04(2006.01)G06N3/08(2006.01)(71)申请人浙江大华技术股份有限公司地址310051浙江省杭州市滨江区滨安路1187号(72)发明人高康康李永凯王宁波梁晓曦徐佳文郭思郁李亚鹏(74)专利代理机构深圳市威世博知识产权代理事务所(普通合伙)44280代理人黎坚怡(51)Int.Cl.G06V40/16(2022.01)G06V40/18(2022.01)G06V10/40(2022.01)G06V10/764(2022.01)权利要求书2页说明书10页附图5页(54)发明名称脸部器官的状态和眨眼的检测方法、网络训练方法及装置(57)摘要本申请公开了一种脸部器官的状态和眨眼的检测方法、网络训练方法及装置。其中，该脸部器官的状态检测方法包括：基于包含目标脸部的图像提取出目标的脸部器官图像和脸部器官的轮廓图；将脸部器官图像和脸部器官的轮廓图进行叠加，以得到叠加图像；对叠加图像进行检测，以确定脸部器官的张开闭合状态。本申请可以提高脸部器官状态的检测准确率。CN113920555ACN113920555A权利要求书1/2页1.一种脸部器官的状态检测方法，其特征在于，所述方法包括：基于包含目标脸部的图像提取出所述目标的脸部器官图像和所述脸部器官的轮廓图；将所述脸部器官图像和所述脸部器官的轮廓图进行叠加，以得到叠加图像；对所述叠加图像进行检测，以确定所述脸部器官的张开闭合状态。2.根据权利要求1所述的脸部器官的状态检测方法，其特征在于，所述基于包含目标脸部的图像提取出所述目标的脸部器官图像和所述脸部器官的轮廓图的步骤包括：从包含目标脸部的图像提取出所述目标的所述脸部器官图像；利用边缘感知网络对所述脸部器官图像进行处理，以得到所述轮廓图。3.根据权利要求2所述的脸部器官的状态检测方法，其特征在于，所述利用边缘感知网络对所述脸部器官图像进行处理的步骤之前包括：基于所述包含目标脸部的图像确定所述目标脸部的朝向信息和计算所述脸部器官的纵横比；在基于所述朝向信息确定所述目标脸部大致正对采集所述包含目标脸部的图像的装置的情况下，且所述脸部器官的纵横比小于闭合阈值，确定所述脸部器官处于闭合状态；否则，则执行利用边缘感知网络对所述脸部器官图像进行处理的步骤。4.根据权利要求3所述的脸部器官的状态检测方法，所述脸部器官为目标的眼睛，其特征在于，所述基于所述包含目标脸部的图像确定所述目标脸部的朝向信息和计算所述脸部器官的纵横比的步骤包括：基于所述包含目标脸部的图像计算所述目标的左眼和右眼的纵横比的差值，并计算目标的鼻尖偏离目标脸部中心的程度，将所述差值和所述程度作为所述朝向信息；所述在基于所述朝向信息确定所述目标脸部大致正对采集所述包含目标脸部的图像的装置的情况下，且所述脸部器官的纵横比小于闭合阈值，确定所述脸部器官处于闭合状态的步骤包括：若所述目标的鼻尖偏离目标脸部中心的程度小于偏离阈值，所述差值小于误差阈值，且所述脸部器官的纵横比小于闭合阈值，则确定所述脸部器官处于闭合状态。5.根据权利要求2所述的脸部器官的状态检测方法，其特征在于，所述基于包含目标脸部的图像提取出所述目标的所述脸部器官图像：提取所述包含目标脸部的图像中脸部的特征点；基于所述脸部的特征点确定脸部器官中心点；以所述脸部器官中心点为中心，脸部器官宽度为边长，从所述包含目标脸部的图像中截取所述脸部器官图像。6.根据权利要求1所述的脸部器官的状态检测方法，其特征在于，所述将所述脸部器官图像和所述脸部器官的轮廓图进行叠加，以得到叠加图像的步骤包括：将所述脸部器官图像和所述脸部器官的轮廓图在通道上进行叠加，以得到所述叠加图像。7.一种脸部器官的状态检测网络的训练方法，其特征在于，所述方法包括：获取脸部器官图像集；基于脸部器官图像集训练边缘感知网络和状态检测网络；2CN113920555A权利要求书2/2页其中，所述边缘感知网络用于对所述脸部器官图像进行处理得到所述脸部器官的轮廓图，所述状态检测网络用于对所述脸部器官图像和所述脸部器官的轮廓图叠加而成的叠加图像进行检测，以确定所述脸部器官的张开闭合状态。8.根据权利要求7所述的训练方法，其特征在于，所述基于脸部器官图像集训练边缘感知网络和状态检测网络的步骤包括：基于脸部器官图像集对边缘感知网络进行训练；将脸部器官图像输入到训练后的边缘感知网络，得到所述脸部器官的轮廓图；将所述脸部器官图像和所述脸部器官的轮廓图进行叠加，得到所述叠加图像；基于所述叠加图像对所述状态检测网络进行训练