一种人脸识别方法及人脸识别打卡系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111160307A(43)申请公布日2020.05.15(21)申请号201911422152.X(22)申请日2019.12.31(71)申请人帷幄匠心科技（杭州）有限公司地址311100浙江省杭州市余杭区仓前街道仓兴街1号2幢203C、203E(72)发明人吴启帆叶生晅(74)专利代理机构杭州裕阳联合专利代理有限公司33289代理人姚宇吉(51)Int.Cl.G06K9/00(2006.01)G07C1/10(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种人脸识别方法及人脸识别打卡系统(57)摘要本发明公开了一种人脸识别方法及人脸识别打卡系统，通过采集待识别的人脸图片，利用人脸公开的68个关键点数据集来建立基于MobileNet轻量级的landmark模型，并通过这个模型来检测人脸关键点，再通过人脸关键点来估算人脸姿态，符合要求的人脸图片方可进入图像识别环节，最后还将完成识别且被标记id的新的人脸图片进行训练，训练完成的人脸图片再更新至人脸特征库中，替代旧的人脸图片，从而实现人脸识别模型的实时更新；轻量级的landmark模型在不同设备中的适用范围得到扩大；在不同背景环境下本发明都能完成图像识别与图像训练。基于这种人脸识别方法，本发明还公开一种人脸识别系统。CN111160307ACN111160307A权利要求书1/2页1.一种人脸识别打卡方法，其特征在于，包括以下步骤：步骤一：采集基础人脸图片，注册首版的人脸识别模型；步骤二：实时采集当前待识别用户的动态人脸图片；步骤三：检测所述动态人脸图片上的人脸；步骤四：检测所述动态人脸图片的人脸关键点；步骤五：检测人脸姿态角，估算人脸姿态，发送人脸识别请求；步骤六：服务端接收所述人脸识别请求后对动态人脸图片进行识别；步骤七：所述动态人脸图片被识别为正确后，人脸识别打卡成功；步骤八：将采集到的被识别为正确的所述动态人脸图片进行训练并更新人脸识别模型，所述更新后的人脸识别模型用于后续动态人脸图片进行人脸识别的对比参照物。2.根据权利要求1所述的一种人脸打卡识别方法，其特征在于，所述步骤一还包括：计算基础人脸图片的embedding，并将所述基础人脸图片的embedding保存至人脸特征库，给所述基础人脸图片的embedding分配唯一faceid。3.根据权利要求2所述的一种人脸打卡识别方法，其特征在于，所述步骤三还包括：采用mtcnn人脸检测模型来检测所述动态人脸图片上的人脸。4.根据权利要求3所述的一种人脸打卡识别方法，其特征在于，所述步骤四还包括：使用人脸公开的68个关键点数据集，在基于MobileNet轻量级网络结构条件下训练出包括68个关键点的Landmark模型，所述Landmark模型用于检测所述动态人脸图片的人脸关键点位置。5.根据权利要求4所述的一种人脸打卡识别方法，其特征在于，所述步骤五包括：使用检测出的68个人脸关键点估算出人脸姿态，所述人脸姿态又人脸姿态角表示，所述人脸姿态角包括roll，pitch和yaw；将yaw角度在-10°至10°范围内的动态人脸图片上传至阿里云OSS并获取URL；向服务端发送所述URL的人脸识别请求。6.根据权利要求5所述的一种人脸打卡识别方法，其特征在于，所述步骤六还包括：所述服务端在接收到所述人脸识别请求后，先计算所述动态人脸图片512维的embedding，利用所述动态人脸图片的embedding在所述人脸特征库中进行搜索，选取所述人脸特征库中与动态人脸图片的embedding余弦相似度最高且大于0.5的基础人脸图片的embedding的faceid作为所述动态人脸图片的id。7.根据权利要求6所述的一种人脸打卡识别方法，其特征在于，所述步骤六还包括：当人脸特征库中的基础人脸图片的embedding已被替换成旧的动态人脸图片的embedding时，所述服务端在接收到新的人脸识别请求后，先计算新的动态人脸图片512维的embedding，利用所述新的动态人脸图片的embedding在人脸特征库中进行搜索，选取人2CN111160307A权利要求书2/2页脸特征库中与新的动态人脸图片的embedding余弦相似度最高且大于0.5的旧的动态人脸图片的embedding的faceid作为所述新的动态人脸图片的id。8.一种人脸识别打卡系统，其特征在于：所述人脸识别打卡系统包括图像采集模块，人脸特征库，人脸检测模块，图像数据检测模块，图像识别模块，图像训练模块；所述图像采集模块用于采集人脸图片，所述人脸图片包括基础人脸图片和动态人脸图片，所述基础人脸图片被注册并保存于所述人脸特征库；所述人脸检测模块使用mtcnn人脸检测模型检测人脸图片上