基于人脸识别的直播互动方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN109640104A(43)申请公布日2019.04.16(21)申请号201811422940.4(22)申请日2018.11.27(71)申请人平安科技（深圳）有限公司地址518033广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人张国梁(74)专利代理机构北京市京大律师事务所11321代理人刘立天(51)Int.Cl.H04N21/2187(2011.01)H04N21/475(2011.01)H04N21/4788(2011.01)G06K9/00(2006.01)权利要求书2页说明书9页附图2页(54)发明名称基于人脸识别的直播互动方法、装置、设备及存储介质(57)摘要本发明涉及人脸识别技术领域，具体涉及一种基于人脸识别的直播互动方法、装置、设备及存储介质。基于人脸识别的直播互动方法包括：过获取脸部表情，并将脸部表情对应的脸部表情图片存储于图片存储库中；根据脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，表情库中包括脸部表情图片、表情包表情和脸部表情图片与表情包表情之间的映射关系；将获取到的表情包表情输出到直播互动界面中进行展示。本发明通过人脸识别快速识别出主播在看到观众留言后的第一反应表情，并实时将主播的表情发送至直播界面，提高了主播与观众的互动性，增加直播过程中的趣味性，能有效提高主播的关注量。CN109640104ACN109640104A权利要求书1/2页1.一种基于人脸识别的直播互动方法，其特征在于，所述基于人脸识别的直播互动方法，包括：获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中；根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，所述表情库中包括所述脸部表情图片、所述表情包表情和所述脸部表情图片与所述表情包表情之间的映射关系；将获取到的所述表情包表情输出到直播互动界面中进行展示。2.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，在所述获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中之前，包括：获取代表脸部不同表情的脸部表情图片，所述脸部表情图片包括脸部微动作图片组，所述脸部微动作图片组包括完成脸部微小表情动作的连续多帧图片；根据自定义映射规则建立所述脸部表情图片与表情包表情之间的映射关系，所述表情包表情从网络表情包库中获得；根据所述脸部表情图片、所述表情包表情和所述映射关系建立表情库。3.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，所述获取脸部表情，并将所述脸部表情对应的脸部表情图片存储于图片存储库中，包括：调用客户端的摄像头拍摄用户的脸部表情，并将拍摄到的脸部表情图片存储于所述图片存储库中。4.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，在所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情之前，包括：对获取到的所述脸部表情图片进行灰度化处理，获得灰度图像；对所述灰度图像进行增强处理，具体公式如公式(1)所示：公式(1)中，x、y分别表示图像中点的横、纵坐标，f(x,y)表示原图的灰度值，g(x,y)表示增强图像的灰度值，h1表示满足时的最大灰度值，h2表示满足时的最小灰度值，hist[]表示当前图像的灰度值直方图，N表示当前图像的总像素数。5.如权利要求1所述的一种基于人脸识别的直播互动方法，其特征在于，所述根据所述脸部表情图片与表情包表情的映射关系从表情库中获取对应的表情包表情，包括：识别获取到的所述脸部表情图片中所包含的五官动作；根据所述脸部表情图片、识别到的所述五官动作和所述映射关系从所述表情库中获取对应的所述表情包表情。6.如权利要求5所述的一种基于人脸识别的直播互动方法，其特征在于，所述识别获取2CN109640104A权利要求书2/2页到的所述脸部表情图片中所包含的五官动作，包括：根据MtCNN网络识别所述脸部表情图片，所述MtCNN网络包括PNet网络结构、RNet网络结构和ONet网络结构；获取所述脸部表情图片后，调用所述PNet网络结构对所述脸部表情图片进行非极大值抑制算法NMS计算后产生若干个候选框以及每个候选框的置信度；从所述脸部表情图片的原图像上截取出所述PNet网络结构确定的所有图像片段，并将所有图像片段进行缩放后传送给所述RNet网络结构；调用所述RNet网络结构对所有图像片段进行所述NMS计算后得到每个候选框的置信度和修正值，并将置信度高于阈值的候选框加上修正值进行修正；从所述脸部表情图片的原图像上截取出所述RNet网络结构确定的所有图像片段，并将所有图像片段传送给所述ONet网络结构；调用所述ONet网络