一种基于人脸识别的弹幕点歌方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105898182A(43)申请公布日2016.08.24(21)申请号201610189758.3(22)申请日2016.03.30(71)申请人宁波三博电子科技有限公司地址315000浙江省宁波市高新区凌云路1177号凌云产业园1号楼二层(72)发明人何异徐阿宏杨柳(74)专利代理机构北京华仲龙腾专利代理事务所(普通合伙)11548代理人李静(51)Int.Cl.H04N7/14(2006.01)H04N21/4788(2011.01)G06K9/00(2006.01)权利要求书3页说明书8页附图3页(54)发明名称一种基于人脸识别的弹幕点歌方法及系统(57)摘要一种基于人脸识别的弹幕点歌方法，其包括如下步骤：S1、设置用于盛放弹幕的弹幕容器；预存渲染动态图像，将渲染动态图像划分为不同的应用场景；设置点歌弹幕的通配符；S2、获取用户的文字输入信息；通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息；S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；在弹幕容器上的显示时长、进入位置、运动轨迹；跳转到步骤S2直至视频通信结束。CN105898182ACN105898182A权利要求书1/3页1.一种基于人脸识别的弹幕点歌方法，其包括如下步骤：S1、设置用于盛放弹幕的弹幕容器；配置弹幕载体的基础参数，基础参数包括显示时长、进入位置、运动轨迹；设置点歌弹幕的通配符；预存渲染动态图像，将渲染动态图像划分为不同的应用场景；S2、获取用户的文字输入信息；通过摄像头获取视频图像信息；判断视频图像信息中是否包括用户人脸，如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，跳转到步骤S1；S3、对检测到的用户人脸进行动态跟踪；对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种；S4、根据步骤S3中的心情状态信息选择相应的应用场景，从应用场景中获取渲染动态图像并将其叠加到人脸关键点上；根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹；根据通配符判断弹幕是否为点歌弹幕，在弹幕为点歌弹幕时，在显示弹幕同时调用播放器播放歌曲；跳转到步骤S2直至视频通信结束。2.根据权利要求1所述的基于人脸识别的弹幕点歌方法，其特征在于，所述步骤S2包括：获取用户的文字输入信息；通过摄像头获取视频图像信息，对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息；加载特征训练文件，特征训练文件包括边缘特征、线性特征、中心特征和对角线特征；通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸；如果检测到人脸，跳转到步骤S3；如果没有检测到人脸，重复执行步骤S2。3.根据权利要求2所述的基于人脸识别的弹幕点歌方法，其特征在于，所述步骤S3包括：S31、对检测到的人脸进行预处理；S32、设置人脸跟踪区域，跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组；S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域；S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别；并通过利用自适应增强分类器AdaBoost检测人脸关键点；根据人脸关键点判断用户此刻心情状态信息，心情状态包括积极情绪、消极情绪、中立情绪任一种。4.根据权利要求3所述的基于人脸识别的弹幕点歌方法，其特征在于，所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息；根据人脸关键点判断用户此刻心情状态包括：预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息，特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组；将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练获得心情状态判断模型；获取检测的人脸关键点对应的特征信息，并通过心情状态判断模型判断用户此刻心情状态信息。2CN105898182A权利要求书2/3页5.根据权利要求4所述的基于人脸识别的弹幕点歌方法，其特征在于，所述步骤S4包括：建立心情状态信息与应用场景的映射关系；获取步骤S3中的心情状态信息，根据心情状态信息与应用场景的映射关系选择相应的应用场景；在该应用场景中随机获取渲染动态图像，将渲染动态图像叠加到人脸关键点