一种基于人脸识别与手势交互的电视娱乐系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106648079A(43)申请公布日2017.05.10(21)申请号201611104188.XH04N21/443(2011.01)(22)申请日2016.12.05H04N21/4223(2011.01)H04N21/441(2011.01)(71)申请人华南理工大学H04N21/442(2011.01)地址511458广东省广州市南沙区环市大H04N21/25(2011.01)道南路25号华工大广州产研院(72)发明人郑晓旭徐向民罗阳星(74)专利代理机构广州粤高专利商标代理有限公司44102代理人何淑珍(51)Int.Cl.G06F3/01(2006.01)G06K9/00(2006.01)G06K9/40(2006.01)G06K9/62(2006.01)G06N3/08(2006.01)权利要求书2页说明书4页附图2页(54)发明名称一种基于人脸识别与手势交互的电视娱乐系统(57)摘要本发明公开了一种基于人脸识别与手势交互的电视娱乐系统。该系统具体包含图像采集模块、手势交互模块、指令控制模块、人脸识别模块、个性化推荐模块，界面系统。该系统以家庭娱乐产品理念出发，在传统家庭电视娱乐系统的基础上，创新性地加入了手势交互功能，并且利用实时人脸识别，为当前使用者提供一对一的个性化推荐服务，很好地解决了家庭娱乐产品中互动性差，内容信息过载的问题。本发明的交互系统相比其他手势交互系统具有低成本，少改动等优势，进一步靠近用户需求和提高用户体验效果。另外推荐系统更是对多个推荐算法进行有效融合，精准地为用户提供个性化的娱乐信息推荐，提高家庭娱乐产品效应。CN106648079ACN106648079A权利要求书1/2页1.一种基于人脸识别与手势交互的电视娱乐系统，其特征在于包括图像采集模块、手势交互模块、指令控制模块、人脸识别模块、个性化推荐模块、界面系统，其中，图像采集模块，捕获用户在操作时做出的肢体动作信息，并将所述肢体动作信息转化成动态图像序列；手势交互模块，首先对图像采集模块获得的图像进行预处理，分屏搜索和识别用户手势，一旦识别到控制手势便进入手势控制模式，结合背景建模排除相关类肤色影响，对手势进行肤色自适应跟踪；人脸识别模块，在用户初始使用时，通过网络通信将人脸数据传送至后台服务器，调用人脸识别算法，判定用户身份，判定结果用于个性化推荐模块中确定相应的用户身份；指令控制模块，将手势交互结果转化为控制指令，结合界面系统，为用户提供趋势控制、手势鼠标的自然手势交互服务；个性化推荐模块，利用脸识别模块中的人脸识别结果，确定用户身份，调用推荐算法，推荐用户可能感兴趣内容，做到一对一的个性化推荐；界面系统，主要提供内容展示、消息提示及用户交互可视化过程，作为用户操作的直接入口；指令控制模块还进一步从界面系统中采集用户行为数据，为个性化推荐模块提供依据。2.根据权利要求1所述的一种移动可穿戴非接触式交互系统，其特征在于，所述系统采用CS架构，包括客户端与服务端，客户端与服务端通过网络进行数据的交换；图像采集模块、手势交互模块、指令控制模块、界面系统在物理上集成为客户端；人脸识别模块、个性化推荐模块在物理上集成为服务端，通过网络向客户端提供内容信息、人脸识别结果、个性化推荐结果。3.根据权利要求2所述的一种移动可穿戴非接触式交互系统，其特征在于，所述系统客户端平台为嵌入式移动平台或者计算机平台，服务端平台为计算机平台。4.根据权利要求1所述的一种基于人脸识别与手势交互的电视娱乐系统，其特征在于，所述图像采集模块为可拆卸安装模块，由用户个人安装在适当位置。5.根据权利要求1所述的一种基于人脸识别与手势交互的电视娱乐系统，其特征在于，所述手势交互模块搜索用户手势信息为分屏方式，对于每个图像帧，只对图像的一部分进行搜索，在下一图像帧中则搜索另一部分，如此反复。6.根据权利要求1所述的一种基于人脸识别与手势交互的电视娱乐系统，其特征在于，所述人脸识别模块的功能包括：依托于手势交互模块提供手势位置，进而确定用户人脸位置；截取用户人脸图像，通过网络与服务端数据库存在人脸信息做配对，获取用户身份；截取用户人脸图像，通过网络传至服务端，对陌生人脸进行注册，将陌生人脸信息存进数据库，用于确定陌生人身份；所述个性化推荐模块根据获取的用户身份，读取该用户在数据库中的个性化推荐内容，通过网络传至界面系统，呈现给用户。7.根据权利要求6所述的一种基于人脸识别与手势交互的电视娱乐系统，其特征在于所述人脸位置的确定包括：在图像中确定的所有人脸位置中，选取距离手势位置最近的人脸位置；所述对陌生人脸进行注册时，截取用户头像，作为用户身份的凭证；在确定用户身2CN106648079A权利要求