一种基于娱乐交互的AR趣味学习系统及方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN106023692A(43)申请公布日2016.10.12(21)申请号201610322477.0(22)申请日2016.05.13(71)申请人广东博士早教科技有限公司地址515000广东省汕头市广益街道广峰工业区(72)发明人黄旋辉(74)专利代理机构成都行之专利代理事务所(普通合伙)51220代理人李朝虎(51)Int.Cl.G09B5/14(2006.01)G06F3/01(2006.01)G06T19/00(2011.01)权利要求书2页说明书9页附图3页(54)发明名称一种基于娱乐交互的AR趣味学习系统及方法(57)摘要本发明公开了一种基于娱乐交互的AR趣味学习系统及方法，包括：至少一个实体书页，摄像装置，显示装置和程序运行装置；使用图像识别预处理单元处理实体书页的图像数据；导入图像识别预处理单元处理实体书页的图像后的数据，程序开发绑定图像ID与相应的三维模型和音频信息；启动趣味学习系统的移动端应用程序，打开摄像装置，实时采集真实世界实体书页图像，渲染显示真实世界的视频图像；识别模块识别图实体书页的标识信息；追踪模块实时计算出实体书页的空间位置信息，完成增强现实的体验。本发明通过上述原理及方法，解决现在教育互动程序和装置的低趣味性问题和互动体验单一问题，操作简单，成本低，非常适用儿童的多媒体互动教学。CN106023692ACN106023692A权利要求书1/2页1.一种基于娱乐交互的AR趣味学习系统，其特征在于，包括：至少一个实体书页，每个实体书页对应一个标识信息，每个标识信息对应一个或多个三维模型以及一个或多个音频信息；摄像装置，用于采集实体书页的图像数据以及实时采集实体书页的视频画面，然后将图像信息以及视频画面提供给程序运行装置；显示装置，用于显示摄像装置采集到的实时视频画面以及显示程序运行装置计算产生的一个或多个三维图像；程序运行装置，用于当用户将所述实体书页置于摄像装置的采集范围时，及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处，处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中，实现渲染显示摄像装置实时采集的实时视频画面和音频信息。2.根据权利要求1所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述程序运行装置包括：识别模块，用于当用户将所述实体书页置于摄像装置的采集范围时，识别模块处理并分析来自摄像装置采集后传输过来的图像数据，识别出实体书页对应的标识信息，并分析出标识信息对应的三维模型和音频信息，依次经过图像特征点的提取、特征点筛选、特征点描述和图像匹配实现图像处理与识别匹配；三维渲染模块，用于渲染显示摄像装置采集的实时视频画面，并且将标识信息对应的三维模型渲染显示出来叠加在实时视频画面中；音频渲染模块，用于渲染出标识信息对应的音频信息；追踪模块，用于及时获取实体书页的空间位置，并将标识信息对应的三维模型绑定到实体书页的空间位置对应某个预置的位置处。3.根据权利要求2所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述三维渲染模块包括模型预处理模块和渲染模块，模型预处理模块基于AutodeskFBXSDK解析FBX模型文件，舍弃移动端不支持的模型特性，导出模型中间文件，模型中间文件交由渲染模块读取。4.根据权利要求2所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述识别模块包括图像识别预处理单元和移动端识别模块，图像识别预处理单元处理实体书页图像信息，得到实体书页的标识信息，移动端识别模块接受摄像装置实时采集的实体书页图像信息，得到图像的标识信息，从而得到标识信息对应的一个或多个三维模型以及一个或多个音频信息，最终交给三维渲染模块和音频渲染模块渲染。5.根据权利要求2或4所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，所述识别模块实时处理摄像装置采集的实体书籍的图像，包含图像的尺寸处理和灰度处理，提取特征点与记录图像特征点的描述文件对比得出摄像装置采集的实体书页图像ID，从而得到实体书页对应的三维模型数据和音频数据。6.根据权利要求1所述的一种基于娱乐交互的AR趣味学习系统，其特征在于，显示装置中显示的一个或多个三维图像采用三维软件制作，导出FBX格式文件，交由3D渲染引擎预处2CN106023692A权利要求书2/2页理为模型中间文件后显示。7.一种基于娱乐交互的AR趣味学习方法，其特征在于，包括如下步骤：步骤A)使用图像识别预处理单元处理实体书页的图像数据，得到图像数据的标识信息，每个标识信息对应了一个图像的ID