一种基于Kinect体感设备的多视点自由立体交互系统.pdf

(19)中华人民共和国国家知识产权局*CN103440677A*(12)发明专利申请(10)申请公布号(10)申请公布号CNCN103440677103440677A(43)申请公布日2013.12.11(21)申请号201310323324.4(22)申请日2013.07.30(71)申请人四川大学地址610065四川省成都市武侯区一环路南一段24号(72)发明人王琼华李述利张杰刘军邓欢(51)Int.Cl.G06T15/00(2011.01)G06T1/20(2006.01)G06F3/01(2006.01)权权利要求书1页利要求书1页说明书4页说明书4页附图3页附图3页(54)发明名称一种基于Kinect体感设备的多视点自由立体交互系统(57)摘要本发明提出一种基于Kinect体感设备的多视点自由立体交互系统。该系统包括Kinect体感设备、计算机和多视点自由立体显示器。该系统将多视点自由立体显示技术、虚拟现实技术和体感技术相结合，利用Kinect体感设备实时获取人体骨骼数据，由多帧平滑处理后的骨骼数据判断用户做出的特定的肢体动作，将肢体动作转化为与3D虚拟场景交互的控制响应命令，基于GPU实时渲染更新后的3D虚拟场景并生成合成图像，并输出至多视点自由立体显示器上实时显示，用户无需佩戴助视设备即可观看到可交互的立体画面。CN103440677ACN103467ACN103440677A权利要求书1/1页1.一种基于Kinect体感设备的多视点自由立体交互系统，其特征在于，该系统包括Kinect体感设备、计算机和多视点自由立体显示器；所述Kinect体感设备用于获取用户的骨骼信息，并将所述骨骼信息传送至计算机；所述计算机用于根据所述Kinect体感设备反馈的骨骼信息判断用户做出的肢体动作，并转换为与3D虚拟场景交互的控制响应命令，计算机的显卡核心GPU（图形处理器）用于实时渲染3D虚拟场景而得到多幅视差图像，并利用GPU并行处理数据的能力快速生成合成图像；所述多视点自由立体显示器用于显示生成的合成图像，使用户观看到3D虚拟场景的立体画面。2.如权利要求1所述的一种基于Kinect体感设备的多视点自由立体交互系统，其特征在于其实现包括以下四个步骤：步骤1：根据Kinect体感设备反馈的骨骼数据流中的追踪状态判断是否有用户被追踪到，如果有则从中提取用户的骨骼数据，并采用平滑算法平衡化骨骼数据中的不规则点，否则退出本次追踪；步骤2：建立与人体常用肢体动作相关的模板库，每个模板对应于一个肢体动作，且每个模板与人体骨骼点在骨骼坐标系中x，y，z轴上坐标值的变化轨迹、变化范围及持续时间相关，即模板与肢体动作存在时间域与空间域的对应关系，由步骤1所述平滑处理后的骨骼数据中提取用户某个骨骼点在骨骼坐标系中x，y，z轴上的值及其当前时间值，当用户做出一个与该骨骼点相关的肢体动作时，并利用匹配算法判断该动作是否与模板库中某个模板相匹配，若匹配成功，则执行与该模板对应的控制响应命令；步骤3：建立与步骤2所述模板库中各模板相对应的命令响应函数，每个命令响应函数均与3D虚拟场景的切换或世界坐标变换相关，将所述命令响应函数应用于3D虚拟场景，达到与3D虚拟场景交互的目的；步骤4：采用3D虚拟摄像机对3D虚拟场景进行渲染而获取多幅视差图像，为充分利用GPU并行处理数据的能力，采用PixelShader（像素着色器）完成多次渲染叠加过程，即对视差图像进行调制，再由调制后的视差图像生成合成图像，最终，将合成图像输出至多视点自由立体显示器上实时显示。2CN103440677A说明书1/4页一种基于Kinect体感设备的多视点自由立体交互系统技术领域[0001]本发明涉及虚拟现实3D（三维）交互技术，更具体地说，本发明涉及基于Kinect体感设备的多视点自由立体交互技术。背景技术[0002]虚拟现实交互技术是新兴的一种综合集成技术，人们可利用计算机来虚构一个3D世界，并与虚拟的3D世界产生交互作用。目前许多虚拟现实交互系统都采用助视3D显示器显示3D虚拟世界，但佩戴助视设备给用户带来不便。传统的硬件交互设备包含了目前常见的鼠标和键盘，也包含了各种数据手套、操纵杆和捕捉器等等。用户可以通过这些设备与虚拟的3D世界进行交互。然而传统的交互设备的交互方式略显单一，且当用户需要手持或触摸交互设备时，交互体验有所降低，特别地，当用户需完成较复杂的肢体动作时，传统的交互设备难免成为累赘。[0003]近年来，体感交互技术蓬勃发展，渐渐走进人们的生活。Kinect体感设备的传感深度范围在0.8米到4.0米之间，而自由立体显示器的最佳观看距离一般在2米左右，两者之间的适应距离范围存在匹配关系。通过Kinect体感设备，用户可以在不手持或触摸任何设备的情况下，将肢体动作转化为与计