基于三维机器视觉的智能家庭服务机器人.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105364915A(43)申请公布日2016.03.02(21)申请号201510912378.3(22)申请日2015.12.11(71)申请人齐鲁工业大学地址250353山东省济南市西部新城大学科技园大学路3501号齐鲁工业大学(72)发明人王庆祥孙兆政段延娟(51)Int.Cl.B25J9/00(2006.01)B25J19/04(2006.01)B25J9/16(2006.01)权利要求书1页说明书2页附图3页(54)发明名称基于三维机器视觉的智能家庭服务机器人(57)摘要本发明公开了一种基于三维视觉的家庭服务机器人，尤其涉及一种监护目标和按命令拿取物品的方法。利用RGB-D传感器，识别目标骨架与姿态并实时记录，在目标出现意外跌倒的时候做出报警动作，本发明记录的数据比特数远远小于记录视频图像，可还原意外跌倒时的场景。同样利于RGB-D传感器可以识别用户手势指示方向，得到待取物品的大致角坐标，配合语音命令，既可快速准确拿取物品。平台使用麦克纳姆轮全向移动平台，可以在室内复杂环境下实现各种轨迹的跟随移动。CN105364915ACN105364915A权利要求书1/1页1.一种机器人，其特征在于是一种可移动监护目标，亦可以根据命令拿取物品：基于三维机器视觉的智能家庭服务机器人。2.如权利要求1所述的机器人，其特征在于，所述的命令由语音和手势两者构成，且两者的互相依赖。3.如权利要求1所述的机器人，其特征在于，所述的监护基于三维视觉的骨架及目标识别，准确实率高，记录数据量小，记录场景可原性强。4.如权利要求1所述的机器人，其特征在于，所述的移动基于麦克纳姆轮四轮全向移动系统，移动迅速，行动灵活，环境适应性强。2CN105364915A说明书1/2页基于三维机器视觉的智能家庭服务机器人技术领域[0001]本发明涉及一种提供家庭服务的机器人装置，尤其是能提供智能取物和老年人跌倒监护家用的机器人。背景技术[0002]目前，公知的家用机器人只能进行简单的家庭卫生打扫，并没有视觉听觉等多感官系统的加入，所能提供的功能有限，并不能称之为智能型机器人。在监护方面，目前没有非侵入式产品可以提供跟随监护的功能；在取物方面，目前的取物机器人准确度与灵活性较差。[0003]RGB-D传感器的出现为人的姿态识别和物体的分割定位带来了新的发展契机，在姿态识别方面，它可以获取人体骨架信息，包括部分手势，从而可以实现姿态的识别以及手势理解，比如手语识别，而家用机器人的发展也受其影响，有一些机器人研究开始采用RGB-D传感器作为机器人的视觉。但在智能家用服务机器人领域，包括自跟随的监护和准确的物品抓取方面仍有许多问题需要研究。发明内容[0004]为了弥补当前为大众所知的家庭机器人、老人监护设备及机器人取物的不足，本发明提供一种新型的智能机器人，该智能机器人不仅能对老人进行跟随监护，而且能方便的帮助拿取物品。[0005]本发明通过为机器人增加三维机器视觉及相应的软件、语音识别及相应软件和机械臂实现了使机器人可以对目标人进行跟随监护，亦可根据语音及用户手势确定目标物体所在并将其取回。[0006]为实现对人的监护本发明采用的技术方案是：使用带有采集深度信息的三维视频摄像头，取得“视野”范围内的所有像素点的空间三维坐标及带颜色的图像信息，通进先进的软件和高性能内置计算机分析被监护人的运动行为。在被监护人移动时及时跟随，对意外跌倒做出及时报警（*）。[0007]为实现快速准确的取物本发明采用的技术方案是：通过特殊的命令格式来对机器人下命令，该命令包含两个必须部分（A项和B项）和不定数量的可选部分（CD为可选项）：A目标方向+B目标名称+C目标颜色+D目标距离。其中A项通过使用者手势指向来取得，BCD项均为语音命令。命令举例：手指向2点钟方向，口述“苹果，红色”。[0008]*注：报警方式包括但不限于声音、灯光、短信、电话、网络。[0009]本发明的有益效果是，可以在不过分增加系统复杂性的条件下，提高家用机器人的实用性，通过新技术的应用，增强家用机器人的功能。附图说明[0010]图1是本发明跟随监护的基本流程图。3CN105364915A说明书2/2页[0011]图2是本发明取物的基本流程。[0012]图3是本发明全向移动平台的示意。具体实施方式[0013]（1）姿态采集和处理模块三维立体视觉动态采集及分析。采用三维立体视觉采集设备，实现三维空间数据的动态建立与识别，尤其是对人体的运动姿态识别功能。识别三维图中的骨架信息并返回关键关节坐标，再通过各关节的三维坐标与时间结合判断目标姿态与运动趋势。该模块流程图为图2。[0014]（2）通讯模块上位机通过互联网和蜂窝移动网络与人通讯，上位机装有