一种基于深度相机的人体行为识别方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107742097A(43)申请公布日2018.02.27(21)申请号201710916303.1H04N13/243(2018.01)(22)申请日2017.09.30H04N7/18(2006.01)(71)申请人长沙湘计海盾科技有限公司地址410205湖南省长沙市高新开发区尖山路39号长沙中电软件园总部大楼A128号申请人长城信息产业股份有限公司(72)发明人涂宏斌周翔杨辉田炜周继辉彭日光肖玉飞张丰(74)专利代理机构长沙市融智专利事务所43114代理人杨萍(51)Int.Cl.G06K9/00(2006.01)G06T17/00(2006.01)权利要求书2页说明书5页附图1页(54)发明名称一种基于深度相机的人体行为识别方法(57)摘要本发明公开了一种基于深度相机的人体行为识别方法，包括以下步骤：通过安装在公共区域不同位置的多个深度相机获取监控图像序列；提取监控图像序列中的人体图像，得到人体图像序列，进一步提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积；根据前后时间窗口内投影面积的变化情况粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。本发明成本低，精确度高，实时性强。CN107742097ACN107742097A权利要求书1/2页1.一种基于深度相机的人体行为识别方法，其特征在于，包括以下步骤：步骤1、通过安装在公共区域不同位置的多个深度相机采集公共区域内的点云数据；步骤2、对多个深度相机采集的点云数据进行三维重建，获得重建后的监控图像序列；步骤3、首先提取监控图像序列中的人体图像，得到人体图像序列；然后提取每一帧人体图像中的人体面部轮廓、上肢轮廓和下肢轮廓；最后根据划分的时间窗口，并计算每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积；步骤4、根据前后时间窗口内人体面部轮廓、上肢轮廓和下肢轮廓在各平面的投影面积的变化情况，粗略判定人体行为类别，并在人体图像序列中将投影面积发生变化的时间窗口内的图像帧提取出来；步骤5、通过分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为。2.根据权利要求1所述的基于深度相机的人体行为识别方法，其特征在于，所述步骤3中，每个时间窗口中人体面部轮廓、上肢轮廓和下肢轮廓在y-z平面、x-z平面和x-y平面的投影面积包括以下步骤：3.1)根据Canny算法，提取出每一帧人体图像中的轮廓H，H＝1,2,3分别表示面部轮廓、上肢轮廓、下肢轮廓；3.2)根据以下公式计算任一帧人体图像中的轮廓H在y-z平面、x-z平面和x-y平面的投影面积：其中，x,y,z为深度相机得到图像具有三个维度；为当前时间窗口中轮廓H在y-z平面的投影面积；为该时间窗口中轮廓H在x-z平面的投影面积；为该时间窗口中轮廓H在x-y平面的投影面积；i为帧序号，n为一个时间窗口采集的图像总帧数；SH(xi,y,z)为该时间窗口采集的第i帧图像中的轮廓H在y-z平面的投影面积；SH(x,yi,z)为该时间窗口采集的第i帧图像中的轮廓H在x-z平面的投影面积；SH(x,y,zi)为该时间窗口采集的第i帧图像中的轮廓H在x-y平面的投影面积；为所有时间窗口采集的图像中的轮廓H在y-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-z平面的投影面积之和；为所有时间窗口采集的图像中的轮廓H在x-y平面的投影面积之和；由此得到每个时间窗口中轮廓H在y-z平面、x-z平面和x-y平面的投影面积，这样计算2CN107742097A权利要求书2/2页可以适当提高精度。3.根据权利要求2所述的基于深度相机的人体行为识别方法，其特征在于，所述步骤5包括以下步骤：5.1)由深度相机采集的深度图像序列获取人体关节点的运动轨迹；5.2)分析提取出的图像帧中相关关节点之间的相对速度和相对加速度是否符合步骤4中粗略判定的行为类别的特征，精准判定是否为此类行为；图像帧中关节点之间的相对速度和相对加速度计算公式如下：其中，ti为该图像帧采集的时刻，n为该图像帧采集的时刻所在的时间窗口采集的图像总帧数fp′(ti)和fq′(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在ti时刻的一阶导数，即关节点p和q在ti时刻的速度；fp″(ti)和fq″(ti)分别表示关节点p和q的运动轨迹fp(t)和fq(t)在t