行为识别方法、装置及计算机可读存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN110738101A(43)申请公布日2020.01.31(21)申请号201910832181.7G06N3/08(2006.01)(22)申请日2019.09.04(71)申请人平安科技（深圳）有限公司地址518033广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼(72)发明人罗郑楠周俊琨肖玉宾许扬(74)专利代理机构北京鸿元知识产权代理有限公司11327代理人董永辉李玉琦(51)Int.Cl.G06K9/00(2006.01)G06K9/46(2006.01)G06K9/62(2006.01)G06N3/04(2006.01)权利要求书2页说明书9页附图3页(54)发明名称行为识别方法、装置及计算机可读存储介质(57)摘要本方案涉及人工智能，提供一种行为识别方法、装置及存储介质，方法包括：将视频流分割为图像帧序列；检测每一帧图像中的人体轮廓，并用第一矩形框将每个人体标记出来；计算每一帧图像中任两个第一矩形框之间的距离；若某一帧图像中两个第一矩形框之间的距离小于阈值，采用二人组合框将两个第一矩形框包围；查找前后多帧图像，将与二人组合框中相同的两个人都形成二人组合框，并将该帧图像及前后多帧图像中的二人组合框组成二人组合框序列；将二人组合框序列输入到神经网络模型中进行行为识别。本发明避免多余的背景给神经网络模型造成大量的计算量，又保留了两个人之间的对于行为判断有价值的特征，提升了在复杂场景下行为识别的准确率。CN110738101ACN110738101A权利要求书1/2页1.一种行为识别方法，应用于电子装置，其特征在于，包括以下步骤：S1，获取视频流，将视频流分割为由多帧图像组成的图像帧序列；S2，检测每一帧图像中的人体轮廓，并用第一矩形框将每个人体标记出来；S3，计算每一帧图像中任意两个第一矩形框之间的距离；S4，若某一帧图像中两个第一矩形框之间的距离小于设定的距离阈值，则采用二人组合框将所述两个第一矩形框包围，其中，二人组合框是包围所述两个第一矩形框的最小矩形框；S5，查找所述某一帧图像的前后多帧图像，将与所述二人组合框中相同的两个人都形成二人组合框，并将所述某一帧图像以及前后多帧图像中的二人组合框组成二人组合框序列；S6，将所述二人组合框序列输入到神经网络模型中，通过神经网络模型进行人体行为识别，得到识别结果，确认是否属于预设行为类别。2.根据权利要求1所述的行为识别方法，其特征在于，检测每一帧图像中的人体轮廓，并用第一矩形框将每个人体标记出来的步骤包括：通过滑动窗口在图像上按照预设轨迹滑动，并通过CNN模型对滑动窗口中的物体提取空间特征，利用SVM分类器对提取到的所述空间特征分类，从而确定滑动窗口中是否有人体，并且，还输出滑动窗口的四个角点的坐标，以四个角点的坐标形成第一矩形框标记人体轮廓。3.根据权利要求2所述的行为识别方法，其特征在于，步骤S5还包括：识别前后多帧图像中是否存在与所述二人组合框中相同的两个人；其中，提取所述前后多帧图像中的各第一矩形框的光流图特征，并结合第一矩形框的所述空间特征输入到RNN模型中提取时序特征，从而判断是否存在与所述二人组合框中相同的两个人。4.根据权利要求1所述的行为识别方法，其特征在于，所述神经网络模型包括依次连接的多个并列的第一2D卷积子网络W2D和并列的一个3D卷积子网络W3D、一个第二2D卷积子网络V2D，对于每帧图像，采用第一2D卷积子网络W2D来得到多个特征图谱，将图像帧序列的所有帧图像得到的特征图谱组成特征集合，所述特征集合分别输入到一个3D卷积子网络W3D和一个第二2D卷积子网络V2D进行处理，将第二2D卷积子网络的输出与3D卷积子网络的输出结果融合，得到识别结果，确认是否属于预设行为类别。5.根据权利要求1所述的行为识别方法，其特征在于，步骤S6中，神经网络模型对输入的图像进行行为识别的方法是：通过结合面部表情识别、裸露部位皮肤颜色识别、语音识别、接触部位识别中的至少一种方式来判定人体行为，对应每种方式获取一个判定结果，并对各判定结果进行加权平均，作为最终的判定结果。6.根据权利要求5所述的行为识别方法，其特征在于，所述通过结合面部表情识别、裸露部位皮肤颜色识别、语音识别、接触部位识别中的至少一种方式来判定人体行为的步骤包括：将图像转换为HSV图像，并按从左至右、从上至下的顺序对图像进行扫描，通过每一个像素与邻近的像素值的比较进行连通区域标记，确定每个连通区域内色调值介于340-360之间的像素点的个数，至少一个连通域的像素点的数量大于阈值，则认定为存在打架行为。2CN110738101A权利要求书2/2页7.根据权利要求5所述的行为识别方法，其特征在于，所述通过结