行人监控方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN107644190A(43)申请公布日2018.01.30(21)申请号201610577109.0(22)申请日2016.07.20(71)申请人北京旷视科技有限公司地址100190北京市海淀区科学院南路2号A座313申请人北京迈格威科技有限公司(72)发明人俞刚彭雨翔吕凯风印奇(74)专利代理机构北京睿邦知识产权代理事务所(普通合伙)11481代理人徐丁峰戴亚南(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书5页说明书21页附图6页(54)发明名称行人监控方法和装置(57)摘要本发明的实施例提供了一种行人监控方法和装置。该行人监控方法包括：获取视频；检测视频包含的一个或多个行人；对于一个或多个行人中的每一个，识别该行人的身份；对于一个或多个行人中的每一个，确定该行人在包含该行人的至少一个视频帧中的动作；以及对于一个或多个行人中的每一个，根据该行人的身份和该行人在包含该行人的至少一个视频帧中的动作确定该行人是否做出异常行为。上述行人监控方法和装置综合考虑行人的身份及其动作来判定其是否做出异常行为，因此可以更加智能、高效、准确地检测异常行为的发生，通过这种方法可以有效保障被监控区域的安全。CN107644190ACN107644190A权利要求书1/5页1.一种行人监控方法，包括：获取视频；检测所述视频包含的一个或多个行人；对于所述一个或多个行人中的每一个，识别该行人的身份；确定该行人在包含该行人的至少一个视频帧中的动作；以及根据该行人的身份和该行人在所述包含该行人的至少一个视频帧中的动作确定该行人是否做出异常行为。2.如权利要求1所述的行人监控方法，其中，所述检测所述视频包含的一个或多个行人包括：针对所述视频的选定视频帧进行行人检测，以确定所述视频的选定视频帧中存在行人的位置；以及根据所述视频的选定视频帧中存在行人的位置对所述一个或多个行人中的每一个进行行人跟踪。3.如权利要求2所述的行人监控方法，其中，所述针对所述视频的选定视频帧进行行人检测包括：针对所述视频的选定视频帧中的每个视频帧，检测该视频帧中的包含行人的行人框的位置及行人框属于行人的概率值；以及选择概率值超过阈值的行人框；其中，所述存在行人的位置为所选择的行人框的位置。4.如权利要求3所述的行人监控方法，其中，在所述对于所述一个或多个行人中的每一个，确定该行人在包含该行人的至少一个视频帧中的动作之前，所述行人监控方法进一步包括：对于所述一个或多个行人中的每一个，针对在所述包含该行人的至少一个视频帧中的、与该行人相对应的行人框进行行人姿态估计，以确定该行人在所述包含该行人的至少一个视频帧中的每个视频帧中的姿态信息。5.如权利要求4所述的行人监控方法，其中，在所述对于所述一个或多个行人中的每一个，针对在所述包含该行人的至少一个视频帧中的、与该行人相对应的行人框进行行人姿态估计之后，所述行人监控方法进一步包括：对于所述一个或多个行人中的每一个，根据该行人的行人跟踪结果对该行人在所述包含该行人的至少一个视频帧中的每个视频帧中的姿态信息进行时间轴上的平滑。6.如权利要求4或5所述的行人监控方法，其中，所述姿态信息包括行人的人体关键点的位置。7.如权利要求6所述的行人监控方法，其中，所述对于所述一个或多个行人中的每一个，识别该行人的身份包括：将通过下列身份确定操作之一所确定的行人身份作为该行人的身份，或者结合下列身份确定操作中的两项或三项所确定的行人身份来确定该行人的身份：第一身份确定操作：至少根据该行人在包含该行人的一个或多个视频帧中的姿态信息获得该行人的人脸信息，并基于该行人的人脸信息确定行人身份；2CN107644190A权利要求书2/5页第二身份确定操作：至少根据该行人在包含该行人的一个或多个视频帧中的姿态信息获得该行人的关键点距离信息，并基于该行人的关键点距离信息确定行人身份；以及第三身份确定操作：至少根据该行人在包含该行人的一个或多个视频帧中的姿态信息获得该行人的运动信息，并基于该行人的运动信息确定行人身份。8.如权利要求7所述的行人监控方法，其中，所述人脸信息包括人脸位置，所述第一身份确定操作包括：针对所述包含该行人的一个或多个视频帧中的每一个，根据该行人在该视频帧中的姿态信息和在该视频帧中的、与该行人相对应的行人框的位置确定该行人在该视频帧中的人脸位置；基于该行人在该视频帧中的人脸位置处的原始像素数据进行人脸识别，以获得身份信息；以及根据针对所述包含该行人的一个或多个视频帧所获得的身份信息确定行人身份。9.如权利要求7所述的行人监控方法，其中，所述第二身份确定操作包括：针对所述包含该行人的一个或多个视频帧中的每一个，计算该行人在该视