行为识别方法、电子装置和存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113657163A(43)申请公布日2021.11.16(21)申请号202110801176.7(22)申请日2021.07.15(71)申请人浙江大华技术股份有限公司地址310016浙江省杭州市滨江区滨安路1187号(72)发明人张澍魏乃科潘华东(74)专利代理机构杭州华进联浙知识产权代理有限公司33250代理人范丽霞(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书11页附图6页(54)发明名称行为识别方法、电子装置和存储介质(57)摘要本申请涉及一种行为识别方法、电子装置和存储介质，其中，该行为识别方法包括：基于包含目标对象的待处理行为的监控视频，确定目标对象的关键点序列，关键点序列包括目标对象在监控视频的多个视频帧中的关键点信息；根据关键点序列，确定与待处理行为对应的姿态类型序列；对关键点序列进行特征提取，得到第一行为特征；对姿态类型序列进行特征提取，得到第二行为特征；基于第一行为特征和第二行为特征，对待处理行为进行识别，通过本申请，解决了无法准确地描述目标对象行为的问题，减少了识别待处理行为的错误率。CN113657163ACN113657163A权利要求书1/2页1.一种行为识别方法，其特征在于，包括：基于包含目标对象的待处理行为的监控视频，确定所述目标对象的关键点序列，所述关键点序列包括所述目标对象在所述监控视频的多个视频帧中的关键点信息；根据所述关键点序列，确定与所述待处理行为对应的姿态类型序列；对所述关键点序列进行特征提取，得到第一行为特征；对所述姿态类型序列进行特征提取，得到第二行为特征；基于所述第一行为特征和所述第二行为特征，对所述待处理行为进行识别。2.根据权利要求1所述的行为识别方法，其特征在于，所述方法还包括：若对所述待处理行为进行识别的结果中，所述待处理行为的类型与第一姿态类型相对应，且确定所述待处理行为的类型为设置的异常识别类型，则进行报警处理；其中，所述第一姿态类型是所述目标对象在所述监控视频中最后一帧对应的姿态类型。3.根据权利要求1所述的行为识别方法，其特征在于，所述确定所述目标对象的关键点序列，具体包括：获取所述监控视频中当前帧数据和关联帧数据，其中，所述当前帧数据是所述监控视频的多个视频帧中的任意一帧数据，所述关联帧数据是所述当前帧数据的前一帧数据；根据所述当前帧数据确定第一热力图；根据所述关联帧数据确定第二热力图；根据所述第一热力图和所述第二热力图，确定第三热力图；其中，所述第三热力图是基于所述关联帧数据预测所述目标对象在所述当前帧的热力图；根据所述第一热力图和所述第三热力图，确定所述目标对象在当前帧中的热力图；根据所述目标对象在当前帧中的热力图，获取当前帧中与所述目标对象对应的关键点信息。4.根据权利要求3所述的行为识别方法，其特征在于，根据所述第一热力图和所述第二热力图，确定第三热力图包括：根据所述第一热力图与所述第二热力图的差，确定第四热力图；根据所述第二热力图和所述第四热力图，确定所述第三热力图。5.根据权利要求3所述的行为识别方法，其特征在于，根据所述第一热力图和所述第三热力图，确定所述目标对象在当前帧中的热力图包括：将所述第一热力图与所述第三热力图进行融合，得到所述目标对象在当前帧中的热力图。6.根据权利要求4所述的行为识别方法，其特征在于，根据所述第二热力图和所述第四热力图，确定所述第三热力图包括：基于关键点提取模块，对所述第二热力图和所述第四热力图中的关键点进行识别，得到所述第二热力图对应的关键点信息和所述第四热力图对应的关键点信息；根据所述第二热力图对应的关键点信息和所述第四热力图对应的关键点信息，确定所述第三热力图。7.根据权利要求1所述的行为识别方法，其特征在于，所述基于包含目标对象的待处理行为的监控视频，确定所述目标对象的关键点序列，具体包括：基于所述监控视频，获取当前帧的关键点信息、所述当前帧前n帧的关键点信息和所述2CN113657163A权利要求书2/2页当前帧后m帧的关键点信息，其中，所述当前帧为所述监控视频的多个视频帧中除第一视频帧和最后一个视频帧以外的任一视频帧；根据所述当前帧的关键点信息、所述当前帧前n帧的关键点信息和所述当前帧后m帧的关键点信息，确定所述当前帧平滑后的关键点信息；根据所述当前帧平滑后的关键点信息确定所述目标对象的关键点序列。8.根据权利要求1所述的行为识别方法，其特征在于，对所述姿态类型序列进行特征提取，得到第二行为特征之前包括：获取当前帧的姿态类型对应的置信度、所述当前帧前p帧的姿态类型对应的置信度和所述当前帧后q帧的姿态类型对应的置信度，其中，所述当前帧为所述监控视频的多个视频帧中除第