行为识别模型训练和行为识别方法、装置、系统及介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114241376A(43)申请公布日2022.03.25(21)申请号202111536765.3G06V10/774(2022.01)(22)申请日2021.12.15G06V10/82(2022.01)(71)申请人深圳先进技术研究院地址518055广东省深圳市南山区西丽大学城学苑大道1068号(72)发明人唐国令王云珂韩亚宁蔚鹏飞王立平(74)专利代理机构北京品源专利代理有限公司11332代理人潘登(51)Int.Cl.G06V20/40(2022.01)G06K9/62(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书2页说明书10页附图5页(54)发明名称行为识别模型训练和行为识别方法、装置、系统及介质(57)摘要本发明实施例公开了行为识别模型训练和行为识别方法、装置、系统及介质，其中，方法包括：获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。本发明实施例的技术方案解决了现有技术中基于机器识别的行为识别模型训练时间成本较高的问题，实现了一种端对端的模型训练方式，且无需对采集到的视频数据逐帧标注，对输入的行为视频片断数据进行分析，得到对应的行为识别结果，降低模型训练的时间成本。CN114241376ACN114241376A权利要求书1/2页1.一种行为识别模型训练方法，其特征在于，所述方法包括：获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。2.根据权利要求1所述的方法，其特征在于，所述初始行为识别模型对所述模型训练样本进行学习训练的过程，包括：采用预设特征提取模型对所述视频片段中的各视频帧进行特征提取，并分别对各视频帧的特征进行最大池化处理；基于经过最大池化处理的各特征构建待学习特征；分别采用四组不同卷积核对所述待学习特征进行特征提取，并基于提取到的特征输出行为识别结果，并基于所述行为识别结果调整所述初始行为识别模型的参数。3.根据权利要求2所述的方法，其特征在于，所述四组不同卷积核包括三组时间卷积核和一组空间卷积核。4.根据权利要求2所述的方法，其特征在于，所述基于经过最大池化处理的各特征构建待学习特征，包括：按照预设步长，对经过最大池化处理的各特征进行特征抽样；将抽样得到的经过最大池化处理特征进行堆叠得到所述待学习特征。5.根据权利要求1所述的方法，其特征在于，在将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型之前，所述方法还包括：对所述视频片段分别进行水平旋转、垂直翻转和/或水平水质翻转处理，以扩增模型训练数据。6.一种行为识别方法，其特征在于，所述方法包括：获取目标对象的待分析行为视频；将所述待分析行为视频输入至通过权利要求1‑5中任一所述的行为识别模型训练方训练得到的行为识别模型中，获得所述目标对象的行为识别结果。7.一种行为识别模型训练装置，其特征在于，所述装置包括：数据获取模块，用于获取目标对象的行为观察视频，并以预设时间间隔对所述行为观察视频进行切分得到多个视频片段；模型训练模块，用于将经过行为类别标记的各视频片段作为模型训练样本输入到初始行为识别模型中，对所述初始行为识别模型进行训练；模型确定模块，用于当所述初始行为识别模型的输出结果满足预设分类评价指标时，得到目标行为识别模型。8.一种行为识别装置，其特征在于，所述装置包括：待识别数据获取模块，用于获取目标对象的待分析行为视频；行为识别模块，用于将所述待分析行为视频输入至通过权利要求1‑5中任一所述的行为识别模型训练方法训练得到的行为识别模型中，获得所述目标对象的行为识别结果。2CN114241376A权利要求书2/2页9.一种行为识别系统，其特征在于，所述系统包括：多个容积相同且在空间上相邻接的立体实验旷场，多个视频信息采集设备以及视频数据处理子系统；其中，所述立体实验旷场用于容纳被观察实验对象；所述视频信息采集设备固定于与所述立体实验旷场相对应的预设位置处，用于同步采集在预设时间段内的各所述实验旷场内所述实验对象的行为视频数据；所述视频数据处理子系统用于基于所述行为视频数据对所述实验对象的预设行为进行识别。10.根据权利要求9所述的系统，其特征在于，所述视频数据处