小样本动作识别模型训练方法、装置、电子设备及存储介质.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN114282047A(43)申请公布日2022.04.05(21)申请号202111087467.0G06V10/82(2022.01)(22)申请日2021.09.16G06K9/62(2022.01)G06N3/04(2006.01)(71)申请人腾讯科技（深圳）有限公司G06N3/08(2006.01)地址518057广东省深圳市南山区高新区科技中一路腾讯大厦35层(72)发明人王菡子王光格祁仲昂单瀛(74)专利代理机构北京派特恩知识产权代理有限公司11270代理人彭奇张颖玲(51)Int.Cl.G06F16/71(2019.01)G06F16/73(2019.01)G06V20/40(2022.01)G06V10/74(2022.01)G06V10/774(2022.01)权利要求书4页说明书19页附图7页(54)发明名称小样本动作识别模型训练方法、装置、电子设备及存储介质(57)摘要本发明提供了一种小样本动作识别模型训练方法、装置、电子设备以及存储介质，方法包括：对第二训练样本集合进行处理，得到第一视频帧序列；对查询视频进行处理，得到第二视频帧序列；对第一视频帧序列进行处理，得到第一时序关系描述子；对第二视频帧序列进行处理，得到第二时序关系描述子；根据第一时序关系描述子和第二时序关系描述子，对小样本动作识别模型的模型参数进行调整，以实现通过小样本动作识别模型对视频信息中的动作进行识别，由此，经过训练的小样本动作识别模型可以实现鲁棒并精确地对视频中的目标对象的动作进行准确地识别，可以增强模型的泛化性，同时小样本动作识别模型的训练过程减少了训练标记成本。CN114282047ACN114282047A权利要求书1/4页1.一种小样本动作识别模型训练方法，其特征在于，所述方法包括：获取第一训练样本集合，其中所述第一训练样本集合包括通过历史数据所获取的不同类型的视频样本；在所述第一训练样本集合进行随机抽取处理，得到第二训练样本集合和查询视频，其中，所述第二训练样本集合中的视频数量与视频类型数量均为随机数，所述查询视频的数量为1；通过小样本动作识别模型中的嵌入层网络，对所述第二训练样本集合进行处理，得到第一视频帧序列；通过所述小样本动作识别模型中的嵌入层网络，对所述查询视频进行处理，得到第二视频帧序列；通过所述小样本动作识别模型中的时序关系网络，对所述第一视频帧序列进行处理，得到第一时序关系描述子；通过所述小样本动作识别模型中的时序关系网络，对所述第二视频帧序列进行处理，得到第二时序关系描述子；根据所述第一时序关系描述子和所述第二时序关系描述子，对所述小样本动作识别模型的模型参数进行调整，以实现通过所述小样本动作识别模型对视频信息中的动作进行识别。2.根据权利要求1所述的方法，其特征在于，所述获取第一训练样本集合，包括：确定小样本动作识别模型的使用环境标识；根据所述小样本动作识别模型的使用环境标识，确定与所述的使用环境相匹配的历史数据；在与所述的使用环境相匹配的历史数据中筛选不同类型的视频样本作为第一训练样本集合。3.根据权利要求1所述的方法，其特征在于，所述在所述第一训练样本集合进行随机抽取处理，得到第二训练样本集合和查询视频，包括：在所述第一训练样本集合中随机抽取N个类型的视频信息；在每一个类型的视频信息中随机抽取K个视频信息；将所述N个类型中的所有视频信息进行组合，得到第二训练样本集合；从所述N个类型中未被抽取的视频信息中随机抽取一个视频信息作为查询视频。4.根据权利要求1所述的方法，其特征在于，所述通过小样本动作识别模型中的嵌入层网络，对所述第二训练样本集合进行处理，得到第一视频帧序列，包括：通过小样本动作识别模型中的嵌入层网络，分别在所述第二训练样本集合中提取不同的第一帧级别特征向量；确定所述不同的第一帧级别特征向量中的每一个第一帧级别特征向量所分别对应的通道数量；基于所述通道数量，确定对应的第一帧级别特征向量集合，以及与所述第一帧级别特征向量集合相匹配的相似度矩阵；根据所述第一帧级别特征向量集合和所述相似度矩阵，通过融合处理确定相应的第二帧级别特征向量集合；2CN114282047A权利要求书2/4页通过对所述第二帧级别特征向量集合的线性转换处理，确定所述帧级别的特征向量。5.根据权利要求1所述的方法，其特征在于，所述通过所述小样本动作识别模型中的嵌入层网络，对所述查询视频进行处理，得到第二视频帧序列，包括：通过小样本动作识别模型中的嵌入层网络，在所述查询视频中提取第三帧级别特征向量，并组成第三帧级别特征向量集合；确定所述第三帧级别特征向量所分别对应的通道数量；基于所述通道数量，确定对应的第三帧级别特征向量集合，并通过对所述第三帧级别特征