时序动作提名方法及装置.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN114973095A(43)申请公布日2022.08.30(21)申请号202210648422.4(22)申请日2022.06.09(71)申请人中国电信股份有限公司地址100033北京市西城区金融街31号(72)发明人黄金龙张琳贺嘉何美斌(74)专利代理机构北京康信知识产权代理有限责任公司11240专利代理师张文华(51)Int.Cl.G06V20/40(2022.01)G06V40/20(2022.01)权利要求书3页说明书11页附图3页(54)发明名称时序动作提名方法及装置(57)摘要本申请公开了一种时序动作提名方法及装置。其中，该方法包括：获取待处理视频，将待处理视频划分为多个第一视频片段；基于预训练的原子动作评估模型确定每个第一视频片段对应的原子动作概率，得到原子动作概率集；基于原子动作概率集合从多个第一视频片段对应的标记时间点中确定动作边界集合，并基于动作边界集合确定多个候选动作提名；提取每个候选动作提名对应的候选提名特征，并基于候选提名特征确定每个候选动作提名的置信度；基于多个候选动作提名的置信度对多个候选动作提名进行非极大值抑制处理，得到目标动作提名。本申请解决了相关技术中对视频进行时序动作检测时获取动作提名的过程较为复杂，且召回率不高的技术问题。CN114973095ACN114973095A权利要求书1/3页1.一种时序动作提名方法，其特征在于，包括：获取待处理视频，将所述待处理视频划分为多个第一视频片段，其中，每个所述第一视频片段具有对应的标记时间点；基于预训练的原子动作评估模型确定每个所述第一视频片段对应的原子动作概率，得到原子动作概率集合，其中，所述原子动作评估模型为Transformer模型，所述原子动作包括：动作开始，动作进行中和动作结束；基于所述原子动作概率集合从所述多个第一视频片段对应的标记时间点中确定动作边界集合，并基于所述动作边界集合确定多个候选动作提名；提取每个所述候选动作提名对应的候选提名特征，并基于所述候选提名特征确定每个所述候选动作提名的置信度；基于所述多个候选动作提名的置信度对所述多个候选动作提名进行非极大值抑制处理，得到目标动作提名。2.根据权利要求1所述的方法，其特征在于，将所述待处理视频划分为多个第一视频片段，包括：通过等间隔采样法将所述待处理视频划分为多个所述第一视频片段，其中，任意相邻的两个所述第一视频片段具有重叠的视频帧图像。3.根据权利要求1所述的方法，其特征在于，基于预训练的原子动作评估模型确定每个所述第一视频片段对应的原子动作概率，得到原子动作概率集合，包括：将所述多个第一视频片段依次输入所述原子动作评估模型，得到每个所述第一视频片段对应的所述原子动作概率，所述原子动作概率包括：动作开始概率，动作进行中概率和动作结束概率；将所述多个第一视频片段对应的所述原子动作概率作为所述原子动作概率集合，所述原子动作概率集合包括：动作开始概率集合，动作进行中概率集合和动作结束概率集合。4.根据权利要求3所述的方法，其特征在于，所述原子动作评估模型的训练过程包括：获取训练样本视频及标注信息，所述标注信息用于标注所述训练样本视频中的动作实例；将所述训练样本视频划分为多个第二视频片段，并基于待训练的原子动作评估模型预测每个所述第二视频片段对应的所述原子动作概率；基于每个所述第二视频片段对应的所述原子动作概率及所述标注信息构建目标损失函数；基于所述目标损失函数，通过反向传播梯度下降的方式调整所述待训练的原子动作评估模型的模型参数。5.根据权利要求4所述的方法，其特征在于，基于每个所述第二视频片段对应的所述原子动作概率及所述标注信息构建目标损失函数，包括：基于每个所述第二视频片段对应的所述动作开始概率及所述标注信息构建第一损失函数；基于每个所述第二视频片段对应的所述动作进行中概率及所述标注信息构建第二损失函数；基于每个所述第二视频片段对应的所述动作结束概率及所述标注信息构建第三损失2CN114973095A权利要求书2/3页函数；基于每三个相邻的所述第二视频片段对应的所述动作开始概率、所述动作进行中概率及所述动作结束概率确定顺序概率，并基于所有所述顺序概率构建第四损失函数，其中，所述顺序概率用于表示所述每三个相邻的所述第二视频片段是否满足原子动作顺序；基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数构建所述目标损失函数。6.根据权利要求3所述的方法，其特征在于，所述动作边界集合包括动作开始边界集合和动作结束边界集合，基于所述原子动作概率集合从所述多个第一视频片段对应的标记时间点中确定动作边界集合，并基于所述动作边界集合确定多个候选动作提名，包括：确定所述动作开始概率集合中每个大于第一预设阈值的动