一种事件检测模型训练方法、装置以及事件检测方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108491817A(43)申请公布日2018.09.04(21)申请号201810277169.X(22)申请日2018.03.30(71)申请人国信优易数据有限公司地址100070北京市丰台区南四环西路188号总部广场31号楼(72)发明人孙源良李彩虹李长升樊雨茂(74)专利代理机构北京超凡志成知识产权代理事务所(普通合伙)11371代理人张海洋(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书3页说明书12页附图4页(54)发明名称一种事件检测模型训练方法、装置以及事件检测方法(57)摘要本发明提供了一种事件检测模型训练方法、装置以及事件检测方法，其中事件检测模型训练方法包括：获取多个带有标签的训练视频中的训练图像帧；使用目标神经网络为每个训练视频中的所述训练图像帧提取特征向量；以每个训练视频为单位，使用自注意力机制处理网络对每个训练视频的特征向量构成的特征向量矩阵进行至少两轮权重赋值；将进行了权重赋值的特征向量矩阵输入至类别预测网络进行类别预测，获得所述训练视频的事件分类结果的概率向量；根据所述事件分类结果的概率向量以及由所述训练视频的标签构成的标签向量之间的比对结果，对事件检测模型进行训练。该方法能够在不影响模型精度的前提下，减少计算资源以及训练时间的耗费。CN108491817ACN108491817A权利要求书1/3页1.一种事件检测模型训练方法，其特征在于，包括：获取多个带有标签的训练视频中的训练图像帧；使用目标神经网络为每个训练视频中的所述训练图像帧提取特征向量；以每个训练视频为单位，使用自注意力机制处理网络对每个训练视频的特征向量构成的特征向量矩阵进行至少两轮权重赋值；将进行了权重赋值的特征向量矩阵输入至类别预测网络进行类别预测，获得所述训练视频的事件分类结果的概率向量；根据所述事件分类结果的概率向量以及由所述训练视频的标签构成的标签向量之间的比对结果，对所述目标神经网络、所述自注意力机制处理网络以及所述类别预测网络进行训练。2.根据权利要求1所述的方法，其特征在于，所述获取多个带有标签的训练视频中的训练图像帧，具体包括：获取多个带有标签的训练视频；按照预设采样频率，对所述训练视频进行采样；将对每个训练视频采样得到的图像作为该训练视频中的训练图像帧。3.根据权利要求1所述的方法，其特征在于，采用如下方式使用自注意力机制处理网络对训练视频的特征向量矩阵进行权重赋值：为训练视频的特征向量矩阵设置第一权重，并使用预设激活函数将设置有第一权重的特征向量矩阵进行激活；为激活后的特征向量矩阵设置第二权重，得到所述训练视频对应的多维自注意力向量；为所述多维自注意力向量增加预设约束，使得所述多维自注意力变量保持稀疏结构，以及保证所述多维自注意力向量中各向量表征的各训练视频帧之间具有对应关联。4.根据权利要求3所述的方法，其特征在于，为所述多维自注意力向量增加预设约束，包括：T2为所述多维自注意力向量A计算正则项：||AA-I||F；其中，I为单位向量；AT为A的转置向量；以及所述正则项用于与交叉熵、L1范数计算损失函数；所述交叉熵为根据将所述多维自注意力向量输入类别预测网络进行类别预测得到的类比预测结果计算得到的。5.根据权利要求1所述的方法，其特征在于，所述将进行了权重赋值的拼接特征向量进行输入至类别预测网络进行类别预测，具体包括：将进行了权重赋值的所述拼接特征向量切分成多个批次；每个批次中包括进行了权重赋值的子特征向量矩阵；将各批次对应的进行了权重赋值的子特征向量矩阵输入目标分类器，获得每个批次对应的事件分类结果；按照每个事件分类结果中批次的数量由多到少的顺序，对多个事件分类结果进行排序，并将排序靠前的预设数量事件分类结果，作为所述训练视频的事件分类结果。6.根据权利要求5所述的方法，其特征在于，所述将各批次对应的进行了权重赋值的子2CN108491817A权利要求书2/3页特征向量矩阵输入目标分类器，获得每个批次对应的事件分类结果，具体包括：依次将各批次对应的进行了权重赋值的子特征向量矩阵所包括的多个进行了权重赋值的特征向量分别输入所述目标分类器，获得每个进行了权重赋值的特征向量表征的训练图像帧的事件分类结果；将对应有训练图像帧数量最多的事件分类结果作为该批次的事件分类结果。7.根据权利要求1、5或6任意一项所述的方法，其特征在于，所述训练视频的事件分类结果中包括多个事件分类，以及与每个事件分类对应的概率；所述方法还包括：将每个事件分类对应的概率归一化，生成所述训练视频的事件分类结果的概率向量。8.根据权利要求1所述的方法，其特征在于，所述根据所述事件分类结果的概率向量以及由所述训练视频的标