一种视频语义场景分割及标注方法.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN108537134A(43)申请公布日2018.09.14(21)申请号201810218659.2(22)申请日2018.03.16(71)申请人北京交通大学地址100044北京市海淀区西直门外上园村3号(72)发明人白双(74)专利代理机构北京市商泰律师事务所11255代理人黄晓军(51)Int.Cl.G06K9/00(2006.01)G06K9/62(2006.01)权利要求书2页说明书6页附图1页(54)发明名称一种视频语义场景分割及标注方法(57)摘要本发明所述的视频语义场景分割及标注方法，包括以下步骤：基于有标注场景图像集离线训练深度卷积神经网络构建场景分类器；计算视频序列中相邻视频帧之间的相似度并对视频帧按照相似度分组；自适应调节相似度阈值获得视频帧帧数分布均匀的视频帧分组；合并包含帧数过少的帧分组，分裂包含帧数过多的帧分组以对视频帧分组结果重新调整；为每个视频帧分组选择代表性视频帧；利用场景分类器识别视频帧分组的场景类别；对视频序列进行语义场景分割及标注。本发明为解决视频的检索和管理问题提供了有效手段，并提高用户观看视频的体验和乐趣。CN108537134ACN108537134A权利要求书1/2页1.一种视频语义场景分割及标注方法，其特征在于，包括以下步骤：S1：基于有标注场景图像集，离线训练深度卷积神经网络构建多类场景分类器；S2：计算视频序列中相邻帧之间的相似度，通过将所述相似度与设定阈值作对比得到视频序列的视频帧分组；S3：调整所述视频帧分组，并根据设定指标从各个所述视频帧分组中选取代表性视频帧；S4：利用所述多类场景分类器对所述代表性视频帧进行分类；S5：基于所述多类场景分类器的分类结果对所述视频帧分组进行语义标注以及融合，完成视频语义场景分割及标注。2.根据权利要求1所述的视频语义场景分割及标注方法，其特征在于，所述S1还包括：S11：选取有标注场景的图像集，或者构建设定场景的图像集；S12：基于所述选取或构建的图像集训练深度卷积神经网络，基于深度卷积神经网络构建场景分类器，令所述场景分类器能够预测输入图像属于各个场景类别的概率；S13：提取所述深度卷积神经网络的多个中间层，利用向量化方法把每个中间层的输出进行向量化，然后基于神经网络层的输出，训练Softmax分类函数构建场景分类器。3.根据权利要求1所述的视频语义场景分割及标注方法，其特征在于，所述S2还包括：从视频序列的每幅视频帧中提取能够反映视频帧内容的RGB颜色直方图作为相应视频帧的特征向量，基于所述视频帧的特征向量计算相邻两幅视频帧之间的欧几里得距离，接着将所述欧几里得距离的倒数通过sigmoid函数映射到(0,1)数值区间，得到相似度度量；将相邻两帧之间的相似度与设定阈值进行比较，如果相邻两帧之间的相似度大于设定阈值则将这两帧归入相同的视频帧分组，否则将这两帧归入不同的帧分组。4.根据权利要求3所述的视频语义场景分割及标注方法，其特征在于，计算相邻两幅视频帧之间的欧几里得距离d为：其中，vi和vj表示相邻两帧的特征向量，K表示特征向量的维度；所述欧几里得距离的倒数通过sigmoid函数映射到(0,1)数值区间，映射方式为：其中，d表示相邻帧之间的距离，e表示自然常数。5.根据权利要求1所述的视频语义场景分割及标注方法，其特征在于，所述S3还包括：将设定阈值从0到1按设定的步长进行变化，将所述按设定的步长进行变化的阈值根据S2对视频序列进行分组，按照分组中视频帧的数量对视频分组做降序排列，然后用每个视频帧分组中的帧数除以整个视频序列的长度进行归一化处理，接着按照以下方式计算每次视频帧分组的帧数分布均匀度：Length(Gs1)＞Length(Gs2)＞…Length(GsL-1)＞Length(GsL)其中，Gsi表示排序后第i个视频帧分组，Length(.)表示视频帧分组的长度，L表示视频帧分组的个数；2CN108537134A权利要求书2/2页选取视频帧分布均匀度最大的一次分组作为视频帧分组的结果，视频帧分布均匀度Da为：其中，L表示视频帧分组的个数，Gsi表示排序后第i个视频帧分组，Length(.)表示视频帧分组的长度。6.根据权利要求1所述的视频语义场景分割及标注方法，其特征在于，所述S3还包括：通过随机方式或者按照设定方式或者通过组内帧聚类的方式选择N幅视频帧作为对应帧分组的代表性视频帧。7.根据权利要求1所述的视频语义场景分割及标注方法，其特征在于，所述S4还包括：利用所述场景分类器对每个视频帧分组的每幅代表性帧进行分类，即对应于每幅视频帧得到一个该视频帧属于每个场景类别的概率分布。8.根据权利要求1所述的视频语义场景分割及标注方法，其特征在于，所