基于卷积神经网络的视频检索方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN105930402A(43)申请公布日2016.09.07(21)申请号201610237628.2(22)申请日2016.04.15(71)申请人乐视控股（北京）有限公司地址100123北京市朝阳区姚家园路105号3号楼10层1102申请人乐视云计算有限公司(72)发明人刘阳白茂生魏伟蔡砚刚祁海李兴玉(74)专利代理机构北京风雅颂专利代理有限公司11403代理人李阳李浩(51)Int.Cl.G06F17/30(2006.01)权利要求书3页说明书8页附图3页(54)发明名称基于卷积神经网络的视频检索方法及系统(57)摘要本发明公开了一种基于卷积神经网络的视频检索方法及系统，所述方法包括：首先构建基于卷积神经网络的计算模型；通过图像数据对计算模型进行训练，得到优化计算模型；去除模型中的分类器，得到提取计算模型；对已有视频资源进行转场帧的提取，并通过提取计算模型提取得到转场帧的转场特征，建立转场特征数据库；将待检索的视频进行转场帧的提取得到转场特征，将转场特征在转场特征数据库中进行检索，得到视频的检索结果。所述基于卷积神经网络的视频检索方法及系统通过将视频内的转场帧作为数据处理的对象，不仅提高了检索过程的鲁棒性，而且去除了冗余信息；通过基于卷积神经网络的计算模型进行特征的提取，提高了视频检索的速度和准确性。CN105930402ACN105930402A权利要求书1/3页1.一种基于卷积神经网络的视频检索方法，其特征在于，包括：根据视频的检索需求，构建基于卷积神经网络的用于分类的计算模型，所述计算模型包括卷积层、池化层、全连接层以及分类器；通过图像数据对所述计算模型进行训练，得到优化计算模型，去除优化计算模型中的分类器，得到提取计算模型；对已有视频资源进行转场帧的提取，并通过所述提取计算模型提取得到转场帧的转场特征，建立转场特征数据库；将待检索的视频进行转场帧的提取，通过提取计算模型提取得到视频的转场特征，将所述转场特征在所述转场特征数据库中进行检索，得到视频的检索结果。2.根据权利要求1所述的方法，其特征在于，所述基于卷积神经网络的用于分类的计算模型包括依次连接的卷积层C1、卷积层C2、池化层P2、卷积层C3、池化层P3、卷积层C4、卷积层C5、卷积层C6、池化层P6、全连接层fc7、全连接层fc8以及分类器。3.根据权利要求2所述的方法，其特征在于，所述6个卷积层的核大小均不大于5×5，且所述卷积层C1的核大小为3×3，卷积层C2的核大小为3×3。4.根据权利要求3所述的方法，其特征在于，所述卷积层C3的核大小为5×5，所述池化层P2、池化层P3、卷积层C4、卷积层C5、卷积层C6、池化层P6的核大小均为3×3；所述卷积层C1、卷积层C2、卷积层C3、卷积层C4、卷积层C5、卷积层C6的步数均为1，所述池化层P2、池化层P3、池化层P6的步数均为2；所述卷积层C1、卷积层C2、卷积层C4、卷积层C5、卷积层C6的pad值均为1，所述卷积层C3的pad值为2，所述池化层P2、池化层P3、池化层P6的pad值为0；所述卷积层C1、卷积层C2的卷积核的个数均为96个，所述卷积层C3、卷积层C6的卷积核的个数均为256个，所述卷积层C4、卷积层C5的卷积核的个数均为384个。5.根据权利要求2所述的方法，其特征在于，所述全连接层fc7、全连接层fc8的节点数目分别为4096、1000；且所述全连接层fc7采用dropout方式进行数据处理；所述分类器为softmax分类器。6.根据权利要求2所述的方法，其特征在于，所述卷积层C1、卷积层C2、卷积层C3、卷积层C4、卷积层C5、卷积层C6以及所述全连接层fc7均采用激活函数LEAKYRELU进行数据的激活处理。7.根据权利要求1所述的方法，其特征在于，所述进行转场帧的提取的方法为：按照预设的算法，判断所述当前视频帧的前后两帧Y平面的灰度直方图之差是否大于预设的视频阈值，若是，则当前视频帧为转场帧，否则，当前视频帧不是转场帧；算法公式如下：其中，所述Hp[i]、Hn[i]分别为当前视频帧的前一帧和后一帧的Y平面的灰度直方图对应的数值，T为预设的视频阈值。8.根据权利要求7所述的方法，其特征在于，所述预设的视频阈值T的计算公式为：T＝width*height/8，其中，width和height分别为视频帧的宽度和高度。2CN105930402A权利要求书2/3页9.一种基于卷积神经网络的视频检索系统，其特征在于，包括：构建模块，用于根据视频的检索需求，构建基于卷积神经网络的用于分类的计算模型，将构建的计算模型发送给训练模块，所述计算模型包括卷积层、池化层、全连接层以及分类器；训练模块，用于接收所述构建模块发送的