基于时空分离卷积和非对称卷积的视频特征提取模型的建模方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN115965892A(43)申请公布日2023.04.14(21)申请号202211563259.8(22)申请日2022.12.07(71)申请人北京工商大学地址100048北京市海淀区阜成路33号(72)发明人邢素霞郭正于重重佟鑫(74)专利代理机构北京万象新悦知识产权代理有限公司11360专利代理师贾晓玲(51)Int.Cl.G06V20/40(2022.01)G06V10/82(2022.01)G06V40/20(2022.01)G06N3/0464(2023.01)G06N3/084(2023.01)权利要求书2页说明书10页附图3页(54)发明名称基于时空分离卷积和非对称卷积的视频特征提取模型的建模方法(57)摘要本发明公开了一种基于时空分离卷积和非对称卷积的视频特征提取模型的建模方法，属于模式识别、机器视觉技术领域和视频处理技术领域，该方法包括：搭建C3D网络模型；将C3D网络的前四层卷积层转化为时空可分离卷积，将3D卷积明确分解为一个2D空间卷积和一个1D时间卷积的连续操作；对C3D网络的后四个卷积层进行改进以减少模型参数，将3D卷积改进为非对称卷积；构建基于时空分离卷积和非对称卷积的视频特征提取模型。本发明经实验表明，其优点是改进的模型在视频的特征提取方面效果更好，且对于模型参数也可以进行有效的压缩，具有较高的应用价值及推广价值。CN115965892ACN115965892A权利要求书1/2页1.一种基于时空分离卷积和非对称卷积的视频特征提取模型的建模方法，其步骤包括：1)搭建C3D网络模型，该模型包括八个卷积层Conv1a、Conv2a、Conv3a、Conv3b、Conv4a、Conv4b、Conv5a以及Conv5b，五个池化层和两个全连接层；2)转化C3D网络的前四层3D卷积层为时空可分离卷积，即将每一层3D卷积层分解一个2D空间卷积和一个1D时间卷积，Conv1a、Conv2a、Conv3a以及Conv3b转化后变为Conv1a、Conv1b、Conv2a、Conv2b、Conv3a、Conv3b、Conv3c以及Conv3d共八层卷积层，其中，2D空间卷积层为Conv1a、Conv2a、Conv3a以及Conv3c，1D时间卷积层为Conv1b、Conv2b、Conv3b以及Conv3d，转化后2D空间卷积层的卷积核由原来的3×3×3变为1×3×3，1D时间卷积层的卷积核由原来的3×3×3变为3×1×1，完成第一阶段的视频特征提取；3)修改C3D网络的后四个卷积层Conv4a、Conv4b、Conv5a以及Conv5b为非对称卷积，其中，Conv4a与Conv4b的卷积核由原来的3×3×3分别转化为3×1×5与3×5×1，Conv5a与Conv5b的卷积核由原来的3×3×3分别转化为3×1×7与3×7×1，构成新的视频特征提取模型；4)输入视频数据集，使用交叉熵损失函数对分类概率分布间的差异性进行度量，模型中的计算过程如下：首先输入是size为(minibatch,C)，其中，minibatch为类的批量大小，C为类别总数，输入size后损失函数按公式(1)计算：公式(1)中，x为各类别对应损失函数的数组，loss为类别对应损失值，j为类别个数，class为标签值，式(1)中的标签值class并不参与直接计算，而是作为一个索引，索引对象为实际类别。2.如权利要求1所述的建模方法，其特征在于，得到损失函数后，通过公式(2)计算得到交叉熵的值，其中，p为概率分布期望输出，q为概率分布实际输出：由此计算得到各类别的交叉熵值，交叉熵值越小，两个概率分布就越接近，进而实现对输入的视频特征的分类任务。3.如权利要求1所述的建模方法，其特征在于，步骤2)中卷积层Conv1a拥有Ni个尺寸大小为Ni‑1×t×d×d的3D卷积核，(2+1)D卷积模块分别由Mi个尺寸为Ni‑1×1×d×d的2D卷积核和Ni个尺寸为Mi×t×1×1的时间卷积核组成，其中4.如权利要求1所述的建模方法，其特征在于，步骤3)中模型训练采用Adam优化参数，并在每个卷积层后加入BN层，Adam算法参数设置情况如下：3‑1)学习率Ir取默认值为1×e‑3；3‑2)用于计算梯度以及梯度平方的运行平均值的系数为betas，用于计算梯度的运行平均值的系数设置为0.9，用于计算梯度平方的运行平均值的系数设置为0.999；2CN115965892A权利要求书2/2页3‑3)为了增加数值计算的稳定性而加到分母里的项eps设置为1×e‑8；3‑4)权重衰减weight_decay设置为5×e‑4。5.如权利要求1所述的建模方法，其特征在于，步骤4)中对视频数据集进行处理：D2.1将视频数据集