基于多数据集协作学习的视频显著性区域检测方法.pdf

(19)国家知识产权局(12)发明专利申请(10)申请公布号CN116030077A(43)申请公布日2023.04.28(21)申请号202310314307.8(22)申请日2023.03.28(71)申请人石家庄铁道大学地址050043河北省石家庄市长安区北二环东路17号(72)发明人张云佐张天郑宇鑫武存宇刘亚猛于璞泽康伟丽朱鹏飞王双双(51)Int.Cl.G06T7/11(2017.01)G06N3/08(2023.01)G06N3/084(2023.01)G06N3/0455(2023.01)G06N3/0464(2023.01)G06N3/094(2023.01)权利要求书2页说明书6页附图3页(54)发明名称基于多数据集协作学习的视频显著性区域检测方法(57)摘要本发明公开了一种基于多数据集协作学习的视频显著性区域检测方法。所述方法包括如下步骤：获取多个分布不同的视频显著性数据集；构建多数据集协作网络，通过数据集特定单元以建模多数据集的统计特性，通过数据集对抗模块以促使网络学习具备显著性特征的共性，二者联合来缓解数据集之间分布差异问题；针对不同的应用场景，提出相对应的多数据集训练和测试方式，并采用复合批次训练机制以优化协作学习过程。所述方法区别于常见的单数据集或微调训练模式，利用多个数据集的信息来提升视频显著性区域检测精度，并提高模型在域外数据上的泛化表现。CN116030077ACN116030077A权利要求书1/2页1.一种基于多数据集协作学习的视频显著性区域检测方法，其特征在于，包括如下步骤：S1：获取多个带有标签的视频显著性数据集，其中，多个数据集的样本和标签分布不同；S2：构建多数据集协作网络，利用多数据集的信息来获取输入视频的显著图；该网络由3D卷积主干网络的编码器，特征融合模块，数据集特定单元，数据集对抗模块和解码器组成；其中，数据集特定单元包含数据集特定批归一化操作，数据集特定高斯先验图和数据集特定高斯光滑滤波器，用以建模每个数据集的统计特性；数据集对抗模块用以判断输入样本的数据集标签，产生分类损失，以对抗学习的形式促使网络学习具备显著性特征的共性；数据集特定单元和数据集对抗模块协同工作，可以建模多个数据集的统计特性与显著共性，共同来缓解多个数据集之间的分布差异问题；S3：针对域内场景，采用通用方式进行训练和测试；针对未给标签的目标域，采用领域自适应方式进行训练和测试；针对未知目标域，采用领域泛化方式进行训练和测试；并采用复合批次训练机制来辅助多数据集协作网络训练。2.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法，其特征在于，所述的数据集特定单元为每个数据集设置了相应的分支，根据输入数据集的标签，自动切换开关以激活相应的分支，从而建模数据集专属特征；其具体应用分为数据集特定批归一化操作，数据集特定高斯先验图和数据集特定高斯光滑滤波器；针对跨数据集的批归一化参数分布不同，数据集特定批归一化操作为通过训练来学习每个数据集的批归一化均值与方差；针对数据集之间的高斯先验图不同，数据集特定高斯先验图为每个数据集构建不同的二维高斯先验图，用以建模每个数据集的中心注视偏差；针对数据集之间的显著图清晰度不同，采用可学习的数据集特定高斯光滑滤波器来消除此偏差。3.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法，其特征在于，所述的数据集对抗模块是由梯度反转层和数据集分类器组成；数据集分类器由卷积层和全连接层组成，用于预测输入视频所属数据集，其损失函数为多分类交叉熵损失；梯度反转层在正向传播中不进行数值变换，而在反向传播时自动反转梯度方向。4.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法，其特征在于，所述的通用方式旨在利用来自多个数据集的信息来学习一个统一模型，用以提高模型在每个数据集上的表现；在训练阶段，前向传播每个数据集的批次，反向传播显著性预测损失和数据集分类损失，在检测阶段，根据输入数据集的标签来选择相应的数据集特定单元分支，而不使用数据集对抗模块。5.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法，其特征在于，所述的领域自适应方式旨在提高在无标签目标域上的性能；在训练阶段，前向传播来自每个源域数据集和一个无标签目标域的批次，对于每个源域数据集需要计算和反向传播显著性预测损失和数据集分类损失，对于目标域则只计算和反向传播数据集分类损失；在测试阶段，对于源域数据集，根据所属数据集的标签来选择相应的数据集特定单元分支，而不使用数据集对抗模块，而对于目标域数据，选择数据量最多的源域数据集作为其2CN116030077A权利要求书2/2页数据集标签以确定对应特定单元分支。6.如权利要求1所述的基于多数据集协作学习的视频显著性区域检测方法，其特征在于，