基于对比自监督的无参考视频质量评估预测方法及系统.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN113936237A(43)申请公布日2022.01.14(21)申请号202111161244.4(22)申请日2021.09.30(71)申请人中国矿业大学地址221116江苏省徐州市铜山区大学路1号(72)发明人刘卫东陈鹏飞李雷达(74)专利代理机构南京经纬专利商标代理有限公司32200代理人姜慧勤(51)Int.Cl.G06V20/40(2022.01)G06V10/82(2022.01)G06N3/04(2006.01)G06N3/08(2006.01)G06T7/00(2017.01)权利要求书3页说明书9页附图2页(54)发明名称基于对比自监督的无参考视频质量评估预测方法及系统(57)摘要本发明公开了一种基于对比自监督的无参考视频质量评估预测方法及系统，利用没有标注的高质量视频数据构造不同失真类型的视频，基于这些视频样本作为对比损失中的正负样本进行模型的训练，有效地使得网络模型能够获取捕获失真的能力。将训练得到的网络作为预训练的网络，用于现有的无参考质量模型中，能够获取比目前主流的视频质量评价方法所使用的预训练模型更好的性能，并获得更为准确的视频质量评估预测结果。CN113936237ACN113936237A权利要求书1/3页1.一种基于对比自监督的无参考视频质量评估预测方法，其特征在于，具体包括如下步骤：步骤1，采集包含不同类别的场景内容的视频，并将采集到的视频按照一定比例划分为训练样本、验证样本和测试样本；步骤2，对于训练样本中的每一个原始视频，均进行不同类型的失真处理，得到原始视频对应的不同类型的失真视频；步骤3，对于步骤2中的每一个失真视频，均沿时间维度切分成等时长的不重叠的视频片段；对于原始视频对应的任一失真视频，从该失真视频中选取连续多个视频片段作为参照，与该参照相邻的未来一个视频片段作为正样本，与正样本有着相同时间步但不同失真类型的视频片段作为负样本；步骤4，构建质量评估预测模型，将步骤3得到的参照、正样本以及负样本作为该模型的对比损失函数的输入，对该模型进行训练，得到质量评估预测预训练模型；步骤5，利用步骤1所述验证样本对步骤4所述质量评估预测预训练模型的参数进行微调，得到最终质量评估预测模型；步骤6，将测试样本输入至步骤5所述最终质量评估预测模型，得到视频质量评估预测结果。2.根据权利要求1所述的一种基于对比自监督的无参考视频质量评估预测方法，其特征在于，步骤1所述训练样本、验证样本和测试样本，均包括每一类别的场景内容的视频。3.根据权利要求1所述的一种基于对比自监督的无参考视频质量评估预测方法，其特征在于，步骤2所述失真处理，包括MPEG‑2压缩、H.264压缩和HEVC压缩的一种或多种。4.根据权利要求1所述的一种基于对比自监督的无参考视频质量评估预测方法，其特征在于，所述步骤4的方法包括：步骤4.1，构建质量评估预测模型，并用3D卷积网络作为编码器f(·)对参照、正样本以及负样本中的每一个视频片段进行处理，获取每一个视频片段对应的特征表示；对于由第i个原始视频以及第m种失真类型生成的失真视频来说，将其切分为连续的视频片段选取其中连续的视频片段作为参照，与参照相邻的未来一个视频片段作为正样本，而与正样本相同时间步但是来自不同失真类型的视频片段作为负样本，n表示第n种失真类型，n≠m；用编码器f(·)对参照、正样本以及负样本中的视频片段进行处理得到对应的特征表示：z＝f(x)；步骤4.2，通过聚合函数g(·)将参照中所有视频片段的特征表示进行融合，得到参照的特征表示的融合：式中，表示参照的特征表示的融合；表示视频片段的特征表示；步骤4.3，利用预测函数δ(·)将参照的特征表示的融合进行预测，得到与参照相邻的未来一个视频片段的预测特征表示：2CN113936237A权利要求书2/3页式中，表示与参照相邻的未来一个视频片段的预测特征表示；δ(·)为预测函数，具体是由一个多层感知机结构实现的，表示为：其中，σ为ReLU函数用于进行非线性的映射，W1和W2均为隐藏层参数；步骤4.4，利用步骤4.3得到的与参照相邻的未来一个视频片段的预测特征表示，以及参照对应的正样本和负样本的特征表示，构造正样本对以及负样本对；其中，正样本对h(z,z+)表示为：式中，表示参照对应的正样本的特征表示；h(·)为非参数化的柔性最大值传输函数，表示为：式中，z1,z2分别为非参数化的柔性最大值传输函数的传输变量；为非线性映射函数；τ为超参数；负样本对表示为：式中，K为参照对应的负样本的总数量；h(z,z‑)表示与参照对应的一个负样本对；表示参照对应的不同失真类型的负样本的特征表示；步骤4.5，将获得的正样本对和负样本对作为对比损失函数的输入，对