一种用于视频质量评价的关键帧的选取方法.pdf

(19)中华人民共和国国家知识产权局*CN102572502A*(12)发明专利申请(10)申请公布号CN102572502A(43)申请公布日2012.07.11(21)申请号201010609119.0H04N17/02(2006.01)(22)申请日2010.12.17H04N11/06(2006.01)(71)申请人北京东方文骏软件科技有限责任公司地址100016北京市朝阳区酒仙桥路14号兆维工业区A区3号楼1门4层申请人北京邮电大学(72)发明人杜海清刘勇许克辉胡文李湘平(74)专利代理机构北京德琦知识产权代理有限公司11018代理人夏宪富(51)Int.Cl.H04N17/00(2006.01)权利要求书权利要求书2页2页说明书说明书66页页附图附图33页(54)发明名称一种用于视频质量评价的关键帧的选取方法(57)摘要一种用于视频质量评价的关键帧的选取方法，该方法是先用平均绝对差MAD方法描述每帧视频图像中的各个图像块的运动剧烈程度，然后采用基于人眼视觉兴趣的权重因子对每个图像块的运动剧烈程度加权，计算每帧图像的总体运动剧烈程度，并根据设定的判断条件确定关键帧。本发明解决了现有技术的缺陷，显著降低了对视频进行逐帧评价的运算复杂度，使其能应用于实际视频质量评价。还考虑人眼视觉兴趣，将其作为加权因子计算图像运动剧烈程度，使选取的关键帧能更准确反映实际视频质量，符合人的主观欣赏感受；而且，本发明方法操作步骤简单、方便，易于集成，在视频质量评价应用中具有较好的推广价值。CN10257ACN102572502A权利要求书1/2页1.一种用于视频质量评价的关键帧的选取方法，其特征在于：先采用平均绝对差MAD方法描述每帧视频图像中的各个图像块的运动剧烈程度，然后采用基于人眼视觉兴趣的权重因子对每个图像块的运动剧烈程度加权，计算每帧图像的总体运动剧烈程度，并根据设定的判断条件确定关键帧；所述方法包括下列操作步骤：(1)输入视频序列，将其转化为统一的欧洲电视系统的颜色编码YUV视频格式，然后顺序选取当前帧和前一帧图像的亮度信号数据并存储；(2)对帧中的图像进行分块，计算当前帧中的各个图像块的运动剧烈程度；(3)定义每个图像块的运动剧烈程度的权重因子li，j，以便将人眼视觉兴趣因素引入关键帧的计算过程，式中，自然数i和j分别是图像块在帧中的横坐标与纵坐标；(4)按照对帧中的每个图像块的运动剧烈程度加权求和方法的下述公式计算每帧图像的总体运动剧烈程度：式中，自然数k是帧的序号；(5)选取关键帧：因为视频图像中的运动变化都需要一定时间，且往往会在持续几帧图像中体现其实现过程，因此，将每帧图像的总体运动剧烈程度与分别位于其前、后设定数量的多帧图像的总体运动剧烈程度进行比较，从中选取总体运动剧烈程度相对最大或最小的一帧图像作为关键帧。2.根据权利要求1所述的方法，其特征在于：所述步骤(1)中的统一视频格式为欧洲电视系统采用的颜色编码YUV格式，该格式包括亮度信号Y和色度信号U与V，为PAL和SECAM模拟彩色电视制式采用的颜色空间。3.根据权利要求1所述的方法，其特征在于：所述步骤(2)中，所述当前帧中各图像块的运动剧烈程度数值是：当前帧的图像块与前一帧的相同位置图像块之间的亮度值差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商；因此，每帧中的各个图像块的运动剧烈程度的计算公式为：式中，M、N、Mp和Np皆为自然数，M与N分别是每帧图像的宽度与高度的像素值，Mp、Np分别是分块后的图像块的宽度与高度的像素值，且M和N分别为Mp和Np的整数倍，Mp×Np则为图像块的总像素值，fk(m，n)和fk-1(m，n)分别为步骤(1)读取的第k帧和第(k-1)帧中坐标为(m，n)的像素点的亮度值；i、j最大值分别为和4.根据权利要求1所述的方法，其特征在于：所述步骤(2)计算当前帧中的各个图像块的运动剧烈程度时，因为运动剧烈程度是反映视频图像时域特征的相对数值，故视频起始播放时刻的首帧图像、即k＝1时的帧图像没有相对的运动剧烈程度数值；然而，基于首帧的重要性，将第2帧图像的运动剧烈程度数值赋予首帧，并默认首帧图像为关键帧，参与视频质量评价计算。5.根据权利要求1所述的方法，其特征在于：因人眼视觉系统在观察图像或视频时，对中间区域内容的敏感度和运动剧烈程度的感觉要高于四周区域，故设定每个图像块运动剧烈程度权重因子li，j的数值大小与该图像块距离图像中心的距离呈反比：越靠近中心，权重因子li，j越大。6.根据权利要求1所述的方法，其特征在于：所述步骤(3)中的图像块运动剧烈程度2CN102572502A权利要求书2/2页权重因子li，j的计算过程如下：先定义每帧图像中心的坐标为然后按照下述不同情况采用不同公式分别计算位于不同位置的每个图像块的运动剧