一种视频质量客观评价方法.pdf

本发明提供一种视频质量客观评价方法，包括：10)在相同时间点切分源视频和待测视频，得到视频片段；20)分别提取来自源视频和待测视频的视频片段中视频帧的视频块，利用时空纹理特征计算对应视频块的相似度，其中所述时空纹理特征体现了像素之间的像素差异；30)根据对应视频块的相似度计算来自待测视频的视频帧的质量分数；40)根据来自待测视频的视频帧的质量分数计算来自待测视频的视频片段的质量值，进而计算待测视频的质量分数。上述方法所获得的质量分数更加符合人的主观感知。

权利要求书一种视频质量客观评价方法，包括：10)在相同时间点切分源视频和待测视频，得到视频片段；20)分别提取来自源视频和待测视频的视频片段中视频帧的视频块，利用时空纹理特征计算对应视频块的相似度，其中所述时空纹理特征体现了像素之间的像素差异；30)根据对应视频块的相似度计算来自待测视频的视频帧的质量分数；40)根据来自待测视频的视频帧的质量分数计算来自待测视频的视频片段的质量值，进而计算待测视频的质量分数。根据权利要求1所述的方法，其特征在于，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括：203)对对应视频块内的像素在时间‑空间信息的三维块内进行局部二值化；204)统计非均匀模式、部分均匀模式以及另一部分均匀模式下的旋转模式的簇的直方图；205)根据直方图之间的区别计算视频块的相似度。根据权利要求2所述的方法，其特征在于，所述步骤203)中所述直方图之间的区别用直方图之间的卡方距离来度量。根据权利要求1所述的方法，其特征在于，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括：201)计算对应视频块的亮度、对比度和结构；202)利用时空纹理特征、亮度、对比度和结构计算对应视频块的相似度。根据权利要求1至4任一项所述的方法，其特征在于，所述步骤10)后还包括：11)根据视频内容的丰富程度，在切分得到的视频片段中选择部分视频片段用于后续处理。根据权利要求5所述的方法，其特征在于，所述步骤11)后还包括：12)根据视频长短和视频内容的丰富程度，将第一个或最后一个视频片段也用于后续处理。根据权利要求5或6所述的方法，其特征在于，所述视频内容的丰富程度用信息熵来度量。根据权利要求6所述的方法，其特征在于，所述步骤40)中计算待测视频的质量分数是对来自待测视频的视频片段的质量值进行加权平均，其中第一个或最后一个视频片段的权重是其他视频片段权重的2倍。根据权利要求1至3任一项所述的方法，其特征在于，所述步骤30)后还包括根据前一帧的质量分数修订当前帧的质量分数的步骤。根据权利要求9所述的方法，其特征在于，所述修订中，当前帧质量分数的修订值是前一帧质量分数的减函数。根据权利要求9或10所述的方法，其特征在于，所述修订是根据将采用权利要求1至4任一项所述的方法与采用视频质量主观评价方法分别获得的待测视频的质量分数相拟合获得的修订曲线来进行。

说明书一种视频质量客观评价方法
技术领域
本发明涉及信息工程领域，具体地，涉及图像、视频分析处理领域。
背景技术
伴随着数字化时代的到来，图像、视频等多媒体产品在的日常生活中扮演着越来越重要的角色。而在视频处理的各个领域：采集、显示、存储、传输、压缩等都需要进行质量评价。质量评价技术的研究已经成为信息工程中重要的基础研究课题之一，这既有其重要的理论意义，同样也有广泛的应用背景。
一般地，视频质量评价方法分为主观评价和客观评价。在主观评价中，视频的质量是由观测者给出的平均分决定的。这种方法对于评价视频的质量来说，无疑是最准确的，但也是比较耗时耗人力的。于是，近年来兴起了客观评价的方法，主要分为三类：全参考评价、部分参考评价、无参考评价。本专利针对全参考评价展开。对于全参考评价，目前常用的方法有：
1.基于全像素失真统计的传统评价方法，例如：PSNR(peak signal‑to‑noise ratio)、MSE(mean squared error)等。
2.基于人眼视觉系统(HVS)的评价方法，例如：MPQM(Moving Pictures Quality Metric)、PDM(Perceptual Distortion Metric)和Sarnoff JND vision model。
3.基于图像结构相似性的评价方法(SSIM)：自然图像信号具有特定的结构，像素点之间带有很强的从属关系，这些从属关系包含了视觉场景中大量重要的结构信息。因此，提出了一种新的视频质量客观评价方法：基于结构失真的图像和视频质量评价方法‑结构相似(SSIM，Structural Similarity Index Metric)法。
但是，以上这些方法都是客观评价的方法，没有完全真实地度量出人的主观感知。也就是说：客观模型给出的视频质量分数和人的主观感知之间总是存在鸿沟。
发明内容
本发明要解决的是现有技术中的视频质量客观评价方法不能完全真实地度量人的主观感知，给出的评价与人的主观感知存在差距的问题。
根据本发明的一个方面，提供了一种视频质量客观评价方法，包括：
10)在相同时间点切分源视频和待测视频，得到视频片段；
20)分别提取来自源视频和待测视频的视频片段中视频帧的视频块，利用时空纹理特征计算对应视频块的相似度，其中所述时空纹理特征体现了像素之间的像素差异；
30)根据对应视频块的相似度计算来自待测视频的视频帧的质量分数；
40)根据来自待测视频的视频帧的质量分数计算来自待测视频的视频片段的质量值，进而计算待测视频的质量分数。
上述方法中，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括：
203)对对应视频块内的像素在时间‑空间信息的三维块内进行局部二值化；
204)统计非均匀模式、部分均匀模式以及另一部分均匀模式下的旋转模式的簇的直方图；
205)根据直方图之间的区别计算视频块的相似度。
上述方法中，所述步骤20)中所述利用时空纹理特征计算对应视频块的相似度进一步包括：
201)计算对应视频块的亮度、对比度和结构；
202)利用时空纹理特征、亮度、对比度和结构计算对应视频块的相似度。
上述方法中，所述步骤10)后还包括：11)根据视频内容的丰富程度，在切分得到的视频片段中选择部分视频片段用于后续处理。
上述方法中，所述步骤11)后还包括：12)根据视频长短和视频内容的丰富程度，将第一个或最后一个视频片段也用于后续处理。
上述方法中，所述视频内容的丰富程度用信息熵来度量。
上述方法中，所述步骤40)中计算待测视频的质量分数是对来自待测视频的视频片段的质量值进行加权平均，其中第一个或最后一个视频片段的权重是其他视频片段权重的2倍。
上述方法中，所述步骤30)后还包括根据前一帧的质量分数修订当前帧的质量分数的步骤。
上述方法的所述修订中，当前帧质量分数的修订值是前一帧质量分数的减函数。
上述方法的所述修订是根据将采用前述的方法与采用视频质量主观评价方法分别获得的待测视频的质量分数相拟合获得的修订曲线来进行。
本发明的上述方法，和现有技术相比缩减了给出的评价与人的主观感知之间的差距，使得视频质量客观评价的结果更加符合人的主观感知。
附图说明
图1是根据本发明优选实施例的视频质量客观评价方法框图；
图2是根据本发明优选实施例的利用时空纹理特征计算块相似度的流程图；
图3a是每像素8邻域的9种均匀模式示意图，图3b是对于均匀模式1的8种旋转敏感模式示意图；
图4a和图4b是对比度效应示意图；
图5是根据本发明优选实施例的质量修正示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明一个实施例的视频质量客观评价方法进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合图1所示的根据本发明优选实施例的视频质量客观评价方法框图来详细描述该方法，其主要包括下列步骤：
将视频结构化，也就是说把整段视频分成视频片段。可以采用诸如镜头边界检测等方法把源视频分成一系列的视频片段。由于源视频和待测视频是时间‑空间严格对齐的，所以也在同样的时间点切待测视频以得到一系列对应的视频片段。
优选地，为了降低运算效率同时尽可能地保持视频内容的丰富程度，计算每个视频片段的信息熵，把信息熵高的前k％个视频片段作为代表片段来表征视频内容。本领域普通技术人员可以理解，此处以信息熵作为示例，也可以采用信息论中其他物理特征来表征视频内容的丰富程度。
优选地，本发明还根据帧位置对选取的代表片段进行更改。
在视频质量评价的过程中，对于视频帧而言，除了内容不同外，由于其在视频序列中的位置不同，其重要程度也是不同的。常见的两种现象分别叫做：靠前的帧更重要(Primacy Effect)和靠后的帧更重要(Recency Effect)。
由于在视频质量评价的过程中多采用EoS的模式，即当整段视频播放完毕后才给出评价结果的模式，所以，当视频比较短且内容比较简单时，靠前的帧更占主导；当视频比较短但内容比较丰富时，靠后的帧更占主导；当视频比较长时，由于存在视觉疲劳现象，靠前的帧更占主导。本领域普通技术人员可以理解，视频长短可以通过视频所含的帧数目来确定，视频内容的丰富程度可以通过信息熵来确定。因此，针对前面视频代表片段选取环节，设计了一个补偿策略。根据视频长短和内容的丰富程度，如果第一个或最后一个片段没有被选为代表片段，仍然需要把它补进来。优选地，在采用加权平均的方式计算整段视频的质量分数时，对该第一个或最后一个片段给予较大的权重，更优选地，使其权重为其它视频帧的2倍。
获得了代表片段后，就可以通过度量源视频和待测视频中代表片段的相似性来得到待测视频的失真程度了。由于代表片段是一系列视频帧的集合，所以度量视频帧的相似性是前提。根据本发明的优选实施例，度量视频帧的相似性进一步包括以下步骤：
首先，从视频帧中提取一系列的视频块，例如将视频帧平均分为9个视频块。
然后，利用时空纹理特征获得分别来自源视频的视频帧和待测视频的视频帧的两个对应视频块之间的相似度。
对于时空纹理特征，其体现了像素之间的像素差异，在本优选实施例中体现的是相邻像素之间的像素差异。由于时空纹理特征对旋转敏感，与人眼的感知相吻合，所以适用于视频质量评价体系。下面结合图2，详细描述根据本发明优选实施例的利用时空纹理特征计算块相似度的具体过程。
对视频块里的像素进行局部二值化，具体而言，就是将中心点邻域的点都和中心点进行对比，比中心点亮则置为1，暗置为0。如图3a所示，如果每个像素点所在的8邻域的小块含有小于等于2次跳变，就把它称之为均匀模式(uniform patterns)，这种模式在图像局部纹理里占到90％以上。如：000000002和111111112都有0次跳变，而111000112和110000012等都有2次跳变。该对于8邻域，可以看到共有9种均匀模式。该局部二值化可参见2002年7月T.Ojala，M.Pietikainen和T.Maenpaa.在IEEE Trans.Pattern Analysis and Machine Intelligence的卷24第7期的第971‑987页发表的“Multiresolution Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns，”一文。
但是由于人眼对旋转是敏感的，所以对于图3a所示的均匀模式1‑7，每种又对应8种旋转模式，例如图3b中示出的均匀模式1的8种旋转敏感模式，而均匀模式0和8则不存在旋转模式。这样，可以获得2+7*8＝58个对应于每种模式的簇(bin)的直方图，其中每个簇表示了对应模式的像素个数。加上非均匀模式，共得到59个bin。
另外，由于视频可以被看作是含有时间‑空间信息的三维块，所以本发明对XY、XT和YT三个维度分别统计，得到XY(59‑bin)、XT(59‑bin)和YT(59‑bin)，进行直方图连接得到连接后的177‑bin的直方图，其中X和Y表示空间域、T表示时间域。
本领域普通技术人员可以理解，上面是对所有旋转模式进行了统计，当然，也可以只统计其中的一部分，而另一部分采用其均匀模式本身。
通过计算两个视频块的对应直方图之间的卡方距离可以得到两个视频块时空纹理之间的相似度以用于计算视频块的质量分数：
t(Block1，Block2)＝exp{‑χ2(RSH1，RSH2)}           (1)
其中，Block1，Block2分别表示来自源视频的视频块和来自待测视频的视频块，RSH1，RSH2分别代表根据来自源视频的视频块和来自待测视频的视频块获得的直方图。
本领域普通技术人员可以理解，在该优选实施例中以卡方距离作为示例，当然也可以采用其他方式计算两个视频块时空纹理之间的相似度，例如：欧式距离等。
根据本发明的优选实施例，除了时空纹理信息t(Block1，Block2)，还融合了以下静态特征来计算视频块的相似度：亮度l(Block1，Block2)，对比度c(Block1，Block2)和结构s(Block1，Block2)。对于亮度，对比度和结构的定义分别如下：