说明书一种基于视觉特性的立体图像质量客观评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于视觉特性的立体图像质量客观评价方法。
背景技术
随着图像编码技术和立体显示技术的迅速发展，立体图像技术受到了越来越广泛的关注与应用，已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理，双目各自独立地接收来自同一场景的左右视点图像，通过大脑融合形成双目视差，从而欣赏到具有深度感和逼真感的立体图像。由于立体图像受到采集系统、存储压缩及传输设备的影响，会不可避免地引入一系列的失真，而与单通道图像相比，立体图像需要同时保证两个通道的图像质量，因此对立体图像进行质量评价具有非常重要的意义。然而，目前缺乏有效的客观评价方法对立体图像质量进行评价。因此，建立有效的立体图像质量客观评价模型具有十分重要的意义。
目前，通常是直接将平面图像质量评价方法直接应用于评价立体图像质量，然而，对立体图像的左右视点图像进行融合产生立体感的过程并不是简单的左右视点图像叠加的过程，还难以用简单的数学方法来表示，因此，如何从立体图像中提取出有效的特征信息来对双目立体融合进行模拟，如何根据人眼的双目视觉和单目视觉的响应特性对客观评价结果进行调制，使得客观评价结果更加感觉符合人类视觉系统，都是在对立体图像进行客观质量评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于视觉特性的立体图像质量客观评价方法，其能够有效地提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于视觉特性的立体图像质量客观评价方法，其特征在于包括以下步骤：
①令Sorg为原始的无失真的立体图像，令Sdis为待评价的失真的立体图像，将Sorg的 左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②采用Gabor滤波器分别对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}进行滤波处理，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}中的每个像素点在不同中心频率和不同方向因子下的频率响应，将{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为GLorg(x,y;ω,θ)=eLorg(x,y;ω,θ)+joLorg(x,y;ω,θ),]]>将{Rorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为GRorg(x,y;ω,θ)=eRorg(x,y;ω,θ)+joRorg(x,y;ω,θ),]]>将{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为GLdis(x,y;ω,θ)=eLdis(x,y;ω,θ)+joLdis(x,y;ω,θ),]]>将{Rdis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为GRdis(x,y;ω,θ)=eRdis(x,y;ω,θ)+joRdis(x,y;ω,θ),]]>其中，ω表示Gabor滤波器的中心频率，ω∈{1.74,2.47,3.49,4.93,6.98,9.87}，θ表示Gabor滤波器的方向因子，1≤θ≤4，为的实部，为的虚部，为的实部，为的虚部，为的实部，为的虚部，为的实部，为的虚部，符号“j”为虚数表示符号；
③利用区域检测方法分别将{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}划分成遮挡区域和双目匹配区域，将{Lorg(x,y)}中的遮挡区域和双目匹配区域对应记为和将{Ldis(x,y)}中的遮挡区域和双目匹配区域对应记为和将{Rorg(x,y)}中的遮挡区域和双目匹配区域对应记为和将{Rdis(x,y)}中的遮挡区域和双目匹配区域对应记为和
④首先根据{Lorg(x,y)}中的遮挡区域和{Ldis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，获取{Ldis(x,y)}中的遮挡区域的客观评价度量值；然后根据{Rorg(x,y)}中的遮挡区域和{Rdis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，获取{Rdis(x,y)}中的遮挡区域的客观评价度量值；最后根据{Ldis(x,y)}中的遮挡区域的客观评价度量值和{Rdis(x,y)}中的遮挡区域的客观评价度量值，计算Sdis中的遮挡区域的客观评价度量值，记为Qnc；
⑤根据{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域及{Ldis(x,y)}中的双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，获取Sdis中的双目匹配区域的客观评价度量值，记为Qbm；
⑥对Sdis中的遮挡区域的客观评价度量值Qnc和Sdis中的双目匹配区域的客观评价度量值Qbm进行融合，得到Sdis的图像质量客观评价预测值，记为Q，Q=wnc×Qnc+wbm×Qbm，其中，wnc和wbm为加权参数，wnc+wbm=1。
所述的步骤③的具体过程为：
③-1、采用块匹配法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；
③-2、根据中的每个像素点的像素值，分别将{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}划分成遮挡区域和双目匹配区域，具体过程为：③-2a、将中当前待处理的像素点定义为当前像素点；③-2b、假设当前像素点的坐标位置为(x1,y1)，1≤x1≤W，1≤y1≤H；③-2c、判断当前像素点的像素值是否为255，如果是，则将{Lorg(x,y)}和{Ldis(x,y)}中坐标位置为(x1,y1)的像素点的区域类型均标记为1，否则，将{Lorg(x,y)}和{Ldis(x,y)}中坐标位置为(x1,y1)的像素点的区域类型均标记为2，同时将{Rorg(x,y)}和{Rdis(x,y)}中坐标位置为的像素点的区域类型均标记为2；③-2d、将中下一个待处理的像素点作为当前像素点，然后返回步骤③-2b继续执行，直至中的所有像素点处理完毕，将{Lorg(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Lorg(x,y)}中的遮挡区域，并记为将{Lorg(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Lorg(x,y)}中的双目匹配区域，并记为将{Ldis(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Ldis(x,y)}中的遮挡区域，并记为将{Ldis(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Ldis(x,y)}中的双目匹配区域，并记为将{Rorg(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Rorg(x,y)}中的双目匹配区域，并记为将{Rorg(x,y)}中排除双目匹配区域后剩下的所有像素点的区域类型标记为1，将{Rorg(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Rorg(x,y)}中的遮挡区域，并记为将{Rdis(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Rdis(x,y)}中的双目匹配区域，并记为将{Rdis(x,y)}中排除双目匹配区域后 剩下的所有像素点的区域类型标记为1，将{Rdis(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Rdis(x,y)}中的遮挡区域，并记为
所述的步骤④的具体过程为：
④-1、根据{Lorg(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Lorg(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Lorg(x,y)}中坐标位置为(x,y)的像素点属于{Lorg(x,y)}中的遮挡区域则将{Lorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPLorg(x,y)=(FLorg(x,y))2+(HLorg(x,y))2,]]>其中，FLorg(x,y)=Σθ=14eLorg(x,y;ωm,θ),]]>HLorg(x,y)=Σθ=14oLorg(x,y;ωm,θ),]]>ωm表示选定的中心频率，表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部；
同样，根据{Ldis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Ldis(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Ldis(x,y)}中坐标位置为(x,y)的像素点属于{Ldis(x,y)}中的遮挡区域则将{Ldis(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPLdis(x,y)=(FLdis(x,y))2+(HLdis(x,y))2,]]>其中，FLdis(x,y)=Σθ=14eLdis(x,y;ωm,θ),]]>HLdis(x,y)=Σθ=14oLdis(x,y;ωm,θ),]]>ωm表示选定的中心频率，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中 心频率为ωm和方向因子为θ下的频率响应的虚部；
④-2、根据{Lorg(x,y)}中的遮挡区域和中的遮挡区域内的每个像素点的振幅，计算{Ldis(x,y)}中的遮挡区域的客观评价度量值，记为QLnc=1+cos(2·ψL)2]]>
ψL=arccos(Σ(x,y)∈ΩLnc(GXLorg(x,y)·GXLdis(x,y)+GYLorg(x,y)·GYLdis(x,y))+T1Σ(x,y)∈ΩLnc(GXLorg(x,y))2+(GYLorg(x,y))2·Σ(x,y)∈ΩLnc(GXLdis(x,y))2+(GYLdis(x,y))2+T1)]]>，其中，中的水平梯度值，为中的垂直梯度值，为中的水平梯度值，为中的垂直梯度值，arccos()为取反余弦函数，T1为控制参数，表示或
④-3、根据{Rorg(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Rorg(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Rorg(x,y)}中坐标位置为(x,y)的像素点属于{Rorg(x,y)}中的遮挡区域则将{Rorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPRorg(x,y)=(FRorg(x,y))2+(HRorg(x,y))2,]]>其中，FRorg(x,y)=Σθ=14eRorg(x,y;ωm,θ),]]>HRorg(x,y)=Σθ=14oRorg(x,y;ωm,θ),]]>ωm为选定的中心频率，表示{Rorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部；
同样，根据{Rdis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同 方向因子下的频率响应，计算{Rdis(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Rdis(x,y)}中坐标位置为(x,y)的像素点属于{Rdis(x,y)}中的遮挡区域则将{Rdis(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPRdis(x,y)=(FRdis(x,y))2+(HRdis(x,y))2,]]>其中，FRdis(x,y)=Σθ=14eRdis(x,y;ωm,θ),]]>HRdis(x,y)=Σθ=14oRdis(x,y;ωm,θ),]]>ωm为选定的中心频率，表示{Rdis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rdis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部；
④-4、根据{Rorg(x,y)}中的遮挡区域和{Rdis(x,y)}中的遮挡区域内的每个像素点的振幅，计算{Rdis(x,y)}中的遮挡区域的客观评价度量值，记为QRnc=1+cos(2·ψR)2]]>
ψR=arccos(Σ(x,y)∈ΩRnc(GXRorg(x,y)·GXRdis(x,y)+GYRorg(x,y)·GYRdis(x,y))+T1Σ(x,y)∈ΩRnc(GXRorg(x,y))2+(GYRorg(x,y))2·Σ(x,y)∈ΩRnc(GXRdis(x,y))2+(GYRdis(x,y))2+T1)]]>，其中，为中的水平梯度值，为中的垂直梯度值，为中的水平梯度值，为中的垂直梯度值，arccos()为取反余弦函数，T1为控制参数，表示或
④-5、根据和计算Sdis中的遮挡区域的客观评价度量值，记为Qnc，其中，表示{Ldis(x,y)}中的遮挡区域中包含的像素点的个数，表示{Rdis(x,y)}中的遮挡区域中包含的像素点的个数。
所述的步骤⑤的具体过程为：
⑤-1、采用块匹配法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值；
⑤-2、根据{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅，假设{Lorg(x,y)}中坐标位置为(x,y)的像素点属于{Lorg(x,y)}中的双目匹配区域则将{Lorg(x,y)}中坐标位置为(x,y)的像素点和{Rorg(x,y)}中的匹配像素点的双目融合振幅记为LPLRorg(x,y)=(FLRorg(x,y))2+(HLRorg(x,y))2,]]>其中，FLRorg(x,y)=Σθ=14eLorg(x,y;ωm,θ)+eRorg(x',y';ωm,θ)]]>，HLRorg(x,y)=Σθ=14oLorg(x,y;ωm,θ)+oRorg(x',y';ωm,θ),]]>ωm为选定的中心频率，此处(x',y')为{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中的匹配像素点的坐标位置，y'=y，表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rorg(x,y)}中坐标位置为(x',y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部，表示{Rorg(x,y)}中坐标位置为(x',y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部；
⑤-3、根据{Ldis(x,y)}中的双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Ldis(x,y)}中的 双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅，假设{Ldis(x,y)}中坐标位置为(x,y)的像素点属于{Ldis(x,y)}中的双目匹配区域则将{Ldis(x,y)}中坐标位置为(x,y)的像素点和{Rdis(x,y)}中的匹配像素点的双目融合振幅记为LPLRdis(x,y)=(FLRdis(x,y))2+(HLRdis(x,y))2,]]>其中，FLRdis(x,y)=Σδ=-66Σθ=14eLdis(x,y;ωm,θ)+eRdis(x'+δ,y';ωm,θ)]]>，HLRdis(x,y)=Σδ=-66Σθ=14oLdis(x,y;ωm,θ)+oRdis(x'+δ,y';ωm,θ),]]>ωm为选定的中心频率，δ表示视差偏移因子，-6≤δ≤6，此处(x',y')为{Ldis(x,y)}中坐标位置为(x,y)的像素点在{Rdis(x,y)}中的匹配像素点的坐标位置，y'=y，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rdis(x,y)}中坐标位置为(x'+δ,y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部，表示{Rdis(x,y)}中坐标位置为(x'+δ,y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部；
⑤-4、根据{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅、{Ldis(x,y)}中的双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅，计算Sdis中的双目匹配区域的客观评价度量值，记为Qbm，ψLR=arccos(Σ(x,y)∈ΩLbm(GXLRorg(x,y)·GXLRdis(x,y)+GYLRorg(x,y)·GYLRdis(x,y))+T1Σ(x,y)∈ΩLbm(GXLRorg(x,y))2+(GYLRorg(x,y))2·Σ(x,y)∈ΩLbm(GXLRdis(x,y))2+(GYLRdis(x,y))2+T1)]]>，其中，为中的水平梯度值，为中的垂直梯度值，为中的水平梯度值，为中的垂直梯度值，arccos()为取反余弦函数，T1为控制参数，表示或
所述的步骤④-1、所述的步骤④-3、所述的步骤⑤-2和所述的步骤⑤-3中ωm的具体取值由Sdis的失真类型决定，如果Sdis的失真类型为JPEG压缩失真，则取ωm=3.49；如果Sdis的失真类型为JPEG2000压缩失真，则取ωm=4.93；如果Sdis的失真类型为高斯模糊失真，则取ωm=4.93；如果Sdis的失真类型为白噪声失真，则取ωm=3.49；如果Sdis的失真类型为H.264压缩失真，则取ωm=4.93。
所述的步骤④-2、所述的步骤④-4和所述的步骤⑤-4中取T1=0.85。
所述的步骤⑥中取wnc=0.5，wbm=0.5。
与现有技术相比，本发明的优点在于：
1）本发明方法通过区域检测方法将无失真的立体图像的左视点图像和右视点图像及失真的立体图像的左视点图像和右视点图像分别划分为遮挡区域和双目匹配区域，并利用单目视觉特性对失真的立体图像的遮挡区域进行评价，利用双目视觉特性对失真的立体图像的双目匹配区域进行评价，使得客观评价结果能更加符合人类视觉，从而有效地提高了客观评价结果与主观感知的相关性。
2）本发明方法采用分别计算原始的无失真的立体图像在不同中心频率和方向因子下的频率响应及待评价的失真的立体图像在不同中心频率和方向因子下的频率响应，来得到待评价的失真的立体图像中的双目匹配区域的客观评价度量值，使得评价结果更加感觉符合人类视觉系统。
附图说明
图1为本发明方法的总体实现框图；
图2a为Akko&Kayo序列的原始立体图像的双目匹配区域的振幅图像；
图2b为Akko&Kayo序列的JPEG压缩失真的立体图像的双目匹配区域的双目融合振幅图像；
图2c为Akko&Kayo序列的JPEG2000压缩失真的立体图像的双目匹配区域的双目融合振幅图像；
图2d为Akko&Kayo序列的高斯模糊失真的立体图像的双目匹配区域的双目融合振幅图像；
图2e为Akko&Kayo序列的白噪声失真的立体图像的双目匹配区域的双目融合振幅图像；
图2f为Akko&Kayo序列的H.264压缩失真的立体图像的双目匹配区域的双目融合振幅图像；
图3a为Door Flowers序列的原始立体图像的双目匹配区域的双目融合振幅图像；
图3b为Door Flowers序列的JPEG压缩失真的立体图像的双目匹配区域的双目融合振幅图像；
图3c为Door Flowers序列的JPEG2000压缩失真的立体图像的双目匹配区域的双目融合振幅图像；
图3d为Door Flowers序列的高斯模糊失真的立体图像的双目匹配区域的双目融合振幅图像；
图3e为Door Flowers序列的白噪声失真的立体图像的双目匹配区域的双目融合振幅图像；
图3f为Door Flowers序列的H.264压缩失真的立体图像的双目匹配区域的双目融合振幅图像；
图4a为Akko&Kayo(640×480)立体图像的左视点图像；
图4b为Alt Moabit(1024×768)立体图像的左视点图像；
图4c为Balloons(1024×768)立体图像的左视点图像；
图4d为Door Flowers(1024×768)立体图像的左视点图像；
图4e为Kendo(1024×768)立体图像的左视点图像；
图4f为Leaving Laptop(1024×768)立体图像的左视点图像；
图4g为Lovebird1(1024×768)立体图像的左视点图像；
图4h为Newspaper(1024×768)立体图像的左视点图像；
图4i为Xmas(640×480)立体图像的左视点图像；
图5为每幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于视觉特性的立体图像质量客观评价方法，其总体实现框图如图1所示，其包括以下步骤：
①令Sorg为原始的无失真的立体图像，令Sdis为待评价的失真的立体图像，将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，(x,y)表示左视点图像和右视点图像中的像素点的坐标位置，1≤x≤W，1≤y≤H，W表示左视点图像和右视点图像的宽度，H表示左视点图像和右视点图像的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②采用Gabor滤波器分别对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}进行滤波处理，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}、{Rdis(x,y)}中的每个像素点在不同中心频率和不同方向因子下的频率响应，将{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为GLorg(x,y;ω,θ)=eLorg(x,y;ω,θ)+joLorg(x,y;ω,θ),]]>将{Rorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为GRorg(x,y;ω,θ)=eRorg(x,y;ω,θ)+joRorg(x,y;ω,θ),]]>将{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ω和方向因子为θ下的频率响应记为GLdis(x,y;ω,θ)=eLdis(x,y;ω,θ)+joLdis(x,y;ω,θ),]]>将{Rdis(x,y)}中坐标位置为(x,y)的像素 点在中心频率为ω和方向因子为θ下的频率响应记为GRdis(x,y;ω,θ)=eRdis(x,y;ω,θ)+joRdis(x,y;ω,θ),]]>其中，ω表示Gabor滤波器的中心频率，Gabor滤波器的中心频率ω可以是任意一个值，在本发明中经验选取六个不同的值分别作为Gabor滤波器的中心频率，即ω∈{1.74,2.47,3.49,4.93,6.98,9.87}，θ表示Gabor滤波器的方向因子，1≤θ≤4，为的实部，为的虚部，为的实部，为的虚部，为的实部，为的虚部，为的实部，为的虚部，符号“j”为虚数表示符号。
③利用区域检测方法分别将{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}划分成遮挡区域和双目匹配区域，将{Lorg(x,y)}中的遮挡区域和双目匹配区域对应记为和将{Ldis(x,y)}中的遮挡区域和双目匹配区域对应记为和将{Rorg(x,y)}中的遮挡区域和双目匹配区域对应记为和将{Rdis(x,y)}中的遮挡区域和双目匹配区域对应记为和
在此具体实施例中，步骤③的具体过程为：
③-1、采用块匹配法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值。在此，块匹配法采用现有的经典的块匹配法，其基本思想是将图像分成小块，对左视点图像（右视点图像）中的每一小块，在右视点图像（左视点图像）中寻找相关性最大的小块，两个小块之间的空间位移量就是视差。
③-2、根据中的每个像素点的像素值，分别将{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}划分成遮挡区域和双目匹配区域，具体过程为：③-2a、将中当前待处理的像素点定义为当前像素点；③-2b、假设当前像素点的坐标位 置为(x1,y1)，1≤x1≤W，1≤y1≤H；③-2c、判断当前像素点的像素值是否为255，如果是，则将{Lorg(x,y)}和{Ldis(x,y)}中坐标位置为(x1,y1)的像素点的区域类型均标记为1，否则，将{Lorg(x,y)}和{Ldis(x,y)}中坐标位置为(x1,y1)的像素点的区域类型均标记为2，同时将{Rorg(x,y)}和{Rdis(x,y)}中坐标位置为的像素点的区域类型均标记为2；③-2d、将中下一个待处理的像素点作为当前像素点，然后返回步骤③-2b继续执行，直至中的所有像素点处理完毕，将{Lorg(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Lorg(x,y)}中的遮挡区域，并记为将{Lorg(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Lorg(x,y)}中的双目匹配区域，并记为将{Ldis(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Ldis(x,y)}中的遮挡区域，并记为将{Ldis(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Ldis(x,y)}中的双目匹配区域，并记为将{Rorg(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Rorg(x,y)}中的双目匹配区域，并记为将{Rorg(x,y)}中排除双目匹配区域后剩下的所有像素点的区域类型标记为1，将{Rorg(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Rorg(x,y)}中的遮挡区域，并记为将{Rdis(x,y)}中区域类型标记为2的所有像素点构成的区域作为{Rdis(x,y)}中的双目匹配区域，并记为将{Rdis(x,y)}中排除双目匹配区域后剩下的所有像素点的区域类型标记为1，将{Rdis(x,y)}中区域类型标记为1的所有像素点构成的区域作为{Rdis(x,y)}中的遮挡区域，并记为
④由于立体图像中左右视点图像的遮挡区域在立体感知过程中只能形成单目视觉，因此本发明方法首先根据{Lorg(x,y)}中的遮挡区域和{Ldis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，获取{Ldis(x,y)}中的遮挡区域的客观评价度量值；然后根据{Rorg(x,y)}中的遮挡区域和 {Rdis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，获取{Rdis(x,y)}中的遮挡区域的客观评价度量值；最后根据{Ldis(x,y)}中的遮挡区域的客观评价度量值和{Rdis(x,y)}中的遮挡区域的客观评价度量值，计算Sdis中的遮挡区域的客观评价度量值，记为Qnc。
在此具体实施例中，步骤④的具体过程为：
④-1、根据{Lorg(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Lorg(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Lorg(x,y)}中坐标位置为(x,y)的像素点属于{Lorg(x,y)}中的遮挡区域则将{Lorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPLorg(x,y)=(FLorg(x,y))2+(HLorg(x,y))2,]]>其中，FLorg(x,y)=Σθ=14eLorg(x,y;ωm,θ),]]>HLorg(x,y)=Σθ=14oLorg(x,y;ωm,θ),]]>ωm表示选定的中心频率，即ωm的值为1.74,2.47,3.49,4.93,6.98,9.87中的第m个值，1≤m≤6，表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部。
同样，根据{Ldis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Ldis(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Ldis(x,y)}中坐标位置为(x,y)的像素点属于{Ldis(x,y)}中的遮挡区域则将{Ldis(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPLdis(x,y)=(FLdis(x,y))2+(HLdis(x,y))2,]]>其中，FLdis(x,y)=Σθ=14eLdis(x,y;ωm,θ),]]>HLdis(x,y)=Σθ=14oLdis(x,y;ωm,θ),]]>ωm表示选定的中心频率，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部。
④-2、根据{Lorg(x,y)}中的遮挡区域和{Ldis(x,y)}中的遮挡区域内的每个像素点的振幅，计算{Ldis(x,y)}中的遮挡区域的客观评价度量值，记为QLnc=1+cos(2·ψL)2]]>
ψL=arccos(Σ(x,y)∈ΩLnc(GXLorg(x,y)·GXLdis(x,y)+GYLorg(x,y)·GYLdis(x,y))+T1Σ(x,y)∈ΩLnc(GXLorg(x,y))2+(GYLorg(x,y))2·Σ(x,y)∈ΩLnc(GXLdis(x,y))2+(GYLdis(x,y))2+T1)]]>，其中，为中的水平梯度值，为中的垂直梯度值，为中的水平梯度值，为中的垂直梯度值，arccos()为取反余弦函数，T1为控制参数，在本实施例中取T1=0.85，表示或
④-3、根据{Rorg(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Rorg(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Rorg(x,y)}中坐标位置为(x,y)的像素点属于{Rorg(x,y)}中的遮挡区域则将{Rorg(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPRorg(x,y)=(FRorg(x,y))2+(HRorg(x,y))2,]]>其中，FRorg(x,y)=Σθ=14eRorg(x,y;ωm,θ),]]>HRorg(x,y)=Σθ=14oRorg(x,y;ωm,θ),]]>ωm为选定的中心频率，表示{Rorg(x,y)}中 坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部。
同样，根据{Rdis(x,y)}中的遮挡区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Rdis(x,y)}中的遮挡区域内的每个像素点的振幅，假设{Rdis(x,y)}中坐标位置为(x,y)的像素点属于{Rdis(x,y)}中的遮挡区域则将{Rdis(x,y)}中坐标位置为(x,y)的像素点的振幅记为LPRdis(x,y)=(FRdis(x,y))2+(HRdis(x,y))2,]]>其中，FRdis(x,y)=Σθ=14eRdis(x,y;ωm,θ),]]>HRdis(x,y)=Σθ=14oRdis(x,y;ωm,θ),]]>ωm为选定的中心频率，表示{Rdis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rdis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部。
④-4、根据{Rorg(x,y)}中的遮挡区域和{Rdis(x,y)}中的遮挡区域内的每个像素点的振幅，计算{Rdis(x,y)}中的遮挡区域的客观评价度量值，记为QRnc=1+cos(2·ψR)2]]>ψR=arccos(Σ(x,y)∈ΩRnc(GXRorg(x,y)·GXRdis(x,y)+GYRorg(x,y)·GYRdis(x,y))+T1Σ(x,y)∈ΩRnc(GXRorg(x,y))2+(GYRorg(x,y))2·Σ(x,y)∈ΩRnc(GXRdis(x,y))2+(GYRdis(x,y))2+T1)]]>，其中，为中的水平梯度值，为中的垂直梯度值，为中的水平梯度值，为中的垂直梯度 值，arccos()为取反余弦函数，T1为控制参数，在本实施例中取T1=0.85，表示或
④-5、根据和计算Sdis中的遮挡区域的客观评价度量值，记为Qnc，其中，表示{Ldis(x,y)}中的遮挡区域中包含的像素点的个数，表示{Rdis(x,y)}中的遮挡区域中包含的像素点的个数。
⑤人类视觉特性表明，双目视觉神经元细胞处理视觉信息的机制，就是根据双目视差信息对左右眼接收到的信息在不同频率和方向进行融合的过程，因此本发明方法根据{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域及{Ldis(x,y)}中的双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，获取Sdis中的双目匹配区域的客观评价度量值，记为Qbm。
在此具体实施例中，步骤⑤的具体过程为：
⑤-1、采用块匹配法计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为其中，表示中坐标位置为(x,y)的像素点的像素值。
⑤-2、根据{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅，假设{Lorg(x,y)}中坐标位置为(x,y)的像素点属于{Lorg(x,y)}中的双目匹配区域则将{Lorg(x,y)}中坐标位置为(x,y)的像素点和{Rorg(x,y)}中的匹配像素点的双目融合振幅记为LPLRorg(x,y)=(FLRorg(x,y))2+(HLRorg(x,y))2,]]>其中，FLRorg(x,y)=Σθ=14eLorg(x,y;ωm,θ)+eRorg(x',y';ωm,θ)]]>HLRorg(x,y)=Σθ=14oLorg(x,y;ωm,θ)+oRorg(x',y';ωm,θ),]]>ωm为选定的中心频率，此处(x',y')为{Lorg(x,y)}中坐标位置为(x,y)的像素点在{Rorg(x,y)}中的匹配像素点的坐标位置，y'=y，表示{Lorg(x，y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rorg(x,y)}中坐标位置为(x',y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Lorg(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部，表示{Rorg(x,y)}中坐标位置为(x',y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部。
⑤-3、根据{Ldis(x,y)}中的双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每个像素点在选定的中心频率和不同方向因子下的频率响应，计算{Ldis(x,y)}中的双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅，假设{Ldis(x,y)}中坐标位置为(x,y)的像素点属于{Ldis(x,y)}中的双目匹配区域则将{Ldis(x,y)}中坐标位置为(x,y)的像素点和{Rdis(x,y)}中的匹配像素点的双目融合振幅记为LPLRdis(x,y)=(FLRdis(x,y))2+(HLRdis(x,y))2,]]>其中，FLRdis(x,y)=Σδ=-66Σθ=14eLdis(x,y;ωm,θ)+eRdis(x'+δ,y';ωm,θ),]]>FLRdis(x,y)=Σδ=-66Σθ=14oLdis(x,y;ωm,θ)+oRdis(x'+δ,y';ωm,θ),]]>ωm为选定的中心频率，δ表示视差偏移因子，-6≤δ≤6，此处(x',y')为{Ldis(x,y)}中坐标位置为(x,y)的像素点在{Rdis(x,y)}中的匹配像素点的坐标位置，y'=y，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Rdis(x,y)}中坐标位置为(x'+δ,y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的实部，表示{Ldis(x,y)}中坐标位置为(x,y)的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部，表示{Rdis(x,y)}中坐标位置为(x'+δ,y')的像素点在中心频率为ωm和方向因子为θ下的频率响应的虚部。
在此，考虑到失真会严重影响左右视点图像的匹配，并进而影响双目匹配区域的频率响应，因此，本发明方法在计算失真图像的双目匹配区域的振幅时，在原始视差的基础上添加上一个较小的视差偏移因子δ，以更好地反映双目视觉响应。
⑤-4、根据{Lorg(x,y)}中的双目匹配区域和{Rorg(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅、{Ldis(x,y)}中的双目匹配区域和{Rdis(x,y)}中的双目匹配区域内的每对匹配像素点的双目融合振幅，计算Sdis中的双目匹配区域的客观评价度量值，记为Qbm，ψLR=arccos(Σ(x,y)∈ΩLbm(GXLRorg(x,y)·GXLRdis(x,y)+GYLRorg(x,y)·GYLRdis(x,y))+T1Σ(x,y)∈ΩLbm(GXLRorg(x,y))2+(GYLRorg(x,y))2·Σ(x,y)∈ΩLbm(GXLRdis(x,y))2+(GYLRdis(x,y))2+T1)]]>，其中，为中的水平梯度值，为中的垂直梯度值，为中的水平梯度值，为中的垂直梯度值，arccos()为取反余弦函数，T1为控制参数，在本实施例中取T1=0.85，表示或
在此，图2a、图2b、图2c、图2d、图2e和图2f分别给出了“Akko&Kayo”序列的原始立体图像、JPEG压缩失真的立体图像、JPEG2000压缩失真的立体图像、高斯模糊失真的立体图像、白噪声失真的立体图像、H.264压缩失真的立体图像中的双目匹配区 域的双目融合振幅图像，图3a、图3b、图3c、图3d、图3e和图3f分别给出了“Door Flowers”序列的原始立体图像、JPEG压缩失真的立体图像、JPEG2000压缩失真的立体图像、高斯模糊失真的立体图像、白噪声失真的立体图像、H.264压缩失真的立体图像的双目匹配区域的双目融合振幅图像，从图2a至图3f中可以看出，采用本发明方法提取的振幅信息，能够很好地反映人类视觉对不同频率、不同失真的立体图像的响应过程。
⑥对Sdis中的遮挡区域的客观评价度量值Qnc和Sdis中的双目匹配区域的客观评价度量值Qbm进行融合，得到Sdis的图像质量客观评价预测值，记为Q，Q=wnc×Qnc+wbm×Qbm，其中，wnc和wbm为加权参数，wnc+wbm=1，在本实施例中取wnc=0.5，wbm=0.5。
⑦采用n幅原始的无失真的立体图像，建立其在不同失真类型不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取该失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]，n≥1；然后按照步骤①至步骤⑥计算Sdis的图像质量客观评价预测值Q的操作，以相同的方式分别计算该失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
在本实施例中，由于根据人眼对不同失真类型的频率响应不一致的特性，因此针对不同失真类型的立体图像，对Gabor滤波器设置不同的中心频率，即上述步骤④-1、步骤④-3、步骤⑤-2和步骤⑤-3中ωm的具体取值由Sdis的失真类型决定，如果Sdis的失真类型为JPEG压缩失真，则取ωm=3.49；如果Sdis的失真类型为JPEG2000压缩失真，则取ωm=4.93；如果Sdis的失真类型为高斯模糊失真，则取ωm=4.93；如果Sdis的失真类型为白噪声失真，则取ωm=3.49；如果Sdis的失真类型为H.264压缩失真，则取ωm=4.93。在此，针对不同失真类型的失真图像，计算分别取六个中心频率情况下的评价结果，选取评价结果最好的中心频率作为选定的中心频率，通过大量实验确定上述ωm的具体取值。
为进一步说明本发明方法的可行性和有效性，对本发明方法的性能进行客观评价。
在本实施例中，利用9幅无失真的立体图像（图4a、图4b、图4c、图4d、图4e、图4f、图4g、图4h和图4i分别给出了9幅无失真的立体图像的左视点图像），建立对 应在高斯模糊下5个失真等级、高斯白噪声下5个失真等级、JPEG压缩下5个失真等级、JPEG2000压缩下5个失真等级、H.264压缩下6个失真等级的一共234幅失真的立体图像作为测试立体图像。这234幅失真的立体图像构成一个失真立体图像集合，利用现有的主观质量评价方法分别获取该失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS=100-MOS，其中，MOS表示主观评分均值，DMOS∈[0,100]；然后按照步骤①至步骤⑥计算Sdis的图像质量客观评价预测值Q的操作，以相同的方式分别计算该失真立体图像集合中每幅失真的立体图像的图像质量客观评价预测值。
采用图4a至图4i所示的9幅无失真的立体图像在不同程度的JPEG压缩、JPEG2000压缩、高斯模糊、白噪声和H.264编码失真情况下的234幅失真的立体图像来分析这234幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coefficient，PLCC）、Spearman 相关系数（Spearman rank order correlation coefficient，SROCC）、Kendall相关系数（Kendall rank-order correlation coefficient，KROCC)、均方误差（root mean squared error，RMSE），PLCC和RMSE反映失真的立体图像的图像质量客观评价预测值的准确性，SROCC和KROCC反映其单调性。将计算得到的234幅失真的立体图像的图像质量客观评价预测值做四参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值相关性越好。反映立体图像客观评价方法性能的PLCC、SROCC、KROCC和RMSE系数如表1所列，从表1所列的数据可知，按本发明方法得到的失真的立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很高的，这充分表明了客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的有效性。
图5给出了234幅失真的立体图像的图像质量客观评价预测值与平均主观评分差值的散点图，散点越集中，说明客观评价结果与主观感知的一致性越好。从图5中可以看出，采用本发明方法得到的散点图比较集中，与主观评价数据之间的吻合度较高。
表1利用本发明方法得到的234幅失真的立体图像的图像质量客观评价预测值与平均
主观评分差值之间的相关性