《基于仿射变换的立体视频匹配方法.pdf》由会员分享，可在线阅读，更多相关《基于仿射变换的立体视频匹配方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN102026013A43申请公布日20110420CN102026013ACN102026013A21申请号201010594217122申请日20101218H04N13/00200601G06T7/2020060171申请人浙江大学地址310027浙江省杭州市西湖区浙大路38号72发明人杜歆张飞陈国赟74专利代理机构杭州求是专利事务所有限公司33200代理人林怀禹54发明名称基于仿射变换的立体视频匹配方法57摘要本发明公开了一种基于仿射变换的立体视频匹配方法。该方法用于对双目摄像机拍摄得到的立体视频进行立体匹配，包括以下步骤1）提取当前帧图像和前一帧图像的特征点并进行匹配。
2、，求取当前帧图像到前一帧图像的仿射变换矩阵；2）根据仿射变换矩阵，将当前帧图像的像素点投影到前一帧；3）计算前后帧匹配点的像素差，以检测当前帧图像中的静止区域；4）计算当前帧图像的初始匹配代价；5）更新当前帧图像静止区域的匹配代价；6）计算当前帧图像的视差图。本发明利用了视频帧之间的仿射约束关系，使得当前帧视差同时受前一帧视差的约束，有效地减弱了噪声等对视差精度的影响；提高了视差在视频中的稳定性，保证了视差图序列在时域上的稳定性。51INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书6页附图2页CN102026028A1/3页21一种基于仿射变换的立体视频匹配方法，。
3、其特征在于利用立体视频前后帧之间的时域信息，计算仿射变换矩阵，在立体视频当前帧的单帧图像立体匹配方法基础上，增加视频帧之间的仿射变换约束；下列步骤中，步骤4）用立体视频的左路视频当前帧和立体视频的右路视频当前帧进行匹配得到初始匹配代价，其余步骤对立体视频的左路视频和立体视频的右路视频分别单独地实施相同的步骤，实施步骤如下1）提取当前帧和前一帧的图像特征点，并进行图像特征点匹配，求取仿射变换矩阵；2）根据步骤1）得到的仿射变换矩阵，将当前帧图像中的像素点投影到前一帧，并对非整数坐标的投影像素点进行插值运算，得到当前帧图像的像素点在前一帧图像上的投影点；3）根据步骤2）得到的投影点，计算当前帧图像。
4、的像素点和其在前一帧图像上的投影点的像素值的差，以检测当前帧图像中的静止区域像素点；4）计算当前帧图像的初始匹配代价；5）计算更新匹配代价的权重系数，包括前后帧图像视差的整体相似度和相邻视差值的权重递变函数值；6）根据步骤4）中当前帧图像的初始匹配代价，以及步骤5）中的权重系数，更新当前帧静止区域像素点的匹配代价，对运动区域像素点的匹配代价则保持不变；7）计算当前帧图像的视差图。2根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所述的根据图像特征点匹配，求取仿射变换矩阵，包括以下步骤21）用HARRIS角点检测方法，分别提取当前帧和前一帧的图像特征点；22）对提取的两个图像特。
5、征点进行匹配；23）根据匹配结果，计算当前帧到前一帧的仿射变换矩阵。3根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所述的将当前帧中的像素点投影到前一帧，并对非整数坐标的投影像素点进行插值运算，是指当前帧中的像素坐标按照所求取的仿射变换矩阵，投影到前一帧中坐标为处，若像素坐标不是整数，则用中相邻像素进行双线性插值，得到该点的像素值。4根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所述的计算当前帧图像的像素点和其在前一帧图像上的投影点的像素值的差，以检测当前帧图像中的静止区域像素点，是指对当前帧图像坐标为的像素值和经过仿射变换投影到前一帧坐标为的像素值，在。
6、一定窗口内求SAD值（绝对差值和），其中表示SAD值；若小于一个特定的阈值，则判定当前帧坐标为的像素点为静止区域点；反权利要求书CN102026013ACN102026028A2/3页3之，则为运动区域点。5根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于，所述的计算当前帧图像的初始匹配代价，是指用基于局部窗口匹配的SAD方法对立体视频当前帧的左图和右图进行匹配，分别得到当前帧左图的的初始匹配代价和当前帧右图的初始匹配代价。6根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所述的更新权重系数中的前后帧图像视差的整体相似度系数，包括以下步骤1）对立体视频的当前。
7、帧的左右图像提取HARRIS特征点并进行匹配；2）对立体视频的前一帧的左右图像提取HARRIS特征点并进行匹配；3）用直方图分别统计当前帧匹配特征点的视差以及前一帧匹配特征点的视差，然后得到视差直方图的相似度系数，其中为直方图维度，为预设的一常量，和分别为当前帧和前一帧匹配点的归一化视差直方图分布。7根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所述的更新权重系数中的相邻视差值的权重递变函数值，是指用权重递变函数计算当前帧图像中坐标为处的视差在其通过仿射变换投影到前一帧图像中坐标为处的视差的一个变化区间内的各个候选视差的权重系数。8根据权利要求1所述的一种基于仿射变换的立体。
8、视频匹配方法，其特征在于所述的更新静止区域像素的匹配代价，是指对当前帧图像静止区域中坐标为的像素，更新其匹配代价；计算包括以下步骤1）计算当前帧图像坐标为处像素的初始匹配代价；2）更新当前帧图像静止区域中坐标为的像素的匹配代价其中，为前后帧图像视差的整体相似度系数，为权重递变函数，为预设的常量，表示视差变化范围。9根据权利要求1所述的一种基于仿射变换的立体视频匹配方法，其特征在于所述的计算当前帧图像的视差图，是指对当前帧图像中坐标为处的像素的匹配代价，用匹配代价最小的原则选择该像素的视差值其中是视差的变换区间，为当前帧图像中坐标为的像素的视差权利要求书CN102026013ACN1020260。
9、28A3/3页4值。权利要求书CN102026013ACN102026028A1/6页5基于仿射变换的立体视频匹配方法技术领域0001本发明涉及一种立体视频匹配的方法，特别是涉及一种基于仿射变换的立体视频匹配方法。背景技术0002立体匹配方法是计算机视觉中的研究热点，其产生的视差图在三维重建、视频视点合成、图像分层、图像渲染等方面有广泛的应用价值。尤其是当前3D电影的兴起和迅速发展，标志着能够有效改善用户真实性体验的三维立体显示时代的到来。跟传统的平面显示相比，三维立体显示可以让用户有身临其境的感觉，增强了场景的渲染力、生动性和刺激感，如3D足球播放技术，让用户仿佛有置身现场的感觉，并且可以从。
10、各个角度观看全场。0003然而要得到良好的三维立体显示的效果，需要解决很多问题数据传送量增大、观看视点少、个体用户的体验要求等等。如果传送多个视点的视频，会极大地增加数据传送量，对带宽是一种挑战，因此可以选择传送少量视点和视点视差图的方式来减少数据量，然后在终端用“视点图视差图”的方式生成新的视点，这样可以同时解决数据量增大和视点少的问题。各个用户对三维场景感知的要求会有差别，同时观看的距离、屏幕大小的区别也会对场景的显示深度有影响，因此在实现三维显示过程中，应该容许用户交互地根据个人对立体感知的要求，调节场景的显示深度。而调节场景显示深度的实质是调节视频之间的视差，从而得到视频的视差图是必备。
11、的步骤。有了视频视差图后，根据用户的调节，动态地以一定规则更改视差值，再重新生成新的视频源。从这些技术上的要求可以看出，视频视差图的求取是三维立体显示的一个关键步骤。0004视频的立体匹配方法大致可以分成两种方向一是将视频的每一帧视为纯粹的图像，用图像的立体匹配方法得到每一帧的视差图；另一种是充分利用视频帧之间的关系，在图像立体匹配的基础之上加入视频帧信息和约束。本发明提出了基于视频帧之间的仿射变换关系的立体匹配方法，利用连续帧的约束，对当前帧中的静止场景用前一帧的视差值作为初始值，并更新当前帧的匹配代价值，然后再用图像立体匹配方案得到视差图。发明内容0005本发明的目的在于提出一种基于仿射变。
12、换的立体视频匹配方法，充分利用了视频帧之间的仿射变换关系，用前一帧的视差信息约束当前帧的视差值，不但提高了求取当前帧初始视差图的准确度，还有效地保证了视差图序列在时域上的稳定性。0006本发明采用的技术方案是利用立体视频前后帧之间的时域信息，计算仿射变换矩阵，在立体视频当前帧的单帧图像立体匹配方法基础上，增加视频帧之间的仿射变换约束；下列步骤中，步骤4）用立体视频的左路当前帧和立体视频的右路当前帧进行匹配得到初始匹配代价，其余步说明书CN102026013ACN102026028A2/6页6骤分别对立体视频的左路视频和立体视频的右路视频分别单独相同的实施步骤如下1）提取当前帧和前一帧的图像特征。
13、点，并进行图像特征点匹配，求取仿射变换矩阵；2）根据步骤1）得到的仿射变换矩阵，将当前帧图像中的像素点投影到前一帧，并对非整数坐标的投影像素点进行插值运算，得到当前帧图像的像素点在前一帧图像上的投影点；3）根据步骤2）得到的投影点，计算当前帧图像的像素点和其在前一帧图像上的投影点的像素值的差，以检测当前帧图像中的静止区域像素点；4）计算当前帧图像的初始匹配代价；5）计算更新匹配代价的权重系数，包括前后帧图像视差的整体相似度和相邻视差值的权重递变函数值；6）根据步骤4）中当前帧图像的初始匹配代价，以及步骤5）中的权重系数，更新当前帧静止区域像素点的匹配代价，对运动区域像素点的匹配代价则保持不变；。
14、7）计算左路当前帧图像视差图和右路当前帧图像视差图。00072、所述的根据图像特征点匹配，求取仿射变换矩阵，包括以下步骤21）用HARRIS角点检测方法，分别提取当前帧和前一帧的图像特征点；22）对提取的两个图像特征点进行匹配；23）根据匹配结果，计算当前帧到前一帧的仿射变换矩阵。00083、所述的将当前帧中的像素点投影到前一帧，并对非整数坐标的投影像素点进行插值运算，是指当前帧中的像素坐标按照所求取的仿射变换矩阵，投影到前一帧中坐标为处，若像素坐标不是整数，则用中相邻像素进行双线性插值，得到该点的像素值。00094、所述的计算当前帧图像的像素点和其在前一帧图像上的投影点的像素值的差，以检测当。
15、前帧图像中的静止区域像素点，是指对当前帧图像坐标为的像素值和经过仿射变换投影到前一帧坐标为的像素值，在一定窗口内求SAD值（绝对差值和），其中表示SAD值。若小于一个特定的阈值，则判定当前帧坐标为的像素点为静止区域点；反之，则为运动区域点。00105、所述的计算当前帧图像的初始匹配代价，是指用基于局部窗口匹配的SAD方法对立体视频当前帧的左图和右图进行匹配，分别得到当前帧左图的的初始匹配代价和当前帧右图的初始匹配代价。00116、所述的更新权重系数中的前后帧图像视差的整体相似度系数，包括以下步骤1）对立体视频的当前帧的左右图像提取HARRIS特征点并进行匹配；说明书CN102026013ACN。
16、102026028A3/6页72）对立体视频的前一帧的左右图像提取HARRIS特征点并进行匹配；3）用直方图分别统计当前帧匹配特征点的视差以及前一帧匹配特征点的视差，然后得到视差直方图的相似度系数，其中为直方图维度，为预设的一常量，和分别为当前帧和前一帧匹配点的归一化视差直方图分布。00127、所述的更新权重系数中的相邻视差值的权重递变函数值，是指用权重递变函数计算当前帧图像中坐标为处的视差在其通过仿射变换投影到前一帧图像中坐标为处的视差的一个变化区间内的各个候选视差的权重系数。00138、所述的更新静止区域像素的匹配代价，是指对当前帧图像静止区域中坐标为的像素，更新其匹配代价；计算包括以下步。
17、骤1）计算当前帧图像坐标为处像素的初始匹配代价；2）更新当前帧图像静止区域中坐标为的像素的匹配代价其中，为前后帧图像视差的整体相似度系数，为权重递变函数，为预设的常量，表示视差变化范围。00149、所述的计算左路当前帧图像视差图和右路当前帧图像视差图，是指对当前帧图像中坐标为处的像素的匹配代价，用匹配代价最小的原则选择该像素的视差值其中是视差的变换区间，为当前帧图像中坐标为的像素的视差值。0015本发明具有的有益效果是本发明提高了视差图的精度，由于充分利用视频帧之间的仿射约束关系，使得当前帧的视差同时受前一帧视差的约束，有效地减弱了噪声等对视差精度的影响；提高了视差在视频中的稳定性，保证了视差。
18、图序列在时域上的稳定性。附图说明0016图1是基于仿射变化的视差立体匹配方法的总体流程图。0017图2是当前帧像素投影到前一帧的示意图。说明书CN102026013ACN102026028A4/6页8具体实施方式0018以下结合附图和实施例对本发明进行进一步的说明。0019图1给出了基于仿射变换的视频立体匹配方法的总体流程图。0020如图1所示，在步骤101中，分别对立体视频的左路视频和右路视频求取当前帧图像到前一帧图像的仿射变换矩阵和。具体步骤为1）用HARRIS角点检测方法，分别提取当前帧图像和前一帧图像的HARRIS图像特征点；有关HARRIS角点检测方法，可参见参考文献11CHARRI。
19、SANDMSTEPHENSACOMBINEDCORNERANDEDGEDETECTORPROCEEDINGSOFTHE4THALVEYVISIONCONFERENCE,PP1471512）用NCC（NORMALIZEDCROSSCORRELATION）方法对提取的HARRIS角点进行匹配；有关NCC匹配方法，可参见参考文献22PSMITH,DSINCLAIR,RCIPOLLA,KWOODEFFECTIVECORNERMATCHINGBRITISHMACHINEVISIONCONFERENCE,PP5455563）根据角点匹配结果，计算当前帧图像到前一帧图像的仿射变换矩阵上式中，表示在当前帧图像。
20、中的HARRIS角点坐标，表示在前一帧图像中的匹配HARRIS角点的坐标。00214）分别对立体视频的左路视频和右路视频实施上述步骤1）3），得到左路视频当前帧图像到前一帧图像的仿射变换矩阵和右路视频当前帧图像到前一帧图像的仿射变换矩阵。0022如图1所示，在步骤102中，分别将立体视频的左路视频和右路视频的当前帧像素投影到前一帧上。如图2所示，设当前帧图像上的点像素坐标为，其在前一帧图像上的投影点像素坐标为，则，。若不是位于整数坐标点，则用双线性插值方法得到该投影点的像素值。0023有关双线性插值可参考文献33RAFAELCGONZALEZ,RICHARDEWOODSDIGITALIMAGE。
21、PROCESSING,SECONDENDITIONGATESMARKPUBLISHING如图1所示，在步骤103中，分别检测立体视频的左路视频和右路视频当前帧中的静止区域。对于当前帧图像坐标为的像素点和其在前一帧图像中的仿射变换投说明书CN102026013ACN102026028A5/6页9影点，计算它们的像素SAD值上式中，表示SAD窗口尺寸，表示对像素的RGB颜色通道分别进行SAD计算并累加，表示像素SAD值。0024如果小于一个预先设定的阈值，则判定当前帧图像中坐标为的像素点为静止区域点，否则为运动区域点。0025如图1所示，在步骤104中，用基于局部窗口匹配的SAD方法对立体视频的左。
22、路当前帧图像和右路当前帧图像进行匹配，分别得到左路当前帧图像的初始匹配代价和右路当前帧图像的初始匹配代价。0026有关基于局部窗口匹配的SAD方法可参考文献44DANIELSCHARSTEIN,RICHARDSZELISKIATAXONOMYANDEVALUATIONOFDENSETWOFRAMESTEREOCORRESPONDENCEALGORITHMSINTERNATIONALJOURNALOFCOMPUTERVISION,PP742如图1所示，在步骤105中，用立体视频中的左路视频前一帧图像的视差值来约束左路视频当前帧图像中属于静止区域的像素点的匹配代价，用立体视频中的右路视频前一帧图像。
23、的视差值来约束右路视频当前帧图像中属于静止区域的像素点的匹配代价。其具体步骤包括1）计算更新匹配代价的权重系数中的前后帧图像视差的整体相似度系数，包括以下步骤和相邻视差值的权重递变函数A）对立体视频的当前帧的左右图像提取HARRIS特征点并进行匹配，得到当前帧图像匹配点对的视差分布；B）对立体视频的前一帧的左右图像提取HARRIS特征点并进行匹配，得到前一帧图像匹配点对的视差分布；C）对和分别进行直方图统计，然后分别归一化，得到匹配点视差的归一化直方图分布和，可通过以下公式表示其中和分别表示当前帧图像视差直方图的最小值和最大值，和分别表示前一帧图像视差直方图的最小值和最大值。0027D）计算前。
24、后帧图像视差的整体相似度系数说明书CN102026013ACN102026028A6/6页10其中为直方图维度，为预设的一常量。00282）计算更新匹配代价的权重系数中的相邻视差值的权重递变函数。计算当前帧图像中坐标为处的视差在其通过仿射变换投影到前一帧图像中坐标为处的视差的一个变化区间内的各个候选视差的权重系数。00293）更新当前帧图像静止区域像素的匹配代价。对步骤103中得到的当前帧图像静止区域像素点，根据仿射变换关系，用其在前一帧图像中的对应投影点视差来约束当前帧图像的视差，并更新步骤104中得到的初始匹配代价对于当前帧图像运动区域的像素点，则保持其匹配代价不变。00304）分别对立体。
25、视频的左路视频和右路视频实施上述步骤3），得到左路视频当前帧图像的匹配代价和右路视频当前帧图像的匹配代价。0031如图1所示，在步骤106中，对步骤104中得到立体视频的左路视频当前帧图像的匹配代价和右路视频当前帧图像的匹配代价，分别应用匹配代价最小（WTA）原则，得到左路视频当前帧图像的视差图和右路当前帧图像的视差图其中表示当前帧图像视差的变化区间，表示左路视频当前帧图像坐标为的像素的视差值，表示右路视频当前帧图像坐标为的像素的视差值。0032有关WTA原则可参考文献44DANIELSCHARSTEIN,RICHARDSZELISKIATAXONOMYANDEVALUATIONOFDENSETWOFRAMESTEREOCORRESPONDENCEALGORITHMSINTERNATIONALJOURNALOFCOMPUTERVISION,PP742说明书CN102026013ACN102026028A1/2页11图1说明书附图CN102026013ACN102026028A2/2页12图2说明书附图CN102026013A。