即时影像处理方法及其装置.pdf

《即时影像处理方法及其装置.pdf》由会员分享，可在线阅读，更多相关《即时影像处理方法及其装置.pdf（16页珍藏版）》请在专利查询网上搜索。

1、10申请公布号CN104243794A43申请公布日20141224CN104243794A21申请号201410100746X22申请日2014031810212125220130614TWH04N5/232200601H04N5/26220060171申请人晶睿通讯股份有限公司地址中国台湾新北市中和区连城路192号6楼72发明人吴仁智74专利代理机构北京律诚同业知识产权代理有限公司11006代理人梁挥祁建国54发明名称即时影像处理方法及其装置57摘要本发明提供一种即时影像处理方法及其装置。即时处理装置用以执行即时影像处理方法。即时影像处理方法包含撷取第一影像、第二影像及第三影像，再提高第一。

2、影像、第二影像及第三影像的解析度，获得第一高析影像、第二高析影像及第三高析影像，并由第一高析影像、第二高析影像及第三高析影像获得第一位移向量及第二位移向量，并依据第一位移向量、第二位移向量、第一高析影像、第二高析影像、第三高析影像获得叠置高析影像，再由第一位移向量、及第二位移向量获得补偿位移向量，最终以补偿位移向量输出超解析影像。30优先权数据51INTCL权利要求书3页说明书8页附图4页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书8页附图4页10申请公布号CN104243794ACN104243794A1/3页21一种即时影像处理方法，其特征在于，该即时影像处理方法包。

3、含撷取一第一影像、一第二影像及一第三影像；提高该第一影像、该第二影像及该第三影像的解析度以分别得到一第一高析影像、一第二高析影像及一第三高析影像；利用该第一高析影像、该第二高析影像及该第三高析影像获得一第一位移向量及一第二位移向量；依据该第一位移向量、该第二位移向量、该第一高析影像、该第二高析影像及该第三高析影像获得一叠置高析影像；依据该第一位移向量、及该第二位移向量获得一补偿位移向量；以及依据该补偿位移向量输出一超解析影像。2根据权利要求1所述的即时影像处理方法，其特征在于，该第一影像、该第二影像及该第三影像各别包含了多个原始像素点，提高该第一影像、该第二影像及该第三影像的解析度以分别得到该。

4、第一高析影像、该第二高析影像及该第三高析影像为依据一放大倍率于该第一影像、该第二影像及该第三影像的所述原始像素点间插入多个高析空白像素点。3根据权利要求1所述的即时影像处理方法，其特征在于，该各别获得该第一高析影像、该第二高析影像及该第三高析影像的该第一位移向量、及该第二位移向量包含使用区块移动估计法计算所述位移向量或是使用光流法计算所述位移向量。4根据权利要求1所述的即时影像处理方法，其特征在于，该第一影像、该第二影像及该第三影像各别包含了所述原始像素点，依据该第一位移向量、该第二位移向量、该第一高析影像、该第二高析影像及该第三高析影像获得该叠置高析影像的步骤包含依据该第一位移向量与该第二位。

5、移向量将该第一高析影像与该第二高析影像及该第三高析影像重叠，获得该叠置高析影像，该叠置高析影像包含该第一影像、该第二影像与该第三影像的所述原始像素点、以及多个剩余空白像素点；以及依据该第一影像、该第二影像与该第三影像的所述原始像素点而获得所述剩余空白像素点的值。5根据权利要求1所述的即时影像处理方法，其特征在于，获得该补偿向量的方法为以下一公式组其中I、N及K为自然数，为第N影像的补偿向量，且为第I影像相对于第I1影像的位移向量，WN1与WN为以任意数表示的权重值，在计算该第三影像及该第三影像之后权利要求书CN104243794A2/3页3续影像的补偿向量时，WN1为一常数WA，WN亦为一常数。

6、WB。6根据权利要求5所述的即时影像处理方法，其特征在于，该公式组中的K值由绝对值总合法决定，绝对值总合法公式如下，其中AX,Y代表A影像中对应坐标X,Y的像素值，BX,Y代表B影像中对应坐标X,Y的像素值，若SAD第J影像,第J1影像大于一门槛值则K为J，否则K为1，且J为自然数，该门槛值为任意数。7一种即时影像处理装置，其特征在于，包含一影像撷取单元，用以撷取一第一影像、一第二影像、及一第三影像；以及一影像处理单元，连接该影像撷取单元，执行一即时影像处理方法，用以获得一超解析影像，包含撷取该第一影像、该第二影像、及该第三影像；提高该第一影像、该第二影像、及该第三影像的解析度以分别得到一第一。

7、高析影像、一第二高析影像及一第三高析影像；利用该第一高析影像、该第二高析影像、及该第三高析影像获得一第一位移向量、一第二位移向量；依据该第一位移向量、该第二位移向量、该第一高析影像、该第二高析影像、及该第三高析影像获得一超解析影像；依据该第一位移向量、该第二位移向量获得一补偿位移向量；以及依据该补偿位移向量输出该超解析影像。8根据权利要求7所述的即时影像处理装置，其特征在于，该即时影像处理装置还含有一输出单元，连接该影像处理单元，用以输出该超解析影像。9根据权利要求7所述的即时影像处理装置，其特征在于，该影像处理单元另执行一影像压缩程序。10根据权利要求7所述的即时影像处理装置，其特征在于，该。

8、影像撷取单元是一光学变焦影像撷取单元。11根据权利要求7所述的即时影像处理装置，其特征在于，该补偿向量利用以下一公式组获得其中I、N及K为自然数，为第N影像的补偿向量，且为第I影像相对于第I1权利要求书CN104243794A3/3页4影像的位移向量，WN1与WN为以任意数表示的权重值，在计算该第三影像及该第三影像之后续影像的补偿向量时，WN1为一常数WA，WN亦为一常数WB。12根据权利要求11所述的即时影像处理方法，其特征在于，该公式组中的K值由绝对值总合法决定，绝对值总合法公式如下，其中AX,Y代表A影像中对应坐标X,Y的像素值，BX,Y代表B影像中对应坐标X,Y的像素值，若SAD第J影。

9、像,第J1影像大于一门槛值则K为J，否则K为1，且J为自然数，该门槛值为任意数。权利要求书CN104243794A1/8页5即时影像处理方法及其装置技术领域0001本发明关于一种影像处理，特别是一种即时解析度运算的影像处理方法及其装置。背景技术0002现今影像处理技术的研究与改良，大多着重于提供给使用者更好的视觉体验。而影响使用者视觉体验的主要因素之一就是影像的解析度。此外，于手持摄影装置及具光学变焦功能的监视器中，影响使用者视觉体验的因素更包括了因手持摄影装置的手震、及监视器机身移动时造成的晃动。0003倘若只要获得具高解析度并清楚的影像，于常见的数字相机及摄影机中，一般使用光学变焦及数字变。

10、焦。当使用者的要求超过了光学变焦可以支援的最大倍率时，数字变焦将会取代光学变焦。而数字变焦的变焦方式则是由内建的处理器进行模拟放大，在像素上必然有些部分是模拟产生，因此对于影像的画质有所影响。但若只是将影像放大，并没有提高影像的视觉清晰度，往往造成放大后的影像存在着模糊感。而影像放得越大，就越有这样的问题。0004再者，大多数使用者并不是专业的摄影人员，因此常常于使用数字相机或摄影机时造成手震。先前有研发物理的改良方式，以减少镜头的震动。物理的改良方式则是于镜头上设置防震元件，但这种改良方式会增加成本及机身的重量。对于目前使用者对于数字相机的轻便需求，仍存在无法克服的问题。另一方面，对于解析度。

11、的要求，这种方法亦无法处理。0005综合上述，于现有影像处理方式中，虽然都有各自解决的方式，但于获得高视觉清晰度的影像上，数字变焦仍有一定的限制。而于防止影像震动产生的模糊问题，经由加装防震元件于镜头上的方式，会让影像处理装置的整体架构变得较为复杂、增加机身重量或提高成本等问题。发明内容0006鉴于以上的问题，本发明提出一种即时影像处理装置及其方法，用以帮助使用者于使用影像处理装置时，可提高连续影像的解析度并同时减少震动。0007本发明提供一即时影像处理方法，其包含撷取一第一影像、一第二影像及一第三影像。再提高第一影像、第二影像及第三影像的解析度，用以分别得到一第一高析影像、一第二高析影像及一。

12、第三高析影像。并藉由第一高析影像及第二高析影像获得第一位移向量，再由第二高析影像及第三高析影像获得第二位移向量。并由第一位移向量、第二位移向量、第一高析影像、第二高析影像及第三高析影像取得一叠置高析影像。再由第一位移向量及第二位移向量获得一补偿位移向量，并根据补偿位移向量产生超解析影像。0008本发明再提供一种即时影像处理装置，其包含一影像撷取单元及一影像处理单元。影像撷取单元用以撷取第一影像、第二影像及第三影像。影像处理单元连接影像撷取说明书CN104243794A2/8页6单元，执行一即时影像处理方法，以获得超解析影像，其包含以下步骤。先撷取第一影像、第二影像及第三影像，再提高第一影像、第。

13、二影像及第三影像的解析度，分别得到第一高析影像、第二高析影像及第三高析影像。并利用第一影像、第二影像及第三影像获得第一位移向量及第二位移向量。并由第一位移向量、第二位移向量、第一高析影像、第二高析影像及第三高析影像取得一叠置高析影像。再依据第一位移向量、第二位移向量获得一补偿位移向量，并依据补偿位移向量输出超解析影像。0009以上的关于本发明内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的专利申请范围更进一步的解释。附图说明0010图1，为本发明一实施例的即时影像处理方法的流程图；0011图2，为本发明一实施例的即时影像处理装置的架构图；0012图3，为本发明。

14、一实施例的即时影像处理方法中影像内容进行位移的示意图；0013图4，为本发明一实施例的即时影像处理方法中影像内容位移比对的示意图；0014图5，为本发明一实施例的即时影像处理方法中叠置高析影像其像素重叠的示意图；0015图6，为本发明一实施例的即时影像处理装置的使用示意图；0016图7，为本发明一实施例的即时影像处理方法中获得高析影像的示意图；0017图8，为本发明一实施例的即时影像处理方法中移动向量计算的示意图。0018其中，附图标记001930即时影像处理装置0020302影像撷取单元0021304影像处理单元0022306影像输出单元002342第一影像002444第二影像002546第。

15、三影像002652第一高析影像0027522影像内容002854第二高析影像0029542第一目前影像内容0030544第一先前影像位置003156第三高析影像0032562第二目前影像内容0033564第二先前影像位置0034602像素位置0035604像素位置0036606像素位置0037608像素位置说明书CN104243794A3/8页7003862覆盖像素003970即时影像处理装置0040702影像撷取单元0041704影像处理单元0042706影像输出单元004372影像标的物004480原始影像004582高析影像0046822空白像素004790第一高析影像0048902第一。

16、区块004992第二高析影像0050922第二区块0051924第一目前影像内容0052926第一先前影像位置005394第三高析影像0054942第三区块0055944第二目前影像内容0056946第二先前影像位置具体实施方式0057以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何熟习相关技艺者了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容、申请专利范围及图式，任何熟习相关技艺者可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。0058鉴于现有技术已存在的问题，本发明提出一种即时影像处理方法及其装置。其中。

17、即时影像处理装置可为一数字相机、一摄影机或一监视器等，或是任何具有如前述可以执行本发明所提出的即时影像处理方法和即时影像处理方法的装置。且影像处理装置也可以应用于手持设备拍摄、自动移动设备拍摄或是各种进行移动的装置进行监视或是观察用途。0059请参考图1，其为本发明一实施例的即时影像处理方法的流程图。其中即时影像处理方法可包含下列步骤撷取一第一影像、一第二影像及一第三影像（步骤S100）；提高第一影像、第二影像及第三影像的解析度，得到一第一高析影像、一第二高析影像及一第三高析影像（步骤S110）；利用第一高析影像、第二高析影像及第三高析影像，得到一第一位移向量及一第二位移向量（步骤S120）；。

18、利用第一位移向量及第二位移向量，结合第一高析影像、第二高析影像及第三高析影像，获得一叠置高析影像（步骤S130）；在经由计算第一位移向量及第二位移向量后，获得一补偿位移向量（步骤S140）；再利用补偿位移向量，结合叠置高析影像，获得一超解析影像（步骤S150）。0060在步骤S100中，请一并参照图2及图3，其中第一影像42、第二影像44及第三影说明书CN104243794A4/8页8像46，经由即时影像处理装置30中的影像撷取单元302进行撷取。影像撷取单元302可为数字相机的感光元件，但并不以此为限。而第一影像42、第二影像44及第三影像46具有同一摄影范围及时间上的先后相依性，于本实施例。

19、中，第一影像42、第二影像44及第三影像46，其为在时间轴上依序撷取的影像，但并不以此为限。撷取影像时，并不以三张为限。但至少需撷取两张影像以上，撷取越多影像加入即时影像处理方法可让最后产生的超解析影像更为精细。0061而在步骤S110中，第一影像42、第二影像44和第三影像46分别拥有多个原始像素点，而提高解析度的做法可以为但不限于在原始像素点之间将多个空白像素点插入。请参阅图4，其中第一高析影像52、第二高析影像54和第三高析影像56，为第一影像42、第二影像44和第三影像46插入空白像素后产生的高析影像。值得注意的是，放大倍率不一定为长与宽的比值采一比一的正方形式的提高解析度，也可以为长。

20、方形式的提高解析度，也就是说，可以将所撷取到的正方形影像，在一轴向如水平轴放大三倍形成长轴，而另一轴如垂直轴放大二倍形成宽轴，提高解析度后的影像即成为长方形，除此之外，提高解析度后的长宽比例可以是但不限于十六比九或十六比十的影像。0062接着于步骤S120中，请同时参阅图4，于第一高析影像52中，锁定一影像内容522，对影像内容522于第二高析影像54及第三高析影像56中进行持续追踪。于第二高析影像54中，影像内容522的位置已经移动至第一目前影像内容544的位置，先前于第一高析影像52中的位置以第一先前影像位置542用虚线进行标示，进行坐标比对计算后得出第一位移向量。于第三高析影像56中，影。

21、像内容522的位置已经移动至第二目前影像内容564的位置，先前于第二高析影像54中的位置以第二先前影像位置562用虚线进行标示，进行坐标比对计算后得出第二位移向量。于影像比对时，取得位移向量的方式可以是但不限于光流法OPTICALFLOW或区块移动估计法BLOCKMOTIONESTIMATION，BME，其详细说明将以后续图示及叙述说明。0063再者，于步骤S130中，请继续参阅图4，依据第一位移向量将第二高析影像54中第一目前影像内容544，进行反向调整以对应第一高析影像52的内容，即将第一目前影像内容544调整回第一先前影像位置542，以对应第一高析影像52。同样地，依据第一位移向量及第二。

22、位移向量将第三高析影像56中第二目前影像内容564，进行两次反向调整以对应第一高析影像52的内容，即将第二目前影像内容564调整回第一先前影像位置542，以对应第一高析影像52。重叠经过调整的第二高析影像54和第三高析影像56于第一高析影像52上，而获得叠置高析影像。由于叠置高析影像包含了第一高析影像52、第二高析影像54和第三高析影像56，因此一并包含了来自第一影像42、第二影像44和第三影像46的多个原始像素点和因为重叠所产生的多个剩余空白像素点。请参阅图5，经过重叠后，有部分像素会跨越于像素与像素之间，如覆盖像素62，跨越了像素位置602、像素位置604、像素位置606及像素位置608。。

23、因此需依据覆盖像素62的亮度彩色画面另包括彩度，计算邻近剩余空白像素点的亮度彩色画面另包括彩度。而计算剩余空白像素点的值的方法为，依据要计算的剩余空白像素点周围的多个原始像素点，使用内插法计算。0064而在步骤S140中，利用第一位移向量及第二位移向量，获得补偿位移向量。本发明一实施例的即时影像处理方法中补偿向量计算的流程可整理为以下公式组。说明书CN104243794A5/8页90065006600670068其中I、N及K为自然数，且为第I影像相对于第I1影像的位移向量，为第I影像的补偿向量，WN1与WN为以任意数表示的权重值，并采用绝对值总合法SUMOFABSOLUTEDIFFERENC。

24、ES,SAD决定K值，绝对值总合法公式如下00690070于绝对值总合法公式中，AX,Y代表A影像中对应坐标X,Y的像素值，BX,Y代表B影像中对应坐标X,Y的像素值，若SAD第J影像,第J1影像大于一门槛值则K为J，J为自然数，否则K为1，该门槛值为任意数。在计算第三影像及后续影像的补偿向量时，WN1为一常数WA，WN亦为一常数WB。0071在影像处理装置初始撷取影像时，由于第一影像之前并没有任何影像，故没有相对于前一张影像位移向量，其补偿向量。由于为零，令其不占权重，即W10。在上述实施例中，令第一位移向量为V2,第二位移向量为V3。关于第二张影像的补偿向量，由与W1与上式可得出，无论W2。

25、值为何。步骤S140是要计算出第三影像的补偿向量。0072权重值W，在计算第三影像及后续影像的补偿向量时，WN1为一常数WA，WN亦为一常数WB，且WA与WB可以相同也可以不同。若要让经向量补偿后的结果更接近现况，可另WB大于WA，例如WB07，WA03。若要让经向量补偿后的结果更稳定，则可另WB小于WA，例如WB03，WA07。上述权重值可由使用者决定。0073经过上述绝对值总合法公式运算后，若结果大于一门槛值，则影像序列重置，下一张影像起重新成为第一影像、第二影像，再如上述计算补偿向量。0074最后，在步骤S150中，利用S140得到的补偿向量将S130产生的叠置高析影像进行位移后，即获得。

26、超解析影像。获得超解析影像后，可将其输出。0075在本实施例中，由于第一影像前没有影像可供叠置处理，故不输出。由于第二影像前只有第一影像可供叠置处理，故亦不输出。0076在本发明另一实施例中，第一影像可用传统的数字放大如内插法后输出，第二影像可采只与第一影像作上述叠置等处理后输出。如此虽前两张输出影像品质较差，但能让使用者感觉输出的影像较顺畅。0077复请参阅图2，其为根据本发明一实施例的即时影像处理装置。其中即时影像处理说明书CN104243794A6/8页10装置30包含有一影像撷取单元302、一影像处理单元304及一影像输出单元306。其中根据本发明一实施例中，影像撷取单元302传送影像。

27、数据至影像处理单元304，影像处理单元304输出影像数据至影像输出单元306。0078影像撷取单元302可为数字相机、数字摄影装置或监视器系统的感光元件。举例来说可以是电荷耦合元件（CHARGECOUPLEDDEVICE，CCD），或是互补金属氧化物半导体（COMPLEMENTARYMETALOXIDESEMICONDUCTOR，CMOS）感光元件，用以撷取影像并将其转换成为数字数据。0079影像处理单元304则用于执行即时影像处理方法，而即时影像处理方法结合了获得超解析影像和稳定高解析影像的程序。影像处理单元304可以是具有影像处理功能的处理器，举例来说可以是中央处理器（CENTRALPRO。

28、CESSINGUNIT,CPU）或是数字相机或是数字摄影机的影像处理器等，而在执行完即时影像处理方法后，影像处理单元304会依据使用者的意愿进行一个将影压缩的影像压缩程序，如产生JPEG或GIF等影像档案。0080影像输出单元306则是将影像处理单元304获得的超解析影像传送至目标装置上，目标装置可为连接于影像输出单元306的储存设备，如记忆卡或硬盘等，更可为经由网络连线的远端储存设备。其中传送的方式可以是无线或是有线，有线的传送方式可以为实体的网络线或是通用串列总线（UNIVERSALSERIALBUS,USB）的连结来传送超解析影像给目标装置；无线的传送方式可以为无线保真（WIRELESS。

29、FIDELITY,WIFI）或是蓝牙（BLUETOOTH）等都可以将超解析影像传送给目标装置。0081请参考图6，其为本发明一实施例的即时影像处理装置的范例图。其包括即时影像处理装置70及一影像标的物72。即时影像处理装置70的相关数据已于图2中进行叙述，故不再赘述。而影像标的物72为使用者欲拍摄的标的。0082举例来说，即时影像处理装置70为机场的监视器。由于机场需要高度保安，其监视器需具备高倍率光学放大功能，于高倍率光学放大时因自然环境因素产生的机体震动都将被放大至影像上，因此可利用影像晃动的现象实施本发明产出高解析影像。影像标的物72为机场的内部空间，影像撷取单元702包含具有光学变焦的。

30、镜头。影像撷取单元702对影像标的物72进行了影像撷取，取得了第一影像、第二影像及第三影像并传送至影像处理单元704。影像处理单元704依据一预设或动态改变的倍率，将空白像素插入原始像素点中进行了倍率放大后，各别获得了第一高析影像、第二高析影像及第三高析影像。0083而将第一高析影像与第二高析影像经由光流法进行比较后，得到第一位移向量V2。同样对于第二高析影像与第三高析影像进行比较，得到第二位移向量V3。再利用第一位移向量及第二位移向量为参考基准，利用影像中的相同标的将第一高析影像与第二高析影像与第三高析影像至少部分区域进行重叠，相同标的为影像中重复出现的物件等，得到叠置高析影像。再如前述使用。

31、内插法计算剩余的空白像素点。并利用第一位移向量及第二位移向量代入前述公式，取得第三高析影像的补偿位移向量。最后将整张叠置高析影像参考补偿位移向量进行位移后，获得超解析影像。更详细的演算步骤，将于下方以图示说明。并输出至影像输出单元706，其可为保全室里的闭路电视。0084前述得到位移向量的演算法不限定为光流法，也可以是现有此技艺者所熟5知的其他方法。说明书CN104243794A107/8页110085再以另一例说明，即时影像处理装置70为手持式的数字相机。由于移动时进行摄影往往会产生手震，因此可利用手震造成影像晃动的现象实施本发明产出高解析影像。影像标的物72为动物、人物或静态物件，影像撷取。

32、单元702包含具有光学变焦的镜头。影像撷取单元702对影像标的物72进行了影像撷0取，取得了第一影像、第二影像及第三影像并传送至影像处理单元704。影像处理单元704依据一预设或动态改变的倍率，将空白像素插入原始像素点中进行了倍率放大后，各别获得了第一高析影像、第二高析影像及第三高析影像。0086而将第一高析影像与第二高析影像经由像素差值演算法进行比较后，得到第一位移向量。同样对于第二高析影像与第三高析影像进行比较，得到第二位5移向量。再利用第一位移向量及第二位移向量为参考基准，利用影像中的相同标的将第一高析影像与第二高析影像与第三高析影像至少部分区域进行重叠，相同标的为影像中重复出现的物件等。

33、，得到叠置高析影像。再如前述使用内插法计算剩余的空白像素点。并利用第一位移向量及第二位移向量代入前述公式，取得第三高析影像的补偿位移向量。最后将整张叠置高析影像参考补0偿位移向量进行位移后，获得超解析影像。更详细的演算步骤，将于下方以图示说明。并输出至影像输出单元706，其可为数字相机的观景液晶屏幕。0087前述得到位移向量的演算法不限定为像素差值演算法，也可以是现有此技艺者所熟知的其他方法。0088请参考图7，其为本发明一实施例的即时影像处理方法中获得高析影像的5示意图。其中包括原始影像80及高析影像的局部82。原始影像80的部分像素如图上所示，为一色块，而将原始影像80进行四倍放大后得到高。

34、析影像。于高析影像的局部82中，可发现于色块经过影像放大演算法SCALINGALGORITHM的计算后，填入数个空白像素822进行填补。0089请参考图8，其为本发明一实施例的即时影像处理方法中移动向量计算的0示意图。图为监视器的画面，其画面已经经过四倍倍率放大为高析影像，其放大的过程已于先前叙述，故不再赘述。其包括第一高析影像90、第二高析影像92及第三高析影像94，第一高析影像90、第二高析影像92及第三高析影像94，其为在时间轴上依序撷取的影像，第一高析影像90的时间早于第二高析影像92，而第二高析影像92的时间早于第三高析影像94。本例中以区块移动估计BLOCKMOTIONESTIMA。

35、TION，BME进行移动向量计算，区块移动估计BLOCKMOTIONESTIMATION，BME的原则为针对录影画面中固定区域的像素进行侦测，即锁定第一区块902、第二区块922及第三区块942。0090于第一高析影像90中，锁定第一区块902，对第一区块902中的影像内容904于第二高析影像92及第三高析影像94中进行持续追踪。于第二高析影像92中，第二区块922中的影像内容904的位置，已经移动至第一目前影像内容926的位置，先前于第一高析影像90中的位置以第一先前影像位置924用虚线进行标示，进行坐标比对计算后得出第一位移向量V2为3,3。于第三高析影像94中，第三区块942中的影像内容。

36、926的位置已经移动至第二目前影像内容946的位置，先前于第二高析影像92中的位置以第二先前影像位置944用虚线进行标示，进行坐标比对计算后得出第二位移向量V3为5,5。要特别说明的是，计算出的位移向量不限定只能包含整数，亦可包含小数。说明书CN104243794A118/8页120091请继续参阅图8，依据第一位移向量3,3将第二高析影像92中第一目前影像内容926，进行反向调整以对应第一高析影像90的内容，即将第一目前影像内容926调整回第一先前影像位置924，以对应第一高析影像90。同样地，依据第一位移向量V2及第二位移向量V3将第三高析影像94中第二目前影像内容946，进行两次反向调整。

37、以对应第一高析影像90的内容，即将第二目前影像内容946调整回第一先前影像位置924，以对应第一高析影像90。重叠经过调整的第二高析影像92和第三高析影像94于第一高析影像90上，而获得叠置高析影像。由于叠置高析影像包含了第一高析影像90、第二高析影像92和第三高析影像94，因此一并包含了来自第一影像42、第二影像44和第三影像46的多个原始像素点和因为重叠所产生的多个剩余空白像素点。并依据多个原始像素点计算剩余空白像素点，其计算方式已于先前叙述，故不再赘述。0092接着依据先前于步骤S140中叙述的公式，计算补偿向量。本例中第一位00930094为55,55即为第三高析影像的补偿位移向量。即。

38、最后将整张叠置高析影像进行5,5,5,5的位移后，获得超解析影像。需注意的是，由于补偿位移向量包含小数，故第三高析影像依此补偿位移向量进行位移运算时必须配合内插法进行运算。0095将叠置高析影像以上列函式得出的补偿向量进行位移后，即得到所需的高解析影像。其中前述的第一位移向量及第二位移向量的计算方式，并不以区块移动估计BLOCKMOTIONESTIMATION，BME法为限，亦可利用光流法。而区块移动估计BLOCKMOTIONESTIMATION，BME法可利用像素差值演算法进行计算，但亦并不以此为限。0096综上所述，本发明提供的即时影像处理方法及其装置可以将提高影像解析度并输出超解析影像的。

39、程序和稳定超解析影像的程序进行融合。可以同时输出和稳定超解析影像，而不会让使用者有延迟的感觉。本发明在一个影像处理器中可以同时做到输出和稳定超解析影像的功效，却不必增加数字相机、数字摄影装置或是监视器系统的硬体成本。也无须因为将两个程序分开执行而花费较久的时间，所以同时也达到了降低处理影像的时间成本。0097当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。说明书CN104243794A121/4页13图1说明书附图CN104243794A132/4页14图2图3图4说明书附图CN104243794A143/4页15图5图6说明书附图CN104243794A154/4页16图7图8说明书附图CN104243794A16。