《低分辨率转换成高分辨率的图像处理方法及装置.pdf》由会员分享，可在线阅读，更多相关《低分辨率转换成高分辨率的图像处理方法及装置.pdf（12页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104135637A43申请公布日20141105CN104135637A21申请号201410308433322申请日20140701H04N7/01200601H04N5/26220060171申请人宁波摩米创新工场电子科技有限公司地址315100浙江省宁波市鄞州区学士路298号505、510室72发明人刘霖谭良54发明名称低分辨率转换成高分辨率的图像处理方法及装置57摘要本发明公开了一种低分辨率转换成高分辨率的图像处理方法，包括计算表示被输入图像的当前帧相对于前一帧的几何变换的转换参数；将在所述前一帧生成的高分辨率图像，变换成几何上符合所述当前帧的图像；以及使用储存的输。
2、入图像和转换参数，以所述生成的变换图像作为初始值，生成所述当前帧的高分辨率图像。本发明能够减少在高分辨率图像生成处理中的循环计算的次数；在未装配专用硬件等的情况下，能够实时地获得具有较高分辨率的动态图像。51INTCL权利要求书1页说明书6页附图4页19中华人民共和国国家知识产权局12发明专利申请权利要求书1页说明书6页附图4页10申请公布号CN104135637ACN104135637A1/1页21低分辨率转换成高分辨率的图像处理方法，包括计算表示被输入图像的当前帧相对于前一帧的几何变换的转换参数；将在所述前一帧生成的高分辨率图像，变换成几何上符合所述当前帧的图像；以及使用储存的输入图像和转。
3、换参数，以所述生成的变换图像作为初始值，生成所述当前帧的高分辨率图像，其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。2一种图像处理装置，包括转换参数计算单元，用于计算表示输入图像数据的当前帧相对于前一帧的几何变换的转换参数；初始图像生成单元，用于使用所述计算的转换参数，将在前一帧生成的高分辨率图像变换成几何上符合所述当前帧的图像；以及高分辨率图像生成单元，用于使用输入图像和所述转换参数，以在所述初始图像生成单元中生成的所述变换图像作为初始值，生成所述当前帧的高分辨率图像，其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和。
4、姿势符合当前帧中对象的位置、大小和姿势的状态。权利要求书CN104135637A1/6页3低分辨率转换成高分辨率的图像处理方法及装置技术领域0001本发明涉及图像处理方法，具体涉及到一种低分辨率转换成高分辨率的图像处理方法，此外，本发明还设计到图像处理装置。背景技术0002图像处理是用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。基本内容图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。常见的处理有图像数字。
5、化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。图像处理过程中，时常需要将低分辨率的图像处理成具有高分辨率的图像为了解决现有技术中的上述不足，本发明提出了一种新的解决方案。发明内容0003本发明的目的是提供一种低分辨率转换成高分辨率的图像处理方法和装置。0004为达上述目的，本发明所采用的技术方案是提供一种低分辨率转换成高分辨率的图像处理方法，包括计算表示被输入图像的当前帧相对于前一帧的几何变换的转换参数；将在所述前一帧生成的高分辨率图像，变换成几何上符合所述当前帧的图像；以及使用储存的输入图像和转换参数，以所述生成的变换图像作为初始值，生成所述当前帧的高分。
6、辨率图像，其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。0005一种图像处理装置，包括转换参数计算单元，用于计算表示输入图像数据的当前帧相对于前一帧的几何变换的转换参数；初始图像生成单元，用于使用所述计算的转换参数，将在前一帧生成的高分辨率图像变换成几何上符合所述当前帧的图像；以及高分辨率图像生成单元，用于使用输入图像和所述转换参数，以在所述初始图像生成单元中生成的所述变换图像作为初始值，生成所述当前帧的高分辨率图像，其中，所述几何上符合是指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。0006。
7、综上所述，本发明具有以下优点根据本发明，能够减少在高分辨率图像生成处理中的循环计算的次数；在未装配专用硬件等的情况下，能够实时地获得具有较高分辨率的动态图像。附图说明0007图1是示出根据本发明的图像处理设备的第一示例性实施例的配置的框图；说明书CN104135637A2/6页4图2是示出第一示例性实施例的图像处理设备的操作的流程图；图3是示出根据本发明的图像处理设备的第二示例性实施例的配置的框图；图4是示出根据本发明的图像处理设备的示例的配置的框图；图5是示出该示例操作的示意图。具体实施方式0008下面结合附图对本发明的具体实施方式做详细的说明。0009在图1中，根据本发明的图像处理设备的第。
8、一示例性实施例通过可在程序控制下操作的计算机100以及输入图像和转换参数储存单元110配置。在图1中，根据本发明的图像处理设备的第一示例性实施例通过可在程序控制下操作的计算机中央处理设备；处理器；数据处理设备100以及输入图像和转换参数储存单元110配置。0010计算机100包括转换参数计算单元101、初始图像生成单元102以及高分辨率图像生成单元103。计算机中央处理设备；处理器；数据处理设备100包括转换参数计算单元101、初始图像生成单元102以及高分辨率图像生成单元103。0011转换参数计算单元101计算表示当前帧相对于前一帧的几何变换的转换参数。输入图像和转换参数储存单元110储存。
9、当前帧图像和通过转换参数计算单元101计算的转换参数。初始图像生成单元102使用该转换参数，将在前一帧生成的高分辨率图像，变换成几何上符合当前帧的图像。转换参数计算单元101计算表示当前帧相对于前一帧的几何变换的转换参数。输入图像和转换参数储存单元110储存当前帧图像和通过转换参数计算单元101计算的转换参数。初始图像生成单元102使用该转换参数，将在前一帧生成的高分辨率图像，变换成几何上符合当前帧的图像。0012高分辨率图像生成单元103使用位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数，以在初始图像生成单元102中生成的被变换的图像作为初始值，通过，例如，。
10、非专利文献1中公开的方法，生成当前帧的高分辨率图像。该生成的高分辨率图像被传送到初始图像生成单元102，以用于下一帧的高分辨率图像的生成。高分辨率图像生成单元103使用位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数，以在初始图像生成单元102中生成的被变换的图像作为初始值，通过，例如，非专利文献1中公开的方法，生成当前帧的高分辨率图像。该生成的高分辨率图像被传送到初始图像生成单元102，以用于下一帧的高分辨率图像的生成。0013下面将参考图1和图2的流程图，详细描述本示例性实施例的全部操作。下面将参考图1和图2的流程图，详细描述本示例性实施例的全部操作。001。
11、4首先，当前帧图像被输入计算机100步骤A1。然后，在转换参数计算单元101中计算表示当前帧相对于前一帧的变换的转换参数步骤A2。当前帧的输入图像和由转换参数计算单元101计算的转换参数被储存在输入图像和转换参数储存单元110中。首先，当前帧图像被输入计算机100步骤A1。然后，在转换参数计算单元101中计算表示当前帧相对于前一帧的变换的转换参数步骤A2。当前帧的输入图像和由转换参数计算单元101计算的转换参数被储存在输入图像和转换参数储存单元110中。0015这里，因为输入图像和转换参数储存单元110的储存容量有限，在某一数目的帧之前的储存的输入图像及其转换参数被从该储存区删除步骤A3。这里。
12、，因为输入图像和说明书CN104135637A3/6页5转换参数储存单元110的储存容量有限，在某一数目的帧之前的储存的输入图像及其转换参数被从该储存区删除步骤A3。0016接下来，初始图像生成单元102使用转换参数计算单元101计算的当前帧的转换参数，通过变换由高分辨率图像生成单元103在前一帧生成的高分辨率图像，生成几何上符合当前帧的高分辨率图像步骤A4。这里，“几何上符合”指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。接下来，初始图像生成单元102使用转换参数计算单元101计算的当前帧的转换参数，通过变换由高分辨率图像生成单元103在前一帧生成的高。
13、分辨率图像，生成几何上符合当前帧的高分辨率图像步骤A4。这里，“几何上符合”指在该高分辨率图像中的对象的位置、大小和姿势符合当前帧中对象的位置、大小和姿势的状态。0017高分辨率图像生成单元103读入位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数步骤A5。这里，读入的帧的数目是下一个高质量图像生成处理所必需的图像的数目例如10，并且由用户预先设置。高分辨率图像生成单元103读入位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元110中的转换参数步骤A5。这里，读入的帧的数目是下一个高质量图像生成处理所必需的图像的数目例如10，并且由用户预先设置。0。
14、018然后，高分辨率图像生成单元103进行高分辨率图像生成处理，以在初始图像生成单元102中生成的图像作为初始值，使用在步骤A5读入的输入图像连续帧和转换参数，从而输出生成的图像步骤A6。最后，在步骤A6中生成的高分辨率图像被传送至初始图像生成单元102步骤A7。然后，高分辨率图像生成单元103进行高分辨率图像生成处理，以在初始图像生成单元102中生成的图像作为初始值，使用在步骤A5读入的输入图像连续帧和转换参数，从而输出生成的图像步骤A6。最后，在步骤A6中生成的高分辨率图像被传送至初始图像生成单元102步骤A7。0019根据该示例性实施例，该图像处理设备将前一帧的高分辨率图像变换成几何上符。
15、合当前帧的图像，前一帧的高分辨率图像可被认为是与需要生成的当前帧的高分辨率图像类似；并且利用被变换的图像作为在当前帧的高分辨率图像生成处理的初始值。相应地，基于接近最优解的初始值开始循环计算是可能的，因此，每一帧的循环计算的数目可以减少，即，可以加速处理。示例性实施例2根据该示例性实施例，该图像处理设备将前一帧的高分辨率图像变换成几何上符合当前帧的图像，前一帧的高分辨率图像可被认为是与需要生成的当前帧的高分辨率图像类似；并且利用被变换的图像作为在当前帧的高分辨率图像生成处理的初始值。相应地，基于接近最优解的初始值开始循环计算是可能的，因此，每一帧的循环计算的数目可以减少，即，可以加速处理。示例。
16、性实施例2下面将参考附图，描述实施本发明的另一示例性实施例。下面将参考附图，描述实施本发明的另一示例性实施例。0020参考图3，本发明的图像处理设备的第二示例性实施例包括在其中记录图像处理程序的记录介质310。记录介质310是，例如，磁盘、半导体存储器、磁带、CD压缩光盘ROM、或DVD数字多用途光盘、或可以是其它记录介质。参考图3，本发明的图像处理设备的第二示例性实施例包括在其中记录图像处理程序的记录介质310。记录介质310是，例如，磁盘、半导体存储器、磁带、CD压缩光盘ROM、或DVD数字多用途光盘、或可以是其它记录说明书CN104135637A4/6页6介质。0021将图像处理程序从记。
17、录介质310读入到图像处理单元300中。替代地，可以通过通信介质，从服务器未示出等下载并将该处理程序读入到图像处理单元300中。通过将该图像处理程序加载到图像处理单元300的主存储器中来执行，图像处理单元300的操作被控制，从而能够实施本发明的图像处理方法。将图像处理程序从记录介质310读入到图像处理单元300中。替代地，可以通过通信介质，从服务器未示出等下载并将该处理程序读入到图像处理单元300中。通过将该图像处理程序加载到图像处理单元300的主存储器中来执行，图像处理单元300的操作被控制，从而能够实施本发明的图像处理方法。0022图像处理程序是图像处理单元300执行第一示例性实施例的转换。
18、参数计算单元101、初始图像生成单元102、高分辨率图像生成单元103以及输入图像和转换参数储存单元110的功能的程序。在本示例性实施例中，包括在图像处理单元300中的存储器用作第一示例性实施例的输入图像和转换参数储存单元110。示例图像处理程序是图像处理单元300执行第一示例性实施例的转换参数计算单元101、初始图像生成单元102、高分辨率图像生成单元103以及输入图像和转换参数储存单元110的功能的程序。在本示例性实施例中，包括在图像处理单元300中的存储器用作第一示例性实施例的输入图像和转换参数储存单元110。示例接下来，将参考图4和图5描述根据本发明的图像处理系统的特定示例。该示例对应。
19、于本发明的第一示例性实施例。接下来，将参考图4和图5描述根据本发明的图像处理系统的特定示例。该示例对应于本发明的第一示例性实施例。0023如图4中所示，本示例的图像处理系统包括用于输出视频信号的回放设备404、图像处理设备400以及显示器405。视频回放设备404是诸如硬盘记录器等具有回放预先录制的视频的功能的设备，并且通过复合端子和/或切换端子，连接至图像处理设备400。等离子显示器、液晶电视接收器等的显示设备可以称为显示器105的示例。其通过D端子和/或HMDI端子连接至图像处理设备400。如图4中所示，本示例的图像处理系统包括用于输出视频信号的回放设备404、图像处理设备400以及显示器。
20、405。视频回放设备404是诸如硬盘记录器等具有回放预先录制的视频的功能的设备，并且通过复合端子和/或切换端子，连接至图像处理设备400。等离子显示器、液晶电视接收器等的显示设备可以称为显示器105的示例。其通过D端子和/或HMDI端子连接至图像处理设备400。0024图像处理设备400是可在程序控制下操作的计算机中央处理设备；处理器；数据处理设备，并且包括转换参数计算单元401、初始图像生成单元402、高分辨率图像生成单元403、以及输入图像和转换参数储存单元410。图像处理设备400是可在程序控制下操作的计算机中央处理设备；处理器；数据处理设备，并且包括转换参数计算单元401、初始图像生成。
21、单元402、高分辨率图像生成单元403、以及输入图像和转换参数储存单元410。0025转换参数计算单元401计算表示当前帧图像501相对于图5中所示的前一帧图像500的几何变换的转换参数。具体地，对于当前帧图像501上的每一个点，获得前一帧图像500中亮度分布与当前帧图像501上的点相同的位置叠合点，并且获得表示其中每个点和每个位置分别重叠的变换的转换参数。转换参数计算单元401计算表示当前帧图像501相对于图5中所示的前一帧图像500的几何变换的转换参数。具体地，对于当前帧图像501上的每一个点，获得前一帧图像500中亮度分布与当前帧图像501上的点相同的位置叠说明书CN104135637A。
22、5/6页7合点，并且获得表示其中每个点和每个位置分别重叠的变换的转换参数。0026典型地，等式5所表示的模型，由于其简明性，常被用作转换参数，其中，对象被假定为平面。这里，U1，V1，1和U2，V2，1分别是叠合点的齐次坐标；A、B、C、D、E、F、G、H是图像转换参数；T是任意常数。典型地，等式5所表示的模型，由于其简明性，常被用作转换参数，其中，对象被假定为平面。这里，U1，V1，1和U2，V2，1分别是叠合点的齐次坐标；A、B、C、D、E、F、G、H是图像转换参数；T是任意常数。0027输入图像和转换参数储存单元410储存当前帧图像501及由转换参数计算单元计算的转换参数。初始图像生成单。
23、元402，使用转换参数，将在前一帧产生的高分辨率图像变换成几何上符合当前帧的图像被变换的图像503。输入图像和转换参数储存单元410储存当前帧图像501及由转换参数计算单元计算的转换参数。初始图像生成单元402，使用转换参数，将在前一帧产生的高分辨率图像变换成几何上符合当前帧的图像被变换的图像503。0028分辨率图像生成单元403使用位于当前帧时间附近的连续帧及其储存在输入图像和转换参数储存单元410中的转换参数，以由初始图像生成单元402生成的被变换的图像作为初始值，通过，例如，非专利文献1中公开的方法，生成当前帧的高分辨率图像504。高分辨率图像生成单元403使用位于当前帧时间附近的连续。
24、帧及其储存在输入图像和转换参数储存单元410中的转换参数，以由初始图像生成单元402生成的被变换的图像作为初始值，通过，例如，非专利文献1中公开的方法，生成当前帧的高分辨率图像504。0029生成的高分辨率图像504被输出至显示器405。而且，它被传送至初始图像生成单元402，以用于下一帧的高分辨率图像生成。通过为每一帧进行前面的处理，能够输出高分辨率动态图像。生成的高分辨率图像504被输出至显示器405。而且，它被传送至初始图像生成单元402，以用于下一帧的高分辨率图像生成。通过为每一帧进行前面的处理，能够输出高分辨率动态图像。0030此外，在本示例中，尽管显示器405被作为输入由图像处理设。
25、备400输出的视频信号的设备的示例而给出，但是诸如储存视频信号的储存设备等的各种设备可以被用作输入视频信号的设备。此外，在本示例中，尽管显示器405被作为输入由图像处理设备400输出的视频信号的设备的示例而给出，但是诸如储存视频信号的储存设备等的各种设备可以被用作输入视频信号的设备。0031本申请是基于2006年3月20日提交的日本专利申请2006094536，并要求该申请的优先权，其内容通过引用而整体并入这里。工业应用性本申请是基于2006年3月20日提交的日本专利申请2006094536，并要求该申请的优先权，其内容通过引用而整体并入这里。工业应用性根据本发明，其可以被应用于这样下述应用，。
26、即当记录例如用NTSC方法的视频相机拍摄的动态图像时，该图像能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的图像而存储。而且，其可以被应用于下述应用，即当在回放设备上回放由NTSC方法记录的视频信号时，该信号能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的信号而输出至显示设备。而且，其还可以被应用于下述应用，即当在符合高清晰度标准的电视接收器上接收和显示NTSC方法的视频时，该视频能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨说明书CN104135637A6/6页8率的视频而显示。根据本发明，其可以被应用于这样下。
27、述应用，即当记录例如用NTSC方法的视频相机拍摄的动态图像时，该图像能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的图像而存储。而且，其可以被应用于下述应用，即当在回放设备上回放由NTSC方法记录的视频信号时，该信号能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的信号而输出至显示设备。而且，其还可以被应用于下述应用，即当在符合高清晰度标准的电视接收器上接收和显示NTSC方法的视频时，该视频能够被实时转换成具有与高清晰度电视的图像质量和分辨率相同的图像质量和分辨率的视频而显示。说明书CN104135637A1/4页9图1图2说明书附图CN104135637A2/4页10图3说明书附图CN104135637A103/4页11图4说明书附图CN104135637A114/4页12图5说明书附图CN104135637A12。