用于图像处理的方法和系统.pdf

从装配有诸如鱼眼镜头的超广角镜头的照相机获取XHD视频。图像的有效图片部分被分割成图案，每个图案具有多个像素。图案被分配以坐标值，且然后使用重新安排图案顺序的加密密钥重新格式化为HD格式。图像以HD格式处理且然后在加密密钥的控制下通过应用相反的重新排序处理返回XHD格式。

1.  一种用于处理以第一格式获取的图像以用于根据第二格式的后续处理的方法，该方法包含：
将第一格式的图像的至少一部分分割成多个图案，每个图案包含多个图像像素；
重新组织该多个图案以符合第二图像格式，该重新组织步骤包含根据一种控制方式将每个图案从第一图像格式中的其位置映射到第二图像格式中的位置；
以第二格式处理图像；以及
通过根据所述控制方式反转在重新组织步骤中应用的图案的映射，将图像转换回第一格式。

2.  根据权利要求1所述的方法，其中所述控制方式是加密密钥。

3.  根据权利要求1所述的方法，其中所述控制方式是查找表。

4.  根据权利要求1、2或3所述的方法，其中所述第一格式和第二格式的图案具有相同数目的像素。

5.  根据权利要求1至4其中任一项所述的方法，其中所述第一格式图像的所有图案具有相同数目的像素。

6.  根据任一前述权利要求所述的方法，其中将图像分割成多个图案的步骤包含选择要被分割为图案的部分图像区域。

7.  根据权利要求6所述的方法，其中所述图像源是超广角镜头且其中所选的部分图像对应于有效图片区域。

8.  根据任一前述权利要求所述的方法，其中分割图像的步骤包含为每个图案分配位置参照。

9.  根据权利要求8所述的方法，其中所述图案的重新组织包含映射图案的位置参照到第二格式图像中的新位置。

10.  根据任一前述权利要求所述的方法，其中所述第一格式具有比高清晰度(HD)高的分辨率。

11.  根据任一前述权利要求所述的方法，其中所述第二格式是高清晰度(HD)。

12.  根据任一前述权利要求所述的方法，其中所述第一格式具有比所述第二格式高的分辨率。

13.  根据任一前述权利要求所述的方法，其中所述图案被重新组织为第二格式的多于一个的图像。

14.  根据权利要求2所述的方法，其中所述第二格式的图案被处理为包括所述加密密钥的数据文件，由此所述图像能够被转换回第一格式。

15.  根据任一前述权利要求所述的方法，其中所述图像是视频图像。

16.  一种用于处理以第一格式获取的图像以用于根据第二格式的后续处理的系统，该系统包含：
用于将第一格式的图像的至少一部分分割成多个图案的装置，每个图案包含多个像素；
用于重新组织该多个图案以符合第二图像格式的装置，该重新组织包含根据一种控制方式将每个图案从第一图像格式中的其位置映射到第二图像格式中的位置；
用于以第二格式处理图像的处理器；以及
用于通过根据所述控制方式反转在重新组织步骤中应用的图案的映射，将图像转换回第一格式的装置。

17.  根据权利要求16所述的系统，其中所述控制是加密密钥。

18.  根据权利要求16所述的系统，其中所述控制是查找表。

19.  根据权利要求16、17或18所述的系统，其中所述第一格式和第二格式的图案具有相同数目的像素。

20.  根据权利要求16至19其中任一项所述的系统，其中所述第一格式图像的所有图案具有相同数目的像素。

21.  根据权利要求16至20其中任一项所述的系统，其中将图像分割成多个图案的步骤包含选择要被分割为图案的部分图像区域。

22.  根据权利要求21所述的系统，其中所述图像源是超广角镜头且其中所选的部分图像对应于有效图片区域。

23.  根据权利要求16至22其中任一项所述的系统，其中分割图像的步骤包含为每个图案分配位置参照。

24.  根据权利要求23所述的系统，其中所述图案的重新组织包含用于映射图案的位置参照到第二格式图像中的新位置的装置。

25.  根据权利要求16至24其中任一项所述的系统，其中所述第一格式具有比高清晰度(HD)高的分辨率。

26.  根据权利要求16至25其中任一项所述的系统，其中所述第二格式是高清晰度(HD)。

27.  根据权利要求16至26其中任一项所述的系统，其中所述第一格式具有比所述第二格式高的分辨率。

28.  根据权利要求16至27其中任一项所述的系统，其中所述图案被重新组织为第二格式的多于一个的图像。

29.  根据权利要求17所述的系统，其中所述处理器处理第二格式的图案为包括所述加密密钥的数据文件，由此所述图像能够被转换回第一格式。

30.  根据权利要求16至29其中任一项所述的系统，其中所述图像是视频图像。

31.  一种用于将第一图像格式的图像编码为第二格式的编码器，该编码器包含：
用于将第一格式的图像的至少一部分分割成多个图案的装置，每个图案包含多个图像像素；以及
用于重新组织该多个图案以符合第二格式的图像格式的装置，该重新组织包含根据一种控制方式将每个图案从第一格式中的其位置映射到第二格式中的位置。

32.  与根据权利要求16至30其中任一项所述的系统一起使用的解码器，包含：
用于通过根据所述控制方式反转在重新组织步骤中应用的图案的映射将以第二格式编码的图像转换回第一格式的装置。

用于图像处理的方法和系统
技术领域
本发明涉及图像处理，且更具体而言涉及使用不同图像格式处理图像。
背景技术
近年来在传媒业中存在很多具有潜在应用的技术进步。例如，数字图像捕获技术已经得到发展且正在继续改善。传媒业希望提供这种促进很多新的或改善的应用的新且进步的技术。
一个这种发展领域是交互式视频。交互式视频一般允许用户控制视频的显示区域；例如，用户能够缩放图像。交互式视频的一个示例是沉浸式视频，其将交互式全景摄影与数字视频相组合。
交互式全景摄影将拍摄硬件与特定计算机软件相组合以允许虚拟显示先前作为照片而捕获的真实环境。
沉浸式视频开始解决与从静态(360°)全景图像到全景视频的切换相关联的技术问题。
当前技术使得可以使用计算机观看沉浸式3D模式的视频序列，用户经由诸如鼠标、虚拟耳机、操纵杆或沉浸式全景屏幕或其他输入装置的外围设备与该计算机交互。
所使用的技术还使得可以使用单个沉浸式照相机代替若干标准照相机。这可以通过捕获超宽视野图像完成。这是系统用户所希望的，这样系统用户因此可以虚拟地使用平移、倾斜和缩放功能，且可以参数化若干虚拟照相机。这给用户带来更实际的体验，用户变得更加专注于虚拟环境，且产生各种应用。
例如可以使用鱼眼镜头捕获超宽视野图像。鱼眼镜头具有超宽视野。存在很多变型。典型的鱼眼镜头可以从180度半球绕圈地形成图像。图像典型地以高清(HD)分辨率捕获、传输和观看。
HD分辨率视频的特征在于其宽格式(一般为16∶9的纵横比)和其高清晰度(1920×1080像素是常规帧尺寸，与之对照，对于标准视频清晰度(SD)格式，720×576的像素尺寸是常规帧尺寸)。
希望以极高清(XHD)格式捕获超宽视野图像。如果镜头(例如鱼眼镜头)安装在合适的照相机上，这可以实现。极高清(XHD)格式实现比高清格式视频更大尺寸的图像。此处，应当注意，为避免混淆，极高清包含高于HD的任意清晰度。在允许用户适当缩放的很多视频应用中，XHD格式是希望的，且有时是必须的。例如，新型照相机(使用鱼眼镜头拍摄图片)开始工作于超过1兆像素且直到高达8兆像素及以上的像素。与HD视频相比，使用XHD视频极大地增加了缩放能力，允许用户即使在高倍缩放下也能看到能很好分辨的图像，由此极大地增加了新型照相机的缩放范围，且因此在很多应用中增加了它们的效用。
当前，例如，通过使用MPEG压缩执行从具有鱼眼镜头的照相机获得的XHD分辨率视频的压缩、传输和存储，这创建巨大文件尺寸和带宽，导致传输和存储问题。因此，需要强大的专用处理器和极高速网络来使得数据被压缩、传输和足够快地存储以针对应用实时可用。当前，这些处理器和网络并不广泛可得或者商业可行。因而，除非这些处理器和网络得到改善，变得广泛可得和商业可行，否则鱼眼XHD视频并不能获得广泛的市场。直到那时，才能实现很多应用。本发明目的在于一般性地解决该问题。
发明内容
根据本发明，提供一种用于处理以第一格式获取的图像以用于根据第二格式后续处理的方法，该方法包含：将第一格式的图像的至少一部分分割成多个图案，每个图案包含多个图像像素；重新组织该多个图案以符合第二图像格式，该重新组织包含根据一种控制方式将每个图案从第一图像格式中的其位置映射到第二图像格式中的位置；以第二格式处理图像；以及根据该控制方式通过反转重新组织步骤中应用的图案的映射，将图像转换回第一格式。
本发明还提供用于处理以第一格式获取的图像以用于根据第二格式后续处理的系统，该系统包含：用于将第一格式的图像的至少一部分分割成多个图案的装置，每个图案包含多个像素；用于重新组织多个图案以符合第二图像格式的装置，该重新组织包含根据一种控制方式将每个图案从第一图像格式中的其位置映射到第二图像格式中的位置；用于以第二格式处理图像的处理器；以及用于根据所述控制方式通过反转重新组织步骤中应用的图案的映射将图像转换回第一格式的装置。
本发明还提供用于将第一图像格式的图像编码为第二图像格式的编码器，该编码器包含：用于将第一格式的图像的至少一部分分割成多个图案的装置，每个图案包含多个图像像素；用于重新组织该多个图案以符合第二图像格式的装置，该重新组织包含根据控制将每个图案从第一图像格式中的其位置映射到第二图像格式中的位置。
与上述系统一起使用的解码器包含：用于根据所述控制方式通过反转重新组织步骤中应用的图案的映射将第二格式编码的图像转换回第一格式的装置。
发明人意识到，通过将极高清(XHD)视频转换成常用格式可以避免上述问题。HD格式是在广播视频部分(电视、DVD等)中出现的常用格式，且开始在大多数使用视频的企业实体内变得更加流行。优选实施例使用HD作为常用格式。具有较大量数据的图像可以重新排列为HD格式，且可以被传输和处理而无需开发另一种编解码器。而且，数据可以使用例如H264或DIVX的现有编解码器存储。在一优选实施例中，从鱼眼透镜获取的XHD分辨率视频数据可以被编码为HD格式，允许广泛的用户访问鱼眼XHD视频，而无需开发专门技术。
尽管本发明的实施例在处理XHD超广角图像中是有利的，但本发明的实施例还可用在希望根据不同于获取图像的格式的一种格式处理图像的各种其他应用中。
图案的使用使得图像被重新格式化而没有分辨率的损失。通过使用加密密钥来控制图案重新组织为第二格式，视频数据可以更加安全。备选地，查找表可用于控制重新组织。
优选地，第一和第二格式的图案具有相同数目的像素。这具有这样的优点：在格式之间的转换处理中分辨率不损失。优选地，图像内的所有图案都具有相同数目的像素。
优选地，图像的一部分被选择用于分割成图案。这在图像是诸如从鱼眼镜头获得的圆形图像时是有利的。只有包括有效像素数据的图像部分需要被分割成图案。
优选地，当分割图像为图案时，每个图案被分配一个位置参照，由此有利于第一和第二格式之间的图案的重新组织。
在一个实施例中，图案被重新组织为第二格式的多于一个的图像。这使得即使在第一格式比第二格式的分辨率高很多时分辨率也能得以维持。
优选地，第二格式的图像被形成为包括加密密钥的数据文件，使得第一格式的图像能够被重新组装。
附图说明
现在将通过举例的方式且参考附图描述本发明的实施例，附图中：
图1表示来自360×180视角照相机的原始数字鱼眼图像；
图2是本发明的实施例的示意图；以及
图3a-3f更详细地说明图2中示出的步骤。
具体实施方式
本发明允许以第一格式捕获的图像被重新格式化且以第二格式处理且然后转换回第一格式。在下面的示例中，第一格式比第二格式清晰度高，但这不是必须的。优选地，第二格式是标准格式，例如高清晰度或标准清晰度。第一格式可以是标准或非标准格式。
要描述的实施例使用极高清(XHD)视频源，该视频源可以使用诸如鱼眼镜头之类的广角镜头拍摄。应当意识到，实施例不限于XHD图像且要描述的技术可应用在图像源比处理它的信道更清晰的任何环境中。另外，尽管实施例尤其用于从鱼眼或从其他超宽视野镜头获取的图像，本发明不限于这些图像。
视频可以是实时的或是文件序列。在该示例中，使用产生1600×1600像素图像的照相机成像仪拍摄视频。该照相机成像仪可以是捕获180°半球视角的圆形图像的360×180的照相机。产生XHD视频的照相机可以具有很多应用。广角XHD图像是尤其希望的，因为捕获的高分辨率图像允许用户即使在高倍缩放时仍能观看能很好分辨的图像。因而改善了可被观看的环境的细节且极大地增强了缩放能力，且因此，在很多应用中增加了照相机的效用。
图1示出了使用XHD数码相机和鱼眼镜头获取的XHD图像。图像是1600×1600像素的。在该图像中，接近中央的部分被选择用于用户缩放。在数字缩放过程中维持图像质量是至关重要的。
图2示出了采用本发明的图像获取和处理中涉及的步骤的概览。现在还参考图3a和3f来描述该图，图3a和3f更详细地说明了一些步骤。
图2示出了获取和编码XHD鱼眼视频源为常用分辨率格式中涉及的步骤。在该实施例中，常用格式是HD分辨率。组成要被编码的图像的像素被分割为区块或图案。图案然后如下所述被重新组织为HD分辨率格式。在本实施例中，HD格式大小为1920×1080像素。XHD鱼眼视频数据然后可以以HD格式压缩，例如以用于传输和/或存储。
图案优选地由预定数目的像素组成。优选地，所有图案由相同数目的像素组成。定义图案具有这样的优点：图案格式可以遵照现有常用编码标准。因而，编码处理可以简化且更商业可行。当前优选地，如图3所示，每个图案是大小为16像素×16像素的方形。
优选地，仅要被编码的所需图像被定义为图案。在本示例中，鱼眼图像是圆形图像，在形成正方形图像时外部是黑色的。我们定义：针对本实施例，该正方形的尺寸是1600×1600像素，由圆形接触正方形每个边一次所限定。该圆形外部的黑色区域没有图像数据且因此不定义为图案。这节省了存储空间且在希望传输或存储编码的视频数据时增加了总传输时间。在图像区域的边缘将包括一些图案，这些图案其中部分是图像像素且部分不是图像像素。
除了被编码的有效图像的边缘处的图案上的那些边，给定图案的所有边都毗邻另一图案的边。对于1600×1600像素的原始正方形图像尺寸，图像将由100×100个图案定义，每个图案16×16个像素。如示例所示，当通过圆形镜头获取了图像时，图像由较少图案定义，仅图像的有效区域被定义为图案。如在本实施例中，如果图像是圆形的，其边接触定义的正方形图像尺寸的边缘，则定义的图案的区域计算为7854个图案。这在图3c和3d中示出。
每个图案被分配以图案号和图案矩阵中的x、y坐标位置。该坐标信息被存储且在图3d中示出。诸如MPEG1、MPEG2和MPEG4标准中的编码标准中的编码标准(帧P)的常用编码标准用于将像素定义为图案。P帧是参考过去帧编码的帧。编码器在逐区块的基础上搜索给定图像和原先图像之间的差异。这些区块被称为宏区块，它们交叠在原先的图像上。本发明将图案映射到宏区块结构上。
在MPEG标准中，算法逐区块地比较两个图像，且当超出某一差异阈值时，它认为原先图像的区块不同于当前图像的区块且向当前图像的区块应用JPEG压缩。
如下面所解释，实施例将图3c的图像的图案映射到MPEG高清图像的宏区块上且产生密钥，该密钥定义每个图案被映射的位置且该位置可用于在进一步处理之后重新组装图像。重新参考图2，在100，通过照相机获取图像，且在102，图像被剪裁以去除圆形图像外的黑色部分。在104，图像被转换成如图3b所示的一组图案，且在106，每个图案的相对位置被记录。加密算法108用于产生加密密钥。
在图2中，如图所示，在112，加密密钥用于重新组织图案以符合常用分辨率格式。在本实施例中，HD分辨率格式是1920×1080像素。该格式可以符合从1600×1600的像素图像定义的16个像素图案的120个图案×67个图案。因此，原始鱼眼XHD图像的所有定义的图案可以符合到HD格式。本方法的优点在于，定义为图案的视频源在其被编码为HD格式时不劣化。即，当图案被重组织为常用格式时，定义为图案的图像区域中的每个像素存在。视频数据中的图案中定义的1个像素＝常用格式分辨率中的图案中定义的1个像素。对于其中所有信息都重要且用户可能希望缩放、平移和倾斜图像的多种应用，这是希望的。从图3可以意识到，XHD图像被分割为7854个图案，而HD格式可以容纳高达120×67＝8040个图案。因而，XHD图像的图案可以容易地存在于单个HD帧中。如果XHD图像的分辨率更高，使得在XHD图像中存在多于单个HD帧的图案，则XHD图像将分布在两个或更多的HD图像帧中。
从图3d可以看出，每个图案的原始位置被分配以矩阵位置，该矩阵位置随后被存储。位置被映射到HD格式。随机函数使用加密密钥为每个图案分配新位置。该密钥可以与视频数据一起发送以帮助解码视频数据。这在图3e中说明。在备选方案中，图案位置信息在编码器和解码器中加密，由此使得一旦数据已经被传输，就可以重构原始图像。
返回图2，在114，原始1920×1080像素的HD图像被产生和发送到HD编码器116。该图像数据在图3f中示为包括视频数据和加密密钥码的视频文件。
如图所示，在118，该HD图像可以使用诸如MPEG或JPEG算法的常规技术被压缩，且如图所示，在120可以以压缩的格式存储、传输、操作或处理该HD图像。在操作之后，在122，压缩的数据被传递到常规HD解码器124，该解码器针对每个帧提取原始的1920×1080像素文件。在128，加密密钥被接收，且可以基于该加密密钥和每个图案的起始图像中的已知坐标重新组装原始XHD图像。因而，在128，使用密钥，图案被重新组织为XHD格式以在130给出原始图案位置。在132，图案被转换回图像数据像素，且在134，产生原始剪裁图像。如图所示，在136，图像现在可以根据需要呈现。
可以使用第三方编码器编码作为像素1920×1080的HD原始文件的编码的视频数据，例如使用诸如H264或DIVX的现有编码器。本领域技术人员将意识到，可以使用很多其他HD编码器，包括开发中的编码器或实现该目的的仍未构想出的编码器。因而，常规HD编码器可用于压缩HD格式XHD鱼眼视频。以该压缩形式，视频可以被传输和/或存储，例如使用网络存储。编码HD视频、传输和存储HD视频以及用于实施各种功能的编码器的细节在本领域中公知。类似地，常规HD编码器然后可用于解码和解压缩经压缩的HD格式XHD广角视频。HD解码器在本领域中也公知。
所述实施例具有这一优点：非标准源可以被压缩和解压缩，且因此以常用格式传输和存储。这对于用户而言是极大的优点，且实现使用常用编码器和解码器(在本实施例中，为HD编码器和解码器)来压缩和解压缩诸如XHD鱼眼视频数据这样的源。这使得XHD视频数据被传输和存储而无需开发新的XHD视频数据编解码器。也不需要并不广泛可得或当前商业可行的强大的专用处理器和极高速网络。因而，该实施例实现了XHD广角视频源在多种应用中的使用。
在本发明的优选应用中，视频数据在数据的传输和存储期间被不同地加密。这可以使得视频数据更安全。
本领域技术人员将意识到，本发明的用途的示例仅用于说明目的且本发明可以以很多其他方式使用。还应当意识到，视频图像尺寸可以不同于公开的示例，且图像像素应符合适当图案尺寸的适当数目的图案，以符合常用分辨率格式。这可以是HD或诸如标准清晰度(SD)的一些其他格式。只要需要，源图像的图案可以被映射到较低分辨率的两个或更多的图像。
本领域技术人员还应当意识到每个图案中的像素的数目可以根据常用分辨率格式或编码技术的要求而变化。
本领域技术人员将意识到，对所述实施例的各种其他修改是可行的，而不背离如所附权利要求限定的本发明的范围。