向图像施加边界的方法和设备.pdf

本发明涉及向图像施加边界的方法和设备，其中，公开了一种生成图像的方法，包括：获得包括第一区域和第二区域的第一图像，第一区域是具有真实场景的不同视野并且从真实场景上方的位置处捕捉的拼接到一起以形成真实场景的全景的多个图像，并且第二区域不包括该多个图像；生成第二图像，其是第一图像的片段；确定第二图像是否仅包括第一区域；并且当第二图像包括第一区域和至少部分第二区域两者时，该方法进一步包括：将沿第二图像的上边沿和沿下边沿延伸的边界施加至第二图像，该边界被施加至该上边沿上方以及该下边沿下方。还公开了相应的装置。

1.  一种生成图像的方法，包括：
获得包括第一区域和第二区域的第一图像，所述第一区域是具有真实场景的不同视野并且从在所述真实场景上方的位置处捕捉的被拼接到一起以形成所述真实场景的全景的多个图像，并且所述第二区域不包括所述多个图像；
生成第二图像，其是所述第一图像的片段；
确定所述第二图像是否仅包括所述第一区域；并且当所述第二图像包括所述第一区域和至少部分所述第二区域两者时，所述方法进一步包括：
将沿所述第二图像的上边沿和沿所述第二图像下边沿延伸的边界施加至所述第二图像，所述边界被施加至所述上边沿上方以及所述下边沿下方。

2.  根据权利要求1所述的方法，还包括：确定所述多个图像中的每一个的上角的坐标；
向所述上角坐标应用变换以获得变换后的上角坐标；
确定所述多个图像中的每一个的下角的坐标；
向所述下角坐标应用变换以获得变换后的下角坐标；以及
确定所述上边沿为穿过最低的所述变换后的上角坐标，并确定所述下边沿为穿过最高的所述变换后的下角坐标。

3.  根据权利要求2所述的方法，其中，所述上边沿是穿过所述最低的变换后的上角坐标的水平线以及所述下边沿是穿过所述最高的变换后的下角坐标的水平线。

4.  根据权利要求2所述的方法，其中，确定所述第二图像是否仅包括所述第一区域的所述步骤包括以下步骤：
确定所述第二图像是否包括最低的所述变换后的下角坐标和最高的所述变换后的上角坐标，借此当所述第二图像确实包括所述最低的变换后的上角坐标和所述最高的变换后的下角坐标时，那么确定所述第二图像包括所述第一区域和所述第二区域两者。

5.  根据权利要求2所述的方法，其中，确定所述第二图像是否仅包括所述拼接图像的所述步骤包括以下步骤：
确定所述第二图像的中心是否位于最低的所述变换后的下角坐标和最高的所述变换后的上角坐标之间。

6.  一种包含计算机可读指令的计算机程序，所述计算机可读指令在加载到计算机上时配置所述计算机执行根据权利要求1所述的方法。

7.  一种包含计算机程序指令的非易失性计算机可读介质，所述计算机程序指令在由计算机执行时使所述计算机执行根据权利要求1所述的方法。

8.  一种用于生成图像的装置，包括：
图像单元电路，被配置为获得包括第一区域和第二区域的第一图像，所述第一区域是具有真实场景的不同视野并且从在所述真实场景上方的位置处捕捉的被拼接到一起以形成所述真实场景的全景的多个图像，并且所述第二区域不包括所述多个图像；
图像处理单元电路，被配置为i）生成作为所述第一图像的片段的第二图像；
ii）确定所述第二图像是否仅包括所述第一区域；并且当所述第二图像包括所述第一区域和至少部分所述第二区域两者时，所述图像处理单元电路进一步被配置为：
将沿所述第二图像的上边沿和沿所述第二图像的下边沿延伸的边界施加至所述第二图像，所述边界被施加至所述上边沿上方以及所述下边沿下方。

9.  根据权利要求8所述的装置，其中，所述图像处理单元电路进一步被配置为：确定所述多个图像的每一个的上角的坐标；
向所述上角坐标应用变换以获得变换后的上角坐标；
确定所述多个图像的每一个的下角的坐标；
向所述下角坐标应用变换以获得变换后的下角坐标；以及
确定所述上边沿为穿过最低的所述变换后的上角坐标，并且确定所述下边沿为穿过最高的所述变换后的下角坐标。

10.  根据权利要求9的装置，其中，所述上边沿是穿过所述最低的变换后的上角坐标的水平线，以及所述下边沿是穿过所述最高的变换后的下角坐标的水平线。

11.  根据权利要求8所述的装置，其中，所述图像处理电路单元在确定所述第二图像是否仅包括所述第一区域时进一步配置为：
确定所述第二图像是否包括最低的所述变换后的下角坐标和最高的所述变换后的上角坐标，借此当所述第二图像确实包括最低的所述变换后的上角坐标和最高的所述变换后的下角坐标时，那么确定所述第二图像包括所述第一区域和所述第二区域两者。

12.  根据权利要求9所述的装置，其中，所述图像处理单元电路在确定所述第二图像是否仅包括所述拼接图像时被进一步配置为：
确定所述第二图像的中心是否位于最低的所述变换后的下角坐标和最高的所述变换后的上角坐标之间。

向图像施加边界的方法和设备
相关申请的交叉参考
本申请要求于2013年4月4日提交的英国申请1306050.4和2013年11月14日提交的英国申请1320154.6的优先权益，通过引用将其内容全部结合于此。
技术领域
本公开涉及向图像施加边界的方法和设备。
背景技术
通过将拼接在一起的低清晰度图像的串接生成场景的超高清图像是已知的。也知道从超高清图像中生成裁剪图像（cut-out）。通过在超高清图像各处移动裁剪图像，并且将裁剪图像显示在分辨率低于超高清图像的独立显示器上，低分辨率显示器的观看者会有种他们在观看虚拟摄像机输出的错觉。即，用户会感觉裁剪图像事实上是捕捉图像的摄像机。这就允许固定式摄像机捕捉现实生活场景以及位于编辑软件中的编辑器控制发送给观看者的场景的视图。
然而，由于超高清图像中能实现增大分辨率，所以可以将虚拟摄像机视图应用于高清显示器上。然而，在这些显示器的分辨率增大的情况下，必须确保在可能的情况下使用裁剪图像所提供的任何模糊点都能减少。本公开的目的是解决该问题。
发明内容
已经通过概述的方式提供上述段落，并且上述段落并非旨在限制所附权利要求的范围。结合附图，通过参考下面的详细描述，将最佳地理解所描述的实施方式。
一种用于生成图像的方法、设备以及计算机程序，包括获得包括第一区域和第二区域的第一图像，第一区域是具有真实场景的不同视野并且从 真实场景上方的位置处捕捉的被拼接到一起以形成真实场景的全景的多个图像，并且第二区域不包括所述的多个图像；以及生成第二图像，第二图像是第一图像的片段；以及确定第二图像是否仅包括第一区域；并且当第二图像包括第一区域和至少部分第二区域两者时，进一步包括向第二图像施加沿第二图像的上边沿和下边沿延伸的边界，边界被施加至上边沿的上方以及下边沿的下方。
附图说明
现在将参照附图并仅以实例的方式描述本发明的实施方式，其中：
图1是示出用于捕捉形成合成图象并且根据本公开一个实施方式校准的基本（elementary）图像的系统的示意图。
图2A和图2B是示出在图1的系统中使用的两个可选摄像机配置的示图；
图2C是示出在图2B中示出的摄像机机群的视野的示图；
图3是描述根据本公开的实施方式校准的拼接处理的示图；
图4是描述在图3中示出的拼接方法的示图；
图5示出了说明透镜失真的校正的示意图；
图6A和图6B示出了用于图1的系统中来捕捉合成图象的两个摄像机的输出的示意图；
图7示出了说明根据本公开的实施方式的校准处理的流程图；
图8示出了说明图6的两个摄像机的左边的校准的流程图；
图9和图10示出了说明图6中的左边摄像机的校准的流程图；
图11示出了捕捉现场事件的摄像机的平面图；
图12示出了由图1的摄像机捕捉的图像101；
图13示出了图2中捕捉的图像的一个部分的裁剪图像300；
图14A至图14C示出了其图像平面形成图13的裁剪图像的虚拟摄像机的位置；
图15A至图15C示出了对其应用变换的矩形平面；
图16A至图16B示出了位于图15A至15C的矩形平面内的像素位置；
图17A至图17C示出了变换后的矩形平面中像素位置到捕捉图像中相应的像素位置的变换；
图18与图13相似，但是示出了带有透视（perspective）校正的图像裁剪图像300’而不是传统的矩形图像裁剪图像；
图19示出了图18的裁剪图像在显示时的放大图；
图20示出了如由虚拟摄像机的位置确定的图像中所选择的像素的位置不会精确地符合图像中的像素位置的情况；
图21示出了用于捕捉场景的图像以及相关联的摄像机平面的摄像机阵列的平面图；
图22示出了使用图12的布置的所得的拼接图像；
图23示出了说明实施方式的流程图；
图24示出了说明多次捕捉场景的图像的实施方式的流程图；以及
图25示出了说明与虚拟摄像机有关的移动限制的流程图；
图26A至图26F示出了包括拼接图像的第一图像及在第一图像各处移动的裁剪图像的简化屏幕截图；
图27A至图27D示出了第二图像的简化屏幕截图，第二图像是裁剪图像的输出；
图28示出了根据本公开的实施方式的流程图；
图29示出了计算图28的步骤的位置的流程图；以及
图30示出了图28中决定步骤的流程图。
具体实施方式
根据本公开的实施方式，提供一种生成图像的方法，包括：获得包括第一区域和第二区域的第一图像，第一区域是具有真实场景的不同视野并且从真实场景上方的位置处捕捉的被拼接到一起以形成真实场景的全景的多个图像，并且第二区域不包括多个图像；生成第二图像，其是第一图像的片段；确定第二图像是否仅包括第一区域；并且当第二图像包括第一区域和至少部分第二区域两者时，该方法进一步包括：将沿第二图像的上边沿和下边沿延伸的边界施加至第二图像，该边界被施加至上边沿上方以及下边沿下方。
这可进一步包括：确定所述的多个图像的每个的上角的坐标；
向上角坐标应用变换以获得变换后的上角坐标；
确定多个图像的每个的下角的坐标；
向下角坐标应用变换以获得变换后的下角坐标；以及
确定穿过最低的变换后的上角坐标的上边沿以及确定穿过最高的变换后的下角坐标的下边沿。
在这种情况下，上边沿可以是穿过最低的变换后的上角坐标的水平线并且下边沿是穿过最高的变换后的下角坐标的水平线。
确定第二图像是否仅包括第一区域的步骤可包括步骤：确定第二图像是否包括最低的变换后的下角坐标以及最高的变换后的上角坐标，借此当第二图像确实包括最低的变换后的上角坐标以及最高的变换后的下角坐标两者时，确定第二图像包括第一区域和第二区域两者。
确定第二图像是否仅包括拼接图像的步骤可包括：确定第二图像的中心是否位于最低的变换后的下角坐标和最高的变换后的上角坐标之间的步骤。
也预见到在加载到计算机上时配置计算机执行根据以上的方法的包含计算机可读指令的计算机程序。
预见到被配置为存储在加载到计算机上时配置计算机执行根据以上的方法的计算机可读指令的计算机程序产品。
根据实施方式，提供一种用于生成图像的装置，包括：
图像单元，配置为获得包括第一区域和第二区域的第一图像，第一区域是具有真实场景的不同视野并且从真实场景上方的位置处捕捉的被拼接到一起以形成真实场景的全景的多个图像，并且第二区域不包括多个图像；图像处理单元配置成：i）生成第二图像，其是第一图像的片段；ii）确定第二图像是否仅包括第一区域；以及当第二图像包括第一区域和至少部分第二区域两者时，图像处理单元进一步配置为：将沿第二图像的上边沿以及沿第二图像的下边沿延伸的边界施加至第二图像，将该边界施加至上边沿上方以及下边沿下方。
图像处理单元可进一步被配置为：确定多个图像的每一个的上角坐标；对上角坐标应用变换以获得变换后的上角坐标；确定多个图像的每一个的下角坐标；向下角坐标应用变换以获得变换后的下角坐标；以及确定穿过最低的变换后的上角坐标的上边沿以及确定穿过最高的变换后的下角坐标的最高点的下边沿。
上边沿可以是穿过最低的变换后的上角坐标的水平线并且下边沿是穿过最高的变换后的下坐标的水平线。
图像处理单元可被进一步配置为：在确定第二图像是否仅包括第一区域时，确定第二图像是否包括最低的变换后的下角坐标以及最高的变换后的上角坐标，借此当第二图像确实包括最低的变换后的上角坐标和最高的变换后的下角坐标两者时，则确定第二图像包括第一区域和第二区域两者。
图像处理单元可进一步配置为在确定第二图像是否仅包括拼接图像时：
确定第二图像的中心是否位于最低的变换后的下角坐标和最高的变换后的上角坐标之间。
拼接图像的生成
参照图1，在该实施例中现场活动101是足球比赛，在该实施例中足球比赛所进行的比赛地点是运动场。
摄像机机群102位于运动场中适当的有利位置，该摄像机机群在本附图中由布置在某个配置中的六个独立摄像机104组成（但在图6中由两个独立摄像机104组成）。将参照图2A、2B以及2C更详细地说明摄像机机群102的配置。然而，总体上，摄像机机群102配置成摄像机机群102内每个摄像机104的视野与摄像机机群102中相邻摄像机104的视野小程度地重叠。因此，整个现场活动被摄像机机群102的全体视野生成的全景覆盖。有利位置可以是运动场中抬高的位置。
在这个实施方式中，每个摄像机104是具有3840x2160像素的分辨率的4K摄像机。此外，每个摄像机104以渐进（progressive）模式而不是交错（interlaced）模式操作。这使得由摄像机104生成的图像的处理变得更容易。然而，技术人员应理解每个摄像机104可以可选地以交错模式操 作。摄像机机群102用于产生足球比赛的视频信息流。如技术人员应当理解，虽然摄像机机群102被描述为由许多独立摄像机104组成，本公开不限于此。实际上，摄像机机群可以不必由完整的摄像机104串接构成，而仅由每个产生图像输出的摄像机构件串接构成。因此摄像机机群102可以是单个单元。
除了摄像机机群102以外，一个或多个麦克风(未示出)也可设置成紧邻摄像机机群102或者与摄像机机群102完全分离以提供足球比赛的音频报道。
摄像机机群102中每个摄像机104的输出被馈送至色差（chromatic aberration）校正器105。在该实施例中，摄像机机群102内每个摄像机104产生独立视频输出因此在这种情况下摄像机机群102具有两个输出。然而，在其他实施例中，反而仅可以使用摄像机机群102的一个输出，其是两个摄像机104的每一个的多路复用输出。色差校正器105的输出被馈送至图像拼接构件108以及可缩放的内容制备构件110，两者构成本公开实施方式的图像处理装置106的一部分。图像处理装置106包括图像拼接构件108和可缩放的内容制备构件110，并且在这个实施方式中将在计算机上实现。图像拼接构件108的输出连接到可缩放内容制备构件110。
图像拼接构件108获取由摄像机机群102中相应摄像机104捕捉的每个高清图像（或基本图像）并结合它们从而产生比赛地点的全景。在这个实施方式中，重要的是注意图像拼接构件108的输出不是简单地与使用广角镜头拍摄的视图相同。图像拼接构件108的输出是摄像机机群102中每个独立摄像机104的输出的壁挂（tapestry）或接合版本。这意味着图像拼接构件108的输出的分辨率接近于8000x2000（或者为8K分辨率或约8K分辨率）而不是如果一个4K摄像机配备有广角镜头的情况中的4K分辨率。因此接合图像（或合成图像）是超高分辨率图像。高清设置的优点是很多的，包括在不必须光学缩放因此影响运动场的总体图像的情况下能够突出参与者的特定特征。此外，有助于对象的自动跟踪因为事件的背景是静态的，并且存在待追踪的对象的较高屏幕分辨率。参照图3更详细地描述图像拼接构件108。
图像拼接构件108的输出被馈送至可缩放内容制备构件110和/或一个或多个超高清影院128的任一个。在这个实施方式中，该超高清影院或每个超高清影院128均处于与比赛地点不同的位置。这使得由于容量、或体育场的位置不足而不能参加体育场的许多观众能够观看现场活动。额外或可选地，体育场周围的其他位置可用于设置超高清影院128。例如，可以使用体育场里餐点供应的酒吧。
可缩放内容制备构件110被用于从图像拼接构件108的超高清输出生成图像使得屏幕尺寸小于超高清影院124的一个或多个高清电视120、个人显示装置122可以使用。使用在下文中说明的映象技术可缩放内容制备构件110可生成超高清分辨率图像的任一缩小版或可生成超高清图像的片段。在一个实施方式中，个人显示装置122是然而，显然个人显示装置122也可以是手机、平板电脑、笔记本电脑、个人数字助理等或其任意组合。实际上，个人显示装置122也可以是电视机或分辨率小于显示超高清分辨率图像101的超高清影院的任意显示装置，。此外，可缩放内容制备构件110也实现自动跟踪算法以选择超高分辨率图像的多个部分来产生显示于个人显示装置122上的视频信息流。例如，可缩放内容制备构件110可自动地追踪球或特定参与者或者甚至产生对特定特殊活动的固定拍摄，诸如在足球比赛中进球或者美式足球比赛中的触地。如稍后将说明的，可缩放内容制备构件110允许创建虚拟摄像机输出。换言之，可缩放内容制备构件110的输出获取超高分辨率图像的裁剪图像。之后变换裁剪图像以使其看来似乎来自指向捕捉场景内的位置的摄像机。随后将在题目“Virtual Camera（虚拟摄像机）”下说明变换。将虚拟摄像机的输出提供至计算机107以便计算机107的用户可控制虚拟摄像机视图。可通过允许用户在拼接后的图像各处容易移动虚拟摄像机的专用编辑控制操纵杆来控制。为了协助计算机107的用户，可将线框（wire box）加于拼接后的图像上以为用户识别虚拟摄像机所指向的地方（即，拼接图像的哪个片段通过分配构件118馈送）。
可缩放内容制备构件110的输出被馈送至分配构件112。分配构件112包括存储内容的内容数据库114，例如，该内容可以被分配为重放特殊事 件或者与特定参与者有关的补充信息。数据流构件116也在分配构件112内，该数据流构件116将来自可缩放内容制备构件110或内容数据库114中的待分配的内容转换成具有用于在其上提供流数据或广播的网络的适当带宽的格式。例如，数据流构件116可以压缩流使得其能够在IEEE802.11b WiFi网络或蜂窝电话网络或任意合适的网络上提供，诸如蓝牙网络或无线网络。在这个实施方式中，网络是适合于个人显示装置122的WiFi网络所以数据流构件110的输出被提供至无线路由118。虽然上文描述了经由WiFi网络或蜂窝电话的电话网络提供数据，本公开不限于此。数据流构件116可压缩流以用于在支持流视频数据的任意网络上广播，任意网络诸如第三或第四代蜂窝网络、数字视频广播-手持式（DVB-H）网络、DAB网络、T-DMB网络、MediaFLO（RTM）网络等。
尽管，在本公开的这部分中，分配构件112将来自可缩放内容制备构件110的输出提供于网络上，分配构件112可以是广播设备（broadcaster）以便可缩放内容制备构件110的输出可分配在电视网上以供用户用来在他们自己家中观看。
超高清影院124包括大屏幕投影仪126和屏幕124。图像拼接构件108的输出被馈送至大屏幕投影仪126。为了提供足够的分辨率，大屏幕投影仪126可具有8000x2000像素的显示分辨率（或者甚至8K分辨率）或者可由各自具有4000x2000像素的分辨率的两个结合的投影仪（或者甚至两个4K投影仪）组成。此外，大屏幕投影仪126可以包括将水印嵌入显示图像的水印技术以防止观看超高清影院124中现场活动的用户使用摄影机非法拷贝活动。水印技术是已知的，所以不会将进一步详细地说明。
参照图2A，在一个实施方式中，以水平凸的方式布置摄像机机群102中摄像机104的透镜。在图2B中的可选实施方式中，摄像机机群102中摄像机104的摄影镜头以水平凹的方式布置的。在两个可选配置中的任何一个中，摄像机机群102中的摄像机104被设置为在摄像机机群102中相邻摄像机104之间产生最小视差效应。换言之，摄像机机群102中的摄像机104布置成使得一对相邻摄像机的焦点最靠近彼此。已发现与图2A中 的布置相比，图2B的布置中的摄像机104在相邻摄像机104之间产生稍微较小的视差误差。
在图2C中，示出了由以水平凹的方式布置的四个摄像机构成的摄像机机群102的视野。这是为了便于理解并且技术人员应理解可以使用许多摄像机，包括图1的情况中的六个或者图6的情况中的两个。如上所述，为了保证由摄像机机群102捕捉的整个事件，在本公开的实施方式中，摄像机机群102中一个摄像机104的视野与摄像机机群102中另一摄像机104的视野稍微重叠。由图2C中的杂乱（hashed）区域表示该重叠部分。如在下文中所说明，图像拼接构件108中接合图像中的重叠的效果减轻。在水平凹的方式布置的摄像机机群102中，无论距摄像机机群102的距离，不同的相邻摄像机104的视野之间重叠部分的量基本上是常量。由于重叠的量基本上是常量，减少重叠部分的效果的所需处理减少了。虽然以上参照以水平方式布置的摄像机进行描述，技术人员应理解摄像机可以竖直方式布置。
如关于图1所描述的，来自摄像机机群102的输出被提供至色差校正器105。色差校正器105是已知的，但为完整起见将进行简要描述。为各个摄像机104校正色差误差。色差本身就会出现，尤其是在每个摄像机104生成的图像的边缘。如上所述，从每个摄像机104输出的图像拼接在一起。因此，在实施方式中，色差校正器105减少色差以改善所输出的超高分辨率图像。
色差校正器105将来自每个摄像机104的图像的红色、绿色和蓝色成分分开用于独立处理。比较红色与绿色以及蓝色与绿色成分以生成红色与蓝色的校正系数。一旦产生红色和蓝色校正系数，以已知的方式产生红色和蓝色校正图像成分。然后校正的红色和蓝色图像成分与原始的绿色图像结合。这为每个摄像机104形成校正输出，该校正输出随后被馈送至图像拼接构件108。
然后图像拼接构件108根据本公开的实施方式校准基本图像以改善拼接图像的外观并且然后将来自每个摄像机104的像差（aberration）校正的 独立输出结合至单个超清图像。参照图7描述排列方法并参照图3描述校准方法。
将来自色差校正器105的输出馈送至根据本公开的实施方式的图像校准构件301和虚拟图像投影构件304。图像校准构件301的输出被馈送至摄像机参数计算构件302。摄像机参数计算构件302的输出生成最小化两个相邻摄像机104之间的重叠区域中的误差的摄像机参数并且提高合成图像中基本图像的总体校准。在这个实施方式中，误差是每像素的平均均方误差，不过本公开不限于此。而且，在这个实施方式中，仅计算每个摄像机104的横转（roll）、纵摆（pitch）、横摆（yaw）、镜筒和焦距。由于摄像机104具有相似的降低上述视差效应的焦距（计算其值）和焦点，不考虑摄像机之间的相对位置。可以预见到也会寻找其他参数，在进行根据本公开的实施方式的校准处理之前执行透镜失真的校正。也可校正诸如球面像差等的其他误差。此外，应注意在校准相位之后或在超高清图像的生成之后可以再次执行色差校正。
将摄像机参数馈送入虚拟图像投影构件304提供。虚拟图像投影构件304的输出被馈送至颜色校正构件306。颜色校正构件306的输出被馈送至曝光校正构件308。曝光校正装置308的输出被馈送至视差误差校正构件310。视差误差校正构件310的输出是单个超高清图像。如前所述，可以使用一个摄像机生成的图像。在这种情况下，不需要虚拟图像投影构件304。
参照图4描述图像校准构件301。应注意下面仅描述寻找两个相邻摄像机的摄像机参数。技术人员应理解使用该方法，能够寻找任意数量的摄像机的摄像机参数。
通过摄像机机群102中两个相应相邻摄像机104生成直播图像（liveimage）A和B。在基本图像能够拼接到一起之前，根据本公开的实施方式对他们进行校准。参照图5到图10论述校准处理。
在已经校准了基本图像之后，为了最小化重叠区域中的误差，图像校准构件301使用层次式搜索技术。使用该方法，假设生成图像A的摄像机是固定的。直播图像两者都被馈送至低通滤波器402。这除去了图像的精 细细节。通过除去图像的精细细节，搜索找到局部最小值的可能性降低了。在搜索过程中施加到每个图像的滤波量可以改变。例如，与搜索结束时相比，在开始搜索时可以应用较大量的滤波。这意味着可以产生参数的近似值并且可针对搜索的末尾精细化（refine）参数的近似值，以使得能够考虑较大的量细节并改善结果。
然后低通滤波图像被馈送至图3中所示的虚拟图像投影构件304。虚拟图像投影构件304被用于补偿这样一种事实：摄像机机群102中每个摄像机104面对不同的方向但是待生成的超高分辨率图像应当看起来来自指向一个方向的一个摄像机。因此虚拟图像投影构件304将一个摄像机104收到的光的一个像素映射至虚拟焦点平面。虚拟焦点平面对应能够捕捉具有超高分辨率的全景的虚拟摄像机已产生的焦点平面。换言之，虚拟摄像机的输出将会是拼接的超高分辨率图像。虚拟图像投影构件304操作的方式是已知的并且在GB2444533A中已论述，因此在这里不会进一步论述。
返回至图4，在虚拟图像投影构件304已映射图像之后（得到与406中示出的相似的拍摄），映射的图像被馈送至曝光校正器408。曝光校正器408被配置为分析摄像机机群102中每个摄像机104生成的重叠图像的曝光和/或色度。利用该信息，曝光校正器408调整一个摄像机的曝光和/或色度参数以匹配另一摄像机的曝光和/或色度参数。可替换地，调整一个摄像机的曝光和/或色度设置使得除去曝光和/或色度中的任意突变。然而，利用以上可选的组合是可以的。在校准处理过程中，最好校正曝光和/或色度，因为这会产生改善的摄像机参数。然而，可以预见在校准处理过程中这种参数不必是正确的。如果在摄像机校准过程中不考虑这种参数，那么能够在从摄像机输出的图像上进行这种校正。在这种情况下，应注意的是调整从一个摄像机输出的图像以匹配另一个图像的曝光和/或色度可能提高需要附加存储和/或处理的图像的总体动态范围。
从曝光校正器408输出的图像是合成图象。
应注意虽然已参照直播图像描述了校准处理，可以使用保持在摄像机前方的校准目标。然而，使用该技术具有一个明显的缺点。对于现场活动，校准目标可能需要非常大（超过10米）。此外，使用直播图像意味着如果 机群内的一个或多个摄像机例如由于缠绕而稍微移动，能够实时进行小的调整而不影响直播流。例如，能够使用之前存储的最小值之一以及重新校准的校准处理。因此，如果需要重新校准摄像机，可以“线下”确定摄像机参数，即，不是现场直播，或者“线上”确定，即，现场直播。
现在返回至图3，将进一步描述图像拼接构件108。在已根据本公开的实施方式确定摄像机参数之后，从每个摄像机输出的图像被馈送至第二图像投影构件304。来自第二图像投影构件304的输出被馈送至校色器306。来自校色器306的输出被馈送至曝光校正器308。在这里应注意第二图像投影构件304、校色器306和曝光校正器308的功能与参照图4描述的图像投影仪404和曝光和/或色度校正器408相同。这意味着超高清图像与从摄像机104输出的单独图像经受相同的校正。
曝光校正器308的输出被馈送至视差误差校正器310。当对象位于图像拼接在一起时两个摄像机图像出现两次的重叠区域中的时候，视差误差校正器310防止“重影”。
为了解决这个问题，在拼接图像中，为各个重叠区域生成掩模。然后假设掩模内的任何明显误差都是由视差现象引起的。使用重叠区域中像素间的均方平均误差对误差进行量化。因为校准处理最小化由于摄像机参数的任意误差，所以这是正确的设想。使用已知形态和对象分段算法标记掩模内所有的独立对象。如果重叠区域中像素间的明显误差在阈值以下，那么两个图像混合在一起。可选地，在误差高的区域中，认为已经出现重影并且仅使用来自一个摄像机中的一个图像。为了减少视差现象，希望使每个摄像机的焦点靠近在一起。
现将描述根据本公开的实施方式的校准处理。参照图5，示出摄像机构件104中的一个的透镜500。如技术人员应理解的，透镜500具有桶形失真（barrel distortion）和/或枕形失真（pin distortion）。总起来说，这些被称作“透镜失真”。如果所捕捉的图像距透镜500的距离远这些失真尤其明显，并且在线延伸远离透镜500的光轴501时通常产生看起来下垂的直线，。换言之，当直线朝向视野的边缘延伸时（在这种情况下，由方框505示出16:9的图像），直线在靠近边缘时会下降。为了改善拼接图像的质量， 并且尤其是改善横穿图像的直线的外观，在本公开的实施方式的校准处理进行之前先对透镜失真进行校正。
为了校正这些失真，图像中每个像素的位置被变换为偏离规范化的图像的中心一半的图像宽度。在图像是16:9比值图像的情况下，偏移的x（或水平）值将在-1和+1之间。换言之，像素的x-坐标将偏移-1至+1。偏移的y（或垂直）值将在-9/16和+9/16之间。通过使用以下关系计算：
x=(image_col-image_width/2)/(image_width/2)
y=(image_height/2-image_row)/(image-width/2)
借此，image_col是x坐标的位置值；image_width是总图像宽度；以及image_row是y坐标的位置值。
然后计算图像（光轴501）的中心与每个像素之间的径向长度。使用毕达哥拉斯的定理计算使得所计算的径向长度规范化以使用等式给出在透镜的边缘的值为1。
radial_length²=(x²+y²)/(1.0²+0.5625²)
然后计算每个像素（x’、y’）的新位置值使得
x'=x-x*correction_factor*CCD_factor*(1-radial_length_squared)
y'=y-y*correction_factor*CCD_factor*(1-radial_length_squared)
其中
对于校正桶形失真，correction_factor>0.0；对于校正枕形失真，correction_factor<0.0；以及对于没有透镜失真校正，correction_factor=0.0。
术语CCD_factor是取决于摄像机构件104的CCD尺寸的常量。在一个实施方式中，CCD_factor的值是1.702，correction_factor的值是-0.022，其校正广角镜头上枕形失真的通常量。
在实施方式中，系统的用户手动识别图像上的失真并施加校正。通常，这会通过识别场景中的直线（例如，足球场上的线）并且选择使得线看起来在图像上是直的的correction_factor的值来完成。这可手动完成，或者通过点击图像中的线并拖拽线使得其与球场上的直线对应来完成。可以对摄像机阵列中每个摄像机构件104进行这一透镜失真校正。可选地，可以假定阵列中每个摄像机构件104中的透镜是良好匹配的并且对每个摄像机构件104应用correction_factor。
透镜失真已校正之后，对由根据本公开的实施方式的摄像机构件104捕捉的基本图像进行校准使得这些图像可以拼接到一起以形成合成图象。
第一，图1的系统的用户选择左边的摄像头（即，图6中的摄像头A）。然后用户选择图像上的四个像点（705A、706A、707A和708A）。这里应注意四个点定位成朝向图像的边缘。这些点被称为“相应点”并将随后说明。
然后用户选择摄像头的第二个馈送（feed）。然后用户选择图像上的四个像点（708B、705B、706B、707B）。这里应注意像点706A和705A也是“相应点”。“相应点”指的是指代场景中特定点的图像中的点。换言之，像点706A和705B指代场景中的相同点并且类似地像点707B和708A也指代场景中相同的点。因此，点705B和707B与706A和708A是在从摄像机A和B拍到的图像之间重叠的区域中，并且像点705B将与像点706A重叠，像点707B将与像点708A重叠。
像点705A和707A位于足球场的相应角旗附近。这是因为如稍后所说明的，在实施方式中像点705A位于与像点706A的场景中相同的直线上，以及像点707A位于与像点708A的场景中相同的直线上。正如稍后所说明的，在本公开的实施方式中，将测量场景内直线的梯度。因此，通过尽可能地分开像点708A与707A和706A与705A，任何梯度测量的分辨率将增加并且因而将提高梯度测量的准确度。
像点的选择是图7中的步骤S800。
在已选择了像点之后，选择摄像机馈送A或换言之左边摄像机构件104的焦距（图7的步骤S805）。这是在摄像机构件104处应用的缩放有效量。通过了解摄像机构件104的实际焦距，可以操纵摄像机馈送A提供的图像以复制摄像机构件104的不同焦距。换言之，了解提供摄像机馈送A的摄像机构件104的焦距，可以电子复制不同的焦距而不必经常改变摄像机构件104的实际焦距。
在本公开的实施方式的校准处理过程中，将变换用户已经选择的像点以复制调整摄像机参数的效果。现将描述变换过程。
正如技术人员应理解，摄像机能够以三种方式移动：纵摆（或者摄像机的向上和向下竖直的倾斜），横摆（或者绕竖直轴线的侧向的运动）；以 及横转（或者绕摄像机的光轴的旋转）。这些效果被复制到用户通过描述如下的变换过程所选择的像点上。
第一，像点被转变成从光轴偏离，该偏离被规范化为图像的一半宽度。关于透镜失真的校正以与所描述的相似的方式执行。在实施方式中，虽然该校正不是必需的，但是如上所说接下来针对透镜失真对像点进行校正。
左边摄像机的纵摆固定为0°（图7的步骤S810）。然后对左边摄像机开始校准（图7的步骤S815）。这会相对于图8进行论述。
在步骤S900中，提供横摆的初始值。该值可以是+5°，虽然可以使用任意值。在步骤S905中，选择横转的初始值。这可以是任何值，例如-5°。
为了计算连接像点705A和706A的线以及707A和708A之间的线的梯度，以便这种梯度能够最小化，必须对像点中的每个应用转动变换以复制调整过程。
按三维矩阵的形式应用像点的变换过程
RotationMatrix=rotation(yaw)*rotation(pitch)*rotation(roll)
这是在施加横转旋转后施加纵摆旋转并且最终施加横摆旋转的效果。
具体地，每个矩阵的形式为
Rotation(yaw)=cos(α)0-sin(α)010sin(α)0cos(α)]]>
Rotation(pitch)=1000cos(β)-sin(β)0sin(β)cos(β)]]>
Rotation(rool)=cos(γ)-sin(γ)0sin(γ)cos(γ)0001]]>
其中α、β和γ分别是横摆、纵摆及横转的角度。
表示用户所选择的像点的输入向量的形式为
V=x′y′focal_length]]>
其中x’是针对透镜失真校正的x方向上的图像坐标；y’是针对透镜失真校正的y方向上的图像坐标以及focal-length表示应用至透镜的焦距。
那么进行变换使得
V’=RotationMatrix*V
以使变换的图像点的深度规范化（当点投影到相同的z平面上，即，显示在屏幕上），坐标必须除以z坐标（即，沿光轴看图像的坐标）。
因此，用户选择的图像点的x和y坐标（x”和y”）出自
x”=V’(1)/V’(3)
y”=V’(2)/V’(3)
如上所述，计算变换的像点之间的梯度。通过y”坐标的差值除以x”坐标的差值来测量梯度。换言之，为了计算705B和706B之间的线的梯度，使用以下等式
Gradient_705Ato706A=(y″_705A-y″_706A)/(x″_705A-x″_706A)
进行相似的计算以计算707A和708A之间的线的梯度。
由于应当最小化两条线的梯度，并且变换影响两条线，计算梯度的绝对值的总和。换言之，
计算出
Gradient_sum=abs(gradient705Ato706A)+abs(gradient707Ato708A)
如上所述，由于纵摆固定为0，应当确定针对最小化Gradient_sum的左边摄像机构件104的参数的横摆以及横转。为了达到这个目的，通过增加诸如0.5°调整横摆。对于横摆的每个值，调整所有值的范围的横转值（比方说最初增加20°）并且通过应用变换并且计算上述Gradient_sum来计算每个调整的横转值的Gradient_sum。
为了确定最合适的横摆和横转值，使用二分法检索技术。在图8中描述该技术并且该技术尤其合适，因为最优值的意图是迅速最小化度量（在这种情况下的Gradient_sum）。为了执行二分法检索，选择横摆的初始值 （图8中的步骤S900）（例如+0.2°）并且对于该横摆的初始值，选择初始横转值（比方说+0.4°），步骤S905。
针对这些值测量线的梯度，步骤S910。换言之，求解Gradient_sum的等式。
由于在这个阶段在步骤S920中梯度不会最小，将使用新的横转值。下一个横转值将在该初始横转值的上下（使横摆值保持相同）。例如，由于横摆值相同，下一个横转值将是+20.4°（即initial_value+range）并且随后的横转值将是-19.6°（即initial_value–range）。这会在步骤S915中示出。
为横转值的每个求解Gradient_sum的值。设定Gradient_sum的最小值的横转值将用作下一个initial_value。然后重复该过程。然而，为了迅速接近最小值，对于每个随后的迭代，范围的值减半。当范围达到某个阈值时，对于该横摆的特殊值将终止该二分法检索算法，从而认为该横转值的梯度为最小值。
在计算出给出Gradient_sum的最小值的横转值（在步骤S920中的“是”路线）之后，选择横摆值的下一个迭代。也使用二分法检索技术寻找横摆值。
按与相对于横转值的上述那些相类似的方式，横摆的下一个值将在横摆的该初始值上下。换言之，将由（initial_value_yaw+range_yaw）和（initial_value_yaw-range_yaw）确定横摆的下一个值，步骤S930。对于这些横摆值的每个，使用二分法检索技术确定给出最小Gradient_sum值的横转的值。
在计算出横摆的每个值的Gradient_sum的最小值之后，将选择提供Gradient_sum的最小值的横摆的值作为新的initial_value_yaw并且范围将会减半以使提供Gradient_sum的最小值的横摆的值收敛。
当range_yaw的值低于某个阈值时寻找横摆的值的二分法检索算法停止（步骤S935）。在执行寻找横摆的值的二分法检索算法之后，确定给出Gradient_sum的最小值的横摆值和横转值。换言之，设立横摆和横转的值，其为球场（pitch）上的水平线提供最小梯度。
在已设立左边摄像机构件104的摄像机参数之后，选择右边摄像机馈送（即，摄像机馈送B）。
为了适当地校准来自摄像机馈送A的图像与来自摄像机馈送B的图像，像点706A和708A需要分别与像点705B和707B校准。对于此，需要寻找摄像机馈送B的参数（图7的步骤S820）。
为了达到该目的，使用确定相应像点之间的最小距离的一套嵌套的二分法检索算法。为了计算该值，需要计算相应像点之间的最小水平距离和垂直距离。
像点708A和706A的水平位置与像点707B和705B的水平位置进行比较。选择最小化该水平距离的横摆值为适当的横摆值。换言之，使用最小化以下等式的二分法检索算法。
Horizontal_distance_sum=(x_706A-x_705B)²+(x_708A-x_707B)²
此外，为了计算像点708A和707B与像点706A和705B之间的最小垂直距离，需要寻找为以下等式提供最小值的纵摆值
Vertical_distance_sum=(y_706A-y_705B)²+(y_708A-y_707B)²
为了寻找像点之间的最小总距离，计算horizontal_distance_sum和vertical_distance_sum的总和。换言之，等式
combined_distance_sum=horizontal_distance_sum+vertical_distance_sum
应当最小化以确定摄像机馈送B的最佳焦距。
此外，为了提高上下纵摆线的连续性，上下纵摆线的梯度需要最小化。换言之，需要设立摄像机的横转使得分别最小化707B与708B和705B与706B之间的线的梯度。为了达到该目的，等式
Gradient_sum_right=abs(gradient_707Bto708B)+abs(gradient_705Bto706B)
需要最小化
所以，翻到图9，选择提供摄像机馈送B的摄像机的焦距的初始值（步骤S1000）。由于提供摄像机馈送B的摄像机构件与提供摄像机馈送A的摄像机构件接近，选择与设置在左边摄像机上的相同的焦距作为焦距的初始值。
对于该焦距，调整提供馈送B的摄像机构件104的纵摆值。如在上述二分法检索算法中，选择纵摆的初始值（步骤S1050）。对于该纵摆的初始值，选择横摆的初始值（步骤S1100）。对于该横摆的初始值，选择横转的初始值（步骤S1150）。针对横转的初始值计算Gradient_sumright的值（步骤S1200）。
然后以类似于在上文中说明的二分法检索算法的方式改变横转的值。换言之，横转的下一个值按照范围设置在初始值的上下（步骤S1300）。针对横转的下一个值计算Gradient_sum_right的值（步骤S1200）。选择给出最小Gradient_sumright值的横转的值作为横转的下一个初始值。范围减半并且二分法检索继续直至设立Gradient_sum_right的最小值（步骤S1250）。当范围低于某个阈值（诸如0.05度）以下时认为其已经发生。
然后使用横摆的初始值测量horizontal_distance_sum的值（步骤S1350）。然后以类似于在上文中说明的二分法检索算法的方式改变横摆的值。换言之，横摆的下一个值按照范围设置在初始值的上下（步骤S1450）。为横摆的下一个值计算horizontal_distance_sum的值。然而，对于横摆的每个值，计算给出Gradient_sum_right的最小值的横转的值。换言之，用于计算Gradient_sum_right的二分法检索算法套入用于计算horizontal_distance_sum的每个值的二分法检索算法中。选择给出最小horizontal_distance_sum值的横摆的值作为横摆的下一个初始值。范围减半并且二分法检索继续直至设立horizontal_distance_sum的最小值（步骤S1400）。当范围低于某个阈值（诸如0.05度）以下时认为其已经发生。
然后使用纵摆的初始值测量vertical_distance_sum的值（步骤S1500）。然后以类似于在上文中说明的二分法检索算法的方式改变纵摆的值。换言之，纵摆的下一个值按照范围设置在初始值的上下（步骤S1600）。为纵摆的下一个值计算vertical_distance_sum的值。然而，对于纵摆的每个值，计算给出horizontal_distance_sum的最小值的横摆的值。换言之，用于计算horizontal_distance_sum的二分法检索算法套入用于计算vertical_distance_sum的每个值的二分法检索算法中。选择给出最小vertical_distance_sum值的纵摆的值作为纵摆的下一个初始值。范围减半并 且二分法检索继续直至设立vertical_distance_sum的最小值（步骤S1550）。当范围低于某个阈值（诸如0.05度）以下时认为其已经发生。
然后使用焦距的初始值测量combined_distance_sum的值（步骤S1650）。然后以类似于在上文中说明的二分法检索算法的方式改变焦距的值。换言之，焦距的下一个值按照范围设置在初始值的上下（步骤S1750）。为焦距的下一个值计算combined_distance_sum的值。然而，对于焦距的每个值，计算给出vertical_distance_sum的最小值的纵摆的值。换言之，用于计算vertical_distance_sum的二分法检索算法套入用于计算combined_distance_sum的每个值的二分法检索算法中。选择给出最小combined_distance_sum值的焦距的值作为焦距的下一个初始值。范围减半并且二分法检索继续直至设立combined_distance_sum的最小值（步骤S1700）。当范围低于某个阈值（诸如0.01毫米）以下时认为其已经发生。
套入这些算数的结果是为左边摄像机104的给定焦距设立相应像点之间的最小距离。在这里应注意通过改变如上所述的纵摆、横摆和横转，能够改变点之间的距离。此外，通过改变一个或多个摄像机的焦距能够改变点之间的距离。这在不改变摄像机的纵摆、横转和横摆或者与改变摄像机的纵、横转和横摆相结合的情况下可以完成。也可以这样做以确定每个基本图像之间的边沿的重叠的线的梯度。
为了提供具有改善的校准的拼接图像，需要最小化馈送A和B的上下线的梯度（图7中的步骤S825）。
这样做，改变焦距的值以最小化像点707A与708B之间的线的梯度以及像点705A与706B之间的线的梯度。换言之，进行设立最小化以下等式的左边摄像机元件104的焦距的二分法检索
Overall_gradient_sum=Gradient_sum_left+gradient_sum_right
通过最小化沿场景中的直线定位的最外（extreme）像点之间的总体梯度，拼接图像看起来更真实。
在二分法检索中，以与在上文中说明的二分法检索算法相似的方式改变左边摄像机104的焦距的下一个值。换言之，焦距的下一个值按照范围设置在初始值的上下（步骤S835）。为焦距的下一个值计算 overall_gradient_sum的值。然而，对于焦距的每个值，寻找左边摄像机的横摆和横转的参数以及右边摄像机馈送的焦距、纵摆、横转和横摆的值。换言之，用于计算所有的摄像机参数的二分法检索算法套入用于计算overall_gradient_sum的每个值的二分法检索算法中。选择给出最小overall_gradient_sum值的左边摄像机的焦距的值作为焦距的下一个初始值。范围减半并且二分法检索继续直至设立overall_gradient_sum的最小值（图7中的步骤S830）。当范围低于某个阈值（诸如0.001毫米）以下时认为其已经发生。
可选地，用户手动调整某些所计算的参数以达到最准确的拼接图像（步骤S840）。与二分法检索算法中所用的相比，手动调整具有更细小的变化范围。例如，手动调整的变化范围可以是用作二分法检索算法中阈值的最小范围的值的1/10。虽然用户有可能手动调整所计算的参数，这对用户来说是不方便的。在很多事例中，用户会手动调整一个或多个摄像机的横转。然而，通过施加横转，直线会呈弯曲。换言之，边线的直线看起来会在接合点处改变方向。这是不合要求的。
因此，在本公开的实施方式中，发明人不仅使该过程自动化，这对用户来说是更方便的，而且也通过除去接合点处的弯曲改善边线的直线。
为了达到该目的，向每个摄像机应用修剪（shear）校正。具体地，在实施方式中，向左边摄像机和右边摄像机应用不同量的相等和相反的修剪直至相应点708A与707B和706A与705B处的拼接图像中的左边摄像机和右边摄像机之间的错校准为0（或者至少在阈值的范围内）。
为了达到该目的，在图7的步骤S840中，图9的套入算法算出修剪的具体值。具体地，参照图10，示出步骤S840。在方法开始时（步骤S8400），选择修剪的初始值并且应用至左边的摄像机图像（步骤S8401）。在实施方式中，该值将为-0.01。
向右边的摄像机图像施加相等和相反量的修剪（步骤S8402）。
然后进行图9的套入算法。换言之，对于这些修剪值，获得焦距、纵摆、横摆以及横转以为修剪的初始值提供最小结合距离。在其他实施方式 中，只进行图9的纵摆、横摆及横转套入的搜索。而且，这仅需要对右边的摄像机完成，在这个阶段可不用考虑左边的摄像机的横摆、纵摆及横转。
然后在步骤S8404进行核对以确定是否达到总体最小的结合距离。换言之，对照阈值来核对图9的套入算法的输出值。如果总体最小结合距离小于或等于阈值，那么遵从“是”路径并且在步骤S8406中完成该过程。如稍后将说明的，根据步骤S845混合图像。
可选地，如果没达到总体最小结合距离，改变应用于左边摄像机的修剪值。这是步骤S8405。
在实施方式中，检测修剪+shear_range和修剪–shear_range的值。然后为每个修剪值调整右边摄像机的横摆、纵摆及横转并且计算结合距离的测量。选择结合距离最小的修剪的值并且用所选择的修剪的上下的新剪切值重复测试。为了实现快速求解，现将shear_range的值二等分。重复该过程直至shear_range的值低于阈值。在实施方式中，这可以是0.0001。此时，将会寻找到最佳修剪并且应当与为右边摄像机计算的横摆、纵摆及横转参数一起使用。
该改变的值将会应用于左边的摄像机的图像作为步骤S8401的值并且修剪的相等及相反值应用于来自右边摄像机的图像（步骤S8402）。
该过程继续直至达到总体最小结合距离。
技术人员应理解图10中所描述的以上方法是尤其快的。这是因为检测到的修剪值的搜索范围小。换言之，通过在校正焦距、横摆、纵摆及横转之后施加修剪校正，与施加修剪校正作为算法的部分以寻找焦距、横摆及横转相比，搜索范围小。
为了进一步改善拼接图像，应用亮度校正。这校正了曝光中的差异。向亮度值应用乘法因数以更好地匹配相邻摄像机元件104的曝光。这些可手动或自动地执行。如果自动执行，寻找亮度乘法因数，其使每个摄像机元件上重叠区域中的平均像素值相同。
最终，向重叠区域的边缘应用α混合（步骤S845）。为每个摄像机元件的左右侧定义图像的起点和百分比。
在本公开的实施方式中，其中存在三个摄像机馈送，中心摄像机图像显示于左右侧的摄像机图像上。这意味着只需向中心图像的左右侧边缘应用混合。
在边缘已经混合之后，形成合成图象。
虚拟摄像机
如上所述，可缩放内容制备构件110的输出提供虚拟摄像机输出。虚拟摄像机输出允许用户将片段移动至拼接图像内的任何地方并且将该分割的区域输出至用户装置122。为了创造真实的虚拟摄像机输出，如将说明的，可缩放内容制备构件110需要对片段进行变换。
单镜头摄像机捕捉的图像
虽然上面已经描述了图像101为拼接图像，能够生成虚拟摄像机输出作为单镜头摄像机捕捉的图像的裁剪图像。图11示出了由单镜头摄像机使用广角镜头101捕捉的图像。由于摄像机元件104位于足球场上，图像101是“电视广播”视图。换言之，摄像机元件104在捕捉真实的场景时具有稍微向下的纵摆。
图12示出了在图12中示出的图像的一个部分的裁剪图像（或者片段）300。图像的裁剪图像是图像101的片段并且复制指向真实的场景内的位置的虚拟摄像机。图像101的裁剪图像300的位置和尺寸可以由用户使用鼠标或者编辑软件中的具体滚球来控制。这复制了摄像机操作者向摄像机构件104施加摇镜头、倾斜和摆动的动作。通过调整裁剪图像300的尺寸，复制缩放的施加。换言之，可以根据生产要求移动和改变图像的裁剪图像的位置和尺寸。编辑软件可以远离真实的场景或者可以在计算机107上执行。可选地，对象检测和/或跟踪算法可以确定图像的裁剪图像300的位置。在该实例中，图像的裁剪图像300可以跟随球状物或一个或多个特定的参与者或参与者的组。
通常，图像101的裁剪图像300被提供至不同于图像101的显示器。例如，如果图像101是拼接使用各自具有4K分辨率的两个摄像机捕捉的两个图像而形成的图像，那么裁剪图像300可以提供至高清电视，或者如 在图1的情况中提供至手提装置。图像的裁剪图像300旨在复制指向真实场景的特定区域并且缩放真实场景的特定区域的摄像机。
应注意虽然已描述裁剪图像300显示于低分辨率的显示器上，但不必一定是这种情况。例如，虽然裁剪图像300可以覆盖比图像101的区域小的区域，并且因而将由小数量的像素数形成，但裁剪图像300仍可显示于4K分辨率的显示器上。在这种情况下，能够使用像素内插以便低分辨率裁剪图像仍可显示于整个4K分辨率显示器上。
图13示出了裁剪图像300在显示时的放大图。
以与在上述美国公开（美国2011/0052093A）中说明的相类似的方式生成裁剪图像，其中裁剪图像300通常显示在手持装置上。
从图13可以看出如果摄像机元件104事实上确实捕捉到图像的片段，裁剪图像300的透视与所示出的透视不同。换言之，从裁剪图像300的透视看，显而易见的是图像的裁剪图像没有复制指向真实场景内的位置的摄像机构件104。特别地，未校正的图像101的裁剪图像300中的球门柱的垂直线305看起来是倾斜的。
如在图14A到图14C中可以看出，在实施方式中，可缩放内容制备构件110使用虚拟摄像机1600获得透视已被校正的图像101的裁剪图像。虚拟摄像机1600的位置是相对于真实摄像机104的位置而指定的。具体地，虚拟摄像机1600的位置是由相对于真实摄像机104的横摆、纵摆以及横转的横摆、纵摆以及横转来定义的。等到考虑虚拟摄像机1600的焦点平面1605及其相对于真实摄像机104的焦点平面1505的位置时，可以获得透视已经被校正的图像裁剪图像的形状。在下文进行详细的说明。
在图14A中，虚拟摄像机1600相对于捕捉场景的图像的真实摄像机104的横摆以θ_V的横摆来定位，真实摄像机104的横摆被调到零。为简单起见，图14A仅示出了虚拟摄像机1600的横摆。未示出施加于虚拟摄像机1600的任何纵摆或横转。然而，技术人员将会理解图14A可同样应用于虚拟摄像机的纵摆或横转，并且实际上，可同时改变虚拟摄像机的横摆、纵摆和/或横转中的任何一个，因为虚拟摄像机是三维旋转的。因为虚拟摄 像机1600的横摆与真实摄像机104的横摆相差θ_V，所以虚拟摄像机1600的焦点平面1605从真实摄像机104的焦点平面1505偏移θ_V角度。
能够看出在图14A中，虚拟摄像机1600的焦点平面1605包括对应于虚拟摄像机1600的视野的部分1620；虚拟摄像机1600的视野是由虚线1610表示。在实施方式中，透视已被校正的图像101的裁剪图像的形状能够通过将图像101的相关部分投影到与虚拟摄像机1600有关的部分1620上来获得。换言之，通过对图像101的相关部分进行旋转变换角度θ_V，可以获得透视已被校正的图像101的裁剪图像。
这在图14B中示出，其中原始图像确定为三维空间中的平面1625。这里，从上面直接观看原始图像的平面1625。也示出虚拟摄像机部分1620，其为虚拟摄像机焦点平面1605的一部分。为了获得透视已被校正的图像101的裁剪图像形状，原始图像平面1625的相关部分1630以角度θ_V被变换到虚拟摄像机部分1620上。在实施方式中，原始图像平面1625的相关部分1630在形状上是矩形并且相当于图13的矩形裁剪图像部分300。如在图14C中所示，通过变换相关部分1630角度θ_V，当从真实摄像机104的观看点考虑时，相关部分1630的矩形形状变换至透视校正过的形状1635。如将要说明的，透视校正过的形状1635用于生成透视已被校正过并且可以显示于诸如高清电视的装置或手持装置上的图像101的裁剪图像。
如已提及，图14A到图14C仅示出虚拟摄像机1600的横摆θ_V上的改变所得到的变换。实际上，在虚拟摄像机三维旋转时，虚拟摄像机1600的横摆、纵摆以及横转中的任何一个或多个可以同时改变。在实施方式中，与虚拟摄像机1600的横摆、纵摆以及横转有关的变换中的每一个可以表示为相应矩阵。当然，横摆、纵摆以及横转中的任何一个或多个可以表示为相应矩阵。
与虚拟摄像机1600的纵摆有关的变换可使用纵摆旋转矩阵表示：

纵摆由绕x-轴的角定义。
与虚拟摄像机1600的横摆有关的变换可使用横摆旋转矩阵表示：
YV=cosθV0-sinθV010sinθV0cosθV,]]>
横摆由绕y-轴的角度θ_V来定义。
与虚拟摄像机1600的横转有关的变换可使用横转旋转矩阵表示：
RV=cosρVsinρV0-sinρVcosρV0001,]]>
横转由绕z-轴的角度ρ_V来定义。
因而完全的变换可以表示为虚拟摄像机旋转矩阵，给出为：
V=P_V*Y_V*R_V(1)
应注意在等式1中所写的矩阵P_V、Y_V和R_V的顺序得出虚拟摄像机旋转矩阵V，其达到看起来最自然的透视校正过的裁剪图像。然而，在实施方式中，矩阵P_V、Y_V和R_V一起相乘的顺序也可不同于在等式1中所写的。
到目前为止在该描述中，根据实施方式，已经介绍了从原始图像的相关部分1630获得透视校正的形状1635的构思。具体地，已经说明了通过对原始图像平面1625的相关部分1630进行变换（变换是根据虚拟摄像机的纵摆、横转和横摆的任何一个或多个来确定），相关部分1630的矩形形状被变换成透视校正过的形状1635。
在实施方式中，具有透视校正过的形状1635的图像101的裁剪图像可以在装置上显示为放大（zoom in）的图像，诸如高清电视或手持装置（即，在显示分辨率比图像101的分辨率低的图像的装置上）。现在将描述这个。
根据实施方式，透视校正过的裁剪图像的生成包括从预定矩形平面开始。矩形形状表示当其显示在显示装置上的时候透视校正的裁剪图像的期望形状。例如，矩形形状是在其上显示透视校正过的裁剪图像的屏幕的形状。然后根据虚拟摄像机的横摆、纵摆以及横转变换预定矩形平面从而获得透视校正的裁剪图像形状。在图15A到图15C中示出过程。
图15A示出了如在三维坐标系统中定义的预定矩形平面。预定矩形平面定义如下：
s=sxsysz]]>
其中：
s_x定义在-n_x-+n_x范围内，其中
s_y定义在范围-rn_x-+rn_x内，其中r是裁剪图像的屏幕纵横比，给出为以及
s_x=-F_V*n_x=虚拟摄像机600的焦距，F_V，由n_x规范化。
这里，裁剪图像宽/高比是当其显示在低分辨率装置上时裁剪图像的宽/高比并且图像宽度是图像200的宽度。在实施方式中，可以以像素度量裁剪图像宽/高比和图像宽度。由于s_z=-F_V*n_x（即，规范化的虚拟摄像机焦距的负值），在图15A中示出的矩形平面有效定位于与页面相距-F_V*n_x的位置。虚拟摄像机焦距F_V是以单位定义的以使得对于90度的视野来说焦距为1。
预定矩形平面然后根据虚拟摄像机旋转矩阵V被变换。这会得出变换平面c，给出为：
c=cxcycz]]>
变换平面c是由等式获得的：
c=V*s
这可全部写出为：





在图15B中示出变换平面c。为简单起见，可以看出已经通过绕y轴旋转θ_V角度从矩形平面s获得变换平面c。这对应相对于摄像机104的虚拟摄像机1600的θ_V的横摆。实际上，矩形平面s的变换可以是虚拟摄像机的非零度横摆、纵摆以及横转的结果，导致绕x、y和z轴的每个旋转。
当从摄像机104的透视考虑时，变换平面c看起来已经移动至与平面s相比不同的位置。这是因为当平面s位于非零z位置时变换平面c是绕原点（x=0、y=0、z=0）旋转平面s的结果，出自s_z=-F_V*n_x。
变换平面c也看起来具有扭曲的、非矩形形状。这是图像裁剪图像的透视校正过的形状1635。下一步是将透视校正过的形状1635变换成二维的，以便具有透视校正过的形状的裁剪图像能够被映射到二维图像101上。这是通过由变换平面c的坐标c_x和c_y除以c_z，并且然后通过摄像机104的焦距-F_c放大来达到的，从而获得二维坐标系：
c′=cx′cy′]]>
其中：


在图15C中示出坐标系c’。坐标c’定义图像裁剪图像的形状1635，其必须使用以用于图像裁剪图像的透视，以在作为低分辨率装置（诸如高清电视）上的图像200的放大部分显示时看起来正确。是输出在-1到+1范围内，以及输出在-α到+α范围内，其中α是图像101的纵横比，出自而且，摄像机104的焦距F_c是以单位定义的以便对于90度的视野F_c=1。
在实施方式中，能够使用来自摄像机的透镜的元数据自动获得摄像机104的焦距F_c。这无论透镜何时改变在不需要用户必须手动改变可放大内容制备构件110的计算中使用的焦距F_c的情况下对于任意透镜能够生成二维透视校正过的形状1635。可替换地，焦距F_c可由用户设置。
虚拟摄像机1600的横摆和纵摆是由计算机107控制的。能够自动计算虚拟摄像机的横转ρ_V以校正摄像机搭建台（rig）的倾斜引起的或在用广角镜头摄影时自然出现的失真引起的原始图像中的横转。当从原始图像中拍摄裁剪图像时横转尤其明显。
例如，虚拟摄像机横转可计算如下：

其中是摄像机搭建台的倾斜（纵摆）角度（例如，20度）并且是如之前定义的虚拟摄像机的横摆和纵摆。这样，在不需要用户进行任何补充校正的情况下能够自动计算正确的横转。
搭建台的倾斜角度能够从摄像机中或三脚架（诸如加速计）中的传感器或者外部装置获得，或者其能够在校准过程中由用户手动输入。
如果摄像机的搭建台不是水平的并且具有其自己的横转，虚拟摄像机横转也必须为此而校正。让摄像机搭建台横转=ρ_rig。那么虚拟摄像机横转可计算如下：

可选地，如果不知道搭建台倾斜，通过调整附加参数ρ_manual，可进行手动调整。那么诸如以下等式2的等式可用于计算虚拟摄像机横转：

当虚拟摄像机朝一侧摇摄时用户应当调整ρ_manual直至垂线正确地出现于屏幕上。然而，优选使用搭建台倾斜的等式。
为了校正摄像机104的透镜所引起的任何图像失真，透镜失真校正也可通过可缩放内容制备构件110应用于坐标c′。通过调整衍生出的坐标c′能够实现校正，通过少量取决于透镜失真的本质使用上述的等式能够发现校正。
例如，坐标系c′中的位置（c_x′，c_y′)可向原点移动或从原点移开。当与原始图像101一起使用具有透视校正过的形状1635的图像裁剪图像时，这将帮助相应补偿原始图像101中的枕形或桶形失真（如以后描述）。这可使用以下等式完成：
c″_x=c_x′+b*c_x′*(C-l²)
c″_y=c_y′+b*c_y′*(C-l²)
其中
l²=(c_x′*c_x′+c_y′*c_y′)*K
并且C和K是常数。对于典型的CCD，当原始图像101是16:9的纵横比图片时，C=1.70并且K=1.29提供良好的结果。
b是透镜失真校正参数。这应当根据正在使用的摄像机104的透镜来设置。如果透镜是变焦透镜，那么参数b可能在不同的焦距处是不同的。
对于没有必要进行透镜失真校正的情况，b=0。
b>0来校正桶形失真，同时b<0以校正枕形失真。在实施方式中，我们可具有-0.1<b<0.1。
透镜失真特性能够传给可缩放内容制备构件505作为来自透镜的其他元数据。然后透镜失真参数b能够由此得出。
可选地，仅透镜规格（产品来源和型式）能够传给可缩放内容制备构件110作为元数据并且然后这在存储于存储介质114中的查找表中能够查 出以找到适当的透镜失真校正参数b。对于变焦透镜，也可从透镜传出当前焦距，F_c,，以允许查出指定透镜在指定焦距处的透镜失真参数b。
当应用以上透镜失真校正算法时，由坐标c′定义的透视校正的形状1635的角应当始终保持在相同的坐标处，同时边缘将向中心移动（当校正枕形失真时）或者远离中心（当校正桶形失真时）。
我们应注意，以下说明是指坐标c′，即，透镜失真没有被校正的变换坐标平面。然而，将理解当已经进行透镜失真校正时该说明也应用于c′坐标平面。
图15A到图15C的过程的结果是对于所期望的低分辨率、矩形、放大图像的任何给出的像素坐标s_x,s_y，能够计算图像101中相应源像素的位置。这将用于给定的虚拟摄像机横摆θ_V、纵摆横转ρ_V、以及焦距F_V，用于给定的原始摄像机焦距F_c，以及用于图像101的每个的给定高度和宽度以及所期望的低分辨率的放大的图像。这源于坐标c’根据图像101的尺寸成比例缩放（scale）（如必要的话）并偏移。
坐标c’也许必须成比例缩放因为需要相对于规范化的原始图像大小（回忆cx’在-1与+1之间并且cy’在-a与+a之间）计算它们。实际上需要的是相对于图像101的实际尺寸来定义坐标c’。如下文将说明的，这是因为坐标c’形成图像的透视校正的裁剪图像1300’。因此，如果实际图像尺寸与规范化图像尺寸不同，那么有必要缩放。坐标c’的缩放是使得c_x在-图像宽度/2与+图像宽度/2（图像宽度是原始图像101的宽度）之间并且c_y是在-图像高度/2与+图像高度/2（图像高度是原始图像101的宽度）之间。
坐标c’也必须通过将图像宽度/2增加至c_x并且将图像高度/2增加至c_y偏移。有必要偏移因为已经定义了坐标c’从而包括正坐标值和负坐标值两者（即，cx在-图像宽度/2与+图像宽度/2之间并且c_y在-图像高度/2与+图像高度/2之间），其中，图像101中的像素仅使用正坐标（即，x方向上的0到图像宽度之间以及y方向上的0到图像高度之间）定义。通过将图像宽度/2增加至cx’并且将图像高度/2增加至c_y’偏移坐标c’。如将更详细地说明，这允许坐标c’定义图像101的裁剪图像300’。
参考图16到图24描述图像101中的相应源像素的发现。
图16A和16B分别是图15A和15C的重建版本。然而不同是像素位置已经被标到坐标系s和c’上。具体地，在图16A中，已经在平面s上标了像素位置800。这些像素位置800相当于要在低分辨率装置上显示的矩形放大图像中的像素的位置。在图16B中，示出变换平面c’上的变换像素位置800’。变换像素位置800’是向平面s应用虚拟摄像机旋转矩阵V的结果（参见图15B）并且在像素位置800上进行之前描述的二维变换（参见图15C）。
在图16B中的像素位置800’的设置形成图像101的裁剪图像的透视校正的形状1635。要在相关低分辨率装置上显示的透视校正的放大图像现在可通过将像素位置800’映射至图像101中的适当的像素位置来获得。接下来通过变换后的像素位置800’与原始像素位置800之间的一对一的关系使用图像101中映射像素的值以获得矩形放大图像的像素值。参考图17A到图17B更详细地说明。
图17A示出了变换平面c’的变换像素位置800A’、800B’、800C’、800D’以及800E’。将证明这些变换像素位置中的每个如何将映射至图像101中的相应像素。应当理解在实施方式中，变换平面c’上的所有的像素位置将使用针对像素位置800A’、800B’、800C’、800D’、以及800E’所描述的方法来各自映射至图像101中的相应像素。
图17B示出了一旦变换平面c’已经根据原始图像的尺寸按比例缩放（如必要的话）并且偏移的变换像素位置800A’、800B’、800C’、800D’、以及800E’。这允许变换像素位置800A’、800B’、800C’、800D’、以及800E’映射至图像101。更具体地，变换像素位置800A’、800B’、800C’、800D’、以及800E’能够各自映射到图像101的像素上。对于各个变换像素位置，已经被映射的像素的值可与变换像素位置有关。
在图17B中，可看出变换像素位置800A’与原始图像101的像素值N1相关关。类似地，变换像素位置800B’与原始图像101的像素值N2相关。对于余下的变换像素位置重复该方法，以便变换像素位置800C’、800D’、 以及800E’分别与像素值N3、N4和Nn相关。像素值Nn是任意像素值，用于证明像素匹配过程能够用于变换平面c’上任意数量的变换像素位置。
在实施方式中，图像101的像素可以是颜色像素。因此，每个像素值N1、N2等可包括例如颜色红色、绿色和蓝色中每个的单独值。
在图17C中，示出平面s的原始像素位置，标记有800A、800B、800C、800D、以及800E。这些分别对应变换像素位置800A’、800B’、800C’、800D’、以及800E’。因为像素值N1已与变换像素位置800A’相关，像素N1也可以与原始像素位置800A相关。这是因为像素位置800A和变换像素位置800A’之间的一对一对应。这也适用于像素值N2、N3等中的每个。具体地，像素值N2可与原始像素位置800B相关，像素值N3可与原始像素位置800C相关，依此类推。在矩形的、透视校正的放大的图像中，通过平面s确定其形状，然后使用像素值N₁到N_n能够确定像素位置800A到800E中像素的值。
使用该方法，原始像素位置800中的每个可映射至图像101中的相应像素。因而能够使用图像101的所选择的像素获得矩形的透视校正的放大图像。应注意图像101的所选择的像素以透视校正的图像裁剪图像形状1635形成像素的碎片（patch）。如在图17B中所示，这是透视校正的图像裁剪图像300’。
图18与图12相似，但是示出了透视校正的图像裁剪图像300’而不是传统的矩形图像裁剪图像300。通过使用透视校正的图像裁剪图像，可以获得图像101的放大的低分辨率的部分，其看起来像通过真实的摄像机104的真实、物理摇摄、倾斜和/或放大捕捉的。从裁剪图像300’的像素中生成这种放大的图像，并且在图18中示出。从裁剪图像300’中生成的放大图像避免使用非校正的裁剪图像300出现的看起来不自然的透视。
图19示出了映射至裁剪图像300’中的变换像素位置800’的像素N_n的位置没有精确地落至图像101中的像素位置上的情况。这种情况可出现于如果例如虚拟摄像机的运动完美地持续，即，不会呈颗粒化（granulated）从而考虑图像101是由离散像素形成的事实。
在该实例中，示出图像101中实际像素位置中的四个。这些实际像素位置是由(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)表示的。因而使用至少一个这些像素位置来确定像素值N_n。在实施方式中，能够使用与所选择的像素位置的值最靠近的像素的值。可选地，能够使用图像101中至少两个实际像素的值的平均值或加权平均值。
在图24中示出描述该过程的流程图2000。过程始于步骤2001。在步骤2002中，确定当向低分辨率装置的用户显示时的裁剪图像的形状。这通常是适合显示器的屏幕的形状的矩形裁剪图像。在步骤2004中，根据虚拟摄像机的纵摆、横摆以及横转变换裁剪图像。这提供了裁剪图像的位置及透视校正的形状。在这个阶段实施缩放（如必要的话）和偏移。在步骤2005中，透视校正的裁剪图像中的像素位置映射至原始图像中的像素位置。这样，获得要在低分辨率装置上显示的图像的像素值。在步骤2006中，在低分辨率装置上显示透视校正过的图像。最后，在步骤2007中，过程结束。
多个摄像机
尽管以上是针对一个摄像机论述的，图像101也可以是从两个摄像机中生产的拼接图像。这是图1中所描述的情形。
如前所述，通过使用多个摄像机从不同的位置捕捉场景的图像，在仍维持缩放图像中合理的高分辨率的同时虚拟摄像机能够有效地放大场景的部分。当然，摄像机的数目不限于两个。可以使用任何数量的摄像机。
图21示出了两个摄像机104A和104B的每个的焦点平面，摄像机被保持在搭建台1800上。右边摄像机104B的焦点平面是焦点平面FP1并且左边摄像机104A的焦点平面是焦点平面FP2。焦点平面FP1和FP2分别以相对于参考平面1805的角度和而成角度。相对于参考方位1810来确定虚拟摄像机600的方位。当虚拟摄像机600的方位是参考方位1800时，那么虚拟摄像机的焦点平面与参考平面1805对齐。
在实施方式中，摄像机的焦点平面FP1和FP2可以不相对于参考平面1805仅以一个旋转维度来定位。相反，摄像机104A和104B的每个可以三维（通过横摆、纵摆和/或横转）旋转，导致焦点平面FP1和FP2相对 于参考平面1805以三个旋转维度定位。摄像机104A和104B的每个因而可与摄像机旋转矩阵R相关。摄像机旋转矩阵R类似于虚拟摄像机旋转矩阵V。在实施方式中，一般摄像机旋转矩阵R可表示为纵摆、横摆以及横转的组合：
R=R_R=P_R*Y_R
其中P_R是纵摆旋转矩阵，给出为：

纵摆是绕x轴的角度的旋转；
Y_R是横摆旋转矩阵，给出为：
YR=cosθR0sinθR010-sinθR0cosθR,]]>
横摆是绕y轴的角度θ_R的旋转；以及
R_R是横转旋转矩阵，给出为：
RR=cosθR-snρR0sinρRsonρR0001,]]>
横转是绕z轴的角度ρ_R的旋转。
而且，已发现如此处给出的R_R、P_R和Y_R一起相乘以获得R的顺序得出了看起来最自然的图像裁剪图像。然而，R_R、P_R和Y_R也能够以不同的顺序相乘。
因为摄像机104A和104B的每个的方位不同，所以摄像机104A和104B的每个与不同的摄像机旋转矩阵R相关。具体地，具有焦点平面FP1的摄像机104B可以与第一摄像机旋转矩阵R₁相关，并且具有焦点平面FP2的摄像机104A可以与第二摄像机旋转矩阵R₂相关。摄像机旋转矩阵R1和R2中的每个由它们相应的摄像机的横摆、纵摆以及横转定义并且由位于可缩放内容制备构件110中的摄像机位置计算装置来计算。
从焦点平面FP1和FP2中的对象分别形成来自摄像机104B和104A的每个的图像。然后如上所述可以将图像拼接到一起以获得二维拼接图像。在图22中以图像1900示出。在实施方式中，拼接图像可包括：第一区域 1905，图像数据仅对应第一焦点平面FP1（即，来自摄像机104B）；第二区域1910，图像数据仅对应第二焦点平面FP2（即，来自摄像机104A）以及第三区域1915，图像数据对应焦点平面FP1和FP2两者（即，来自两个摄像机）。由于焦点平面FP1和FP2的重叠部分而形成第三区域1915。
回想在之前描述的单图像实施方式（即，其中图像101是从单摄像机捕捉的图像）中，通过期望放大的、低分辨率的图像的尺寸和形状的预定矩形平面乘以虚拟摄像机旋转矩阵V获得透视校正的图像裁剪图像形状1635。这也应用至多个图像拼接的实施方式中。然而，需要额外的项以补充摄像机104A和104B的不同的方位。该项是相关的摄像机旋转矩阵R1或R2。因此，对于拼接图像的实施方式，变换等式
c=V*s
变成
c=R*V*s
其中，R可为R1或R2，诸如平面c变换到二维从而获得坐标c’的其余处理保持与参考单摄像机实施方式所描述的相同。
因此，当存在两个摄像机时，对于预定矩形平面s中的像素位置800中的每个都存在两种可能的变换。具体地，存在一个R1变换以及R2变换。为了获得裁剪图像300’的所需透视校正的形状和位置，针对R1和R2两者进行平面s中的像素位置的每个的变换。一旦已经实现二维变换以获得c’坐标，得到的c’坐标的值显示来自最左边的图像（来自摄像机104B，由焦点平面FP1中的对象形成）或最右边的图像（来自摄像机104A，由焦点平面FP2中的对象形成）的像素是否用作源像素。
为了更详细地考虑，回想起对于单摄像机的情况，二维变换的坐标c_x′将在-1与1之间并且二维变换的坐标c_y′将在-a与a之间，其中，（图像高度和图像宽度分别是原始图像101的高度和宽度）。对于多个摄像机的情况，针对R1和R2中的至少一个也应该施加这些限制至变换的坐标（c_x′，c_y′）（限制a是根据来自摄像机104A和104B的一个的图像的高度和宽度确定的）。对于给定原始像素位置800，存在遵循使用R1和R2中的每一个的变换的三种可能的情况。
在第一种情况中，在使用R₁而不是使用R₂时，变换的像素位置800’的所获得的坐标(c_x′,c_y′)在以上所定义的限制内。这意味着要使用的校正变换像素位置800’是用于R₁的一个。这也意味着将从左手侧的图像（即，从摄像机104B的焦点平面FP1所定义的图像中）获得与原始像素位置800相关的像素值（以形成最终放大的图像）。
在第二中情况中，在使用R₂而不是使用R₁时，变换的像素位置800’的所获得的坐标(c_x′,c_y′)在以上定义的限制中。这意味着要使用的校正变换像素位置800’是用于R₂的一个。这也意味着将从右手侧的图像（即，从摄像机104A的焦点平面FP2所定义的图像中）获得与原始像素位置800有关的像素值（以形成最终放大的图像）。
在第三种情况中，变换像素位置800’的所获得的坐标(c_x′,c_y′)在R₁和R₂两者的以上定义的限制内。这意味着可以使用任何一个变换像素位置800’并且可以从左手侧的图像或右手侧的图像中得出源像素值。
在实施方式中，在这种情况下，可缩放内容制备构件110可以被设置为选择变换像素位置800’中的一个。例如，可缩放内容制备构件505可以被设置为始终选择为R₁确定的变换像素位置800’（尽管，同样可能反而选择为R2确定的变换像素位置800’）。在这种情况下，将从左手侧的图像中得到与原始像素位置800相关的像素值（以形成最终的放大图像）。可选地，能够使用两者计算出的变换像素位置800’，并且能够获得与原始像素位置800有关的像素值（以形成最终放大的图像）作为左手侧和右手侧的原始图像中映射像素值的加权组合。
因此，通过单独使用摄像机旋转矩阵R1和R2变换像素位置800中的每一个，并且之后通过使用预定c’坐标限制选择所得到的变换像素位置中的一个来获得一组最终变换像素位置800’。而且，对于每个变换像素位置800’，可以发现与有关原始像素位置800相关的像素值用于形成最终透视校正的放大的图像。
以与之前参照图17A到图17C所描述的单摄像机的情况相类似的方式，所变换的像素位置800’形成透视校正的裁剪图像300’的形状。通过视情况缩放和偏移变换像素位置800’的设置，来自由摄像机104A和104B 捕捉的原始图像中的至少一个的像素值可以与原始像素位置800中的每一个相关，从而使得能够获得透视校正的放大的图像。
在图24中示出描述该过程的流程图2100。过程始于步骤2101。在步骤2102中，确定裁剪图像在向低分辨率装置的用户显示时的形状。这通常是成形为适合显示器的屏幕的形状的矩形裁剪图像。在步骤2103中，根据真实摄像机的纵摆、横摆和/或横转以及根据虚拟摄像机的横摆、纵摆和/或横转来变换裁剪图像。这就为裁剪图像提供了多个可能的变换。在步骤2104中，确定裁剪图像的校正的变换。校正的变换是变换的裁剪图像的像素位置在预定规范化的x和y极限内的变换。可能存在给定像素位置的多于一个的校正变换。这提供了相对于与一个或多个校正变换有关的一个或多个原始图像的裁剪图像的位置和透视校正的形状。在这个阶段进行缩放（如必要的话）和偏移。在步骤2105中，透视校正的裁剪图像中的像素位置被映射至一个或多个原始图像中的像素位置。这样，获得要在低分辨率装置上显示的图像的像素值。在步骤2106中，在低分辨率装置上显示透视校正过的图像。最后，在步骤2008中，过程结束。
虚拟摄像机限制算法
对于单摄像机和多个摄像机的两种情况，使用透视校正的裁剪图像300’从原始捕捉图像101的像素值中获得低分辨率透视校正的放大图像。具体地，在缩放和偏移透视校正的裁剪图像300’的区域内的像素值用于生成透视校正的裁剪图形的像素。
为了保证在所得出的放大图像中没有空白像素（即，不能获得数据的像素），可以向虚拟摄像机600的三维旋转应用限制处理从而保证缩放和偏移透视校正的裁剪图像300’的整体保持在原始图像的区域内。换言之，必须保证没有裁剪图像300’中的任何部分能够移出原始图像的区域外，因为这将导致放大的图像的某些区域留出空白（因为原始图像中没有相应的像素数据）。
在实施方式中，以下限制算法可以用于确保裁剪图像300’保持在原始捕捉图像的区域内。
回想以下等式3定义计算原始像素位置800的变换像素位置800’的第一步骤。具体地，该等式描述了预定矩形平面s的旋转变换以获得平面c（参见图15A到图15B）：
c=R*V*s（3）
对于多个摄像机的情况，摄像机旋转矩阵R表示为每个摄像机的纵摆、横摆和横转的组合：
R=R_R*P_R*Y_R
对于单摄像机的情况，不需要物理摄像机104的旋转，并且由此设置R等于单位（identity）矩阵（I）。
虚拟摄像机旋转矩阵V也表示为纵摆、横摆和横转的组合（即使以不同的顺序）：
V=P_V*Y_V*R_V
所以，获得变换坐标平面c的等式
c=R*V*s
可写成：
c=R_R*P_R*Y_R*P_V*Y_V*R_V*s
虚拟摄像机600的最小和最大横摆和纵摆取决于虚拟摄像机的当前的缩放水平以及当前位置。
横摆限制算法
虚拟摄像机的最小横摆能够被认为是最终放大的图像（由平面s表示）的左角与左边缘原始图像101相接（meet）的横摆。这可通过找到给定组的变换坐标c’和原始坐标s的横摆θ_V来获得。诸如当前纵摆横转ρ_V和焦距F_v的所有的其他参数固定在其用于计算的电流值。
首先，结合虚拟摄像机横摆旋转矩阵的任一侧的项，Y_v，给出：
c=A*Y_V*B*s
其中，
A=R_R*P_R*Y_R*P_V
并且
B=R_V
让矢量p为部分结果，
p=B*s
所以
c=A*Y_V*p
全部写出为：
cxcycz=A11A12A13A21A22A23A31A32A33*cosθV0-sinθV010sinθV0cosθV*pxpypz]]>
cxcycz=A11A12A13A21A22A23A31A32A33*pxcosθV-pzsinθVpypxsinθV+pzcosθV]]>
cxcycz=A11pxcosθV-A11pzsinθV+A12py+A13pxsinθV+A13pzcosθVA21pxcosθV-A21pzsinθV+A22py+A23pxsinθV+A23pzcosθVA31pxcosθV-A31pzsinθV+A32py+A33pxsinθV+A33pzcosθV]]>
我们对与原始图像的左边缘相一致的透视校正的裁剪图像300’的最左边的角进行研究。这将会出现在如在x方向上定义的二维变换平面c’的最左边的值给出为c_x′=-1时。我们回想起通过c_x除以c_z能够得出c_x′，并且然后通过摄像机104的焦距(F_c)放大。
cx′=-Fc*cxcz]]>
c_x′=-F_c
*A11pxcosθV-A11pzsinθV+A12py+A13pxsinθV+A13pzcosθVA31pzcosθV-A31pzsinθV+S32py+A33pxsinθV+A33pzcosθV]]>
cx′A31pxcosθV-cx′A31pzsinθV+cx′A32py+cx′A33pxsinθV+cx′A33pzcosθV=-FcA11pxcosθV+FcA11pzsinθV-FcA12py-FcA13pxsinθV-FcA13pzcosθV]]>
(cx′A31px+cx′A33pz+FcA11px+FcA13pz)cosθV+(-cx′A31pz+cx′A33px-FcA11pz+FcA13px)sinθV=-cx′A32py-FcA12py]]>
形式是：
acosθ+bsinθ=c
这可通过使用三角恒等式来解答：
cos(θ-α)=cosθcosα+sinθsinα
首先，引入R：
∴Rcos(θ-α)=Rcosθcosα+Rsinθsinα
∴Rcos(θ-α=(Rcosα)cosθ+(Rsinα)sinθ
让a=Rcosα;bcosα=Rsinα
然后：
Rcos(θ-a)=acosθ+bsinθ
现在，
a²+b²=R²cos²α+R²sin²α=R²(cos²α+sin²α)=R²
∴R=a2+b2]]>
并且，RsinαRcosα=ba,]]>∴tanα=ba]]>
∴α=tan-1ba]]>
所以，
a2+b2cos(θ-α)=αcosθ+bsinθ]]>
其中，αα=tan-1ba]]>
与αcosθ+bsinθ=c相比，我们得出:
c=a2+b2cos(θ-α)]]>
重排发现：
cos(θ-α)=ca2+b2]]>
θ-α=cos-1ca2+b2]]>
θ=cos-1ca2+b2+α]]>
θ=cos-1ca2+b2+tan-1ba---(4)]]>
现在这可用于通过带入a、b和c的值解出θ_V,：
a=c_x′A₃₁p_x+c_x′A₃₃p_z+F_eA₁₁p_x+F_eA₁₃p_z
b=-C_x′A_3lp_z+c_x′A₃₃p_x-F_cA_llp_z+F_cA_l3p_X
c=-c_x′A₃₂p_y-F_cA_l2p_y
能够从已知摄像机旋转矩阵R（如果可应用）和当前虚拟摄像机摄像机纵摆旋转矩阵中计算出矩阵A：
A=R_R*P_R*Y_R*P_V
使用下式能够计算出部分结果p：
p=B*s
其中，B=R_V是当前虚拟摄像机横转旋转矩阵，并且s是表示期望放大图像的尺寸和形状的矩形平面s的合适的坐标。换言之，s是放大的图像的合适的屏幕坐标（我们回想定义放大图像的实际像素坐标的原始像素位置800被定义在平面s上）。
通常，为每个限制检测两个屏幕坐标。为了找到最小横摆，我们检测左上角屏幕坐标和左下角屏幕坐标。
对于左上角屏幕坐标，设置s=-nxrnx-Fν.]]>
对于左下角屏幕坐标，设置s=-nx-rnx-Fν.]]>
这里，F_υ是虚拟摄像机600的焦距，并且使用之前n_x和r的定义（其描述相对于原始图像的尺寸的放大图像的尺寸）。
如所述，我们对与原始图像的左边缘相一致的透视校正的裁剪图像300’的最左边的角进行研究。这将会出现在如在x方向上定义的二维变换平面c’的最左边的值给出为c_x′=-1时。因而c_x′的值与等式（4）中的左上和左下屏幕坐标中的每个一起使用以获得θ_V的两个值。第一个是左上屏幕坐标与原始图像的左边缘相一致的横摆值，而第二个是左下屏幕坐标与原始图像的左边缘相一致的横摆值。这两个值中的最限制性的（即，最小的负值）应当用作最小横摆的当前值。
重复该过程以找到最小横摆，这次使用右上屏幕坐标和右下屏幕坐标。
对于右上屏幕坐标，设置s=-nxrnx-Fν.]]>
对于右下屏幕坐标，设置s=-nxrnx-Fν.]]>
相对于原始图像的右边缘检测这些坐标，所以这次，应当使用c_x′=1。
这将再次产生被计算出的θ_V的两个值。第一个是右上屏幕坐标与原始图像的右边缘相一致的横摆值，而第二个是右下屏幕坐标与原始图像的右边缘相一致的横摆值。这两个值中的最限制性的（即，最小为正的）应当用作最大横摆的当前值。
在实施方式中，这些限制应用于阻尼算法（如下将描述）中以限制虚拟摄像机位置的当前x值。
应注意如果用户放大（zoom in）或缩小（zoom out），所计算的最小和最大横摆将会受到影响（因为F_υ将会发生变化）并且新的最小和最大横摆将会立即按如在阻尼算法中所描述地被应用。如果用户改变虚拟摄像机1600的纵摆，或者如果虚拟摄像机的横转改变，这也会出现。由于纵摆或搭建台纵摆发生变化或实际上如果描述摄像机104的参数有任何变化，虚拟摄像机的纵摆和/或横转可能会发生变化。这样，虚拟摄像机600一直保持在原始图像的范围内。
因此，所描述的限制技术获得二维变换坐标系c’（即，c_x′=±1）的最左边的和最右边的可能的值，坐标系c’定义透视校正的裁剪图像形状1635。也获得平面s的角的坐标，平面s定义最终放大图像的尺寸和形状。接下来在所有其他的真实摄像机104和虚拟摄像机1600参数固定的情况下限制技术使用这种方式来找到虚拟摄像机1600的最小和最大横摆。
该技术与其他技术相比优点在于其可以使用不同的算法来检测裁剪图像的角是否在原始图像的界限之外并且应用控制机构来校正虚拟摄像机位置。控制机构可能具有某些延迟，所以裁剪图像不能保证总是一直在原始图像的界限内。这会导致放大的图像具有空白像素直至这些随后被校正，这是不合要求的。并且，这种控制机构能够在它们趋向于对错误校正过度时变得不稳定。
为了计算多个图像的最小和最大横摆，将相对于左手侧图像（即，在第一焦点平面FP1中的对象所定义的图像）计算最小横摆并且相对于右手侧图像（即，在第二焦点平面FP2中的目标所定义的图像）计算最大横摆。对于左手边图像，在以上等式中将使用R1。对于右手边图像，在以上等式中将使用R2。
纵摆限制算法
类似的方法用于限制虚拟摄像机的纵摆。在这种情况下，虚拟摄像机纵摆旋转矩阵P_V任一侧的项合并以给出：
c=A*P_V*B*s
其中
A=R_R*P_R*Y_R
并且
B=Y_V*R_V
而且，让矢量p为部分结果，
p=B*s
所以，
c=A*P_V*p
全部写出为：

至于横摆使用相同的方法能够放大，除了这次我们对y位置c_y′进行研究。相同的三角恒等式能够再次用于得出确定纵摆的解决方法。
通常，为每个限制检测两个屏幕坐标。为了找到虚拟摄像机的最小纵摆，检测左上坐标和右上坐标。
对于左上屏幕坐标，设置s=-nxrnx-Fν.]]>
对于右上屏幕坐标，设置s=nxrnx-Fν.]]>
检测原始图像101的顶部边缘的这些坐标，所以应当使用c_y′=α（其中α是如之前定义的原始图像高度与原始图像宽度的比）。这得出计算出的的两个值。第一个是左上屏幕坐标与原始图像的顶部边缘相一致的纵摆值，而第二个值是右上屏幕坐标与原始图像的顶部边缘相一致的纵摆值。这两个值中最限制性的（即，最小为负的）应当用作最小纵摆的当前值。
重复该过程以找到最大纵摆，这次使用左下屏幕坐标和右下屏幕坐标。
对于左下角屏幕坐标，设置s=--nxrnx-Fν.]]>
对于右下角屏幕坐标，设置s=-nxrnx-Fν.]]>
检测原始图像的下边缘的坐标，所以应当使用c_y′=-α。
这将再次产生所计算出的的两个值。第一个是左下屏幕坐标与原始图像的下边缘相一致的纵摆值，而第二个是右下屏幕坐标与原始图像的下边缘相一致的纵摆值。这两个值中的最限制性的（即，最小为正的）应当用作最大纵摆的当前值。
在实施方式中，这些限制应用于阻尼算法（如下将描述）以限制虚拟摄像机位置的当前y值。
在实施方式中，为了获得当存在多个摄像机时的最小和最大纵摆，以上算法可以用于检测当虚拟摄像机朝向左边时θ_V＜0,的左手侧图像（即，第一焦点平面FP1中的对象所定义的图像），以及当虚拟摄像机朝向右时θ_V＞0的右手侧图像（即，第二焦点平面FP2中的对象所定义的图像）。对于左手侧图像，在以上等式中将使用R1。对于右手侧图像，在以上等式中将使用R2。
可选地，可随时计算两个摄像机的纵摆限制（通过检测R1和R2得出最限制性的值）或者当横摆从负变为正时纵摆限制可以从计算左边图像（使用R1）逐渐变化至计算右边图像（使用R2）。
调整透镜失真校正的限制
如之前所述，对定义透视校正的裁剪图像300’的形状1635的变换坐标c’可以进行额外桶形或枕形失真校正。因为这样的额外校正将轻微改变透视校正的裁剪图像300’的形状1635，所以将需要稍微调整对虚拟摄像机1600的运动的限制以将此考虑在内。具体地，当对变换坐标c’进行桶形失真校正时需要减小虚拟摄像机1600的横摆和纵摆限制，因为这将导致变换坐标c’从原始图像101的中心移动得更远（并且从而裁剪图像300’的边缘可能离开在规定限制处的原始图像101）。
使用之前定义的透镜失真校正等式可以减小横摆和/或纵摆的限制以修改用于计算横摆和纵摆限制的c_x′或c_y′的值。这里重复透镜失真校正等式：
c_x″=c_x′+b*c_x′*(C-l²)
c_y″=c_y′+b*c_y′*(C-l²)
其中，
l²=(c_x′*c_x′+c_y′*c_y′)*K
如之前所述，C和K是常量并且b是透镜失真校正参数。
横摆和纵摆限制仅应当在b>0（桶形失真）的时候修改，因为这是桶形失真校正的原始图像的边缘将移向中心并且因而应当使虚拟摄像机限制为更具限制性的时候。应注意原始图像101的边缘朝向中心以校正桶形失真的移动等价于裁剪图像300’的边缘从中心移开以校正桶形失真。在实施方式中，裁剪图像300’的边缘通过使用关于变换坐标c’的失真校正等式从中心移开。有利地，这意味着仅对裁剪图像所需的原始图像101的一部分进行桶形失真校正，降低了需要处理的量。
然而，由于等效性，在裁剪图像300’的形状的桶形失真校正之后，能够通过考虑移动原始图像101的边缘来进行新的限制的计算。以下说明使用该方法的新极限的计算。
横摆限制
当调整c_x′的值(-1或+1)以检测横摆极限时，c_y′=0将会给出最差情况的调整。这是因为c_y′=0是沿着原始图像的左侧边缘或右侧边缘的中点位置，其将会在桶形失真校正后朝向中心移动最大的距离。因此，c_y′=0应 当用于以上透镜失真失真校正等式中以找到c_x′的最差情况的调整值。调整的值c″_x接下来可用于横摆限制等式中代替c_x′。即，代替在横摆限制等式中使用限制c_x=±1，而可以使用用失真校正等式为±1的每个确定的调整的值。
纵摆限制
同样地，当调整c_y′的值(-a或+a)以检测纵摆限制时，c_x′=0将会给出最差情况的调整。这是因为c_x′=0是沿原始图像的顶部边缘或底部边缘的中点的位置，其将会在桶形失真校正之后朝向中心移动最大的距离。因此，c_x′=0应当用于透镜失真等式中以找到最差情况的调整的值c_y′。调整的值c″_y接下来能够用于纵摆限制等式中代替c_y′。即，代替使用纵摆限制等式中的限制c_x=±a，而是可以使用用失真校正等式为±a的每一个确定的调整的值。
应注意，当b为负时，意味着应用枕形失真校正，原始图像101的边缘将远离中心。在这种情况下，可认为能够使横摆和纵摆极限不那么具有限制性。然而，只有原始图像的边缘移动，而在角会在相同的位置。这意味着在横摆和纵摆的限制上最差的情况是在角的位置。因此，为了确保裁剪图像300’在角处始终处于原始图像的范围内，实际上不应该进行改变以使极限不那么具有限制性。
参照图25，提供示出虚拟摄像机限制算法的流程图2200。过程始于2201。在2202中确定虚拟摄像机的最小横摆。在2203中确定虚拟摄像机的最大横摆。在步骤2204中，判定虚拟摄像机的缩放或纵摆或横转的值是否已经变化。如果答案是肯定的，过程返回至步骤2202。可选地，如果答案是否定的，在2205中确定虚拟摄像机的最小纵摆。在2206中确定虚拟摄像机的最大纵摆以及在2207中过程结束。
阻尼和灵敏度算法
阻尼算法的目的是从计算机107的移动中创造具有自然感惯性的真实的虚拟摄像机移动。计算机107用于改变虚拟摄像机600的横摆、纵摆和缩放，并且可包括例如鼠标、操纵杆或跟踪球装置。
接收控制器移动以有规律地更新的x、y和z位置。位置能够被定义为与先前位置的差值（这是鼠标如何发送其坐标）或绝对位置。在实施方式中，可以成倍地改变z位置，以使以某个因数（例如，通过因数2，以便缩放是双倍的）放大花去相同的时间，而不论缩放等级（因此，从x2放大至x4与从x4放大至x8将会花费用户相同的时间量）。
控制器位置出自：
j=jxjyjz]]>
x和y位置将最终解释为虚拟摄像机横摆和纵摆。如已提及，z位置将被解释为虚拟摄像机缩放。
使用缩放版本的控制器位置来计算虚拟摄像机1600的目标横摆、纵摆和缩放（其，结合起来可称作目标虚拟摄像机位置）。缩放的比例取决于所需位置上的灵敏性和控制器的缩放灵敏性。
目标虚拟摄像机位置
这里，PS=位置灵敏性并且ZS=缩放灵敏性。这些可根据用户偏好来设置。通常，x和y的位置灵敏性将是一样的，但是各自能够使用PS的不同的值。例如如果用户想容易地改变摄像机的横摆但难以改变其纵摆，PS的较低值将用于j_y而不是j_x。
此外，PS可根据当前缩放按比例缩放。例如，能够获得PS、PS’的按比例缩小的版本：
ps'=ps/J_z
或者PS′=PS/jz]]>
这确保了当放大的时候将会更慢地改变虚拟摄像机的位置
然后限制虚拟摄像机的目标位置：
目标虚拟摄像机位置
函数f_limit是使用之前所描述的限制算法的函数。这防止虚拟摄像机1600的位置超过横摆和/或纵摆的预定限制，其将会导致最终放大的图像的某些像素留出空白（由于透视校正的裁剪图像300’的对应区域移出原始图像101的边缘）。
虚拟摄像机1600的当前位置，即，当前用于生成放大图像的位置，将以通过阻尼系数确定的速率逐渐修改为向目标位置移动。使用以下等式从之前的位置υ获得在逐渐修改的过程中出现的每个新的暂时的虚拟摄像机位置υ′：
新虚拟摄像机位置
减幅系数d通常是0.1，但如根据用户偏好能够调整成任意值。并且，阻尼系数可以根据新虚拟摄像机位置来改变。例如，阻尼系数可以朝原始图像101的边缘增大以避免虚拟摄像机过度远离原始图像101。
最终，也限制当前虚拟摄像机位置υ′，以再次确保形成最终放大的图像的透视校正的裁剪图像300’的整体保持在原始图像101的边界内。
被限制的新虚拟摄像机位置
有必要进行额外的限制，因为起始虚拟摄像机位置和目标虚拟摄像机位置之间的临时位置将不会预先对限制进行检测。这意味着虚拟摄像机1600好像从一个位置摇摄到另一个位置，在摇摄在原始图像101的限制内的过程中产生所有的临时图像（并且因此不会产生空白像素）。这使得虚拟摄像机1600的摇摄看起来更像真实摄像机拍摄全景的摇摄。
x、y和z位置解释为使用缩放常数的虚拟摄像机的横摆、纵摆和缩放：
横摆，θ_υ=υ_x′*S_x
纵摆，
缩放，F_υ=υ_z′*S_z
这里，S_x，S_y，和S_z是缩放常数。
可选地，因为假设控制器运动表示摄像机以弧形的角运动，通过反正切运算可以获得横摆和纵摆：
横摆，θ_v=tan^-1(υ_x′*S_x)
纵摆，
这使摄像机更准确地等速移动过整个原始（或接合）摄像机图片。
边界的自动生成
现在参照图26A，示出输出超高分辨率图像2600的简单化视图。具体地，超高分辨率图像2600包括拼接图像2610和填充区域2630。换言之，超高分辨率图像2600包括拼接图像2610和填充区域2630。超高分辨率图像2600包括拼接图像2610和填充区域2630两者的理由是因为摄像机位于真实场景上方并且因为摄像机具有不同的视野。换言之，由于摄像机俯瞰真实场景，并彼此具有不同的视野，拼接图像2610不会完全填充超高分辨率图像2600。此外，如在图26A中所示，能够控制虚拟摄像机2620以产生超高清图像2600的裁剪图像（或片段）的透视校正的版本。
现参照图26B，可以看出，裁剪图像2620朝向拼接图像2610的中心移动。这里应当理解由于上述纵摆限制算法，裁剪图像2620限于拼接图像2610的上边缘。换言之，裁剪图像2620仅包括拼接图像2610的部分并且不包括填充区域2630。
参照图26C，裁剪图像2620朝向拼接图像2610的中心。然而，因为虚拟摄像机缩小（即，制成的裁剪图像更大），裁剪图像2620包括拼接图像2610和填充区域2630C的部分两者。在图27A中示出图26C的实际裁剪图像2620。具体地，超高清图像2600的裁剪图像2620C包括期望的拼接图像2610和部分填充区域2630C两者。如应理解，不希望在裁剪图像2620C包括填充区域2630C，因为这会在捕捉图像时破坏虚拟摄像机的幻景（illusion）（或者裁剪图像）。
本公开的实施方式旨在解决这个问题。
参照图26D，示出根据实施方式的裁剪图像2620D（其在应用本公开的实施方式是情况下与裁剪图像2620C相同）。在该裁剪图像2620D中，穿过裁剪图像2620D的宽度绘制边界2640D。上部边界2640D的深度从 裁剪图像2620D中的点A延伸到裁剪图像的上边沿，并且类似地，下部边界2640D的深度从裁剪图像的点B延伸到裁剪图像2640D的下边沿。换言之，从裁剪图像2620D的点A到上缘以及从裁剪图像2620D的点B到下缘绘制边界2640D。在实施方式中，边界2640D的颜色为黑色，虽然本公开并限于此。通过使边界2640D为黑色来提供“信箱”视图的幻景。
点A表示填充区域2630C侵入到裁剪图像2620C处的裁剪图像的上边沿的最低点。类似地，点B表示填充区域2630C侵入裁剪图像2620C处的最低分界线的最高点。在图27B中示出虚拟摄像机视图的输出。具体地，裁剪图像2620D作为虚拟摄像机的输出而显示。在这种情况下，施加边界2640D并且该边界沿虚拟摄像机视图2620D的整个宽度延伸，而不具有所包括的填充区域2630C。这给出了确保维持虚拟摄像机视图的完整性的信箱外观。
类似地，参照图26E，进一步缩小虚拟摄像机视图（即，制成的裁剪图像2620E更大）。因此，与图26C中的视图相比，更多的填充区域2630包括在裁剪图像2620E中。该包括的填充区域是图中的标号是2630E。此外，参照图27C，示出本公开的实施方式的虚拟摄像机视图（即，裁剪图像视图）。可以看出，包括的填充区域2630E大于图27A的实施例中的区域并且又破坏了虚拟摄像机的幻景。
如上说明，在本公开的实施方式中，从裁剪图像2620E的点A到上边缘以及从裁剪图像2620E的点B到下边缘绘制边界2640F。在图27D中示出边界2640F的效果。如在图27D中可以看出，边界2640F确保表示维持虚拟摄像机视图的裁剪图像的幻景。这会通过自动施加边界并且从而表示被输出到用户作为信箱视图的虚拟摄像机视图来实现。
参照图28，示出流程图S2800。流程图S2800示出了边界是如何生成的并且如何施加到裁剪图像的。对于生成裁剪图像的每个帧，在步骤S2805开始该过程。在步骤S2810中计算边界（在图中称为“自动信箱”）的位置稍后在图29中进行详细描述。如将变得显而易见的，仅需要一次计算边界的位置，当打开系统时或者在捕捉真实场景的摄像机在某方面被干扰之后校准系统时，对于其中生成裁剪图像的每一帧，可以存储值并重新使用 该值。这是因为由拼接图像确定自动信箱的位置而不是裁剪图像的位置。通过进行一次这一步骤来减少处理强度。
在步骤S2810中计算出边界的位置之后（或者事实上从存储器中读取出），该过程移动至步骤S2815，在该步骤中，其决定虚拟摄像机的当前缩放水平是否仅示出了拼接图像。换言之，在步骤S815中，其决定裁剪图像是否仅包括拼接图像，或者裁剪图像是否既包括拼接图像又包括填充区域。
如果裁剪图像仅包括拼接图像（从而没有填充区域），那么遵循“否”路线并且不应用消隐（blanking）。这是步骤S2820。这是有利的因为避免了边界的没必要的施加，其最大化可能向用户显示的裁剪图像的量。例如，再参照图26A和图26B，如果始终施加边界，那么将从点A穿过拼接图像的宽度施加边界。这将意味着不必要地除去裁剪图像视图2620A的很多部分，这并不是被期望的。因此，通过在图28中在步骤S2815做出该决定来确保仅在必要时施加边界以维持虚拟摄像机视图的幻景。
再看图28，如果裁剪图像包括拼接图像和填充区域两者，那么遵循“是”路线到步骤S2825。在该步骤中，按照参照图26D、图26F、图27B以及图27D的说明向裁剪图像施加边界。
在施加或者如情况地未施加边界之后，在步骤S2830中结束裁剪图像的位置的处理。
参照图29，提供步骤S2810的更详细的说明。在步骤S2810A开始过程S2810。在步骤S2810B中，来自每个摄像机的捕捉图像的上角变换为虚拟摄像机坐标。有利地为每个摄像机的两个上角（在从两个摄像机制成拼接图像的情况下）执行该步骤以保证向最低点施加边界而不管图像的拼接从而避免在裁剪图像中示出任何填充区域。将捕捉图像的上角变换成虚拟摄像机坐标的机制是在题为“多个摄像机”的部分中说明的反变换。所以代替：
c=R*V*s
使用等式：
s=V^-1*R^-1*c
然后，对于每个摄像机，使用坐标c=（-1，a）寻找左上角的屏幕上的位置s并且使用坐标c=（1，a）以寻找右上角的屏幕上的位置s。
应注意，虚拟摄像机旋转矩阵V随着虚拟摄像机移动将改变每一帧，所以可选地为每个框架执行这些计算。虚拟摄像机移动（其影响V）以及校准（其影响每个摄像机的R矩阵）确定我们是否需要重新计算。
在步骤S2810C中，选择拼接图像的最低变换虚拟摄像机坐标作为上部边界的位置（或者图中的上部消隐）。
以与步骤S2810B相似的方式，在步骤S2810D中来自每个摄像机的捕捉图像的下角被变换为虚拟摄像机坐标。在这种情况下，对于每个摄像机，使用坐标c=(-1,-a)寻找左下角的屏幕上的位置s并且使用坐标c=(1,-a)以寻找右下角屏幕上的位置s。在步骤S2810E中，然后选择拼接图像的最高变换虚拟摄像机坐标位置作为下部边界的位置（或者图中的下部消隐）。
然后在图28中该过程继续至步骤S2815。
如上所述，可为每个帧进行该过程。然而，在实施方式中，仅周期性地进行，可能是每个预定编号的框架，或者系统需要校准的每个场合（instance）。在其它时候，存储这些坐标值并且仅仅在步骤S2815中参照。这降低了系统的处理要求。
参照图30，示出步骤S2815的更详细的流程图。在步骤S2815A开始该过程。在步骤S2815B中确定裁剪图像的上纵摆限制。换言之，在步骤S2815B中确定虚拟摄像机的上纵摆限制。这在以上题为“纵摆限制”的部分中说明。在实施方式中，限制上纵摆限制本身使其最低的容许值为0。
在步骤S2815C中确定裁剪图像的下纵摆限制。换言之，在步骤S2815C中确定虚拟摄像机的下纵摆限制。这在以上题为“纵摆限制”的部分中说明。
在实施方式中，限制下纵摆限制本身使其最大的容许值为0。
将上下纵摆限制限制为0是有利的因为如果上限变得低于下限，这会使得虚拟摄像机在每个框架的两个极限之间抖动。因此，当缩小以示出拼 接视图时将它们两者都限制为0防止这个现象并且使得虚拟摄像机位于中央。
然后在步骤S2815D中对上纵摆限制和下纵摆限制的值之间进行比较。如果上纵摆限制小于或等于下纵摆限制（或者在以上纵摆限制的情况中为0），然后确定存在包括在裁剪图像中的填充区域。遵循“是”路线到步骤S2825，在该步骤中向裁剪图像施加边界。然而，如果上纵摆限制与下纵摆限制不相等，那么确定填充区域不包括在裁剪图像中并且遵循“否”路线到步骤S2820以便不施加边界。
进行该比较的原因是因为纵摆限制算法阻止虚拟摄像机以上限或下限示出任何填充区域。换言之，除非虚拟摄像机在拼接图像的中央（即，在点A和点B中央），否则上纵摆限制或下纵摆限制将会阻止裁剪图像包括填充区域。然而，在上下纵摆限制相同的情况下，裁剪图像必然位于拼接图像的中央，并且通过缩小，填充区域将包括在裁剪图像中。
在上纵摆限制（小于或）等于下纵摆限制的情况下，防止虚拟摄像机的竖直位置上下移动并且如果没有已有重叠，并且该位置必然至少接触到点A和点B两者。
然而，如果上纵摆限制大于下纵摆限制，允许虚拟摄像机的竖直位置的某些移动并且纵摆限制算法将使虚拟摄像机完全保持在拼接视图内；因此，不需要消隐。当然，虽然图30示出了使用上下纵摆限制都是相同的事实确定关于裁剪图像是否包括填充区域，本公开不限于此。例如，一旦计算出最低变换坐标和最高变换坐标，如果最低变换坐标和最高变换坐标未位于裁剪图像上，那么不向裁剪图像应用消隐。然而，如果最低变换坐标和最高变换坐标在裁剪图像中，那么可以应用消隐。
显然，根据以上教导内容，本公开能够进行大量修改与变更。因此应当理解，在所附权利要求的范围内，本公开的实施可以与本文中的具体描述不同。
至此，本公开的实施方式被描述为至少部分地由软件控制的数据处理装置来实现，然而应当理解的是诸如光盘、磁盘、半导体存储器等的携带该软件的非易失性机器可读介质也可以考虑作为表示本公开的实施方式。 应当理解，上述描述为了清楚的描述已参考不同功能单元、电路和/或处理器描述了实施方式。然而，明显的是，在不偏离实施方式的情况下，可使用在不同的功能单元、电路和/或处理器之间的任何适当的功能分配。
上述的示例实施方式可通过包括硬件、软件、固件及其任意组合的任何适当的形式实现。所表示的实施方式可以可选地至少部分实现为运行一个或多个数据处理器和/或数字信号处理器的计算机软件。任意实施方式的元件和部件可以物理地、功能地并且逻辑上地以任何合适的方法实现。实际上，可以在单独的单元，多个单元或作为其它功能单元的一部分中实现功能。因而，可以以单个单元或在不同的物理单元、电路和/或处理器之间物理上地和功能上地分布实现本公开实施方式。
尽管已经结合一些实施方式描述了本发明，但是并非旨在将本公开限于在此阐明的具体形式。此外，尽管特征可表现为结合特定的实施方式来描述，但是本领域的技术人员应认识到所描述实施方式的各种特征可以以适合于实现本技术的任何方式结合。
可预见在计算机和/或微处理器上实施本公开的实施方式。在这种情况下，本公开可具体化为包含配置计算机和/或微处理器的计算机可读指令的计算机程序以执行体现本公开的方法。可预见这种程序可存储在计算机可读介质上，诸如光盘、硬盘驱动器、或者甚至在因特网或任何类型的网络上传输的信号。在这种情况下，本公开可提现为这样一种形式。
条项
在下面数量的段落中概括地定义本公开的实施方式。
1.一种生成图像的方法，包括：
获得包括第一区域和第二区域的第一图像，所述第一区域是具有真实场景的不同视野并且从所述真实场景上方的位置处捕捉的被拼接到一起以形成所述真实场景的全景的多个图像，并且所述第二区域不包括所述多个图像；
生成第二图像，其是所述第一图像的片段；
确定所述第二图像是否仅包括所述第一区域；并且当所述第二图像包括所述第一区域和至少部分所述第二区域两者时，所述方法进一步包括：
将沿所述第二图像的上边沿和沿所述第二图像下边沿延伸的边界施加至所述第二图像，所述边界被施加至所述上边沿上方以及所述下边沿下方。
2.根据条项1所述的方法，还包括：确定所述多个图像中的每一个的上角的坐标；
向所述上角坐标应用变换以获得变换后的上角坐标；
确定所述多个图像中的每一个的下角的坐标；
向所述下角坐标应用变换以获得变换后的下角坐标；以及
确定所述上边沿为穿过最低的所述变换后的上角坐标，并确定所述下边沿为穿过最高的所述变换后的下角坐标。
3.根据条项2所述的方法，其中，所述上边沿是穿过所述最低的变换后的上角坐标的水平线以及所述下边沿是穿过所述最高的变换后的下角坐标的水平线。
4.根据条项2或3所述的方法，其中，确定所述第二图像是否仅包括所述第一区域的所述步骤包括以下步骤：
确定所述第二图像是否包括最低的所述变换后的下角坐标和最高的所述变换后的上角坐标，借此当所述第二图像确实包括所述最低的变换后的上角坐标和所述最高的变换后的下角坐标时，那么确定所述第二图像包括所述第一区域和所述第二区域两者。
5.根据条项2或3所述的方法，其中，确定所述第二图像是否仅包括所述拼接图像的所述步骤包括以下步骤：
确定所述第二图像的所述中心是否位于最低的所述变换后的下角坐标和最高的所述变换后的上角坐标之间。
6.一种包含计算机可读指令的计算机程序，所述计算机可读指令在加载到计算机上时配置所述计算机执行根据条项1到5中任一项所述的方法。
7.一种被配置为存储计算机可读指令的计算机程序产品，所述计算机可读指令在加载到计算机上时配置所述计算机执行根据权利要求1到5中任一项所述的方法。
8.一种用于生成图像的装置，包括：
成像单元，被配置为获得包括第一区域和第二区域的第一图像，所述第一区域是具有真实场景的不同视野并且从所述真实场景上方的位置处捕捉的被拼接到一起以形成所述真实场景的全景的多个图像，并且所述第二区域不包括所述多个图像；
图像处理单元，被配置为i）生成为所述第一图像的片段的第二图像；
ii）确定所述第二图像是否仅包括所述第一区域；并且当所述第二图像包括所述第一区域和至少部分所述第二区域两者时，所述图像处理单元进一步被配置为：
将沿所述第二图像的上边沿和沿所述第二图像的下边沿延伸的边界施加至所述第二图像，所述边界被施加至所述上边沿上方以及所述下边沿下方。
9.根据条项8所述的装置，其中，所述图像处理单元电路进一步被配置为：确定所述多个图像的每一个的上角的坐标；
向所述上角坐标应用变换以获得变换后的上角坐标；
确定所述多个图像的每一个的下角的坐标；
向所述下角坐标应用变换以获得变换后的下角坐标；以及
确定所述上边沿为穿过最低的所述变换后的上角坐标，并且确定所述下边沿为穿过最高的所述变换后的下角坐标。
10.根据条项9的装置，其中，所述上边沿是穿过所述最低的变换后的上角坐标的水平线，以及所述下边沿是穿过所述最高的变换后的下角坐标的水平线。
11.根据条项8或9所述的装置，其中，所述图像处理单元在确定所述第二图像是否仅包括所述第一区域时进一步配置为：
确定所述第二图像是否包括最低的所述变换后的下角坐标和最高的所述变换后的上角坐标，借此当所述第二图像确实包括最低的所述变换后的上角坐标和最高的所述变换后的下角坐标，那么确定所述第二图像包括所述第一区域和所述第二区域两者。
12.根据条项9或10所述的装置，其中，所述图像处理单元在确定所述第二图像是否仅包括所述拼接图像时被进一步配置为：
确定所述第二图像的中心是否位于最低的所述变换后的下角坐标和最高的所述变换后的上角坐标之间。
13.在上文中参考附图大致描述的方法、装置、计算机程序或计算机程序产品。