用以产生全景影像的多重镜头相机系统的影像拾取装置.pdf

本发明的目的在于简化产生水平全景影像的拼接(stitching)运算法。本发明的影像拾取装置包含多个镜头及定位机构。该定位机构将各镜头的视角(FOV，Field Of View)交叉点在垂直方向上对准。因此，水平视差(parallax)不会存在于相机系统所拾取的影像中，而且不同距离的物体的拼接点保持为恒定。

1.    一种多重镜头相机系统的影像拾取装置，包含：
N个镜头，其中每个镜头的水平视角分别为HFOV_i(i＝1，2，...，N)；以及
定位机构，其中该定位机构将各镜头在水平方向上旋转θ_i度(0＜θ_i＜HFOV_i，i＝1，2，...，N-1)并定位于另一镜头的上方，而且该定位机构将各镜头的视角交叉点在垂直方向上对齐。

2.  如权利要求1所述的影像拾取装置，其中该定位机构将各镜头在垂直方向上倾斜_i度(0＜_i＜VFOV_i，i＝1，2，...，N)。

3.  如权利要求1所述的影像拾取装置，其中θ₁＝θ₂＝θ₃＝...＝θ_N-1。

4.  如权利要求1所述的影像拾取装置，其中该N个镜头所达成的总水平视角等于 Σ i = 1 N HFOV i - Σ i = 1 N ( HFOV i + 1 - θ i ) . ]]>

用以产生全景影像的多重镜头相机系统的影像拾取装置
技术领域
本发明涉及一种影像拾取装置。更明确地说，本发明涉及一种用以产生全景影像的多重镜头相机系统的影像拾取装置。该影像拾取装置可定位多重相机系统中的多个镜头，以便将简单的拼接运算法实施于专用集成电路(ASIC，Application Specific IntegratedCircuit)解决方案中。
背景技术
全景影像的产生通常需要多个相机同时拍摄然后再使用影像处理装置来合成影像。或者，也可以使用单一相机结合摇摄(panning)马达来执行多次拍摄并将每次所得的影像进行拼接从而形成静态的全景影像。例如，日本专利第11-008845号及第11-018003号中所公开的全景影像拾取装置是采用摇摄马达来捕捉广角影像。然而，摇摄马达增加了相机系统的成本及尺寸。因此，希望能以更简单的机构及更简单的拼接运算法来产生全景视频。
发明内容
本发明的影像拾取装置是将所有镜头的视角交叉点对准，从而提供一种具有固定拼接点的捕获影像系统，其中能够以低成本的ASIC解决方案实施简单的拼接运算法来产生全景视频。
为达成上述目的，本发明提供一种多重镜头相机系统的影像拾取装置，包含：N个镜头，其中每个镜头的水平视角分别为HFOV_i(i＝1，2，...，N)；以及定位机构，其中该定位机构将各镜头在水平方向上旋转θ_i度(0＜θ_i＜HFOV_i，i＝1，2，...，N-1)并定位于另一镜头的上方，而且该定位机构将各镜头的视角交叉点在垂直方向上对齐。
根据本发明的一个方案，上述定位机构将各镜头在垂直方向上倾斜_i度(0＜_i＜VFOV_i，i＝1，2，...，N)。
根据本发明的另一方案，上述θ₁＝θ₂＝θ₃＝...θ_N-1。
根据本发明的又一方案，上述N个镜头所达成的总水平视角等于
Σ i = 1 N HFO V i - Σ i = 1 N ( HFO V i + 1 - θ i ) . ]]>
附图说明
图1是根据本发明的影像拾取装置的N个镜头的示意图。
图2是镜头旋转角度及水平视角(HFOV)的示意图。
图3是表示镜头的视角交叉点的图形。
图4是一图形，其表示由视角交叉点的不对准(misalignment)所造成的水平视差。
图5(a)及图5(b)是分别表示在不对准的情况下近处物体与远处物体的影像重叠比例的改变的图。
图6是一图形，其表示镜头的视角交叉点对准的情况。
图7是一图形，其表示未在垂直方向上倾斜镜头时的影像偏移。
图8是一图形，其表示通过在垂直方向上倾斜镜头而对准的影像。
图9是表示根据本发明的多重镜头相机系统的框图。
主要元件符号说明
110               镜头部分
110A、110B、110C  镜头
120A、120B、120C  软排线
130               影像处理逻辑区块
131               多重镜头影像信号处理器
132               拼接逻辑
133               影像信号处理器
134               视频编码器
135               MPEG编码器
136               网络界面
具体实施方式
图1以2、3及N个镜头为例，表示根据本发明的多重镜头相机系统的影像拾取装置。此镜头配置是通过根据本发明的定位机构而达成。此定位机构可以是视频电话系统的一部分，用以产生超过单一镜头的角度限制的广角影像。根据本发明的影像拾取装置配合一种实施了简单拼接运算法的ASIC，从而能够提供一种低成本、小尺寸及超广角的相机系统。
以下，将参考图2至图8来简单地描述本发明的原理。
本发明的影像拾取装置包含N个镜头及定位机构。该定位机构将各镜头在水平方向上旋转θ_i度(0＜θ_i＜HFOV_i，i＝1，2，...，N-1)并定位于另一镜头的上方。
图2是镜头旋转角度及水平视角(HFOV)的示意图。假设相机系统中的N个镜头(i＝1，2，3，...，N)分别具有HFOV_i的水平视角且各镜头旋转角为θ_i(i＝1，2，3，...，N-1)，则系统的总水平视角HFOVt等于 Σ i = 1 N HFO V i - Σ i = 1 N ( HFO V i + 1 - θ i ) ]]>。假设各镜头的HFOV_i均为HFOV而各旋转角θ_i均为θ，则系统的总HFOVt等于HFOV*N-(HFOV-θ)*(N-1)。举例而言，当N＝2(即共有两个镜头)、HFOV1＝HFOV2＝60°、θ₁＝30°时，总HFOVt等于90°；而当N＝11(即共有11个镜头)、HFOV_i＝60°(i＝1，2，3，...，11)、θ_i＝30°(i＝1，2，3，...，10)时，总HFOVt等于360°。
本发明的重要性在于捕捉的影像可用一种简单的拼接运算法产生全景图，其运算法可以用低成本的ASIC实施。由于此系统中各镜头的视角交叉点被对准，故不同距离的物体的拼接点维持恒定。此外，相机系统的各镜头间的旋转角可被固定，故可在相机制造时的校准(calibration)过程中计算出拼接点。因此，ASIC无须由于物体的距离改变而对每一画面都动态地计算拼接点。因此可显著地减少拼接所需的计算量从而降低ASIC的成本。
在以下描述中，将解释拼接点与视角交叉点对准之间的关系。
图3表示单一镜头的视角交叉点。图4描述由于视角交叉点的不对准所造成的拼接问题。在图中，stpn代表近处物体的拼接点；stpf代表远处物体的拼接点；Dn代表视角交叉点与近处物体之间的距离；Df代表视角交叉点与远处物体之间的距离；Dth代表单一镜头的视角交叉点与二个镜头间FOV交会点的距离；Wn代表近处物体的水平视角宽度；Wf代表远处物体的水平视角宽度；α代表重叠区边界与拼接点之间的角度；以及HFOV代表水平视角。如图4所示，在不对准的情况下，在距离Dth之内并无影像重叠。假设令影像重叠的中心为拼接点，则当相机与物体间的距离改变时拼接点也随之偏移。
图5(a)及图5(b)分别表示在不对准的情况下近处物体与远处物体的影像重叠比例的改变。由两图的比较可看出，图5(a)中所示的近处物体的影像重叠部分(斜线部分)明显小于图5(b)中所示的远处物体的影像重叠部分(斜线部分)。
拼接点改变可由如下的运算式求得：
对于近处物体：
stpn = 2 Dn * tan ( HFO V i 2 ) - ( Dn - Dth ) * tan α ]]>
Wn = 2 Dn * tan ( HFO V i 2 ) ]]>
近处物体拼接点在影像内的百分比为：
stpn Wn = 2 Dn * tan ( HFO V i 2 ) - ( Dn - Dth ) * tan α 2 Dn * tan ( HFO V i 2 ) ]]>
对于远处的物体：
stpf = 2 Df * tan ( HFO V i 2 ) - ( Df - Dth ) * tan α ]]>
Wf = 2 Df * tan ( HFO V i 2 ) ]]>
远处物体拼接点在影像内的百分比为：
stpf Wf = 2 Df * tan ( HFO V I 2 ) - ( Df - Dth ) * tan α 2 Df * tan ( HFO V i 2 ) ]]>
因此，

图6表示镜头的视角交叉点被对准的情况。在此情况下，不管物体距离怎样、拼接点均保持相同。此情况可在以下的运算式中被解释：
对于近处物体：
stpn = 2 Dn * tan ( HFO V i 2 ) - Dn * tan α ]]>
Wn = 2 Dn * tan ( HFO V i 2 ) ]]>
近处物体拼接点在影像内的百分比为：
stpn Wn = 2 Dn * tan ( HFO V i 2 ) - Dn * tan α 2 Dn * tan ( HFO V i 2 ) = 2 tan ( HFO V i 2 ) - tan α 2 tan ( HFO V i 2 ) ]]>
对于远处的物体：
stpf = 2 Df * tan ( HFO V i 2 ) - Df * tan α ]]>
Wf = 2 Df * tan ( HFO V i 2 ) ]]>
远处物体拼接点在影像内的百分比为：
stpf Wf = 2 Df * tan ( HFO V i 2 ) - Df * tan α 2 Df * tan ( HFO V i 2 ) = 2 tan ( HFO V i 2 ) - tan α 2 tan ( HFO V i 2 ) ]]>
因此，
stpn Wn = stpf Wf ]]>
此外，若有视角的垂直位移，则由各镜头所捕捉的影像会有所偏移。图7解释由于视角的垂直位移所造成的影像不重合(non-coinciding)。不重合的部分需被修剪(cropped)才可形成最终的全景影像。N越大时，就有越多的部分被修剪。为了解决此问题，本发明的定位机构在垂直方向上倾斜各镜头_i度(0＜_i＜VFOV_i，i＝1，2，...，N)。图8解释在垂直方向上倾斜各镜头而获得的结果。注意在倾斜镜头时视角交叉点仍维持被对齐。
因此，本发明的影像拾取装置能够提供具有恒定拼接点的影像，因而简化了拼接运算法的复杂度。
接下来，将参考图9的框图来描述根据本发明的多重镜头相机系统的一实施例。为使本发明的说明书更简洁且清楚，以下描述主要说明多重镜头相机系统的镜头部分以及相关的影像处理程序，而省略了一般相机系统的其他部分的详细说明。
如图9所示，镜头部分110包含三个镜头110A、110B及110C，其中镜头110B配置于镜头110A的上方且在水平方向上逆时针偏转角度θ(未标示于图形中)；而镜头110C则配置于镜头110B的上方且在水平方向上逆时针再偏转相同角度θ。由镜头110A、110B及110C所捕捉的影像信号分别透过软排线(FFC，Flexible Flat Cable)120A、120B及120C而被传送入影像处理逻辑区块130以进一步执行信号处理。影像处理逻辑区块130包含多重镜头影像信号处理器131、拼接逻辑132、影像信号处理器133、视频编码器134、MPEG编码器135及网络界面136。
首先，多重镜头影像信号处理器131将从镜头110A、110B及110C传送来的影像信号进行初步处理，其主要工作在于减少各镜头所捕捉的影像间的差异。经初步处理后的影像信号被分别传送至拼接逻辑132。拼接逻辑132便对各影像进行数学转换及合并，从而将各影像无缝地合成为单一影像。该单一影像被传送至影像信号处理器133以进行传统的影像处理。经影像信号处理器133处理过的影像可由视频编码器134所编码并显示在任意的显示装置上。或者，经影像信号处理器133处理过的影像也可以由MPEG编码器135压缩以便存储于任意的存储装置中。最后，经MPEG编码器135所压缩的影像可通过网络界面136而被传送至网际网络。
拼接运算法是产生全景影像时损耗最多计算量的部分。对于高帧频(frame rate)的视频(例如，30fps)，一种低成本的ASIC解决方案并不足以达到每1/30秒更新拼接点的性能。本发明公开了一种简单且可行的机构，使多个镜头捕捉具有恒定拼接点的影像，从而提供一种低成本、超广角且小尺寸的相机系统。