用于不使用运动部件的摄像机的图像分割、 形成与处理设备和方法 本发明一般涉及电视监视系统领域。更确切说，本发明涉及一个含鱼眼透镜的图像形成与处理设备，鱼眼透镜基本上有半球范围的视野。本发明能让操作者模仿普通透镜的摇摆、倾斜和变焦等操作，从鱼眼透镜的像中选出一部分来观察，就像用普通透镜一样。这就可以不用运动部件而实现摇摆、倾斜和变焦等操作。
电视摄像机通常用于监视零售商店、工厂、空港等类似的地区。为了用单独一个摄像机监视广大的区域，摄像机特别装备一些机构，能使它摇摆、倾斜和变焦。这些机构增加了摄像机的复杂性从而增加了费用，同时也对摄像机的可靠性带来负面影响。由于运动部件的存在，摇摆、倾斜和变焦的机械元件会因极端的温度、湿度和灰尘而导致损坏和性能变差。还有，这些机械系统要消耗较大的功率。因此，不用运动部件而能实现摇摆、倾斜和变焦的监视摄像机，无疑明显地优于现有的监视摄像机。
在美国专利No.5,185,667中，Zimmerman提出一种无运动部件的摄像机。在该专利说明的装置中，把鱼眼透镜与电视摄像机连接，使摄像机产生一个电子图像。由于鱼眼透镜的特性，图像是畸变的。图像的畸变通过计算方法校正。
Zimnierman提出地系统的局限性之一，是摄像机不能为实际变焦提供足够的分辨率。因为鱼眼透镜给出整个半球范围的畸变图像，部分图像，特别是图像的边缘，是畸变的。此图像在像素数目有限的电荷耦合器件(CCD)上形成。为了把这个图像按正常图像那样观察，必须用电子方法把图像变换。CCD有限的像素数目，使变换的图像难于分辨。为了给出可接受的分辨率，要求CCD约由156,000,000个像素构成。
现在能够得到的最好的CCD约有16,000,000个像素(4,000×4,000)，工作时钟速率的量级是10MHz。然而，为满足NTSC制式每秒30个样本的抽样速率，须要480MHz的时钟速率。因此，使用现有技术不可能达到NTSC制式画面连同所需放大率所要求的分辨率。
在美国专利No.5,200,818中，Neta等人描述了一个系统，其中用安装在整个半球表面的多个传感器阵列，监视广角景物。每个传感器阵列有自己的透镜系统。这样就无需执行摇摆和倾斜的运动部件，而能监视宽广的视野。由于使用了多个传感器阵列，该系统的分辨率相对来说是高的。但是，由于需要大量优质元件，要实施Neta等人描述的系统，将是十分昂贵的。
本发明的一个目的是提供一种监视摄像设备，它有基本上为半球范围的视野，无需运动部件而能完成摇摆、变焦和倾斜操作，而且还能对所需放大率给出足够的分辨率。
本发明还有一个目的是提供一种监视摄像设备，它有基本上为半球范围的视野，能让操作员观察该视野各个不同部分，仿佛使用能摇摆、倾斜和变焦的普通透镜摄像机一样。
用这里描述的本发明可得到这些及另外的优点。
本发明是与电视摄像机一起使用的一个图像形成和处理设备。此装置由一个广阔视野的透镜(最好是鱼眼透镜)组成。此透镜形成第一图像，图像带有透镜产生的畸变。一个图像分割器把第一图像分割为多幅图像。至少备有一个图像传感器把多幅图像中至少一幅转换为电子表示。一个处理器校正畸变，至少使第一图像的一部分看来基本上没有畸变。图像分割器最好由多束光纤构成，每束光纤传送第一图像的一部分。图像传感器最好由至少与一束光纤连接的一个CCD构成，以便使该束光纤传送的第一图像的一部分形成光学表示。
图1是实施本发明的一个系统的方块图；
图2A是鱼眼透镜成像平面上的平面图，表示畸变的鱼眼像；
图2B是鱼眼像选出部分的示意图，已经用本发明校正了畸变；
图3是本发明图像分割器的透视图；
图4是图像分割器中各光纤束的透视图；
图5是本发明鱼眼畸变校正系统的方块图；
图6是一个示意图，表明由于鱼眼畸变，倾角b的点c在像平面Y轴上的投影；
图7是像平面X-Y平面的示意图，表示点c在像平面上的投影；
图8是一三级示意图，画出鱼眼透镜的主轴，以及经摇摆与倾斜后指向c点的假想摄像机的主轴。
下面描述本发明的一个优选实施例。这个实施例是用来说明本发明而不是用来限制本发明的。本发明的全部范围由所附权利要求及其等效内容所确定。
本发明以方块图的形式示于图1。本发明一般用于诸如仓库、商店、汽车或火车站等场所的监视。为此，系统10装配了基本上有半球范围视野的透镜20，例如一个鱼眼透镜。透镜20最好有180°的水平视野，90°的上下视野及无限大的景深。这样可得到要求的基本上为半球范围的视野。所选透镜为市售等距鱼眼透镜，其焦距为1.9mm，光圈数为1.8。透镜20有一主轴Z，在像平面13上成一圆形像14。
由于透镜20的性质，像14是畸变的。确切地说，像14中物体的取向不同于其实际取向。例如，在透镜20视野中的物体11(见图8)出现在像14的边缘，且如图2所示那样发生畸变。
最好用分割器30把像14分割为四部分。像14可分割成任意数目的部分，视分辨要求及可用技术而定。若像14分割为四部分，则每一部分由四分这一个圆形像14构成，分别是像15，16，17或18(见图2)。分割器由四个光导管25，26，27，28组成。光导管25，26，27，28分别含有粘合在一起的光纤束35，36，37，38(见图4)。像15，16，17，18因而分别由光纤束35，36，37，38在光导管25，26，27，28中传送。
分割器30在图3及图4中详细画出。分割器30用箱体32做成，导管25，26，27，28附着在箱体32内。分别装在导管25，26，27，28内的光纤束是从主光纤束分叉而成，其抛光的端面终止在像平面13上。见图4，每一光纤束35，36，37，38均由许多光纤组成。每根光纤直径约10μm，传送鱼眼透镜20所成像14的一个抽样。
像15，16，17，18分别沿每个导管25，26，27，28传播，并分别落在传感器45，46，47，48上。传感器45，46，47，48都是带光纤窗的768×480的CCD，光纤窗由光纤面板构成，它可使CCD直接与光纤耦保。从麻萨诸塞州Sturbridge的伽里略光电公司(Galileo Electro-Optics Corporation)的“CP系列”产品中可购得合适的光纤面板。像15，16，17，18由传感器分别转换成图像电信号55，56，57，58。
信号55，56，57，58馈送给CCD控制处理器60，控制处理器60由四个一样为现成的电视摄像机传感器图像处理器65，66，67，68构成，分别对应于信号55，56，57，58。每个控制处理器包含一个CCD时钟电路72，一个视频处理电路74，一个颜色空间转换器76。颜色空间转换电路76对每个信号55，56，57，58产生色度信号Cr与亮度信号Cb，以及Y信号。
控制处理器65，66，67，68分别以适于编码器100压缩的色度分量及亮度分量的形式，产生视频输出85，86，87，88。压缩视频信号85，86，87，88能使大量图像抽样在有限带宽的信道上传输。如果透镜远离校正电路140，因此要压缩视频输出。编码器100根据某种压缩方案，如MPEG或H.261来压缩视频信号85，86，87，88。或者采用分波段编码方案。编码器100把视频信号分组，使之成为串行数据流，在诸如同轴电缆或光纤等高速网络中传输。解码器120接收压缩的视频信号，并对压缩视频信号进行与编码器100相反的变换。
解码器120产生的解码视频信号130馈送给校正电路140。校正电路140的目的，是把鱼眼透镜20带来的畸变加以校正。校正是按照下面要叙述的计算方法进行的。校正电路140产生校正了的信号150在显示器160上显示出来。
下面描述像14的鱼眼畸变校正系统。为简明起见，假定整个鱼眼透镜像14是在单个CCD180上形成，没有用分割器30。CCD180有X轴和Y轴。透镜20安装在监视平面19正上方的支承点17，其主轴Z最好垂直于监视平面19。监视平面19是房间15的地面。支承点17在房间15的天花板上。X轴，Y轴，Z轴交于CCD 180表面的中心点I。CCD180的表面作为像平面13平行于监视平面19。
摄像机和鱼眼透镜安装在监视场所的上面(即，在天花板上而不是在墙上)有若干好处。首先，摄像机安装在天花板上，视野可覆盖整个360°。这样可以模仿360°的摇摆，而不是在受墙限制下的范围内摇摆。在透镜安装在天花板的情形下，想像(模仿)的摇摆轴是鱼眼透镜的主轴Z，而不是透镜安装在墙上时垂直于主轴的某一轴。环绕主轴Z的角度仍由从目标到像来保持。这就便于轴向坐标的计算，因为摇摆轴总保持着轴向形式，无须再作变换。
当从监视器240观察任何物体时，像的竖直中心线与像平面的中心点相交。透镜主轴Z通过此中心点。因此无须把各个像旋转以便按正确取向去观察这些像。在美国专利No.5,185,667提出的校正运算方法中，像的旋转是独立地计算的。用本发明，这种独立计算就不需要了。
如果透镜安放在墙上，感兴趣的目标和离得最远的目标都趋近于鱼眼像的中心。观察这些目标的细节要有最大的分辨率。如果鱼眼透镜竖直地安装在监视面之上，中央的目标往往离透镜最近。观察这些目标不要求高的分辨率，且这些目标畸变最小。离透镜最远的目标出现在鱼眼像的边缘。然而，鱼眼透镜所成像的密度，在中央部分高于边缘部分，从而CCD的像分辨率，在中央部分的要求低于边缘部分的要求。考虑鱼眼像上半径为“R”的部分。CCD内的像素密度是均匀的，像就在CCD上形成。沿着过CCD中心的直线，像扩展至2R个像素。在像的圆周，像扩展至πR个像素(半个圆周)-比在像中央的目标多π/2像素。因此，对远处的目标，透镜竖直地放在监视面之上比垂直于监视面放置，给出好得多的分辨率。
下面的说明是参照图5作出的。鱼眼透镜20有复盖区域“A”的180°视野。由于透镜20安装在室15的天花板上，区域A包括室内的地板及墙壁。鱼眼透镜20在像平面13上形成区域A的鱼眼像Ad。区域A中任一点都由唯一的座标(X；Y)表示，该点在鱼眼像Ad中将根据鱼眼透镜20的特性移至点(Xd；Yd)。像平面13(CCD 180的表面)由许多像素182构成的矩阵组成。每个像素有唯一的鱼眼座标。因此，CCD产生区域A的电子表示。此表示馈入CCD控制处理器250(与控制处理器60完全相同)，控制处理器250对CCD180中每个像素产生色度值及亮度值。这些色度值及亮度值贮存在双端口图像存储器(“DPIM”)200内。本发明允许用户用电子方法处理鱼眼像，以便实现摇摆、倾斜及变焦等操作。因此区域A的一个子区域α，可以通过把区域Ad的子区域αd从畸变的鱼眼像变换成正常像，便于仔细观察。
本系统通电后，畸变已得到校正的子区域αc出现在监视器240上。用户通过区域选择单元210-一个带有键盘及指向装置的控制站-选择子区域α。这是用指向装置214，模仿假想的普通摄像机的摇摆、倾斜来完成的。在监视器240的图像就像普通摄像机所看见的那样。实际上，此图像是局部鱼眼像经校正而形成的。子区域α的选择给出子区域α中央目标的正常(非鱼眼的)座标。这一操作模仿假想的普通摄像机把主轴(图8中的IC)指向目标。此假想摄像机安放在安装点17，其主轴IC通过中心点I和子区域α的中央。通过输入装置214改变假想摄像机指向，使子区域α出现在监视器240上，这一操作也同时使区域选择单元210产生摇摆角和倾斜角，这些角度是与假想摄像机指向子区域α的目标时所应取的假想摇摆角与倾斜角一致的。
当用户选择子区域α时，系统自动地把ad(区域a的畸变鱼眼像)转换成校正的像ac。这就使用户能在监视器240上观察子区域α，好像用假想的(非鱼眼的)摄像机摇向并斜向子区域α观察一样。
鱼眼像Ad中每个像素，由CCD180通过控制处理器250产生强度数据和颜色数据，贮存在DPIM200内唯一的地址中。因此DPIM 200含有区域A的畸变鱼眼像Ad的数字电子表示。对于区域A的任一个子区域α，DPIM200包含有对应的畸变子区域αd的电子表示。
如图6，7，8所示，像平面13是由X轴和Y轴所构成的平面。透镜的主轴Z垂直于X轴和Y轴。如果用户想用假想的非鱼眼透镜摄像机观察以点C(即子区域α-图2B所示像)为中心的场所细节，用户可发出指令，让摄像机相对主轴Z倾斜一个角度b。这样做是让假想摄像机取向，使假想主轴(中心线IC)通过像平面13的中心点I和点C。
假设普通摄像机已经捕捉到目标后，区域α作为以直线320为中心的像300出现在CCD180上，且由大量像素310的水平线构成(见图2A)。在某特定水平线上的每个像素，移离中心线320一特定距离X。此距离对应于相对于中心线IC的一个角度“a”(见图8)，或对应于绕主轴Z的一个角度a’。
像14中每个像素可用一组直角座标或一组极座标描述。因此，请参看图7及图8，在中心线IC上点C的像素由极座标以倾斜角b(见图6)及角a-像素离开中心的位移(对C点，因C在X轴上，故a等于零)来确定其位置。同样，在CCD180内沿水平线移动(即平行于Y轴移动)，得到的S点的像素可用相对于主轴Z的倾斜角b’及相对于中心线IC的摇摆角a’来描述。对应的直角座标是Xd及Yd。
再参照图2A，从图可见，由于鱼眼透镜性质，鱼眼像是畸变的。靠近鱼眼透镜20主轴的目标，显现在CCD180上时基本上是正常的(见区域182)，然而离主轴越远，畸变逐渐越厉害(见区域184)。在非鱼眼像中位于(X；Y)处的一个像素所携带的信息，在鱼眼像中将位于(Xd；Yd)处，(Xd；Yd)移离(X；Y)的量值则依赖于鱼眼透镜20的性质。
鱼眼透镜的一个基本性质是：相对于主轴转过角度b’的一个像点，将按下面公式，投影在像平面上离开主轴半径为r的一点：
r＝f·b’
这里r是离开中心点I的距离；
f是一透镜常数，单位为mm/弧度，表示鱼眼透镜产生的畸变；
b’是目标的入射光线与主轴的夹角(以弧度为单位)。
鱼眼透镜还有一个基本性质是：视野中某点到其像平面投影的角度是保持不变的。
从这两个性质可导出一个新的公式，用来使鱼眼像的选取部分，看起来就像把一台普通摄像机经摇摆、倾斜和变焦，对准视野中感兴趣的区域一样。该公式涉及上述假想摄像机的摇摆角、倾斜角与校正像的直角座标关系。下面描述该公式的推导以及用它来实现本发明的目的。
从图6可以看到，相对于透镜主轴倾斜角为b的C点，在像平面IP的像在离中心点I的半径r＝rc上。如前所述，对特定的鱼眼透镜，C点的倾斜角b与其像的半径间关系为：
f＝f·b……………………………(1)
在图8，C点在Y轴与Z轴构成的平面内，相对于主轴Z的倾斜角为b。从像平面中心I到C点的直线IC作为指向C点的假想摄像机透镜的主轴。直线CS从C点伸延至S点。CS平行于X轴。因此CS表示在CCD180中一条水平像素线。考虑S的像素，它在离CCD中心I特定的半径r上，绕假想摄像机透镜主轴的摇摆角是“a’”，相对于鱼眼透镜主轴的倾斜角是b’。该像素的直角座标是：
x＝f·b’·cos(a’)……………………(2)
Y＝f·b·sin(a’)………………………(3)
方程式(2)及(3)把在CCD上的鱼眼像中任何特定像素，从极座标转换为直角座标。因此，S点的像素可由倾斜角b’(从主轴Z测量的角度)和摇摆角a’(围绕主轴Z的转角)定位。
系统通电后，显示出一个不到位的区域α，它就是假想摄像机当前指向的起始区域。为方便起见，假定此区域沿主轴Z(故倾斜角b为零)。摇摆角也为零(即直线IC沿X轴)。然后，把假想摄像机(其透镜主轴沿直线IC)相对于鱼眼透镜主轴Z倾斜一个角度“b”，使之指向以C点为中心的目标。为了使校正系统的操作对用户更清楚，假定假想摄像机的摇摆和倾斜均从假想摄像机的起始位置测量。因此，代表S点像素的位置将用倾斜角“b”和S点离开中心线IC的角-从中心线IC摇摆至S点的角度“a”两项来表示。
下面叙述这种方法：代表鱼眼像中S点的像素的位置，可以用角a-s点移离中心线的角位移，和角b-假想摄像机的倾斜角表示，此假想摄像机已经摇摆及倾斜，把其主轴对准了C点。
参照图8，可见
tan(a’)＝SC/PC
SC＝IS·sin(a)
PC＝IC·sin(b)
IC＝IS·cos(a)故：tan(a’)＝IS·sin(a)/IS·cos(a)·sin(b)
＝tan(a)/sin(b)
a’＝tan-1(tan(a)/sin(b))…………………………………………(4)
cos(b’)＝IP/IS
IP＝IC·cos(b)
IC＝IS·cos(a)
故cos(b’)＝IS·cos(a)·cos(b)/IS
＝cos(a)·cos(b)
b’＝cos-1(cos(a)·cos(b))………………………………………(5)
对给定的鱼眼透镜，从方程式(2)及(3)，得：
Xd＝fb’cos(a’)和Yd＝fb’sin(a’)。把方程式(4)和(5)的a’和b’值代入方程式(2)和方程式(3)：
Xd＝f·cos-1(cos(a)·cos(b))·cos(tan-1(tan(a)/sin(b))…(6)
Yd＝f·cos-1(cos(a)·cos(b))·sin(tan-1(tan(a)/sin(b)))…(7)
这些公式能使中心线IC周围像素的座标，从已知的角度座标简单地算出，这两个角度座标是：假想摄像机的倾斜角“b”(由鱼眼像中心到该点距离来测量)和像素相对于中心线IC的角度“a”。此公式提供了一种非常简易的方法用鱼眼像来实现摇摆、倾斜和变焦。
为实现假想摄像机的摇摆，要对角a’增加摇摆角p，形成新的角a”。因此，a”＝p+a’。
代入此值到方程式(4)，得：
a”＝p+tan-1(tan(a)/sin(b))………………………………………(8)
把方程式(8)代入方程式(6)和(7)：Xd＝f·cos-1(cos(a)·cos(b))·cos(p+tan-1(tan(a)/sin(b))……(9)Yd＝f·cos-1(cos(a)·cos(b))·sin(p+tan-1(tan(a)/sin(b))……(10)
当移动指向装置214，模仿假想摄像机的摇摆和/或倾斜时，区域选择单元210便产生子区域α的每条像素线中每个像素的直角座标(X；Y)，并贮存在查找表(“LUT”)222内。系统还会自动用方程式(9)和(10)计算鱼眼像的座标(Xd；Yd)。对子区域内每组正常座标(X；Y)，计算出(Xd；Yd)存入LUT222，作为DPIM 200的地址。
所有鱼眼像的各个座标可以预先算出，或者当区域选出后，只计算必须计算的特定区域的座标，无论那种情形，座标都存入LUT222，对应的像素则存入DPIM200。这样能使与这些算出的座标对应的像素，从CCD180中取出。然后，取出的像素把场所(X；Y)显示在监视器240上，仿佛把-普通摄像机摇摆和倾斜，对准场所(X；Y)后所得的像一样。
变焦是通过改变角a与角b的增量实现的，在计算LUT存储的内容时，角a随像素的改变而改变，角b随像素的行的改变而改变。例如，假如一条水平显示线有400个像素，a从显示的左侧-20°开始递增，每步为0.1°，则得到40°的水平视野。同理，要显示30°的竖直视野，正确地保持4∶3的标准显示高宽比，那么483条显示线可从每一水平显示线使角b递增0.062°来实现。
LUT222及DPIM200的内容示于下表：
表I 两种数据结构的地址 序列 FEA发生器LUT的内 容 双端口存储器内容 开始地址 第一行第一像素 地址 第一行第一像素 开始地址+1 第一行第二像素地址 第一行第二像素 · · · · · · · · · 开始地址+H 第二行第一像素地址 第二行第一像素 开始地址+H+1 第二行第二像素地址 第二行第二像素 · · · · · · · · · 开始地址+2H 第三行第一像素地址 第三行第一像素 开始地址+2H+1 第三行第二像素地址 第三行第二像素 · · · · · · · · ·
H＝显示处理器中每行像素的像素数目。
通过在DPIM200中保留多幅图像，能把图像的历史记录贮存一段时间。最早的图像与当前图像不断写入，直至超出存储器的容量，从而保持一段预定时间内发生的循环记录图像。因此，当发生报警事件时(例如一个闯入者企图进入监视场地并触发探测器)，用鱼眼地址发生器在DPIM200中选择适当的地址，那么在前一段预定时间内拍下的图像便能显示出来。
本系统使用360度的图像，无需任何运动部件，实现了摇摆和倾斜操作。这样便增加了摄像机的可靠性，同时限制了购买和维修费用。因此本发明能用单个宽广视野摄像机来监视大的区域。