缩放期间图像居中的方法和系统.pdf

上传人:b*** 文档编号:663046 上传时间:2018-03-02 格式:PDF 页数:19 大小:2.34MB
返回 下载 相关 举报
摘要
申请专利号:

CN201280070077.5

申请日:

2012.12.18

公开号:

CN104126300A

公开日:

2014.10.29

当前法律状态:

授权

有效性:

有权

法律详情:

授权|||实质审查的生效IPC(主分类):H04N 5/232申请日:20121218|||公开

IPC分类号:

H04N5/232; G06T7/20

主分类号:

H04N5/232

申请人:

派尔高公司

发明人:

C-M.黄

地址:

美国加利福尼亚州

优先权:

2011.12.19 US 13/330,511

专利代理机构:

北京市柳沈律师事务所 11105

代理人:

史新宏

PDF下载: PDF下载
内容摘要

一种在缩放期间使对象在相机的视场中居中的方法包含如下步骤:将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据在比较步骤中确定的偏移调整相机。

权利要求书

1.  一种在缩放期间使对象在相机的视场中居中的方法,其包含如下步骤:将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据在比较步骤中确定的偏移调整相机。

2.
  如权利要求1所述的方法,其中将相机定位成使对象处在第一视场中的第一位置中的步骤包含将相机定位成使对象在第一视场中居中。

3.
  如权利要求1所述的方法,进一步包含以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据在比较步骤中确定的偏移调整相机。

4.
  如权利要求3所述的方法,其中该调整步骤包含根据放大因子和在比较步骤中确定的偏移内插偏移。

5.
  如权利要求1所述的方法,其中该比较步骤包含从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块。

6.
  如权利要求1所述的方法,其中该调整步骤包含调整相机的位置。

7.
  如权利要求1所述的方法,其中该调整步骤包含调整相机的图像传感器的位置。

8.
  一种使对象在相机的视场中居中的系统,包含:
含有如下的相机:具有可变缩放率的透镜;与该透镜连接以改变该透镜的缩放率的透镜控制器;图像传感器,该透镜被定位成将光线提供给该图像传感器;接收指令以改变该透镜的缩放率的输入端;以及移动该相机的位置控制器;以及
与该相机通信以便将信号提供给该相机和接收该相机捕获的图像的处理器,该处理器适用于将信号提供给该透镜控制器,将透镜缩放率设置成第一放大因子,以便该透镜具有第一视场;将信号提供给该位置控制器,以便将相机定位成使对象处在第一视场中的第一位置中;将信号提供给该相机,以便以第一放大因子利用该相机捕获第一图像;提供信号,将相机缩放率设置成第二放大因子,以便该相机具有第二视场,该第二放大因子大于该第一放大因子;将信号提供给该相机,以便以第二放大因子利用该相机捕获第二图像;从该相机接收第一图像并数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;接收第二图像并将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及将信号提供给该位置控制器,以便当相机缩放时根据该偏移调整该相机。

9.
  如权利要求8所述的系统,其中该处理器适用于生成到该位置控制器的信号,以便将该相机定位成使对象在第一视场中居中。

10.
  如权利要求8所述的系统,其中该处理器适用于生成到该相机的信号,以便以第三放大因子捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;接收第四图像并将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及将信号提供给该位置控制器,以便根据确定的偏移调整该相机。

11.
  如权利要求10所述的系统,其中该处理器适用于将信号提供给该位置控制器,以便根据根据放大因子和确定的偏移内插偏移调整相机位置。

12.
  一种非临时性计算机可读介质,包含配置成使处理器执行如下步骤的指令:将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据确定的偏移调整相机。

13.
  如权利要求12所述的非临时性计算机可读介质,其中将相机定位成 使对象处在第一视场中的第一位置中的指令包含配置成使处理器将相机定位成使对象在第一视场中居中的指令。

14.
  如权利要求12所述的非临时性计算机可读介质,进一步包含配置成使处理器执行如下步骤的指令:以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据确定的偏移调整相机。

15.
  如权利要求12所述的非临时性计算机可读介质,其中该调整指令包含配置成使处理器根据放大因子和在比较中确定的偏移内插偏移的指令。

16.
  如权利要求12所述的非临时性计算机可读介质,其中该比较指令包含配置成使处理器从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块的指令。

17.
  如权利要求12所述的非临时性计算机可读介质,其中该调整指令包含配置成使处理器调整相机的位置的指令。

说明书

缩放期间图像居中的方法和系统
相关申请
本申请是2011年12月19日(19.12.2011)提交的USSN 13/330,511的继续并要求其优先权,在此通过引用并入其整个教导。
技术领域
本公开一般涉及相机,尤其涉及具有光学缩放能力的相机。
背景技术
在含有提供可变缩放能力的光学器具的相机中,一般发现,当相机放大已居中在帧的中心上的目标对象时,目标对象相对于原中心是偏心的。相机放大得越大,对象偏心得越利害。在手持式相机中,由于用户通过人工校正使图像的所希望中心在相机的取景器中保持居中,所以该影响不那么引人注目的。但是,当相机放大时,用户调整相机以便可以使对象居中至少是令人烦恼的并且可能是挑战性的。
另外,许多相机应用程序或系统无法帮助用户作出这种校正重定位。这对于像在监控系统中那样,使用PTZ(摇头、倾斜和缩放)相机的自动相机跟踪系统可能是非常严重的问题。在这样的系统中,在缩放期间保持感兴趣对象在相机的视场中可能是非常重要的。
于是,长期以来我们感觉到需要当相机光学放大感兴趣对象时使感兴趣对象保持居中的方法和系统。
发明内容
一种在缩放期间使对象在相机的视场中居中的方法的例子包括如下步骤:将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像; 数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据在比较步骤中确定的偏移调整相机。
这样方法的实现可以包括一种或多种如下特征。将相机定位成使对象处在第一视场中的第一位置中包括将相机定位成使对象在第一视场中居中。该方法进一步包括以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据在比较步骤中确定的偏移调整相机。该调整步骤包括根据放大因子和在比较步骤中确定的偏移内插偏移。该比较步骤包括从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块。该调整步骤包括调整相机的位置。该调整步骤包括调整相机的图像传感器的位置。
一种使对象在相机的视场中居中的系统的例子包括含有如下的相机:具有可变缩放率的透镜;与该透镜连接以改变该透镜的缩放率的透镜控制器;图像传感器,该透镜被定位成将光线提供给该图像传感器;接收指令以改变该透镜的缩放率的输入端;以及移动该相机的位置控制器,并且进一步包括与该相机通信以便将信号提供给该相机和接收该相机捕获的图像的处理器,该处理器适用于将信号提供给该透镜控制器,将透镜缩放率设置成第一放大因子,以便该透镜具有第一视场;将信号提供给该位置控制器,以便将相机定位成使对象处在第一视场中的第一位置中;将信号提供给该相机,以便以第一放大因子利用该相机捕获第一图像;提供信号,将相机缩放率设置成第二放大因子,以便该相机具有第二视场,该第二放大因子大于该第一放大因子;将信号提供给该相机,以便以第二放大因子利用该相机捕获第二图像;从该相机接收第一图像并数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;接收第二图像并将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及将信号提供给该位置控制器,以便当相机缩放时根据该偏移调整该相机。
这样系统的实现可以包括一种或多种如下特征。该处理器适用于生成到该位置控制器的信号,以便将该相机定位成使对象在第一视场中居中。该处 理器适用于生成到该相机的信号,以便以第三放大因子捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;接收第四图像并将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及将信号提供给该位置控制器,以便根据确定的偏移调整该相机。该处理器适用于将信号提供给该位置控制器,以便根据根据放大因子和确定的偏移内插偏移调整相机位置。
一种非临时性计算机可读介质的例子包括配置成使处理器执行如下步骤的指令:将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据确定的偏移调整相机。
这样非临时性计算机可读介质的实现可以包括一种或多种如下特征。将相机定位成使对象处在第一视场中的第一位置中的指令包括配置成使处理器将相机定位成使对象在第一视场中居中的指令。该非临时性计算机可读介质进一步包括配置成使处理器执行如下步骤的指令:以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据确定的偏移调整相机。该调整指令包括配置成使处理器根据放大因子和在比较中确定的偏移内插偏移的指令。该比较指令包括配置成使处理器从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块的指令。该调整指令包括配置成使处理器调整相机的位置的指令。
通过审阅如下详细描述、图形以及权利要求书将使本文所述的过程和系统,及其伴随的优点、应用和特征得到更全面了解。
附图说明
图1是可以实现对缩放引起的图像中心的漂移进行调整的各个方面的相机的一个实施例的框图;
图2是相机以第一缩放因子捕获的示范性帧;
图3是相机以第二缩放因子捕获的示范性帧;
图4是例示以各种缩放因子将对象投影在图像传感器上的示范性图形;
图5是例示确定感兴趣对象的偏移的方法的一个实施例的示范性图形;
图6是例示创建数字放大图像以便与光学缩放图像相比较的方法的一个实施例的示范性图形;
图7是例示从光学缩放图像中选择一个方块以便与数字放大图像相比较的方法的一个实施例的示范性图形;
图8是例示比较搜索窗口中的方块的方法的一个实施例的示范性图形;
图9是例示相机和区域的坐标的几何表示的图形;
图10是例示图像坐标中的点和世界地面坐标中的相应点的几何表示的图形;
图11是例示图像坐标中的点、相机的焦点和焦距的几何表示的图形;
图12是例示确定偏移的示范性方法的流程图;
图13是例示在缩放功能期间控制相机的示范性方法的流程图;以及
图14是例示在相机缩放期间确定偏移的示范性方法的流程图。
具体实施方式
图1以框图形式示出了可以用在本文所述的方法的实施例上的示范性相机。相机10含有具有捕获感兴趣对象14和背景16的视场的透镜12。透镜12是具有各种放大水平从而使相机10可以放大或缩小感兴趣对象14的光学可变缩放透镜。透镜12将箭头18所指的光线提供给图像传感器20。图像传感器20可以是,例如,电荷耦合器件(CCD)。落在图像传感器20上的光线18使图像传感器20将信号提供给处理器22,处理器22又与输入/输出接口24连接,以提供像透镜12在其直线17所指的视场中捕获的场景的图像帧那样的输出信号26。图像传感器20和透镜12的轴位置是固定的。通过透镜12传送给图像传感器20的图像数据照射图像传感器20并产生图像。处理器22与存储算法和进程的存储器25连接。处理器22还与摇头/倾斜控制器19连接,摇头/倾斜控制器19响应从输入/输出接口24接收的控制,以及在实现本 文所述的缩放居中方法的各种实施例时,沿着水平和垂直轴移动相机。
可以将输出信号26连接到网络30,网络30又可以与,例如,显示器32、数字录像机(DVR)34或处理器36连接。网络30可以是封装式网络、局域网或像互联网那样的广域网。输出信号26可以,例如,显示在显示器32上,记录在数字录像机34中,或在处理器36中处理。控制透镜12的光学缩放或放大因子的缩放因子控制器28可以是人工输入端或像响应来自操作人员的控制信号或来自与网络30连接的工作站38的程序的电机驱动PTZ相机那样的自动输入端。
假设相机10是固定的,实际场景图像不能随相机光轴而变,放大或缩小只改变正在观看的场景的大小部分,即,视场。如果图像传感器20的中心点未与透镜12的光学中心对准,则随着透镜12缩放,在相机10捕获的图像中感兴趣对象14的位置将漂移。随着相机10放大,使图像轴与光轴之间的任何对准差距增大,使图像的中心点漂移。图像的中心点的这种漂移还随着透镜12缩小而发生,但由于图像中感兴趣对象14的尺寸变小,这种漂移不那么令人烦恼。输入的图像总是存在这种问题。即使在质量严格控制的相机中,完全对准光轴和图像传感器轴几乎是不可能的。
通过使用本文所述的方法和系统,可以校正输出的图像以保持居中。在不同实施例中这可以通过如下手段来完成,例如,将这些方法和算法加入已经在相机,即,处理器22中的现有处理能力中,或将像协处理器23那样的处理能力加入相机中,或在相机的外部但捕获图像的记录或显示之前加入随后处理。例如,可以让随后处理在记录视频之前在与网络30连接的处理器36中或在DVR 34中完成。
提供分别例示成帧40和42的示范性输出26的图2和3例示了当相机10放大时感兴趣对象14如何变成偏心的。在图2中,可以看出,感兴趣对象14在第一缩放或放大水平下在帧40中是居中的。图3例示了感兴趣对象14在高于第一缩放水平的第二缩放水平下在帧40中如何变成偏心的。
参照图4,通过将相机设置在不同放大因子上时将相同对象投影在图像传感器的不同位置上来例示对图2和3所展示的问题的分析。直线50例示了,例如,透镜12的光轴或光心。直线52例示了,例如,图像传感器20的图像中心。直线54指示图像传感器显示成“L”的尺寸。直线56例示了感兴趣对象到图像传感器的投影。直线58例示了在1的放大因子下的图像面。直线 60例示了在2的放大因子下的图像面。直线62例示了在5的放大因子下的图像面。图4例示了图像中心未与光心对准。而是,图像中心52相对于光轴50位移了箭头64所例示的距离“d”。不管放大率是多少,光心和图像面的交点在图像面中是静态的。
图4例示了目标对象处在沿着直线56的有点距离偏离的点P上的情况。在1的放大率下,目标对象在图像中心上;在2的放大率下,目标对象相对于图像中心距离是d;以及在5的放大率下,目标对象相对于图像中心距离是4d。从这个例子中可以看出,放大率越大,对象偏心得越远。
参照图5,将一维数据用于例示确定偏移的方法的一个实施例的例子。在这个例子中,光心72和图像中心74偏移了箭头70所指的距离d。直线76例示了感兴趣的目标对象到图像传感器的点“P”的投影。直线78例示了在1的放大因子下的图像面。直线80例示了在2的放大因子下的图像面。直线82例示了在“n”的放大因子下的图像面。在1的放大率下,从P到光心的距离是x,而从P到图像中心的距离是x+d。在2的放大率下,从P到光心的距离是2x,而从P到图像中心的距离是2x+d。类似地,在n的放大率下,P到光心是nx,而P到图像中心是nx+d。从这个分析中可以看出,点总是偏离d。
假设已有在1、2、......、n的放大因子下的画面或帧。数字放大,即,通过内插加倍在放大率=1下的画面或帧。对于这种内插图像从P到光心的距离将是2(x+d)。假设根据图像中心进行内插。内插图像和原始图像存在如下的偏移:
Offset=(2x+d)-2(x+d)=-d。
因此,可以通过对准这两个图像找出d。将在2的光学放大因子下的图像与已经放大成2的放大因子的数字放大图像对准以确定偏移。
类似地,可以针对不同放大因子执行相同对准过程。对于n的放大率,该偏移如下:
Offset=(nx+d)–n(x+d)=-(n-l)d。
图像放大得越大,详细画面信息丢失得越多。这将影响对准的精度。方法的另一个实施例是按如下对准每对图像:对于k=1到最大放大率的一半,在k和2k下的放大率。
Offset=(2kx+d)–2(kx+d)=-d。
对于二维图像,该偏移将是(dx,dy)。
设p(x,y)和q(x,y)是两个方块,方块距离可以使用像下面那样的绝对差之和来定义:
d=Σx=1uΣy=1v|p(x,y)-q(x,y)|n]]>
一般说来,绝对差之和通过取原始或参考方块中的每个像素与用于比较的方块中的相应像素之间的绝对差来度量方块之间的相似性。对这些差值求和以建立方块相似性的度量。
当修改缩放率时使感兴趣对象居中的方法的一个实施例如下。将相机居中在静态对象或具有独特非均匀纹理的地点上。该纹理应该是非均匀的,因为如果该纹理是均匀的,则对图像的对准分析可能变得极其困难。优选的是,使灯光和场景在处理时段期间不变。
参照图6,帧90的图像中心处在92所指的相交线的交点上。针对所希望的每个放大率,例如,从k=1到N的放大率收集用于分析的图像。针对每个放大因子执行如下步骤。将相机设置成放大因子k并捕获一个帧。一般说来,将k选为“1”,但也可以选择其它数值。该过程然后获取帧90的中心部分94。通过内插水平和垂直方向两者(箭头95所指)数字放大帧90的中心部分94将它的尺寸加倍以获得帧96。
然后将相机设置成2k的放大率,并捕获显示在图7中的帧98。该系统然后在帧98的中心上选择一个方块100。在该过程的开头,将累积距离的阵列的每个分量设置成0。阵列的大小是W;这是搜索窗口中,即,在窗口大小中不同方块的数量。例如,如果方块的大小是u×v和窗口的大小是U×V,则W=(U-u+1)(V-v+1)。
对准分析从左上角开始,并且,例如,从窗口的左侧到窗口的右侧,类似地从上到下,每次移动一个像素。
处理器计算显示在图8中的方块100与处在帧96中的搜索窗口102中的具有相同尺寸的每个方块之间的方块距离。将每个所计算方块距离累积成累积距离阵列的相应分量。阵列的每个分量对应于一个地点上的累积方块距离。
处理器然后通过累积方块距离的阵列搜索以找出最小方块距离。最小累积方块距离的相应坐标是图像面中光轴中心的坐标。例如,图8中的方块104例示了具有最小方块距离的一个以及具有,例如,指示光学放大图像偏移的 沿着x和y方向的像素数量的(dx,dy)的偏移矢量。
处理器将给定放大点上的实际图像与相同放大点上的内插图像相比较。该方法随着相机控制系统改变缩放设置从缩放率=1到所希望缩放设置连续地数字缩放图像。在每个点上,将光学缩放图像的中心部分与数字缩放图像的中心部分相比较。比较图像分部并确定目标的地点漂移。该方法然后在构建输出图像信号时使用偏移计算来移动传感器捕获的像素,因此校正中心漂移。
一旦找到光心,在实际应用中,使相机总是居中到光心而不是图像中心。当相机放大时,该对象然后总是在中心位置上。
图9例示了相机以及相机面对的区域的世界坐标的几何表示。图10示出了图像坐标中i=1到9的点(ui,vi)和它们在世界地面坐标中的相应点(xi,yi)的几何表示;还示出了图像坐标中的点(u,v)和它在世界地面坐标中的相应点(x,y)。图11例示了图像坐标中的点(u,v)、相机的焦点D、和焦距F的几何表示。
用在下面的方程中变量定义如下:
(α,β):分别是水平和垂直视场的一半;
(Iw,Ih):图像宽度和高度(以像素为单位);
Ap:像素的宽高比;
F:焦距(单位与传感器尺寸相同);
分别是相机的摇头和倾斜角;
h:相机的高度;
(u,v):以像素为单位;
(x,y):以英尺或米为单位。
假设相机居中在位置上。发现一个对象处在图像坐标(u,v)位置上。目标是将相机移动到新位置以便在这个新位置上,该对象变成在图像坐标的中心上。图9例示了新位置的摇头和倾斜角
给定(u,v),按如下计算
1.按如下计算t、tan(t)和tan(q):
F=Iw/(2·tan(α))
tan(t)=v·Ap/F,   t=tan-1(v·Ap/F)
tan(q)=u(F2+(v·Ap)2]]>
2.如果(θm+t)≤0°,则公式如下:
θ'm=θm+t

3.如果0°<(θm+t)<90°,则公式如下:
θ'm=sin-1[sin(θm+t)·cos(q)]

4.如果(θm+t)>90°,则摇头角的公式如下:
t′=180-(θm+t)

t′=180-(θ+t)

注意,上面的方程基于图像中心和光心是相同点的假设。如果它们未对准在一起,则需要对上面的方程作一些修改。在图像坐标中分别设(du,dv)是光心和(0,0)是图像中心。对(u,v)的调整如下:
u=u+du
v=v+dv
也就是说,(u+du,v+dv)将取代(u,v)用于计算上面方程中的
图12例示了实现在不同缩放设置下确定偏移的方法的一个实施例的示范性流程图。可以针对单个补偿因子对这些偏移求平均以便用在重置图像中心中或,例如,可以存储各种缩放设置下的偏移和用在重置图像中心中。对于偏移的各种测量值之间的缩放因子,可以使用任何适当内插来计算两个最接近测量偏移之间的偏移。这种在不同缩放设置下确定偏移的示范性方法可 以在相机处理器或与网络连接的其它处理器的本地控制下执行,以及可以在相机处理器或与网络连接的其它处理器中本地地进行计算。优选的是,将偏移本地地存储在相机存储器中;但是,可以将它们存储在像,例如,工作站那样与系统连接的其它设备中。
在步骤210中,利用非均匀纹理使相机在图像上光学居中。然后在步骤212中,将k计数初始化成零。在步骤214中读取相机放大设置,并将k值设置成这个值。然后在步骤216中将k的值设置成k+1。在判定点218上,该方法确定k*n读数是否大于等于允许的缩放设置,其中n是相机的任何有效缩放倍数。如果不是,则相机在步骤220中捕获帧A。在步骤222中使相机缩放到位置n*k,将n*k设置成等于这个值,并捕获帧B。然后在步骤224中将帧A内插成n*k的放大值。在步骤226中取内插帧A和光学帧B的中心部分,以及然后在步骤228中匹配这些中心部分并确定偏移。然后在步骤230中为这个k设置存储偏移值。该方法然后返回到递增k的步骤216。如果判定块218确定k*n大于允许的缩放设置,则该方法转到通过将各种偏移的数值之和除以n-1确定偏移值的方块232。
参照图13,所例示的是在缩放期间使对象居中的示范性方法300的流程图。这种方法可以利用按照上述方法确定的一个或多个偏移。在步骤302中,例如,在图1中的缩放因子控制器28上从自动控制器或人工输入端接收缩放因子请求。在步骤304中,例如,处理器22从存储器25中为所请求缩放因子获取偏移,并在步骤306中将其提供给摇头/倾斜控制器19来调整相机10,以便使对象14保持居中。在步骤308中,摇头/倾斜控制器19使相机10按来自处理器22的偏移所要求稍作移动以便使对象14保持居中。
图14例示了在缩放期间确定要提供给摇头/倾斜控制器19的偏移的示范性方法。方法400在步骤402中接收缩放因子请求。处理器22然后在判定点404上确定是否已经为所请求缩放因子确定了偏移。如果,例如,上述的偏移确定过程期间,所要求偏移与确定偏移的缩放因子之一相同,则处理器22简单地在步骤408中将那个偏移提供给摇头/倾斜控制器19。类似地,如果,例如,根据为各种缩放因子计算的偏移应用平均偏移,则处理器22简单地将那个偏移提供给摇头/倾斜控制器19。如果,例如,已经为各种缩放因子存储了偏移,则处理器22在存储器25中检查适合偏移。如果对于请求的特定缩放因子系统在存储器中没有偏移,则在步骤406中,处理器22通过,例如, 使用最接近的较小和较大缩放因子偏移,或像使用最接近缩放因子偏移或使用最接近缩放因子内插那样的其它适当方法内插偏移。
在相机传感器不改变其特性的环境稳定地点中,可以一次性地执行校准过程。将偏移存储在相机的存储器中,然后简单地将其应用于每个视频帧。如果环境受改变相机的传感器特性的变量支配,则可以按要求周期性地或连续地使用该过程。
为了核实偏移调整技术的精确性,可以使用不同于两倍的放大因子。将结果与在2的放大因子下确定的偏移调整相比较。例如,这种潜在差异的原因是在2x下的放大因子可能是不精确的,即,实际上可能不是两倍。此外,在多个不同放大率下确定偏移以提供设置成与用户所确定一样精细的偏移因子粒度的方法适用于特定相机、装置或应用。
本文所述的各种方法可以在安装地点实时地用在现场,以及用在相机制造过程中。本文所述的方法可以在包括电子图像传感器和光学可变缩放能力的任何相机中实现。在可替代实施例中,只要主设备可以为相机收集相机缩放设置,接受视频输入的设备就可以提供运行该方法来校正输出的软件平台。
本文所述和所示的进程和方法可以存储在非临时性计算机可读介质上,该非临时性计算机可读介质指的是用于存储计算机可访问的数据的任何非临时性存储设备,例如,磁硬盘、软盘、像CD-ROM或DVD那样的光盘、磁带、和存储芯片。

缩放期间图像居中的方法和系统.pdf_第1页
第1页 / 共19页
缩放期间图像居中的方法和系统.pdf_第2页
第2页 / 共19页
缩放期间图像居中的方法和系统.pdf_第3页
第3页 / 共19页
点击查看更多>>
资源描述

《缩放期间图像居中的方法和系统.pdf》由会员分享,可在线阅读,更多相关《缩放期间图像居中的方法和系统.pdf(19页珍藏版)》请在专利查询网上搜索。

1、10申请公布号CN104126300A43申请公布日20141029CN104126300A21申请号201280070077522申请日2012121813/330,51120111219USH04N5/232200601G06T7/2020060171申请人派尔高公司地址美国加利福尼亚州72发明人CM黄74专利代理机构北京市柳沈律师事务所11105代理人史新宏54发明名称缩放期间图像居中的方法和系统57摘要一种在缩放期间使对象在相机的视场中居中的方法包含如下步骤将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一。

2、图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据在比较步骤中确定的偏移调整相机。30优先权数据85PCT国际申请进入国家阶段日2014081986PCT国际申请的申请数据PCT/US2012/0703892012121887PCT国际申请的公布数据WO2013/096331EN2013062751INTCL权利要求书2页说明书8页附图8。

3、页19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书8页附图8页10申请公布号CN104126300ACN104126300A1/2页21一种在缩放期间使对象在相机的视场中居中的方法,其包含如下步骤将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位。

4、置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据在比较步骤中确定的偏移调整相机。2如权利要求1所述的方法,其中将相机定位成使对象处在第一视场中的第一位置中的步骤包含将相机定位成使对象在第一视场中居中。3如权利要求1所述的方法,进一步包含以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据在比较步骤中确定的偏移调整相机。4如权利要求3所述的方法,其中该调整步骤包含根据放大因子和在比较步骤中确定的偏移内插偏移。5如权利要求1所述的方法,其中。

5、该比较步骤包含从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块。6如权利要求1所述的方法,其中该调整步骤包含调整相机的位置。7如权利要求1所述的方法,其中该调整步骤包含调整相机的图像传感器的位置。8一种使对象在相机的视场中居中的系统,包含含有如下的相机具有可变缩放率的透镜;与该透镜连接以改变该透镜的缩放率的透镜控制器;图像传感器,该透镜被定位成将光线提供给该图像传感器;接收指令以改变该透镜的缩放率的输入端;以及移动该相机的位置控制器;以及与该相机通信以便将信号提供给该相机和接收该相机捕获的图像的处理器,该处理器适用于将信号提供给该。

6、透镜控制器,将透镜缩放率设置成第一放大因子,以便该透镜具有第一视场;将信号提供给该位置控制器,以便将相机定位成使对象处在第一视场中的第一位置中;将信号提供给该相机,以便以第一放大因子利用该相机捕获第一图像;提供信号,将相机缩放率设置成第二放大因子,以便该相机具有第二视场,该第二放大因子大于该第一放大因子;将信号提供给该相机,以便以第二放大因子利用该相机捕获第二图像;从该相机接收第一图像并数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;接收第二图像并将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及将信号提供给该位置控制器,以便当。

7、相机缩放时根据该偏移调整该相机。9如权利要求8所述的系统,其中该处理器适用于生成到该位置控制器的信号,以便将该相机定位成使对象在第一视场中居中。10如权利要求8所述的系统,其中该处理器适用于生成到该相机的信号,以便以第三放大因子捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;接收第四图像并将第五图像与第四图像相比较,以确定该对象从该对象的第权利要求书CN104126300A2/2页3一位置到该对象在第四图像中的位置的偏移;以及将信号提供给该位置控制器,以便根据确定的偏移调整该相机。11如权利要求10所述的系统,其中该处理器适用于将信号提供给该位置控制器,以便根。

8、据根据放大因子和确定的偏移内插偏移调整相机位置。12一种非临时性计算机可读介质,包含配置成使处理器执行如下步骤的指令将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据确定的偏移调整相机。13如权利要求12所述的。

9、非临时性计算机可读介质,其中将相机定位成使对象处在第一视场中的第一位置中的指令包含配置成使处理器将相机定位成使对象在第一视场中居中的指令。14如权利要求12所述的非临时性计算机可读介质,进一步包含配置成使处理器执行如下步骤的指令以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据确定的偏移调整相机。15如权利要求12所述的非临时性计算机可读介质,其中该调整指令包含配置成使处理器根据放大因子和在比较中确定的偏移内插偏移的指令。16如权利要求12所。

10、述的非临时性计算机可读介质,其中该比较指令包含配置成使处理器从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块的指令。17如权利要求12所述的非临时性计算机可读介质,其中该调整指令包含配置成使处理器调整相机的位置的指令。权利要求书CN104126300A1/8页4缩放期间图像居中的方法和系统0001相关申请0002本申请是2011年12月19日19122011提交的USSN13/330,511的继续并要求其优先权,在此通过引用并入其整个教导。技术领域0003本公开一般涉及相机,尤其涉及具有光学缩放能力的相机。背景技术0004在含有提。

11、供可变缩放能力的光学器具的相机中,一般发现,当相机放大已居中在帧的中心上的目标对象时,目标对象相对于原中心是偏心的。相机放大得越大,对象偏心得越利害。在手持式相机中,由于用户通过人工校正使图像的所希望中心在相机的取景器中保持居中,所以该影响不那么引人注目的。但是,当相机放大时,用户调整相机以便可以使对象居中至少是令人烦恼的并且可能是挑战性的。0005另外,许多相机应用程序或系统无法帮助用户作出这种校正重定位。这对于像在监控系统中那样,使用PTZ摇头、倾斜和缩放相机的自动相机跟踪系统可能是非常严重的问题。在这样的系统中,在缩放期间保持感兴趣对象在相机的视场中可能是非常重要的。0006于是,长期以。

12、来我们感觉到需要当相机光学放大感兴趣对象时使感兴趣对象保持居中的方法和系统。发明内容0007一种在缩放期间使对象在相机的视场中居中的方法的例子包括如下步骤将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据在比较。

13、步骤中确定的偏移调整相机。0008这样方法的实现可以包括一种或多种如下特征。将相机定位成使对象处在第一视场中的第一位置中包括将相机定位成使对象在第一视场中居中。该方法进一步包括以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据在比较步骤中确定的偏移调整相机。该调整步骤包括根据放大因子和在比较步骤中确定的偏移内插偏移。该比较步骤包括从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块。。

14、该调整步骤包括调整相机的位置。该调整步骤包括调整相机的图像传感器的位置。说明书CN104126300A2/8页50009一种使对象在相机的视场中居中的系统的例子包括含有如下的相机具有可变缩放率的透镜;与该透镜连接以改变该透镜的缩放率的透镜控制器;图像传感器,该透镜被定位成将光线提供给该图像传感器;接收指令以改变该透镜的缩放率的输入端;以及移动该相机的位置控制器,并且进一步包括与该相机通信以便将信号提供给该相机和接收该相机捕获的图像的处理器,该处理器适用于将信号提供给该透镜控制器,将透镜缩放率设置成第一放大因子,以便该透镜具有第一视场;将信号提供给该位置控制器,以便将相机定位成使对象处在第一视场。

15、中的第一位置中;将信号提供给该相机,以便以第一放大因子利用该相机捕获第一图像;提供信号,将相机缩放率设置成第二放大因子,以便该相机具有第二视场,该第二放大因子大于该第一放大因子;将信号提供给该相机,以便以第二放大因子利用该相机捕获第二图像;从该相机接收第一图像并数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;接收第二图像并将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及将信号提供给该位置控制器,以便当相机缩放时根据该偏移调整该相机。0010这样系统的实现可以包括一种或多种如下特征。该处理器适用于生成到该位置控制器的信号,以便将。

16、该相机定位成使对象在第一视场中居中。该处理器适用于生成到该相机的信号,以便以第三放大因子捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;接收第四图像并将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及将信号提供给该位置控制器,以便根据确定的偏移调整该相机。该处理器适用于将信号提供给该位置控制器,以便根据根据放大因子和确定的偏移内插偏移调整相机位置。0011一种非临时性计算机可读介质的例子包括配置成使处理器执行如下步骤的指令将相机缩放率设置成第一放大因子,以便相机具有第一视场;将相机定位成使对象处在第一视场中的第一位。

17、置中;以第一放大因子利用相机捕获第一图像;将相机缩放率设置成第二放大因子,以便相机具有第二视场,该第二放大因子大于该第一放大因子;以第二放大因子利用相机捕获第二图像;数字变更第一图像的一部分以便创建放大因子等于第二放大因子的第三图像;将第三图像与第二图像相比较,以确定该对象从该对象的第一位置到该对象在第三图像中的位置的偏移;以及当相机缩放时根据确定的偏移调整相机。0012这样非临时性计算机可读介质的实现可以包括一种或多种如下特征。将相机定位成使对象处在第一视场中的第一位置中的指令包括配置成使处理器将相机定位成使对象在第一视场中居中的指令。该非临时性计算机可读介质进一步包括配置成使处理器执行如下。

18、步骤的指令以第三放大因子利用相机捕获第四图像;数字变更第一图像的一部分以便创建放大因子等于第三放大因子的第五图像;将第五图像与第四图像相比较,以确定该对象从该对象的第一位置到该对象在第四图像中的位置的偏移;以及根据确定的偏移调整相机。该调整指令包括配置成使处理器根据放大因子和在比较中确定的偏移内插偏移的指令。该比较指令包括配置成使处理器从至少包含该对象的一部分的第三图像中选择一个方块,以及将其与来自第二图像的方块相比较以确定具有最小方块距离的方块的指令。该调整指令包括配置成使处理器调整相机的位置的指令。0013通过审阅如下详细描述、图形以及权利要求书将使本文所述的过程和系统,及其伴随的优点、应。

19、用和特征得到更全面了解。说明书CN104126300A3/8页6附图说明0014图1是可以实现对缩放引起的图像中心的漂移进行调整的各个方面的相机的一个实施例的框图;0015图2是相机以第一缩放因子捕获的示范性帧;0016图3是相机以第二缩放因子捕获的示范性帧;0017图4是例示以各种缩放因子将对象投影在图像传感器上的示范性图形;0018图5是例示确定感兴趣对象的偏移的方法的一个实施例的示范性图形;0019图6是例示创建数字放大图像以便与光学缩放图像相比较的方法的一个实施例的示范性图形;0020图7是例示从光学缩放图像中选择一个方块以便与数字放大图像相比较的方法的一个实施例的示范性图形;0021。

20、图8是例示比较搜索窗口中的方块的方法的一个实施例的示范性图形;0022图9是例示相机和区域的坐标的几何表示的图形;0023图10是例示图像坐标中的点和世界地面坐标中的相应点的几何表示的图形;0024图11是例示图像坐标中的点、相机的焦点和焦距的几何表示的图形;0025图12是例示确定偏移的示范性方法的流程图;0026图13是例示在缩放功能期间控制相机的示范性方法的流程图;以及0027图14是例示在相机缩放期间确定偏移的示范性方法的流程图。具体实施方式0028图1以框图形式示出了可以用在本文所述的方法的实施例上的示范性相机。相机10含有具有捕获感兴趣对象14和背景16的视场的透镜12。透镜12是。

21、具有各种放大水平从而使相机10可以放大或缩小感兴趣对象14的光学可变缩放透镜。透镜12将箭头18所指的光线提供给图像传感器20。图像传感器20可以是,例如,电荷耦合器件CCD。落在图像传感器20上的光线18使图像传感器20将信号提供给处理器22,处理器22又与输入/输出接口24连接,以提供像透镜12在其直线17所指的视场中捕获的场景的图像帧那样的输出信号26。图像传感器20和透镜12的轴位置是固定的。通过透镜12传送给图像传感器20的图像数据照射图像传感器20并产生图像。处理器22与存储算法和进程的存储器25连接。处理器22还与摇头/倾斜控制器19连接,摇头/倾斜控制器19响应从输入/输出接口。

22、24接收的控制,以及在实现本文所述的缩放居中方法的各种实施例时,沿着水平和垂直轴移动相机。0029可以将输出信号26连接到网络30,网络30又可以与,例如,显示器32、数字录像机DVR34或处理器36连接。网络30可以是封装式网络、局域网或像互联网那样的广域网。输出信号26可以,例如,显示在显示器32上,记录在数字录像机34中,或在处理器36中处理。控制透镜12的光学缩放或放大因子的缩放因子控制器28可以是人工输入端或像响应来自操作人员的控制信号或来自与网络30连接的工作站38的程序的电机驱动PTZ相机那样的自动输入端。0030假设相机10是固定的,实际场景图像不能随相机光轴而变,放大或缩小只。

23、改变正说明书CN104126300A4/8页7在观看的场景的大小部分,即,视场。如果图像传感器20的中心点未与透镜12的光学中心对准,则随着透镜12缩放,在相机10捕获的图像中感兴趣对象14的位置将漂移。随着相机10放大,使图像轴与光轴之间的任何对准差距增大,使图像的中心点漂移。图像的中心点的这种漂移还随着透镜12缩小而发生,但由于图像中感兴趣对象14的尺寸变小,这种漂移不那么令人烦恼。输入的图像总是存在这种问题。即使在质量严格控制的相机中,完全对准光轴和图像传感器轴几乎是不可能的。0031通过使用本文所述的方法和系统,可以校正输出的图像以保持居中。在不同实施例中这可以通过如下手段来完成,例如。

24、,将这些方法和算法加入已经在相机,即,处理器22中的现有处理能力中,或将像协处理器23那样的处理能力加入相机中,或在相机的外部但捕获图像的记录或显示之前加入随后处理。例如,可以让随后处理在记录视频之前在与网络30连接的处理器36中或在DVR34中完成。0032提供分别例示成帧40和42的示范性输出26的图2和3例示了当相机10放大时感兴趣对象14如何变成偏心的。在图2中,可以看出,感兴趣对象14在第一缩放或放大水平下在帧40中是居中的。图3例示了感兴趣对象14在高于第一缩放水平的第二缩放水平下在帧40中如何变成偏心的。0033参照图4,通过将相机设置在不同放大因子上时将相同对象投影在图像传感器。

25、的不同位置上来例示对图2和3所展示的问题的分析。直线50例示了,例如,透镜12的光轴或光心。直线52例示了,例如,图像传感器20的图像中心。直线54指示图像传感器显示成“L”的尺寸。直线56例示了感兴趣对象到图像传感器的投影。直线58例示了在1的放大因子下的图像面。直线60例示了在2的放大因子下的图像面。直线62例示了在5的放大因子下的图像面。图4例示了图像中心未与光心对准。而是,图像中心52相对于光轴50位移了箭头64所例示的距离“D”。不管放大率是多少,光心和图像面的交点在图像面中是静态的。0034图4例示了目标对象处在沿着直线56的有点距离偏离的点P上的情况。在1的放大率下,目标对象在图。

26、像中心上;在2的放大率下,目标对象相对于图像中心距离是D;以及在5的放大率下,目标对象相对于图像中心距离是4D。从这个例子中可以看出,放大率越大,对象偏心得越远。0035参照图5,将一维数据用于例示确定偏移的方法的一个实施例的例子。在这个例子中,光心72和图像中心74偏移了箭头70所指的距离D。直线76例示了感兴趣的目标对象到图像传感器的点“P”的投影。直线78例示了在1的放大因子下的图像面。直线80例示了在2的放大因子下的图像面。直线82例示了在“N”的放大因子下的图像面。在1的放大率下,从P到光心的距离是X,而从P到图像中心的距离是XD。在2的放大率下,从P到光心的距离是2X,而从P到图像。

27、中心的距离是2XD。类似地,在N的放大率下,P到光心是NX,而P到图像中心是NXD。从这个分析中可以看出,点总是偏离D。0036假设已有在1、2、N的放大因子下的画面或帧。数字放大,即,通过内插加倍在放大率1下的画面或帧。对于这种内插图像从P到光心的距离将是2XD。假设根据图像中心进行内插。内插图像和原始图像存在如下的偏移0037OFFSET2XD2XDD。0038因此,可以通过对准这两个图像找出D。将在2的光学放大因子下的图像与已经放说明书CN104126300A5/8页8大成2的放大因子的数字放大图像对准以确定偏移。0039类似地,可以针对不同放大因子执行相同对准过程。对于N的放大率,该偏。

28、移如下0040OFFSETNXDNXDNLD。0041图像放大得越大,详细画面信息丢失得越多。这将影响对准的精度。方法的另一个实施例是按如下对准每对图像对于K1到最大放大率的一半,在K和2K下的放大率。0042OFFSET2KXD2KXDD。0043对于二维图像,该偏移将是DX,DY。0044设PX,Y和QX,Y是两个方块,方块距离可以使用像下面那样的绝对差之和来定义00450046一般说来,绝对差之和通过取原始或参考方块中的每个像素与用于比较的方块中的相应像素之间的绝对差来度量方块之间的相似性。对这些差值求和以建立方块相似性的度量。0047当修改缩放率时使感兴趣对象居中的方法的一个实施例如下。

29、。将相机居中在静态对象或具有独特非均匀纹理的地点上。该纹理应该是非均匀的,因为如果该纹理是均匀的,则对图像的对准分析可能变得极其困难。优选的是,使灯光和场景在处理时段期间不变。0048参照图6,帧90的图像中心处在92所指的相交线的交点上。针对所希望的每个放大率,例如,从K1到N的放大率收集用于分析的图像。针对每个放大因子执行如下步骤。将相机设置成放大因子K并捕获一个帧。一般说来,将K选为“1”,但也可以选择其它数值。该过程然后获取帧90的中心部分94。通过内插水平和垂直方向两者箭头95所指数字放大帧90的中心部分94将它的尺寸加倍以获得帧96。0049然后将相机设置成2K的放大率,并捕获显示。

30、在图7中的帧98。该系统然后在帧98的中心上选择一个方块100。在该过程的开头,将累积距离的阵列的每个分量设置成0。阵列的大小是W;这是搜索窗口中,即,在窗口大小中不同方块的数量。例如,如果方块的大小是UV和窗口的大小是UV,则WUU1VV1。0050对准分析从左上角开始,并且,例如,从窗口的左侧到窗口的右侧,类似地从上到下,每次移动一个像素。0051处理器计算显示在图8中的方块100与处在帧96中的搜索窗口102中的具有相同尺寸的每个方块之间的方块距离。将每个所计算方块距离累积成累积距离阵列的相应分量。阵列的每个分量对应于一个地点上的累积方块距离。0052处理器然后通过累积方块距离的阵列搜索。

31、以找出最小方块距离。最小累积方块距离的相应坐标是图像面中光轴中心的坐标。例如,图8中的方块104例示了具有最小方块距离的一个以及具有,例如,指示光学放大图像偏移的沿着X和Y方向的像素数量的DX,DY的偏移矢量。0053处理器将给定放大点上的实际图像与相同放大点上的内插图像相比较。该方法随着相机控制系统改变缩放设置从缩放率1到所希望缩放设置连续地数字缩放图像。在每说明书CN104126300A6/8页9个点上,将光学缩放图像的中心部分与数字缩放图像的中心部分相比较。比较图像分部并确定目标的地点漂移。该方法然后在构建输出图像信号时使用偏移计算来移动传感器捕获的像素,因此校正中心漂移。0054一旦找。

32、到光心,在实际应用中,使相机总是居中到光心而不是图像中心。当相机放大时,该对象然后总是在中心位置上。0055图9例示了相机以及相机面对的区域的世界坐标的几何表示。图10示出了图像坐标中I1到9的点UI,VI和它们在世界地面坐标中的相应点XI,YI的几何表示;还示出了图像坐标中的点U,V和它在世界地面坐标中的相应点X,Y。图11例示了图像坐标中的点U,V、相机的焦点D、和焦距F的几何表示。0056用在下面的方程中变量定义如下0057,分别是水平和垂直视场的一半;0058IW,IH图像宽度和高度以像素为单位;0059AP像素的宽高比;0060F焦距单位与传感器尺寸相同;0061分别是相机的摇头和倾。

33、斜角;0062H相机的高度;0063U,V以像素为单位;0064X,Y以英尺或米为单位。0065假设相机居中在位置上。发现一个对象处在图像坐标U,V位置上。目标是将相机移动到新位置以便在这个新位置上,该对象变成在图像坐标的中心上。图9例示了新位置的摇头和倾斜角0066给定U,V,按如下计算00671按如下计算T、TANT和TANQ0068FIW/2TAN0069TANTVAP/F,TTAN1VAP/F007000712如果MT0,则公式如下0072MMT007300743如果090,则摇头角的公式如下0078T180MT00790080T180T00810082注意,上面的方程基于图像中心和光。

34、心是相同点的假设。如果它们未对准在一起,则需要对上面的方程作一些修改。在图像坐标中分别设DU,DV是光心和0,0是图像中心。对U,V的调整如下0083UUDU0084VVDV0085也就是说,UDU,VDV将取代U,V用于计算上面方程中的0086图12例示了实现在不同缩放设置下确定偏移的方法的一个实施例的示范性流程图。可以针对单个补偿因子对这些偏移求平均以便用在重置图像中心中或,例如,可以存储各种缩放设置下的偏移和用在重置图像中心中。对于偏移的各种测量值之间的缩放因子,可以使用任何适当内插来计算两个最接近测量偏移之间的偏移。这种在不同缩放设置下确定偏移的示范性方法可以在相机处理器或与网络连接的。

35、其它处理器的本地控制下执行,以及可以在相机处理器或与网络连接的其它处理器中本地地进行计算。优选的是,将偏移本地地存储在相机存储器中;但是,可以将它们存储在像,例如,工作站那样与系统连接的其它设备中。0087在步骤210中,利用非均匀纹理使相机在图像上光学居中。然后在步骤212中,将K计数初始化成零。在步骤214中读取相机放大设置,并将K值设置成这个值。然后在步骤216中将K的值设置成K1。在判定点218上,该方法确定KN读数是否大于等于允许的缩放设置,其中N是相机的任何有效缩放倍数。如果不是,则相机在步骤220中捕获帧A。在步骤222中使相机缩放到位置NK,将NK设置成等于这个值,并捕获帧B。。

36、然后在步骤224说明书CN104126300A108/8页11中将帧A内插成NK的放大值。在步骤226中取内插帧A和光学帧B的中心部分,以及然后在步骤228中匹配这些中心部分并确定偏移。然后在步骤230中为这个K设置存储偏移值。该方法然后返回到递增K的步骤216。如果判定块218确定KN大于允许的缩放设置,则该方法转到通过将各种偏移的数值之和除以N1确定偏移值的方块232。0088参照图13,所例示的是在缩放期间使对象居中的示范性方法300的流程图。这种方法可以利用按照上述方法确定的一个或多个偏移。在步骤302中,例如,在图1中的缩放因子控制器28上从自动控制器或人工输入端接收缩放因子请求。在。

37、步骤304中,例如,处理器22从存储器25中为所请求缩放因子获取偏移,并在步骤306中将其提供给摇头/倾斜控制器19来调整相机10,以便使对象14保持居中。在步骤308中,摇头/倾斜控制器19使相机10按来自处理器22的偏移所要求稍作移动以便使对象14保持居中。0089图14例示了在缩放期间确定要提供给摇头/倾斜控制器19的偏移的示范性方法。方法400在步骤402中接收缩放因子请求。处理器22然后在判定点404上确定是否已经为所请求缩放因子确定了偏移。如果,例如,上述的偏移确定过程期间,所要求偏移与确定偏移的缩放因子之一相同,则处理器22简单地在步骤408中将那个偏移提供给摇头/倾斜控制器19。

38、。类似地,如果,例如,根据为各种缩放因子计算的偏移应用平均偏移,则处理器22简单地将那个偏移提供给摇头/倾斜控制器19。如果,例如,已经为各种缩放因子存储了偏移,则处理器22在存储器25中检查适合偏移。如果对于请求的特定缩放因子系统在存储器中没有偏移,则在步骤406中,处理器22通过,例如,使用最接近的较小和较大缩放因子偏移,或像使用最接近缩放因子偏移或使用最接近缩放因子内插那样的其它适当方法内插偏移。0090在相机传感器不改变其特性的环境稳定地点中,可以一次性地执行校准过程。将偏移存储在相机的存储器中,然后简单地将其应用于每个视频帧。如果环境受改变相机的传感器特性的变量支配,则可以按要求周期。

39、性地或连续地使用该过程。0091为了核实偏移调整技术的精确性,可以使用不同于两倍的放大因子。将结果与在2的放大因子下确定的偏移调整相比较。例如,这种潜在差异的原因是在2X下的放大因子可能是不精确的,即,实际上可能不是两倍。此外,在多个不同放大率下确定偏移以提供设置成与用户所确定一样精细的偏移因子粒度的方法适用于特定相机、装置或应用。0092本文所述的各种方法可以在安装地点实时地用在现场,以及用在相机制造过程中。本文所述的方法可以在包括电子图像传感器和光学可变缩放能力的任何相机中实现。在可替代实施例中,只要主设备可以为相机收集相机缩放设置,接受视频输入的设备就可以提供运行该方法来校正输出的软件平。

40、台。0093本文所述和所示的进程和方法可以存储在非临时性计算机可读介质上,该非临时性计算机可读介质指的是用于存储计算机可访问的数据的任何非临时性存储设备,例如,磁硬盘、软盘、像CDROM或DVD那样的光盘、磁带、和存储芯片。说明书CN104126300A111/8页12图1说明书附图CN104126300A122/8页13图2图3图4图5说明书附图CN104126300A133/8页14图6图7图8说明书附图CN104126300A144/8页15图9说明书附图CN104126300A155/8页16图10说明书附图CN104126300A166/8页17图11说明书附图CN104126300A177/8页18图12说明书附图CN104126300A188/8页19图13图14说明书附图CN104126300A19。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1