《图像处理电路的时间同步.pdf》由会员分享，可在线阅读，更多相关《图像处理电路的时间同步.pdf（11页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN101981410A43申请公布日20110223CN101981410ACN101981410A21申请号200980111415322申请日2009040708103410020080407EPG01C11/02200601G01C25/0020060171申请人NXP股份有限公司地址荷兰艾恩德霍芬72发明人阿尼巴恩拉希里亚历山大亚历山德罗维奇丹尼林74专利代理机构中科专利商标代理有限责任公司11021代理人王波波54发明名称图像处理电路的时间同步57摘要一种可控光源102被控制为发射调制光，优选地使用唯一可识别的调制图案。多个摄像机单元10捕获包含光源的图像。从与捕获图。
2、像的摄像机单元10相关联的相应时钟电路120捕获与图像捕获相对应的时间处的时钟时间值。在捕获图像中检测到调制光。使用检测到调制光的图像的关联时钟时间值来执行时钟电路120彼此的相对校准。30优先权数据85PCT申请进入国家阶段日2010092886PCT申请的申请数据PCT/IB2009/0514642009040787PCT申请的公布数据WO2009/125346EN2009101551INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书6页附图2页CN101981419A1/2页21一种图像处理系统，包括多个时钟电路120；多个摄像机单元10，每个摄像机单元10具。
3、有来自多个时钟电路120的关联时钟电路120，每个摄像机单元10被配置为捕获图像，所述图像在与图像的捕获相对应的时间与从摄像机单元10的关联时钟电路120捕获的时钟时间值相关联；可控光源102；处理电路12、16，耦合至摄像机单元10和可控光源102，并被配置为，使可控光源102发射调制光、检测捕获的图像中的调制光、以及根据检测到调制光的图像的关联时钟时间值来确定时钟电路120彼此的相对校准。2根据权利要求1所述的图像处理系统，其中，可控光源102是摄像机单元10之一的一部分，所述摄像机单元10被配置为在与调制光的发射相对应的时间捕获来自摄像机单元10的关联时钟电路120的另一时钟时间值，处理。
4、电路12、16被配置为根据图像的另一时钟时间值和检测到调制光的图像的关联时钟时间值的组合，来确定时钟电路120彼此的相对校准。3根据权利要求1所述的图像处理系统，包括多个可控光源102，每个可控光源102对于摄像机单元10的相应组是可见的；处理电路12、16被配置为使每个可控光源102发射调制光、检测摄像机10组的捕获的图像中来自可控光源102的调制光、以及根据检测到调制光的图像的关联时钟时间值来确定时钟电路120彼此的相对校准。4根据权利要求3所述的图像处理系统，其中，处理电路12、16被配置为使每个可控光源102发射具有相应调制图案的调制光，所述相应调制图案将可控光源102与来自可控光源1。
5、02的所有其他可控光源相区分。5根据权利要求5所述的图像处理系统，其中，处理电路12、16被配置为使光源中相应的光源的调制图案表示纠错码的相应的不同码字。6根据权利要求3所述的图像处理系统，其中，每个摄像机单元10包括摄像机和固定附着至摄像机单元10的摄像机的光源102中相应的一个光源。7根据权利要求6所述的图像处理系统，其中，处理电路12、16被配置为，根据检测到调制光的图像的时钟时间值与在调制摄像机单元10的可控光源102时采样的时钟时间值的组合，来确定时钟电路彼此的相对校准。8根据权利要求6所述的图像处理系统，其中，处理电路12、16被配置为使每个可控光源102发射具有相应调制图案的调制。
6、光，所述相应调制图案将光源与所有其他光源相区分，其中，处理电路12、16被配置为根据检测到有区别图案的捕获图像中的位置，来校准摄像机的相对位置。9一种摄像机单元，包括时钟电路120；摄像机；可控光源102；具有通信网络接口的摄像机控制电路12，摄像机控制电路12耦合至时钟电路120、摄像机和可控光源102，摄像机控制电路120被配置为，控制可控光源102发射调制的图案、对与发射时间相关联的时钟电路120的时钟时间值进行采样、对在摄像权利要求书CN101981410ACN101981419A2/2页3机所捕获的图像中检测到其他调制图案的时钟电路120的另一时钟时间值进行采样、以及经由网络接口传输。
7、表示采样时钟时间值的信息。10一种操作图像处理系统的方法，所述方法包括使可控光源102发射调制光；分别从多个摄像机单元10捕获包含光源的图像；分别从与捕获图像的摄像机单元10相关联的相应时钟电路120捕获与图像的捕获相对应的时间的时钟时间值；检测捕获图像中的调制光；根据检测到调制光的图像的关联时钟时间值确定时钟电路120彼此的相对校准。11根据权利要求10所述的方法，包括从多个可控光源102发射调制光，其中，每个可控光源102具有相应调制图案，所述相应调制图案将可控光源102与可控光源102中所有其他可控光源相区分；根据在捕获图像序列中捕获的调制光，检测可控光源102中识别的相应的一个可控光源。
8、；根据关联时钟时间值集合，确定时钟电路120彼此的相对校准，每个集合针对可控光源102中相应的一个可控光源，所述集合针对包括针对图像的时钟时间值的每个可控光源，其中，检测到针对可控光源的调制光。12一种计算机程序产品，包括指令程序，当可编程处理电路12、16执行所述指令程序时，所述指令程序使处理电路12、16执行权利要求10的方法。权利要求书CN101981410ACN101981419A1/6页4图像处理电路的时间同步技术领域0001本发明涉及一种包括测量可视对象的属性的多个摄像机在内的系统，一种供这种系统使用的摄像机单元、一种校准这种摄像机系统的方法、和一种测量可视对象的属性的方法、以及一。
9、种用于执行这种方法的计算机程序产品。背景技术0002已知使用多个摄像机来测量可视对象的位置，这些摄像机可以观看来自不同角度的对象。在这种系统的设计中校准是重要问题。校准涉及确定摄像机的相对位置和方位。0003美国专利申请2005/0071105描述了如何通过沿着平面内的圆移动光点来执行校准，该光点在至少一部分时间内对于不同摄像机是可见的。0004美国专利申请2006/0195292描述了如何使用不同摄像机的共享对象的图像来执行校准。该文献指出，摄像机的图像采样的同步引起了若干问题。不同摄像机的图像采样时间点不同步，并且这些时间点可以由不同的时钟来测量。该文献提出通过将时间偏移与时钟时间值相加来。
10、校正时钟差，以及通过对相邻采样时间点内来自相同摄像机的数据进行插值来校正采样时间差。然而，没有讨论确定时间偏移的方法。发明内容0005本发明的目的是提供利用多个摄像机的对象属性测量，其中，简化了校准。0006本发明的目的是提供改进的摄像机相对校准。0007提供了一种根据权利要求1的图像处理系统。这里，存在多个时钟电路和摄像机单元。每个摄像机单元具有关联的时钟电路。处理电路耦合至摄像机单元和可控光源。处理电路使可控光源发射调制光，检测来自摄像机单元的捕获图像的调制光，以及根据检测到调制光的图像的关联时钟时间值来确定时钟电路彼此的相对校准。0008在实施例中，可控光源置于摄像机单元中，使得在发射调。
11、制光时可以捕获到摄像机单元的关联时钟的时钟时间值，并用来贡献于校准。0009在实施例中，可以使用发射调制光的多个可控光源，使得来自不同位置的发射可以用于校准。在另一实施例中，可以使用将每个可控光源与可控光源中所有其他可控光源区分的调制图案。因此，使得能够根据捕获的图像来识别不同的光源，以供校准的相应部分使用。代表纠错码的相应不同码字的调制图案可以用于区分光源。附图说明0010使用以下附图，根据示例实施例的描述，这些和其他优点方面将变得显而易见。0011图1示出了具有多个摄像机的系统。0012图1A示出了摄像机的正视图。0013图2示出了摄像机配置。0014图3示出了时间发射图案的示例。说明书C。
12、N101981410ACN101981419A2/6页5具体实施方式0015图1示意性示出了具有多个摄像机10的系统。该系统包括摄像机10、摄像机控制电路12、通信网络14以及公共处理器16。每个摄像机控制电路包括时钟电路120。摄像机控制电路12分别耦合至摄像机10中相应的一个。摄像机10和摄像机控制电路12可以一起形成一个摄像机单元，但是备选地，摄像机可以形成分离的摄像机单元。0016摄像机控制电路12经由摄像机控制电路12的网络接口、通信网络14耦合至公共处理器16。可以使用任何类型的网络接口，例如，无线接口、以太网接口、电话线等。公共处理器16可以被配置为根据从不同摄像机10的组合所获。
13、得的数据来计算三维位置信息。公共处理器16可以被配置为响应于数据来计算其他图像，以在一个或多个显示屏幕未示出上显示；和/或根据数据来控制致动器未示出。0017通信网络14可以是根据例如消息源和目的地的位置和/或其他消息业务量以不可预测的可变延迟来传输消息的网络。本发明的系统对于这种不可预测的延迟对图像处理的影响是鲁棒的。然而，应当注意到，即使通信网络14不具有不可预测延迟，也可以使用本发明的系统。只要不知道通信网络14是否具有不可预测延迟，例如，这是由于本发明的系统设计之后用户会任意选择通信网络14的类型，针对这种效果的鲁棒性就是令人期望的。0018尽管作为示例示出了具有相应摄像机控制电路12。
14、的三个摄像机10，但是应认识到，可以使用两个或多于三个的摄像机10和摄像机控制电路12。每个摄像机10包括图像传感器100和可控光源102，图像传感器100和可控光源102耦合至其摄像机控制电路。光源102例如可以是LED。图1A示出了摄像机10的示例正视图，其中，光源102和透镜未示出用于将感兴趣区域成像到图像传感器上。在实施例中，光源102相对于透镜具有预定、固定位置。0019应认识到，图1没有提供关于摄像机的实际位置和方位的信息尽管成排并定向并行地示出了摄像机以便示意性示出该系统，但是摄像机的实际位置和方位可以不同。此外，应认识到，一些摄像机控制电路12可以耦合至摄像机组，并且公共处理器。
15、16可以直接耦合至一些摄像机控制电路，其间无需插入通信网络14。0020图2示出了摄像机配置的示例，包括指向感兴趣区域20的多个摄像机。不同摄像机10的视场由虚线22指示。应注意，不同的摄像机10在其他摄像机10的视场中。应强调的是，图2仅示出了配置的一个示例。可以以任何角度并在任何相对位置提供摄像机10。同样，每个摄像机10不必使得所有其他摄像机在其视场中。每个特定摄像机10具有一个或多个其他摄像机10的观看组，一个或多个其他摄像机10使该特定摄像机在它们的视场中。不同摄像机10的观看组可以彼此不同，一些摄像机10可以不在其他摄像机10的观看组中。0021在操作中，公共处理器16和摄像机控制。
16、电路12执行处理任务的收集。必须在特定摄像机控制电路12处执行这些任务中的一部分，但是在其他任务可以由公共处理器16和摄像机控制电路12中的任一个来执行的情况下，其他任务是可转移的。只要涉及这种可转移的任务，公共处理器16和摄像机控制电路12就共同被称作处理电路。事实上，甚至可以省略公共处理器16，所有任务可以由摄像机控制电路12来执行，或者公共处理器16可以包括分离地耦合至通信网络14的多个子处理器。在每种情况下，摄像机控制电路12、公共说明书CN101981410ACN101981419A3/6页6处理器16如果存在以及子处理器共同被称作处理电路。0022在操作中，摄像机10捕获感兴趣区域。
17、20的图像，并且通过通信网络14传输从捕获图像获得的数据。处理电路通过通信网络14向摄像机控制电路发送命令消息，来控制光源102发射随时间变化的光强的图案。响应于接收到的命令消息，每个摄像机控制电路12控制与其连接的摄像机10的可控光源102的光强。可以使用具有开/关电平的图案。0023图3示出了根据时间的发射图案的示例。在每个图案中，光源102在开电平和关电平之间切换，并且至少在摄像机10的视频帧周期T两个视频场期间保持在每个电平处。可以使用较长最小时间间隔，例如，两个帧持续时间的时间间隔。在整个视频帧或场期间不使光源102保持开启，因为光源102可能在短于视频帧或场的脉冲中的场周期期间临时。
18、闪烁。连续的脉冲至少由帧或场持续时间来分开。当摄像机10在帧或场上对接收到的光进行积分时，这对于接收而言何时使用同步的发射和接收是没有差别的，但是在非同步发射和接收的情况下，更高的时间分辨率是可能的。0024此外，在操作期间，摄像机控制电路12在发射图案时确定其时钟电路120的时钟时间值，并且通过通信网络14传输代表该时钟时间值的响应。每个摄像机10捕获包含像素的图像，从在其视场中的那些其他摄像机10的光源接收光。此外，摄像机控制电路12捕获至少针对包含发射图案的图像的时钟电路120的时钟时间值。0025这可以通过以下操作来进行捕获针对所有图像的时钟时间值，并且随后在处理电路中检测哪些图像包含。
19、发射图案；或者首先在摄像机控制电路中检测包含发射图案的图像，然后对检测到的图像的时钟电路120的时钟时间进行采样。0026对包含发射图案的图像的检测可以通过以下操作来执行检测是否存在像素位置，在该像素位置，图案出现在连续图像序列中的像素位置的像素值中。使用针对各个单独像素位置的检测具有可以实现最大信噪比的优点。备选地，可以通过检测在连续图像序列中像素集合上的连续空间平均或者空间和中是否存在该图案来执行检测。在这种情况下，如果在任何图像集合中检测到图案，则可以在图像中检测到该图案。整个图像可以用作像素位置的集合或块。使用针对像素位置集合的像素值上的平均和具有需要较少计算量的优点。然而，这会引起在。
20、检测期间必须解决的背景量的增加的问题，并且由于图像运动或舍入误差可以使检测变得更困难。0027相应地，处理电路针对与发射图案相对应的时间变化监控图像，以检测由于图案而引起的时间变化。当检测到这种图案时，确定图案出现时捕获图像的摄像机10的摄像机控制电路12的时钟时间值。该时钟时间值通过通信网络14通知。0028这样，处理电路从多个摄像机控制电路12接收与随时间变化的光强的图案发射时间相对应的时钟时间值，多个摄像机控制电路12包括发射图案的摄像机10中的摄像机控制电路12和捕获图案的摄像机10中的一个或多个摄像机控制电路12。根据接收到的信息，处理电路确定包含发射摄像机10在内的摄像机组的摄像机。
21、控制电路12与发射摄像机10的观看组之间的相对时钟偏移。换言之，可以确定组中所有摄像机10与组中参考摄像机的时钟偏移。这可以针对其他发射摄像机10进行重复，以获得针对其他摄像机10组的相对偏移。当在这些组之间存在交叠时，允许链接覆盖所有摄像机10的组，这样可以定义所有摄像机10的相对偏移。0029在该实施例中，使用发射图案的摄像机10的摄像机控制电路以及捕获图案的摄说明书CN101981410ACN101981419A4/6页7像机10的一个或多个摄像机控制电路12的捕获时钟时间值。备选地，可以使用这些时钟时间值的子集，例如，仅使用捕获图案的摄像机10的时钟时间值，不使用发射摄像机10的时钟时。
22、间值。然而，优选地，使用捕获图案的摄像机10的时钟时间值，这是由于可以利用较少的处理来确定该时间值。此外，优选地尽可能使用来自许多摄像机10的时钟时间值，因为这会增加不同摄像机10的覆盖。因此，即使一个摄像机10不能观看到任何其他摄像机10，只要至少一个其他摄像机10能够观看到该摄像机10，就可以对其时钟电路进行校准。可以选择使光源的观察方差的所有光源的和最小化的相对偏移集合。这里光源的方差是从光源发射时摄像机“I”处的采样时钟时间TI加上摄像机“I”的偏移的平方TIDI2，针对所有摄像机对平方TIDI2进行平均，用该平均减去TIDI的平均的平方所获得的差值。这里，当选择是该和最小化的偏移DI。
23、时，可以任意固定一个偏移。0030在实施例中，可以从不同摄像机发射随时间变化的光强的相互不同的图案，使得通过每个图案可以区分发射该图案的摄像机10与所有其他摄像机10。在该实施例中，处理电路针对每个图案检测在图像中是否出现图案。这允许根据捕获图像来识别发射摄像机，从而可以利用基于图案的识别来与检测到该图案的时钟时间值进行组合。0031在另一实施例中，可以使用冗余图案，即使在一些图像中错误地丢失来自光源的光，或者在一些图像中错误地检测到光，冗余图案也允许确定定时。因此，例如，光源102可以根据一些冗余图案，在连续视频帧序列的每个视频帧期间保持开启或关闭，或者根据该图案在所选脉冲间隔期间闪烁。00。
24、32例如，来自纠错码的不同码字可以用于定义不同摄像机10的光源102发射的图案。这确保在图案之间存在足够的不同，以识别甚至在捕获图像中被破坏的图案。此外，能够使用开发良好的纠错技术来恢复原始码字、定时信息，并且也可以识别发射摄像机10。在这种情况下，任何形式的纠错解码可以应用于来自摄像机图像的像素值或平均，以在校正之后检测连续帧中像素的像素值是否与特定摄像机10所使用的码字相对应。例如可以使用维特比解码。0033备选地，可以激活摄像机来在良好分离的时间间隔内依次发射图案，在这种情况下，可以根据检测到图案的时间间隔来识别摄像机。在这种情况下，不需要区分图案，使得可以从所有摄像机发射相同图案。在这。
25、种情况下，可以使用简单图案，例如，在预定帧周期期间开启光源102的图案。在这种情况下，可以通过在检测到图案的第一或最后视频帧的结束时对时钟电路进行采样来确定时钟时间值。然而，同样在这种情况下，冗余图案可以用于降低易出错性。0034当使用冗余图案来降低易出错性时，在图案用于区分特定摄像机10或由不同摄像机共享的情况下，可以使用相关性来检测捕获发射的时间点。预期图案与连续捕获帧中观察到的像素强度的相关性会获得相关峰，并且该相关峰位置处的时钟时间值可以用于表示摄像机控制电路12的定时。0035许多图案适合于上述目的，并且可以使用任何已知的相关性技术。在实施例中，可以使用随机图案。可以在运行时间选择和。
26、分配图案以用于发射和校正。可以使用预定的随机图案。如果使用预定图案，则不需要图案的分配。0036当每个图案区分发射图案的特定摄像机10时，不同摄像机10可以同时或者比通信网络14引入的延迟变化小的时间间隔发射图案。如果图案是不可区别的，则可以使用大说明书CN101981410ACN101981419A5/6页8于由通信网络14所引入的延迟变化的不可区分的发射之间的时间间隔，来使发射摄像机变得可识别。然而，这意味着确定偏移比唯一信号情况下花费更多时间。0037一旦已经确定了不同摄像机控制电路12的时钟时间之间的偏移，就可以使用该偏移来调整摄像机的定时。在一个实施例中，处理电路基于偏移向摄像机控制。
27、电路12发送时钟校正数据。在该实施例中，摄像机控制电路12根据偏移改变它们的时钟时间。在备选实施例中，时钟电路可以不受影响，可以在时钟时间值采样之后，根据偏移来校正时钟电路的时钟时间值。0038因此，可以将调整后的时间值分配给从不同摄像机10获得的图像。这可以用于根据不同摄像机10获取的对象的图像来计算对象的三维位置和/或方位。调整后的时间值可以用于在相等的时间点选择来自不同摄像机10的图像，和/或将来自摄像机的图像的数据插入到与由来自另一摄像机的图像定义的时间相对应的时间点。0039如上所述，各种任务由“处理电路”来执行，这意味着各种任务可以由摄像机控制电路12和公共处理器16中任一个或组合。
28、来执行。因此，例如，从光源发射图案的命令可以源自公共处理器16，并且公共处理器可以通过通信网络14将这些命令发送给摄像机控制电路12。备选地，命令可以源自摄像机控制电路12中的一个，并通过通信网络14被发送给摄像机控制电路12中的其他摄像机控制电路。摄像机控制电路12执行控制图案的发射、捕获图像以及捕获时钟时间值的任务。每个摄像机控制电路12可以执行对来自该摄像机控制电路12的摄像机10或其他摄像机10的图像的图案进行检测的任务，或者该任务可以通过公共处理器16或通过其他摄像机控制电路12来执行。然而，利用捕获图像的摄像机10的摄像机控制电路12来执行上述任务的优点是，可以避免通过通信网络传输。
29、图像。类似地，随后将捕获时钟时间值与已经检测到图案的图像相关联的任务可以利用捕获图像的摄像机10的摄像机控制电路12来执行，或者该任务可以通过公共处理器16或通过其他其他摄像机控制电路12来执行。公共处理器16和摄像机控制电路12可以是可编程处理器，包含执行上述任务的程序。任务的部分或全部也可以由被设计为执行任务的硬件来执行，并且可以置于摄像机控制电路12和/或公共处理器16中。因此，例如，可以提供硬件检测电路来检测来自模拟图像信号的图案。0040在实施例中，每次启动系统时，就执行对时间偏移的确定。在另一实施例中，可以重复地例如，周期性地执行上述确定以更新时间偏移。0041除了确定不同时钟之间。
30、的时间偏移以外，或者备选地，光源102还可以用于确定相对摄像机位置。在实施例中，处理电路例如，摄像机控制电路12针对许多像素位置中的每一个检测在针对连续图像序列中的像素位置的像素值中是否出现发射图案，并且处理电路通知所识别的源摄像机10的检测光的像素位置信息。优选地，使用强度变化的图案来识别图案的不同源摄像机10。在这种情况下，可以与源摄像机10的识别相关联地传输像素位置信息。备选地，如果不使用唯一图案，可以通过使用大于由通信网络14引入的延迟变化的不可区分发射之间的时间间隔，来使源摄像机10变得可识别。然而，这意味着检测花费更多时间。0042可以使用像素位置信息与针对来自多个摄像机10的相同。
31、源摄像机的源摄像机识别的组合来确定摄像机的相对位置信息。例如，如果发现第一摄像机10来检测第二摄像机10的光发射对，则可以确定从第一摄像机到第二摄像机的方向之间的角度，该角度确定了说明书CN101981410ACN101981419A6/6页9相对于连接第二摄像机的线而定义的二维表面上的第一摄像机的位置。该信息可以用于辅助确定摄像机的相对位置。不发送来自摄像机控制电路12的像素位置，可以发送图像，在这种情况下，公共处理器16可以确定位置。0043在另一实施例中，至少一个摄像机包括彼此不同位置处的多个光源。例如，两个光源。在这种情况下，不同光源的检测像素位置可以用于辅助确定摄像机的相对方位。00。
32、44尽管已经示出了实施例，其中，光强在开电平与关电平之间变化，光强可以是光的颜色分量的强度，但是应认识到，可以使用其他形式的调制，例如，使用多于两个强度级，或者强度的模拟调制，或者不调制强度或除了调制强度以外，还调制发射颜色。如将认识到的，可以使用对于摄像机10而言可检测的任何调制。所用的检测到的调制可以类似于开启关闭强度调制。0045通过对附图、公开和所附权利要求的描述，本领域技术人员在实践要求保护的本发明时可以理解和实现所公开的实施例的其他变型。在权利要求中，词语“包括”不排除其他元件或步骤。单个处理器或其他单元可以完成权利要求中引述的若干项的功能。事实仅在于，在彼此不同的从属权利要求中引述的特定手段不表示这些手段的组合不具有优点。计算机程序可以在适合的介质上存储/分发，例如，光存储介质或与其他硬件一起提供或者作为其他硬件的一部分的固态介质，但是也可以以其他形式分发，例如经由互联网或其他有线或无线电信系统。权利要求中的任何附图标记不应视为限制本发明的范围。说明书CN101981410ACN101981419A1/2页10图1图1A说明书附图CN101981410ACN101981419A2/2页11图2图3说明书附图CN101981410A。