双图像捕获处理.pdf

本发明涉及双图像捕获处理。本发明的成像设备的实施方式自动利用图像处理管线中的同时图像捕获。在一个实施方式中，控制处理电路启动第一图像传感器对第一图像以及第二图像传感器对第二图像的同时捕获；并且图像处理电路产生包括第一图像和第二图像中的至少一部分的增强的单视场图像。

权利要求书一种图像捕获设备，包括：第一图像传感器，用于记录第一图像；第二图像传感器，用于记录第二图像；控制处理电路，启动所述第一图像传感器对所述第一图像以及所述第二图像传感器对所述第二图像的同时捕获；以及图像处理电路，产生包括所述第一图像和所述第二图像的至少一部分的增强的单视场图像。根据权利要求1所述的图像捕获设备，其中，所述增强的单视场图像包括从所述第一图像中获取的第一部分和从所述第二图像中获取的第二部分，其中，所述第一部分包括具有与所述第二部分不同的曝光水平或者具有与所述第二部分不同的景深中的至少一个，或者其中，所述增强的单视场图像的分辨率大于所述第一图片和所述第二图像的单个的分辨率。根据权利要求1所述的图像捕获设备，其中，对所述第二图像进行分析并将其与所述第一图像比较，以分离出所述第一图像中的缺陷，其中，所述增强的单视场图像是所述第一图像去除所述缺陷的经校正的版本。根据权利要求1所述的图像捕获设备，其中，所述控制处理电路被配置为在以下模式下进行操作：立体模式，利用所述第一图像传感器和所述第二图像传感器的同时操作以产生立体图像；单视场模式，利用所述第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用所述第一图像传感器和所述第二图像传感器的同时操作以产生所述增强的单视场图像，或者其中，所述控制处理电路被配置为在包括所述单视场模式、所述立体模式或所述增强的单视场模式中的至少两个的操作模式之间自动切换。根据权利要求1所述的图像捕获设备，其中，所述第一图像用作用于所述增强的单视场图像的图像数据，并且所述第二图像用作增强数据以增强所述第一图像的至少一个图像特性，其中，所述增强的单视场图像包括具有至少一个改善的特性的所述第一图像。根据权利要求1所述的图像捕获设备，其中，所述图像处理电路在第一处理路径中处理所述第一图像和所述第二图像所共享的相似像素，并且在第二处理路径中处理所述第二图像的不相似的像素。一种图像处理方法，包括：记录由第一图像传感器所捕获的第一图像；记录由第二图像传感器所捕获的第二图像，其中，所述第一图像和所述第二图像是同时捕获的；比较所述第一图像和所述第二图像中的至少一部分；以及响应于所述第一图像和所述第二图像的比较结果，产生增强的单视场图像。根据权利要求7所述的图像处理方法，其中，所述第一图像用作用于所述增强的单视场图像的图像数据，而所述第二图像用作增强数据以增强的所述第一图像的至少一个图像特性，其中，所述增强的单视场图像包括具有至少一个改善的特性的所述第一图像，其中，所述至少一个改善的特性包括改善的景深、改善的分辨率中的至少一个；或改善的曝光水平。根据权利要求7所述的图像处理方法，其中，对所述第二图像进行分析并将其与所述第一图像比较，以分离出所述第一图像中的缺陷，其中，所述增强的单视场图像是所述第一图像去除所述缺陷的经校正的版本。根据权利要求7所述的图像处理方法，其中，一种图像捕获设备包括所述第一图像传感器和所述第二图像传感器，所述方法还包括：在以下模式之间切换所述图像捕获设备的操作：立体模式，利用所述第一图像传感器和所述第二图像传感器的同时操作以产生立体图像；单视场模式，利用所述第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用所述第一图像传感器和所述第二图像传感器的同时操作以产生所述增强的单视场图像。

说明书双图像捕获处理
相关申请的交叉参考
本申请要求于2011年7月20日提交的美国临时申请61/509,747、以及2011年12月22日提交的美国实用专利申请13/335,028的优先权，将其全部内容通过引用结合于此。
背景技术
某些类型的图像处理，诸如高动态范围（HDR）图像处理，涉及将照相机的顺序的静态图像输出（例如，各具有不同的曝光）组合成具有高动态范围的单个静态图像（即在亮暗图像区域之间具有更大的亮度变化范围的图像）。该方法通常被称为包围曝光，并可以在现有的相机中发现。
发明内容
本发明提供了一种图像捕获设备，包括：第一图像传感器，用于记录第一图像；第二图像传感器，用于记录第二图像；控制处理电路，启动第一图像传感器对第一图像以及第二图像传感器对第二图像的同时捕获；以及图像处理电路，产生包括第一图像和第二图像的至少一部分的增强的单视场图像。
优选地，增强的单视场图像包括从第一图像中获取的第一部分和从第二图像中获取的第二部分，其中，第一部分包括具有与第二部分不同的曝光水平或者具有与第二部分不同的景深中的至少一个。
优选地，增强的单视场图像的分辨率大于第一图片和第二图像的单个的分辨率。
优选地，对第二图像进行分析并将其与第一图像比较，以分离出第一图像中的缺陷，其中，增强的单视场图像是第一图像去除缺陷的经校正的版本。
优选地，控制处理电路被配置为在以下模式下进行操作：立体模式，利用第一图像传感器和第二图像传感器的同时操作以产生立体图像；单视场模式，利用第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用第一图像传感器和第二图像传感器的同时操作以产生增强的单视场图像。
优选地，控制处理电路被配置为在包括单视场模式、立体模式或增强的单视场模式中的至少两个的操作模式之间自动切换。
优选地，第一图像用作用于增强的单视场图像的图像数据，并且第二图像用作增强数据以增强第一图像的至少一个图像特性，其中，增强的单视场图像包括具有至少一个改善的特性的第一图像。
优选地，图像处理电路在第一处理路径中处理第一图像和第二图像所共享的相似像素，并且在第二处理路径中处理第二图像的不相似的像素。
优选地，第一图像传感器在同时捕获的过程中以第一面元划分水平进行操作，第一面元划分水平不同于在同时捕获的过程中第二图像传感器进行操作的面元划分水平。
本发明还提供了一种图像处理方法，包括：记录由第一图像传感器所捕获的第一图像；记录由第二图像传感器所捕获的第二图像，其中，第一图像和第二图像是同时捕获的；比较第一图像和第二图像中的至少一部分；以及响应于第一图像和第二图像的比较结果，产生增强的单视场图像。
优选地，第一图像用作用于增强的单视场图像的图像数据，而第二图像用作增强数据以增强的第一图像的至少一个图像特性，其中，增强的单视场图像包括具有至少一个改善的特性的第一图像。
优选地，至少一个改善的特性包括改善的景深、改善的分辨率中的至少一个；或改善的曝光水平。
优选地，对第二图像进行分析并将其与第一图像比较，以分离出第一图像中的缺陷，其中，增强的单视场图像是第一图像去除缺陷的经校正的版本。
优选地，缺陷包括镜头阴影缺陷。
优选地，一种图像捕获设备包括第一图像传感器和第二图像传感器，方法还包括：在以下模式之间切换图像捕获设备的操作：立体模式，利用第一图像传感器和第二图像传感器的同时操作以产生立体图像；单视场模式，利用第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用第一图像传感器和第二图像传感器的同时操作以产生增强的单视场图像。
优选地，第一图像传感器包括将红色、绿色或蓝色的光传输至传感器像素的图像传感器，并且第二图像传感器包括与第一图像传感器不同类型的图像传感器。
本发明还提供了一种具有图像处理程序的计算机可读介质，当图像处理程序被硬件处理器执行时，使硬件处理器：记录由第一图像传感器所捕获的第一图像；记录由第二图像传感器所捕获的第二图像，其中，第一图像和第二图像是同时捕获的；比较第一图像和第二图像中的至少一部分；以及响应于第一图像和第二图像的比较结果，生成增强的单视场图像。
优选地，一种图像捕获设备包括第一图像传感器和第二图像传感器，图像处理程序进一步使硬件处理器：在以下模式之间切换图像捕获设备的操作：立体模式，利用第一图像传感器和第二图像传感器的同时操作以产生立体图像；单视场模式，利用第一图像传感器的单独的操作以产生单视场图像；以及增强的单视场模式，利用第一图像传感器和第二图像传感器的同时操作以产生增强的单视场图像。
优选地，第一图像用作用于增强的单视场图像的图像数据，并且第二图像用作支持数据以校正第一图像中的缺陷。
优选地，第一图像用作用于增强的单视场图像的图像数据，并且第二图像用作增强数据以增强的第一图像的至少一个图像特性，其中，增强的单视场图像包括具有至少一个改善的特性的第一图像。
附图说明
参考以下的附图，本发明的许多方面可以得到更好地了解。附图中的组成部分不一定成比例，而是将重点放在清楚地示出本发明的原理上。此外，在附图中，几个示图中类似的参考标号表示对应的部分。
图1是根据本发明的图像处理电路的一个实施方式的框图。
图2到图5是由图1的图像处理电路的管线处理逻辑所实现的图像信号处理管线的实施方式的框图。
图6是示出了采用图1的图像处理电路的电子设备的实施方式的框图。
图7到图9是示出了图1的图像处理电路的实施方式的各种功能的流程图。
具体实施方式
本发明涉及可进行编程以自动利用数码照相机或数码摄像机中的图像处理管线中的同时图像捕获（capture）的设备、方法、计算机可用介质和处理器。本领域普通技术人员应当认识到，所公开的技术也可以应用于其他环境和应用。
对于例如数码照相机、数码摄像机、移动电话、个人数据助理（PDA）、平板、便携式音乐播放器以及台式机或笔记本计算机这样的嵌入式设备中的照相机，为了产生视觉上更加悦目的图像，诸如本文所公开的技术可以改善图像质量，而不会产生明显的计算开销或电力成本。
为了获取图像数据，数字成像设备可以包括提供了多个被配置为将由图像传感器检测到的光转换成电信号的光检测单元（如光电检测器）的图像传感器。图像传感器也可以包括过滤图像传感器捕获到的光以捕获色彩信息的彩色滤光器阵列。然后，图像传感器捕获到的图像数据可以通过图像处理管线电路来处理，其可以对图像数据施加多个不同的图像处理操作以产生可以在诸如监视器的显示设备上显示以用于观看的全彩色图像。
传统的图像处理，诸如传统的高动态范围（HDR）图像处理，需要顺序地捕获多个图像，然后进行组合，以产生具有增强的图像特性的HDR。在传统的HDR图像处理中，通过单个图像传感器以不同的曝光顺序地捕获多个图像并进行组合，以产生具有比通过捕获单个图像所可能具有的更高的动态范围的单个图像。例如，对霓虹灯的室外夜间镜头的捕获，可能导致霓虹灯曝光过度或者该场景的其他部分曝光不足。然而，捕获曝光过度的图像和曝光不足的图像，并组合多个图像可以产生霓虹灯和场景都适当曝光的HDR图像。该方法通常被称为包围曝光，但是要求是捕获到的图像必须基本相同，尽管这些图像是被顺序拍摄以防止引入大量模糊或重影。
本发明的实施方式通过利用同时捕获到的多个图像而提供了增强的图像处理。参考图1，示出了用于成像设备150的图像处理电路100的一个实施方式的框图。所示的成像设备150可以被提供为数码照相机，其被配置为获取静态图像和运动图像（例如，视频）。设备150可以包括多个镜头110以及被配置为捕获光并将光转换成电信号的多个图像传感器101。仅作为示例，单个图像传感器可以包括CMOS（互补金属氧化物半导体）图像传感器（例如，CMOS有源像素传感器（APS））或CCD（电荷耦合器件）传感器。
具有多个照相机或图像传感器的成像设备150的一个有前景的应用是将会增加显示图像中所表示的维数。该功能类型的一个示例是通常具有两个照相机（例如，两个图像传感器）的立体照相机。然而，本发明的实施方式可以具有两个以上的照相机或图像传感器。此外，成像设备150的实施方式可以具有这样的操作模式：一种模式可以允许成像设备150捕获二维（2D）图像；第二模式可以允许成像设备捕获多维图像（例如，3D图像）；并且第三模式可以允许成像设备同时捕获多个图像，并用它们来产生一个或多个已应用图像处理效果的2D增强的图像。因此，本发明的一些实施方式，包括可配置的和可更改的（adaptable）的多成像器（multi‑imager）照相机结构，其以立体（3D）模式、单视场（monoscopic）（单个2D成像器）模式或组合单视场（多个2D成像器）模式操作。在一个实施方式中，模式配置涉及到用户选择，而更改可以为自动或提示模式操作。例如，单视场模式可以用于足够普通的情况下，但是当控制逻辑105检测到需要时切换到组合单视场操作。
在一些实施方式中，图像处理电路100可以包括各种子组件和/或分立的逻辑单元以共同形成用于执行各个不同的图像处理步骤的图像处理“管线”。这些子组件可以使用硬件（例如，数字信号处理器或ASIC（专用集成电路））或软件、或通过硬件和软件组件的组合来实现。各种图像处理操作可以通过图像处理电路100提供。
图像处理电路100其中可以包括前端处理逻辑103、管线处理逻辑104以及控制逻辑105。一个或多个图像传感器101可以包括彩色滤光器阵列（例如，拜耳（Bayer）滤光器），从而可以提供由图像传感器101的各个成像像素捕获到的到的光强度和波长信息，以提供可被前端处理逻辑103处理的一组原始图像数据。
前端处理逻辑103可以从存储器108接收像素数据。例如，原始像素数据可以从图像传感器101发送到存储器108。然后，驻留在存储器108中的原始像素数据可以被提供至前端处理逻辑103用于处理。
在接收到原始图像数据（从图像传感器101或从存储器108）时，前端处理逻辑103可以执行一个或多个图像处理操作。然后，处理过的图像数据可以在显示（例如在显示装置106上）之前被提供至管线处理逻辑104进行附加的处理，或者可以被送至存储器108。管线处理逻辑104可以直接从前端处理逻辑103或从存储器108接收“前端”处理的数据，并可以根据情况来提供原始域以及RGB和YCbCr色彩空间中的图像数据的附加的处理。然后，管线处理逻辑104处理过的图像数据可以输出到显示器106（或取景器）用于用户观看和/或可以被图形引擎进一步处理。此外，来自管线处理逻辑104的输出可以发送到存储器108，并且显示器106可以从存储器108读取图像数据。此外，在一些实现方式中，管线处理逻辑104可以还包括诸如压缩引擎的编码器107等，用于在显示器106读取图像数据之前编码图像数据。
编码器107可以是用于对静态图像编码的JPEG（联合图像专家组）压缩引擎，或用于对视频图像编码的H.264压缩引擎，或它们的一些组合。此外，应注意，管线处理逻辑104还可以从存储器108接收原始图像数据。
控制逻辑105可以包括处理器620（图6）和/或被配置为执行一个或多个例程的微控制器（例如，固件），这些例程被配置为确定用于成像设备150的控制参数以及用于管线处理逻辑104的控制参数。仅作为示例，控制参数可以包括传感器控制参数、照相机闪光灯控制参数、镜头控制参数（例如，用于聚焦或变焦的焦距）或者这些参数的组合以用于一个或多个图像传感器101。控制参数，也可以包括图像处理命令，诸如自动白平衡、自动聚焦、自动曝光、色彩调整，以及用于管线处理逻辑104的镜头阴影校正参数。控制参数还可以包括用于管线处理逻辑104的复用信号或命令。
现在参考图2，管线处理逻辑104的一个实施方式可通过首先发送图像信息至第一处理单元201来执行图像信号处理管线的处理，第一处理单元201可采用图像传感器101（图1）所产生的原始数据并生成数字图像，以被用户观看或被下游处理单元进行进一步的处理。因此，处理管线可以被视为实时调整图像数据的一系列专用算法，并经常被实现为片上系统（SoC）图像处理器的集成组件。通过以硬件实现的图像信号处理管线，可以在不对主应用处理器620（图6）增加任何处理负担的情况下完成前端图像处理。
在一个实施方式中，图像信号处理管线的第一处理单元201元可以执行特定的图像处理，诸如降噪、有缺陷的像素检测/校正、镜头阴影校正、镜头失真校正、去马赛克、图像锐化、色彩均匀化、RGB（红、绿、蓝）对比、饱和度提升处理等。如上所述，管线可以包括第二处理单元202。在一个实施方式中，第二处理单元202可以执行特定的和不同的图像处理，诸如降噪、缺陷像素检测/校正、镜头阴影校正、去马赛克、图像锐化、色彩均匀化、RGB对比度、饱和度提升处理等。然后，图像数据可以根据情况被发送至管线的一个或多个附加单元、保存到存储器108和/或为显示器106输入。
在一个实施方式中，由图像信号处理管线中的处理单元201和202处理单元所执行的图像处理是增强的高动态范围处理。用于增强的高动态范围处理的操作模式会使同时的图像被图像传感器101捕获到。通过同时拍摄多张图像，将在每个图像中在同一时间捕获对象被拍摄的多张图片。在用于增强的高动态范围处理的操作模式下，以不同的曝光水平（例如，不同的增益设置）或其他一些特性来捕获多个图像，然后进行组合以产生具有特定特性的增强的范围的图像。例如，增强的图像可以根据同时捕获到的图像的数量而被产生为一部分具有低曝光、另一部分具有中曝光、而又一部分具有高曝光。在不同的情景下，同时的图像可关于不同聚焦级别（focus level）而被捕获。
在另一实施方式中，由图像信号处理管线中的处理单元201或202所执行的不同的图像处理是在包括增强的连续自动聚焦的许多情况下可以使用的增强的自动聚焦处理。用于增强的高动态范围处理的操作模式使同时的图像被图像传感器101捕获。可以使图像传感器101（起辅助作用）之一聚焦在对象上，然后扫描整个聚焦范围以找到对第一图像传感器最佳的聚焦。然后该最佳聚焦范围被主图像传感器用来捕获对象的图像。在一个情景中，主图像传感器101可以捕获对象或包括对象的场景的视频。因此，归因于第二或辅助图像传感器101的最佳聚焦范围可以随场景的变化而变化，因此，主图像传感器101所用的聚焦可以随着视频被捕获而进行调整。
在又一实施方式中，图像信号处理管线中的处理单元所执行的图像处理是增强的景深处理。用于增强处理的操作模式使同时的图像被图像传感器101所捕获到。图像传感器101的聚焦可以被控制逻辑105独立地控制。因此，一个图像传感器可以在场景中的对象上精密地聚焦或变焦，而第二个图像传感器可以在该场景的不同方面以不同水平焦距。然后，图像单一处理管线中的图像处理可以采取捕获到的图像，并组合它们以产生具有更大景深的增强的图像。因此，可以组合多个图像以有效地扩展长景深。此外，一些实施方式可以利用来自多于两个的成像器或图像传感器101的图像。
在各种实施方式中，多个图像传感器101可以不聚焦在场景中的同一个对象上。例如，可以对图像传感器101或成像器施加命令，其中主成像器和副成像器以不同的角度、不同的曝光、不同的增益等来捕获场景，其中，第二图像被用来校正或增强主图像。示例性操作包括但不仅限于：作为一个示例，HDR捕获和通过利用一个帧以帮助对其他帧进行降噪的增强的降噪操作。为了说明，在一个实现方式中，在两个同时的图像中捕获到的场景可通过平均两个图像的像素值来进行增强的，这将改善捕获到的场景的信噪比。此外，通过具有以不同角度同时捕获的多个图像，可以计算镜头阴影曲线（使用图像捕获中的相同的一个或多个对象在两个（或更多）图像传感器之间的位置差）并且将其用于校正有效像素。
因此，在又一实施方式中，图像信号处理管线中的处理单元201或202所执行的图像处理是校正处理。用于增强的处理的操作模式会使同时的图像被图像传感器101捕获到。各个成像器101的镜头可以具有不同的视角。因此，在图像处理中，对以不同视角捕获到的图像进行比较以确定两个图像中的差异。例如，有缺陷的硬件或设备可导致在捕获到的图像中的可见的缺陷。因此，由于不同的视角，来自多个图像传感器101的捕获图像中的缺陷在两个视图（view）/图像中将不会处于相同的位置。会存在小的差异，并且，图像信号处理管线能够区分缺陷与真实的图像，以施加某些形式的校正。
在又一实施方式中，图像信号处理管线中的处理单元201或202所执行的图像处理是增强的图像分辨率处理。用于增强的处理的操作模式会使同时的图像被图像传感器101以特定的分辨率（例如，10兆像素（Megapixel））捕获到。然后图像单一处理管线中的图像处理可以采用捕获到的图像，并组合它们以产生具有增加的或超级的分辨率（例如，20兆像素）的增强的图像。此外，在一些实施方式中，一个捕获图像可用于改善另一个捕获图像，反之亦然。因此，可以通过图像的同时捕获而产生多个增强的单视场图像。
在又一实施方式中，图像信号处理管线中的处理单元所执行的图像处理是增强的图像分辨率处理。用于增强的处理的操作模式使同时的图像视频流在低光照条件下被图像传感器101捕获到。
考虑到在低光照条件下照相机的成像质量往往不足。对于被设计为用于充足光照条件的图像传感器阵列而言，环境光照往往是较低且不充足的。因此，这样的传感器阵列不能接收足够的光子以捕获具有良好曝光的图像，从而导致发暗的图像。试图通过模拟或数字增益来校正这点可以有所帮助，但也往往过于放大了底层噪声（underlying noise）（这点在低光照条件下更加突出）。一个可行的方法是延长曝光时间，但是因为手的晃动可能引入模糊所以这也未必可行。另一种传统的解决办法是增加大光圈镜头和外置闪光灯。前者是非常昂贵且占用体积的提案，而后者则可能不被允许（诸如在博物馆中）或未必有效（诸如远距离拍摄）。此外，闪光系统也是昂贵的并消耗大量的电力。
本发明的可选择的实施方式使用了不同的图像传感器101（例如红外线、RGB、全色等）的组合。例如，一个图像传感器可以有利地补偿其他的图像传感器所不提供的图像信息，反之亦然。因此，图像传感器可以同时地捕获图像，其中，大部分的图像信息从主图像传感器所获取，而附加的图像信息则根据需要由一个或多个附加的图像传感器提供。
在一个实施方式中，低光（low light）图像传感器101或全色图像传感器与标准RGB（拜耳模式）图像传感器阵列合作而使用。由于具有较小的成像器芯片尺寸，全色传感器接收的光子多达单一的RGB感应器的光子的三倍，但是依赖RGB邻居来进行色彩识别。这种传感器阵列设计由于较大的图像芯片尺寸而优于较高光照水平的普通的RGB传感器。成像设备150的一个实施方式使用用于高光照的条件的RGB型CMOS或CCD型传感器阵列以及设计用于低光照条件下（例如，全色‑只有黑色和白色亮度，或散布的全色）的第二低光型传感器。从而，成像设备150在两个传感器之间自动切换以最佳地捕获当前的光照条件下的图像。此外，在一个实施方式中，可在低光照下捕获同时的图像。特别是，通过使用全色成像器101和普通光照成像器101来捕获多个图像，捕获到的图像可以被进行关联和组合以产生更加生动的低光图像。
作为一个示例，全色图像传感器101可用于在低光照条件下以较高的帧速率来捕获视频流，而只以一半的速率来采样色度数据。相对于以比亮度更小的分辨率来处理色度的空间方法，这相当于时间压缩方法。处理单元201或202的输出可以是单一帧序列或者可以实际上包括两个分离的流以用于后处理访问。
在另一情景下，可以使用全色成像器101和普通光照成像器101来减少运动模糊。运动模糊为当对象在成像设备150前面运动时以及在低光照条件下，例如，用于低光照条件下的选择性曝光可以捕获到被拍摄的对象的运动或成像设备150本身的晃动。因此，全色成像器被用于以比普通光照成像器捕获到的第二图像更小的曝光来捕获图像。捕获到的图像可以进行关联和组合，以产生运动模糊经校正的图像。
成像设备150的实施方式不限于具有两个图像传感器，而可以应用多个图像传感器101。例如，平板设备可以在该设备的前面具有两个成像器，并且在设备的后面具有两个成像器，其中来自各个成像器的图像（包括视频）被同时地捕获，并被组合成所得图像。
接下来参考图3，在一个实施方式中，由管线处理逻辑104所实现的图像信号处理管线包含平行的路径，而不是单一的直线路径。例如，平行路径可以提供第一路径和第二路径。此外，在一个实施方式中，第一路径包括主要处理路径，第二路径包括补充处理路径。因此，当来自第一图像传感器101的图像数据正在第一路径中处理时，来自第二图像传感器101的原始图像数据可以在第二平行路径中处理。可以是：第二路径包含比第一路径更少的阶段或单元321、322。可替代地，第一路径可以包含数量等于或少于第二路径的阶段或单元311、312。此外，第二路径可以涉及图像分辨率的下转换（down‑conversion），以减少在管线中的诸如用于图像分析的图像处理过程中需要处理的像素的量。并行路径的好处可以应用于一个或多个图像传感器101捕获到的静态图像以及视频图像。在图像信号处理管线中使用并行路径能够同时处理多个图像数据，同时最大化最终图像的质量。
参考图4，在图像处理管线的一个实施方式中，处理单元411和412可以划分为适合于主图像的单元和适合于副图像的处理单元421和422。因此，副图像可初步地进行诸如使缩小或按比例缩放（scale）的处理，以有益于下游单元。作为示例，由于副图像需要下游单元来进行降噪，副图像的路径可以包含噪声滤波单元。
在一些实施方式中，第一路径和第二路径所产生的图像可以存储在存储器108中，并且可用于随后的过程和单元的后续应用。因此，在一个实施方式中，当主图像正在管线的主路径中处理时，该图像的被缩小或按比例缩放的另一图像或者先前的图像可以由主路径读取。这可以实现管线中的诸如噪声滤波期间的更加强大的处理。
此外，在一些实施方式中，在多个图像中的类似像素可以一次处理，然后将独立处理不同的像素。应注意，从两个彼此接近的图像传感器同时捕获图像会非常相似。因此，第一捕获图像的像素可以在管线的主路径中处理。另外，可以以相似度掩码来识别第二捕获图像中的类似的像素，其中，类似的像素也包含在第一捕获图像中（并且已被处理）。在第二捕获图像中去除类似的像素之后，其余的像素可以在管线的副路径中处理。通过去除冗余的处理，可以实现在图像信号处理管线中显著的电力节省。
此外，在一些实施方式中，第一路径和第二路径产生的图像可以同时显示。例如，显示器106的一个显示部分可以用来显示视频（例如，从第一条路径输出）而显示器106的第二显示部分可用来显示静态图像或响应于成像设备150的界面上的暂停按钮的来自视频的“快照”（例如，从第二路径输出）。可替代地，一个图像帧可在显示器的分割画面（screen）中显示（例如，左侧部分），而另一图像帧可显示在显示器的右侧部分中。成像设备可以被配置为允许用户选择帧（例如，在分割画面中显示的帧）的组合，然后通过处理逻辑103、104、105进行比较和组合，以产生具有改善的图像质量和分辨率的增强的图像。
如前所述，成像设备150的实施方式，可以采用从设备的界面单元中可选择的操作模式。界面单元可以包括从显示器106中可选择的图形界面单元或从成像设备150的壳体中可选择的或可切换的机械式按钮或开关。在一个实施方式中，用户可以激活立体操作模式，其中，成像设备150的处理逻辑103、104、105使用捕获到的图像产生在显示屏106上可观看或能够保存在存储器108中的3D图像。用户也可以激活2D操作模式，其中，单一的图像被捕获并显示，或被保存在存储器108中。此外，用户可以激活增强的2D操作模式，其中，多个图像被捕获并被用于产生可以观看或在存储器108中保存的具有增强的特性（例如，改善景深、增强的聚焦、HDR、超级分辨率等）的2D图像。
在图像处理中，面元划分（binning）允许来自相邻像素的电荷相结合，以减小空间分辨率为代价，提供了改善的信噪比。在各种实施方式中，可以在多个图像传感器的每一个中使用不同的划分水平。因此，可以从具有较低的面元划分水平的图像传感器中获取更好的分辨率而从具有较高的面元划分水平的图像传感器中获取更好的信噪比。然后捕获到的场景或图像的两个版本可以相组合以产生图像的增强版本。
特别是，在一个实施方式中，多个图像传感器101捕获各自具有不同的曝光水平的多个图像。图像信号处理管线的处理单元201和202对捕获到的图像的不同组合进行关联并执行高动态范围处理。来自不同的组合的所得图像可以显示给用户，或者提供给用户对可以保存和/或显示的所需的最终图像进行选择。在一些实施方式中，也可以提供允许渐进或逐步移动的图形界面滑动条（或其他用户界面控制单元），以提供具有不同曝光的图像之间的不同权重组合。对于视频，可以跨所有帧而保持这样的设置。
在实施方式中，还利用多个图像传感器101实现了图像信号处理管线的复用。例如，如图5所示，考虑立体成像设备（例如，成像设备150的一个实施方式）分发（deliver）了对象的左侧图像和右侧图像至单一图像信号处理管线。因此，管线处理逻辑104中的单一图像管线被前端处理逻辑103在并行地输入至管线的左侧图像和右侧图像之间复用。可替代地，在增强的2D图像处理中，同时的图像捕获也可以通过图像之间的复用而并行地输入至管线。
因此，不是一个图像在另一图像已被完整处理之后被完整处理，而是只要前端处理逻辑103的处理时间允许，图像可以通过与另一个之间切换图像处理而同时地进行处理。这样通过不延迟图像处理直到另一图像完成而减少了等待时间，从而两个图像的处理会更迅速地完成。
记住以上几点，图6是示出了使用上面简要地提到的一个或多个图像处理技术而提供了图像数据处理的电子设备650的示例的框图。电子设备650可以是被配置为接收和处理图像数据（诸如使用一个或多个图像传感组件所获取的数据）的任何类型的电子设备，诸如笔记本计算机或台式计算机、移动电话、平板、数字媒体播放器等。
无论其形式（例如，便携式和非便携式），应当理解，其中，电子设备650可以使用以上简要地说明的一个或多个图像处理技术而提供图像数据的处理。在一些实施方式中，电子设备650可以对电子设备650的存储器中存储的图像数据应用这样的图像处理技术。在进一步的实施方式中，电子设备650可以包括诸如集成的或外部的数码照相机或成像器101的多个成像设备，它们被配置为获取图像数据，然后这些图像数据被电子设备650使用一个或多个上述提到的图像处理技术进行处理。
如图6所示，电子设备605可以包括各种有助于设备605的功能的内部和/或外部组件。本领域普通技术人员应当认识到，图6中所示的各种功能块可以包括硬件单元（包括电路）、软件单元（包括存储在计算机可读介质中的计算机代码）或硬件和软件单元的组合。例如，在当前所示的实施方式中，电子设备605可以包括输入/输出（I/O）端口610、一个或多个处理器620、存储设备630、非易失性存储器640、网络设备650、电源660以及显示器670。此外，电子设备605可以包括诸如数码照相机或成像器101的成像设备680，以及图像处理电路690。正如将在下面进一步讨论的，图像处理电路690可被配置为在处理图像数据时实现一个或多个上述图像处理技术。正如所能够认识到的，图像处理电路690处理过的图像数据可以从存储器630和/或一个或多个非易失性存储设备640中检索，或者可以使用成像设备680来获取。
在继续之前，应当理解，图6中所示的设备605的系统框图旨在成为高层级的控制图，其示出了该设备605中可以包含的各种组件。即，图6中所示的各个组件之间的连接线并非必须表示数据流动或在设备605的各个组件之间传输的路径或方向。事实上，如上所述，在一些实施方式中，所示的一个或多个处理器620包括诸如主处理器（例如，CPU）的多个处理器，以及专用的图像和/或视频处理器。在这些实施方式中，图像数据的处理可以主要由这些专用处理器来处理，从而有效地从主处理器（CPU）中分担这些任务。
接下来，参考图7，所示的是提供了根据各种实施方式的图像处理电路100的一部分的操作的一个示例的流程图。应当理解，图7的流程图只是提供了许多不同类型的功能配置的示例，它们可以被用来实现本文所述的图像处理电路100的一部分的操作。作为替代，图7的流程图可以被视为示出了根据一个或多个实施方式的电子设备605（图6）中实现的方法的步骤的示例。
从步骤702开始，控制逻辑105触发或启动来自图像传感器101的多个图像的同时捕获，其中多个图像包括至少第一图像和第二图像。第一图像包含与第二图像的成像特性不同的成像特性或设置。可能的图像特性包括曝光水平、聚焦水平、景深设置、视角等。在步骤704中，处理逻辑103和处理逻辑104至少组合第一图像和第二图像或者第一图像和第二图像的一部分以产生具有第一图像和第二图像的质量的增强的图像。作为示例，增强的图像可以包含具有来自第一图像和第二图像的景深、来自第一图像和第二图像的曝光水平、第一图像和第二图像的组合分辨率等的部分。在步骤706中，增强的图像从处理逻辑的图像信号处理管线中输出，并被提供用于显示。
接下来，参考图8，所示的是提供了根据各种实施方式的图像处理电路100的一部分的操作的附加示例的流程图。从步骤802开始，控制逻辑105触发来自图像传感器101的多个图像的同时捕获，其中多个图像包括至少第一图像和第二图像。第一图像包含与第二图像的成像特性不同的成像特性或设置。此外，由于不同的特性或设置，一个图像可包含其他图像中不存在的图像劣化。例如，如果一个图像具有比其他图像更长的曝光，则更长的曝光的图像可能具有其他图像中没有捕获到的运动模糊劣化，但是其他的图像可能具有其他诸如低光照水平的非期望的特性。在步骤804中，处理逻辑104比较至少第一图像和第二图像或者第一图像和第二图像的一部分，以检测第一图像中的图像劣化，然后在步骤806中，管线处理逻辑104补偿图像劣化以产生具有第一图像和第二图像的质量的增强的图像。在步骤808中，增强的图像从管线处理逻辑104中的图像信号处理管线中输出，并被提供用于显示。在可选的实施方式中，可以输出多个增强的图像，其中一个捕获到的图像可以用来检测第二图像中的图像劣化或缺陷而第二图像也可以用来检测第一图片中的图像劣化/缺陷。
在图9中示出了提供了根据各种实施方式的图像处理电路100的一部分的操作的附加示例的流程图。从步骤902开始，控制逻辑105激活了成像设备150的立体操作模式，其中，捕获图像被用来产生能够在显示器106上可观看的或能够保存在存储器108中的3D图像。在一个实施方式中，用户可以产生用于控制逻辑105的命令以激活立体操作模式。在可选的实施方式中，控制逻辑105可被配置为自动激活立体操作模式。
因此，在步骤904中，控制逻辑105激活用于成像设备150的2D或单视场操作模式，其中，单一的图像被捕获并显示，或者被保存在存储器108中。在一个实施方式中，用户可以产生用于控制逻辑105的命令以激活2D模式。在可选的实施方式中，控制逻辑105可被配置为在没有用户提示情况下自动激活2D操作模式。
此外，在步骤906中，控制逻辑105激活用于成像设备150的增强的2D或单视场操作模式，其中，多个图像被捕获并被用来产生具有增强的特性（例如，改善的景深、增强的聚焦、HDR、超级分辨率等）、可观看的或可保存在存储器108中的2D图像。此外，在各种实施方式中，图像处理的其中一个输出可以不是增强的图像而可以是诸如景深信息的用于增强的图像的图像信息。在一个实施方式中，用户可以生成用于控制逻辑105的命令，以激活增强的2D操作模式。在可选的实施方式中，控制逻辑105可被配置为在没有用户提示的情况下自动激活增强的2D操作模式。
流程图中的任何处理的说明或模块，应当理解为表示了包括用于实现处理中特定的逻辑功能或步骤的一个或多个可执行指令的模块、程序段（segment）或部分代码，并且可选的实施方式也被包括在本发明的实施方式的范围内，其中，如本领域技术人员所理解的，根据所涉及的功能，可以以与所示的和所说明的顺序不同的顺序（包括基本同时或逆序）而执行功能。
在本文献的上下文中，“计算机可读介质”可以是包含、存储、通信或传输被指令执行系统、装备或设备所使用或与它们相关的任何装置。计算机可读介质可以是但不限于：例如电子、磁、光、电磁、红外或半导体系统、装置或设备。计算机可读介质的更具体的示例（不完全列表）将包括以下：具有一条以上配线的电连接（电子）、便携式计算机磁盘（磁）、随机存取存储器（RAM）（电子）、只读存储器（ROM）（电子）、可擦除可编程只读存储器（EPROM或闪存存储器）（电子）、光纤（光）和便携式只读光盘存储器（CD‑ROM）（光）。此外，某些实施的范围包括以硬件或软件配置的介质实现的逻辑来实现实施方式的功能。
应当强调的是，上述的实施方式仅仅是实现方式的可能的示例，只是为清楚地了解发明的原理而予以说明。在本质上没有偏离发明的精神和原理的前提下，可对上述的一个或多个实施方式进行各种变化和修改。所有这些变化和修改旨在包括在本发明范围内，并且受所附权利要求的保护。