用于获取由闪光灯照明的图像集合的方法和装置.pdf

一种电子成像设备，具有布置成阵列的多个光敏单元，以形成帧区域，帧区域由多个帧子区域组成，每个帧子区域对应于光敏单元的子集，所述设备包括：阵列控制器，被配置为在曝光持续时间期间对每个所述帧子区域进行曝光，其中至少一些所述帧子区域的曝光发生于帧区域的总曝光时间期间的不同时刻；闪光灯单元，用于在闪光灯持续时间期间对要成像的场景进行照明；触发器，用于触发闪光灯单元，以按照根据帧子区域的所述曝光持续时间和闪光灯持续时间而确定的闪光事件延迟处要成像的场景进行照明；图像数据获取单元，用于获取场景的帧集合，其中闪光事件在帧内发生的时刻逐帧地进行时间移位；以及图像重构单元，用于从所获取帧的帧子区域构建图像序列。

权利要求书1.  一种使用电子成像设备和用来对场景进行照明的闪光灯单元获得 所述场景的图像序列的方法，其中成像设备具有布置成阵列(110)的多 个光敏单元(111)，以形成帧区域，帧区域由多个帧子区域组成，每个 帧子区域对应于光敏单元(111)的子集，光敏单元(111)的每个子集 具有曝光持续时间(ExpL)，其中至少一些所述帧子区域的曝光发生于 帧区域的总曝光时间(ExpF)期间的不同时刻，所述方法包括： 在多个闪光事件时对被成像的场景进行照明； 获取(S1402)场景的帧的集合；以及 构建(S1406)图像序列，每个图像从帧子区域构建； 其中设定连续闪光事件之间的时间间隔(FDly)，使得对闪光事件 相对于帧的开始的发生时刻逐帧地进行时间移位，所述时间间隔(FDly) 被设为大于或等于光敏单元的子集的曝光持续时间(ExpL)和闪光事件 的持续时间(FlD)之和。 2.  根据权利要求1所述的方法，其中每个帧子区域对应于阵列(110) 的光敏单元(111)的行，以及逐行相继地执行阵列的曝光。 3.  根据任一前述权利要求所述的方法，其中将闪光事件定时，使得 在帧捕获期间光敏单元(111)的每个子集由一个闪光事件照明。 4.  根据任一前述权利要求所述的方法，其中从至少两个所获取的帧 的帧子区域构建每个图像。 5.  根据任一前述权利要求所述的方法，其中通过对由相同闪光事件 照明的连续帧的帧子区域进行重新组装以形成重构图像，来形成图像序 列中的每个图像。 6.  根据权利要求5所述的方法，包括：识别(S1404)在两个连续 帧之间共享相同闪光事件的帧子区域，以及向所述帧子区域应用 (S1405)加权照明强度以形成重构图像。 7.  根据任一前述权利要求所述的方法，其中闪光事件的持续时间 (FlD)被确定为帧子区域的曝光持续时间(ExpL)的一部分，使得 曝光时间＝n×闪光持续时间， 其中n是大于0的整数。 8.  根据任一前述权利要求所述的方法，其中闪光事件持续时间 (FlD)在各帧之间有所改变，以及闪光间隔(FDly)也在各帧之间相 应调整。 9.  一种电子成像设备(100)，具有布置成阵列(110)的多个光敏 单元(111)，以形成帧区域，帧区域由多个帧子区域组成，每个帧子区 域对应于光敏单元(111)的子集，所述设备包括： 阵列控制器(140)，配置为在曝光持续时间(ExpL)期间对每个所 述帧子区域进行曝光，其中至少一些所述帧子区域的曝光发生于帧区域 的总曝光时间(ExpF)期间的不同时刻； 闪光灯单元(120)，用于在闪光持续时间(FlD)期间对要成像的 场景进行照明； 触发器(130)，用于触发闪光灯单元(120)，以在多个闪光事件时 对被成像的场景进行照明，连续闪光事件之间的时间间隔被设为大于或 等于光敏单元的子集的曝光持续时间(ExpL)和闪光事件的持续时间 (FlD)之和； 图像数据获取单元(125)，用于获取场景的帧的集合，其中对闪光 事件相对于帧的开始的发生时刻逐帧地进行时间移位；以及 图像重构单元(125)，用于从所获取的帧的帧子区域构建图像序列。 10.  根据权利要求9所述的设备，其中将闪光事件定时，使得在帧捕 获期间对光敏单元(111)的每个子集只进行一次闪光。 11.  根据权利要求9或10所述的设备，其中从至少两个所获取的帧的 帧子区域构建每个图像。 12.  根据权利要求9-11中的任一项所述的设备，其中通过对由相同 闪光事件照明的连续帧的帧子区域进行重新组装以形成重构图像，来形 成图像序列中的每个图像。 13.  根据权利要求12所述的设备，其中所述图像重构单元被配置为 识别在两个连续帧之间共享相同闪光事件的子区域，以及向所述帧子区 域应用加权照明强度以形成重构图像。 14.  根据权利要求9-13中的任一项所述的设备，还包括时钟(150)， 用来同步阵列控制器(140)和触发器(130)的操作。 15.  一种用于可编程装置的计算机程序产品，计算机程序产品包括 用于在加载到可编程装置中并由可编程装置执行时实现根据权利要求 1-8中任一项所述的方法的指令序列。

说明书用于获取由闪光灯照明的图像集合的方法和装置
技术领域
本发明涉及用于获得由闪光灯照明的图像序列的方法和装置。具体 地，但不排他性地，本发明涉及用于对装备有卷帘快门的相机中的闪光 灯进行控制的方法和设备。
背景技术
基于数字图像传感器的成像设备通过捕获光学图像并将其转换成电 子信号的方式进行操作。这种设备能够捕获静止图像和/或由图像序列 (通常称为帧)组成的视频。数字图像传感器通常包括布置成包括行和 列的阵列的光敏单元(通常称为图素(photosite))。用于成像设备中的 光敏单元通常基于能够将光子转换成电子的半导体技术，比如电荷耦合 器件(CCD)或互补型金属氧化物技术(CMOS)。这种成像传感器设备 在从专业影像工作室相机到消费性设备(包括专用成像设备(比如摄像 机)以及具有内置成像功能的个人电子设备(比如移动电话、智能电话、 个人数字助理(PDA)和便携式计算机(包括平板计算机、膝上计算机、 笔记本计算机等)))的范围内都有着广泛的应用。
基于CCD技术的成像设备通常采用全局快门技术，其中将整个光敏 单元阵列同时曝光，以捕获图像数据的帧。另一方面，基于CMOS技术 的成像器通常采用“卷帘快门(rolling shutter)”技术来捕获帧。在这种所谓 的“卷帘快门”技术中，传感器阵列的扫描行(例如排或列)每个都在不 同的时刻曝光，并逐行地接连(例如，从传感器阵列的顶排向传感器阵 列的底行排)执行从光敏单元的读取。从光敏单元行的读取之后被合并 在一起，以形成单个图像。
当要成像的对象相对于成像设备是固定的或相对于所有行的处理时 间缓慢移动时，卷帘快门对图像质量并没有显著的影响。如果光照条件 相对于处理时间是恒定的，则卷帘快门对图像质量同样没有显著的影响。 然而，在对象快速移动和/或光照条件在获取整个图像期间改变的场景 中，对所获得的图像的质量可能是非常不利的。
在图像捕获过程中，闪光灯通常用来通过在捕获场景的帧时使用可 见光的突发或脉冲对场景进行照明来改善图像质量。然而，在装备有卷 帘快门的成像设备中，由于逐行处理技术，闪光灯可能对图像质量有不 利的影响。确实，由于闪光灯的持续时间(通常是几十到几百μs的量级) 与帧处理时间(通常是几十ms的量级)相比很短，所以传感器的不同行 会以相当不同的方式被曝光。这一曝光差别导致诸如部分照明(这将损 害所获得的图像质量)的效果以及图像失真(比如扭曲效果)。在对快速 移动的对象进行帧捕获的情况中，对图像质量的损害会进一步加重，导 致图像伪像，诸如扭曲效果。
考虑到上述问题，设计了本发明。
发明内容
根据本发明的第一方面，提供了一种使用电子成像设备和用来对场 景进行照明的闪光灯单元获得场景的图像序列的方法，其中成像设备具 有布置成阵列的多个光敏单元，以形成帧区域，帧区域由多个帧子区域 组成，每个帧子区域对应于光敏单元的子集，光敏单元的每个子集具有 曝光持续时间，其中至少一些所述帧子区域的曝光持续时间发生于帧区 域的总曝光时间期间的不同时刻，所述方法包括：
触发闪光灯单元，以按照根据光敏单元的子集的所述曝光持续时间 和闪光事件的持续时间而设定的闪光事件延迟对要成像的场景进行照 明；
获取场景的帧集合，其中逐帧地对闪光事件在帧内发生的时刻进行 时间移位；以及
构建图像序列，每个图像从所获取的帧的帧子区域构建。
按照这种方式对闪光灯照明进行控制有助于消除行内失真的问题， 从而改善图像质量。光敏单元可以是图素。
在一种实施例中，闪光事件延迟大于或等于光敏单元的子集的曝光 持续时间和闪光事件的持续时间之和。
在一种具体的实施例中，闪光事件延迟等于光敏单元的子集的曝光 持续时间和闪光事件的持续时间之和。
优选地，每个帧子区域对应于阵列的光敏单元行，以及对阵列的曝 光是逐行连续执行的。一行对应于一排光敏单元或一列光敏单元
在一种实施例中，对闪光事件进行定时，使得在帧捕获期间，光敏 单元的每个子集由一个闪光事件照明。
在一种实施例中，对闪光事件进行定时，使得每个帧进行由至少一 个闪光事件照明。
在一种实施例中，通过对由相同闪光事件照明的连续帧的帧子区域 进行重新组装以形成重构图像，来形成图像序列中的每个图像。重构图 像从而可以包括不同捕获帧的帧子区域。
在一种实施例中，所述方法包括识别在两个连续帧之间共享相同闪 光事件的帧子区域，以及向所述子区域应用加权照明强度以形成重构图 像。
在一种实施例中，闪光事件的持续时间被确定为帧子区域的曝光持 续时间的一部分，使得
曝光时间＝n×闪光持续时间，
其中n是大于0的整数。
在一种实施例中，闪光事件持续时间在各帧之间有所改变，以及闪 光延迟也在各帧之间相应调整。
根据本发明的第二方面，提供了一种电子成像设备，其具有布置成 阵列的多个光敏单元，以形成帧区域，帧区域由多个帧子区域组成，每 个帧子区域对应于光敏单元的子集，所述设备包括：
阵列控制器，被配置为在曝光持续时间期间对每个所述帧子区域进 行曝光，其中对至少一些所述帧子区域的曝光发生于帧区域的总曝光时 间期间的不同时刻；
闪光灯单元，用于在闪光持续时间期间对要成像的场景进行照明；
触发器，用于触发闪光灯单元，以按照根据帧子区域的所述曝光持 续时间和闪光灯持续时间而确定的闪光事件延迟对要成像的场景进行照 明；
图像数据获取单元，用于获取场景的帧集合，其中闪光事件在帧内 发生的时刻逐帧地进行时间移位；以及
图像重构单元，用于从所获取的帧的帧子区域构建图像序列。
在一种实施例中，闪光事件延迟大于或等于帧子区域的曝光持续时 间和闪光事件的持续时间之和。优选地，闪光事件延迟等于帧子区域的 曝光持续时间和闪光事件的持续时间之和。
在一种实施例中，对闪光事件定时，使得在帧捕获期间，对光敏单 元的对应于帧子区域的每个子集只进行一次闪光。
在一种实施例中，通过对由相同闪光事件照明的连续帧的帧子区域 进行重新组装以形成重构图像，来形成图像序列中的每个图像。
在一种实施例中，图像重构单元被配置为识别在两个连续帧之间共 享相同闪光事件的子区域，以及向所述帧子区域应用加权照明强度以形 成重构图像。
在一种实施例中，所述设备包括用来同步阵列控制器和触发器的操 作的时钟。
本发明的又一方面涉及用于控制闪光灯单元以使得在帧获取期间帧 的每个扫描行只由一个闪光事件照明的方法或设备。优选地，闪光事件 延迟大于或等于光敏单元的子集的曝光持续时间与闪光事件的持续时间 之和。可以对闪光事件定时，使得在每帧中发生至少一个闪光事件。
本发明的又一方面提供了一种用于电子成像设备的闪光灯控制设 备，电子成像设备具有布置成阵列的多个光敏单元，以形成帧区域，帧 区域由多个帧子区域组成，每个帧子区域对应于光敏单元的子集并且在 曝光持续时间期间被曝光，其中至少一些所述帧子区域的曝光发生于帧 区域的总曝光时间期间的不同时刻，所述闪光控制设备包括触发器，触 发器用于触发闪光灯单元，以在多个闪光事件处对被成像的场景进行照 明，设定连续闪光事件之间的时间间隔，以逐帧地将闪光事件相对于帧 的开始的发生时刻进行时间移位，时间间隔大于或等于光敏单元的子集 的曝光持续时间和闪光事件的持续时间之和。
本发明的又一方面提供了一种用于控制电子成像设备的闪光灯单元 的方法，电子成像设备具有布置成阵列的多个光敏单元，以形成帧区域， 帧区域由多个帧子区域组成，每个帧子区域对应于光敏单元的子集并且 在曝光持续时间期间被曝光，其中至少一些所述帧子区域的曝光发生于 帧区域的总曝光时间期间的不同时刻，所述方法包括触发闪光灯单元， 以在多个闪光事件处对被成像的场景进行照明，其中设定连续闪光事件 之间的时间间隔，使得逐帧地将闪光事件相对于帧的开始的发生时刻进 行时间移位，时间间隔大于或等于光敏单元的子集的曝光持续时间和闪 光事件的持续时间之和。
根据本发明的方法的至少部分可以是通过计算机实现的。从而，本 发明可采取全硬件实施例、全软件实施例(包括固件、驻留软件、微代 码等)或组合了软硬件方面的实施例的形式，它们都可在这里被统称为 “电路”、“模块”或“系统”。此外，本发明可采取由可在任意有形介质中 实现的计算机可使用程序代码表达的实现于所述介质中的计算机程序产 品的形式。
由于本发明可实现为软件，所以本发明可实现为计算机可读代码， 以用于在任意合适载体介质上提供给可编程装置。有形载体介质可包括 存储介质，比如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器 设备等。瞬时载体介质可包括信号，比如电信号、电子信号、光信号、 声信号、磁信号或电磁信号(例如微波或RE信号)。
附图说明
现在以只是示例的方式参照附图对本发明的实施例进行描述，其中：
图1是根据本发明至少一个实施例的示出了电子成像设备的组件的 框图；
图2是根据本发明实施例的图像传感器阵列的示意图；
图3A和3B是卷帘快门技术的示例的图形表示；
图4是使用闪光灯的卷帘快门技术的示例的图形表示；
图5是使用图4的处理获取的图像的示例；
图6是根据本发明实施例的使用闪光灯的卷帘快门技术的示例的图 形表示；
图7是根据本发明实施例的使用闪光灯的卷帘快门技术的示例的图 形表示，其中识别了属于相同闪光事件的图像子区域；
图8和9是根据本发明实施例的连续获取的帧和重构图像的示例；
图10示出了可在本发明实施例中应用的伽马修正函数的示例；
图11示出了根据本发明实施例应用的图像处理的步骤；
图12是根据本发明实施例的使用闪光灯的卷帘快门技术的示例的图 形表示；
图13是根据本发明实施例的使用闪光灯的卷帘快门技术的另一示例 的图形表示；以及
图14是根据本发明实施例的示出了获得图像序列的方法的步骤的流 程图。
具体实施方式
图1是根据本发明实施例的示出了电子成像设备的组件的简化功能 框图。电子成像没备可以是用于捕获图像序列的专用相机(比如摄像机 或专业工作室相机)，或多功能电子设备(比如移动电话、智能电话、个 人数字助理(PDA)、或便携式计算机(包括平板计算机、膝上计算机、 笔记本计算机等))的成像模块。
电子成像设备100包括用于捕获来自场景的光的图像传感器阵列 110、用于将光导入传感器阵列110的透镜112、用于处理来自传感器阵列 110的信号的信号处理单元115、用于从经过处理的信号重构图像的图像 处理单元125、用于对要捕获的场景进行照明的闪光灯单元120、用于控 制闪光灯单元120的参数的闪光灯控制器130、用于控制传感器阵列110 的图素对来自场景的光的曝光时间的控制器140、以及可用来提供各个模 块的定时同步的时钟150。应该理解的是，在本发明的某些实施例中，闪 光灯控制器130和阵列控制器140不同步。在其它实施例中，闪光灯控制 器130和阵列控制器140是同步的，以用于增加闪光事件的发生时刻和行 的曝光时间之间的定时准确度。
应该理解的是，成像设备可具有其它光学元件，比如可变光圈、变 焦机构或自动对焦机构，以增强捕获图像。
传感器阵列110由如图2所示布置成包括N排和M列的二维阵列的光 敏单元(图素)111的集合组成。图素111的二维阵列110对应于所呈递的 像素图像的图像区域。所呈递的图像的每个像素可以对应于一个或多个 图素111。在这一示例性实施例中，每个图素是CMOS图像传感器。当光 打到CMOS型图素111时，图素111充有与所捕获的入射光的量成比例的 电荷。然后，由信号处理单元115处理电荷信号，例如其可被转换成电压 信号，以提供像素读取值。所执行的信号处理可包括对信号的放大和将 模拟信号转换成数字信号。单个图素111的曝光持续时间对应于该图素对 入射光形成的电荷积分的持续时间。实际上，曝光持续时间或积分时间 对应于图素复位(其中通过阵列控制器140的复位功能将图素中所包含的 先前电荷复位为零)和结束(此时，通过读取功能从图素读取电荷)之 间的时间。闪光灯单元120包括光源，比如一个或多个LED或氙气型灯， 用于对要成像的场景进行照明。闪光灯控制器130控制闪光灯120的参数， 包括闪光的发生频率、闪光突发的持续时间、和/或闪光突发的强度或幅 度。阵列控制器140生成用信号发送到成像设备100的组件的多种命令， 包括针对图像传感器阵列110的复位、积分和读取命令。复位、积分和读 取操作是每次针对图像阵列的一行执行的(例如逐行执行)，即一行的图 素被一起复位和读取。信号处理单元115对响应于入射光曝光而逐行读取 自图素111的信号进行处理。从由图像处理单元125处理的信号重构图像。 实际上，相机曝光时间对应于所捕获的帧的一行的曝光持续时间。
图3A和3B分别图示出了针对360度和180度快门值的逐行处理的示 例。通过由阵列控制器140控制的复位功能R依次复位各行，来开始为了 电荷收集对各行进行的曝光。例如，参见图3A，帧1的第一行的图素在 时刻TR1被复位，在时间TI1期间曝光以捕获光感应的电荷，以及在时刻 TRE1读取该列的每个像素传感器的总电荷；帧1的第二行的图素在时刻 TR2被复位，在时间TI2期间曝光，以及在时刻TRE2读取；帧1的最后一 行的图素在时刻TRN被复位，在时间TIN期间曝光，以及在时刻TREN读 取。两个连续行的复位功能之间的持续时间被称为行处理延迟RP。行处 理延迟RP还可对应于两个连续行的读取功能之间的持续时间。
如图3A和3B所示，由于在不同的时刻对各行进行复位，发生对入射 光进行曝光的实际时间对于图像传感器阵列110中的各行有所不同。例 如，虽然行1和行2的曝光持续时间有一些重叠，但行1的曝光持续时间 ExpL在行N的曝光持续时间开始时已经结束。因此，不同扫描行的曝光 发生于总帧曝光时间ExpF期间的不同时刻。这种对应于光敏传感器阵列 的图像区域的逐行处理被称为卷帘快门。
图4图示出了在卷帘快门中使用闪光灯，其中所述闪光灯按照在闪光 事件发生之间的闪光时间延迟Fdly进行闪光。在该示例中，闪光时间延 迟FDly对应于行的曝光持续时间ExpL，使得逐帧地，闪光事件在帧内的 相同时间点以闪光持续时间FlD对场景进行照明，即帧获取的开始和闪 光发生的时刻之间的时间延迟SL不逐帧地发生改变。如图所示，在帧的 下部分行的曝光时间期间由闪光事件对帧序列的第一捕获帧进行照明， 而帧的上部分行在它们之前的相应曝光时间期间不被闪光事件照明。在 序列的第三帧中，帧中心区域的一些行在它们相应曝光时间期间在时刻 TF1和TF2处接收两个分离的闪光照明。此外，这些中心行中的一些在闪 光事件期间被部分闪光，即并不在该相同闪光事件的全部闪光持续时间 FlD期间一直被闪光。相同的效果也出现于序列的先前帧和后续帧中。 被成像的场景中在时刻TF1和TF2之间的任何移动都可能导致所获取的 图像中出现时间失真，包括行内时间失真和行间时间失真。
图5是换气扇的旋转叶片的捕获图像。所捕获的图像呈现出时间失真 效果的示例，其中包括行内和行间时间失真效果。行内失真存在于位于 短划线之间的所捕获的扫描行中。风扇的移动叶片发生失真。行间效果 由箭头指示。
在本发明的实施例中，控制闪光事件的定时来解决这些问题。具体 地，闪光事件之间的闪光时间延迟(这里称为闪光事件延迟(FDly)) 被设为不等于行曝光时间(ExpL)，使得在各帧之间，帧内的闪光事件 的发生时刻具有时间移位S。在本发明的一些具体实施例中，闪光事件 延迟(在使用频闪观测仪的情况中也被称为频闪观测事件延迟)是在考 虑相机曝光时间(即一行的曝光持续时间(ExpL))和闪光事件持续时 间的情况下确定的，使得闪光事件在帧内的发生时间逐帧地进行时间移 位。闪光灯控制器130被配置为在根据该时间移位的闪光事件延迟处触发 闪光灯。在一个具体实施例中，闪光事件延迟基于一行的曝光持续时间 和闪光事件的持续时间之和，使得：
延迟闪光≥相机曝光持续时间+闪光持续时间          (1)
在一种具体实施例中，闪光事件延迟基于一行的曝光持续时间和闪 光事件的持续时间之和，使得：
延迟闪光＝相机曝光持续时间+闪光持续时间        (2)
例如，如果扫描行的曝光持续时间是20ms(对应于相机频率50Hz) 且闪光事件持续时间是2ms，则相机闪光事件之间的闪光事件延迟 (FDly)将是22ms，即闪光频率将是45.45Hz。
图6中图示出了根据本发明实施例的闪光控制过程的示例。在该具体 示例中，闪光事件延迟FDly被设定为一行的曝光持续时间ExpL和闪光事 件的持续时间FlD之和。在该示例中，第一闪光事件F1的开始发生于第 一帧期间的图素111的最后一行N的曝光的开始处。如图6所示，相同的 闪光事件F1在第一帧和第二帧期间发生于图像传感器阵列的最初几行 的曝光期间，即闪光事件的闪光持续时间FlD覆盖第一帧中一行图素111 的曝光的结束和随后的第二帧中相同行图素111的曝光的开始。在帧1之 后的帧2中，第二闪光事件F2发生于帧内相差时间移位S的不同相对时刻 处，在该示例中，发生于图素111的最末行的曝光开始之后。在该示例中， 时间移位S基本上等于闪光事件持续时间FlD。每个闪光事件具有闪光持 续时间FlD。可以看出，在捕获帧序列期间，闪光灯在一个帧获取时间 内不会对图素111的相同行进行两次照明，即在一帧期间获取的图像的每 一行在该帧期间发生单个闪光事件。结果，防止了任何行内失真。
然后，由图像处理单元125对视频序列的捕获帧进行后处理，以从读 取自所捕获的帧序列的扫描行的数据重构图像集合。识别共享相同闪光 事件的连续捕获帧的图像区域，从而可以从共享相同闪光事件的图像区 域重构图像。在图像重构期间，时间上一致地共享闪光事件的帧的视频 序列的行被重新组装，以形成图像。在图6中，例如，由相同的阴影图案 指示的闪光事件发生附近的每个图像区域表示由相同闪光事件照明的所 有扫描行。对相同闪光事件发生的行的重新组装使得能够获得时间失真 效果被最小化的图像。
对于如图6所示的捕获帧的视频序列，所重构的图像的输出频率等于 闪光的频率。例如，如果曝光时间是20ms(对应于50Hz的相机频率)且 闪光持续时间是2ms，则相机闪光事件之间的闪光事件延迟将是22ms(即 闪光频率将是45.45Hz)，且将以对应于闪光频率45.45Hz的频率来呈递输 出序列。
图7图示出了对应于单个闪光事件的两个连续帧的图像区域。虚线限 定了对于图像传感器阵列的行，单个闪光事件发生的开始和结束边界。 在阴影区域中，来自单个闪光事件的光照分布在两个连续帧之间。从而， 在图像重构期间，通过向所述重叠行应用合适的加权函数，从对应于该 图像区域的两个帧的行重组重构图像。可根据光照条件和所使用的相机 确定所使用的加权函数。
图8示出了旋转的换气扇叶片的场景的捕获帧。图8A中指示了对应 于相同闪光事件发生T的帧n和接连的帧n+1的行。图8B示出了如何基于 一个闪光事件发生T将来自帧n的行和从帧n+1获取的行重新组装以形成 重构图像。帧n+1中上部分行与帧n中下部分行进行重新组装，以形成重 组的图像n’。图9中示出了从对应于单个闪光事件的帧n和帧n+1的行重构 的图像n’。将加权函数应用到来自第一和第二帧的重叠行。
在本发明的一种具体实施例中，使用Avisynth滤波器从共享相同闪 光事件的连续帧的行重组图像。使用根据本发明实施例确定的频率触发 的闪光而捕获的视频序列的连续帧被输入到滤波器中。滤波器读取共享 相同闪光事件的两个连续帧，以识别具有最低光强的行，即在捕获的帧 和至少一个相邻的后续帧中共享相同闪光事件的该捕获的帧的行。一旦 识别了这些行，则执行对输出图像的重构。采用与共享相同闪光事件的 连续帧中的剩余行不同的方式，处理被识别为具有最低光强的行。例如， 参考图8的所获取的帧，帧n的下部分行与帧n+1的上部分行重新组合， 以形成图像n’的一部分。识别每帧中具有最低光强的行——这对应于在 两帧之间共享闪光事件的持续时间的行。对于所识别的具有最低光强的 行，通过向两个帧的所识别的行应用合适的权重以形成所重构的图像n’ 的剩余部分的加权行的单个集合，来重构图像n’的剩余部分，在图8的示 例中，剩余部分是图像n’中间的行。
注意到，当图像处于未经处理的空间中时，加权函数是线性的。这 意味着，如果已经应用了伽马修正，则应该在执行重组之前将图像转变 回线性空间，然后将伽马修正再次应用于重组的图像。在这种情况下， 对于两帧之间的中间重叠区域，对帧i-1和帧i的像素的颜色值进行简单相 加就足够了。
在源帧中，针对第一帧在一方向逻辑上存在梯度，而针对第二帧则 在另一方向存在梯度。梯度高度依赖于用来输出图像的伽马LUT(查找 表)。
图10A是线性伽马函数、伽马2.2和伽马0.45的图形表示。如果伽马 函数是线性的，则重组是两个帧的像素的简单相加。如果存在任何伽马 修正，则在图像重构之前应用非伽马(un-gamma)修正。例如，Sony F65 取景软件提供了关于伽马的若干输出选项(但不是线性伽马)。例如，选 择伽马2.2，则在重组图像之前应用伽马0.45函数，以将图像置于线性空 间。
图11中示出了示例性图像重组步骤。在步骤S1101中，提供了共享相 同闪光事件的连续帧。伽马2.2修正函数已被应用于这些帧。在步骤S1102 中，通过应用伽马0.45修正函数，将经过伽马2.2修正的帧转换到线性伽 马空间。如前所述，经过转换的帧的行被重新组合以形成重新组合的图 像，以及在步骤S1103中应用伽马2.2修正以形成经过重组的伽马2.2图像。
虽然图6示出了闪光事件只对两个连续帧进行照明的具体示例，但应 该理解的是，在其它实施例中，可以在三个或更多个连续帧上共享闪光 事件，如图12所示。如果在第一捕获帧中闪光事件发生于最末行的曝光 结束时，在第二连续帧中，该同一闪光事件对于第二连续帧的所有行是 共同的，且在第三连续帧的最初几行中共享该同一闪光事件，则可从这 三个连续帧重构单个图像。在图12中，阴影区域标示与闪光事件F12相 关联的将被重新组合以形成图像的行。所述行包括帧n-1的最末几行、帧 n的所有行和帧n+1的最初几行。可应用针对两个连续帧的行而描述的图 像重构的方法，其中向重新组合的图像的重叠图像区域的行应用加权。
在本发明的一些实施例中，为了避免闪光事件与多于两个捕获帧的 行相关联，闪光脉冲或突发的持续时间被确定为行曝光时间的一部分， 使得
曝光时间＝n×闪光持续时间，
其中n是大于0的整数。
如果按照这种方式设置闪光事件持续时间，则在每个帧中，闪光事 件的结束发生于所捕获的帧的最末行的曝光结束时。
虽然图6示出了其中闪光事件的持续时间不逐帧改变的具体示例，但 在本发明的其它实施例中，闪光事件的持续时间可在各帧之间发生改变， 而且闪光事件发生之间的闪光事件延迟也相应地改变。参考图13，例如， 第二闪光突发的持续时间FlD2大于第一闪光突发的持续时间FlD1。闪光 突发的持续时间可在各帧之间有所不同，以便在帧捕获期间提供不同的 光照条件。由于闪光事件之间的闪光时间延迟根据式(1)或(2)而依 赖于闪光的持续时间，所以闪光时间延迟将相应地改变。从而，闪光事 件Fl1和Fl2之间的时间延迟FDly1小于闪光事件Fl2和Fl3之间的时间延迟 FDly2。从而提供了对于闪光条件改变的动态适应。
图14是根据本发明一个或多个实施例的示出了获得由闪光灯照明的 图像序列的方法的步骤的流程图。在步骤S1401中，闪光灯触发的定时 是根据相机曝光时间和闪光的持续时间设置的，使得：
延迟闪光≥相机曝光持续时间+闪光持续时间
在步骤S1402中，使用根据所确定的闪光定时而触发以对场景进行 照明的闪光灯，来获取场景的帧的集合。在步骤S1403中，对所获取的 连续帧进行处理，以确定与相同闪光事件相关联的帧区域。在步骤S1404 中，识别连续帧内具有低光强的行，以识别如下区域：在步骤S1405中 将加权函数应用到所述区域，以从所识别的帧区域重构图像。在步骤 S1406中，对包括加权帧区域的所识别的帧区域进行组合，以形成与单 个闪光事件相关的重构图像。按照这种方式形成图像序列，并且在步骤 S1407中以取决于所确定的闪光事件延迟的频率对图像序列进行呈现。
这里描述的本发明的实施例可实现为例如方法或过程、装置、软件 程序、数据流或信号。即使只是在单一形式的实现的语境中进行了讨论 (例如指示作为方法进行了讨论)，对所讨论的特征的实现也可通过其它 形式实现(例如装置或程序)。装置可实现为例如适当的硬件、软件和固 件。方法可实现为例如装置(例如处理器，其一般地指处理设备，包括 例如计算机、微处理器、集成电路或可编程逻辑设备)。处理器还包括通 信设备，比如计算机、平板、蜂窝电话、便携式/个人数字助理(PDA) 以及便于端用户之间传递信息的其它设备。
图1中的模块对应于功能单元，其可以涉及或不涉及可区分物理单 元。例如，这些模块或其中的一些可被组合成单一组件或电路，或对应 于软件功能。此外，应该理解的是，一些模块可以潜在地由分离的物理 实体组成。
对本原理的“一种实施例”或“一个实施例”“一种实现”或“一个 实现”以及其它变形的提及，意思是结合所述实施例描述的具体特征、 结构、特性等包括在本原理的至少一个实施例中。从而，说明书通篇各 处所出现的“在一种实施例中”或“在一个实施例中”“在一种实现中” 或“在一个实现中”以及其它变形不必指代相同的实施例。
此外，本申请或其权利要求可提及“确定”各种信息。确定信息可 包括以下中的一个或多个：例如估计信息、计算信息、预测信息或从存 储器获取信息。
此外，本申请或其权利要求可提及“接收”各种信息。接收如同“访 问”一样是广义术语。接收信息包括以下中的一个或多个：例如访问信 息、或获取信息(例如从存储器)。此外，“接收”通常以某种方式在诸 如以下各项的操作期间涉及：存储信息、处理信息、发送信息、移动信 息、拷贝信息、擦除信息、计算信息、确定信息、预测信息或估计信息。
对本领域技术人员来讲，实现显然可以产生多种信号，其被格式化 以承载可被例如存储或发送的信息。信息可包括例如用于执行方法的指 令或由所描述的实现之一产生的数据。
虽然本发明在这里是参照具体实施例进行描述的，但本发明不限于 具体实施例，处于本发明的范围内的修改对于本领域技术人员是显然的。
例如，虽然前述示例是结合基于CMOS技术的数字成像设备描述的， 但应该理解的是，本发明可适用于任何光捕获技术。
对本领域技术人员来讲，通过参考上述说明性实施例(其只是作为 示例而不限制仅由所附权利要求确定的本发明的范围)，可以想到许多其 它修改和变形。具体地，在适当的情况下，来自不同实施例的不同特征 可互换使用。