《摄影机闪光缓解.pdf》由会员分享,可在线阅读,更多相关《摄影机闪光缓解.pdf(21页珍藏版)》请在专利查询网上搜索。
1、(10)申请公布号 CN 102460297 A (43)申请公布日 2012.05.16 C N 1 0 2 4 6 0 2 9 7 A *CN102460297A* (21)申请号 201080024755.5 (22)申请日 2010.06.11 12/489,197 2009.06.22 US G03B 15/03(2006.01) H04N 5/222(2006.01) G03B 17/18(2006.01) H04N 5/235(2006.01) (71)申请人英派尔科技开发有限公司 地址美国特拉华州 (72)发明人安德鲁乌尔夫 托马斯马丁龚戴 (74)专利代理机构中科专利商标代理。
2、有限责任 公司 11021 代理人李敬文 (54) 发明名称 摄影机闪光缓解 (57) 摘要 总体上描述了针对图像捕获系统的技术,图 像捕获系统包括图像传感器、用于提供照明的闪 光灯、数据存储器以及与数据存储器操作性关联 的处理器。处理器适于执行计算机实现指令,以在 数据存储器中预存一个或者多个图像捕获设备特 性,在预捕获阶段获取数据,基于预存数据和获取 数据之一或两者建模阴影效应,基于建模的阴影 效应修改一个或者多个图像捕获设备设置,并且 用图像传感器记录图像数据。可以实质上在图像 数据记录的同时提供照明。 (30)优先权数据 (85)PCT申请进入国家阶段日 2011.12.05 (86)。
3、PCT申请的申请数据 PCT/US2010/038393 2010.06.11 (87)PCT申请的公布数据 WO2010/151443 EN 2010.12.29 (51)Int.Cl. 权利要求书2页 说明书10页 附图8页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 10 页 附图 8 页 1/2页 2 1.一种图像捕获系统,用于最小化与场景的数字图像关联的图像数据中的阴影效应, 所述图像捕获系统包括: 图像传感器; 用于照明场景的闪光灯; 数据存储器;和 与所述数据存储器操作性地关联并且适于执行计算机实现指令的处理器,以: 在数据存储器中预存。
4、一个或者多个图像捕获设备特性; 在预捕获阶段中获取场景相关数据; 基于预存的图像捕获设备特性和获取的场景相关数据之一或两者,对阴影效应建模; 基于建模的阴影效应,修改一个或者多个图像捕获设备设置;以及 在由闪光灯照明所述场景期间,采用修改的设置,利用图像传感器记录图像数据。 2.根据权利要求1所述的图像捕获系统,其中所述预存的图像捕获设备特性包括闪光 灯偏移距离。 3.根据权利要求1所述的图像捕获系统,其中在预捕获阶段期间获取的场景相关数据 包括由图像传感器、聚焦部件或者光传感器中的任何一个或全部所确定的与所述场景中的 主要目标的距离。 4.根据权利要求1所述的图像捕获系统,其中在预捕获阶段期。
5、间获取的场景相关数据 包括由预闪光产生的阴影效应的特性,其中所述预闪光由所述闪光灯产生,并且其中所述 阴影效应的特性由图像传感器和聚焦部件之一或两者确定。 5.根据权利要求1所述的图像捕获系统,其中在预捕获阶段期间获取的场景相关数据 包括与预闪光实质上同时地由图像传感器记录的一个或者多个预捕获图像,其中所述预闪 光由所述闪光灯产生。 6.根据权利要求5所述的图像捕获系统,其中所述处理器还适于执行计算机实现指 令,以在预捕获图像中标识指示阴影的各个单独像素。 7.根据权利要求1所述的图像捕获系统,其中所述处理器还适于执行计算机实现指 令,以基于如下中的一个或者多个来建模所述阴影效应:闪光灯偏移距。
6、离、与主要对象的距 离、和/或与预闪光实质上同时地由图像传感器记录的一个或者多个预捕获图像,其中所 述预闪光由所述闪光灯产生。 8.根据权利要求7所述的图像捕获系统,其中为了建模所述阴影效应,所述处理器还 适于执行计算机实现指令,以对所标识的阴影的暗度、尺寸和/或形状中的一个或者多个 进行近似。 9.根据权利要求8所述的图像捕获系统,其中所述处理器还适于执行计算机实现指 令,以单独地并动态地调整与所标识阴影对应的每一个像素的相关联的增益。 10.根据权利要求1所述的图像捕获系统,其中所述处理器还适于执行计算机实现指 令,以逐个像素地说明所建模的阴影效应。 11.根据权利要求1所述的图像捕获系统。
7、,其中所述处理器还适于执行计算机实现指 令,以与图像数据记录实质上同时地激活所述闪光灯来照明场景。 12.一种计算机可访问介质,其上存储有计算机可执行指令,用于当图像捕获设备的处 理单元执行所述计算机可执行指令时,最小化与场景的数字图像关联的图像数据中的阴影 权 利 要 求 书CN 102460297 A 2/2页 3 效应,其中所述图像捕获设备包括用于捕获场景的图像数据的图像传感器、用于照明场景 的闪光灯以及用于记录捕获的图像数据的数据存储器,用于处理图像数据的所述计算机可 执行指令包括: 在数据存储器中预存一个或者多个图像捕获设备特性; 在预捕获阶段中获取场景相关数据; 基于预存的图像捕获。
8、设备特性和获取的场景相关数据之一或者两者,对阴影效应建 模; 基于建模的阴影效应修改一个或者多个图像捕获设备设置;以及 采用修改的设置,利用图像传感器来记录图像数据,其中实质上在图像数据记录的同 时提供所述闪光灯对场景的照明。 13.根据权利要求12所述的计算机可访问介质,其中所述预存的图像捕获设备特性包 括闪光灯偏移距离。 14.根据权利要求12所述的计算机可访问介质,其中在预捕获阶段期间获取的场景相 关数据包括与主要目标的距离。 15.一种用于图像捕获设备的方法,用于最小化与场景的数字图像关联的图像数据中 的阴影效应,其中所述图像捕获设备包括闪光灯、图像传感器和数据存储器,所述方法包 括:。
9、 在预捕获阶段中获取场景相关数据; 基于获取的场景相关数据对阴影效应建模; 基于建模的阴影效应修改图像捕获设备的一个或者多个图像捕获设备设置,其中逐个 像素地执行一个或者多个图像捕获设备设置的修改;以及 在由闪光灯照明场景期间,采用修改的设置,利用图像传感器记录图像数据。 16.根据权利要求15所述的方法,还包括:在数据存储器中预存一个或者多个图像捕 获设备特性,并且其中修改一个或者多个图像捕获设备设置是基于预存的数据和获取的场 景相关数据来进行的。 17.根据权利要求16所述的方法,其中预存的图像捕获设备特性包括闪光灯偏移距 离。 18.根据权利要求15所述的方法,其中在预捕获阶段期间获取的。
10、场景相关数据包括与 主要目标的距离。 19.根据权利要求15所述的方法,其中对阴影效应建模包括:对所标识的阴影的暗度、 尺寸和/或形状进行近似。 20.根据权利要求19所述的方法,其中修改一个或者多个图像捕获设备设置包括:单 独地并动态地调整与所标识阴影对应的每一个像素的增益。 21.根据权利要求15所述的方法,还包括:采用修改的一个或者多个图像捕获设备设 置来调整所记录的图像数据中的一个或者多个像素,以提供已调整的图像数据;以及在数 据存储器中存储所述已调整的图像数据。 权 利 要 求 书CN 102460297 A 1/10页 4 摄影机闪光缓解 背景技术 0001 当业余摄影师操作时,摄。
11、影系统产生较宽范围的图像质量。对于给定的场景,如果 摄影环境非常适合摄影系统(例如环境光水平是均匀的并且具有足够的强度),通常可以 获得好的结果。然而,当这些条件不存在时,由于捕获系统或者再现系统中的故障可能会引 入图像缺陷,从而降低最终看到的图像的质量。为最小化次优的图像捕获条件的影响,摄影 系统试图通过增加旨在扩大光照水平和图像可捕获距离的范围的特征,来进行补偿。例如, 如果环境光的强度不足以提供充分的曝光,并且主要对象与摄影机的位置小于预定距离, 大多数内置电子闪光单元能够提供辅助照明,足以至少部分地曝光主要对象。然而,即使主 要对象接收到足够的照明,闪光灯还是可能引入图像缺陷。 000。
12、2 当采用辅助照明时,可能出现阴影图像缺陷。具体地,由于摄影对象的阻挡,来自 辅助照明光源或者闪光灯的光不能到达一个或者多个背景对象,并且在最终图像上呈现为 摄影对象后面的黑暗区域,就图像质量而言这些通常是不期望的。这种讨厌的现象被理解 为至少部分地由于镜头与内置于或安装到摄影机外壳的闪光灯之间的位移而在最终图像 中可见。 发明内容 0003 总体上描述了针对图像捕获系统的技术,该图像捕获系统包括图像传感器、用于 提供照明的闪光灯、数据存储器、以及与数据存储器操作性地关联的处理器。处理器可以适 于执行计算机实现指令,以在数据存储器中预存一个或多个图像捕获设备特性,在预捕获 阶段中获取数据,基于。
13、预存的数据和获取的数据之一或两者建模阴影效应,基于建模的阴 影效应修改一个或多个图像捕获设备设置,并且用图像传感器记录图像数据。可以实质上 在图像数据记录的同时提供照明。 0004 在一个示例中,提供了一种图像捕获系统,用于最小化与场景的数字图像关联的 图像数据中的阴影效应。该系统可以包括图像传感器、用于照明场景的闪光灯、数据存储器 和处理器。处理器可以与数据存储器操作性地关联并且适于执行计算机实现指令,以在数 据存储器中预存一个或者多个图像捕获设备特性,在预捕获阶段中获取场景相关数据,基 于预存的图像捕获设备特性和获取的场景相关数据之一或两者来建模阴影效应,基于建模 的阴影效应修改一个或者多。
14、个图像捕获设备设置,并且在由闪光灯照明场景期间,采用修 改的设置,利用图像传感器记录图像数据。 0005 在另一示例中,提供了一种计算机可访问介质,其上存储有计算机可执行指令,用 于当图像捕获设备的处理单元执行计算机可执行指令时,最小化与场景的数字图像关联的 图像数据中的阴影效应。图像捕获设备可以包括用于捕获场景的图像数据的图像传感器、 用于照明场景的闪光灯、以及用于记录所捕获图像数据的数据存储器。计算机可执行指令 用于处理图像数据,可以包括在数据存储器中预存一个或者多个图像捕获设备特性,在预 捕获阶段中获取场景相关数据,基于预存的图像捕获设备特性和获取的场景相关数据之一 或两者来建模阴影效应。
15、,并且采用修改的设置利用图像传感器记录图像数据,其中实质上 说 明 书CN 102460297 A 2/10页 5 在图像数据记录的同时提供由闪光灯的场景照明。 0006 在又一示例中,提供了一种用于图像捕获设备的方法,用于最小化与场景的数字 图像关联的图像数据中的阴影效应,其中图像捕获设备包括闪光灯、图像传感器和数据存 储器。该方法可以包括:在预捕获阶段获取场景相关数据,在获取的场景相关数据的基础 上建模阴影效应,基于建模的阴影效应修改图像捕获设备的一个或者多个图像捕获设备设 置,其中逐个像素地执行一个或者多个图像捕获设备设置的修改,并且在由闪光灯照明场 景期间,采用修改的设置利用图像传感器。
16、记录图像数据。 0007 尽管公开了多个示例,但是从下面的详细说明中其他示例对于本领域普通技术人 员而言是明显的。显而易见,在此描述的系统、设备和方法能够具有各种明显方面修改,都 不背离在此公开的精神和范围。因此,详细的描述被视为说明性的而非限制性的。 附图说明 0008 从下面的说明书和所附权利要求中,结合附图,将更为充分地理解本公开中的前 述和其他特征。应当理解,这些附图只描述了按照本公开所述的若干示例,因此不被视为限 制其范围,通过使用这些附图更加具体和详细地描述本公开。附图中: 0009 图1示出了根据某些示例的诸如数字摄影设备的图像捕获系统的框图。 0010 图2示出了用于执行本公开。
17、示例的计算系统。 0011 图3示出了根据某些示例的闪光缓解系统的操作的流程图。 0012 图4a示出了适用于根据某些示例的系统的摄影机。 0013 图4b示出了根据说明性示例的图像捕获场景的图。 0014 图5示出了根据本公开的示例计算机程序产品的框图。 0015 图6a示出了根据某些示例的计算机系统,该系统包括配置为执行方法示例的处 理器,该方法用于最小化数字图像内的阴影效应。 0016 图6b示出了根据某些示例的计算机系统,该系统包括配置为执行方法示例的处 理器,该方法用于最小化数字图像内的阴影效应。 0017 图7示出了根据某些示例的图像捕获系统的示意图。 具体实施方式 0018 在以。
18、下详细说明中,参考了作为详细说明的一部分的附图。在附图中,类似符号通 常表示类似部件,除非上下文另行指明。具体实施方式部分、附图和权利要求书中记载的示 例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下,可以利用 其他实施例,且可以进行其他改变。应当理解,在此一般性记载以及附图中图示的本公开的 各方案可以按照在此明确和隐含公开的多种不同配置来设置、替换、组合、分割和设计。 0019 在某些示例中,本公开可以涉及预处理系统和方法,用于缓解捕获的数字图像数 据中由于辅助照明源的使用而导致的缺陷。更具体地,在说明性示例中,本公开可以涉及由 辅助照明源的使用导致的捕获的数字图像数据中。
19、的阴影效应的缓解。例如,这些过程和方 法可以使业余摄影师拍摄出更高质量的照片,而不需要时间耗费和昂贵的后处理技术。在 另外一些示例中,在预处理期间获取的数据可以用于后处理。 0020 图1示出了根据本公开某些示例的诸如数字摄影机设备灯的图像捕获系统的框 说 明 书CN 102460297 A 3/10页 6 图。图像捕获系统在下文中称作摄影机10,可以包括处理器30。应当理解,在摄影机10中 执行的许多过程可以在微处理器、中央处理单元(CPU)、控制器、数字信号处理器(DSP)和/ 或专用集成电路(ASIC)中运行的软件来实施或控制,这里统一地示出为方框30并且被称 作“处理器”。在各种示例中。
20、,处理器30中可以包括更多或更少的部件。可以包括外设部 件,诸如用于指导用户查看或者操作的部件,以及包括例如按钮和显示器。通常,用户接口 (UI)40和/或外设部件45可由微控制器32来控制。处理器30,响应于微控制器32处的 用户输入(诸如按动快门按钮或者其他适合的手段),可以启动和控制数字摄影过程。 0021 参考图2,图中示出的是用于执行本公开示例的计算系统。图2所示的计算系统包 括含有中央处理单元(CPU)(也称作处理器)102的、主存储器103以及一个或者多个大容 量存储设备104的计算机101。处理器102一般可以是任何所需配置,包括但不限于微处理 器(P)、微控制器(C)、数字信。
21、号处理器(DSP)或者其任何组合。因此,各个单独的处理 器102可以包括用于执行程序指令的逻辑、以及其他功能块,诸如算术逻辑单元(ALU)、浮 点单元(FPU)、数字信号处理(DSP)核、寄存器、累加器等。主存储器103可以是任何合适 形式的存储器,包括但不限于诸如随机存取存储器(RAM)等易失性存储器、诸如只读存储 器(ROM)和快闪存储器等非易失性存储器、诸如磁盘存储(例如硬盘驱动器或HDD)、磁带存 储、光学存储(例如光盘或者CD、数字多功能盘或者DVD)或者其他可移除、不可移除、易失 或非易失性的机器可读存储介质之类的数据存储设备。在诸如ROM等主存储器103中可以 提供用于减小数字图。
22、像中阴影效应的算法。 0022 大容量存储设备104以及它们的相关联的计算机存储介质提供计算机可读指令、 数据结构、程序模块和其他用于计算机101的数据的存储。大容量存储设备104还可以包 括操作系统106、应用程序107、程序模块108和数据库180。计算机101还包括用户输入设 备190,用户可以通过这些设备输入命令和数据。输入设备可以包括电子数字化仪、麦克风、 键盘和定点设备(通常称为鼠标)、轨迹球或者触摸板。其他输入设备可以包括操纵杆、游 戏板、卫星天线、扫描器等等。 0023 这些和其他输入设备可以通过与系统总线相连的用户输入接口与处理器102相 连,但是可以通过其他接口和总线结构相。
23、连,诸如通过并行端口、游戏端口或者通用串行总 线(USB)相连。计算机,诸如计算机101,可以包括诸如扬声器等其他外设输出设备,它们可 以通过输出外设接口194等连接。 0024 计算机101可以在使用与一个或者多个计算机(诸如与网络接口196相连的远程 计算机)的逻辑连接的联网环境中运行。远程计算机可以是个人计算机、服务器、路由器、 网络PC、对等设备或者其他常见的网络节点,并且可以包括以上相对于计算机101而描述 的许多或者全部元件。依赖于计算机101的指定,远程计算机可以被视为客户端或者服务 器的其中之一。联网环境在办公室、企业广域网(WAN)、局域网(LAN)、内联网和因特网中常 见。。
24、源和目的地机器不需要通过网络109或者任何其他手段连接,而是经由能够被源平台 写入并且被目的地平台读取的任何介质来迁移数据。在某些示例中,网络可以是诸如无线 局域网(WLAN)的无线网络。当在LAN或者WLAN联网环境中使用时,计算机101通过网络 接口196或者适配器与LAN相连。当在WAN联网环境中使用时,计算机101通常包括调制 解调器或者用于通过WAN(诸如因特网或者网络109)建立通信的其他装置。应当理解,可 以使用在计算机之间建立通信链接的其他装置。 说 明 书CN 102460297 A 4/10页 7 0025 再次参考图1,在说明性示例中,摄影机10可以包括光传感器50。光传。
25、感器50可 以用于确定环境曝光量。环境曝光量可用于确定是否应该使用闪光灯。摄影机10还可以 包括图像传感器70。图像传感器70可以包括适合捕获数字图像数据的任何部件,诸如电荷 耦合器件(CCD)、互补金属氧化物半导体(CMOS)等等。在某些示例中,图像传感器70可以 使用关联的图像传感器逻辑75来分析捕获的图像,以处理图像数据。在某些示例中,摄影 机10还可以包括第二图像传感器77。例如,第二图像传感器77可以比图像传感器70具有 更低的分辨率。 0026 在某些示例中,摄影机10还可以包括聚焦部件60。聚焦部件60可以将图像聚焦 在图像传感器70上。此外,聚焦部件60可以确定多种场景相关距离。
26、,诸如与主要对象的距 离和/或与背景对象的距离。在一个示例中,聚焦部件60可以使用关联的聚焦部件逻辑65 来确定多种场景相关距离。 0027 此外,摄影机10可以包括辅助照明或者闪光部件80,其可以在用户致动(诸如快 门按钮的按压)时在实质上与用图像传感器70记录数字图像数据的同时产生摄影闪光。闪 光部件80可以形成在摄影机外壳中或者配置成摄影机10的可移处附件。可以响应光传感 器50,诸如在光传感器50检测到环境光低于阈值水平时,或者在来自摄影机10的用户的手 动输入时,由闪光部件80选择性地产生闪光。在某些示例中,处理器30可以从一个或者多 个前述传感器/部件接受场景相关信息,这些信息用数。
27、字记录来记录,以用于数字图像数 据的预处理和/或后处理。 0028 在某些示例中,数字图像数据和/或与其关联的数据可存储在数据存储部件90 中,数据存储部件90可以包括任何合适的计算机存储器,诸如动态随机存取存储器或者非 易失性存储器。诸如CF卡、SD卡等的可移除存储设备95还可以用于存储数字图像数据和 /或与其关联的数据。 0029 在某些示例中,可以在任何计算和/或处理环境中实施闪光缓解系统100,计算和 /或处理环境包括但不限于计算机软件、固件、设备驱动器、数字电子电路或计算机硬件,或 者它们的任何组合。在一个示例中,闪光缓解系统100可被集成在摄影机10中并且可以包 括在处理器30上运。
28、行的指令集。在某些示例中,在预存信息和/或由处理器30接收的场 景相关信息的基础上,闪光缓解系统100可以对源自摄影机闪光并且出现在一个或者多个 背景对象上的阴影效应的属性和/或特性进行建模。闪光缓解系统100还可以对摄影机设 置调整进行近似,以消除或者实质上减少所捕获图像数据中的阴影效应。尽管关于由于摄 影机闪光而产生阴影效应的示例描述了本公开,应当理解,可以应用本公开所述的系统和 方法来缓解由任何照明源造成的阴影效应。 0030 图3示出了根据本公开某些示例的闪光缓解系统的操作的流程图。闪光缓解系统 100可以在预捕获阶段期间获取的场景相关数据(方框110)。预捕获阶段可以指一种在图 像数。
29、据捕获之前发生的阶段,在该阶段中摄影机检测或者感测环境参数。例如,可以经由光 传感器50或者图像传感器70或77检测环境光水平。作为另外一个示例,可以经由聚焦部 件60、或者通过使用光传感器50或经由图像传感器70或77测量来自闪光部件80的反射 光,来确定与主要对象的距离和/或与一个或者多个背景对象的距离。在又一示例中,经由 诸如聚焦部件60、图像传感器70和/或第二图像传感器77等一个或者多个设备部件,检测 源自预闪光的阴影的特性。可以使用闪光部件80实现预闪光。替代地,可以使用其他手段 说 明 书CN 102460297 A 5/10页 8 实现预闪光。使用诸如参考图4a讨论的闪光灯偏移。
30、位移(flash offset displacement)之 类的预存数据、和/或获取的场景相关数据,系统可以建模由于辅助照明导致的可能投射 到背景对象上的阴影效应(方框120)。在所建模的阴影效应的基础上,闪光缓解系统100可 以修改一个或者多个摄影机设置,从而消除或者实质上减少由于闪光造成的投射在一个或 者多个背景对象上的阴影(方框130)。在摄影机设置修改之后,图像数据可以被图像传感 器70捕获或者记录,并且被存储至数据存储器90和/或可移除数据存储器95(方框140)。 0031 在某些示例中,作为初始事件,一个或者多个摄影机特性可以被预存至数据存储 器90。图4a示出了摄影机300,。
31、适合用于根据在此公开的某些示例的系统。如图所示,摄 影机300可以包括内置的闪光灯310a和/或可移除的闪光灯310b,分别距镜头320偏移位 移d1 a 和d1 b (“闪光灯偏移位移” )。在某些示例中,摄影机300可以配置为感测使用内置 闪光灯310a还是可移除闪光灯310b。如上所述,闪光灯偏移位移至少部分地导致了源自摄 影机闪光的阴影效应在捕获的图像中可见。在某些示例中,闪光灯偏移位移可被预存至数 据存储器90。替代地,摄影机10的任何有用特性都可以被预存至数据存储器90。 0032 在某些示例中,在预捕获阶段期间的数据获取(方框110)可以包括一个或者多个 参数的获取,这些参数允许。
32、建模/估计源自摄影机闪光的阴影效应。在某些示例中,一个或 者多个场景相关距离可以估计并且存储至数据存储器90。 0033 图4b示出了根据本公开的说明性示例的图像捕获场景的图。如图所示,用户401 可以借助于辅助照明410使用摄影机402捕获主要目标404的图像或者焦点。同样如图所 示,辅助照明可以导致阴影405,该阴影被投射在场景背景中的对象406上。在某些示例中, 摄影机402的聚焦部件可以近似出与主要目标的距离,表示为d2。在另外一些示例中,聚焦 部件可以扫描场景来近似出与一个或者多个背景对象的距离,诸如在摄影机402与背景对 象406之间的距离d3。在某些示例中,与主要目标的距离以及与。
33、背景对象的距离之一或者 两者可被存储至数据存储器90或者其他合适的存储位置。通常,距离d1、d2和/或d3可 用于确定阴影效应被投射到背景对象上的角度和/或更可靠地预测阴影效应在捕获的图 像数据中的位置。 0034 在另外一些示例中,在预捕获阶段期间的数据获取(方框110)可以包括获取与预 闪光关联的数据。通常,预闪光可以指由摄影机发出的闪光,该闪光在实质上与所捕获图像 数据的记录同时发出的闪光之前并且与之分离。预闪光的产生可以产生很可能在所捕获图 像数据中出现的阴影效应。在某些示例中,当预闪光产生时,系统可以检索与所产生的阴影 的特性/属性相关的数据,诸如阴影的暗度、形状和/或尺寸。在说明性。
34、示例中,边缘检测 算法用于确定所述阴影的边界并因此确定在所获取图像中哪些像素受到阴影影响。在多种 示例中,与预闪光实质上同时地,图像传感器70和/或第二图像传感器75可以记录场景的 一个或者多个预捕获图像。预捕获图像可被存储至数据存储器90,用于闪光缓解系统100 的分析。应当理解,本公开所述的预闪光还可以用作防红眼系统的一部分,正如现有技术所 已知的,或者替代地可以与这种系统分离。 0035 在某些示例中,使用预存数据和/或在预捕获阶段期间收集的数据,闪光缓解系 统100可以建模投射在背景对象上的阴影效应(方框120)。例如,在一个示例中,在闪光灯 偏移距离、与主要目标的距离、与一个或者多个。
35、背景对象的距离、预捕获图像或者它们的组 合中的任何一个或者全部的基础上,系统可以建模在主要目标后面的阴影效应,诸如阴影 说 明 书CN 102460297 A 6/10页 9 的暗度、尺寸和/或范围。可以利用图像中与主要目标430有关的每个像素、照明源和图像 传感器之间的角度,并随后对照明源沿该角度向背景对象450的投影进行建模,来估算在 图像内的阴影像素的位置。该角度可以根据位移d1和距离d2而计算,然后被投影到距离 d3。诸如边缘检测之类的图像处理技术可以用于细化对哪些像素在阴影中的估计。 0036 应当理解,数字图像包括多个不同颜色和明暗的单独像素并且这些像素的成组组 成了数字图像。在说。
36、明性示例中,闪光效应的建模(方框120)可以包括标识一个或者多个 存储的预捕获图像中对应于阴影区域的单独像素或像素区域。在这点上,闪光缓解系统个 100可以包括像素定位器,用于在预捕获图像中定位具有指示阴影的属性的像素。在某些示 例中,所标识的像素可以至少部分地定义所建模的阴影。替代地,闪光缓解系统100可以包 括用于检测和消除阴影效应的任何部件。 0037 在某些示例中,在所建模的阴影的基础上,闪光缓解系统100可以自动地调整一 个或者多个摄影机设置,使得消除或者实质上减少阴影效应(方框130)。为了补偿由闪光 引起的阴影造成的照明差异,可以逐像素、逐行或者逐像素组地调整摄影机设置。可调整的。
37、 摄影机设置包括任何常规的摄影机设置,诸如像素增益、像素偏移、快门速度、曝光、ISO设 置等等。替代地,可以调整任何合适的摄影机设置。在某些示例中,一个或者多个摄影机设 置可被预置为默认值。在另外一些示例中,摄影机设置可以由用户手动地和/或由摄影机 自动地修改。 0038 闪光缓解系统100可以调整对应于所建模阴影效应区域的各个单独像素或者像 素区域的属性。在这点上,闪光缓解系统100可以包括用于修改所标识像素的属性的像素 修改器。在某些示例中,闪光缓解系统100可以单独地并且动态地调整每一个所标识像素 或者像素组的增益,例如通过增加增益来补偿由阴影效应造成的低对比度。在一个示例中, 闪光缓解。
38、系统100可以单独地并且动态地调整每个所标识像素或者像素组的曝光,例如通 过增加曝光来补偿由阴影效应造成的黑暗。在此描述的用于调整增益和曝光的系统与已知 系统相反,已知系统以图像为基础调整增益(即组成图像的每个像素的增益被调整相同的 量),而不是以单独像素或像素组为基础。应当理解,为了后处理按照本公开所述的系统和 方法捕获的图像数据,需要知道单独像素增益和/或曝光调整。就这一点而言,下文将更加 详细地进行描述,至少部分地包括单独像素调整的元数据可以被存储至数据存储器90并 且与捕获的图像数据相关联。 0039 在说明性示例中,在摄影机设置已经修改之后(方框130),可以由图像传感器70 捕获数。
39、字图像数据(方框140)。捕获的图像数据可被显示在图像显示器上,存储至数据存 储器90,存储至可移除存储器95,和/或经由图像输出部件下载至另一个设备,例如个人电 脑、服务器或者打印机,或者被处理。 0040 图5示出了按照本公开布置的示例计算机程序产品500的方框图。在某些示例 中,如图5所示,计算机程序产品500包括信号承载介质502,所述介质还可以包括编程指 令504。编程指令504可以布置用于在数据存储器中预存一个或者多个图像捕获设备特性。 编程指令504还可以布置用于在预捕获阶段获取数据。另外,编程指令504还可以布置用 于基于预存数据和获取数据之一或两者来建模阴影效应。此外,编程指。
40、令504还可以布置 用于基于建模的阴影效应修改一个或者多个图像捕获设备设置。还有,编程指令504还可 以布置用于利用图像传感器记录图像数据,其中实质上在图像数据记录的同时提供闪光灯 说 明 书CN 102460297 A 7/10页 10 的照明。 0041 还是如图5所示,在某些示例中,计算机产品500可以包括计算机可读介质506、 可记录介质508以及通信介质510中的一个或者多个。围绕这些元件的虚线框可以表示包 括在信号承载介质502之内但不限于信号承载介质502的各种介质。这些种类的介质可以 分发由计算机设备执行的编程指令504,所述计算机设备包括处理器、逻辑和/或用于执行 这种指令的。
41、其他设备。计算机可读介质506和可记录介质508可以包括但不限于软盘、硬 盘驱动(HDD)、光盘(CD)、数字视频盘(DVD)、数字磁带、计算机存储器等。通信介质510可 以包括但不限于数字和/或模拟通信介质(例如光缆、波导、有线通信链接、无线通信链接 等)。 0042 在一些具体示例中,如图6a的示意图所示,计算机系统200可以包括配置用于执 行示例方法的处理器205,根据本公开一些示例的该方法用于最小化数字图像中的阴影效 应。在其他示例中,所述方法的多个步骤或者多个步骤中的部分步骤可以在处理器205外 部执行。在多种示例中,方法可以包括在数据存储器90中预存一个或者多个图像捕获设备 特性(。
42、方框210)。然后,方法可以包括在预捕获阶段获取数据(方框220)。接下来,方法 可以包括基于预存数据和已获取数据之一或两者来建模阴影效应(方框230)。然后,方法 可以包括基于所建模的阴影效应修改一个或者多个图像捕获设备设置(方框240)。最后, 方法可以包括利用图像传感器70记录图像数据,其中可以实质上在图像数据记录的同时 提供照明(方框250)。 0043 在另外一个具体示例中,如图6b的示意图所示,计算机系统300可以包括配置用 于执行方法示例的处理器305,根据本公开一些示例的该方法用于最小化数字图像中的阴 影效应。在其他示例中,所述方法的多个步骤或者多个步骤中的部分步骤可以在处理器。
43、305 外部执行。在多种示例中,方法可以包括在预捕获阶段获取数据(方框310)。然后,方法可 以包括基于获取的数据来建模阴影效应(方框320)。接下来,方法可以包括基于建模的阴 影效应修改一个或者多个图像捕获设备设置(方框330)。然后,方法可以包括逐个像素地 说明所建模的阴影效应(方框340)。最后,方法可以包括利用图像传感器记录图像数据,其 中实质上在图像数据记录的同时提供照明(方框350)。 0044 在一些示例中,非图像信息或者元数据可以和捕获的图像数据一起存储。元数据 可存储作为数字图像文件中非图像首部数据的一部分,或者存储在与数字图像文件关联的 任何形式的数字存储器中。存储的元数据。
44、可用于支持数字图像数据的后处理,并且可以包 括与捕获的图像数据相关的任何信息。例如,元数据可以包括偏移位移、与主要目标的距 离、与一个或者多个背景对象的距离、预图像(pre-image)数据、阴影模型数据、摄影机设 置(例如对于每一个像素的增益调整)等等中的一个或者全部。替代地,元数据可以包括 对捕获的图像数据的后处理有用的任何信息。 0045 图7示出了根据本公开某些示例的图像捕获系统400的示意图。图像捕获系统 400的一个或者多个部件,例如图像传感器410和聚焦部件420,可以单独或者结合地使用, 以在预捕获阶段获取与主要目标430相关的数据。在一些示例中,由图像传感器410获取 的数据。
45、可以包括图像数据412或者预捕获数据414。如前所述,图像传感器410可以利用 关联的图像传感器逻辑413来分析所捕获图像,以显影图像数据412或者预捕获数据414。 从聚焦部件获取的数据可以包括预捕获数据416。如前所述,聚焦部件420可以利用关联 说 明 书CN 102460297 A 10 8/10页 11 的聚焦部件逻辑417分析捕获的图像,以显影预捕获数据416。所获取的数据包括预捕获 数据414、图像数据412或者预捕获数据416中的任何数据,可以分别经由数据总线415和 425从图像传感器410和聚焦部件420传送至处理器440。处理器440可以基于获取的数 据来建模阴影效应。处。
46、理器440可以修改一个或者多个图像捕获设备设置,例如图像传感 器410的一个或者多个设置,这些设置可以经由数据总线415传输至图像传感器410以及 关联的逻辑413。处理器440可以逐个像素地说明建模的阴影效应。图像传感器410可以 记录与主要目标430相关的图像数据。在图像数据记录之前和/或记录期间,可以利用闪 光部件450产生照明。 0046 前面描述了用于缓解所捕获数字图像数据中由于辅助光源的使用而导致的缺陷 的预处理系统和方法的多种示例。下面是最小化数字图像中阴影效应的系统和方法的具体 示例。这些只用于说明而非旨在限制。 0047 本公开总体涉及用于捕获图像的系统。所述系统可以包括图像。
47、传感器、用于提供 照明的闪光灯、数据存储器以及与数据存储器操作性关联的处理器。处理器可以与数据存 储器操作性关联并且适于执行计算机实现指令,以在数据存储器中预存一个或者多个图像 捕获设备特性,在预捕获阶段获取数据,基于预存数据和获取数据之一或两者来建模阴影 效应,基于建模的阴影效应修改一个或者多个图像捕获设备设置,并且在由闪光灯照明期 间用图像传感器记录图像数据。 0048 在所述的另外一些系统中,图像捕获系统可以包括图像传感器、提供照明的闪光 灯、数据存储器以及与数据存储器操作性关联的处理器。处理器可以与数据存储器操作性 关联并且适于执行计算机实现指令,以在预捕获阶段获取数据,基于获取的数据。
48、建模阴影 效应,基于建模的阴影效应修改一个或者多个图像捕获设备设置,逐个像素地说明建模的 阴影效应,并且用图像传感器记录图像数据。可以实质上在图像数据记录的同时提供照明。 0049 本公开总体上还涉及计算机可访问介质,其上存储有计算机可执行指令,用于当 图像捕获设备的处理单元执行计算机可执行指令时处理图像,图像捕获设备包括图像传感 器和数据存储器。所述指令可以使所述处理单元执行减少数字图像内阴影效应的过程。在 一些示例中,所述过程可以包括在数据存储器中预存一个或者多个图像捕获设备特性、在 预捕获阶段获取数据、基于预存数据和获取数据之一或两者建模阴影效应,基于建模的阴 影效应修改一个或者多个图像。
49、捕获设备设置,并且用图像传感器记录图像数据。可以实质 上在图像数据记录的同时提供照明。 0050 本公开总体上还涉及用于最小化数字图像中的阴影效应的方法。在一些示例中, 所述方法可以包括在预捕获阶段获取数据,在获取数据的基础上建模阴影效应,在建模的 阴影效应的基础上修改一个或者多个图像捕获设备设置,逐个像素地说明建模的阴影效 应,并且在由闪光灯照明期间用图像传感器记录图像数据。 0051 本公开不限于在本申请中描述的具体示例,这些具体示例意在说明不同方案。本 领域技术人员清楚,不脱离本公开的精神和范围,可以做出许多修改和变型。本领域技术人 员根据之前的描述,除了在此所列举的方法和装置之外,还可以想到本公开范围内功能上 等价的其他方法和装置。这种修改和变型应落在所附权利要求的范围内。本公开应当由所 附权利要求的术语及其等价描述的整个范围来限定。应当理解,本公开不限于具体方法、试 剂、化合物组成或生物系统,这些都是可以改变的。还应理解,这里所使用的术语仅用于描 说 明 书CN 102460297 A 11 9/10页 12 述具体示例的目的,而不应被认为是限制性的。 005。