图像捕捉方法和数码相机 【技术领域】
本发明是关于数码相机， 更具体的， 是关于图像捕捉方法和数码相机。背景技术 数码相机通常指定设计为小巧 (compact) 且具成本效益， 因此功耗及成本问题会 造成数码相机的计算功率 (computation power) 有限。大多数数码相机的响应时间可能不 如高端设备快， 数码相机的性能受到快门 (shutter) 延迟的影响。快门延迟是指从触发按 钮到图像捕捉之间的一段响应时间。快门延迟导致相机难以在恰当时刻捕捉到画面， 尤其 是在欲拍摄对象是例如人类或宠物等移动的活物时。
另外， 大多数用户希望捕捉所拍摄活物的眼睛注视时刻。 换言之， 给活物拍照的最 佳时刻可能是在活物正注视数码相机时。但此类画面可能难以捕捉， 尤其是当欲拍摄对象 是一大群人或者不好控制的小孩或宠物。因此， 急需开发一种数码相机的改进功能以解决 上述问题。
发明内容 有鉴于此， 本发明提供一种图像捕捉方法和数码相机。
本发明提供一种图像捕捉方法， 用于在数码相机中拍摄至少一对象， 包含 ： 感测图 像； 对该图像实施眼睛注视侦测过程， 以侦测该至少一对象的至少一只眼睛或一双眼睛的 眼睛注视方向 ； 确定该眼睛注视方向是否符合注视标准 ； 以及若该眼睛注视方向符合该注 视标准， 则触发该数码相机的应用。
本发明提供一种数码相机， 用于拍摄至少一对象， 该数码相机包含 ： 光敏器件模 块， 用于感测图像 ； 用户界面， 包含显示器， 该显示器用于显示该图像 ； 存储器装置， 用于存 储该图像 ； 处理器， 耦接至该光敏器件模块、 该存储器装置和该用户界面， 该处理器对该图 像实施眼睛注视侦测过程， 以侦测该至少一对象的至少一只眼睛或一双眼睛的眼睛注视方 向， 确定该眼睛注视方向是否符合注视标准， 且若该眼睛注视方向符合该注视标准就触发 该数码相机的应用。
本发明提供的图像捕捉方法和数码相机的益处之一是可更好的捕捉所拍摄对象 的眼睛。
附图说明
图 1a 是根据本发明一个实施例的数码相机 100 的示意图。 图 1b 是根据本发明一个实施例在数码相机 100 中实现的图像捕捉方法的流程图。 图 2 是根据本发明一个实施例实施图 1b 步骤 S105 的眼睛注视侦测过程的流程图。具体实施方式
在说明书及后续的权利要求当中使用了某些词汇来指称特定组件。 所属领域中具 有通常知识者应可理解， 制造商可能会用不同的名词来称呼同一个组件。本说明书及后续 的权利要求并不以名称的差异来作为区分组件的方式， 而是以组件在功能上的差异来作为 区分的准则。在通篇说明书及后续的请求项当中所提及的 “包括” 和 “包含” 系为一开放式 的用语， 故应解释成 “包含但不限定于” 。以外， “耦接” 一词在此系包含任何直接及间接的 电性连接手段。间接的电性连接手段包括通过其它装置进行连接。
为了在拍摄对象眼睛正注视数码相机的恰当时刻拍照， 需要实现一种实时监视机 制来辅助拍摄者。
图 1a 是根据本发明一个实施例的数码相机 100 的示意图。 数码相机 100 包括光敏 器件 (photo sensor) 模块 102、 用户界面 104、 处理器 106 以及存储器装置 108。典型情况 下， 用户界面 104 包含显示器 124、 用于拍照的触发按钮 114 以及用于用户控制的面板 ( 未 示出 )。光敏器件模块 102 包括镜头、 快门 (shutter) 以及例如是电荷耦合器件 (Charge Coupled Device， CCD) 或互补金属氧化物半导体 (CMOS) 的光敏器件， 光敏器件用于将接收 到的光线转换为数字信号， 这也是图像感测的原理。 光敏器件可以用不同的机制感测图像。 例如， 在传统快门机制中， 触发按钮 114 用于触发光敏器件模块 102 中的快门， 以在短暂期 间内打开光圈 (aperture)。该短暂期间通常称为曝光时间。由此， 光敏器件在曝光时间内 通过光圈暴露在光线下， 从而将光线转换为数字信号。
实时取景 (live view) 也是一种普遍应用的机制。 在实时取景模式下， 快门保持打 开状态， 光敏器件持续激活， 通常以每秒 30 帧 (30FPS) 的速率捕捉每个瞬间的图像。该模 式之所以称为 “实时取景” 是因为图像可在显示器 124 上实时取景， 呈现实时移动的画面。 在实时取景模式下触发触发按钮 114 时， 对应于某一瞬间的图像被捕捉并存储在存储器装 置 108 中。存储器装置 108 可以是多种已知装置， 例如紧凑闪存 (Compact Flash， CF) 卡、 安全数码 (Secure Digital， SD) 卡或硬盘驱动器。
在数码相机 100 中， 处理器 106 连接至光敏器件模块 102、 用户界面 104 和存储器 装置 108， 处理器 106 控制不同的功能。例如， 眼睛注视 (eye-gazing) 侦测过程由处理器 106 实施， 以用于侦测拍照对象中至少一只眼睛或一双眼睛的至少一个眼睛注视方向。 处理 器 106 可以从用户界面 104 接收触发信号以初始化眼睛注视侦测过程， 以及在眼睛注视方 向符合注视标准时触发数码相机 100 的特定应用。通常， 为提供对场景的实时响应， 会在实 时取景模式下实施眼睛注视侦测。本发明的实施例细节将参考以下流程图描述。
图 1b 是根据本发明一个实施例在数码相机 100 中实现的图像捕捉方法的流程图。 请注意， 若效果实质上相同， 则不要求严格按照图 1b 所示的顺序执行各步骤。
步骤 S101 中， 初始化数码相机 100， 其中， 眼睛注视机制可作为固件或专用集成 电路 (ASIC) 安装于处理器 106。在实践中， 数码相机 100 的光敏器件模块 102 在上电 (power up) 后持续感测图像。准确而言， 数码相机 100 以特定帧率持续对光信号采样， 以 产生持续更新的图像。众所周知， 图像通常显示在数码相机 100 的显示器 124， 帮助用户 合成 (composite) 所需照片。所以眼睛注视侦测可以是由处理器 106 执行的一个子程序 (sub-routine)， 以持续监视用于触发特定应用的图像。
步骤 S105 中， 对图像实施眼睛注视侦测过程， 以侦测至少一只眼睛或一双眼睛的至少一个眼睛注视方向。在本发明的一个实施例中， 当按下 ( 触发 ) 数码相机 100 的触发 按钮 114 时可实施眼睛注视侦测过程。作为替代， 也可在数码相机 100 上电后立刻实施眼 睛注视侦测过程。众所周知， 人脸识别是与例如人脸聚焦和笑脸捕捉等多种应用相捆绑的 流行技术。本发明基于所侦测的眼睛注视方向提供进一步的应用， 将在下文描述。
步骤 S107 中， 将已感测图像从光敏器件模块 102 发送至处理器 106， 使处理器 106 确定眼睛注视方向是否符合注视标准 (criterion)。 用于触发应用的注视标准是可编程的。 若步骤 S107 中不符合注视标准 ( 图中标示为 No)， 则实施步骤 S109。否则若符合注视标准 ( 图中标示为 Yes)， 则实施步骤 S111。
在步骤 S109 中， 通过用户界面 104 发出第一指示信号， 使拍照对象相应的调整姿 势。指示信号可以是语音信号、 闪烁发光二极管 (LED) 或显示字符。例如， 当拍摄合影时， 数码相机 100 可指示侦测到几只眼睛或几双眼睛， 或者发出警报以吸引拍照对象 ( 尤其是 宠物或小孩 )， 由此增加在所有拍摄对象眼睛注视相机时拍照的成功率。在步骤 S109 发出 第一指示信号后， 图像捕捉方法回到步骤 S105 以实施用于侦测眼睛注视方向的眼睛注视 侦测过程， 然后再次确定所侦测的眼睛注视方向是否符合步骤 S107 的注视标准。请注意， 步骤 S109 可以省略， 若所侦测的眼睛注视方向不符合步骤 S107 的注视标准， 图像捕捉方法 可直接进入步骤 S105。 在步骤 S111 中， 若眼睛注视方向符合注视标准， 则可触发特定的应用。例如， 特定 的应用可实现在眼睛注视数码相机时即刻捕捉照片。但本发明并不限于此功能。基于所侦 测的眼睛注视方向还可实现不同的应用。例如， 可实现特定的应用可以是在符合注视标准 时发出第二指示信号。除上述在眼睛注视时触发快门拍照的例子之外， 眼睛注视侦测还可 用于多种情形。例如可提供自动对焦功能， 用于对任意一只或一双注视的眼睛聚焦。若画 面中有多人， 镜头焦点可自动对焦至注视数码相机的人。此外， 由于可侦测眼睛注视方向， 镜头焦点可自动对焦至拍照对象眼睛正注视的方向。 还可提供自动快门应用， 其中， 光敏器 件模块 102 中的快门可以在全体或者部分人注视数码相机时自动触发， 因而可实现无人干 预的快门触发。
另外， 可在侦测到所有眼睛且所有眼睛都面向数码相机时， 捕捉图像并将图像保 存为照片。 若数码相机处于视频模式， 可将图像记录为移动画面。 同时， 当符合注视标准时， 数码相机可以只向摄影师和拍照对象指示已经符合标准。数码相机 100 中的处理器 106 用 可编程固件可以实现上述的所有应用。
另外， 可以在进入步骤 S105 的眼睛注视侦测过程之前通过用户界面 104 配置注视 标准， 例如可在步骤 S103 中配置注视标准。以下讨论配置注视标准的多种考虑。
注视标准可以定义至少一只眼睛或一双眼睛相对于数码相机 100 的眼睛注视方 向。 若有需要， 也可指定特定角度的眼睛注视方向作为注视标准， 以触发快门拍摄不同风格 的照片。眼睛注视方向可使用多种已知算法来侦测， 上述算法多数适用于辅助残疾人的医 疗系统。 例如， 对脸和眼睛相对于相机的位置以及眼睛瞳孔相对于相机的位置进行比较， 可 确定眼睛注视方向。因此此处省略对上述算法的细节描述。
步骤 S105 为重复性步骤， 由此多个侦测结果可形成序列， 例如形成眼睛注视方向 的连续轨迹。该轨迹以特定样式为特征， 可作为有意义的姿态用于指示照相机以相应的特 定运作来响应。 为实现姿态识别， 注视标准中还可进一步定义轨迹样式， 用于与眼睛注视方
向的连续轨迹进行比较。
若希望在一个画面中拍摄一群人， 注视标准也可定义注视数码相机 100 的多只或 多双眼睛。随着拍照对象人数增加， 所有人同时看数码相机的可能性降低， 作为替代， 注视 标准也可定义一个阈值或是定义有几只眼睛或几双眼睛正注视数码相机 100。 例如， 该阈值 可定义为 60％， 此时， 当十人中有六人注视数码相机时就拍照。
图 2 是根据本发明一个实施例来实施图 1b 步骤 S105 的眼睛注视侦测过程的流程 图。请注意， 若效果实质上相同， 也可不严格按照图 2 所示的顺序执行各步骤。眼睛注视侦 测过程是一系列算法。目前有多种已知的实施人脸侦测和眼睛追踪的算法， 本发明在此基 础上提供进一步的应用。
在步骤 S201 中， 初始化眼睛注视侦测。为侦测眼睛， 数码相机必须感测清晰图像， 因此需要聚焦。步骤 S203 中， 数码相机调整焦点以感测清晰图像。众所周知， 图像中离焦 (out of focus) 的物体是模糊的， 这种模糊效应又称为 “散景 (bokeh)” 。对于大光圈镜头 和长距镜头， 当图像中只有聚焦的物体清晰时， 就发生了散景。 由于难以分析图像的模糊部 分， 也可只在聚焦范围内实施眼睛注视侦测过程。因此， 聚焦范围是需要考虑的一个参数。 通常， 典型的数码相机可以自动对焦 (AF)。例如， 用户可通过用户界面 104 定义焦点标准， 以指明眼睛注视侦测过程只实施于聚焦范围内的物体， 聚焦范围例如是 2 至 5 米。这种情 况下， 只侦测或定位在聚焦范围 2 至 5 米内的脸或眼睛。所以聚焦范围之外物体的脸或眼 睛会被忽略。 步骤 S205 中， 侦测图像中的脸。由于有多种已知技术可实现脸侦测， 在此省略细 节的介绍。步骤 S207 中， 定位图像中侦测到的脸的至少一只眼睛或一双眼睛。请注意， 步 骤 S205 是可选步骤， 因此步骤 S207 也可在步骤 S203 之后直接实施， 以定位图像中的至少 一只眼睛或一双眼睛。进一步， 通过适当的编程， 不是只有人眼可以侦测。其它动物例如狗 的眼睛和猫的眼睛也都可以侦测。
步骤 S209 中， 分析眼睛的瞳孔以确定眼睛注视方向。作为最简单的例子， 被侦测 到持续特定时间的眼睛注视方向可视为注视标准匹配。但在实践中， 会考虑连续的眼睛注 视活动作为参数， 以找到触发点。 例如， 在一段时间内采样得到的多个眼睛注视方向可形成 轨迹样式， 例如圆形轨迹、 向上轨迹或向下轨迹等等。 一串连续的眼睛注视方向轨迹可作为 传达用户想法的姿态来评估。也可考虑其它活动作为参数以寻找触发点， 其它活动例如是 眨眼、 闭眼或持续睁大眼睛。例如， 当拍照对象眨眼两次时就触发特定的应用 ： 例如拍照或 记录运动画面。
基于恰当定义的注视标准， 当侦测到例如眨眼两次、 环视、 快速上下扫视等眼睛注 视活动时， 就可触发特定的相机应用， 例如打开闪光灯或拍摄移动画面。换言之， 基于眼睛 注视侦测技术， 可以触发图 1b 步骤 S111 所描述的不同应用。
本发明特别适用于数码相机或可拍照的可携式设备。 本发明提供的捕捉方法可用 软件或专用芯片来实现。 此外， 若计算功率允许， 眼睛注视侦测还可并入运动预测器以提前 触发快门， 用于补偿快门延迟。当拍摄对象快速移动时， 补偿快门延迟尤其有用。
任何熟习此项技艺者， 在不脱离本发明之精神和范围内， 当可做些许的更动与润 饰， 因此本发明之保护范围当视所附之权利要求所界定者为准。