形成具有感知深度的视频.pdf

一种用于提供具有感知深度的视频的方法，其包括：借助单个透视图像捕获装置捕获场景的视频图像序列；针对所述视频图像序列中的所述视频图像中的每一者确定所述图像捕获装置的相对位置；响应于所述图像捕获装置的所述所确定的相对位置而选择若干对立体视频图像；及基于所述若干对选定立体视频图像形成具有感知深度的视频。

权利要求书一种用于提供具有感知深度的视频的方法，其包括：借助单个透视图像捕获装置捕获场景的视频图像序列；针对所述视频图像序列中的所述视频图像中的每一者确定所述图像捕获装置的相对位置；响应于所述图像捕获装置的所述所确定的相对位置而从所述视频图像序列中选择若干对立体视频图像；及基于所述若干对选定立体视频图像形成具有感知深度的视频。根据权利要求1所述的方法，其中通过识别其中所述图像捕获装置的所述所确定的相对位置已改变一规定距离的若干对视频图像来选择所述若干对立体视频图像。根据权利要求2所述的方法，其中所述规定距离为在水平方向上的距离。根据权利要求2所述的方法，其中当所述图像捕获装置的所述所确定的相对位置的改变指示所述图像捕获装置的运动在垂直方向或旋转方向上时，减小所述规定距离。根据权利要求2所述的方法，其中当所述图像捕获装置的所述所确定的相对位置的改变指示所述图像捕获装置的运动超出经界定范围时，将所述规定距离减小到零。根据权利要求1所述的方法，其进一步包含分析所述所捕获的视频图像序列以确定所述场景中的物件移动，且其中所述若干对立体视频图像的所述选择进一步响应于所述所确定的物件移动。根据权利要求6所述的方法，其中通过使所述所捕获的视频图像序列中的对应物件的相对位置相关来确定所述场景中的所述物件移动。根据权利要求6所述的方法，其中所述若干对立体视频图像的所述选择包含：响应于所述图像捕获装置的所述所确定的相对位置而确定所述若干对立体视频图像的帧偏移；当确定所述物件移动超出经界定范围时，减小所述帧偏移；及使用所述经减小的帧偏移来选择若干对立体视频图像。根据权利要求8所述的方法，其中当物件移动量超出经界定范围时将所述帧偏移减小到零。根据权利要求1所述的方法，其中使用位置感测装置确定所述图像捕获装置的所述相对位置。根据权利要求10所述的方法，其中所述位置感测装置包含加速计或陀螺装置。根据权利要求10所述的方法，其中所述位置感测装置为全球定位系统装置。根据权利要求1所述的方法，其中通过分析所述所捕获的视频图像序列来确定所述图像捕获装置的所述相对位置。根据权利要求1所述的方法，其中通过形成适合于借助具有用于左眼及右眼的互补滤色器的眼镜观看的彩色立体图像来提供所述具有感知深度的视频。根据权利要求1所述的方法，其中通过存储每一视频帧的若干对立体图像来提供所述具有感知深度的视频。根据权利要求1所述的方法，其进一步包含在立体显示器上显示所述具有感知深度的视频。根据权利要求1所述的方法，其中所述若干对立体视频图像的所述选择进一步响应于指示所要程度的感知深度的用户输入。一种用于提供具有感知深度的视频的方法，其包括：借助单个透视图像捕获装置捕获场景的视频图像序列；针对所述视频图像序列确定所述图像捕获装置的相对位置；响应于所述图像捕获装置的所述所确定的相对位置而确定所述视频图像序列中的每一视频图像的帧偏移；将所述所捕获的视频图像序列存储于数字存储器中；将每一视频图像的所述帧偏移的指示存储于数字存储器中，使得可在稍后时间基于所述帧偏移形成若干对立体视频图像以提供具有感知深度的视频；使所述帧偏移的所述所存储的指示与所述所存储的视频图像序列相关联。根据权利要求18所述的方法，其中通过将元数据添加到用以存储所述视频图像序列的数字视频文件而使所述帧偏移的所述所存储的指示与所述所存储的视频图像序列相关联。根据权利要求18所述的方法，其中将每一视频图像的所述帧偏移的所述所存储的指示存储于数字元数据文件中，且其中使所述数字元数据文件与用以存储所述所捕获的视频图像序列的数字视频文件相关联。根据权利要求18所述的方法，其进一步包含：基于所述序列中的每一视频图像的所述帧偏移的所述所存储的指示形成若干对立体视频图像；及使用所述若干对立体视频图像提供具有感知深度的视频。根据权利要求18所述的方法，其中使元数据与所述所捕获的视频图像序列相关联，所述元数据指示在确定所述视频捕获装置的运动超出经界定范围时所述所捕获的序列的不适合于形成具有感知深度的视频的部分。一种用于提供具有感知深度的视频的方法，其包括：借助单个透视图像捕获装置捕获视频；确定在所述视频的所述捕获期间所述图像捕获装置的移动；确定在所述视频的所述捕获期间场景中的物件移动；及提供具有感知深度的视频，所述具有感知深度的视频由选自所述所捕获的视频的若干对立体视频图像构成，其中根据所述图像捕获装置的所述所确定的移动及所述所确定的物件移动来选择所述图像。根据权利要求23所述的方法，其中根据所述图像捕获装置的所述所确定的移动的速度及方向以及所述所确定的物件移动的速度及方向来选择所述立体对中的所述视频图像之间的帧偏移。根据权利要求23所述的方法，其中根据所述图像捕获装置的所述所确定的移动的方向是横向的、垂直的、旋转的还是其组合来选择所述立体对中的所述视频图像之间的帧偏移。根据权利要求23所述的方法，其中使用加速计或陀螺装置来确定所述图像捕获装置的所述移动。根据权利要求23所述的方法，其中根据与所述所捕获的视频的压缩版本相关联的MPEG向量来确定所述场景中的所述物件移动。根据权利要求23所述的方法，其中所述若干对立体视频图像的所述选择进一步根据指示所要程度的感知深度的用户输入。

说明书形成具有感知深度的视频
技术领域
本发明涉及一种用于从使用单个透视图像捕获装置所捕获的视频提供具有感知深度的视频的方法。
背景技术
场景的立体图像一般通过组合具有同一场景的不同透视的两个或两个以上图像来产生。通常，立体图像借助具有分离一距离以提供对场景的不同透视的两个(或两个以上)图像捕获装置的图像捕获装置来同时捕获。然而，此立体图像捕获方法需要具有两个(或两个以上)图像捕获装置的较复杂的图像捕获系统。
已提出用于产生立体视频的方法，其中使用单个图像捕获装置来捕获包括视频图像时间序列的视频，且然后修改所述视频以产生具有感知深度的视频。在颁予N.Cafarell，Jr.的标题为“准立体系统(Quasi‑stereoscopic systems)”的美国专利2,865,988中揭示一种方法，其中从借助单个透视图像捕获装置所捕获的视频提供具有感知深度的视频。具有感知深度的视频通过以下方式产生：将视频图像展示给观看者的左眼及右眼，其中展示给左眼的视频图像的定时与展示给右眼的视频图像的定时相差恒定帧偏移，使得一只眼比另一只眼在时间顺序上更早地接收到视频图像。由于相机的位置及场景内的物件的位置一般随时间而变化，因此观看者的大脑将所述时间感知差异解译为深度。然而，由于图像捕获装置及场景中的物件的运动量一般随时间而变化，因此对深度的感知通常不一致。
颁予Dasso的标题为“电子三维观看系统(Electronic three‑dimensional viewingsystem)”的美国专利5,701,154也从借助单个透视图像捕获装置所捕获的视频提供具有感知深度的视频。所述具有感知深度的视频通过以下方式来产生：在呈现给观看者的左眼与右眼的视频之间具有恒定帧偏移(例如，一个帧到五个帧)地将所述视频提供到观看者的左眼及右眼。在本专利中，呈现给左眼与右眼的视频图像还可为不同的，其中呈现给一只眼的视频图像与呈现给另一只眼的视频图像相比可为位置移位的、放大的或变亮的以进一步增强感知深度。然而，在恒定帧偏移的情况下，感知深度将由于在视频捕获期间存在的变化的运动而同样不一致。
在颁予Nattress的标题为“用于组合具有计算机产生的3D图的图像序列的系统(System for combining a sequence of images with computer‑generated 3D graphics)”的美国专利申请案公开案2005/0168485中，描述一种用于组合图像序列与计算机产生的三维动画的系统。此专利申请案的方法包含，当按顺序捕获每一图像时测量图像捕获装置的位置以使得更易于识别所述图像捕获装置的透视且借此使得更易于将所捕获的图像与动画中的计算机产生的图像组合。
在颁予Naske等人的标题为“用于2D/3D图像转换及最优化的方法及系统(Methodsand systems for 2D/3D image conversion and optimization)”的美国专利申请案公开案2008/0085049中揭示一种用于在捕获后将借助单个透视图像捕获装置所捕获的视频转换为具有感知深度的视频的方法。在此方法中，将顺序视频图像彼此进行比较以确定在场景中的运动方向及速率。产生与所捕获的视频相比具有帧偏移的第二视频，其中当在顺序视频图像彼此的比较中检测到迅速运动或垂直运动时减小帧偏移以避免人为失真。然而，相机及场景中的物件的运动量仍将随时间而变化，且因此对深度的感知仍将不一致且将随在视频的捕获期间存在的运动而变化。
在美国专利申请案公开案2009/0003654中，使用图像捕获装置的所测量位置来依据已借助不同位置中的图像捕获装置捕获的若干对图像确定范围映射图。
仍需要从借助单个透视图像捕获装置所捕获的视频提供具有感知深度的视频，其中所述具有感知深度的视频在图像捕获装置或场景中的物件存在不一致运动时具有改进的图像质量及改进的深度感知。
发明内容
本发明提供一种用于提供具有感知深度的视频的方法，其包括：
借助单个透视图像捕获装置捕获场景的视频图像序列；
针对所述视频图像序列中的所述视频图像中的每一者确定所述图像捕获装置的相对位置；
响应于所述图像捕获装置的所述所确定的相对位置而从所述视频图像序列中选择若干对立体视频图像；及
基于所述若干对选定立体视频图像形成具有感知深度的视频。
本发明具有以下优点：可使用借助单个透视图像捕获装置捕获的场景的视频图像提供具有感知深度的视频图像。具有感知深度的视频响应于图像捕获装置的相对位置而形成以提供较一致的感知深度感觉。
其具有又一优点：当检测到与产生具有感知深度的视频图像不一致的图像捕获装置的运动时可提供不具有感知深度的图像。
附图说明
参考以下图式更好地理解本发明的实施例。
图1是视频图像捕获装置的框图；
图2A是在视野中具有三个物件的视频图像捕获装置的图解说明；
图2B是借助来自图2A的视频图像捕获装置会捕获到的图像的图解说明；
图3A是图2A的视频图像捕获装置的图解说明，其中所述视野已通过横向地移位所述视频图像捕获装置而改变；
图3B是借助来自图3A的视频图像捕获装置会捕获到的图像的图解说明；
图4A是图2A的视频图像捕获装置的图解说明，其中所述视野已通过使所述视频图像捕获装置旋转而改变；
图4B是借助来自图4A的视频图像捕获装置会捕获到的图像的图解说明；
图5A是展示图像的立体不匹配的来自图2B与图3B的重叠图像的图解说明；
图5B是展示图像的立体不匹配的来自图2B与图4B的重叠图像的图解说明；
图6A是根据本发明的一项实施例用于形成具有感知深度的视频的方法的流程图；
图6B是根据本发明的又一实施例用于形成具有感知深度的视频的方法的流程图；
图7是具有内建运动追踪装置的可抽换式存储器卡的图解说明；
图8是具有内建运动追踪装置的可抽换式存储器卡的框图，所述可抽换式存储器卡包含在所述卡式可抽换式存储器卡内部形成具有感知深度的视频图像所需的组件；及
图9是经受MPEG编码的视频帧序列的示意图。
具体实施方式
产生具有感知深度的图像需要以观看者的左眼与右眼观看不同透视图像的方式来呈现具有不同透视的两个或两个以上图像。对于最简单的立体图像情形，以立体对的形式将具有不同透视的两个图像呈现给观看者，其中所述立体对由针对观看者的左眼的图像及针对观看者的右眼的图像组成。具有感知深度的视频由顺序地呈现给观看者的一系列立体对组成。
本发明提供一种用于从使用仅具有单个透视的视频图像捕获装置所捕获的视频产生具有感知深度的视频的方法。通常，所述单个透视由具有由一个透镜及一个图像传感器组成的一个电子图像捕获单元的视频图像捕获装置提供。然而，本发明相等地适用于具有一个以上电子图像捕获单元、一个以上透镜或一个以上图像传感器的视频图像捕获装置，限制条件为一次使用仅一个电子图像捕获单元或仅一个透镜及一个图像传感器来捕获视频。
参考图1，在特定实施例中，其展示视频图像捕获装置10的组件，其中所述组件布置于提供结构支撑及保护的主体中。可使所述主体变化以满足特定用途及风格考虑的要求。安装于视频图像捕获装置10的主体中的电子图像捕获单元14具有至少拍摄透镜16及与拍摄透镜16对准的图像传感器18。来自场景的光沿光学路径20传播通过拍摄透镜16且照在图像传感器18上，从而产生模拟电子图像。
所使用图像传感器的类型可变化，但在优选实施例中，图像传感器为固态图像传感器。举例来说，图像传感器可为电荷耦合装置(CCD)、CMOS传感器(CMOS)或电荷注入装置(CID)。一般来说，电子图像捕获单元14还将包含与图像传感器18相关联的其它组件。典型图像传感器18伴随有充当时钟驱动器(本文中还称作定时产生器)、模拟信号处理器(ASP)及模数转换器/放大器(A/D转换器)的单独组件。此些组件通常与图像传感器18一起合并到单个单元中。举例来说，使用允许将其它组件整合到同一半导体裸片上的工艺来制造CMOS图像传感器。
通常，电子图像捕获单元14捕获具有三个或三个以上色彩通道的图像。当前优选地，单个图像传感器18与滤色器阵列一起使用，然而，还可使用多个图像传感器及不同类型的滤波器。所属领域的技术人员众所周知适合的滤波器，且在一些情形中所述滤波器与图像传感器18合并以提供整体组件。
来自图像传感器18的每一像素的电信号与到达所述像素的光的强度及允许所述像素积累或整合来自入射光的信号的时间长度两者相关。此时间称作积分时间或曝光时间。
积分时间由可在打开状态与闭合状态之间切换的快门22控制。快门22可为机械的、机电的或可经提供作为电子图像捕获单元14的硬件及软件的逻辑功能。举例来说，一些类型的图像传感器18允许通过复位图像传感器18且然后一段时间之后读出图像传感器18来电子控制积分时间。当使用CCD图像传感器时，可通过移位在提供于非光敏区域中的光屏蔽的寄存器下所积累的电荷来提供对积分时间的电子控制。此光屏蔽的寄存器可用于所有像素(如在帧传送装置CCD中)或可呈像素行或列之间的行或列的形式(如在线间传送装置CCD中)。所属领域的技术人员众所周知适合的装置及程序。因此，定时产生器24可提供用以控制图像传感器18上的像素捕获图像的积分时间何时发生的方式。在图1的视频图像捕获装置10中，快门22与定时产生器24联合地确定积分时间。
总体光强度与积分时间的组合称作曝光。与图像传感器18的敏感性及噪音特性组合的曝光确定所捕获图像中所提供的信噪比。可通过光强度与积分时间的各种组合实现等效曝光。虽然所述曝光为等效的，但光强度与积分时间的特定曝光组合可优选地胜过用于基于场景的特性或相关联的信噪比捕获场景的图像的其它等效曝光。
虽然图1展示数个曝光控制元件，但一些实施例可不包含这些元件中的一者或一者以上，或可存在用于控制曝光的替代机构。视频图像捕获装置10可具有替代那些所图解说明的特征的特征。举例来说，所属领域的技术人员众所周知还用作光阑的快门。
在所图解说明的视频图像捕获装置10中，滤波器组合件26及光圈28修改图像传感器18处的光强度。每一者均可为可调整的。光圈28使用机械光阑或可调整光圈(未展示)阻挡光学路径20中的光来控制到达图像传感器18的光的强度。光圈的大小可为可不断地调整的、阶梯式的或以其它方式变化的。作为替代方案，可将光圈28移入到光学路径20中及从光学路径20移出。滤波器组合件26可同样地变化。举例来说，滤波器组合件26可包含一组不同中性密度滤波器，所述组不同中性密度滤波器可经旋转或以其它方式移入到所述光学路径中。所属领域的技术人员众所周知其它适合的滤波器组合件及光圈。
视频图像捕获装置10具有光学系统44，光学系统44包含拍摄透镜16且还可包含取景器组件(未展示)以帮助操作者合成将捕获的图像。光学系统44可采用许多不同形式。举例来说，拍摄透镜16可与光学取景器完全分离或可包含具有提供于内部显示器上方的目镜的数字取景器，在图像捕获之前及之后在所述内部显示器处不断地展示预览图像。其中，预览图像通常为不断地捕获的较低分辨率图像。取景器透镜单元与拍摄透镜16还可共享一个或一个以上组件。所属领域的技术人员众所周知这些及其它替代光学系统的细节。为了方便，下文中一般关于具有相机上数字取景器显示器76或图像显示器48的实施例论述光学系统44，相机上数字取景器显示器76或图像显示器48可用以如在借助图像捕获装置(例如数字视频摄像机)进行捕获之前通常所做的观看场景的预览图像以合成图像。
拍摄透镜16可为简单的，例如具有单一焦距且手动聚焦或具有固定焦点，但此并非优选。在图1中所展示的视频图像捕获装置10中，拍摄透镜16为电动变焦透镜，其中由变焦控制件50将一透镜元件或多个透镜元件相对于其它透镜元件进行驱动。此允许改变透镜的有效焦距。还可使用数字变焦(数字图像的数字放大)来代替光学变焦或与光学变焦组合。拍摄透镜16还可包含可通过微距控制件52插入光学路径或从光学路径移除以便提供微距(近聚焦)能力的透镜元件或透镜群组(未展示)
视频图像捕获装置10的拍摄透镜16还可为自动聚焦的。举例来说，自动聚焦系统可使用被动式或主动式自动聚焦或两者的组合来提供聚焦。参考图1，由聚焦控制件54驱动拍摄透镜16的一个或一个以上聚焦元件(未单独展示)以将来自场景中的特定距离的光聚焦到图像传感器18上。自动聚焦系统可通过借助不同透镜焦点设定捕获预览图像来操作或所述自动聚焦系统可具有测距仪56，测距仪56具有一个或一个以上感测元件，所述一个或一个以上感测元件将与从视频图像捕获装置10到所述场景的距离相关的信号发送到系统控制器66。系统控制器66对预览图像或来自所述测距仪的信号进行聚焦分析且然后操作聚焦控制件54以移动拍摄透镜16的一个或一个以上可聚焦透镜元件(未单独图解说明)。此项技术中众所周知自动聚焦方法。
视频图像捕获装置10包含用以测量场景的亮度的构件。可通过分析预览图像中的像素码值或通过使用亮度传感器58来进行亮度测量。在图1中，亮度传感器58展示为一个或一个以上单独组件。亮度传感器58还可经提供作为电子图像捕获单元14的硬件及软件的逻辑功能。亮度传感器58可用以提供在选择一个或一个以上图像传感器18的曝光设定中所使用的表示场景的光强度的一个或一个以上信号。作为选项，来自亮度传感器58的信号还可提供色彩平衡信息。在美国专利4,887,121中揭示可用以提供场景照明与色彩值中的一者或两者且与电子图像捕获单元14分离的适合亮度传感器58的实例。
曝光可由自动曝光控制件来确定。所述自动曝光控制件可实施于系统控制器66内且可选自此项技术中已知的自动曝光控制件，在美国专利5,335,041中揭示其实例。基于由亮度传感器58所提供的或由依据预览图像中的像素值的测量所提供的对将成像的场景的亮度测量，电子成像系统通常采用自动曝光控制处理来确定将产生具有有效亮度及良好信噪比的图像的有效曝光时间te。在本发明中，使用由所述自动曝光控制件所确定的曝光时间te来捕获预览图像，且然后可基于场景亮度及预期的运动模糊修改所述曝光时间以用于捕获存档图像捕获，其中所述存档图像为在基于本发明的方法界定了捕获条件(包含曝光时间)之后所捕获的最后图像。所属领域的技术人员应认识到，曝光时间越短，将存在于存档图像中的运动模糊越少且噪音越多。
图1的视频图像捕获装置10任选地包含闪光单元60，闪光单元60具有电子控制式闪光灯61(例如氙闪光管或LED)。一般来说，将仅当视频图像捕获装置10用以捕获静止图像时采用闪光单元60。可任选地提供闪光灯传感器62，闪光灯传感器62响应于在存档图像捕获期间从场景感测的或通过在存档图像捕获之前的预闪方式感测的光而输出信号。闪光灯传感器信号用于通过专用闪光灯控制件63控制闪光单元的输出或作为控制单元65的功能。或者，闪光输出可为固定的或基于其它信息(例如焦点距离)而变化。闪光灯传感器62及亮度传感器58的功能可组合于捕获单元及控制单元的单个组件或逻辑功能中。
图像传感器18接收由拍摄透镜16所提供的场景的图像且将所述图像转换为模拟电子图像。电子图像传感器18通过图像传感器驱动器来操作。图像传感器18可以包含各种方格化布置的多种捕获模式操作。方格化布置确定像素是否用以个别地收集光电产生的电荷，借此在捕获期间以全分辨率操作，或与邻近像素电连接在一起，借此在捕获期间以较低分辨率操作。方格化比描述在捕获期间电连接在一起的像素的数目。较高方格化比指示在捕获期间较多像素电连接在一起以对应地增加经方格化像素的敏感性且减少图像传感器的分辨率。典型方格化比包含(举例来说)2×、3×、6×及9×。以一方格化图案一起方格化的邻近像素的分布还可变化。通常，相似色彩的邻近像素一起方格化以使图像传感器所提供的色彩信息保持一致。本发明可相等地应用于具有其它类型的方格化图案的图像捕获装置。
控制单元65控制或调整曝光调节元件及其它相机组件、促进图像及其它信号的传送且执行与图像相关的处理。图1中所展示的控制单元65包含系统控制器66、定时产生器24、模拟信号处理器68、模数(A/D)转换器80、数字信号处理器70及各种存储器(DSP存储器72a、系统存储器72b、存储器卡72c(连同存储器卡接口83及插座82)及程序存储器72d)。所属领域的技术人员已知用于控制单元65的元件的适合组件。这些组件可如所列举地或由单个物理装置或由大量单独组件来提供。系统控制器66可呈经适当配置的微计算机(例如具有用于数据操控及一般程序执行的RAM的嵌入式微处理器)的形式。对控制单元65的修改为实用的，例如本文中别处所描述的那些修改。
定时产生器24供应用于呈定时关系的所有电子组件的控制信号。用于个别视频图像捕获装置10的校准值存储于校准存储器(未单独图解说明)(例如EEPROM)中且供应到系统控制器66。用户接口(在下文论述)的组件连接到控制单元65且通过使用对系统控制器66执行的软件程序的组合起作用。控制单元65还操作各种控制件及相关联的驱动器及存储器，包含变焦控制件50、聚焦控制件54、微距控制件52、显示器控制器64及用于快门22、光圈28、滤波器组合件26、取景器显示器76及状态显示器74的其它控制件(未展示)。
视频图像捕获装置10可包含用以提供补充所捕获图像信息或捕获前信息的信息的其它组件。此类补充信息组件的实例为图1中所图解说明的定向传感器78及位置传感器79。定向传感器78可用以感测视频图像捕获装置10是以风景模式还是肖像模式定向。位置传感器79可用以感测视频图像捕获装置10的位置。举例来说，位置传感器79可包含用于感测相机的位置的移动的一个或一个以上加速计。或者，位置传感器79可为从全球定位系统卫星接收信号以确定绝对地理位置的GPS接收器。用以提供补充信息的组件的其它实例包含实时时钟、惯性位置测量传感器及用于输入用户字幕或其它信息的数据输入装置(例如小键盘或触摸屏)。
应理解，可以所属领域的技术人员众所周知的多种方式修改所展示及描述的电路。还应理解，此处关于物理电路所描述的各种特征可替代地经提供作为固件或软件功能或者两者的组合。同样，本文中图解说明为单独单元的组件可以方便方式进行组合或共享。多个组件可提供于分散的位置中。
通过模拟信号处理器68及A/D转换器80将来自图像传感器18的初始电子图像放大且从模拟转换为数字而成为数字电子图像，然后在数字信号处理器70中使用DSP存储器72a处理所述数字电子图像且将其存储于系统存储器72b或可抽换式存储器卡72c中。图解说明为数据总线81的信号线电连接图像传感器18、系统控制器66、数字信号处理器70、图像显示器48及其它电子组件且为地址信号及数据信号提供路径。
“存储器”指提供于半导体存储器或磁性存储器或类似物中的一个或一个以上大小适合的物理存储器逻辑单元。DSP存储器72a、系统存储器72b、存储器卡72c及程序存储器72d可各自为任何类型的随机存取存储器。举例来说，存储器可为内部存储器(例如快闪EPROM存储器)或替代地为可抽换式存储器(例如小型快闪卡)或两者的组合。可提供可抽换式存储器卡72c用于存档图像存储。可抽换式存储器卡72c可为任何类型，例如插入到插座82中且经由存储器卡接口83连接到系统控制器66的小型快闪(CF)或安全数字(SD)型卡。所利用的其它类型的存储器件包含但不限于PC卡或多媒体卡(MMC)。
可由存储于用于图像存储的同一物理存储器中的软件来控制控制单元65、系统控制器66及数字信号处理器70，但优选地，由存储于专用程序存储器72d中(举例来说，在ROM固件存储器或EPROM固件存储器中)的固件来控制控制单元65、数字信号处理器70及系统控制器66。还可提供单独专用存储器单元来支持其它功能。于其上存储所捕获图像的存储器可固定于视频图像捕获装置10中或为可抽换式或两者的组合。所使用存储器类型及信息存储方式(例如光学的或磁性的或电子的)对本发明的功能并不关键。举例来说，可抽换式存储器可为软磁碟、CD、DVD、盒式磁带或快闪存储器卡或存储器棒。可抽换式存储器可用于传送来往于视频图像捕获装置10的呈数字形式的图像记录，或那些图像记录可作为电子信号(举例来说)经由接口电缆或无线连接传输。
数字信号处理器70为除系统控制器66之外的本实施例中的两个处理器或控制器中的一者。虽然在多个控制器及处理器当中对相机功能控制件的此种划分为典型的，但可以各种方式组合这些控制器或处理器而不影响相机的功能操作及本发明的应用。这些控制器或处理器可包括一个或一个以上数字信号处理器装置、微控制器、可编程逻辑装置或其它数字逻辑电路。虽然已描述此些控制器或处理器的组合，但应明了，一个控制器或处理器可执行所有所需功能。所有这些变化形式可执行相同功能。
在所述所图解说明的实施例中，控制单元65及数字信号处理器70根据永久性地存储于程序存储器72d中且拷贝到系统存储器72b以供在图像捕获期间执行的软件程序来操控DSP存储器72a中的数字图像数据。控制单元65及数字信号处理器70执行实行图像处理所需的软件。还可以与在其它图像捕获装置(例如数字相机)中相同的方式修改所述数字图像以增强数字图像。举例来说，可由数字信号处理器70处理所述数字图像以提供内插及边缘增强。对电子存档图像的数字处理可包含与文件传送相关的修改，例如JPEG压缩及文件格式化。元数据还可以所属领域的技术人员众所周知的方式具备数字图像数据。
系统控制器66基于存储于程序存储器72d中的软件程序控制图像捕获装置的总体操作，程序存储器72d可包含快闪EEPROM或其它非易失性存储器。此存储器还可用以存储校准数据、用户设定选择及当关断图像捕获装置时必须保留的其它数据。系统控制器66通过指示微距控制件52、闪光灯控制件63、聚焦控制件54、变焦控制件50及先前所描述的捕获单元组件的其它驱动器、指示用以操作图像传感器18及相关联元件的定时产生器24及指示用以处理所捕获图像数据的控制单元65及数字信号处理器70来控制图像捕获序列。在图像经捕获及处理之后，存储于系统存储器72b或DSP存储器72a中的最后图像文件经由主机接口84传送到主机，存储于可抽换式存储器卡72c或其它存储装置上且在图像显示器48上显示给用户。主机接口84提供到个人计算机或其它主机的高速连接以用于传送图像数据供显示、存储、操控或印刷。此接口可为IEEE1394或USB2.0串行接口或任何其它适合数字接口。在所述方法中，传送呈数字形式的图像可在物理媒体上进行或作为传输电子信号来进行。
在所图解说明的视频图像捕获装置10中，将经处理的图像拷贝到系统存储器72b中的显示器缓冲器且经由视频编码器86不断读出以产生用于预览图像的视频信号。此信号经显示器控制器64或数字信号处理器70处理且作为预览图像呈现于相机上图像显示器48上或可从视频图像捕获装置10直接输出以供在外部监视器上显示。如果视频图像捕获装置10用于视频捕获，则所述视频图像为存档图像，且如果所述视频图像用作用于静止存档图像捕获前的取景或图像合成的预览图像，则所述视频图像为非存档图像。
视频图像捕获装置10具有用户接口，所述用户接口提供到操作者的输出且接收操作者输入。所述用户接口包含一个或一个以上用户输入控制件93及图像显示器48。用户输入控制件93可以按钮、摇杆式开关、操纵杆、旋转式拨号盘、触摸屏及类似物的组合的形式提供。用户输入控制件93可包含图像捕获按钮、控制透镜单元的变焦的“推摄/拉摄”控制件及其它用户控制件。
所述用户接口可包含用以将相机信息(例如，曝光水平、剩余曝光、电池状态、闪光状态及类似物)呈现给操作者的一个或一个以上显示器或指示器。图像显示器48还可替代地或额外地用以显示非图像信息，例如相机设定。举例来说，可提供图形用户接口(GUI)，包含提供选项选择的菜单及用于检查所捕获图像的评论模式。图像显示器48及数字取景器显示器76两者可提供相同功能且可消除一者或另一者。视频图像捕获装置10可包含扬声器，所述扬声器用于提供与视频捕获相关联的音频信息且可提供代替描绘于状态显示器74、图像显示器48或两者上的视觉警告或除描绘于状态显示器74、图像显示器48或两者上的视觉警告之外的音频警告。所述用户接口的组件连接到控制单元且通过使用对系统控制器66执行的软件程序的组合来起作用。
电子图像最终传输到由显示器控制器64操作的图像显示器48。可使用不同类型的图像显示器48。举例来说，图像显示器48可为液晶显示器(LCD)、阴极射线管显示器或有机电致发光显示器(OLED)。图像显示器48优选地安装于相机主体上以便摄影师可容易观看。
作为在图像显示器48上展示图像的一部分，视频图像捕获装置10可修改所述图像以针对特定显示器校准。举例来说，可提供变换，所述变换修改每一图像以适应关于图像显示器48及图像传感器18及电子图像捕获单元14的其它组件的灰阶、色域及白色点的不同能力。优选地，图像显示器48经选择以便准许展示整个图像；然而可使用更多有限显示器。在后一种情形中，图像显示包含切除图像的一部分或对比度水平或者图像中的信息的某一其它部分的校准步骤。
还应理解，本文中所描述的视频图像捕获装置10并不限于特定特征组，权利要求书所界定的除外。举例来说，视频图像捕获装置10可为可包含本文中未详细论述的各种各样的特征中的任一者(例如可拆除及可更换透镜)的专用视频摄像机或可为能够捕获视频序列的数码相机。视频图像捕获装置10还可为便携式或位置固定的，且可提供与成像相关或无关的一个或一个以上其它功能。举例来说，视频图像捕获装置10可为蜂窝式电话相机或可以某一其它方式提供通信功能。同样，视频图像捕获装置10可包含计算机硬件及计算机化设备。视频图像捕获装置10还可包含多个电子图像捕获单元14。
图2A展示视频图像捕获装置210及其相关联视野215的图解说明，其中三个物件(棱锥物件220、球物件230及矩形块物件240)位于视野215中。所述物件位于距所述图像捕获装置的不同距离处。图2B展示由来自图2A的视频图像捕获装置210所捕获的视野215的所捕获图像帧250的图解说明。棱锥物件位置260、球物件位置270及矩形物件位置280分别指示图2A中所见视野215中的棱锥物件220、球物件230及矩形块物件240的位置。
图3A及4A展示在捕获之间视野215如何随着视频图像捕获装置210移动而改变。图3B展示对应于在捕获之间视野针对视频图像捕获装置210的横向移动d的改变的所捕获图像帧350的图解说明。在此情形中，视野215改变为视野315，从而形成所捕获图像帧350内的新物件位置(棱锥物件位置360、球物件位置370及矩形块物件位置380)。
尽管所述物件(棱锥物件220、球物件230及矩形块物件240)的相对位置全部在视野内横向移位相同距离，但由于视野具有场景中的角度边界，因此所捕获图像中的物件的位置的改变受所述物件距视频图像捕获装置210的距离影响。因此，将图2B与图3B进行比较展示所捕获图像中的物件的位置如何针对所述图像捕获装置的横向移动而改变。
为更清楚地视觉化所述物件位置的改变(称作不均等性)，图5A展示来自图2B的所捕获图像帧250与来自图3B的所捕获图像帧350的图像重叠550。棱锥物件220具有大棱锥物件不均等性555，因为其距视频图像捕获装置210最近。矩形块物件240具有小矩形块物件不均等性565，因为其距视频图像捕获装置210最远。球物件230具有中间球物件不均等性560，因为其具有距视频图像捕获装置210的中间距离。
图4A展示对应于在捕获之间视野针对视频图像捕获装置210的旋转移动r的改变的所捕获图像帧450的图解说明。对于视频图像捕获装置210的此旋转移动，视野215改变为视野415。在此情形中，所述物件全部移动相同角度量，此在所述所捕获图像帧中表现为所有所述物件跨越所述图像的横向移动。将图2B与图4B进行比较展示所述物件移位为棱锥物件位置460、球物件位置470及矩形块物件位置480。
为更清楚地视觉化所述物件位置的改变，图5B展示来自图2B的所捕获图像帧250与来自图4B的所捕获图像帧450的图像重叠580。在此情形中，棱锥物件220具有棱锥物件不均等性585、矩形块物件240具有矩形块物件不均等性595，且球物件230具有球物件不均等性590，所述不均等性在量值上全部约相等。
所属领域的技术人员众所周知将具有不同透视的图像呈现给观看者的左眼与右眼会形成对深度的感知。有多种可利用的且为此项技术中所众所周知的将立体图像对同时或以交替方式呈现给观看者的方法，其包含：基于极化的显示、柱镜显示、屏障显示、基于快门式眼镜的显示、彩色立体显示及其它方法。可在这些类型的立体显示器中的任一者上显示根据本发明形成的具有感知深度的视频。在一些实施例中，视频图像捕获装置可包含用于直接在所述视频图像捕获装置上观看具有感知深度的视频的构件。举例来说，柱镜阵列可安置于图像显示器48(图1)上方以使得能够直接观看具有感知深度的视频。如此项技术中所众所周知，然后可将立体图像对中的左图像列与右图像列在柱镜阵列后交错且显示，使得通过所述柱镜阵列将左立体图像与右立体图像朝向观看者的相应左眼与右眼引导以提供立体图像观看。在替代实施例中，可将立体图像对编码为供直接在图像显示器48上显示的彩色立体图像。在此情形中，用户可使用针对每只眼具有互补滤色器的彩色立体眼镜直接观看具有感知深度的视频。
本发明提供一种用于通过从借助单个透视视频图像捕获装置210所捕获的视频序列中选择立体对来产生由立体对组成的具有感知深度的视频的方法。所述方法的特征为从所捕获的视频序列中选择每一立体对中的视频图像，使得每一立体对中的视频图像分离所述所捕获视频序列中的视频图像的数目，使得所述立体对提供所要透视差以提供感知深度。将立体对中的视频图像分离的视频图像的数目称作帧偏移。
当根据本发明选择立体对的视频图像时，考虑图像捕获装置的移动以确定适当帧偏移以提供立体对中的将提供所要感知深度的视频图像之间的透视的改变。视频捕获期间的视频图像捕获装置210的横向移动(例如图3A中所展示)将提供对深度的感知，所述对深度的感知随横向移动d或立体对中的视频图像之间的基线增加不断增加的帧偏移而增加。在此情景中，对视野中不同物件的感知深度将与所述物件距视频图像捕获装置210的实际距离一致，因为距图像捕获装置越近的物件将比距视频图像捕获装置210较远的物件展现更多不均等性。(不均等性有时称作立体不匹配或视差。)在图5A中图解说明随视频图像之间的横向移动的距离的此不均等性变化。
相比来说，视频捕获期间的图像捕获装置的旋转移动(例如图4A中所展示)将提供与物件距所述图像捕获装置的实际距离不一致的感知深度，因为图像捕获装置的纯粹旋转移动不提供新场景透视。而是，其仅提供不同视野。因此，距视频图像捕获装置210较近的物件将展现与距视频图像捕获装置210较远的物件相同的立体对不均等性。在展示分别来自图2B及4B的所捕获图像帧250与450的图像重叠580的图5B中可看到此效应。如前文所提及，针对图像捕获装置的此旋转移动不同物件的不均等性相同。由于场景中的所有物件具有相同不均等性，因此由具有其中旋转移动图像捕获装置的帧偏移的视频图像组成的立体对将不展现感知深度。
视频图像捕获之间的图像捕获装置的垂直移动不产生将提供对深度的感知的立体对的不均等性。此效应由于观看者的眼镜为水平分离的事实所致。包含垂直不均等性的立体图像对看起来不舒服且因此应避免。
在一些实施例中，当从借助具有单个透视的视频图像捕获装置捕获的视频产生具有感知深度的视频时，还考虑场景中的物件的局部运动，因为立体对中的不同视频图像将会在不同时间捕获。在一些情形中，局部运动可与图像捕获装置的移动类似地提供对场景中的物件的不同透视，使得由在存在局部运动的情况下的视频图像组成的立体对可提供对深度的感知。对于横向发生的局部运动尤其如此。
本发明提供一种用于在所捕获的单个透视视频中选择视频图像以形成用于具有感知深度的视频的若干对立体视频图像的方法。所述方法包含收集在单个透视视频捕获期间的图像捕获装置的运动追踪信息以确定图像捕获装置针对每一视频图像的相对位置连同对捕获后的视频图像的分析以识别视频图像之间的运动。通过使用所述图像捕获装置的运动追踪信息及对捕获后的视频图像的分析，可识别包含以下各项的多种运动类型：横向运动、垂直运动、旋转运动、局部运动及其组合。还可确定运动速度。本发明使用经识别的运动类型及运动速度来选择构成具有透视深度的视频的立体对中的视频图像之间的帧偏移。
对于视频捕获期间的视频图像捕获装置210的恒定横向移动速度的最简单情形，在选择立体对的视频图像中可使用恒定帧偏移。举例来说，为在经选择以用于立体对的视频帧之间提供20mm基线，可识别视频图像捕获装置210已移动20mm的距离的情况下的视频帧(基线为针对立体对的相机位置之间的水平偏移)。在借助以100mm/秒的横向速度移动的图像捕获装置以30个帧/秒捕获的视频中，为提供约20mm基线，帧偏移应为6个帧。对于在视频捕获期间视频图像捕获装置210的横向移动速度变化的情况，帧偏移响应于移动速度的变化而变化以提供恒定的立体对基线。举例来说，如果移动速度减慢到50mm/秒，则帧偏移增加到12个帧，且相反地，如果移动速度增加到200mm/秒，则帧偏移减小到3个帧。在一些实施例中，可将基线设定为对应于人类观看者的双眼之间的正常距离以提供自然样子的立体图像。在其它实施例中，可由用户选择基线值以提供所要程度的感知深度，其中较大基线值将提供较大感知深度且较小基线值将提供较少感知深度。
对于视频图像捕获装置210的纯粹垂直移动的情形，通常应在选择立体对的视频图像中使用小帧偏移(或根本无帧偏移)，因为垂直不均等性将不会被感知为深度，且所产生的具有垂直不均等性的立体对观看起来不舒服。在此情形中，所述帧偏移可为(举例来说)零个帧到两个帧，其中帧偏移为零指示将同一视频图像用于所述立体对中的两个视频图像，且所述立体对不将任何感知深度提供到观看者，但观看起来更舒服。
在视频图像捕获装置210的纯粹旋转移动的情形中，出于由于旋转不均等性将不会被感知为深度而与垂直移动情形类似的原因通常应使用小帧偏移。在此情形中，帧偏移可为(举例来说)零个到两个帧。
当存在局部运动时，可基于由对图像捕获装置的运动追踪所确定的总体运动(全局运动)、单独的局部运动或总体运动与局部运动的组合来选择帧偏移。在任一情形中，当局部运动的横向速度增加时，如先前针对恒定的移动横向速度的情形所描述地减少帧偏移。类似地，如果局部运动主要由垂直运动或旋转运动构成，则也减少帧偏移。
本发明使用视频图像捕获装置210的移动的运动追踪信息来识别视频图像之间的横向移动及垂直移动。在一些实施例中，运动追踪信息使用位置传感器与视频一起捕获。举例来说，可借助加速计收集此运动追踪信息，其中提供关于加速度的数据，且通过随时间积分来将所述数据转换为速度及位置。在其它实施例中，可通过分析所捕获的视频帧以估计视频图像捕获装置210的运动来确定运动追踪信息。
可依据使用陀螺仪所收集的运动追踪信息或替代地通过分析视频图像来确定视频捕获期间图像捕获装置的旋转移动。陀螺仪可提供直接与角速度有关的图像捕获装置的旋转速度信息。在分析视频图像以确定图像捕获装置的旋转移动的情形中，将顺序视频图像彼此进行比较以确定所述视频图像中的物件的相对位置。通过依据帧速率用视频图像捕获之间的时间因式分解物件位置的改变，将视频图像中的物件的相对位置转换为以像素/秒为单位的图像移动速度。视频图像中的不同物件的一致的图像移动速度为旋转移动的标志。
还可使用通过将顺序视频图像中的物件位置进行比较的对视频图像的分析来确定视频图像捕获装置210的局部运动及横向或垂直移动。在这些情形中，视频图像之间的物件的移动为不一致的。对于物件的局部运动(例如人们移动穿过场景)的情形，物件将在不同方向上且以不同图像移动速度移动。对于视频图像捕获装置210的横向移动或垂直移动的情形，物件将在相同方向上且以取决于所述物件距视频图像捕获装置210多远而不同的图像移动速度移动。
表1是依据运动追踪信息及对视频图像的分析连同本发明的实施例所提供的用以确定立体对的帧偏移的所得技术的组合的经识别运动类型的概要。如依据表1中的信息可见，运动追踪信息及对视频图像的分析两者对能够区分在可存在于视频捕获期间或可存在于场景中的不同移动及运动类型是有用的。
在一些实施例中，视频图像捕获装置210可不包含位置传感器(例如加速计)。在此情形中，图像分析仍可提供有助于选择帧偏移的信息，但可能在一些情形中不能够区别不同相机运动类型。一般来说，当针对其中相机运动类型存在显著不确定性的情形时使用较小的帧偏移以避免用户的不舒服的观看情景将为优选的。
表1：经识别的运动及所得立体对之间的帧偏移


图6A是根据本发明的一项实施例用于形成具有感知深度的视频的方法的流程图。在选择基线步骤610中，由用户选择将提供立体对中的所要程度的深度感知的基线615。基线615呈立体对中的视频图像之间的横向偏移距离的形式或者呈立体对中的视频图像中的物件之间的像素偏移的形式。
在捕获视频步骤620中，借助单个透视视频图像捕获装置捕获视频图像序列640。在优选实施例中，还以与视频图像640一起的同步化形式使用位置传感器捕获运动追踪信息625。
在分析运动追踪信息步骤630中，分析运动追踪信息625以表征在视频捕获过程期间的相机运动635。在一些实施例中，相机运动635为视频图像捕获装置的移动类型及速度的表示。
在分析视频图像步骤645中，分析视频图像640且将其彼此进行比较以表征场景中的图像运动650。图像运动650为图像移动类型及图像移动速度的表示，且可包含全局图像运动及局部图像运动两者。
可通过在逐像素的基础上或在逐块的基础上使视频图像中的对应物件的相对位置相关来进行对视频图像的比较。其中逐像素相关虽然提供更加准确的图像移动速度但慢且需要较高的计算能力，而逐块相关虽然提供不甚准确的移动速度测量，但需要较少计算能力且较快。
还可通过利用与MPEG视频编码方案相关联的计算来进行比较视频图像以确定移动类型及图像移动速度的非常有效的方法。MPEG为用于编码经压缩视频数据的普及标准且依赖于I帧、P帧及B帧的使用。I帧为内编码的，即其可在不参考任何其它帧的情况下重新建构。P帧为依据最后一个I帧或P帧向前预测的，即不可能在无另一帧(I或P)的数据的情况下将其重新建构。B帧为依据最后一个/下一个I帧或P帧既向前预测又向后预测的，即对其进行重新建构需要两个其它帧。P帧与B帧还称作经帧间编码的帧。
图9展示经MPEG编码的帧序列的实例。P帧与B帧具有与其相关联的块运动向量，此允许MPEG编码器使用I帧作为开始点重新建构所述帧。在MPEG‑1及MPEG‑2中，这些块运动向量为对16×16个像素块(称作宏块)进行计算，且表示为水平运动分量及垂直运动分量。如果宏块内的运动为矛盾的，则P帧与B帧还可内部编码实际场景内容来替代所述块运动向量。在MPEG‑4中，宏块可具有变化的大小而不限于16×16个像素。
在优选实施例中，与MPEG P帧及B帧相关联的块运动向量可用以确定视频序列中的全局图像运动及局部图像运动两者。全局图像运动将通常与视频图像捕获装置210的运动相关联。可从MPEG运动向量减去依据P帧及B帧中的任一者所确定的(或替代地依据运动追踪信息625所确定的)与视频图像捕获装置210相关联的全局图像运动以提供对局部图像运动的估计。
接下来，使用确定帧偏移步骤655来确定用以响应于所确定的相机运动635及图像运动650而形成的立体图像对的帧偏移660连同基线615。在优选实施例中，将相机运动635及图像运动650的移动类型及移动速度与表1一起使用以确定用于所捕获视频中的每一视频图像的帧偏移。举例来说，如果来自位置传感器的运动(相机运动635)经确定为对应于横向运动且来自图像分析的运动(图像运动650)经确定为一致横向运动，则可得出结论：相机运动类型为横向的且可基于来自所述位置传感器的所感测位置确定帧偏移。
在一些实施例中，通过识别相机的横向位置已移位基线615的情况下的帧来确定帧偏移ΔNf。在其它实施例中，确定特定帧的横向速度Vx，且对应地确定帧偏移。在此情形中，可通过以下方程式依据基线Δxb确定欲予以选择的帧之间的时间差Δt：
Δt＝Δxb/Vx    (1)
然后可使用以下方程式依据帧速率Rf确定帧偏移ΔNf：
ΔNf＝RfΔt＝RfΔxb/Vx    (2)
接下来，使用形成具有感知深度的视频的步骤665形成具有感知深度的视频670。具有感知深度的视频670包含立体视频帧序列，每一立体视频帧由立体图像对组成。可然后通过将第i个视频帧F(i)与通过帧偏移F(i+ΔNf)分离的视频帧配对来形成第i个立体视频帧S(i)的立体图像对。优选地，如果相机移动到右侧，则所述第i个帧应用作所述立体对中的左侧图像；如果相机移动到左侧，则所述第i个帧应用作所述立体对中的右侧图像。然后可使用所属领域的技术人员所已知的任何方法将具有感知深度的视频670存储于立体数字视频文件中。用户可使用例如早先所评论的那些立体图像显示技术的此项技术中所已知的任何立体图像显示技术(例如，与具有用于左眼及右眼的正交极化滤波器的眼镜耦合的基于极化的显示；柱镜显示；屏障显示、基于快门式眼镜的显示及与具有用于左眼及右眼的互补滤色器的眼镜耦合的彩色立体显示)来观看所存储的具有感知深度的视频670。
在图6B中展示本发明的替代实施例。在此情形中，使用与关于图6A所描述的步骤相同的步骤来确定帧偏移660。然而，在此情形中，不形成及存储具有感知深度的视频670，而是使用存储具有立体元数据对的视频的步骤675来存储可在稍后时间用以形成具有感知深度的视频的信息。此步骤存储所捕获的视频图像640连同指示应将哪些视频帧用于立体对的元数据，从而形成具有立体元数据对的视频680。在一些实施例中，与视频一起存储的立体元数据对仅为所确定的用于每一视频帧的帧偏移。可将特定视频帧的帧偏移存储为与所述视频帧相关联的元数据标签。或者，可将帧偏移元数据存储于与所述视频文件相关联的单独元数据文件中。当期望显示具有感知深度的视频时，可使用帧偏移元数据来识别应用以形成立体图像对的配对视频帧。在替代实施例中，立体元数据对可为帧数目或其它适当的帧识别符而非帧偏移。
图6B中所展示的方法相对于图6A实施例具有其减小视频文件的文件大小的优点，同时保持提供具有感知深度的3D视频的能力。还可在常规2D视频显示器上观看所述视频文件而无需执行任何格式转换。由于帧偏移的文件大小相对较小，因此帧偏移数据可与所捕获视频的元数据一起存储。
通常，使用位置传感器79(图1)来提供运动追踪信息625(图6A)。在本发明的一些实施例中，可由包含一个或一个以上加速计或陀螺仪连同立体转换软件以将位置信息或运动追踪信息提供到视频图像捕获装置210的可抽换式存储器卡提供位置传感器79。此方法使得可作为任选附件地来提供位置传感器以保持视频图像捕获装置210的基本成本尽量低，同时仍使视频图像捕获装置210能够用于如本发明的先前实施例中所描述地产生具有感知深度的视频。可将所述可抽换式存储器卡用作替换图1中的存储器卡72c。在一些实施例中，所述可抽换式存储器卡仅用作位置传感器且将位置数据或某一其它形式的运动追踪信息提供到视频图像捕获装置210中的处理器。在其它配置中，所述可抽换式存储器卡还可包含用于形成具有感知深度的视频的处理器连同适合软件。
图7是具有内建运动追踪装置的可抽换式存储器卡710的图解说明。可从ST Micro购得适合用于此用途的呈大小为3.0×5.0×0.9mm的3轴式加速计及大小为4.4×7.5×1.1mm的3轴式陀螺仪的形式的运动追踪装置。图7展示SD可抽换式存储器卡710及上述3轴式陀螺仪720及3轴式加速计730的相对大小。
图8展示具有内建运动追踪装置的可抽换式存储器卡710的框图，可抽换式存储器卡710包含在所述卡式可抽换式存储器卡内部形成具有感知深度的视频图像所需的组件。如上文参考图7所描述，可抽换式存储器卡710包含捕获运动追踪信息625的陀螺仪720及加速计730。一个或一个以上模数(A/D)转换器850用以将来自陀螺仪720及加速计730的信号数字化。可任选地将运动追踪信息625直接发送到视频图像捕获装置210的处理器，以供用于形成具有感知深度的视频图像或其它应用。由视频图像捕获装置210所捕获的视频图像640以与运动追踪信息625同步的方式存储于存储器860中。
用于对用以通过图6A或图6B中的流程图的步骤形成具有感知深度的视频670的所捕获视频图像640实施转换的立体转换软件830还可存储于存储器860中或存储于例如ASIC的某一其它形式的存储器件中。在一些实施例中，可在可抽换式存储器卡710与视频图像捕获装置上的其它存储器之间共享存储器860的部分。在一些实施例中，立体转换软件830接受用户输入870以在用于产生具有感知深度的视频的各种模式之间进行选择且用于规定各种选项，例如基线615。一般来说，可通过图1中所展示的视频图像捕获装置10的用户输入控制件93来供应用户输入870。立体转换软件830使用处理器840处理所存储的视频图像640及运动追踪信息625以产生具有感知深度的视频670。处理器840可在可抽换式存储器卡710内部，或替代地可为在视频图像捕获装置内部的处理器。具有感知深度的视频670可存储于存储器860中，或可存储于视频图像捕获装置上或主机上的某一其它存储器中。
在一些实施例中，位置传感器79可经提供作为使用有线连接或无线连接与视频图像捕获装置210通信的外部位置感测附件。举例来说，外部位置感测附件可为含有可使用USB或蓝牙连接连接到视频图像捕获装置210的全球定位系统接收器的软件保护器。外部位置感测附件可包含用于处理所接收信号且用于与视频图像捕获装置210通信的软件。外部位置感测附件还可包含用于对用以通过图6A或6B中的流程图的步骤形成具有感知深度的视频670的所捕获视频图像640实施转换的立体转换软件830。
在一些实施例中，在形成具有感知深度的视频的步骤665中可使用图像处理来调整立体图像对中的视频帧中的一者或两者以提供改进的观看体验。举例来说，如果检测到在捕获两个视频帧的时间之间视频图像捕获装置210经垂直地移动或倾斜，则可垂直地或旋转地移位所述视频帧中的一者或两者以更好地使所述视频帧对准。运动追踪信息625可用以确定适当的移位或旋转量。在其中将移位或旋转应用于视频帧的情形中，一般来说将期望裁切所述视频帧使得经移位/旋转的图像填充所述帧。
部件列表
10    视频图像捕获装置
14    电子图像捕获单元
16    透镜
18    图像传感器
20    光学路径
22    快门
24    定时产生器
26    滤波器组合件
28    光圈
44    光学系统
48    图像显示器
50    变焦控制件
52    微距控制件
54    聚焦控制件
56    测距仪
58    亮度传感器
60    闪光灯系统
61    闪光灯
62    闪光灯传感器
63    闪光灯控制件
64    显示器控制器
65    控制单元
66    系统控制器
68    模拟信号处理器
70    数字信号处理器
72a   数字信号处理器(DSP)存储器
72b   系统存储器
72c   存储器卡
72d   程序存储器
74    状态显示器
76    取景器显示器
78    定向传感器
79    位置传感器
80    模数(A/D)转换器
81    数据总线
82    插座
83    存储器卡接口
84    主机接口
86    视频编码器
93    用户输入控制件
210   视频图像捕获装置
215   视野
220   棱锥物件
230   球物件
240   矩形块物件
250   所捕获图像帧
260   棱锥物件位置
270   球物件位置
280   矩形块物件位置
315   视野
350   所捕获图像帧
360   棱锥物件位置
370   球物件位置
380   矩形块物件位置
415   视野
450   所捕获图像帧
460   棱锥物件位置
470   球物件位置
480   矩形块物件位置
550   图像重叠
555   棱锥物件不均等性
560   球物件不均等性
565   矩形块物件不均等性
580   图像重叠
585   棱锥物件不均等性
590   球物件不均等性
595   矩形块物件不均等性
610   选择基线步骤
615   基线
620   捕获视频步骤
625   运动追踪信息
630   分析运动追踪信息步骤
635   相机运动步骤
640   视频图像
645   分析视频图像步骤
650   图像运动
655   确定帧偏移步骤
660   帧偏移
665   形成具有感知深度的视频的步骤
670   具有感知深度的视频
675   存储具有立体元数据对的视频的步骤
680   具有立体元数据对的视频
710   可抽换式存储器卡
720   陀螺仪
730   加速计
830   立体转换软件
840   处理器
850   模数(A/D)转换器
860   存储器
870   用户输入