图像再现设备和图像再现方法 技术领域 本发明涉及图像再现设备和图像再现方法， 更具体地， 涉及在保持适当的立体效 果的同时能够执行立体图像的数字变焦的图像再现设备和图像再现方法。
背景技术 已知具有这样的显示设备， 其使得观察者的右眼和左眼同时观看其间具有视差的 两个图像， 从而使得观察者立体地观看图像。 在这种显示设备中， 在通过数字变焦放大右图 像和左图像的情况下， 右图像和左图像的显示平面上的视差量相应地被放大。
例如， 假定如图 1 的部分 (a) 所示， 其间具有视差 da 的右图像 101R 和左图像 101L 在立体显示平面上立体地显示。在此情况中， 如图 2A 所示， 观察者的右眼 110R 观看右图像 101R， 而观察者的左眼 110L 观看左图像 101L， 由此立体地识别立体图像 100a。
在此， 如图 1 的部分 (b) 所示， 当执行数字变焦使得与图 1 的部分 (a) 中的区域 103 相对应的部分被放大时， 分别将右图像 101R 和左图像 1011 放大地显示为图像 102R 和 102L， 并且视差 da 也被放大为视差 db。结果， 如图 2B 所示， 立体地识别立体图像 100b。
然而， 如果视差 db 的视差量不恰当， 则立体图像 100b 的立体效果会变得不自然。 另外， 如果其视差量过大， 则在某些情况下不能立体地观看立体图像 100b。
作为解决这种问题的方法， 日本专利第 3653790 号公开了一种设备， 其在变焦操 作之前根据视差量和变焦放大率改变右图像和左图像的剪裁 (cut-out) 位置以调整视差 量， 使得立体图像的显示平面上的视差量在数字变焦之后不超过该立体图像的观察者的融 合限度 (fusional limit)。
例如， 在图 3 的部分 (a) 到部分 (d) 所示的示例中， 确定右图像和左图像各自的剪 裁区域 104R 和 104L， 使得右图像 101R 和左图像 101L 之间的视差为零。此外， 通过对剪裁 区域 104R 和 104L 进行数字变焦得到的右图像 105R 和左图像 105L 被立体地显示， 从而获 得立体图像 100c。 在此方式中， 当在原始图像上具有视差的被摄对象被数字变焦时， 为了防 止立体图像关于显示屏幕的平面过分地突出， 则调整剪裁位置使得该被摄对象的水平视差 为零。在上述示例中， 对于如图 3A 和图 3B 所示的单一被摄对象的情况给出了说明。在有 多个被摄对象的情况中， 则调整剪裁位置， 使得用户所选择的被摄对象的水平视差为零。
发明内容 然而， 通过使用在日本专利第 3653790 号中公开的设备， 在一些依赖于被摄对象 的变焦放大率或视差量的情况中， 可能不能够实现期望的视差量。
例如， 在图 4 的部分 (a) 到 (d) 所示的示例中， 当使得右图像 101R 与左图像 101L 之间的视差为零时， 剪裁区域 106R 和 106L 的部分则在图像范围之外。在此情况中， 需要执 行特殊处理， 例如避免对图像以外进行参考的处理， 但是日本专利第 3653790 号没有考虑 到这种方法。因此， 通过立体地显示因此获得的右图像 107R 和左图像 107L 所得到的立体 图像 100d 不能具有适当的立体效果， 并且在一些情况中不能被立体地观看。
考虑到上述情况而做出本发明， 并因此本发明的一个目的在于提供在保持适当的 立体效果的同时能够执行立体图像的数字变焦的图像再现设备和图像再现方法。
为了实现上述目的， 根据本发明的第一方面的图像再现设备包括 ： 图像输入装置， 该图像输入装置接收其间具有视差的右图像和左图像 ； 显示装置， 该显示装置立体地显示 右图像和左图像 ； 视差调整量输入装置， 该视差调整量输入装置接收用于调整右图像和左 图像之间的视差的视差调整量 ； 移位量计算装置， 该移位量计算装置基于所述视差调整量 计算右图像和左图像中的每一个在水平方向上的移位量 ； 显示范围计算装置， 该显示范围 计算装置基于所述移位量计算右图像和左图像中的每一个在水平方向上的显示范围 ； 图像 剪裁装置， 该图像剪裁装置基于由所述显示范围计算装置计算的结果来对右图像和左图像 在水平方向上进行修整， 并且显示该修整后的图像 ； 数字变焦信息输入装置， 该数字变焦信 息输入装置接收在所述显示装置上立体显示的右图像和左图像的数字变焦信息 ； 数字变焦 装置， 该数字变焦装置基于所述数字变焦信息从右图像和左图像的每一个中剪裁出预定的 图像区域， 并且放大该剪裁出的预定的图像区域 ； 以及视差调整量修改装置， 该视差调整量 修改装置基于所述数字变焦信息对所述视差调整量进行修改。
在根据第一方面的图像再现设备中， 基于所述数字变焦信息对所述视差调整量进 行修改， 基于该修改的视差调整量计算右图像和左图像中的每一个在水平方向上的移位量 和显示范围， 并且在水平方向上对要被显示的右图像和左图像进行修整。 从而， 能够在总保 持适当视差的同时立体地显示图像， 而与数字变焦放大率无关。 根据本发明的第二方面， 在根据第一方面的图像再现设备中， 当视差调整量输入 到视差调整量输入装置时， 显示装置立体地显示基于输入的视差调整量而修整后的右图像 和左图像， 而当数字变焦信息输入到数字变焦信息输入装置时， 视差调整量输入装置输入 基于输入的数字变焦信息而修改的视差调整量， 并且显示装置立体地显示基于输入的视差 调整量计算出的显示范围的右图像和左图像。
根据本发明的第三方面， 在根据第一方面或第二方面的图像再现设备中， 数字变 焦装置从右图像和左图像的每一个中剪裁出一个同样的图像区域， 并放大该剪裁出的同样 的图像区域。
这使得能够防止剪裁区域在图像之外的问题， 并且能够适当地剪裁并放大图像。
根据本发明的第四方面， 在根据第三方面的图像再现设备中， 数字变焦装置剪裁 图像区域， 使得右图像和左图像的每一个的中心与每个剪裁出的图像区域的中心彼此一 致， 并且放大该剪裁出的图像区域。
这使得能够适当地剪裁并放大同样的图像区域。
根据本发明的第五方面， 根据第一方面到第四方面中任一方面的图像再现设备还 包括记录控制装置， 该记录控制装置将修改后的视差调整量与剪裁并放大的右图像和左图 像一起记录在记录装置中。
这使得能够在任何时间从记录装置读出并观看以放大的方式呈现的立体图像的 期望区域。
根据本发明的第六方面， 在根据第一到第五方面中任一方面的图像再现设备中， 所述图像输入装置是复眼图像拾取装置， 该复眼图像拾取装置通过使用多个图像拾取装置 获得具有视差的图像。
这使得能够当场对拾取的图像进行数字变焦。
为了实现上述目的， 根据本发明的第七方面的图像再现设备包括 ： 图像输入装置， 用于接收其间具有视差的右图像和左图像 ； 显示装置， 立体地显示右图像和左图像 ； 视差 调整量计算装置， 基于右图像和左图像计算视差调整量 ； 移位量计算装置， 基于所述视差调 整量计算右图像和左图像中的每一个在水平方向上的移位量 ； 显示范围计算装置， 基于所 述移位量计算右图像和左图像中的每一个在水平方向上的显示范围 ； 图像剪裁装置， 基于 所述显示范围计算装置计算的结果对右图像和左图像在水平方向上进行修整， 并且显示该 修整的图像 ； 数字变焦信息输入装置， 接收在所述显示装置上立体地显示的右图像和左图 像的数字变焦信息 ； 数字变焦装置， 基于所述数字变焦信息从右图像和左图像的每一个中 剪裁出预定的图像区域， 并且放大该剪裁出的预定的图像区域 ； 以及视差调整量修改装置， 基于所述数字变焦信息对所述视差调整量进行修改。
在根据第七方面的图像再现设备中， 基于数字变焦信息来修改视差调整量， 基于 修改后的视差调整量来计算右图像和左图像中的每一个在水平方向上的移位量和显示范 围， 以及在水平方向上对将要显示的右图像和左图像进行修整。 因此， 能够在总保持适当视 差的同时立体地显示图像， 而与数字变焦放大率无关。此外， 可以自动地计算视差调整量。 根据本发明的第八方面， 在根据第七方面的图像再现设备中， 当数字变焦信息输 入到数字变焦信息输入装置时， 视差调整量计算装置基于输入的数字变焦信息来计算移位 量， 并且显示装置立体地显示基于计算出的移位量而计算的显示范围的右图像和左图像。
根据本发明的第九方面， 在根据第七方面或第八方面的图像再现设备中， 视差调 整量计算装置基于右图像和左图像之间的视差来计算视差调整量。
这使得能够适当地计算视差调整量。
根据本发明的第十方面， 在根据第七方面到第九方面中任一方面的图像再现设备 中， 视差调整量计算装置包括 ： 特征点提取装置， 该特征点提取装置从右图像和左图像中的 一个图像提取特征点 ； 对应点提取装置， 该对应点提取装置从右图像和左图像中的另一个 图像提取对应点， 该对应点对应于所述特征点 ； 以及视差计算装置， 该视差计算装置基于所 述特征点和所述对应点计算视差。
这使得能够适当地计算右图像和左图像之间的视差。
根据本发明的第十一方面， 在根据第十方面的图像再现设备中， 所述特征点提取 装置从右图像和左图像中的一个图像提取多个特征点， 所述对应点提取装置从右图像和左 图像中的另一个图像提取多个对应点， 该多个对应点与所述多个特征点一一对应， 并且所 述视差计算装置基于所述多个特征点和所述多个对应点计算视差。
这使得能够适当地计算右图像和左图像之间的视差。
根据本发明的第十二方面， 在根据第七方面到第十一方面中任一方面的图像再现 设备中， 数字变焦装置从右图像和左图像的每一个中剪裁出同样的图像区域， 并放大该剪 裁出的同样的图像区域。
这使得能够防止剪裁区域在图像之外的问题， 并且能够适当地剪裁并放大图像。
根据本发明的第十三方面， 在根据第十二方面的图像再现设备中， 数字变焦装置 剪裁图像区域， 使得右图像和左图像中的每一个的中心与相应的剪裁出的图像区域的中心 彼此一致， 并且放大该剪裁出的图像区域。
这使得能够适当地剪裁并放大同样的图像区域。
根据本发明的第十四方面， 根据第七方面到第十三方面中任一方面的图像再现设 备还包括记录控制装置， 该记录控制装置将修改后的视差调整量与剪裁并放大的右图像和 左图像一起记录在记录装置中。
这使得能够在任何时间从记录装置读出并观看以放大的方式呈现的立体图像的 期望区域。
根据本发明的第十五方面， 在根据第七到第十四方面中任一方面的图像再现设备 中， 所述图像输入装置是复眼图像拾取装置， 该复眼图像拾取装置通过使用多个图像拾取 装置获得具有视差的图像。
这使得能够当场对拾取的图像进行数字变焦。
为了实现上述目的， 根据本发明的第十六方面的图像再现方法包括 ： 图像输入步 骤， 输入其间具有视差的右图像和左图像 ； 显示步骤， 在显示装置上立体地显示右图像和左 图像 ； 视差调整量输入步骤， 输入用于调整右图像和左图像之间的视差的视差调整量 ； 移 位量计算步骤， 基于所述视差调整量计算右图像和左图像的每一个在水平方向上的移位 量； 显示范围计算步骤， 基于所述移位量来计算右图像和左图像中的每一个在水平方向上 的显示范围 ； 图像剪裁步骤， 基于在所述显示范围计算步骤中计算的结果对右图像和左图 像在水平方向上进行修整， 并且显示该修整的图像 ； 数字变焦信息输入步骤， 输入在所述显 示装置上立体地显示的右图像和左图像的数字变焦信息 ； 数字变焦步骤， 基于所述数字变 焦信息从右图像和左图像的每一个中剪裁出预定的图像区域， 并且放大该剪裁出的预定的 图像区域 ； 以及视差调整量修改步骤， 基于所述数字变焦信息对所述视差调整量进行修改。
根据本发明的第十七方面， 在根据第十六方面的图像再现方法中， 当在视差调整 量输入步骤中输入了视差调整量时， 立体地显示基于输入的视差调整量而修整后的右图像 和左图像， 而当在数字变焦信息输入步骤中输入了数字变焦信息时， 则在视差调整量输入 步骤中输入基于输入的数字变焦信息而修改的视差调整量， 并且立体地显示基于输入的视 差调整量计算出的显示范围的右图像和左图像。
为了实现上述目的， 根据本发明的第十八方面的图像再现方法包括 ： 图像输入步 骤， 输入其间具有视差的右图像和左图像 ； 显示步骤， 在显示装置上立体地显示右图像和左 图像 ； 视差调整量计算步骤， 基于右图像和左图像计算视差调整量 ； 移位量计算步骤， 基于 所述视差调整量计算右图像和左图像中的每一个在水平方向上的移位量 ； 显示范围计算步 骤， 基于所述移位量来计算右图像和左图像中的每一个在水平方向上的显示范围 ； 图像剪 裁步骤， 基于由所述显示范围计算步骤中的计算结果对右图像和左图像在水平方向上进行 修整， 并且显示该修整的图像 ； 数字变焦信息输入步骤， 输入在所述显示装置上立体显示的 右图像和左图像的数字变焦信息 ； 数字变焦步骤， 基于所述数字变焦信息从右图像和左图 像的每一个中剪裁出预定的图像区域， 并且放大该剪裁出的预定的图像区域 ； 以及视差调 整量修改步骤， 基于所述数字变焦信息对所述视差调整量进行修改。
根据本发明的第十九方面， 在根据第十八方面的图像再现方法中， 当在数字变焦 信息输入步骤中输入数字变焦信息时， 在移位量计算步骤中基于输入的数字变焦信息来计 算移位量， 并且立体地显示基于计算出的移位量计算的显示范围的右图像和左图像。
根据本发明， 能够防止因执行数字变焦而削弱对由视差调整得到的立体效果进行调整的效果。 附图说明 图 1 是示出了传统数字变焦的示图 ；
图 2A 和图 2B 是示出了传统数字变焦的立体观看的概念的示图 ；
图 3 是用于说明传统的剪裁区域的示图 ；
图 4 是用于说明传统的剪裁区域的示图 ；
图 5 是示出了图像再现设备的整体配置的示图 ；
图 6 是示出了视差控制单元的详细配置的示图 ；
图 7A、 图 7B 和图 7C 是用于说明右图像和左图像之间的视差量的示图 ；
图 8A、 图 8B 和图 8C 是用于说明右图像和左图像的移位量以及立体图像的显示范 围的示图 ；
图 9 是用于说明在数字变焦之前和之后的显示范围的示图 ；
图 10 是示出了图像再现设备的操作的流程图 ；
图 11 是示出了另一个图像再现设备的整体配置的示图 ；
图 12 是示出了视差调整量计算单元的详细配置的示图 ； 图 13A 和图 13B 是用于说明特征点和对应点的检测的示图 ； 以及 图 14 是示出了另一个图像再现设备的操作的流程图。具体实施方式
在下文中， 将参考附图说明用于实现本发明的模式。
< 第一实施例 >
根据本发明的第一实施例的图像再现设备 10 是在显示单元 17 上立体地显示其间 具有视差的输入的右图像和左图像的设备。图 5 是示出了图像再现设备 10 的整体配置的 示图。如图 5 所示， 图像再现设备 10 包括右图像和左图像选择器控制单元 11、 选择器单元 12、 数字变焦单元 13、 变焦信息输入单元 14、 视差调整量输入单元 15、 视差控制单元 16、 以 及显示单元 17。
右图像和左图像选择器控制单元 11 控制左图像和右图像中的哪一个将要被选择 器单元 12 和视差控制单元 16 处理。把要在显示单元 17 上立体地显示的左图像的数据和 右图像的数据输入到选择器单元 12， 并且根据来自右图像和左图像选择器控制单元 11 的 信号输出左图像和右图像中的任一图像。应当注意， 输入到选择器单元 12 的左图像和右图 像可以是从插入到记录单元 40 中的记录介质 41 读出的图像， 也可以是通过复眼图像拾取 装置 42 的右图像拾取部分和左图像拾取部分拾取的图像。
图像再现设备 10 能够通过所谓的电子变焦放大地显示在显示单元 17 上显示的立 体图像， 并且用户能够通过变焦信息输入单元 14 指定期望的变焦放大率。
数字变焦单元 13 根据从变焦信息输入单元 14 输入的变焦放大率剪裁出右图像和 左图像的每一个的预定区域， 并且将该剪裁出的图像放大到原始图像尺寸。 此时， 剪裁图像 区域， 使得剪裁之前的每个图像的中心与每个剪裁出的图像区域的中心彼此一致。以这种 方式， 将右图像和左图像的剪裁位置设置为以图像的中心作为参考的相同的位置， 从而防止剪裁区域在图像之外的问题。
视差调整量输入单元 15 是操作单元， 通过该操作单元用户输入期望的视差调整 量。在图像再现设备 10 中， 当基于左图像和右图像的立体图像在显示单元 17 上显示时， 基 于用户通过使用视差调整量输入单元 15 所设置的视差调整量， 用户能够在观看右图像和 左图像或者观看立体图像时建立右图像和左图像之间的视差。 这使得能够将立体图像的视 差调整到用户期望的视差。
视差控制单元 16 基于从视差调整量输入单元 15 输入的视差调整量信息和从变焦 信息输入单元 14 输入的变焦放大率信息对从数字变焦单元 13 输出的变焦图像的视差进行 调整， 并且向显示单元 17 输出调整后的图像。另外， 在视差调整之后数字变焦的放大率被 变焦信息输入单元 14 改变的情况中， 视差控制单元 16 基于已经从视差调整量输入单元 15 输入的视差调整量信息计算视差调整量， 使得数字变焦之前和之后的视差比例不改变， 而 与视差调整无关。
应当注意， 从右图像和左图像选择器控制单元 11 将选择信号输入到视差控制单 元 16， 并因此视差控制单元 16 能够识别从数字变焦单元 13 输入的变焦图像是左图像还是 右图像。这种配置允许执行左图像的处理和右图像的处理共享处理块。 显示单元 17 是三维监视器， 其能够立体地显示从视差控制单元 16 输入的右图像 和左图像， 并且例如， 采用视差障碍 (parallaxbarrier) 型或双凸透镜 (lenticular lens) 型的监视器作为显示单元 17。
图 6 是示出了视差控制单元 16 的详细配置的示图。如图 6 所示， 视差控制单元 16 包括移位量计算单元 161、 图像移位单元 162、 显示范围计算单元 163、 以及显示范围设置单 元 164。
参考图 7A、 图 7B 和图 7C 以及图 8A、 图 8B 和图 8C， 说明在图 6 中示出的视差控制 单元 16 的操作。在此， 对示例情况给出说明， 其中使得在显示平面上具有视差 d 的被摄对 象的视差为零。
在图 7B 中示出的左图像上的左图像 31L 与在图 7C 中示出的右图像上的右图像 31R 其间具有视差量 d。基于这两个图像， 图像再现设备 10 如图 7A 所示在显示单元 17 上 显示立体图像。应当注意， 由 WO 表示在显示单元 17 上显示的图像宽度。
在此， 考虑这样一种情况， 其中从视差调整量输入单元 15 输入视差调整量＝ -d。 为了用 -d 对在图 7B 中示出的左图像与在图 7C 中示出的右图像之间的视差量进行调整， 即， 使得视差量 d 为零， 假设图中的右方向为正方向 ( 正数方向 )， 左图像可以如在图 8B 中 所示的那样在负方向 ( 负数方向 ) 上水平地移位 SL ＝ d/2， 并且右图像可以如在图 8C 中所 示的那样在正方向 ( 正数方向 ) 上水平地移位 SR ＝ d/2。即， 右图像和左图像在彼此相反 的方向 ( 正方向和负方向 ) 上水平地移位视差调整量的 1/2。 在这个时候， 在视差调整量为 负的情况中， 左图像在负方向上水平地移位， 而右图像在正方向上水平地移位。 在视差调整 量为正的情况中， 左图像在正方向上水平地移位， 而右图像在负方向上水平地移位。
然而， 当右图像和左图像如上所述水平地移位时， 在左图像的左侧和右图像的右 侧产生不包含图像数据的无效区域 ( 在视差调整量为正的情况中， 在左图像的右侧和右图 像的左侧产生不包含图像数据的无效区域 )。因此， 图像再现设备 10 计算移位图像之后的 右图像和左图像的公共区域， 并且如图 8A 所示的那样只立体地显示该公共部分。在图 8A
到图 8C 所示的示例中， 显示平面上的图像的水平宽度为 WO， 并因此能够将右图像和左图像 的公共区域 Wc 表示为 WO-d。
以此方式， 在视差控制单元 16 中， 移位量计算单元 161 根据输入的视差调整量 (-d) 计算图像的水平移位量 (d/2)， 并且图像移位单元 162 基于由移位量计算单元 161 计 算的移位量 (d/2) 水平地移位右图像和左图像。
此外， 显示范围计算单元 163 基于移位量 (d/2) 计算公共区域 Wc， 并且显示范围设 置单元 164 基于计算的公共区域 Wc 对从图像移位单元 162 输入的图像在水平方向上进行 修整， 并且向显示单元 17 输出该修整的图像。
接下来， 说明立体图像的数字变焦。
当从图 9 的部分 (a) 所示的状态到图 9 的部分 (b) 所示的状态执行立体图像的数 字变焦时， 在显示平面上的视差量发生改变。如图 9 的部分 (a)、 (b) 所示， 在数字变焦之前 视差量为 d1 的情况中， 当执行 N 倍数字变焦时， 数字变焦之后的视差量为 d2 ＝ d1×N。如 上所述， 这种数字变焦之后的视差量可能不适于立体观看。
在此， 关注对视差进行调整。例如， 考虑这样一种情况， 其中将右图像和左图像之 间的视差调整为零， 以便减少立体图像的过分的突出或凹进。 为了使得右图像和左图像之间的视差为零， 在变焦之前视差量为 d1 的情况中， 右 图像和左图像如图 9 的部分 (c) 所示的那样分别在正方向和负方向上水平地移位 d1/2， 并 且显示范围设置到 W-d1。类似地， 在变焦之后视差量为 d2 的情况中， 右图像和左图像如图 9 的部分 (d) 所示的那样分别在正方向和负方向上水平地移位 d2/2， 并且显示范围设置到 W-d2。
在上述描述中， 能够理解， 当执行视差已被调整的立体图像的数字变焦时， 有必要 再次根据视差调整量和数字变焦放大率计算右图像和左图像的移位量和显示范围。在此， 数字变焦之后的水平移位量 S 和数字变焦之后的显示范围 Wc 表示如下 ：
S ＝ d2/2 ＝ (d1×N)/2
Wc ＝ W-d2 ＝ W-d1×N
另外， 在这样一种情况中， 其中原始图像已经经过 N3 倍数字变焦、 基于视差量 d3 的图像移位、 和显示范围的限制， 对其进一步执行数字变焦， 从而执行这种控制使得变焦放 大率关于原始图像变为 N4。 在此情况中， 变焦之后的视差量 d4、 变焦之后的水平移位量 S4、 和变焦之后的显示范围 Wc4 表示如下 ：
d4 ＝ d3×N4/N3
S4 ＝ d4/2 ＝ (d3×N4)/(2×N3)
Wc4 ＝ W-d4
接下来， 参考图 10 的流程图说明图像再现设备 10 的视差调整和数字变焦的操作。
首先， 捕获右图像和左图像 ( 步骤 S1)。如上所述， 可以从记录介质读出右图像和 左图像， 或者也可以从复眼图像拾取装置获得右图像和左图像。根据输入的右图像和左图 像， 由视差控制单元 16 基于指定的变焦放大率和指定的视差调整量建立预定的立体图像， 并且在显示单元 17 上立体地显示该立体图像 ( 步骤 S2)。在此， 假设将变焦放大率指定为 1， 并且将视差调整量指定为 0， 作为它们的初始值。
接下来， 确定是否通过变焦信息输入单元 14 给出了数字变焦的指令 ( 步骤 S3)。
在没有给出数字变焦的指令的情况中， 处理继续到步骤 S9， 并且确定是否通过视 差调整量输入单元 15 给出了视差调整的指令。
在给出视差调整的指令的情况中， 由视差控制单元 16 的移位量计算单元 161 基于 所指示的视差调整量计算图像移位量 ( 步骤 S5)。 此外， 由显示范围计算单元 163 基于计算 出的图像移位量计算显示范围 ( 步骤 S6)。
显示范围设置单元 164 基于计算结果对右图像和左图像在水平方向上进行修整， 并且向显示单元 17 输出该修整的图像。显示单元 17 基于视差控制单元 16 的输出对显示 单元 17 的显示内容进行更新 ( 步骤 S7)。
以此方式， 在显示单元 17 上显示视差已被调整到所指示的视差调整量的立体图 像。即， 用户能够通过给出视差调整量的指令来观看具有适当视差的立体图像， 在该视差 调整量的情况下用户能够容易地立体观看图像。另外， 因为只显示右图像和左图像的公共 区域， 因此不会建立引起用户不舒服感觉的图像， 例如， 其中平面图像和立体图像混合的图 像。
另一方面， 在步骤 S3 已经给出数字变焦的指令的情况中， 数字变焦单元 13 根据所 指示的变焦放大率以每个图像的中心作为参考来剪裁右图像和左图像中的每一个， 并且将 该剪裁的图像放大到原始图像尺寸 ( 步骤 S4)。
如上所述， 因为在步骤 S9 中立体图像的显示基于所指示的视差量而更新， 所以显 示单元 17 上的立体图像已被调整为具有适当的视差量。然而， 数字变焦之后的立体图像的 视差量可能不适用于立体观看。因此， 视差控制单元 16 的移位量计算单元 161 基于指定的 变焦放大率和当前设置的视差调整量来计算数字变焦之后的立体图像的适当视差量， 并且 基于计算出的适当视差量来计算图像移位量 ( 步骤 S5)。 此外， 显示范围计算单元 163 基于 计算出的图像移位量来计算显示范围 ( 步骤 S6)。
显示范围设置单元 164 基于计算结果对右图像和左图像在水平方向中上进行修 整， 并且向显示单元 17 输出该修整的图像。显示单元 17 基于视差控制单元 16 的输出对显 示单元 17 的显示内容进行更新 ( 步骤 S7)。
以此方式， 在显示单元 17 上显示已以指定的变焦放大率数字变焦的立体图像。该 立体图像的视差量不是根据变焦放大率在数字变焦放大之前通过放大视差所确定的量， 而 是被设置为适当的视差量。 因此， 即使执行数字变焦时， 用户也能够观看保持适当立体效果 的立体图像。
最后， 确定显示是否结束 ( 步骤 S8)。在显示没有结束的情况中， 处理返回到步骤 S3， 并且重复相同的处理。
应当注意， 以此方式进行数字变焦的图像可以被记录在记录介质中 ( 未示出 )。 在 这种记录的情况中， 视差调整量信息与剪裁的 ( 变焦的 ) 右图像和左图像一起被记录。将 视差调整量信息记录为右图像的补充信息。应当注意， 还可以将视差调整量信息记录为左 图像的补充信息， 或者记录为右图像和左图像这两个图像的补充信息。
< 第二实施例 >
图 11 是示出了根据本发明第二实施例的图像再现设备 20 的整体配置的示图。应 当注意， 与图 5 共有的部件由相同的参考标号标记， 并且省略了对其的详细说明。图像再现 设备 20 与第一实施例的图像再现设备 10 的区别在于 ： 图像再现设备 20 包括视差调整量计算单元 18， 而不包括视差调整量输入单元 15。
视差调整量计算单元 18 基于左图像和右图像之间的视差计算适当的视差调整 量。将计算出的视差调整量输入到视差控制单元 16。视差控制单元 16 具有与图 6 所示相 同的配置， 并且计算右图像和左图像的移位量和显示范围。
图 12 是示出了视差调整量计算单元 18 的详细配置的示图。如图 12 所示， 视差调 整量计算单元 18 包括特征点提取单元 181、 对应点提取单元 182、 视差量检测单元 183、 以及 调整量计算单元 184。
为了获得视差调整量， 首先需要检测右图像和左图像之间产生的视差量。有多种 检测视差量的方法， 而在本实施例中， 通过使用特征点 - 对应点检测法来对视差量进行检 测。应当注意， 检测视差量的方法并不限于此， 而是可以使用任何方法。
特征点提取单元 181 从输入的左图像的预定区域提取多个特征点。特征点是在多 个方向上具有较强信号梯度的点 ( 像素 )， 并且通过使用例如 Harris 方法或者 Shi-Tomasi 方法提取特征点。作为提取特征点的结果， 获得多个特征点的坐标值 (xi、 yi)(i 表示编 号 )。例如， 如图 13A 所示， 从屏幕中央 32 提取五个特征点 33。应当注意， 在本实施例中， 从屏幕中央提取特征点， 但提取特征点的目标区域不限于屏幕中央。 例如， 可以从整个图像 提取特征点。
另外， 对应点提取单元 182 从右图像检测对应于由特征点提取单元 181 所提取的 各个特征点 33(xi、 yi) 的对应点 34。 作为检测对应点的结果， 获得对应于各个特征点 33 的 对应点 34 的坐标值 (Xi、 Yi)。例如， 如图 13B 所示， 提取对应于五个特征点 33 的五个对应 点 34。
视差量检测单元 183 从提取的特征点 33 和对应于各个特征点 33 的对应点 34 检 测视差量。如图 13B 所示， 连接每个特征点 33 和每个对应点 34 的线段 35 的水平分量是在 特征点 33 的位置处产生的视差量， 并且能够将水平视差量 di 表示为 di ＝ Xi-xi。水平视 差量的单位是像素。应当注意， 检测对应点 34 的方法的示例包括使用窗口内特征点周围的 图像信息作为模板从而执行模板匹配的方法、 Lucas-Kanade 方法等， 但并不特别限定检测 对应点 34 的方法。
此外， 视差量检测单元 183 分析多个检测到的视差量 di 以计算右图像和左图像之 间的视差 D。能够想到的用于计算视差 D 的方法的示例包括简单的平均法 (D ＝ Σdi/i)、 使用中值的方法、 将多个视差量 di 中表示位于最近侧的视差量 di 或相反地表示位于最远 侧的视差量 di 确定为视差量 D 的方法等， 但可以根据需要决定应当采用何种方法。
调整量计算单元 184 基于右图像和左图像之间的视差 D 来计算适于用户立体地观 看图像的视差调整量。将该计算出的视差调整量输入到视差控制单元 16。
接下来， 参考图 14 的流程图说明具有如上所述配置的图像再现设备 20 的视差调 整和数字变焦的操作。
首先， 捕获右图像和左图像 ( 步骤 S11)， 并且由视差调整量计算单元 18 的视差量 检测单元 183 检测右图像和左图像之间的视差量 ( 步骤 S12)。为了检测视差量， 可以如上 所述地计算右图像和左图像之间的视差 D。调整量计算单元 184 基于视差 D 计算视差调整 量。
视差控制单元 16 的移位量计算单元 161 基于由变焦信息输入单元 14 指示的变焦放大率和由视差调整量计算单元 18 计算的视差调整量来计算图像移位量 ( 步骤 S13)。此 外， 显示范围计算单元 163 计算显示范围 ( 步骤 S14)。
显示范围设置单元 164 基于计算出的显示范围对右图像和左图像在水平方向上 进行修整， 并且向显示单元 17 输出该修整的图像。在显示单元 17 上立体地显示这些图像 ( 步骤 S15)。
接下来， 确定是否通过变焦信息输入单元 14 给出了数字变焦的指令 ( 步骤 S16)。
在给出数字变焦的指令的情况中， 数字变焦单元 13 根据所指示的变焦放大率剪 裁并放大右图像和左图像的预定区域 ( 步骤 S18)， 并且处理继续到步骤 S13。
显示单元 17 上的立体图像已经被视差调整量计算单元 18 调整， 从而具有适当的 视差量。然而， 数字变焦之后的立体图像的视差量可能不适用于立体观看。因此， 视差控制 单元 16 的移位量计算单元 161 基于所指示的变焦放大率和当前设置的视差调整量计算数 字变焦之后的立体图像的适当视差量， 并且基于计算出的适当视差量计算图像移位量 ( 步 骤 S13)。 此外， 显示范围计算单元 163 基于计算出的图像移位量计算显示范围 ( 步骤 S14)。
结果， 将立体图像以新指示的变焦放大率显示在显示单元 17 上 ( 步骤 S15)。 将该 立体图像的视差量被设置为适当的视差量。 因此， 即使执行数字变焦时， 用户也能够观看保 持适当立体效果的立体图像。