《成像设备和成像方法.pdf》由会员分享，可在线阅读，更多相关《成像设备和成像方法.pdf（19页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN101964919A43申请公布日20110202CN101964919ACN101964919A21申请号201010237313022申请日20100723200917326020090724JPH04N13/00200601H04N5/23220060171申请人富士胶片株式会社地址日本东京72发明人田中康一74专利代理机构中原信达知识产权代理有限责任公司11219代理人刘光明穆德骏54发明名称成像设备和成像方法57摘要本发明提供一种成像设备和成像方法。本发明提供一种立体成像设备，其能根据焦点对准的对象而电子地调整会聚角。当分别从焦点对准的第一图像数据和第二图像数据检测。
2、的特征点和对应点的对的总数超出预定阈值TH1时，控制视差直方图生成单元101生成视差量的直方图，并且控制代表视差信息确定单元102来根据视差量的直方图中的图格确定代表视差量。根据由焦点调整单元33确定的搜索方向，代表视差信息确定单元102基于图格的频率F是否大于预定阈值TH2，确定直方图中的每一图格的有效性。代表视差信息确定单元102基于有效图格中的视差量来确定代表视差量。立体显示控制单元45基于所确定的代表视差量，确定第一图像数据和第二图像数据的剪辑范围。30优先权数据51INTCL19中华人民共和国国家知识产权局12发明专利申请权利要求书2页说明书9页附图7页CN101964920A1/2。
3、页21一种成像设备，包括成像单元1A，1B，所述成像单元1A，1B通过使用成像元件对经由基准光学系统和非基准光学系统的每一个而形成的对象图像执行光电转换，并且输出相互不同的多个视点图像；基准聚焦评估区定义单元，所述基准聚焦评估区定义单元定义与来自所述基准光学系统的视点图像中的一个相对应的基准聚焦评估区；对象信息确定单元，所述对象信息确定单元确定与从所述成像单元到所述基准聚焦评估区中的对象的距离是长还是短相关的对象信息；聚焦控制单元，所述聚焦控制单元在改变所述基准光学系统的焦点位置时检测峰值位置，所述峰值位置中的每一个均为在来自所述基准光学系统的视点图像中的由所述基准聚焦评估区定义单元定义的所述。
4、基准聚焦评估区中具有局部最大对比度的焦点位置；基于由所述对象信息确定单元确定的对象信息来确定在所述峰值位置中与所述对象相对应的焦点对准位置；并且将所述基准光学系统的焦点位置移动到所确定的焦点对准位置；特征点提取区定义单元，所述特征点提取区定义单元基于所述基准聚焦评估区，定义与来自所述基准光学系统的视点图像相对应的特征点提取区，所述基准光学系统具有移动到所述焦点对准位置的焦点位置；特征点提取单元82，所述特征点提取单元82从由所述特征点提取区定义单元在所述基准光学系统的视点图像中定义的所述特征点提取区中，提取特征点；对应点提取单元83，所述对应点提取单元83从来自所述非基准光学系统的其他视点图像。
5、中，提取与由所述特征点提取单元提取的特征点相对应的对应点；视差量计算单元，所述视差量计算单元计算关于每一对由所述特征点提取单元提取的特征点和由所述对应点提取单元提取的对应点的视差量；直方图生成单元，所述直方图生成单元基于由所述视差量计算单元计算的关于每一对特征点和对应点的视差量，生成直方图，所述直方图表示关于每一对的视差量的分布；确定单元，所述确定单元基于由所述对象信息确定单元确定的所述对象信息和由所述直方图生成单元生成的所述直方图中的频率来确定有效阶段，所述有效阶段是具有与所述对象相对应的视差量的阶段；以及代表视差量确定单元，所述代表视差量确定单元基于由所述确定单元确定的有效阶段来确定代表视。
6、差量。2如权利要求1所述的成像设备，其中所述对象信息确定单元将成像模式设置成对象信息，所述聚焦控制单元根据所述成像模式将在其中改变所述基准光学系统中的焦点位置的搜索方向确定为从最近端到无穷远端的方向和从无穷远端到最近端的方向中的一个，并且将在改变所述基准光学系统的焦点位置时在所确定的搜索方向中首先检测到的峰值位置确定为焦点对准位置，以及所述确定单元基于每一阶段的频率，按照沿所确定的搜索方向的顺序重复所述直方图中的每一阶段的有效性的确定，并且将沿所确定的搜索方向首先被确定为有效的阶段确定为有效阶段。3如权利要求2所述的成像设备，其中，响应所述有效阶段的检测，所述确定单元停止权利要求书CN1019。
7、64919ACN101964920A2/2页3沿所确定的搜索方向对在所述有效阶段后的每一阶段的有效性的确定。4如权利要求2或3所述的成像设备，其中，所述确定单元根据所述每一阶段的频率是否超出预定阈值，来确定每一阶段的有效性。5如权利要求1至3的任何一项所述的成像设备，其中，当所述成像模式为肖像模式或微距模式时，所述聚焦控制单元确定所述搜索方向是从最近端到无穷远端的方向。6如权利要求1至3的任何一项所述的成像设备，其中，当所述成像模式为风景模式时，所述聚焦控制单元确定所述搜索方向是从无穷远端到最近端的方向。7如权利要求1至3的任何一项所述的成像设备，其中，所述特征点提取区定义单元针对所述基准聚焦。
8、评估区的部分或全部来定义所述特征点提取区。8如权利要求1至3的任何一项所述的成像设备，进一步包括剪辑单元，所述剪辑单元确定来自所述基准光学系统的视点图像的剪辑范围和来自所述非基准光学系统的视点图像的剪辑范围，以便消除被表示为由所述代表视差量确定单元确定的代表视差量的、在视点图像间的未对齐；并且所述剪辑单元根据所确定的剪辑范围来剪辑图像；以及输出单元，所述输出单元基于由所述剪辑单元剪辑的图像，输出立体图像。9一种成像方法，通过所述方法，成像设备通过使用成像元件来对经由基准光学系统和非基准光学系统的每一个而形成的对象图像执行光电转换，并且输出相互不同的多个视点图像，所述方法执行以下步骤定义与来自所。
9、述基准光学系统的视点图像中的一个相对应的基准聚焦评估区；确定与从所述成像设备到所述基准聚焦评估区中的对象的距离是长还是短相关的对象信息；在改变所述基准光学系统的焦点位置时，检测峰值位置，所述峰值位置中的每一个均为在来自所述基准光学系统的视点图像中的所定义的基准聚焦评估区中具有局部最大对比度的焦点位置；基于所确定的对象信息来确定在所述峰值位置中与对象相对应的焦点对准位置；并且将所述基准光学系统的焦点位置移动到所确定的焦点对准位置；基于所述基准聚焦评估区，定义与来自所述基准光学系统的视点图像相对应的特征点提取区，所述基准光学系统具有移动到所述焦点对准位置的焦点位置；从在所述基准光学系统的视点图像中。
10、定义的所述特征点提取区中，提取特征点；从来自所述非基准光学系统的其他视点图像中，提取与所提取的特征点相对应的对应点；计算关于每一对所提取的特征点和所提取的对应点的视差量；基于所计算的关于每一对所述特征点和所述对应点的视差量，生成直方图，所述直方图表示关于每一对的视差量的分布；基于所确定的对象信息和所生成的直方图中的频率，确定有效阶段，所述有效阶段是具有与所述对象相对应的视差量的阶段；以及基于所确定的有效阶段，确定代表视差量。权利要求书CN101964919ACN101964920A1/9页4成像设备和成像方法技术领域0001本发明涉及设有相互间具有视差的多个光学系统的成像设备。背景技术0002。
11、根据日本专利NO4177826，通过提取特征点和检测它们的对应点，从第一和第二图像生成视差分布直方图。基于该分布，检测运动对象。0003根据日本专利申请特开NO0795623，通过自动聚焦AF驱动电路控制左右成像透镜的每一个的焦点。将来自CCD的输出写入存储器，以用于电子变焦。微型计算机根据与物距成比例的AF数据，控制用于电子变焦的剪辑帧的剪辑位置。因此，电子地控制会聚角。0004在设有一对左和右成像光学系统或设有两个照相机的立体成像设备中，需要充分地调整左和右图像间生成的视差量，以便适当地立体显示所获得的视差图像。具体地，对拍摄者想要拍摄为主要对象的对象，期望将视差量调整到足以减小立体图像中。
12、的过多的凸起和凹进。常规地，通过控制一对成像光学系统间的间距、与光轴的交点会聚点的距离、以及会聚角，可以调整视差量。然而，该调整要求机械地驱动成像光学系统，导致照相机的结构和控制变得复杂的问题。0005根据日本专利申请特开NO0795623的技术，当使用廉价的透镜时，因为例如热特性的影响，难以通过使用焦点信息，来精确地计算实际物距，从而导致基于焦距调整会聚角的误差。发明内容0006本发明的目的是允许立体成像设备根据焦点对准的对象而电子地调整会聚角。0007本发明提供一种成像设备，包括成像单元，其通过使用成像元件，对经由基准光学系统和非基准光学系统的每一个而形成的对象图像执行光电转换，并且输出彼。
13、此不同的多个视点图像；基准聚焦评估区定义单元，其定义与来自基准光学系统的视点图像中的一个相对应的基准聚焦评估区；对象信息确定单元，其确定与从成像单元到基准聚焦评估区中的对象的距离是长还是短相关的对象信息；聚焦控制单元，其在改变基准光学系统的焦点位置时，检测峰值位置，所述峰值位置中的每个均为在来自基准光学系统的视点图像中的由基准聚焦评估区定义单元定义的基准聚焦评估区中具有局部最大对比度的焦点位置；基于通过对象信息确定单元确定的对象信息来确定峰值位置中与对象相对应的焦点对准位置；以及将基准光学系统的焦点位置移动到所确定的焦点对准位置；特征点提取区定义单元，其基于基准聚焦评估区，定义与来自基准光学系。
14、统的视点图像相对应的特征点提取区，其中，所述基准光学系统具有移动到焦点对准位置的焦点位置；特征点提取单元，其从由特征点提取区定义单元在基准光学系统的视点图像中定义的特征点提取区中，提取特征点；对应点提取单元，其从来自非基准光学系统的其他视点图像中，提取与由特征点提取单元提取的特征点相对应的对应点；视差量计算单元，其计算关于每一对由特征点提取单元说明书CN101964919ACN101964920A2/9页5提取的特征点和由对应点提取单元提取的对应点的视差量；直方图生成单元，其基于由视差量计算单元计算的关于每一对特征点和对应点的视差量，生成直方图，所述直方图表示关于每一对的视差量的分布；确定单元。
15、，其基于由对象信息确定单元确定的对象信息和由直方图生成单元生成的直方图中的频率，确定有效阶段SIGNIFICANTCLASS，所述有效阶段是具有与对象相对应的视差量的阶段；以及代表视差量确定单元，其基于由确定单元确定的有效阶段，确定代表视差量。0008优选地，对象信息确定单元将成像模式设置成对象信息；聚焦控制单元根据成像模式，将在其中改变基准光学系统中的焦点位置的搜索方向确定为从最近端到无穷远端的方向和从无穷远端到最近端的方向的一个，并且当在所确定的搜索方向中改变基准光学系统的焦点位置时将首先检测到的峰值位置确定为焦点对准位置；并且确定单元基于每一阶段的频率，按照沿所确定的搜索方向的顺序重复直。
16、方图中的每一阶段的有效性的确定，并且将沿所确定的搜索方向首先被确定为有效的阶段确定为有效阶段。0009优选地，响应有效阶段的检测，确定单元停止沿所确定的搜索方向对在所述有效阶段之后的每一阶段的有效性的确定。0010优选地，确定单元根据每一阶段的频率是否超出预定阈值，确定每一阶段的有效性。0011优选地，当成像模式为肖像模式或微距模式时，聚焦控制单元确定搜索方向是从最近端到无穷远端的方向。0012优选地，当成像模式为风景模式时，聚焦控制单元确定搜索方向是从无穷远端到最近端的方向。0013优选地，特征点提取区定义单元针对基准聚焦评估区的部分或全部来定义特征点提取区。0014优选地，成像设备进一步包。
17、括剪辑单元，其确定来自基准光学系统的视点图像的剪辑范围和来自非基准光学系统的视点图像的剪辑范围，以便消除被表示为由代表视差量确定单元确定的代表视差量的、在视点图像间的未对齐，并且用于根据所确定的剪辑范围来剪辑图像；以及输出单元，其基于由剪辑单元剪辑的图像来输出立体图像。0015本发明提供一种成像方法，通过该方法，成像设备通过使用成像元件来对经由基准光学系统和非基准光学系统的每一个而形成的对象图像执行光电转换，并且输出相互不同的多个视点图像，所述方法执行以下的步骤定义与来自基准光学系统的视点图像中的一个相对应的基准聚焦评估区；确定与从成像设备到基准聚焦评估区中的对象的距离是长还是短相关的对象信息。
18、；在改变基准光学系统的焦点位置时，检测峰值位置，所述峰值位置中的每一个均为在来自基准光学系统的视点图像中的所定义的基准聚焦评估区中具有局部最大对比度的焦点位置；基于所确定的对象信息来确定峰值位置中与对象相对应的焦点对准位置；并且将基准光学系统的焦点位置移动到所确定的焦点对准位置；基于基准聚焦评估区，定义与来自基准光学系统的视点图像相对应的特征点提取区，所述基准光学系统具有移动到焦点对准位置的焦点位置；从在基准光学系统的视点图像中定义的特征点提取区中提取特征点；从来自非基准光学系统的其他视点图像中提取与所提取的特征点相对应的对应点；计算关于每一对所提取的特征点和所提取的对应点的视差量；基于所计算。
19、的关于每一对特征点和对应点的视差量，生成直方图，所述直方图示出了关于每一对的视差量说明书CN101964919ACN101964920A3/9页6的分布；基于所确定的对象信息和在所生成的直方图中的频率，确定有效阶段，所述有效阶段是具有与对象相对应的视差量的阶段；以及基于所确定的有效阶段来确定代表视差量。0016用于指示成像设备执行成像方法的成像程序也包括在本发明中。0017根据本发明，能根据聚焦评估区中的对象的视差量的直方图确定代表视差量。另外，基于代表视差量，能电子地调整左右视点图像间的未对齐。此外，将用于搜索焦点对准的对比度的方向确定为与用于确定视差量的直方图中的每一阶段的有效性的方向相同。
20、。由此，能充分地调整焦点对准的对象的立体效果。附图说明0018图1是照相机的框图；0019图2是示出根据对象位置的AF评估值的说明图；0020图3A和3B是示出特征点和对应点的说明图；0021图4是视差量处理单元的详细框图；0022图5是示出视差直方图的说明图；0023图6是立体图像显示处理的简略流程图；0024图7是有效图格BIN确定处理的流程图；0025图8是表示左和右图像的剪辑范围的说明图；以及0026图9A和图9B分别是表示常规的立体图像和本发明的实施例的说明图。具体实施方式0027图1表示照相机2的电子构造。第一成像单元1A被设有沿其透镜光轴布置的第一可变放大率透镜、第一聚焦透镜、第。
21、一光圈DIAPHRAGM、以及第一图像传感器。类似地，第二成像单元1B被设有沿其透镜光轴布置的第二可变放大率透镜、第二聚焦透镜、第二光圈、以及第二图像传感器。0028CPU40响应表示摄远或广角变焦方向的来自变焦按钮的输入操作，沿透镜光轴将第一可变放大率透镜朝着摄远端延伸端或广角端回缩端移动，由此控制第一可变放大率透镜从而改变焦距成像放大率。将第一可变放大率透镜朝向摄远端移动将提供长焦点和窄的成像范围。将第一可变放大率透镜朝向广角端移动将提供短焦点和宽的成像范围。0029通过由CPU40控制的驱动器，沿透镜光轴移动第一聚焦透镜，由此调整焦点。0030CPU40接收由变焦按钮指定的目标变焦方向。。
22、根据目标变焦方向，CPU40确定目标变焦位置。当目标变焦方向是摄远方向时，目标变焦位置被设置成朝向摄远方向的与第一可变放大率透镜的当前位置最近的变焦步距STEP。当目标变焦方向是广角方向时，目标变焦位置被设置成朝向广角方向的与第一可变放大率透镜的当前位置最近的变焦步距。CPU40将目标变焦位置转换成表示第一可变放大率透镜的目标停止位置的脉冲数，并且使驱动器根据该脉冲数驱使第一可变放大率透镜。脉冲数0表示原位。0031第一图像传感器接收由第一可变放大率透镜和第一聚焦透镜形成的对象图像的光，并且累积与光敏元件中的接收光量相对应的光电荷。通过从定时发生器TG定期接收的定时信号时钟脉冲来控制第一图像传。
23、感器中的光电荷的累积和传输。在成像模式中，说明书CN101964919ACN101964920A4/9页7在每个预定周期中获得用于一帧的图像信号，并且将其顺序地输入到第一A/D转换器29。CCD型或MOS型固态成像设备用作第一图像传感器。0032第一A/D转换器29将输入图像数据从模拟转换成数字。经由第一A/D转换器29，将第一成像单元1A的成像信号转换成第一图像数据用于右眼的图像数据。0033第二成像单元1B具有与第一成像单元1A相同的构造。其被设有在CPU40的控制下通过驱动器驱使的第二可变放大率透镜、第二聚焦透镜、以及第二光圈。0034第二成像单元1B的每一构件具有与第一成像单元1A的每。
24、一构件相同的质量。同步第一成像单元1A和第二成像单元1B，并且每一成像单元同时地摄取图像。第一成像单元1A和第二成像单元1B可以不内置在同一照相机外壳中。而是每一成像单元可以设于单独的成像设备中。0035第二A/D转换器39具有与上述第一A/D转换器29相同的构造。经由第二A/D转换器39，将第二成像单元1B的成像信号转换成第二图像数据用于左眼的图像数据。0036将从第一和第二A/D转换器29，39输出的第一和第二图像数据的每一个输入到成像信号处理单元41。成像信号处理单元41对第一和第二图像数据的每一个执行各种成像处理，诸如灰度转换、白平衡校正、和校正。通过数字信号处理单元50接收已经由成像。
25、信号处理单元41处理过并以每个预定周期输出的第一和第二图像数据。0037数字信号处理单元50对第一图像数据执行YC转换，并且生成亮度信号Y和色差色度信号BY、RY。将亮度信号和色差信号临时存储在RAM43中。0038RAM43是临时存储第一和第二图像数据的工作存储器。当已经存储第一和第二图像数据的RAM43接收下一周期的下一第一和第二图像数据时，用新接收的第一和第二图像数据覆盖已经存储的第一和第二图像数据。RAM43中的被重复覆盖并且每预定周期更新的第一和第二图像数据称为直通图像THROUGHIMAGE。0039立体显示控制单元45将在RAM43中存储的第一和第二图像数据组合成通过立体显示单元。
26、11立体显示的立体图像数据。当立体显示单元11用作成像模式中的电子取景器时，显示控制单元56在立体显示单元11中，将由立体显示控制单元45组合的立体图像数据显示为直通图像。0040压缩/解压处理单元47通过诸如JPEG方案的压缩方案来压缩在RAM43中存储的第一和第二图像数据。RAM43还被用作用于压缩处理所需的临时存储区。媒体控制单元48将由压缩/解压处理单元47压缩的图像数据的每一个存储在存储卡49中。0041当在立体显示单元11中重放和显示如此存储在存储卡49中的第一和第二图像数据时，由媒体控制单元48调取在存储卡49中存储的图像数据的每一个。通过立体显示控制单元45将由压缩/解压处理单。
27、元47解压缩的图像数据的每一个转换成立体图像数据，然后，在立体显示单元11中重放和显示立体图像数据。0042未示出立体显示单元11的详细构造。立体显示单元11在其表面上设有视差屏障BARRIER显示层。立体显示单元11在视差屏障显示层中生成具有在其中以预定节距来交替地布置光学透射组件和光学屏蔽组件的图案的视差屏障。立体显示单元11还在视差屏障显示层的下层中的图像显示表面上，交替地布置和显示左和右图像的长条状REEDSHAPED图像片段。由此，观察者能感知图像的立体效果。0043CPU40总体地控照相机2的整个操作。CPU40连接到ROM51。ROM51存储控制说明书CN101964919ACN。
28、101964920A5/9页8程序，通过控制程序，CPU40执行各种处理。0044焦点调整单元33分别从RAM43中存储的第一图像数据和第二图像数据计算第一AF评估值和第二AF评估值。通过相对于与第一图像数据相对应的第一AF区或与第二图像数据相对应的第二AF区，通过对从高通滤波器输出的亮度值的高频分量进行积分来计算第一和第二AF评估值，并且第一和第二AF区是由CPU40在第一和第二图像数据的每一个中指定的AF区是例如，图像的中心区、或在图像中由CPU40检测到的在其中出现面部或其他某种类型对象的区域。第一和第二AF评估值分别表示第一和第二图像数据的锐度。0045焦点调整单元33以预定范围在下文。
29、中，称为AF搜索范围中的预定步距的间隔，将第一成像单元1A或第二成像单元1B的聚焦透镜从最近移向无穷远。焦点调整单元33确定作为透镜的移动方向的搜索方向。具体地，当经由模式开关指示CPU40来设置肖像模式或微距模式时，焦点调整单元33确定搜索方向为从最近到无穷远的方向第一搜索方向。当经由模式开关指示CPU40来设置风景模式时，焦点确定单元33确定搜索方向是从无穷远到最近的第二方向。0046如图2所示，在肖像模式或微距模式的情况下，对象出现在最近端，而在风景模式的情况下，对象出现在无穷远端。用上述的方式确定搜索方向防止了将AF评估值的小峰值错误地检测为焦点对准的位置，并且提供了更快的聚焦处理。0。
30、047当检测到第一AF评估值中的最大值和第二AF评估值中的最大值时，所述AF评估值对应于沿确定的搜索方向的每一运动位置，焦点调整单元33停止移动第一成像单元1A或第二成像单元1B的聚焦透镜。然后，焦点调整单元33将第一聚焦透镜移动到与所检测的第一AF评估值中的最大值相对应的第一成像单元1A的聚焦透镜位置第一焦点对准位置。焦点调整单元33还将第二聚焦透镜移动到对应于与每一移动位置对应的第二AF评估值中的最大值的第二成像单元1B的聚焦透镜位置第二焦点对准位置。可以单独地控制第一成像单元1A和第二成像单元1B的聚焦。替选地，成像单元的一个的聚焦控制的结果可以反映在另一成像单元的聚焦控制上。0048积。
31、分单元73基于在RAM43中存储的第一和第二图像数据的每一个，检测对象的亮度对象的测量明亮度。将从第一和第二图像数据检测的对象亮度值分别设置成第一光度值和第二光度值。具体地，积分单元73将整个成像区划分成例如，8864个区，并且基于在RAM43中存储的第一或第二图像数据，相对于每一划分区的R、G和B信号中的每一个来对亮度分量进行积分。使用积分值、那时的光圈的孔径值、以及电子快门的快门速度来计算在具有标准成像灵敏度时每一划分区的光度值。0049积分单元73基于在RAM43中存储的第一和第二图像数据中的每一个，来检测第一白平衡WB值和第二WB值。用于计算曝光值的方案可以是任意方案，诸如点测光、加权。
32、平均测光、或平均测光。由计算产生的第一和第二光度值、第一和第二WB值、以及第一和第二AF评估值被发送到CPU40，并被用于控制第一成像单元1A和第二成像单元1B的自动曝光AE、自动白平衡AWB、和自动聚焦AF。0050CPU40从ROM51调取定义光度值、孔径值、灵敏度、和快门时间彼此的关系的程序图以用作参考；并且将与由积分单元73检测的第一和第二光度值的每一个相对应的孔径值和灵敏度分别设置到光圈和图像传感器，以用于曝光控制。0051特征点提取单元82在从将聚焦透镜位置设置到焦点对准位置的基准成像单元所说明书CN101964919ACN101964920A6/9页9获得的图像中，即，在从将第二。
33、聚焦透镜设置到第二焦点对准位置的第二成像单元1B所获得的焦点对准的第二图像数据中，从具有预定位置、预定形状、和预定尺寸的提取区R1L中提取多个特征点XI，YI1IN，其中，N表示特征点的数量参见图3A。预定形状和预定尺寸预先存储在ROM51中。然而，它们可以通过来自CPU40或操作单元10的指令而发生改变。例如，提取区R1L具有矩形形状和1616像素尺寸，但其不限于此。提取区R1L不限于矩形形状，而是可以是其他形状，诸如圆形或椭圆形。提取区R1L的任何尺寸也是可能的。0052提取区R1L至少与基准成像单元的AF区，即，第二AF区重叠。优选地，提取区R1L被第二AF区包括，并且更优选地，提取区R。
34、1L与第二AF区匹配。可以改变第二AF区的位置。因此，特征点提取单元82可以基于从焦点调整单元33输入的第二AF区的位置信息，来确定提取区R1L。0053特征点是沿多个方向的具有强信号梯度的点像素，并且能通过使用例如HARRIS哈里斯的方法或SHITOMASI史托马斯的方法来提取。可以从第一图像数据中提取特征点，以及可以从第二图像数据中提取对应点。换句话说，基准成像单元可以是第一成像单元1A，并非必须是第二成像单元1B。0054对应点检测单元83从待调整的焦点对准成像系统的图像中，即，从将第一聚焦透镜设置到第一焦点对准位置的第一成像单元1A获得的第一图像数据中，提取第一图像数据中的对应点XI，。
35、YI，所述对应点的每个分别对应于从第二图像数据中提取的每一特征点XI，YI参见图3B。特征点和对应点间的线段的水平分量是视差量。当存在多对特征点和对应点时，检测对应于每一对的每一视差量。0055提取对应点的任何方法都是可能的。典型的方法包括将主要具有特征点的窗口中的图像信息用作模板并且执行模板匹配的方法；以及LUCASKANADE卢卡斯卡纳德方法。然而，本实施例不特别地限于这些方法。0056视差量处理单元100基于特征点XI，YI和对应点XI，YI的对，检测每一个均焦点对准的第一和第二图像数据间的视差量DI。在被设有沿水平线而被布置在任何一侧上的两个成像系统的复眼成像设备的情况下，将特征点的位。
36、置处的视差量表示为DIXIXI。在下文中，将详细地描述由视差量处理单元100执行的处理。视差量处理单元100被设有诸如单芯片微型计算机的运算设备。替选地，CPU40可以用作视差量处理单元100。0057图4是视差量处理单元100的详细框图。视差量处理单元100包括视差直方图生成单元101和代表视差信息确定单元102。0058视差直方图生成单元101基于通过特征点提取单元82提取的特征点和对应于该特征点的通过对应点检测单元83提取的对应点，来计算关于每一对特征点和对应点的视差量。该视差量的计算是针对每一对特征点和对应点来执行的。由于每一对具有从照相机2到对象的不同距离，所以关于每一对的视差量具有。
37、不同值。即，即使左右图像均焦点对准，当存在多对时，图像间的视差量也不相同。0059视差直方图生成单元101生成关于每一对的视差量的频率分布视差直方图。直方图的垂直轴表示频率次数，并且水平轴表示可变量，即，视差量见图5。视差直方图的阶段图格的任何宽度均是可能的。0060代表视差信息确定单元102检查在视差直方图的每一图格中存储的视差量的频说明书CN101964919ACN101964920A7/9页10率，并且确定该图格的有效性。具体地，如果满足FTH2，代表视差信息确定单元102确定该图格是有效的，其中，F表示频率，并且TH2表示事先在ROM51中存储的阈值，如果满足FTH2，则确定该图格无效。
38、。TH2的值可以是固定值或根据预定计算公式计算的值。例如，TH2可以是由对应点检测单元83检测的对应点的数量的50。0061代表视差信息确定单元102从焦点调整单元33接收由焦点调整单元33确定的搜索方向，并且根据搜索方向来重复每一图格的有效性确定。即，当焦点调整单元33确定搜索方向是第一搜索方向时，代表视差信息确定单元102从最近端上的图格具有最大视差量的图格到无穷远端上的图格具有最小视差量的图格，来顺序地确定每一图格的有效性。当焦点调整单元33确定搜索方向为第二搜索方向时，代表视差信息确定单元102从无穷远端上的图格具有最小视差量的图格到最近端上的图格具有最大视差量的图格，来顺序地确定每一。
39、图格的有效性见图5。代表视差信息确定单元102根据由焦点调整单元33确定的搜索方向来重复每一图格的有效性的确定，并且基于被首先确定为在搜索方向中有效的有效图格中的视差量，来确定代表视差量。当检测到有效图格时，代表视差信息确定单元102停止对后续图格的有效性的确定。0062例如，当图格的宽度为二个像素，并且图格的中值处于12像素时，图格的频率等于具有在从11至13的范围中的视差量的特征点和对应点对的数量。代表视差量可以被设置为有效图格的中值，可以被设置为有效图格中的所有视差量的平均值，或可以被设置为在从M到M的范围中的视差量的平均值，其中，M表示有效图格的中值，并且为常数。0063用于焦点对准位。
40、置的搜索方向等于视差直方图的有效性的确定方向，并且以类似的方式，来执行停止用于对焦点对准位置的搜索和执行停止确定视差直方图的有效性。由此，能将代表视差量设置为最佳焦点位置中的对象的视差量。0064图6是立体图像显示处理的简略流程图。由CPU40控制该处理的执行。将用于指示CPU40来执行该处理的程序存储在ROM51中。能通过具有等效于CPU40的硬件构造的个人计算机等，控制由一个或多个成像设备执行下述处理。因此，CPU40不一定包括在照相机2中。0065在S1中，该处理控制焦点调整单元33以确定搜索方向。当沿所确定的搜索方向，按预定步距来逐步移动第一成像单元1A和第二成像单元1B的聚焦透镜时，。
41、在每一移动位置处将第一和第二图像数据获得到ROM43中。确切地，沿各自确定的搜索方向，按预定步距来执行第一成像单元1A和第二成像单元1B的聚焦透镜的移动，以及执行在移动位置处的第一成像单元1A和第二成像单元1B的成像；并且执行该移动，直到首次检测到第一AF评估值和第二AF评估值的最大值为止。当首次检测到第一AF评估值和第二AF评估值的最大值时，控制聚焦透镜以停止沿搜索方向将聚焦透镜移动到具有小于在当前位置检测到的最大值的值的下一位置，并且，同时停止成像。0066在S2中，该处理控制特征点提取单元82从具有位于焦点对准位置的聚焦透镜的基准成像单元中获得的图像，即，从焦点对准的第二成像单元1B获得。
42、的第二图像数据中，检测特征点。0067在S3中，该处理控制对应点检测单元83从具有位于焦点对准位置的聚焦透镜的待调整的成像单元中获得的图像，即，从焦点对准的第一成像单元1A获得的第一图像数据说明书CN101964919ACN101964920A8/9页11中，检测对应点。0068在S4中，该处理确定特征点和对应点对的总数是否超出预定阈值TH1。如果超过TH1，则处理进入S5，如果没有，该处理进入S7。预定阈值TH1存储在ROM51中。TH1的值可以是固定值，或可以是根据预定计算公式计算的值。例如，TH1被设置成由特征点提取单元82检测的特征点的数量的50。0069在S5，该处理控制视差直方图生。
43、成单元101生成视差量的直方图。0070在S6中，该处理控制代表视差信息确定单元102根据视差量的直方图的图格确定代表视差量。确切地，该处理沿由焦点调整单元33确定的搜索方向，按顺序确定每一图格的有效性，并且根据首先确定为有效的图格中的视差量来确定代表视差量。如上所述，任何确定方法都是可行的。根据有效图格的中值、有效图格中的所有视差量的平均值或中值等等确定代表视差量。当沿搜索方向被首先确定为有效的图格的下一个图格具有比首先确定的有效图格的值更小的值时，该处理进行控制，以停止确定后续图格的有效性。0071在S7中，该处理确定将代表视差量设置成0。当整个第一AF区不包括当前提取的区域R1L时，该处。
44、理可以将大于当前提取区R1L并被第一AF区包括的任何区域设置成新的提取区R1L，返回S2，并且提取新的提取区R1L中的特征点。在当前提取区R1L太小而不能提取足够多的特征点时，该处理有效。0072图7是表示有效图格确定处理的流程图。由CPU40控制该处理的执行。用于指示CPU40来执行该处理的程序被存储在ROM51中。能通过具有等效于CPU40的硬件构造的个人计算机等等来控制下述处理的执行。因此，CPU40不一定包括在照相机2中。0073在S11中，该处理控制视差直方图生成单元101从RAM43调取所生成的视差量的直方图。0074在S12中，该处理确定由焦点调整单元33确定的搜索方向是第一搜索。
45、方向还是第二搜索方向。如果确定搜索方向是第一搜索方向，该处理进入S13。如果确定搜索方向是第二搜索方向，该处理进入S14。0075在S13，该处理将第一确定模式设置到代表视差信息确定单元102。当设置第一确定模式时，代表视差信息确定单元102沿第一搜索方向，按顺序从具有最大视差量的图格到具有最小视差量的图格的顺序来确定每一图格的有效性。0076在S14中，该处理将第二确定模式设置到代表视差信息确定单元102。当设置第二确定模式时，代表视差信息确定单元102沿第二搜索方向，按顺序从具有最小视差量的图格到具有最大视差量的图格的顺序来确定每一图格的有效性。0077在S15中，该处理确定直方图中的所有。
46、图格是否均无效。如果为是如果确定所有图格均无效，则处理进入S19。如果为否如果未确定所有图格均无效，则处理进入S16。0078在S16中，该处理沿着与在S13或S14中设置的确定模式相对应的搜索方向，按顺序来调取图格的频率次数F。0079在S17中，该处理确定所调取的频率F是否大于预定阈值TH2。如果为是，则处理进入S18。如果为否，则处理进入S15。如上所述，阈值TH2可以设置为例如，所检测的对应点的总数的50。0080在S18中，该处理基于在被确定为具有大于预定阈值TH2的调取频率F的图格，说明书CN101964919ACN101964920A9/9页12即，有效图格中的视差量，来确定代表。
47、视差量。0081在S19中，该处理确定代表视差量被设置为0。如在上述S7中，当扩大提取区R1L时，该处理提取特征点和对应点，并对扩大的提取区R1L，再次生成直方图，并返回到S11。然后，该处理确定新生成的直方图中的每一图格的有效性。如果确定结果也是直方图不具有有效图格，则该处理可以进入S19。0082在该处理后，立体显示控制单元45基于所确定的代表视差量，确定第一图像数据和第二图像数据的剪辑范围。例如，如果左图像第二图像数据为基准，则当代表视差量为24时，右图像第一图像数据相对于左图像向左未对齐24个像素。为了对此进行调整，例如，立体显示控制单元45确定左图像的剪辑范围TL和右图像的剪辑范围T。
48、R，以便消除24个像素的未对齐。立体显示控制单元45根据所确定的剪辑范围，从第一图像数据和第二图像数据中剪辑图像，并将所剪辑的图像输出到立体显示单元11。图8表示左图像的剪辑范围TL和右图像的剪辑范围TR的例子。0083在常规的方法中，由于其由对象的距离而定，所以水平视差有时过大，并且因此，图像被看作在其中左右图像间的合并极限被超过的重叠视图参见图9A。另一方面，根据本实施例，基于所检测的代表视差，对图像进行剪辑以便显示。因此，能减少焦点对准的主要对象的视差参见图9B。说明书CN101964919ACN101964920A1/7页13图1说明书附图CN101964919ACN101964920A2/7页14图2图3A图3B说明书附图CN101964919ACN101964920A3/7页15图4说明书附图CN101964919ACN101964920A4/7页16图5说明书附图CN101964919ACN101964920A5/7页17图6说明书附图CN101964919ACN101964920A6/7页18图7说明书附图CN101964919ACN101964920A7/7页19图8图9A图9B说明书附图CN101964919A。