摄像设备及其控制方法.pdf

本发明涉及一种摄像设备及其控制方法。所述摄像设备包括：第一摄像单元；第二摄像单元；姿势检测单元，用于检测所述摄像设备的姿势；合成单元，用于将所述第二摄像单元所拍摄到的图像和所述第一摄像单元所拍摄到的图像合成为合成图像；以及控制单元，用于对将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像进行合成的合成位置进行控制。所述控制单元根据所述姿势检测单元所检测到的所述摄像设备的姿势来改变所述合成位置。

权利要求书1.  一种摄像设备，包括：第一摄像单元；第二摄像单元；姿势检测单元，用于检测所述摄像设备的姿势；合成单元，用于将所述第二摄像单元所拍摄到的图像和所述第一摄像单元所拍摄到的图像合成为合成图像；以及控制单元，用于在所述合成单元中通过将所述第二摄像单元所拍摄到的图像叠加在所述第一摄像单元所拍摄到的图像上来获得所述合成图像的情况下，对将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像进行合成的合成位置进行控制，其中，所述控制单元根据所述姿势检测单元所检测到的所述摄像设备的姿势来改变所述合成位置。2.  根据权利要求1所述的摄像设备，其中，还包括记录单元，所述记录单元用于将所述合成单元合成后的所述合成图像记录在记录介质中。3.  根据权利要求1所述的摄像设备，其中，还包括显示控制单元，所述显示控制单元用于将所述合成图像显示在显示单元上。4.  根据权利要求2所述的摄像设备，其中，还包括显示控制单元，所述显示控制单元用于将所述合成图像显示在显示单元上，其中，所述控制单元对合成位置进行控制，以使得要记录在所述记录介质中的合成图像上的合成位置与要显示在所述显示单元上的合成图像上的合成位置基本相同，以及在所述姿势检测单元所检测到的所述摄像设备的姿势是第一姿势的情况下，所述控制单元对合成位置进行控制，以使得要记录在所述记录介质中的合成图像上的合成位置不同于要显示在所述显示单元上的合成图像上的合成位置。5.  根据权利要求4所述的摄像设备，其中，所述第一姿势是所述摄像设备绕光轴转动了90度的纵向姿势。6.  根据权利要求2所述的摄像设备，其中，在所述姿势检测单元所检测到的所述摄像设备的姿势是第一姿势的情况下，所述控制单元进行控制，以使得所述记录单元将所述第二摄像单元所拍摄到的图像与转动后图像合成而得到的合成图像记录在所述记录介质中，其中该转动后图像是使所述第一摄像单元所拍摄到的图像转动所得到的。7.  根据权利要求6所述的摄像设备，其中，在所述姿势检测单元所检测到的所述摄像设备的姿势是所述摄像设备未绕光轴转动的横向姿势的情况下，所述记录单元记录不包括所述第一摄像单元所拍摄到的图像的预定端部区域的合成图像，而在所述姿势检测单元所检测到的所述摄像设备的姿势是所述摄像设备绕光轴转动了90度的纵向姿势的情况下，所述记录单元记录包括所述预定端部区域的合成图像。8.  根据权利要求6所述的摄像设备，其中，还包括记录控制单元，用于控制所述记录单元所进行的图像的记录，其中，所述记录控制单元对记录进行控制，以使得所述记录单元记录具有预定图像大小的合成图像，以及在使所述第一摄像单元所拍摄到的图像转动的情况下，向所述转动后图像添加预定数据，并且所述记录单元记录包括添加有所述预定数据的所述转动后图像的合成图像。9.  根据权利要求8所述的摄像设备，其中，在所述姿势检测单元所检测到的所述摄像设备的姿势是所述第一姿势的情况下，所述控制单元对所述合成位置进行控制，以使得在没有添加所述预定数据的区域上的位置处合成所述第二摄像单元所拍摄到的图像。10.  根据权利要求8所述的摄像设备，其中，在使图像转动的情况下，所述记录控制单元将所述预定数据添加至所述转动后图像的两个相对边各 自的外侧。11.  根据权利要求2所述的摄像设备，其中，还包括记录控制单元，所述记录控制单元用于控制所述记录单元所进行的图像的记录，其中，所述记录控制单元对记录进行控制，以使得在所述摄像设备处于第一姿势的情况下，所述记录单元将包括所述第一摄像单元所拍摄到的图像的预定端部区域的合成图像记录在所述记录介质中，并且在所述摄像设备处于第二姿势的情况下，所述记录单元将不包括所述第一摄像单元所拍摄到的图像的所述预定端部区域的合成图像记录在所述记录介质中。12.  根据权利要求4所述的摄像设备，其中，要显示在所述显示单元上的合成图像的高宽比不同于要记录在所述记录介质中的合成图像的高宽比。13.  根据权利要求4所述的摄像设备，其中，所述控制单元对合成位置进行控制，以使得对于要显示在所述显示单元上的合成图像，与所述摄像设备的姿势无关地、在所述第一摄像单元所拍摄到的图像中除预定端部区域以外的区域内的位置处合成所述第二摄像单元所拍摄到的图像，并且对于要记录在所述记录介质中的合成图像，在所述摄像设备处于所述第一姿势的情况下，在包括所述预定端部区域的区域内的位置处合成所述第二摄像单元所拍摄到的图像，而在所述摄像设备处于第二姿势的情况下，在所述第一摄像单元所拍摄到的图像中除所述预定端部区域以外的区域内的位置处合成所述第二摄像单元所拍摄到的图像。14.  根据权利要求2所述的摄像设备，其中，还包括记录控制单元，所述记录控制单元用于控制所述记录单元所进行的图像的记录，其中，所述记录控制单元对记录进行控制，以使得所述记录单元将所述第一摄像单元响应于静止图像拍摄指示所拍摄到的静止图像记录在所述记录介质中，并且还记录通过将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像合成所获得的运动图像。15.  根据权利要求1所述的摄像设备，其中，所述控制单元对所述合成位置进行控制，以使得与所述姿势检测单元所检测到的所述摄像设备的姿势是第二姿势的情况相比，在所述姿势检测单元所检测到的所述摄像设备的姿势是第一姿势的情况下的合成位置更接近所述第一摄像单元所拍摄到的图像的端部。16.  一种摄像设备的控制方法，所述摄像设备包括第一摄像单元和第二摄像单元，所述控制方法包括以下步骤：判断步骤，用于判断所述摄像设备的姿势；以及合成步骤，用于将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像进行合成，其中，在所述合成步骤中，根据所述判断步骤中所判断出的所述摄像设备的姿势，来控制将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像合成的位置。

说明书摄像设备及其控制方法
技术领域
本发明涉及包括多个摄像单元的摄像设备及其控制方法。
背景技术
近年来，已存在如下的照相机和移动电话，其中这些照相机和移动电话不仅包括用于拍摄被摄体的图像的主摄像系统(镜头、图像传感器等)，而且还包括例如能够在与被摄体拍摄方向相反的拍摄者方向上拍摄图像的子摄像系统。利用这两个摄像系统来同时拍摄图像、然后将这些图形叠加(合成)，由此还可以同时记录拍摄者的表情。
已讨论了被配置为使用两个摄像系统来同时拍摄图像并且叠加(合成)所拍摄图像的摄像设备，并且该摄像设备在叠加位置方面进行了创新设计。日本特开2013-17125论述了包括如下的多个摄像单元的数字照相机：将一个摄像单元所拍摄到的第一图像显示在液晶监视画面的整个画面上，而将另一摄像单元所拍摄到的第二图像显示在该整个画面内的子画面上。日本特开2013-17125论述了子画面不与第一图像的主被摄体区域(面部检测区域)重复的子画面配置。
然而，该传统技术并未论述根据摄像设备的姿势来确定子画面的位置的处理。
发明内容
本发明是考虑到上述问题而作出的，并且实现了如下配置：在将一个摄像单元所拍摄到的图像与另一摄像单元所拍摄到的图像合成的情况下，考虑到摄像设备的姿势。
为了解决上述问题，本发明提供一种摄像设备，包括：第一摄像单元；第二摄像单元；姿势检测单元，用于检测所述摄像设备的姿势；合成单元，用于将所述第二摄像单元所拍摄到的图像和所述第一摄像单元所拍摄到的图像合成为合成图像；以及控制单元，用于在所述合成单元中通过将所述第二摄像单元所拍摄到的图像叠加在所述第一摄像单元所拍摄到的图像上来获得所述合成图像的情况下，对将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像进行合成的合成位置进行控制，其中，所述控制单元根据所述姿势检测单元所检测到的所述摄像设备的姿势来改变所述合成位置。
为了解决上述问题，本发明提供一种摄像设备的控制方法，所述摄像设备包括第一摄像单元和第二摄像单元，所述控制方法包括以下步骤：判断步骤，用于判断所述摄像设备的姿势；以及合成步骤，用于将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像进行合成，其中，在所述合成步骤中，根据所述判断步骤中所判断出的所述摄像设备的姿势，来控制将所述第二摄像单元所拍摄到的图像与所述第一摄像单元所拍摄到的图像合成的位置。
通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并和说明书一起用来解释本发明的原理。
图1是示出摄像设备的外观图。
图2是示出摄像设备的示意结构框图。
图3是示出根据第一典型实施例的摄像设备在同时记录拍摄模式中的处 理的流程图。
图4示出横向姿势拍摄和纵向姿势拍摄时的实时取景显示和所记录运动图像上的子图像的叠加位置的示例。
图5示出横向姿势拍摄和纵向姿势拍摄时的实时取景显示画面、主拍摄图像、子拍摄图像、运动图像数据和静止图像数据的示例。
图6是示出根据第二典型实施例的摄像设备在同时记录拍摄模式中的处理的流程图。
图7示出横向姿势拍摄和纵向姿势拍摄时的实时取景显示和所记录运动图像上的子图像的叠加位置的示例。
图8示出横向姿势拍摄和纵向姿势拍摄时的实时取景显示画面、主拍摄图像、子拍摄图像、运动图像数据和静止图像数据的示例。
具体实施方式
以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。
以下参考附图来说明本发明的第一典型实施例。
图1是根据本发明第一典型实施例的摄像设备的外观图。图2是该摄像设备的示意结构框图。
连接器31是被配置为使诸如通用串行总线(USB)等的连接线缆和摄像设备10连接到一起的连接器。记录介质20是诸如存储卡或硬盘等的介质。记录介质槽32是要插入记录介质20的槽。插入记录介质槽32中的记录介质20能够与摄像设备10进行通信。盖33是记录介质槽32的盖。将摄像设备10所拍摄到的图像记录在记录介质20中。
中央处理单元(CPU)11是被配置为控制以下所述的各处理单元和数据流程等的控制单元。只读存储器(ROM)12是被配置为存储与CPU 11的处理有关的程序(固件)以及各种类型的信息的非易失性存储器。
显示单元13包括彩色液晶显示器等。显示单元13用于显示所拍摄图像和图像用户界面。显示单元13还包括用于将视频信号输出至诸如电视(TV)等的外部显示装置的端子。摄像设备10的CPU 11可以对显示进行控制，以使得外部显示装置显示所拍摄图像和图形用户界面。
操作单元14被配置为接收用户命令。操作单元14包括各种类型的按钮、箭头键、操纵杆、拨盘开关等。各种类型的按钮包括电源按钮、快门按钮、运动图像拍摄按钮等。CPU 11进行控制，以使得响应于操作单元14所接收到的用户命令来进行相应的处理。操作单元14可以是显示单元13所设置的触摸面板。
动态随机存取存储器(DRAM)15用作CPU 11的工作区域。DRAM 15具有用以临时存储图像数据、要显示的数据、压缩图像数据等的缓冲器功能。通常，CPU 11经由设置在CPU 11和DRAM 15之间的存储器控制器来写入或读取图像，尽管该存储器控制器并未示出。此外，尽管没有示出，在各处理单元和DRAM 15之间设置直接存储器存取(DMA)控制器，以在无需CPU 11的读/写操作的情况下进行DMA传送。
记录介质接口16根据来自CPU 11的命令来对记录进行控制，以将图像数据写入记录介质20或从记录介质20读取图像数据。记录介质20包括诸如存储卡、光盘或硬盘等的可随机存取的记录介质。记录介质20相对于摄像设备10可移除。CPU 11、DRAM 15和记录介质接口16将所拍摄到的静止图像和运动图像记录在记录介质20中。
摄像单元17包括镜头、光圈、快门以及诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器等的图像传感器。摄像单元17是用于对摄像设备10的前面侧、即被摄体侧拍摄图像的主照相机。以下将摄像单元17所拍摄到的图像称为主图像或主拍摄图像，并且将摄像单元17所拍摄到的运动图像称为主运动图像。图像处理电路18对从摄像单元17读取的图像数 据执行诸如白平衡调整和像素插值等的处理，以将该图像数据转换成YUV数据。图像处理电路18还将图像压缩/解压缩电路19要压缩的YUV数据或解压缩后的YUV数据调整大小成任意大小，使该数据转动，以及/或者对该数据执行颜色转换。
图像压缩/解压缩电路19执行用以将YUV数据压缩成联合图片专家组(JPEG)格式的静止图像数据或H.264格式的运动图像数据的压缩处理。图像压缩/解压缩电路19还执行用以将JPEG或H.264格式的压缩图像数据解压缩成YUV数据的解压缩处理。在摄像单元17或子摄像单元22拍摄静止图像的情况下，图像压缩/解压缩电路19将该静止图像压缩成静止图像数据。在摄像单元17或子摄像单元22拍摄运动图像的情况下，图像压缩/解压缩电路19将该运动图像压缩成运动图像数据。在要将记录介质20中所记录的图像显示在显示单元13上的情况下，图像压缩/解压缩电路19对从记录介质20读取的压缩后的静止或运动图像数据进行解压缩。显示单元13基于解压缩后的数据来显示图像。
姿势检测单元21包括倾斜传感器或陀螺仪等。姿势检测单元21检测摄像设备10的姿势(更具体为摄像单元17的朝向)、即摄像设备10绕光轴的转动角度。根据该转动角度，姿势检测单元21判断摄像设备10是处于横向姿势还是纵向姿势，由此检测摄像设备的姿势。在摄像设备10绕光轴转动了90或270度(-90度)的情况下，姿势检测单元21判断为摄像设备10处于纵向姿势。另一方面，在摄像设备10没有绕光轴转动、或者绕光轴转动了180度的情况下，姿势检测单元21判断为摄像设备10处于横向姿势。
子摄像单元22包括镜头、诸如CCD传感器或CMOS传感器等的图像传感器以及图像处理电路。该图像处理电路对从图像传感器读取的图像数据执行诸如白平衡调整和像素插值等的处理以将该图像数据转换成YUV数据，并且输出该YUV数据。摄像单元17和子摄像单元22可以共用图像处理电路18。子 摄像单元22是设置在摄像设备10的前面侧、即拍摄者侧上的子照相机，以拍摄拍摄者或观看显示单元13上所显示的图像的人的图像。主照相机和子照相机的拍摄方向(光轴)彼此平行并且指向相反方向。以下将子摄像单元22所拍摄到的图像称为子图像或子拍摄图像，并且将子摄像单元22所拍摄到的运动图像称为子运动图像。
CPU 11、ROM 12、显示单元13、操作单元14、DRAM 15、记录介质接口(I/F)16、摄像单元17、图像处理电路18、图像压缩/解压缩电路19、姿势检测单元21和子摄像单元22经由内部总线30彼此进行通信。
通常，在按下操作单元14的快门按钮的情况下，摄像单元17拍摄静止图像。所拍摄到的静止图像由图像处理电路18和图像压缩/解压缩电路19进行处理以获得静止图像数据，并且记录介质接口16将该静止图像数据记录在记录介质20中。此外，在按下操作单元14的运动图像拍摄按钮的情况下，摄像单元17拍摄运动图像。所拍摄到的运动图像由图像处理电路18和图像压缩/解压缩电路19进行处理以获得运动图像数据，并且记录介质接口16将该运动图像数据记录在记录介质20中。此外，在摄像设备10待机以进行拍摄或者正拍摄运动图像的情况下，将摄像单元17所拍摄到的图像作为实时取景显示顺次显示在显示单元13上。
根据本典型实施例的摄像设备10具有同时记录拍摄模式。在同时记录拍摄模式中，在按下快门按钮以给出静止图像拍摄命令的情况下，利用摄像单元17拍摄静止图像并将该静止图像记录在记录介质中，并且将在给出静止图像拍摄命令之前利用摄像单元17所拍摄到的运动图像记录在记录介质中。在同时记录拍摄模式中，在静止图像拍摄待机期间临时存储摄像单元17所拍摄到的预定时间段的运动图像。可以使利用摄像单元17在静止图像拍摄之前所拍摄到的预定时间段的运动图像与所拍摄到的静止图像相关联，然后进行记录。此时，可以使运动图像转动然后进行记录，以使得与拍摄期间摄像设备 10的姿势是横向还是纵向无关地，无论再现设备被定位成如何，始终以正立状态再现所拍摄到的运动图像。具体地，根据姿势检测单元31所检测到的转动角度来使运动图像转动，然后进行记录。此外，可以以不同的高宽比拍摄静止图像和运动图像。在将具有静止图像拍摄所用的高宽比(例如，4:3)的视场角作为实时取景显示而显示在显示单元13上的同时，可以以具有不同的高宽比(例如，高清晰度(HD)运动图像16:9)的视场角记录运动图像。具体地，在横向姿势拍摄时，根据摄像区域整体的所拍摄图像生成要显示的数据并将该数据显示作为实时取景显示，同时以运动图像记录所用的高宽比对运动图像进行剪切并以预设的记录图像大小记录该运动图像。另一方面，在纵向姿势拍摄时，在无需以记录高宽比进行剪切的情况下，使摄像区域整体的所拍摄图像转动90度并且调整大小。然后，向转动并调整大小后的图像的右边和左边分别添加余量(margin)图像(通常为黑色图像)，然后将该图像记录作为具有横向高宽比的运动图像。如这里所使用的，术语“摄像区域整体”是指摄像单元17所拍摄到的图像的整个区域。可选地，摄像区域整体可以是记录和显示时所使用的摄像单元17所拍摄到的图像的有效区域。此外，尽管在本典型实施例中向右边和左边分别添加余量图像，但根据记录图像大小和拍摄图像大小，还可能存在向上边和下边分别添加余量图像的情况。换句话说，向摄像单元17所拍摄到的图像的两个相对边各自的外侧添加余量图像。此外，在本典型实施例中添加黑色数据作为余量图像，但要添加作为余量图像的数据不限于黑色数据，并且可以添加白色数据或预设的图像数据作为余量图像。
此外，在同时记录拍摄模式中，可以将如下的画中画(PinP)图像显示作为实时取景显示并记录作为运动图像，其中在该PinP图像中，将由安装至摄像设备10的背面的子摄像单元22所拍摄到的拍摄者图像叠加在摄像单元17所拍摄到的被摄体图像上。
图3是示出摄像设备10在同时记录拍摄模式中所执行的拍摄处理的操作 的流程图。CPU 11根据从ROM 12读取的程序来控制各单元以实现图3所示的操作。图4示出横向姿势拍摄和纵向姿势拍摄(向右90度/向左90度)时的实时取景显示和运动图像上的子图像的叠加位置的示例。图5示出横向姿势拍摄和纵向姿势拍摄(向右90度/向左90度)时的主拍摄图像、子拍摄图像、实时取景显示画面、运动图像数据和静止图像数据的示例。
在拍摄者对操作单元14的模式拨盘进行操作以将摄像设备10设置为同时记录拍摄模式的情况下，开始图3所示的流程。
在步骤S101中，CPU 11在显示单元13上显示实时取景显示时，确定根据子摄像单元22拍摄到的子拍摄图像所生成的要显示的子数据在根据摄像单元17拍摄到的主拍摄图像所生成的要显示的主数据上的叠加位置(合成位置)。在本典型实施例中，要显示的数据的叠加位置仅基于摄像设备10的设置(子图像显示位置的设置)来确定，而并不依赖于摄像设备10的姿势。换句话说，叠加位置不依赖于拍摄是横向姿势拍摄还是纵向姿势拍摄。
在步骤S102中，CPU 11利用姿势检测单元21来检测摄像设备10的姿势，并且将与所检测到的摄像设备10的当前姿势有关的信息存储在DRAM 15中。
在步骤S103中，CPU 11在运动图像记录时，确定根据子摄像单元22拍摄到的图像所生成的要记录的子数据在根据摄像单元17拍摄到的图像所生成的要记录的主数据上的叠加位置(合成位置)。在本典型实施例中，基于摄像设备10的设置(子图像显示位置的设置)和步骤S102中所检测到的并且存储在DRAM 15中的摄像设备的姿势来确定叠加位置。在横向姿势拍摄的情况下，记录通过从所拍摄到的主图像区域整体(摄像区域整体)剪切出上下端部区域所定义的区域。另一方面，在纵向姿势拍摄的情况下，记录主图像数据整体(摄像区域整体)。这是因为，子图像在叠加在图像数据的端部的情况下，不太可能覆盖被摄体。因而，将子图像叠加在要记录的主图像的区域的端部上。因此，要记录的数据中的子图像在主图像上的叠加位置根据摄像设备10的姿 势、即根据拍摄是横向姿势拍摄还是纵向姿势拍摄而改变。
以下参考图4来详细说明根据本典型实施例的横向姿势拍摄和纵向姿势拍摄(向右90度/向左90度)时的、实时取景显示上的子图像的叠加位置(叠加显示位置)和运动图像上的子图像的叠加位置(叠加记录位置)。实时取景显示和运动图像中的虚线仅是为了说明，而没有显示或记录在运动图像中。
在根据本典型实施例的同时记录拍摄模式中，可以从处于正位置即横向姿势的摄像设备10的显示单元13的左上101、右上102、左下103和右下104中选择实时取景显示上的子图像的叠加位置。在同时记录拍摄模式中，摄像设备10在按下快门按钮时拍摄静止图像，并且显示单元13显示具有高宽比为4:3的视场角的静止图像作为实时取景显示。在将具有高宽比为4:3的视场角的静止图像显示作为实时取景显示的同时，可以将如下的具有高宽比为16:9的视场角的HD运动图像连同该静止图像一起进行记录，其中该HD运动图像是通过剪切掉作为实时取景显示而显示的图像中的上下端部区域所获得的。此外，在同时记录拍摄模式中，将子图像叠加在要记录的运动图像上，而不将子图像叠加在要记录的静止图像上、并且仅记录主图像。由于该原因，子图像配置在虚线所定义的、并且除未记录在运动图像中的上下端部区域105以外的内侧区域内。换句话说，子图像配置在实时取景显示上的拍摄区域中的要记录作为运动图像的区域内。由于在本典型实施例中、子图像的叠加显示位置不根据摄像设备10的姿势而改变，因此即使在摄像设备10改变为纵向姿势的情况下，显示单元13上的子图像的叠加显示位置也不改变。也就是说，在摄像设备10向右转动了90度的状态下：在处于横向姿势的摄像设备10的显示单元13上的叠加显示位置是左上101的情况下，子图像的叠加显示位置是位置106；在处于横向姿势的摄像设备10的显示单元13上的叠加显示位置是右上102的情况下，子图像的叠加显示位置是位置107；在处于横向姿势的摄像设备10的显示单元13上的叠加显示位置是左下103的情况下，子图像的叠 加显示位置是位置108；或者在处于横向姿势的摄像设备10的显示单元13上的叠加显示位置是右下104的情况下，子图像的叠加显示位置是位置109。另一方面，在摄像设备10向左转动了90度的状态下：在处于横向姿势的摄像设备10的显示单元13上的叠加显示位置是左上101的情况下，叠加显示位置是位置111；在处于横向姿势的摄像设备10的显示单元13的叠加显示位置是右上102的情况下，叠加显示位置是位置112；在处于横向姿势的摄像设备10的显示单元13上的叠加显示位置是左下103的情况下，叠加显示位置是位置113；或者在处于横向姿势的摄像设备10的显示单元13上的叠加显示位置是右下104的情况下，叠加显示位置是位置114。
另一方面，要记录的运动图像上的子图像的叠加位置根据摄像设备10的姿势而改变。
在摄像设备10处于横向姿势的情况下，将子图像叠加在与实时取景显示上的叠加位置相同的位置。在横向姿势时的实时取景显示上的叠加显示位置是左上101的情况下，将子图像叠加并记录在位置116上。在横向姿势时的实时取景显示上的叠加显示位置是右上102的情况下，将子图像叠加并记录在位置117上。在横向姿势时的实时取景显示上的叠加显示位置是左下103的情况下，将子图像叠加并记录在位置118上。在横向姿势时的实时取景显示上的叠加显示位置是右下104的情况下，将子图像叠加并记录在位置119上。
在纵向姿势拍摄时，在实时取景显示上将子图像叠加在远离主图像的上下端部的位置上，而在所记录运动图像中将子图像配置在主图像的区域的上端部或下端部。这是因为在所记录运动图像中没有记录实时取景显示上的上下端部区域105，但是，叠加子图像以使得在实时取景显示上子图像在主图像上的叠加位置与所记录运动图像上的叠加位置大致相同。
在将摄像设备10改变为纵向姿势的情况下，在不进行剪切的情况下使所拍摄图像转动90度并且调整大小。然后，向所拍摄图像的右边和左边分别添 加余量图像，然后将该图像记录作为运动图像。由于叠加显示位置不根据摄像设备10的姿势而改变，因此在摄像设备10处于横向姿势的情况下未记录在所记录运动图像数据中的区域110和115在摄像设备10处于纵向姿势的情况下被记录在所记录运动图像中，但将实时取景显示上的叠加显示位置设置在内侧区域内以避开端部区域110或115。另一方面，在摄像设备10处于横向姿势的情况下未记录在所记录运动图像中的端部区域124和129在摄像设备10处于纵向姿势的情况下被记录在所记录运动图像中。因而，将叠加记录位置设置在包括各自均是主图像的端部且在横向姿势拍摄时未被记录的端部区域124或129的区域内。换句话说，在摄像设备10向右转动了90度的状态下，在叠加显示位置是位置106的情况下将子图像叠加并记录在位置120中。在叠加显示位置是位置107的情况下将子图像叠加并记录在位置121中。在叠加显示位置是位置108的情况下将子图像叠加并记录在位置122中。在叠加显示位置是位置109的情况下将子图像叠加并记录在位置123中。另一方面，在摄像设备10向左转动了90度状态下，在叠加显示位置是位置111的情况下将子图像叠加并记录在位置125中。在叠加显示位置是位置112的情况下将子图像叠加并记录在位置126中。在叠加显示位置是位置113的情况下将子图像叠加并记录在位置127中。在叠加显示位置是位置114的情况下将子图像叠加并记录在位置128中。如前面所述，在本典型实施例中，在摄像设备10处于纵向姿势的情况下，将子图像叠加在主图像上，以使得在实时取景显示上的子图像的叠加位置不同于在所记录运动图像上的叠加位置。
以上述方式，在步骤S101和S103中分别确定了实时取景显示所用的要显示的数据的叠加位置和运动图像记录所用的要记录的数据的叠加位置。
在步骤S104中，CPU 11捕获摄像单元17所拍摄到的主运动图像帧。
在步骤S105中，CPU 11使图像处理电路18对步骤S104中所捕获到的主图像数据进行诸如白平衡调整和像素插值等的处理，将处理后的数据转换成 YUV数据，并且将该YUV数据写入DRAM 15。此时，与摄像设备10的姿势无关地，根据高宽比为4:3的摄像区域来直接生成高宽比为4:3的YUV数据。
在步骤S106中，CPU 11捕获子摄像单元22所拍摄到的子运动图像帧。在该步骤中，CPU 11使图像处理电路18对所拍摄到的子图像数据进行诸如白平衡调整和像素插值等的处理，将处理后的数据转换成YUV数据，并且将该YUV数据写入DRAM 15。
在步骤S107中，CPU 11使图像处理电路18根据步骤S105中所生成的主YUV数据来生成要作为实时取景显示而显示在显示单元13上的主数据，并且CPU 11将要显示的主数据写入DRAM 15。在该步骤中，图像处理电路18对YUV数据执行用以将YUV数据调整大小为显示数据大小的处理、以及用以合成余量图像以使得高宽比变为与显示单元13的高宽比相同的处理等。CPU11控制图像处理电路18的调整大小处理和余量图像合成处理，以使得与摄像设备10的姿势无关地，将步骤S105中所生成的主YUV数据全部显示在显示单元13上。
在步骤S108中，CPU 11使图像处理电路18根据步骤S106中所捕获到的子YUV数据来生成要作为实时取景显示而显示在显示单元13上的子数据，并且CPU 11将要显示的子数据写入DRAM 15。在该步骤中，图像处理电路18对YUV数据执行调整大小处理以将YUV数据调整大小为显示数据大小。
在步骤S109中，CPU 11获取DRAM 15中所存储的与摄像设备10的姿势有关的信息，然后判断运动图像缓冲开始时的摄像设备10的姿势是横向姿势还是纵向姿势。
在步骤S109中，如果在运动图像缓冲开始时的摄像设备10的姿势是横向姿势，则在步骤S110中，CPU 11控制图像处理电路18以从所生成的主YUV数据中剪切运动图像记录视场角区域。换句话说，图像处理电路18剪切以上参考图4所述的、除上下端部区域105以外的要记录作为运动图像的区域。可 以通过读取步骤S105中所生成的主YUV数据整体然后再应用图像处理电路18的窗函数、或者通过仅读取运动图像记录视场角区域，来剪切该运动图像记录视场角区域。这样，从高宽比为4:3的主YUV数据中剪切高宽比为16:9的主运动图像记录视场角区域。
在步骤S111中，CPU 11使图像处理电路18将在步骤S110中剪切出运动图像记录视场角的主YUV数据调整大小为运动图像记录大小，由此生成要记录作为运动图像的主数据。
在步骤S112中，CPU 11使图像处理电路18将步骤S106中所捕获到的子YUV数据调整大小为运动图像记录大小，由此生成要记录作为运动图像的子数据。
另一方面，在运动图像缓冲开始时的摄像设备10的姿势是纵向姿势的情况下，在步骤S113中，CPU 11使图像处理电路18执行用以使步骤S105中所生成的主YUV数据转动90度的转动处理。然后，CPU 11对利用图像处理电路18进行转动后的主YUV数据进行调整大小，以使得在维持长边和短边之间的比的同时，将该主YUV数据的长边的长度调整大小为运动图像记录的短边的长度。具体地，在运动图像记录大小为HD(1280×720个像素)的情况下，将图像数据调整大小为540×720个像素，以使得图像数据的长边的长度变为720。
在步骤S114中，CPU 11控制图像处理电路18以将示出诸如黑色图像的空白的预定图像与调整大小后的图像的右边和左边分别合成，以使得图像整体的大小变为运动图像记录大小。具体地，在运动图像记录大小为HD(1280×720个像素)的情况下，向540×720个像素的图像数据的右边和左边分别添加370×720个像素的黑色图像，由此合计生成1280×720个像素的要压缩的图像数据。
在步骤S115中，CPU 11使图像处理电路18执行用以使步骤S106中所生成 的子YUV数据转动90度的转动处理，并且CPU 11在维持长边和短边之间的比的同时，将转动后的数据调整大小为子运动图像记录大小，由此生成要记录作为运动图像的子数据。
一旦生成了要记录作为运动图像的主数据和子数据，在步骤S116中，CPU 11使图像处理电路18根据步骤S103中所确定的要记录的数据的叠加位置(叠加记录位置)来将记录所用的子数据与记录所用的主数据合成。
在步骤S117中，CPU 11使图像压缩/解压缩电路19使用诸如运动图片专家组(MPEG)方法或运动JPEG方法等的运动图像压缩方法来对在步骤S116中通过将子图像与主图像合成所生成的记录所用的叠加数据进行压缩。
在步骤S118中，CPU 11将在步骤S117中进行压缩后的运动图像数据临时存储在DRAM 15上的运动图像缓冲区域中。
一旦生成了要显示的主图像和子图像，在步骤S119中，CPU 11使图像处理电路18根据步骤S101中所确定的要显示的数据的叠加位置(叠加显示位置)来将显示所用的子数据和显示所用的主数据合成。
在步骤S120中，CPU 11将在步骤S119中通过将子图像与主图像合成所生成的显示所用的叠加数据显示在显示单元13上。换句话说，更新显示单元13上的实时取景显示。
在步骤S121中，CPU 11判断用户是否进行操作单元14的快门按钮(释放开关)的半按下操作(SW1)。也就是说，CPU 11判断用户是否输入静止图像拍摄准备命令。在步骤S121中，如果CPU 11判断为没有输入静止图像拍摄准备命令(SW1)(步骤S121中为“否”)，则处理进入步骤S123。在步骤S123中，CPU11判断用户是否对操作单元14进行操作或者触摸并操作显示单元13以输入用以改变子图像的显示位置的命令。在步骤S123中，如果CPU 11判断为输入了用以改变子图像的显示位置的命令(步骤S123中为“是”)，则在步骤S124中，CPU 11临时停止运动图像缓冲并且丢弃DRAM 15上的运动图像缓冲区域中 所临时存储的压缩运动图像数据。然后，处理返回至步骤S101，并且CPU 11继续针对下一帧的处理。另一方面，在步骤S123中，如果CPU 11判断为没有输入用以改变子图像的显示位置的命令(步骤S123中为“否”)，则处理进入步骤S125。
在步骤S125中，CPU 11将DRAM 15中所存储的与摄像设备10的姿势有关的信息与姿势检测单元21所检测到的摄像设备10的当前姿势进行比较，并且CPU 11判断摄像设备10的姿势是否改变。在步骤S125中，如果CPU 11判断为摄像设备10的姿势改变(步骤S125中为“是”)，则在步骤S126中，CPU 11临时停止运动图像数据缓冲并且丢弃DRAM 15上的运动图像缓冲区域中所临时存储的压缩运动图像数据。然后，处理返回至步骤S102，并且CPU 11继续针对下一帧的处理。另一方面，在步骤S125中，如果CPU 11判断为摄像设备10的姿势没有改变(步骤S125中为“否”)，则处理返回至步骤S104，并且CPU 11继续针对下一帧的处理。
另一方面，在步骤S121中，如果CPU 11判断为用户输入了静止图像拍摄准备命令(SW1)(步骤S121中为“是”)，则CPU 11执行静止图像拍摄准备处理(针对摄像单元17的调焦控制、曝光控制等)。在步骤S122中，CPU 11判断用户是否进行针对操作单元14的快门按钮(释放开关)的全按下操作(SW2)。也就是说，CPU 11判断用户是否输入静止图像拍摄命令。
在步骤S122中，如果CPU 11判断为没有输入静止图像拍摄命令(SW2)(步骤S122中为“否”)，则处理返回至步骤S104，并且CPU 11继续针对下一帧的处理。
另一方面，在步骤S122中，如果CPU 11判断为用户输入了静止图像拍摄命令(步骤S122中为“是”)，则在步骤S127中，CPU 11停止运动图像缓冲并且使摄像单元17拍摄静止图像帧。
在步骤S128中，CPU 11使图像处理电路18将步骤S127中所拍摄到的静止 图像帧的图像数据转换成YUV数据，然后使图像压缩/解压缩电路19以JPEG格式对该YUV数据进行压缩。
在步骤S129中，CPU 11将所获取到的静止图像文件经由记录介质接口16记录在记录介质20中。
在步骤S130中，CPU 11将DRAM 15上的运动图像缓冲区域中所临时存储的压缩运动图像数据记录在记录介质20中。在同时记录拍摄模式中，在记录压缩运动图像数据时，将该压缩运动图像数据添加至预定的运动图像文件并进行记录。因而，可以通过简单地再现一个运动图像文件来连续再现通过进行多次静止图像拍摄所拍摄到的运动图像。此外，可以在拍摄日期改变或运动图像文件的记录大小超过预定大小时创建新的运动图像文件，之后可以向该新的运动图像文件添加运动图像。此外，可以将要添加的各运动图像数据分割成章，并且可以将与步骤S129中所记录的静止图像文件如何与运动图像的章相对应有关的关联信息添加至静止图像文件或运动图像文件并进行记录。
然后，静止图像和运动图像的拍摄处理结束。在继续同时记录拍摄模式的情况下，处理返回至步骤S102以重复该处理。
执行上述拍摄处理以使得例如在横向姿势拍摄时要将子图像显示在显示单元13的右下150的情况下，如图5所示显示实时取景显示并且记录图像。在横向姿势拍摄时将实时取景显示上的子图像显示在显示单元13的右下150的情况下，在纵向姿势拍摄时显示单元13上的子图像的显示位置不变，并且将子图像显示在位置151或152处。另一方面，在要记录的运动图像数据上，在横向姿势拍摄时在位置153处合成子图像，以使得该位置关系与实时取景显示上的位置150的位置关系相同。在纵向姿势拍摄时，在位置154或155处分别记录子图像，其中该位置154或155各自在与实时取景显示上的位置151或152的方向相同的方向上并且接近主图像的摄像区域的端部。关于静止图 像，与姿势无关地，在无需转动或空白的添加的情况下记录摄像区域整体。
以上述方式，每次摄像设备10的姿势改变时，子图像的显示位置均不改变，并且在所记录运动图像上子图像始终配置在主图像的摄像区域的端部处，由此可以改善显示上的布局和所记录的运动图像的外观。
在本典型实施例中，响应于静止图像拍摄命令，记录了主照相机(摄像单元17)所拍摄到的静止图像以及高宽比与静止图像的高宽比不同的运动图像。通过将子运动图像叠加合成在接收到静止图像拍摄命令之前所拍摄到的主运动图像上来获得运动图像。可选地，响应于静止图像拍摄命令，可以记录所拍摄图像，并且可以将子图像和高宽比与所拍摄图像的高宽比不同的主图像合成，以使得获得合成图像并将该合成图像记录作为静止图像。图5中的实时取景显示、主拍摄图像和运动图像数据内的线仅表示在横向姿势的情况下要记录的区域，并且该线既不显示也不记录。
根据第二典型实施例的摄像设备10具有与第一典型实施例相同的同时记录拍摄模式，并且能够记录在静止图像拍摄的布局确定步骤中确定的一定时间段的运动图像，以使得这些运动图像与所拍摄到的静止图像相关联。此外，与第一典型实施例相同，在同时记录拍摄模式中，将安装至摄像设备10的背面的子摄像单元22所拍摄到的拍摄者图像叠加在摄像单元17所拍摄到的被摄体图像上，并且将该叠加图像显示作为实时取景显示并记录作为运动图像。此时，不同于第一典型实施例，要显示的数据的叠加位置(合成位置)根据摄像设备10的设置和姿势而改变，以使得主图像和子图像之间的位置关系相对于摄像设备10的垂直方向保持相同。也就是说，在摄像设备10处于横向姿势时、子图像配置在显示画面的右下的情况下，即使摄像设备10的姿势改变为纵向姿势，叠加位置也改变以使得相对于摄像设备10处于纵向姿势时的显示画面的垂直方向、子图像配置在右下。此外，所记录的运动图像上的叠加位置(合成位置)根据摄像设备10的姿势而改变，以使得实时取景显示上 子图像在主图像上的位置与要记录的运动图像数据的情况相同。
图6是示出摄像设备10在同时记录拍摄模式中所执行的拍摄处理的操作的流程图。CPU 11根据从ROM 12读取的程序来控制各单元以实现图6所示的操作。图7示出横向姿势拍摄和纵向姿势拍摄(向右90度/向左90度)时的、实时取景显示上的子图像的叠加位置和要记录的运动图像数据上的子图像在主图像上的叠加位置的示例。图8示出横向姿势拍摄和纵向姿势拍摄(向右90度/向左90度)时的主拍摄图像、子拍摄图像、实时取景显示、运动图像数据和静止图像数据的示例。
在拍摄者对操作单元14的模式拨盘进行操作以将摄像设备10设置为同时记录拍摄模式的情况下，开始图6所示的流程。
在步骤S201中，CPU 11使姿势检测单元21检测摄像设备10的姿势并且将与所检测到的摄像设备10的当前姿势有关的信息存储在DRAM 15中。
在步骤S202中，CPU 11基于摄像设备10的子图像显示位置设置和姿势来确定实时取景显示时的子图像在显示单元13上的叠加位置(合成位置)。也就是说，CPU 11确定根据子摄像单元22拍摄到的图像所生成的显示所用的子数据相对于根据摄像单元17拍摄到的图像所生成的显示所用的主数据的叠加位置(合成位置)。
在步骤S203中，CPU 11基于摄像设备10的子图像显示位置设置和姿势来确定叠加位置(合成位置)。也就是说，CPU 11在运动图像记录时，确定根据子摄像单元22拍摄到的图像所生成的记录所用的子数据相对于根据摄像单元17拍摄到的图像所生成的记录所用的主数据的叠加位置(合成位置)。
以下参考图7来详细说明根据本典型实施例的横向姿势拍摄和纵向姿势拍摄(向右90度/向左90度)时的实时取景显示上和运动图像上的子图像的叠加位置。实时取景显示和运动图像中的虚线仅是为了说明横向姿势拍摄时所记录的区域，而没有显示或记录在运动图像中。
在根据本典型实施例的同时记录拍摄模式中，可以从处于正位置即横向姿势的摄像设备10的显示单元13的左上201、右上202、左下203和右下204中选择实时取景显示上的子图像的叠加位置。在同时记录拍摄模式中，摄像设备10在按下快门按钮时拍摄静止图像，并且显示单元13将具有高宽比为4:3的视场角的静止图像显示作为实时取景显示。在将具有高宽比为4:3的视场角的静止图像显示作为实时取景显示的同时，可以将如下的具有高宽比为16:9的视场角的HD运动图像连同该静止图像一起进行记录，其中该HD运动图像是通过剪切作为实时取景显示而显示的图像的上下端部区域所获得的。此外，在同时记录拍摄模式中，在记录所用的运动图像上叠加子图像，而不在要记录的静止图像上叠加子图像并且仅记录主图像。由于该原因，子图像配置在虚线所定义的并且除未记录在运动图像中的上下端部区域205以外的内侧区域内。换句话说，子图像配置在实时取景显示上的拍摄区域中的作为运动图像所记录的区域内。
另一方面，在纵向姿势拍摄时，使高宽比为4:3的静止图像视场角整体转动90度并且调整大小。然后，向该图像的右边和左边分别添加余量图像(通常为黑色图像)，然后将该图像记录作为运动图像。换句话说，将显示作为实时取景显示的主图像的区域整体记录作为运动图像。因而，不存在未被记录作为运动图像的区域，并且记录了包括各自在横向姿势拍摄时均未记录在所记录运动图像中的端部区域210或215的区域。子图像配置在主图像的端部并且显示作为实时取景显示，并且子图像还配置在包括端部区域210或215的区域上并且记录在所记录运动图像中。
在本典型实施例中，显示单元13上的子图像的叠加显示位置根据摄像设备10的姿势而改变，以使得子图像始终配置在要记录作为运动图像的区域的端部处，而与摄像设备10是处于横向姿势还是纵向姿势无关，并且此外，子图像始终配置在与摄像设备的垂直方向相同的方向上。也就是说，在摄像设 备10向右转动了90度的状态下，在处于横向姿势的摄像设备10上的叠加显示位置是左上201的情况下，叠加显示位置是向右转动了90度的摄像设备10的左上206。在处于横向姿势的摄像设备10上的叠加显示位置是右上202的情况下，叠加显示位置是右上207。在处于横向姿势的摄像设备10上的叠加显示位置是左下203的情况下，叠加显示位置是左下208。在处于横向姿势的摄像设备10上的叠加显示位置是右下204的情况下，叠加显示位置是右下209。另一方面，在摄像设备10向左转动了90度的状态下，在处于横向姿势的摄像设备10上的叠加显示位置是左上201的情况下，叠加显示位置是向左转动了90度的摄像设备10的左上211。在处于横向姿势的摄像设备10上的叠加显示位置是右上202的情况下，叠加显示位置是右上212。在处于横向姿势的摄像设备10上的叠加显示位置是左下203的情况下，叠加显示位置是左下213。在处于横向姿势的摄像设备10上的叠加显示位置是右下204的情况下，叠加显示位置是右下214。
另一方面，所记录的运动图像上的子图像的叠加位置与实时取景显示上的叠加位置相同。换句话说，与实时取景显示的情况相同，根据摄像设备10的姿势来确定叠加位置。在横向姿势时的实时取景显示上的叠加显示位置是左上201的情况下，在位置216处叠加并记录子图像。在横向姿势时的实时取景显示上的叠加显示位置是右上202的情况下，在位置217处叠加并记录子图像。在横向姿势时的实时取景显示上的叠加显示位置是左下203的情况下，在位置218处叠加并记录子图像。在横向姿势时的实时取景显示上的叠加显示位置是右下204的情况下，在位置219处叠加并记录子图像。在摄像设备10向右转动了90度的情况下，在叠加显示位置是位置206的情况下，在位置220处叠加并记录子图像。在叠加显示位置是位置207的情况下，在位置221处叠加并记录子图像。在叠加显示位置是位置208的情况下，在位置222处叠加并记录子图像。在叠加显示位置是位置209的情况下，在位置223处叠加并记录 子图像。在摄像设备10向左转动了90度的情况下，在叠加显示位置是位置211的情况下，在位置224处叠加并记录子图像。在叠加显示位置是位置212的情况下，在位置225处叠加并记录子图像。在叠加显示位置是位置213的情况下，在位置226处叠加并记录子图像。在叠加显示位置是位置214的情况下，在位置227处叠加并记录子图像。也就是说，在纵向姿势拍摄时，与第一典型实施例相同，子图像的叠加位置改变为主图像的端部区域，并且子图像在主图像上的叠加位置改变为转动了与摄像设备10的姿势相对应的角度的叠加位置。
如前面所述，在本典型实施例中，叠加子图像，以使得实时取景显示上的子图像的叠加位置与所记录的运动图像的情况相同。因而，横向姿势时子图像在主图像上的叠加位置相对于纵向姿势的情况改变。在横向姿势时，子图像叠加在除没有记录在所记录运动图像中的端部区域以外的区域内，而在纵向姿势时，子图像配置在包括端部区域的区域内。因此，在横向姿势时，子图像配置在相对于帧图像的端部沿短边方向远离了与端部区域210或215相对应的预定距离的位置。
步骤S204～S230与第一典型实施例中的步骤S104～S130相同，因而省略了针对这些步骤的说明。
执行上述拍摄处理，以使得如图8所示，在纵向姿势时，子图像配置在要记录的区域的端部处，以使得相对于画面的垂直方向与中横向姿势拍摄时实时取景显示的垂直方向相同。具体地，在子图像显示在显示单元13的右下250的情况下，子图像显示在位置251或252处。另一方面，在要记录的运动图像数据上，子图像记录在位置253、254和255处，以使得位置关系分别与实时取景显示上的位置250、251和252的位置关系相同。图8中的实时取景显示、主拍摄图像和运动图像数据内的线仅用于指定横向姿势时要记录的区域，而不显示或记录该线。
以上述方式，响应于摄像设备10的姿势的变化来重新定位子图像的显示位置，以使得子图像的显示位置始终在与摄像设备10的垂直方向相同的方向上并且在要记录的运动图像上的摄像区域的端部处，由此可以改善显示器上的布局和所记录运动图像的外观。
其它实施例
尽管上述说明了本发明的适当实施例，但应当理解，这些典型实施例并不意图限制本发明的范围，并且可以在本发明的精神内以各种方式进行修改和改变。
尽管上述典型实施例说明了应用了本发明的摄像设备作为示例，但还可以在包括照相机的移动电话或诸如便携式游戏机等的电子装置中应用本发明。此外，代替利用一个设备来实现上述典型实施例的功能，可以利用如下系统来实现摄像设备的操作，其中在该系统中，诸如包括多个摄像单元和姿势检测单元的摄像设备、包括显示单元的显示设备以及包括CPU、ROM和DRAM的控制设备等的多个设备连接到一起。此外，可以适当组合并实现上述典型实施例中的一部分。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。