图像处理装置.pdf

本发明的图像处理装置包括：显示控制单元，按照其再现顺序显示分别与多个图像片段对应的多个代表图像，并在显示装置上显示与上述多个代表图像并列地显示按照其再现顺序表示多个声音片段的声音通道的故事板；变更单元，使用显示在上述显示装置中的故事板，变更上述多个图像片段和多个声音片段的再现顺序。上述显示控制单元，在上述声音通道中，在与上述多个代表图像的左端对应的第1预定位置或者与右端对应的第2预定位置的任一位置，显示上述声音片段的界限。

1.  一种图像处理装置，其特征在于，包括：
显示控制装置，在显示装置上显示故事板，该故事板按照其再现顺序显示分别与多个图像片段对应的多个代表图像，并与上述多个代表图像并列地显示按照该再现顺序表示多个声音片段的声音通道，上述显示控制装置，在上述声音通道中，在与上述多个代表图像的左端对应的第1预定位置或者与右端对应的第2预定位置中的任一位置上，显示上述声音片段的界限；以及
变更装置，使用显示在上述显示装置的故事板，变更上述多个图像片段和多个声音片段的再现顺序。

2.  根据权利要求1所述的图像处理装置，其特征在于：
在从起始的上述声音数据到第n个声音数据(n＞0)的再现时间的合计比起始的上述图像片段的再现时间短时，上述显示控制装置将包括从上述起始的声音数据到第n个声音数据的、起始的声音片断的前端，显示在上述声音通道的左端，在与上述起始的图像片段的代表图像对应的上述第2预定位置，显示上述起始的声音片段的末端的界限。

3.  根据权利要求1所述的图像处理装置，其特征在于：
当在第m个上述图像片段(m＞1)的再现期间中途，起始的上述声音片段结束再现时，上述显示控制装置将上述起始的声音片段的前端显示在上述声音通道的左端，并在与上述第m个图像片段的代表图像对应的上述第1预定位置，显示上述起始的声音片段的末端的界限。

4.  根据权利要求1所述的图像处理装置，其特征在于：
当起始的上述声音片段的再现时间比所有的上述图像片段的再现时间的合计还长时，上述显示控制装置将上述起始的声音片段的前端显示在上述声音通道的左端，并且在与最后的上述图像片段的下一个虚设片段对应的上述第1预定位置，显示上述起始的声音片段的末端的界限。

5.  根据权利要求1所述的图像处理装置，其特征在于：
当第n-1个声音片段(n＞1)在第m个(m＞0)上述图像片段的再现期间内结束再现、第n个上述声音片段在第m个上述图像片段的再现期间内结束再现时，上述显示控制装置将上述第n个声音片段的前端的界限显示在与上述第m个图像片段的代表图像对应的上述第1预定位置，并将上述第n个声音片段的末端的界限显示在与上述第m个图像片段的代表图像对应的上述第2预定位置。

6.  根据权利要求1所述的图像处理装置，其特征在于：
当第n-1个上述声音片段(n＞1)在第m个(m＞0)上述图像片段的再现期间内结束再现、第n个上述声音片段在第m+l个(l＞0)的上述图像片段的再现期间内结束再现时，上述显示控制装置将上述第n个声音片段的前端的界限，显示在与上述第m个图像片段的代表图像对应的上述第1预定位置，并且将上述第n个声音片段的末端的界限显示在与上述第m+1个图像片段的代表图像对应的上述第1预定位置。

7.  根据权利要求1所述的图像处理装置，其特征在于：
当第n-1个上述声音片段(n＞1)在第m个(m＞0)上述图像片段的再现期间内结束再现、第n个上述声音片段的再现时间比上述第m个图像片段的剩余再现时间和在其以后的所有图像片段的再现时间的合计还长时，上述显示控制装置将上述第n个声音片段的前端的界限显示在与上述第m个图像片段的代表图像对应的上述第1预定位置，并且将上述第n个声音片段的末端的界限显示在与最后的上述图像片段的下一个虚设片段对应的上述第1预定位置。

8.  根据权利要求1所述的图像处理装置，其特征在于：
当第n-1个声音片段(n＞1)的末端的界限显示在与第m个(m＞0)上述图像片段的代表图像对应的上述第2预定位置、第n个上述声音片段的再现在第m+l个(l＞0)上述图像片段的再现期间内结束时，上述显示控制装置将上述第n个声音片段的前端的界限显示在与上述第m个图像片段的代表图像对应的上述第2预定位置，并且将上述第n个声音片段的末端的界限显示在与上述第m+1个图像片段的代表图像对应的上述第1预定位置。

9.  根据权利要求1所述的图像处理装置，其特征在于：
当第n-1个声音片段(n＞1)在第m个(m＞0)上述图像片段的再现期间内开始并结束再现、第n个上述声音片段的再现时间比上述第m个图像片段的剩余再现时间和其以后的所有图像片段的再现时间的合计还长时，上述显示控制装置将上述第n个声音片段的前端的界限显示在与上述第m个图像片段的代表图像对应的上述第2预定位置，并且将上述第n个声音片段的末端的界限显示在与最后的上述图像片段的下一个虚设片段对应的上述第1预定位置。

10.  根据权利要求1所述的图像处理装置，其特征在于：
当第n-1个上述声音片段(n＞1)在最后的上述图像片段的再现期间内结束再现、第n个上述声音片段的再现时间比最后的图像片段的剩余再现时间长时，上述显示控制装置将上述第n个声音片段的末端的界限显示在与上述最后的图像片段的下一个虚设片段对应的上述第1预定位置，进而，将第n+1个上述片段的前端的界限显示在与最后的上述图像片段的下一个虚设片段对应的上述第1预定位置，并且将上述第n+1个声音片段的末端的界限显示在与上述虚设片段对应的上述第2预定位置。

11.  根据权利要求1所述的图像处理装置，其特征在于：
还包括指示装置，指示显示于上述声音通道的声音片段中的任一个，
上述显示控制装置进而根据上述指示装置的指示，显示构成上述被指示的声音片段的多个声音数据的列表。

12.  根据权利要求11所述的图像处理装置，其特征在于：
上述指示装置进而从显示于上述列表的声音数据中选择任意的声音数据。

13.  根据权利要求1所述的图像处理装置，其特征在于：
还包括操作装置，选择显示在上述声音通道中的多个声音片段中的任意的声音片段，并将上述选择出的声音片段移动到上述声音通道上的其他显示位置，
上述变更装置根据利用上述操作装置进行的上述声音片段的移动操作，变更上述声音片段的再现顺序。

14.  根据权利要求1所述的图像处理装置，其特征在于：
上述显示控制装置根据上述多个声音片段各自的再现时间长度，将各声音片段在上述声音通道上的界限位置确定为上述第1预定位置和第2预定位置中的任一个。

15.  根据权利要求1所述的图像处理装置，其特征在于：
上述显示控制装置根据上述多个声音片段各自的再现开始定时和再现结束定时，将各声音片段在上述声音通道上的界限位置确定为上述第1预定位置和第2预定位置中的任一个。

16.  根据权利要求1所述的图像处理装置，其特征在于：
上述显示控制装置根据上述多个声音片段的再现定时和上述多个图像片段的再现定时，将各声音片段在上述声音通道上的界限位置确定为上述第1预定位置和第2预定位置中的任一个。

17.  根据权利要求1所述的图像处理装置，其特征在于：
还包括存储介质，存储了上述多个图像片段和声音片段。

18.  一种图像处理方法，其特征在于，包括：
显示控制步骤，在显示装置上显示故事板，该故事板按照其再现顺序显示分别与多个图像片段对应的多个代表图像，并与上述多个代表图像并列地显示按照该再现顺序表示多个声音片段的声音通道，上述显示控制步骤，在上述声音通道中，在与上述多个代表图像的左端对应的第1预定位置或者与右端对应的第2预定位置中的任一位置上，显示上述声音片段的界限；以及
变更步骤，使用显示在上述显示装置的故事板，变更上述多个图像片段和多个声音片段的再现顺序。

19.  一种记录介质，其计算机可读取地记录用于执行图像处理方法的程序代码，所述图像处理方法包括：
显示控制步骤，在显示装置上显示故事板，该故事板按照其再现顺序显示分别与多个图像片段对应的多个代表图像，并与上述多个代表图像并列地显示按照该再现顺序表示多个声音片段的声音通道，上述显示控制步骤，在上述声音通道中，在与上述多个代表图像的左端对应的第1预定位置或者与右端对应的第2预定位置中的任一位置上，显示上述声音片段的界限；以及
变更步骤，使用显示在上述显示装置的故事板，变更上述多个图像片段和多个声音片段的再现顺序。

图像处理装置
技术领域
本发明涉及图像处理装置，特别是涉及图像数据和声音数据的编辑处理。
背景技术
近来，由于数字照相机、数字摄像机、带照相机的便携电话等的普及，一般用户处理数字静态图像和数字动图像等的数字图像的机会增加了。由于这些设备摄影像素数的增加、存储介质容量的增加等技术上的进步，可以预想今后能够拍摄出更高画质且长时间的动图像。
因此，以这些数字图像、声音数据为素材，用个人计算机进行视频编辑这样的需求提高了，实际上，在PC上工作的视频编辑软件也已大量涌现。
在这样的视频编辑软件中，有提供使用了时间线(time line)的视频编辑方法，作为面向熟悉视频编辑的用户的用户接口的软件。所谓时间线，就是如图2所示，对各轨道(track)，沿时间轴配置图像数据和声音数据(在图2中，图像数据和声音数据各用一个轨道显示，但也可以进行多个轨道显示)。
使用时间线的视频编辑，面向能进行非常精细地编辑、追求高级编辑功能的用户，但另一方面，对于视频编辑的初学者而言，存在操作难以理解这样的缺点。
因此，作为面向初学者，或者用于在使用时间线的编辑作业之前，进行粗略编辑的方法，还有提供使用了故事板(story board)的视频编辑方法的软件。所谓故事板，就是如图3所示，按时序顺序排列各图像片段(clip)的代表图像。因为该方法能够通过选择并改变图像的缩略图像的排列来进行视频数据编辑，所以有易于初学者理解这样的优点。使用这种故事板的编辑处理已在日本特开2003-32619号(相应的US申请已被公开。公开号是2003-016947)中被公开。
但是，虽然故事板形式的编辑画面，可以容易地识别各图像片段的再现顺序，但还存在不清楚如何对各图像片段重合声音数据这样的问题。
发明内容
本发明的目的就是为了解决这样的问题。
本发明的另一目的是，在故事板形式的编辑方法中，还可以容易地识别对应于各图像片段的声音数据。
为了达到这样的目的，作为一个实施方式，本发明的图像处理装置包括：显示控制装置，在显示装置上显示故事板，该故事板按照其再现顺序显示分别与多个图像片段对应的多个代表图像，并与上述多个代表图像并列地显示按照该再现顺序表示多个声音片段的声音通道，上述显示控制装置，在上述声音通道中，在与上述多个代表图像的左端对应的第1预定位置或者与右端对应的第2预定位置中的任一位置上，显示上述声音片段的界限；以及变更装置，使用显示在上述显示装置的故事板，变更上述多个图像片段和多个声音片段的再现顺序。
本发明其他目的及特征，将通过以下的参考附图进行的实施方式说明而得到明确。
图1是本发明的图像数据和声音数据的编辑装置的框图。
图2是时间线的显示例。
图3是故事板的显示例。
图4是实施方式中的故事板的显示例。
图5是表示音频通道(audio lane)的显示例的图。
图6是表示第1曲声音片段的显示例的图。
图7是表示显示第第n-1个乐曲(n＞1)的声音片段以左侧边界结束时的第n曲的声音片段地显示例的图。
图8是表示显示第第n-1个乐曲(n＞1)的声音片段以右侧边界结束时的第n曲的声音片段的显示例的图。
图9是表示显示第第n个乐曲(n＞1)的声音片段以虚设片段的a(左侧边界)结束时的第n+1曲以后的声音片段的显示例的图。
图10是表示声音片段的选择方法的图。
图11是表示通过拖放操作，改换声音数据的顺序的例子的图。
图1是本发明的图像数据和声音数据的编辑装置的框图。101是中央运算装置(CPU)，102是存储器，103是鼠标、键盘等输入装置，104是监视器等显示装置，105是硬盘驱动器等记录装置，106是扬声器等声音输出装置，107是在这些装置之间交换数据的总线。虽然在图中省略，但还可以安装CD-ROM，DVD-ROM、存储卡等外部记录装置，同数字照相机、数字摄像机连接而收发数据的外部记录装置接口，同网络连接而收发数据的网络接口等。
如后述的那样，CPU按照通过用户一边观察显示在显示装置104的画面一边操作输入装置而生成的编辑结果，再现记录于记录装置105的图像片段和声音片段。另外，CPU101按照存储于存储器102或记录装置104的程序，运行作为以下说明的故事板形式的编辑画面的显示功能和编辑结果的再现程序数据的生成处理等。另外，图1的编辑装置的功能，同样能通过PC的编辑用软件实现。
图4是表示编辑装置1显示于显示装置104的故事板的例子的图。
401～404是各图像片段的代表图像，若是静态图像片段则显示该图像，若是动图像片段则显示第1帧图像。在图4中，显示在画面左侧的片段先被再现。405～407是表示过渡效果(transition effect)的过渡框(transition box)，表示在切换其前后的图像片段(在图4中，是对应于显示在左右的代表图像的片段)时附加的效果。408是表示声音数据的音频通道(audio lane)，409～412表示对应于一个或多个声音数据的声音片段。关于音频通道408和声音片段，将在后面详细说明。另外，413是用于使故事板左右卷动的卷动条。
另外，虽然未在图4中显示，但各图像片段具有各自不同的再现时间。例如，若是动图像则是其长度(有时也被微调)，若是静态图像则是持续显示静态图像的时间长。
如图4所示，在本方式中，在故事板中，与图像片段的代表图像并列，显示表示声音片段的音频通道，能够容易地识别各图像片段的再现定时和各声音片段的再现定时。
简单地说明一下使用该故事板画面变更图像片段的再现顺序的情况。
例如，在想要将第2个再现的图像片段变更成其他片段时，在用户操作鼠标等选择了图像片段402之后，指定未图示的图符或菜单栏等，指示片段插入命令。当指示片段插入命令时，CPU101显示记录于记录装置105的动图像片段的代表画面的一览，用户从该代表画面中选择想插入的片段的代表画面，并确定。于是，取代此前在402显示的代表画面，将新选择出的片段的代表画面显示在402中，以下的片段的再现顺序依次向后变更，重新进行显示。
即，此前作为第2个片段显示的402的画面显示在403，403的画面显示在404。
另外，在想删除图像片段时，在选择了想删除的片段的代表图像，例如402之后，指示删除指命令。于是，CPU101删除显示在402的画面，依次向左错开地显示第3个以后被再现的片段的代表画面。即，将此前显示在403的画面显示在402，将显示在404的画面显示在403。
接下来，说明对音频通道408的声音片段的显示顺序。
像上述那样，因为显示在故事板的各图像片段具有各自不同的再现时间，所以相应地像图5那样表现音频通道。501～504是表示各图像片段的代表图像，501是最初的图像片段的代表图像，504是最后的图像片段的代表图像。505是实际上未被显示的虚设片段。506、507是过渡框。另外，508是音频通道。音频通道508具有用图中a或b这样的记号表现的离散的边界。在本方式中，将a叫做图像片段的左侧边界，将b叫做图像片段的右侧边界。界限位置a、b被分别设置在与各图像片段的代表图像的显示范围相应的预定的位置。在本方式中，将声音片段的界限位置作为该左侧边界a或者右侧边界b的任意一方。
首先，说明起始的声音片段的显示方法。
在从起始的声音数据到第n个声音数据(n＞0)的再现时间的合计比起始的图像片段的再现时间短时，在从音频通道的左端到起始的图像片段的右侧的边界b的区间，将从起始的声音数据到第n个声音数据作为一个声音片段显示。
另外，起始的声音数据在第m个图像片段(m＞1)的中间结束时，在从音频通道的左端到第m个图像片段的左侧的边界a的区间上，显示与起始的声音数据相应的声音片段。
另外，在起始的声音数据比所有的图像片段的再现时间的合计还长时，在从音频通道的左端到最后的图像片段的下一个虚设片段的左侧边界a的区间上，显示与起始的声音数据相应的声音片段。
接下来，说明表示第n-1个声音数据(n＞1)的声音片段，在第m个(m＞0)图像片段的左侧边界a结束的情况。
首先，在第n+k个声音数据(k≥0)于第m个图像片段的中间结束，第n+k+1个声音数据于第m+1个图像片段的中间结束时，在从第m个图像片段的左侧边界a到右侧边界b的区间上，显示与从第n个到第n+k个声音数据相应的声音片段。
另外，在第n个声音数据于第m+1个(1＞0)图像片段的中间结束时，在从第m个图像片段的左侧边界a到第m+1个图像片段的左侧边界a的区间上，显示与第n个声音数据相应的声音片段。
另外，在第n个声音数据比第m个图像片段的剩余再现时间和其以后的全部图像片段的再现时间的合计还长时，在从第m个图像片段的左侧边界a到最后的图像片段的下一个虚设片段的左侧边界a的区间上，显示与从第n个声音数据到最后的声音数据相应的声音片段。
接下来，说明表示第n-1个声音数据(n＞1)的声音片段在第m个(m＞0)图像片段的右侧边界b结束的情况。
在第n个声音数据于第n+1(1＞0)个图像片段的中间结束时，在从第m个图像片段的右侧边界b到第m+1个图像片段的左侧边界a的区间上，显示用与第n个声音数据相应的声音片段。
另外，在第n个声音数据比第m个图像片段的剩余再生现时间和其以后的全部图像片段的再现时间的合计更还长时，在从第m个图像片段的右侧边界b到最后的图像片段的下一个虚设片段的左侧边界a的区间上，显示与从第n个声音数据到最后的声音数据相应的声音片段。
另外，当在声音片段对应多个声音数据的情况下，在显示画面上选择该声音片段时，显示包含于声音片段的声音数据的列表。用户可以操作鼠标等输入装置103，从该列表中选择一个或多个声音数据。另外，此处的所谓声音数据，表示例如一首乐曲等一个集合的声音。
接下来，用图说明以上已说明的故事板的具体显示例。
图6是表示第1曲的显示例的图。
601～604分别是第1个、第2个、第3个以及最后的图像片段的代表图像，605是虚设片段。606是在第1曲声音片段的再现时间比代表图像601的图像片段的再现时间短时的音频通道。608是第1曲声音片段在代表图像603的图像片段的中间结束时的音频通道。另外，609是在第1曲声音片段比所有的图像片段的再现时间的合计还长时的音频通道。
这样，音频通道中的起始的声音片段的界限位置只在于起始的图像片段的再现期间内结束时是b(右侧边界)，其余的都是a(左侧边界)。
接下来，图7是表示第n-1个(n＞1)的声音片段从第m-1个图像片段的再生现期间以前开始再现、在第m个图像片段(m＞1)的再现期间内结束时的，第n个声音片段的显示例的图。此时，第n-1个声音片段的界限位置是第m个图像片段的左端边界位置a。
701～702分别是第m个、第m+1个、第m+2个以及最后的图像片段的代表图像，705是虚设片段。706是第n个声音片段在图像片段701的再现期间内结束时的音频通道。707是从第n个到第n+2个乐曲的声音片段在图像片段701的再现期间内结束时的音频通道。708是第n个声音片段在图像片段703的再现期间内结束时的音频通道。另外，709是在第n个声音片段比图像片段701的剩余再现时间和其以后的全部图像片段的再现时间的合计还长时的音频通道。
这样，在本方式中，在一个图像片段(此时为701)的再现期间内，只在相应的声音片段具有再现的开始点和结束点时，将b(右侧边界)的位置作为音频通道中的声音片段的末端的界限位置显示；在一个声音片段跨越多个图像片段而再现时，将具有再现结束点的图像片段的代表图像中的a(左侧边界)的位置作为末端的界限位置显示。
另外，在一个声音片段的再现时间比所有的动图像片段的合计再现时间还长时，将最后的片段的下一个虚设片段705的a(左侧边界)位置作为末端的界限位置显示。
接下来，图8是表示显示第n-1个乐曲(n＞1)的声音片段的末端的界限位置、被显示在第m个图像片段(m＞1)的b(右侧边界)位置时的、第n个声音片段的显示例的图。
801～802分别是第m个、第m+1个、第m+2个以及最后的图像片段的代表图像，805是虚设片段。806是第n曲声音片段在图像片段802的中间结束时的音频通道。807是第n曲声音片段在图像片段803的中间结束时的音频通道。另外，808是在第n曲声音片段比图像片段801的剩余再现时间和其以后的全部图像片段的再现时间的合计还长时的音频通道。
此时，因为在一个图像片段(此时为801)的再现期间内，不会有声音片段具有再现开始点和再现结束点的情况(此时被包含于707)，所以，声音片段必然跨过多个图像片段而存在，将具有终点的图像片段的a(左侧边界)位置，作为该声音片段的末端的界限位置显示。
另外，在声音片段的再现时间比从此以后的全部动图像片段的合计的再现时间还长时，将最后的图像片段的下一个虚设片段805的a(左侧边界)位置作为末端的界限位置显示。
图9是表示显示第n个乐曲(n＞1)的声音片段的末端的界限位置是虚设片段a(左侧边界)时的、第n+1曲以后的声音片段的显示例的图。此时，如901所示，将与从第n+1曲到最后的乐曲相应的声音片段显示在从虚设片段的a(左侧边界)到b(右侧边界)之间。
另外，图10是表示选择声音片段时的显示例的图。
在声音片段对应一个声音数据时，用户可以通过操作输入装置103单击该声音片段，或者定位(focus)并按下按键来选择声音数据(1001)。
另一方面，在声音片段对应多个声音数据时，当单击该声音片段或调焦按下按键时，显示声音数据的列表(1002)。因此，可以通过单击列表上的声音数据或调焦按下按键，选择一个或多个声音数据。作为选择多个声音数据的方法，可以考虑以下的方法：在按下某按键(例如，调整键、换档键)的同时依次单击声音数据等。
图11是表示通过输入装置103的拖放操作，改换声音数据的顺序时的显示例的图。
首先，当将鼠标光标放到声音数据1101，拖动，使鼠标光标移动到1102的位置时，显示1103那样的条。当在该时点取消时，声音数据1101移动到存在条1103的位置。
同样地，可以从1002那样的声音数据的列表上拖动声音数据使之移动；相反地，还可以拖动声音数据，在1002那样的声音数据的列表上取消，使声音数据移动。
另外，除了用使用鼠标的拖动和取消使声音数据移动以外，例如，还可以有以下的方法：通过鼠标或键选择声音数据，使用换档键等键，移动声音数据。
这样，通过本方式，在故事板上与图像数据的代表图像并列地显示表示声音片段的音频通道，因为根据各声音片段的再现位置，切换显示音频通道中的声音片段的界限位置，因此，有以下的效果：用户能够在故事板上容易地识别图像片段和声音片段的再现定时，能够容易地进行使用故事板的视频编辑。
另外，为了达到本发明的目的，本发明还提供以下方法，将记录了实现上述实施方式功能的软件的程序代码的存储介质(或者记录介质)提供给系统或装置，该系统或装置的计算机(或者CPU、MPU)读出并运行存储于存储介质的程序代码。
此时，从存储介质读出的程序代码本身就能实现上述实施方式的功能，存储了该程序代码的存储介质就构成本发明。另外，还可以通过以下方式实现上述实施方式的功能：通过计算机运行所读出的程序代码，不仅可以实现上述实施方式的功能，而且基于该程序代码的指示，在计算机上运行的操作系统(OS)等进行实际处理的一部分或全部。
在此，作为存储程序代码的存储介质，可以考虑例如软盘、硬盘、ROM、RAM、磁带、非易失性的存储卡、CD-ROM、CD-R、DVD、光盘、光磁盘、MO等。
进一步地，还可以通过以下方式实现上述实施方式的功能：在从存储介质读出的程序代码，被写入插在计算机中的功能扩展卡或连接在计算机上的功能扩展单元所具有的存储器中后，基于该程序代码的指示，该功能扩展卡或功能扩展单元所具有的CPU等进行实际处理的一部分或全部。
在不脱离本发明的精神和范围的前提下，本发明可以有很多不同的实施例，应该这样理解，本发明的范围不限于说明书中所描述的具体实施方式，应由后附的权利要求书来加以限定。