用于存储与菜单数据相关的附加数据的方法 【技术领域】
本发明涉及一种在具有参照数据存储结构的蓝光盘(Blu-rayDisc)或其它介质上存储例如菜单或缩略图图片相关信息之类的附加信息的方法。
背景技术
光介质是当前用于存储大量数据的优选解决方案。特别是类似照片或电影之类需要较高存储容量的数字可视数据。对于例如数字通用盘(DVD)之类的光介质，可以将多个图片、视频和音频流存储在单个介质上。在消费电子中，陆续提出并标准化了新的针对光介质的存储技术和格式，其中一种是所谓的蓝光盘技术。该技术采用了更小的存储结构，因此具有比之前的普通光盘更高地存储容量。
由于有更多内容存储在介质上，因此可能出现内容的管理问题，该问题可以依靠多种内容管理系统来解决。因此，可以给出存储在介质上的内容的快速浏览。通常，存在针对存储在介质上的电子菜单或索引的数据，例如，这些数据控制显示在屏幕上的菜单。对于可视数据，通常具有：可视菜单，包含也称之为缩略图图片的静态图片；和/或短视频序列，根据存储在介质上的AV数据产生并相连。通常将这些可视菜单数据存储为有损格式，以便减小数据量并实现更快的访问。介质保存的内容越多，就需要越多的菜单数据，且菜单和菜单访问时间就越长。此外，希望增强菜单的潜力，例如自动菜单处理、菜单组织或用于其它用途的菜单数据的使用。尽管对于普通的菜单用途，降低了缩略图图片的质量是被广为接受的，但是对于增强的菜单用途，需要只能从原始详细图片中检索的有关缩略图图片的附加信息是可用的。其示例包括颜色直方图、亮度直方图、运动矢量等统计或其它数据。
经常会访问索引数据，并且频繁地添加或删除单个项目。为了实现快速访问索引，通常将索引数据存储在介质的专用区域以及专用的文件中。
将不同的格式和组织类型用于菜单数据的存储。对于缩略图图片，编码格式通常是给出了更多细节但数据量较大的位图，或由JPEG组织(联合图片专家组)进行标准化的JFIF(JPEG文件交换格式)，与位图相比，这种格式抑制了图片的细节，但极大地减小了数据量。目前，在标准化进程中出现了一种针对光学存储介质的、使用了较短波长激光所提供的优点的新技术，其被称为“蓝光”盘技术。
此外，对于音频-可视(AV)数据存储介质，例如，普通的DVD，一种已知方法将缩略图图片数据用于进一步的菜单处理或内容管理方法，例如，将图片分析用于自动缩略图分组或其它自动图片处理。对于大多数图片处理方法，必需具有有关图片的详细统计信息，例如颜色或亮度直方图。从类似根据所述蓝光规范的缩略图图片的、存储为JFIF格式的图片中难以获得此详细信息，这是由于细节的抑制意味着缩略图图片中信息内容的减少。这些都不允许与数据相关的附加缩略图的当前的蓝光标准存储。
【发明内容】
本发明使用权利要求1公开的方法解决了在介质上存储附加菜单相关数据的问题，在该介质上具有标准化大小的数据块中，存储有缩略图图片数据，所述附加菜单相关数据尤其是与所述缩略图图片相关的数据，所述介质是类似遵循蓝光可重写盘标准或其增强版的介质。因此，本发明提供了对该标准的改进。权利要求7公开了根据本发明的存储介质，以及权利要求9公开了使用该方法的设备。
根据本发明，可以将与缩略图图片相关的附加数据集合作为缩略图图片数据存储在相同数据块剩余部分中的缩略图数据文件中，例如在蓝光的情况下是tn_block，以及可以将参数引入对应的控制文件中，例如表示了所述数据集合大小的缩略图索引文件。
附属权利要求、以下说明及附图公开了本发明的优选实施例。
【附图说明】
参考附图来说明本发明的典型实施例，其中图1中示出了包含多个缩略图块的缩略图数据文件的结构，以及根据本发明的缩略图块的结构。
【具体实施方式】
2002年6月确定的版本1.0的可重写蓝光盘标准限定了将缩略图图片以JPEG格式存储在专用文件中，即具有扩展名“tidx”的缩略图索引文件和具有扩展名“tdt1”或“tdt2”的缩略图数据文件。由于这里不涉及“tdt1”和“tdt2”文件的差别，因此与上述蓝光盘标准的较早版本相同，这里使用扩展名“tdt”用于缩略图数据文件。图1示出了典型地缩略图索引文件TIDX及其对应的缩略图数据文件TDT。
在缩略图数据文件TDT中，将图片数据每一图片一个块地存储在被称作缩略图块(tn_block)的块TNB_0，...，TNBn中。这可以更容易地访问单个缩略图图片，例如用于编辑或用于添加或删除图片。该标准的当前版本限定了tn_block的大小是1024比特的整数倍，一个缩略图数据文件中的所有tn_block具有相同的大小。由于图片数据P不必是1024比特的倍数，因此通常在每一个缩略图块的尾部存在当前未使用的多个剩余比特X。可以从对应缩略图索引文件的内容中计算缩略图图片和其它所包含数据的tn_block寻址信息。
根据本发明，可以将与缩略图图片相关的任意附加信息，例如有关图片内容的详细统计信息或有关图片的短文本或标记，与缩略图图片数据一起存储在遵循蓝光盘标准的光介质上，所述标准仅对所述标准的当前版本的进行了次要的改进。类似地，可以将存储与菜单数据相关的附加数据的公开方法应用于将菜单数据存储在标准化大小的块中的所有介质。有利的是，由于对于附加数据，不需要分配额外的数据块，因此这简化了对附加数据的访问，并且节约了存储区域。具体地，本发明提出将有关缩略图图片的附加数据存储在缩略图数据文件中，位于与该缩略图图片相对应的tn_block的尾部的剩余部分中。图1所示的典型缩略图数据文件TDT包含多个tn_block TNB_0，...，TNB_n，还示出了典型的tn_block TNB_2中的数据结构。该tn_blockTNB_2包含缩略图图片数据P和由数据块D0、D1和D2构成的附加数据，以及将tn_block TNB_2的整个大小填补为1024比特的倍数的剩余部分X。此外，图1示出了与缩略图数据文件TDT相关的缩略图索引文件TIDX。该缩略图索引文件TIDX还包括下面所描述的新参数。menu.tidx/mark.tidx{ ...lengthif(length！＝0){ number_of_thumbnails_1 number_of_tn blocks_1 number_of_thumbnails_2 number_of_tn_blocks_2 tn_block_size for(i＝0；i＜number_of_thumbnails_1；i++){ thumbnail_index ref_to_tn_block_id_1 ... number_of_data_1[ref_to_tn_block_id_1] /*new*/ for(j＝0；j＜number_of_data_1；j++){ /*new*/ data_block_size /*new*/ } /*new*/ } for(i＝0；i＜number_of_thumbnails_2；i++){ thumbnail_index ref_to_tn_block_id_2 ... number_of_data_2[ref_to_tn_block_id_2] /*new*/ for(j＝0；j＜number_of_data_2；j++){ /*new*/ data_block_size /*new*/ } /*new*/ } /*new*/ } }
表1
表1典型地示出了缩略图索引文件TIDX的详细结构，以及如何将用于缩略图图片的、被称作number_of_data的附加参数引入与缩略图数据文件TDT相对应的缩略图索引文件TIDX。所述参数表示了附加数据集合的数据块的数目。在表1中，number_of_data_1和number_of_data_2分别指“tdt1”和“tdt2”文件。
表2示出了根据本发明的缩略图数据文件的结构。如果针对特定的缩略图图片，没有存储附加数据，则在本发明的一个实施例中，参数number_of_data是零，或在另一个实施例中，将其完全省略。此第二实施例遵循了蓝光盘标准的当前版本。 menu.tdt/mark.tdt{ tn_block(tn_block_id1){ thumbnail_picture[tn_block_id1] thumbnail_data[tn_block_id1] /*new*/ ... } tn_block(tn_block_id2){ ... } }
表2
当需要根据本发明的设备从例如权利要求7公开的介质中读取与数据相关的缩略图时，通过表1列出的各个缩略图索引文件进行。这里只说明典型方式的相关步骤。在第一步骤，该设备读取给出了所存储的缩略图图片总数的参数“length”。如果所述参数不是零，则该设备读取另外四个参数，
第一个参数给出了第一类型的缩略图数目(number_of_thumbnails_1)，
第二个参数给出了相关的缩略图数据块的数目(number_of_tn_blocks_1)，这些数据块具有指定的大小，
第三个参数给出了第二类型的缩略图数目(number_of_thumbnails_2)，以及
第四个参数给出了相关的缩略图数据块的数目(number_of_tn_blocks_2)。
所述第一和第二类型的差别与本发明无关。由于对于所述两种类型等同地执行下列过程，并且在标准的未来版本中可以扩展到未来的类型，因此这里只对该过程说明一次。对于每一个缩略图图片，使用之前读取的参数number_of_thumbnails执行循环。该循环确定了图片数据的大小和地址位置，从而能够定位缩略图数据，以便从存储介质中读取。
现在，读取另一个参数number_of_data，该参数指出了当前的缩略图图片，并给出了与该当前缩略图图片相关的附加数据的量。在本发明的一个实施例中，可以按照类似比特或字节之类的物理存储单位来指定数据量。在本发明的另一个实施例中，可以将其指定为特定大小的数据块的数目。如表2所示，将与当前缩略图图片相关的附加数据物理地定位于相关的图片数据之后。
有利的是，可以将与数据相关的附加缩略图图片用于缩略图图片内容的自动分析，可以将其用作自动内容管理系统的基础，例如自动特征提取或自动关键帧聚类(clustering)，用于将所记录的AV数据段聚类为逻辑上一致的部分。附加数据可以包括诸如颜色或亮度直方图、权重直方图以及根据未压缩图片序列计算得到的运动矢量之类的统计数据，还有如帧数、与其它数据的连接、说明文本、记录的日期等高级内容管理信息。可以从未压缩的AV数据中产生统计数据，但是，如果可用，有利的是还可以存储由压缩的缩略图图片数据产生的数据，例如，以节约计算时间。
从本发明中获利的一个具体应用是包含例如基于内容的视频浏览器的可视概要系统，所述系统提供了用于从数据库中快速选择用户感兴趣的视频材料以及有效地导航内部视频文件的方法。于是，还可以将诸如关键帧自动聚类等、对于DVD已知的可视概要系统的多种功能用于蓝光盘。这种自动聚类处理需要关键帧特征数据，在关键帧提取期间创建这些数据，例如，当记录时，可以将其通过本发明的方法存储在盘上。可以将每一个关键帧转换为缩略图图片，并且将其相关的特征数据与该缩略图图片数据一起压缩(packed)，从而产生了增强的缩略图并将其存储在盘上。通常，与重新计算相比，在压缩期间产生这些特征数据并将其存储在例如蓝光盘上更为有效。因此，与已经针对例如DVD开发的相同，还可以将用于可视概要的自动产生的工具用于蓝光，例如，可以按照以下步骤实现：首先，分段为视频镜头，并提取用于每一个镜头的关键帧，其次，根据图片特征来计算诸如颜色直方图之类的关键帧图片特征，以便通过自动聚类过程将类似的关键帧分为一组，然后选择并分类最终的主观关键帧。这提供了一种用于通过有限数目的关键帧图片来表示视频的自动方法。
通常通过关键帧提取器产生的关键帧图片是位图格式。可以将其转换为JPEG格式，以便使其缩小并作为缩略图图片存储在蓝光盘系统中，因此丢失了许多图像消息。为了实现这种根据本发明的增强缩略图，如上修改menu.tidx、mark.tidx以及tn_block的语法。与当前蓝光盘规范中所定义的对应语法相比，该增强的语法保留了当前缩略图图片结构，但插入了用于存储缩略图图片附加数据的额外比特。根据该新语法，每一个缩略图图片可以具有零到多个附加数据集合。在剩余数据X不足以存储另一数据集合的情况下，可以通过一次递增，例如1024比特，来扩大tn_block的大小。
利用每一个缩略图图片的附加特征数据，用户可以根据缩略图的分组结果来主观地总结视频内容。根据增强的缩略图，不仅可以将自动聚类方法应用于每一个播放列表中，还可以将其用于不同的播放列表之间。这使得用户能够浏览蓝光盘上的播放列表和片断信息的所有缩略图图片。
原则上，可以将所有种类的数据作为附加数据添加到缩略图块中。作为普通的示例，使用有损压缩格式压缩了缩略图图片，并且附加数据集合可以包括该丢失的信息，或部分丢失的信息。因此，有利的是，还可以将本发明的方法用于预记录介质。作为另一个示例，用户可以将某些简要文本注解或根据自身标准的其它标识或分类数据添加到缩略图图片中。