计算机数据的存储 本发明涉及计算机数据文件的分层存储管理。
在过去的十年内，在用作大容量存储设备的个人计算机硬盘上存储的数据数量很快地增长。对于普遍采用1GB(千兆字节)或更大的包含成千上万文件的硬盘子系统的网络文件服务器上所存储的数据而言更是如此。
通常在网络文件服务器上的许多文件不常受到访问。这可能有不同原因：该文件可能是一个老版本，是一个后备复制文件，或者被存储起来只是以备有朝一日需要时调用。该文件可能完全是冗余的；但只有文件拥有者才能鉴别它为冗余，因此该文件就由于后备/安全理由被保存下来。良好的计算实践认为不一定将无把握的文件无限期地保留下来。其自然后果是硬盘上塞满了旧文件。在每一个从最小到最大的基于微处理器的个人计算系统中差不多都如此。
分层存储管理(HSM)是一个已知的用于解决此问题的技术。大部操作系统维持一个有关文件被更新(即被写过)的最近日期和时刻的记录。许多操作系统还维持一个有关文件被访问(即被读过)的最近日期和时刻地记录。HSM系统周期地扫描硬盘上的文件表，检查每个文件的最近访问日期/时刻。如果一个文件已有一个预定时期(通常为1至6个月)未曾用过，则该文件被归档，也即它被转送至例如磁带的辅助存储器上并从硬盘上删除。
HSM通常与后备系统组合在一起。考虑一个具备HSM功能的磁带后备系统，其中非活动阈值设为3个月。后备过程周期地(通常至少每一周一次)运行一次并为给定文件检查超过3个月的最近访问日期。例如，后备系统保证在不同磁带上有3个后备复制文件(或等待随后具有3个复制文件的机会)并删除该文件。一旦需用该文件时，用户简单地将它自3个后备带中的一个带上复原即可。后备系统必须保证包含文件的归档复制文件的磁带不被重写。由于磁带是可卸下的，很容易替换和费用不贵，因此该方法对这问题提供了一个长期解决方法。
一旦HSM系统将文件删除后，在初始盘上即找不到该文件。由于在搜索盘时找不到该文件的任何痕迹，因此以后当用户或应用程序决定需要访问该文件时，此方法显得不足。用户或应用程序就无法知道是否可自后备带上恢复该文件，因此应用程序可能随后会给出类似误导信息甚至致命错误那样的信息。
理想情况是，该文件不是不留任何痕迹地被移走而应继续列在盘目录中(最好有一些手段用于标明它已移至后备的或辅助存储器中)，但实际文件数据又不存在和占用盘空间。事实上，很多HSM系统具备此功能并称之为迁移。HSM系统通常在目录中留下文件标记，以及或者用一个包含可找到该迁移的文件位置的标记的小“存根”以代替文件数据，或者将数据完全删除而只留下一个长度为零的文件。
HSM系统的一个增强功能称为反迁移，当用户或应用程序试图访问迁移的文件时，HSM系统能自动地将迁移的文件复原至初始盘上。显然，只当包含迁移的文件的辅助存储介质一直接在系统上时，这才可能。例如在投币式光盘自动电唱机这类“近线”设备中存放着迁移的数据，当用户请求访问文件时在文件被恢复之前此请求甚至可能会被暂时挂起，随后犹如该文件从未被迁移过那样允许继续执行该申请。上面描述的HSM技术应用于大量的同时只由一个用户使用的较小文件时是有效的。然而，考虑一个数据库系统，其中众多用户访问一个包含客户名称和地址记录或类似历史数据的单个大数据库文件。由于经常增加新客户记录和修改现有客户记录，因此该文件必须随时可供使用而绝对不是迁移对象。但是，这类文件通常具有许多其细节必须保存以供将来可能参考用的旧而不活动客户记录，而这些记录可能在相当长时间内不被访问。这类非活动记录所占用盘空间通常代表由整个文件所占空间的大部分。
早已知道有一种随机访问文件，可供随机地向或自文件的任何部分写入或读出少量数据。当建立一个新的随机访问文件时，在写入数据之前该文件的长度为零。由于文件具有随机访问功能，第一批写入的数据不必一定放在偏移为0处(也即文件起始处)，它可写入任何位置。例如，10字节数据可写入至自偏移1000开始的位置。该文件的逻辑长度为1010字节，但实际上只写入了10字节。有些操作系统处理这种情况时自动地用零或随意字节“填入”这1000个“不存在的”字节位置中，因而即使实际上只写入了10个字节也分配占用了1010个字节。
先进操作系统，例如在网络文件服务器中使用的操作系统支持稀疏文件的概念，其中只为已实际地写入数据的文件分配磁盘空间。这通常用下述方法完成：将文件分配表(其内容为盘上如何存储文件的映象)扩展以使每个用于标示特定文件数据的下一个位置的入口伴有一个数值，该数值用于标示数据的起始逻辑偏移。因此在上例中第一个入口标示数据起始位置在盘上X处及第一个字节是在文件中逻辑偏移1000处(在“正常”文件中逻辑偏移为0)。稀疏文件中从未写入数据的区域称为空洞。
本发明的各个方面在后面独立的权利要求书中都有定义。本发明的优越特征在所附权利要求书中都有阐述。
在下面结合附图描述的本发明最佳实施例中，有一个辅助数据库用于标示哪些数据块已访问过及何日访问过。未曾访问过的块即可归档并自盘文件中删除以减小存储需求量。可调整FAT(文件分配表)以将该文件作为稀疏文件处理从而完成删除操作。
如对文件中已归档或迁移的部分提出读取请求，则系统在满足读取请求前先将所需文件部分反迁移。
然而，新近访问过的记录早已存在于硬盘上，因此下次可以立即访问。因此不必将整个文件都保留在硬盘上而仍能使经常需要的记录随时准备提供使用。
事实上，增加辅助数据库生命周期的非活动阈值可以扩展本方法。如果一个大的数据库文件中只访问少量记录，则不论访问的最新日期如何所有被访问的记录都可保持在硬盘上。而未曾访问过的记录则被删除以腾出盘空间。在此情况下，辅助数据库不必包含最近一次访问的日期或日期/时间。每隔一段长时期例如每隔一个月可将所有访问过的区域迁移及将辅助数据库清库。
本方法可与前述应用中的部分文件存储法一起使用。于是要求辅助数据库附加地记录下来对文件的访问是写访问还是仅为读访问，而在写访问中数据可能被修改。前述应用中的部分文件后备法并不腾出硬盘空间而只使可能被重新访问的记录随时可供使用。
下面将参照附图通过例子更详细地描述本发明，附图中有：
图1是一个带有磁带驱动器的个人计算机系统的框图；
图2是用于阐述对文件的访问的图；
图3是用于阐述根据本发明的文件访问操作的流程图；
图4是类似于图2的图，用于阐述留在硬盘上的文件部分；
图5是用于阐述根据本发明如由分层存储管理系统所实现那样的后备操作的流程图；
图6是用于阐述对于已部分地归档的文件的读访问操作的流程图；
图7是用于阐述在常规个人计算机的操作系统级别上的存储器映象一部分的图；以及
图8是用于阐述本发明的方法中存储器映象的相应部分的图。
图1显示一个包括一个中央处理单元(CPU)12，一个随机存取存储器(RAM)14和一个具有硬盘形式的大容量存储设备16的个人计算机(PC)10。个人计算机还具有一个磁带单元18，用于提供辅助存储器以供后备和归档之用。
使用中随机存取存储器14中存放着送至中央处理单元12以控制其操作的指令。这些指令中的一部分直接来自操作系统，而有些指令则由计算机上运行的应用程序所启动。
操作系统通常维持一个用于记录硬盘上每块数据的物理位置的文件分配表(FAT)。此外，操作系统还记录一个与每个文件有关的归档标志，当文件被修改时将该标志设置，而当该文件被后备时将该标志清零。现有后备系统使用该归档标志确定文件是否已被修改过并确定该文件是否需要后备。
可以采用分层存储管理系统将一段特定时期内未曾访问过的文件自动地后备至磁带上。
在本发明最佳实施例中维持着一个辅助数据库，用于标示每个文件中哪些数据库曾被访问过及在何日访问过，以使分层存储管理系统能周期地将未曾访问过的数据块归档或迁移。接着可删除这些块因而减小存储需求量。
考虑一个在1995年1月1日建立的，包含五个其长度各为25字节的记录，初始总长度为125字节的文件，与此同时开辟了一个辅助数据库以截取对文件中任何已有记录进行访问或在文件中增加新记录的请求。在一定时期内，例如在1月1日至4月10日间的请求可能为：
1995年1月21日-增加新记录，位于偏距125处，长度25字节。
1995年2月3日-访问旧记录(读取)，位于偏距25处，长度25字节。
1995年2月15日-访问旧记录(读取)，位于偏距75处，长度25字节。
1995年4月3日-增加新记录，位于偏距150处，长度25字节。
当截取到一个请求时，辅助数据库以下列方式记下日期、记录在文件中的位置和记录长度：
表1日期数偏距长度34720347333474534792125257515025252525
当然应该可能标示所需的具体文件。这里假定为每个文件维持单独的辅助数据库。实际中可能最好为每个子目录维持一个单独的辅助数据库，在此种情况下文件也需在数据库中加以标识。而这减小辅助数据库的数量，因而也减小所建立附加文件的数量。原理上讲可为整个盘建立一个单个辅助数据库。
未包括在表1中阐述的辅助数据库中的任何文件区域完全未曾被访问过。日期数只是一个简单的记数，代表从一个任意给定起始日期以来所度过的天数，此例中起始日期是1900年1月1日。在更完善的系统中可以将日期和时刻(日期/时刻)两者都包括。图2用图解方式阐述该文件，其中阴影区代表读过或写过的文件数据，而空白区代表未曾访问过的数据。
在完成访问中所采取的步骤示于图3中。步20标示要求进行访问。这可以是读访问也可以是写访问。在步22处首先标记该文件及在步24处标识起始偏距和访问长度。在步26处这些数据连同以上表1中所示的日期一起存入辅助数据库。步26最好包括一个整理操作以保证辅助数据库中不包含冗余信息。例如，随后的访问可能会与以前的访问重复或重叠。当这些步骤完成时，在步28处执行对最初需要文件的访问，从而在步30处完成此例行操作。
对于每个访问都执行这些步骤，因此在4月10日文件长度为175字节并包含7个记录，而辅助数据库看上去尤如上面的表1。在监视时期(79天)内完全未曾访问过的记录显然为归档对象。然而，假定决定将最近60天内未访问过的记录全部归档。按照下法将记录分类：首先假定整个文件准备迁移至辅助存储器上，然后在辅助数据库中扫描所有其日期数为34739或更大的记录(34739为4月10日前60天的日期数，从4月10日为34799)。任何记录的日期数在此范围内者都被标识，并且包含这些记录的文件部分被相应地标记而不会被迁移。任何未被标记的文件部分即被清除而迁移。
在1995年1月1日至4月10日访问过的四个记录中，只有分别于1995年2月15日和4月3日访问过的后两个记录的日期数大于34739。因此只有两个最近访问过的记录将予以保留，而文件的其余部分即由字节0至74和字节100至149所定义的文件部分将被迁移。这在图4中图解地得到阐释，其中要保留的记录以阴影区表示而要迁移的记录以空白区表示。决定要迁移的文件数据区现在用正常HSM过程复制至辅助存储设备上。HSM系统保存每个记录的位置和长度细节以便随后复原。此外，可将辅助数据库编辑以清除其日期数小于34739的记录的任何痕迹，从而防止辅助数据库尺寸未经检验地扩大。
为获得将不用的记录迁移到辅助存储设备中的优点，必须将这些相同记录在盘上占用的空间腾出来。有效的办法是将文件做成稀疏文件。换言之，被迁移过的文件由空洞替代。由于空洞并不占用盘空间，因此先前由冗余记录占用的盘空间得以恢复。假定具有最高偏距值的记录未被归档，文件的逻辑长度不因此操作而改变，但实际数据字节数减少了，因此为新文件数据腾出空间。
可用下法做出稀疏文件。假定在系统所具有的文件分配表(FAT)中盘空间方便地按每块25个字节分配。因此，1995年4月10日的175字节文件就需要7块。文件可用下法分配：
表2 入口 下一块链结 逻辑偏距 目录 1 0 1 2 25 2 3 50 3 4 75 4 5 100 5 6 125 6 7 150 7 -1 -1
注意到第一入口存储于目录结构中。盘上每块在表中有一个入口，它标示文件下一部分所在的块。例如，第二块的入口链结至块3，在那里可找到偏距为50字节的文件部分。长七块只有一个负入口值(-1)以标示它是文件中最后一块包含数据的块。此例中，文件方便地顺序地存放于块1至7中，但实际中这些块同样地可能随机分配而在其间插入空隙。
必须调整分配表以腾出迁移的记录所用盘空间，换言之应删除文件中字节0至74和字节100至149。第一区包含块1、2和3及第二区包含块5和6。当这些块中的数据被删除后，文件中剩下的入口重新调整以保留一个入口链，修改过的文件分配表因此如下所示：
表3 入口 下一块指针 逻辑偏距 目录 4 75 1 0 0 2 0 0 3 0 0 4 7 150 5 0 0 6 0 0 7 -1 -1
块1、2、3、5和6的每一块的入口值为零(0)以标示它们没有数据。操作系统可根据修改的文件分配表容易地确定文件中第一分配块是块4，它包含的数据起始点在逻辑偏距75处，而下一块(最后一块)文件数据存放于块7处，它包含的数据起始点在逻辑偏距150处。应该注意某些操作系统并不存放第一分配块的逻辑偏距，因此在这类系统中它不能被腾空。
进行删除的确切步骤并不重要。重要的是必须将硬盘上由迁移块占用的空间腾出来，也即腾出以供使用。
在上面例子中，为便于解释，块尺寸和读/写请求都假定为25字节，此外还假定所有请求都在块边界上提出的。实际上分配块尺寸通常为512字节的倍数，以及读/写请求的位置和长度都变化很大。由于只有整个块才能被腾出(删除)，系统必须如此实现以只使代表整个块的数据区被迁移和腾空。由于大文件通常占用成千上万块，因此效率的减低并不显著。
上述步骤在图5的流程图中得到阐述。步40标示后备操作的开始。首先在步42处标识所需文件。接着在步44处查询辅助数据库以便将自特定日期以来访问过的块与未曾访问过的块区别开。在步46处将自特定日期来未曾访问过的块加以标识。现在，事实上作为正常例行后备操作的一部分，这些未曾访问过的块早已作了后备。通常它们已不止一次地作了后备。因此不必再一次迁移它们或将它们后备。然而必须将未曾充分地后备过的块迁移至辅助存储器。可以将它们打上标记以标识它们。只要它们能适当地区别开，至于它们是打上标记准备迁移的块还是不准备迁移的块，这并不重要，因为在判断步48处判断是否已有足够的后备(例如三次)。如果不是这样，则在步50处将打标记的块作后备或迁移。在步52处更改系统的文件分配表(FAT)以将文件转换为稀疏文件，从而腾出所有由未曾访问过的块占有的空间。如文件早已是一个稀疏文件，则可增加更多空洞。在步54处完成例行操作。
最后的改善是截取随后对文件的读取请求以确定该请求是否企图读取迁移的数据。如果没有截取读取请求的措施，则操作系统可以在试图读取稀疏文件空洞时或者送回零数据或者报告出错。在截取到一个读取迁移数据的请求后，可生成一个恰当的信号以自动地将所请求的信息反迁移。如个别读请求是小的，则与整个文件反迁移的时间相比较将数据反迁移所需时间是短的，因为只需将实际需要的数据复原即可。
此操作在图6中得到阐述。步60标示一个文件读访问的开始。如图3中一样，在步62处将文件标识及在步64处提取起始偏距和读取长度。现操作进行至判断步66对文件分配表(FAT)进行检查以使用图5的例行程序确定读请求是否为读取任何已迁移块中的数据的请求。如对问题的答案是否定的，则操作进行至分别对应于图3中步26、28和30步70、72和74。然而如对问题的答案是肯定的，则在步68处首先将所需数据反迁移，然后如前所述地进至步70、72和74。不必将整块都反迁移，而通常只将所需的一块或多块记录反迁移。这些记录可能位于一块内，也可能跨越两块或更多块。
图3和6的例行程序要求截取盘访问。现参照图7和8描述如何完成这些步骤。任何时候当程序希望访问文件时，它调用一个将数据写到盘上的标准子程序。在DOS操作系统下此子程序称为16进制21中断功能(INT 21h)，它是操作系统的一个整体组成部分。读盘是INT21h的3Fh功能，而写盘是INT21h的40h功能。该子程序完成的操作决定于进入时传递给子程序的参数。在图7中所示系统存储映象中此子程序显示为组成操作系统一部分的INT21h，其中INT21h入口点由箭头所示。为执行根据本发明的最佳方法，如图8中所示在操作系统接口级别上增加附加程序码。实际上在DOS环境下可使用CONFIG·SYS文件将这作为设备驱动程序装入计算机。
增加软件的作用是将另一套指令替代或补充写数据的指令。
对于其它操作系统同样地需要以相似方式将写文件功能中断。有经验的程序员有能力按照以上有关DOS操作系统的描述写出必要的子程序。
更普遍地，本发明可在许多修改过的方法中及以上描述和阐述的方法和系统以外的方法和系统中得到实现。
具体说，该方法和系统可与我以前提到的申请08/165,382的部分文件后备系统结合起来。当做到这点后，同一个辅助数据库能如根据本发明记录对数据的访问一样地记录对数据的修改。唯一的差别是不论访问为读访问或写访问都必须在辅助数据库中记录。我先前申请中的部分文件后备系统响应于涉及写访问的辅助数据库入口，而本申请的部分件HSM系统对读和写访问都加以考虑。
另一个修改是增加辅助数据库生命周期的非活动阈值从而事实上扩展该系统。也即，在图5中的步44修改为它区别访问过和从未访问过的块，也即区别自辅助数据库首次建立或填充以来是否访问过的块而不是区别自特定日期以来已访问过和未访问过的块。在此情况下辅助数据库不必再记录每次访问的日期或日期/时刻。
可能在有些情况下即使一定文件部分未被访问过也不希望将它们迁移。例如，对于每个文件中第一块如此，对于最后一块也可能如此。
最后，如将本发明体现在全新的操作系统中，则原理上辅助数据库可与文件分配表(FAT)结合在一起。然而正常情况下最好使它们两个分开。