编辑、分发和重放派生超媒体内容的系统和方法 本发明与诸如万维网(WWW)上的信息处理领域有关，具体地说与编辑、分发和重放派生超媒体内容的技术有关。
随着万维网(WWW)越来越成为一个值得注意的信息源，对WWW信息的共享和再利用的需求也就越来越多。
可以认为所希望的是WWW用户应该能将注释加到WWW文档上。有一些现有技术系统允许将某些类型的注释加到WWW文档上。众所周知的Mosaic浏览器允许对WWW文档进行静态文字注释。然而，这种系统有着注释要与文档一起存储的限制，因此需要得到文档的拥有者对生成注释的许可。这妨碍了对任意网页的注释，因为通常是不会得到许可的，而且也导致对于许可注释的文档拥有者有着安全性上的风险。这也妨碍了用户可以对一个文档进行个人注释。
其他系统，诸如TMS Sequoia地ViewDirector Prism系统和Insight Development的HotOffTheWeb系统之类，允许对WWW文档加图形注释。然而，这些注释实质上是静态的，这意味着没有随它们存储的定时或导航信息。这样的系统不能很方便地如所希望的那样用来编辑通过一些网页的游历(tour)。此外，这些系统也不支持语音注释。一种对于解释或注释的自然机制是所谓的动态注释，诸如在1998年11月17日颁发的Hou，Tai-Yuan等人的美国No.5,838,313(Siemens Docket No.95P7547)中对图像数据所作的说明那样。该专利中所揭示的列作本申请的参考予以引用。简要地说，这个申请揭示了一种基于多媒体的报告系统，利用一个命令解释器接收用户的输入，将这输入转给打开报告处理器、保存报告处理器、包括录音和重放处理器的动态注释处理器、注释加注处理器、加添媒体处理器和打印报告处理器。与本发明最有关的是，动态注释处理器允许个人记录/重放用户输入的注释。
生成注释涉及与定时信息一起记录鼠标姿态、涂划和注释编辑的语音，使得注释以后可以用就是编辑生成它的方式重放。不同于上述的Mosaic、Prism和Sequoia系统，这种动态注释系统的用户可以看到用编辑的注释及时展开的图形注释。
按照本发明的一个方面，所揭示的工具使WWW用户可以编辑从现有的一些WWW文档派生的新类型的WWW内容。用户能为WWW文档添加注释，记录通过一系列WWW文档的″导游(guided tour)″。得到的巡视(tour)是这些现有WWW文档、编辑引入的排序和定时以及编辑的注释的组合。
按照本发明的另一个方面，这种动态注释的思想扩展到也记录一些导航事件。这样，可以在一个注释中巡视一些超媒体文档。
按照本发明的一个方面，所揭示的编辑、分发和重放派生超媒体内容的基于多媒体的系统包括一个工具，这个工具例如使WWW用户可以编辑从一些现有的WWW文档派生的新类型的WWW内容。
按照本发明的另一个方面，这种系统主要由三部分组成：记录对超媒体的动态注释的编辑系统，分发这些注释的分发系统，以及播放这些注释的播放系统。编辑和播放系统包括在一个超媒体浏览器内，而分发系统部分包括在浏览器内，部分包括在一个专用远程服务器内。分发系统在浏览器内的部分称为注释管理器，而在远程服务器内的部分称为注释服务器。
本发明，如在下面以典型实施例为例所说明的那样，将动态注释的思想与诸如WWW浏览器之类的超媒体浏览器综合起来。用记录、分发和播放超媒体文档的动态注释扩充传统的超媒体浏览器。本发明产生了一些从诸如WWW之类的超媒体信源生成和共享派生内容的新机会。
从以下结合附图对优选实施例的详细说明中可以更充分地理解本发明，在这些附图中：
图1示出了作为与WWW配合使用实现的系统的总体结构；
图2示出了按照本发明实现的一个实施例的版面；
图3示出了按照本发明实现的超媒体控制流程图；
图4示出了按照本本发明实现的系统在注释模式的工作情况；
图5就一个按照本发明实现的系统示出了注释分发系统存储注释的工作情况；
图6就一个按照本发明实现的系统示出了注释分发系统通知用户存在注释的工作情况；
图7示出了按照本本发明实现的系统在注释重放期间的工作情况。
超媒体的最广泛的使用形式是WWW，本发明在这里将以WWW为例进行说明，虽然这些概念和总体设计完全适用于任何超媒体系统。
图1示出了作为与WWW配合使用实现的系统的总体结构。
传统的WWW浏览器一些组成部分，其中值得注意的是可以利用众所周知的诸如HTTP之类的协议在网上从一些远程网点接入文档的网络接口和将建立的文档变换成用户可以理解的形式的文档表现器。这些组成部分广泛地用来加入一些例如从NetMasters LLC的FastNetActiveX部件集扩展的系统。为了使用户可以得到本发明的新的特色功能，添加了一些新的用户界面的操作对象。这些对象各用相应的新的组成部分来描述。
图2示出了本发明的一个典型例子的版面，有着所指出的这些新的用户界面对象。
在前面提到的美国专利No.5,838,313中所揭示的发明使用户可以在电子文档上编辑动态注释。本发明使用户可以在一个浏览超媒体的程序内编辑注释，而且还有三个新颖的功能：截获和记录导航事件，将多个文档包括在一个注释内，以及将超链接插入现有的注释。
在上述美国专利No.5,838,313的第8和第9页上提供了一个表，列有一些要记录在注释内的“值得注意的”有效事件。简要地说，其中描述了在记录期间所记录的事件包括两种离散的事件：用户激活事件(user-activated event)和时间分片事件(time-sliced event)。在这里有意义的用户激活事件具有格式(事件名称，时间，参数)。其中揭示了许多典型的用户激活事件，例如：移动屏幕上的一个用户界面对象，改变某些文本的颜色，删除一个图形，等等。
按照所揭示的本发明的实施例，有效事件表扩展到包括以下在超媒体浏览器中都有的导航事件：
追随超链接
调用“向前”、“后退”、“刷新”或“返回主页”的浏览
器命令
通过使用历史清单跳转到一个文档
通过调用″书签″跳转到一个文档
卷滚在可视区域内的文档
如同在前面提到的美国专利No.5,838,313中所描述的其他事件，按照本发明的所揭示的实施例，每个事件都存储为(事件名，时间，参数)。前四个导航事件都以事件名NEW_DOCUMENT和存储目标文档ID的单个参数存储。通常，ID唯一地标识了这个文档。在是WWW文档的情况下，通用资源定位器(URL)用作ID。卷滚事件以事件名SCROLL存储，具有一个指示卷滚方向(向左，向右，向上或向下)的参数和一个指示卷滚幅度的附加参数。
图4示出了按照本发明实现的系统在注释模式的工作情况。在编辑一个注释期间，发生一个除SCROLL(卷滚)事件外的导航事件会使超媒体浏览器以通常方式装入和表现一个新的文档。记录注释，包括录音和记时，在装载新文档时暂停而在装载完成后恢复。这使多个文档可以在同一个注释内注释。由于在装载期间暂停记时，因此存储的所有事件的时间与所接入的各个文档的装载时间无关。例如，如果用户引起一个MOUSE_MOVE(移动鼠标)事件，这个事件的时标就是自注释以来的毫秒数减去任何花费在下载上的时间。
动态注释编辑部件的另一个新颖功能是创建对现有注释的超链接。用户通过在注释管理器方框(在图2中标为G)内的目标注释标识符(在图2中标为H)上点击可以创建一个超链接，目标注释标识符和注释管理器方框都将在下一段说明。超链接存储为一个事件，具有事件名ANNOTATION_LINK，时间，以及一个给出目标注释的标识符的参数。
为了使用户可以从超媒体浏览器内部接入动态注释编辑系统的这些功能部件，在传统的浏览器接口上添加了两个用户界面对象。它们是：
浏览器模式方框，它有三个按钮：浏览，注释和观看(图2中
的A，B和C)
注释模式方框，它有两个按钮：涂划和文本(图2中的D和E)
模式方框收集了一些选项，这些选项是在一个时间只有其中一个可以是有效的单选项。图3示出了如由这两个新的模式方框确定的超媒体浏览器控制流程图。浏览器模式通常是浏览，而在这样的情况下注释模式方框无效(但也示出)。在浏览模式，普通的WWW操作有效。点击注释按钮可以将浏览器模式切换成注释模式。在注释模式(参见图4)，如在前面提到的美国专利No.5,838,313中那样，截获和存储与注释模式有关的事件(包括在前一段中所列出的这些导航事件)。注释模式方框启用。点击文本按钮将注释模式设置为文本，而点击涂划按钮将注释模式设置为涂划。在这两个注释模式中，都截获鼠标事件。在涂划模式中，在一个MOUSE_DOWN(鼠标按下)事件后而在下一个MOUSE_UP(鼠标弹起)事件前的MOUSE_MOVE(鼠标移动)事件导致画出一个线条。
在文本模式，不画线条，MOUSE_DOWN事件用来确定TYPE(打字)事件的X，Y坐标。第一个TYPE事件接收上次MOUSE_DOWN事件的X，Y坐标，而后继的TYPE事件接收同一个Y坐标和适合于字体大小的递增X坐标。
如图3所示，点击浏览按钮使浏览器返回浏览模式，结束注释。点击观看按钮可以将浏览器切换成观看模式，重放当前注释，如在“播放超媒体动态注释的装置”(“A Means for Playing DynamicAnnotations of Hypermedia”)中所说明的那样。
本发明的另一个主要部分是分发注释的系统。这个系统包括一些在超媒体浏览器内的组成部分，称为注释管理器，以及在一个远程服务器处的一些组成部分，称为注释服务器。通常，系统允许用户将注释存储在注释服务器处。在另一个用户接入同一个超媒体文档时，浏览器对服务器进行查询，看是否存有对这个文档的注释。如果有，这些注释就可以给这个新用户查看。
为了使用户可以从超媒体浏览器内部接入动态注释分发系统的这些功能部件，在传统的浏览器接口上添加了两个用户界面对象：
保存按钮(图2中标为F)
注释管理器方框(图2中标为G)，含有一些注释标识符(图2
中标为H)
在编辑了一个注释而返回到浏览模式后，用户可以选择将它存储在注释服务器处。用户界面件F是保存按钮。如图5所示，按下保存按钮就调用了一个传统型的对话框，使用户可以键入注释的名称和用户自己的姓名。键入了名称后，这个注释就作为一个注释文件写到本地磁盘上，如在前面提到的美国专利No.5,838,313中所揭示的那样。然后，这个文件用FTP或类似的文件传送协议与它的名称和/或编辑的姓名一起传送给注释服务器。一个任选功能是，注释管理器产生一个表示注释的直观图标，也将它发送给注释服务器。
在注释服务器处，将这个注释文件存储在注释存储器内。注释存储器可以是任何类型的传统数据库。注释文件的入口用每个文档的包含在注释内的唯一ID作索引。这些ID可以直接从注释文件内的NEW_DOCUMENT(新文件)事件提取。
如图6所示，每当有一个用户用超媒体浏览器接入一个文档时，注释管理器就用这个文档的ID对注释服务器进行查询。如果有已经用ID索引的注释存储在注释存储器内，就将这些注释的名称、它们的编辑和它们的图标(如果有的话)返回给注释管理器。然后，在注释管理器方框(用户界面件G)内分别向用户显示这些名称和图标，如在用户界面件H内所示。因此，使用户知道这个文档可用的任何注释。
有许多协议用来限制用户查看注释的权利，各用于不同的情况。在这里不对这样一些协议作具体说明，因为本发明是可与许多可能选择的接入协议是兼容的。
虽然在前面提到的美国专利No.5,838,313中所揭示的发明使用户可以播放对电子文档的动态注释，但是本发明能够播放一些在一个浏览超媒体的程序内的注释，而且用三个新的功能扩展了操作：播放多个文档的注释的能力，处理任意文档装载时间的同步系统，以及显示对其他注释的临时超链接的措施。
系统的用户可以通过点击列在前面说明的注释管理器方框内的任何注释来播放先前记录的注释。此外，一个注释编辑可以通过将浏览器切换成观看模式来查看他刚作的注释，如图3所示。图7示出了系统在重放期间的工作情况。
如在前面提到的美国专利No.5,838,313中所揭示的那样，通过在尽可能保持定时的同时对已经存储的每个事件进行处理来播放注释。在是NEW_DOCUMENT事件的情况下，这个文档的ID传送给传统的装载和表现浏览器模块。任何后续事件，诸如画线条或鼠标姿态，都显示在新建文档上。这样就可以播放多个文档的注释。
与单文档注释相对比，多文档注释造成的一个困难是装入和表现一个新文档所需的时间从记录到重放甚至从一个重放到另一个重放是不一致的。对于WWW文档特别是这样，装载时间可能变化相当大。在重放时间，这可以使在一个绝对时间线上记录的声音和事件与所关联的文档不同步。在本发明中，这个问题是通过在装载和表现新文档期间暂停记录和重放注释来解决的。具体地说，在观看模式处理一个NEW_DOCUMENT事件时，暂停重放，直到浏览器通知重放模块，装载和表现已经完成。此外，所有事件的时间标记都存储起来，相对完成装载最近文档进行解释。这样就可以允许任意的装载时间而不会失去同步。
如前面所说明的，本发明允许注释编辑创建对现有注释的超链接。这些存储为ANNOTATION_LINK(注释链接)事件。在重放期间，ANNOTATION_LINK事件通过使一个专用的“链接按钮”暂时出现在浏览器上来表示。在所说明的这个典型实施例中，链接按钮首先呈现为鲜红色，然后在一段为几秒的时间t内渐渐淡成白色。经验试验表明t为5秒是适当的。在链接按钮完全成为白色后，就除去。在链接按钮可见时，用户可以点击它。点击这个链接使重放当前注释暂停，开始播放目标注释，也就是带有在这个ANNOTATION_LINK事件中存储的ID的注释。在目标注释结束后，先前注释从上次停止处恢复重放。
由于在单程重放期间可能接着有几个注释超链接，因此需要有一个堆栈来保持重放的状态。每当单击链接按钮时，就将当前注释和这个注释中的下一事件的索引推入堆栈。每当一个注释结束，就检验堆栈，看看是否有任何突出的注释要恢复。如果堆栈是空的，就结束重放；否则除去处在堆栈顶上的注释，就这个注释恢复重放。
虽然本发明以典型实施例为例进行说明，但是熟悉该技术领域的人员可以理解根据本发明的精神可以作出各种变动和修改，而这样的改变和修改都应从属于以下权利要求书所涵盖的本发明的专利保护范围。