与实时内容流交互的装置 【技术领域】
本发明涉及接收和显示实时内容流的一种系统和方法。具体而言，本发明使得用户能够与显示的实时内容流进行交互并对其进行个性化。
技术背景
讲故事和其它形式的叙述一直是一种很受欢迎的娱乐和教育形式。这些形式最早包括口头叙述、歌曲、书面通信、戏剧和印刷品。作为第十九实际和第二十实际技术进步的结果，现在已经能够向不同地方的许多人进行广播。通过发射内容流或者数据给终端用户装置，将这些流转换成音频和/或视频输出，无线电和电视这样的广播媒体使得讲故事的人能够将他们的思想表述给听众。
这种广播媒体的局限性在于它们只发射单独一个内容流给终端用户，因此讲述的故事不能偏离它的预定顺序。这些装置的用户只是听众，不能影响故事的结果。用户能够与通过电视或者无线电广播的实时内容流的唯一交互是在内容流之间进行切换，也就是改变频道。让用户与讲故事的过程有更多地交互，让他们发挥创造性，并按照他们的兴趣决定剧情如何展开会更好，这样就能够获得更多的享受。
目前，计算机给用户提供了与实时内容流交互的媒体。例如，计算机游戏使用户能够控制虚拟环境中人物的活动，比方说在洞穴或者城堡这样的虚拟环境中。玩游戏的人必须控制他的/她的人物与其他人物交互，在虚拟环境中选择一条路。在在线计算机游戏中，通过网络从服务器向多台个人计算机广播实时内容流，从而使多个玩游戏的人能够与同样的人物、障碍和环境进行交互。尽管这些计算机游戏给予了用户决定故事如何展开这样的自由(也就是其中的人物会碰到什么事)，但是这样的故事倾向于老是重复，缺乏戏剧性，因为要求这些人物重复同样的动作(例如打枪)，在游戏的大多数时间里效果都雷同。
已经开发出各种儿童教育软件，它们使得儿童能够在计算机上与讲故事的环境进行交互。例如，LivingBooks开发了一种“交互性的书”，它将故事分成几个场景，每个场景都播放了一个很短的动画剪辑以后，就让儿童操纵场景中的各种组成，播放短动画。其它种类的软件为儿童提供工具，通过创造他们自己的故事来表达他们自己的感情和情绪。除了具有娱乐价值以外，以交互方式讲故事已经成为儿童开发语言、社会和认知技能强有力的工具。
但是，这种软件的一个问题是通常都要求儿童用键盘或者鼠标器来进行交互。必须用一种特殊的方式使用这种输入装置，需要一定程度的手-眼协调，因此幼童使用起来非常困难。此外，儿童早期认知能力开发一个非常重要的部分是适应他们的物理环境。通过“玩”来鼓励儿童参与的接口比传统的键盘和鼠标接口更好，因为从教育的角度来看它更加有益，更加直观，更容易使用，玩使得儿童更有兴趣参与学习过程。还有，扩展玩的领域(也就是儿童能够参与的领域)的接口，以及让儿童与他们正常情况下玩的对象交互，能够使儿童更愿意参与。
ActiMatesTM BarneyTM是微软公司的一个交互式学习产品，它包括嵌入长毛绒玩具的一个小计算机，在CHI’98文集第288～295页E.Strommen的文章“当接口是一个会说话的恐龙的时候：用ActiMatesBarney媒体进行学习”中有这个产品更详细的说明。儿童与玩具交互，通过挤压玩具的手玩游戏，挤压玩具的脚指头来听歌曲，捂住玩具的眼睛来玩“躲猫猫”游戏。ActiMates Barney还可以从个人计算机接收无线电信号，辅导儿童玩ActiMates软件公司提供的教育游戏。虽然这种产品能够培养儿童参与，但是这种交互仅仅是按指令行事。玩具不能培养儿童的创造能力，教儿童如何合作，这些在启蒙学习中是非常重要的，因为它不允许儿童控制任何活动。
CARESS(在声响中产生审美和谐环境)是设计工具工程，用以利用将形体转换为声音的计算机接口来开发儿童创造力和沟通技巧。该接口包括检测肌肉活动并足以灵敏去检测拟想的运动的佩带式传感器。这些传感器在使形体受挑战的儿童来表达自己与他人交流特别有用的，激发其参与学习过程。然而，该CARESS工程并没有构想一个允许使用者可与内容互动的接口。
【发明内容】
本发明的一个目的是让用户与终端用户装置收到的实时内容流进行交互。这个目的是用本发明中权利要求1所声明的输入装置实现的。将实时内容流变换成一种表示，通过电视或者计算机显示器这样的输出装置输出给用户。这一表示能够表达一个叙述，它的情节按照变换过的实时内容流展开，用户与这些内容流的交互通过激活或者释放内容流，或者通过修改这些流中传送的信息，会决定故事的进程。输入装置让用户与实时内容流以一种简单、直接和直观的方式交互。与实时内容流交互的时候，输入装置为用户提供物理的和精神的刺激。
本发明的一个实施方案涉及的是将实时内容流变换成一种表示供输出的一种系统，还涉及用户操纵以便激活或者释放表示中内容流的一种输入装置。这种输入装置包括一个或者多个表示对象，每个对象都表示一个内容流，还包括传输对象，用户将表示对象与之相连，以便激活表示中的对应内容流。
在另一个实施方案中，传输对象包括一个或者多个对象接口，表示对象可以与它进行物理连接，还包括微处理器，用于检测已经与接口连接的表示对象。微处理器产生一个信号，说明检测到的表示对象，用于传输给终端用户装置。终端用户装置激活对应于指定的表示对象的内容流。
在本发明的另一个实施方案中，微处理器检测从传输对象中去掉的一个或者多个表示对象。微处理器产生指明被去掉的传输对象的一个信号，传输给终端用户，释放对应于指明的表示对象的内容流。
在另一个实施方案里，每个表示对象都包括一个指示器，当对应的内容流被激活，而表示对象与传输对象相连的时候被触发。
在另一个实施方案里，每个表示对象都包括它表示的内容流的一个视觉或者听觉表示。
在另一个实施方案里，表示对象必须与传输对象上的一个指定对象接口相连。
在另一个实施方案里，表示对象可以与传输对象上的任意对象接口连接。
在本发明的另一个实施方案中，传输对象的每个对象接口都对应于一个内容流，微处理器产生一个信号，说明有表示对象与它们连接的接口。这个信号被传输给终端用户装置，它激活或者释放对应于指定接口的内容流。
本发明的另一个实施方案涉及将实时内容流变换成表示的一种方法，其中的用户通过输入装置激活或者释放内容流。
【附图说明】
通过以下详细说明，并参考附图，本发明的这些实施方案和其它实施方案将更加清楚。
显然，这些附图只是用于进行说明，本发明的范围由后面的权利要求给出。
图1说明将实时内容流变换成表示的一个系统结构。
图2说明一个示例性实施方案中输入装置的结构。
图3说明其中每个表示对象对应于传输对象具体对象接口的一个实施方案。
图4A和4B说明如何激活对应于将表示对象放在传输对象上的内容流。
图5A和5B说明表示中对应内容流被激活的时候被触发表示对象的一个指示器。
图6说明可以将一个表示对象放在任意对象接口上的一个实施方案。
图7是说明可以将实时内容流变换成叙述的方法流程图。
实施例描述
参考附图，图1说明本发明一个示例性实施方案中，将实时内容流变换成表示的系统的结构。终端用户装置10收到实时数据或者内容流，将这些流变换成适合于输出给输出装置15的用户的形式。可以将终端用户装置10配制成硬件、微处理器上执行的软件或者这两者的结合。本发明中终端用户装置10和输出装置15的一种可能实施是一个机顶盒，对数据流进行译码，发送给电视机。终端用户装置10也可以是一个个人计算机系统，用于对数据流进行译码和处理，输出给计算机的CRT显示器和扬声器。可以有许多不同的结构，本领域中的技术人员都了解这一点。
实时内容流可以是按照适合于压缩和传输多媒体数据的标准编码的数据流，例如运动图像专家组(MPEG)系列标准之一。但是，实时内容流不限于特定的数据格式和编码方案。如图1所示，实时内容流可以通过有线或者无线网络从电视广播站50或者计算机网络服务器60这样的几种不同外部源传输给终端用户装置。另外，可以从连接在终端用户装置上的数据存储装置70，例如CD-ROM、软盘或者数字多功能盘(DVD)，提取实时数据流。
如上所述，将实时内容流变换成一个表示，通过输出装置15传递给用户。在本发明的一个示例性实施方案里，这一表示将一个叙述传送给用户。与现有技术中只传送情节由实时内容流预先确定的故事的系统不同，本发明使得用户能够与叙述表示交互，通过操纵输入装置30，一起决定它的结局。按照这些操作，用户激活或者释放与这一表示有关的内容流。例如，每个内容流都可以导致故事按照特殊的故事情节发展，通过激活特定的流或者故事情节，用户决定情节如何展开。因此，本发明使得用户能够具有创造性，按照他的/她的希望使故事个性化。但是，本发明并不限于将实时内容流变换成故事呈现给用户。按照本发明的其它示例性实施方案，可以将实时流用于传送歌曲、诗词、音乐作品、游戏、虚拟环境、可改变的图像或者用户能够按照他的/她的个人意愿改变的任何其它内容流。
如上所述，图2详细说明输入装置30，它包括表示对象340和传输对象300。传输对象是一个装置，包括多个对象接口330，它们中的每一个都有一个端口，可以与一个表示对象340进行物理连接。在图2所示的示例性实施方案中，每个对象接口330都被专门配制成与某个表示对象340连接，也就是说，只有对象A 342应该与对象接口A 332连接。在另一个示例性的实施方案里，每个对象接口能够接收一组表示对象中的任意表示对象。尽管图2只画出了对应于三个不同表示对象A、B和C(分别是342、343、344)的三个不同对象接口A、B和C(分别是332、333和334)，但是本领域中的技术人员很清楚这个图是示例性的，其中的输入装置30可以包括任意数量的对象接口330和符合输出表示要求的表示对象。
在一个示例性的实施方案中，每个对象接口330都支持传输对象300和连接的表示对象340之间的数据通信。在这个实施方案中，将自己说明成表示对象340或者特定类型表示对象340的表示对象可以发送信号给传输对象300。但是，在另一个示例性的实施方案中，对象接口330可以检测连接了传感器，例如压力传感器的表示对象340。在这个实施方案中，对象接口330可以包括有特定形状的洞，只有形状相似的表示对象340才能够进入其中。在这个实施方案中，每个对象接口330都能够自动地确定它连接的表示对象340的类型。
每个对象接口330都发送一个信号给传输对象中的微处理器310，说明已经连接上了一个表示对象340。在每个表示对象都代表一个内容流的一个示例性实施方案中，对象接口330将表示对象340发送过来的表示数据格式化并发送给微处理器310。
但是，在另一个示例性的实施方案中，每个对象接口都表示一个内容流。在这个实施方案中，每个对象接口330都发送一个信号给微处理器310，说明已经连接上了一个表示对象，而不指明表示对象的类型。
在这个实施方案中，每个表示对象340都表示或者对应于一个内容流，微处理器310接收从对象接口330发送过来的信号，并且确定哪些表示对象340已经被连接。微处理器产生一个信号，发送给终端用户装置15，指明已经与对象接口330连接的表示对象340。微处理器310可以在收到表示对象330的一个信号说明与一个表示对象340的连接以后立即产生和发送这个信号。另外，微处理器310还可以在预先确定的时刻产生和发送信号(比方说叙述表示中新场景的开始)，其中的信号说明当前与传输对象300连接的那组表示对象340。
在每个对象接口330都与某一个内容流相连接的那另一个实施方案中，微处理器310都产生一个信号，指明与表示对象340连接的对象接口330。与前面的实施方案相似，微处理器310可以在收到对象接口330的信号以后立即产生和发送这个信号；否则，微处理器310可以在预先确定的时刻产生和发送信号，说明目前与一个表示对象340连接的对象接口330。
在一个示例性实施方案中，对象接口330还发送一个信号给微处理器，说明表示对象340已经被删除或者断开连接。微处理器320则可以产生一个信号发送给终端用户装置10，指明表示对象340或者对象接口330。
微处理器产生的信号被发送给终端用户装置接口320，它将这一信号格式化并进行发送，并且通过有线线路、无线电信号或者本领域中的技术人员能够想到的任何其它类型的通信链路将这个信号发送给终端用户装置10。终端用户装置10接收发送的信号，进行译码，决定哪个内容流与确定的表示对象340或者对象接口330连接，并激活表示中指定的流。
终端用户装置10还决定哪个流与确定了与传输对象300断开连接的表示对象340连接，或者与断开了与表示对象330的连接的对象接口330连接。终端用户装置10随后释放这些内容流。
在一个示例性的实施方案中，终端用户装置10通过检查控制数据确定哪些内容流与每个表示对象340或者对象接口330连接，这些控制数据结合在发送的实时内容流内。相反，终端用户装置10可以将这些控制数据储存在存储器里，否则可以从传输对象300的微处理器320将控制数据发送给终端用户装置。
下面将详细说明的图3～6说明本发明的一些实施方案，其中的传输对象300采用了球的形式，它们有一个或者多个对象接口330，可以将表示对象340插入其中。这些图是示例性的，一点也不是要限制输入装置30的组成的形式。例如，在其它示例性的实施方案中，传输对象可以是一艘平底船或者垫子，比方说游戏板，上面放置了游戏部件形式的表示对象340。此外，传输对象300可以模拟一个设置，比方说一个城堡或者海滨别墅，其中可以插入活动图或者玩具形式的表示对象340。本发明的传输对象300和表示对象340可以采取广泛的形式，这点本领域中的技术人员都清楚。
图3还说明本发明输入装置30的一个示例性实施方案。在这个实施方案中，每个对象接口300a～d都有一个具有特定形状的洞。每个对象接口都只与一个表示对象340a～d连接，具体而言，这个表示对象有相似形状。在图3所示的实例中，表示对象340a～d代表对应于能够放在表示外景天空中的元素的内容流。通过将表示对象340c放进对象接口330c，用户可以选择在场景中包括太阳。在图3所示的实施方案中，每个对象接口330都包括一个插座，因而能够与每个表示对象340进行数据通信。例如，表示对象340c与对象接口330c连接的的时候，表示对象340c的插入部件(没有画出)被插入插座331c，数据通过它在传输对象300和表示对象340c之间传送。
但是，如上所述，对象接口330c可以不包括插座331c。相反，对象接口330c可以包括一个传感器，比方说洞底部的一个压力传感器，它检测这个对象什么时候被完全插入这个洞。由于只有表示对象340c的形状使得它能够插入这个洞，因此对象接口330c会知道什么类型的表示对象340已经被插入。
图4A和4B还通过表示对象340yu传输对象300的连接说明如何能够影响输出表示。图4A说明输出装置15上显示的一个表示，对应于夜间外景图像。传输对象300包括一个对象接口330，用于接收表示对象，它代表与星星有关的内容流。图4B说明一旦表示对象340与传输对象300连接，与星星有关的内容流就被激活，星星出现在输出装置15上的天空里。
应该指出，终端用户装置10被激活以后，内容流不可能立即被激活。例如，如果图4A中的图像将是天空中有太阳的白天的图像，用户即将把星星形状的表示对象340插入对象接口330，那么这个表示会首先让太阳落山，天空变黑，然后星星才被激活，显示出来。这个实例在图5A和5B中说明，与表示对象340包括一个指示器341的一个示例性实施方案相联系。
如图2所示，可以从终端用户装置10将数据发送给传输对象300。因此，当内容流不会立即引起这个表示中的流输出的时候，终端用户装置10可以被配制成告诉传输对象300什么时候输出内容流。这样一个通知可以从终端用户装置10发送给接口320，接口320则将它发送给微处理器310。微处理器310对通知数据进行译码，发送一个说明命令给对应于当前输出的流的特定表示对象340或者对象接口330。如果对象接口330对应于活动流，它就将这个命令转发给连接的表示对象340。
在收到了这样一个说明命令以后，表示对象340触发它的指示器341输出一个视觉或者听觉指示。指示器341可以包括一个发光二极管(LED)，一个小灯泡，一个蜂鸣器，一个音乐播放机，触发的时候以特定方式移动的一个小雕像，或者能够告诉用户对应的流已经被激活的任何其它装置。
图5A说明输出装置15上与传输对象连接的表示对象340表示的内容流(星星的显示)不是立即被激活的一种情形。指示器不产生任何说明信号。一旦相关流被激活，也就是星星被显示出来(如图5B所示)，这个指示器就被触发，输出一个指示信号给用户。
即使没有任何标记或者清楚的相似性将表示对象340或者对象接口330与特定的内容流相连接，用户也能够确定哪些指示器341被表示中内容流的出现所触发。因此，用户能够推断表示对象340或者对象接口330与内容流之间的关系。
在另一个示例性的实施方案中，如图6所示，每个表示对象340都包括它表示的内容流的一个表示。这个表示可以在视觉上与内容流相似，或者发出通常都与内容流有关的一种声音。图6画出了三个表示对象340a～c，每个都包括一个小雕像，看起来象与它有关的内容流。表示对象340a、340b和340c表示分别对应于鱼、树和船的流。如图6所示，表示对象340a和340b都与传输对象连接，鱼和树都显示在输出装置15上。在能够听到这一表示的一个实施方案中，表示对象可以发出一种“牟”的声音，如果它代表对应于母牛的一个流。应该指出，图6所示的实施方案中每个表示对象340a～c都可以进入任意对象接口330。在这个实施方案中，表示对象340通过对象接口330发送的识别数据使得微处理器能够确定表示对象340的身份。
在另一个示例性的实施方案中，对象接口330包括它表示的内容流的一个视觉或者听觉表示。例如，可以在对象接口330旁边印一个图，或者可以从对象接口330发出一种声音，它与被表示的流相似或者具有逻辑联系。
在一个示例性的实施方案中，终端用户装置10将指令输出给用户，说明哪个表示对象340或者哪个对象接口330表示每个内容流。例如，输出装置15可以输出一个视觉或者听觉消息，告诉用户将一个星星形状的对象340a放到传输对象星星形状的洞330b里(如图3所示)会导致白天的图像变换成晚上的图像。
根据另一个示例性的实施方案，可以给控制数据提供终端用户装置10收到的实时内容流，使得特定的内容流被自动地激活或者释放。这就使得实时内容流的创建者能够控制激活和释放什么内容流。例如，叙述的作者能够有一定的控制权，按照传送的实时内容流中的控制数据，通过激活或者释放特定的内容流来控制情节的展开。
内容流不限于图中显示的组成。如上所述，本发明的一个示例性实施方案涉及到终端用户装置，它将实时内容流变换成叙述，通过输出装置15呈现给用户。激活或者释放这些流会明显地影响叙述的输出。
这个实施方案一个可能的实施是交互式电视系统。终端用户装置10可以是一个机顶盒，输出装置15就是电视机。下面参考图7所示的流程图说明用户与这样的系统交互的过程。
在步骤110中，终端用户装置10按照叙述的新场景接收数据流，并且立即处理这个数据流，提取场景数据。每个叙述表示都包括一系列的场景。每个场景都包括有一些行动的一个设置。此外，每个场景都有多个内容流与之有关，其中每个内容流都引入影响情节的一个因素。
例如，内容流的激活可以导致人物采取特定的行动(例如王子开始朝某个方向行走)，导致一个事件发生，影响到这一设置(例如雷暴，地震)，或者在这个故事中引入一个新角色(例如青蛙)。相反，内容流的释放可以导致角色停止采取某项行动(例如王子停止行走)，终止一个事件(例如雷暴或者地震结束)，或者导致一个角色离开这一表示(例如青蛙跳走)。
内容流的激活或者释放还可能改变表示中对象的内部特性或者特征。例如，激活特定流会导致王子这样的人物的情绪从高兴变成悲伤。这种改变可以是能够立即看到，也可以是不能立即看到，直到表示中的晚些时候。这样的内部改变不限于人物，可以应用于是表示一部分的任意对象，它包括能够改变的一些特性或者参数。
在步骤120中，机顶盒对提取的场景数据进行译码。设置被显示在电视屏幕上，同时告诉用户他或者她必须通过操纵输入装置30决定故事如何进行下去。这一步也可以给出指示，向用户说明与每个表示对象340或者对象接口330有关的内容流。下一步，用户将一个或者多个表示对象连接到传输对象300的对象接口330中，如同步骤130所示。
在步骤140中，与表示对象340连接的每个对象接口330都发送一个信号，向微处理器320说明它自己或者连接的表示对象340，它将这一信息发送给机顶盒。在步骤150中，机顶盒确定与确定的表示对象340或者对象接口330相连接的内容流，随后激活或者释放确定的这些流。因此，按照用户与输入装置30的交互，一个或者多个不同的活动或者事件可能出现在叙述表示中。
在步骤160中，新故事情节被按照激活/释放的内容流在电视上播放出来。在这个实例中，每个内容流都是一个MPEG文件，它在激活的电视上播放。
在步骤170中机顶盒决定激活的内容流是否需要让故事情节进入一个新场景。如果是这样，就进入步骤110，接收新场景的内容流。但是如果故事情节不需要新场景，机顶盒就在步骤180中决定叙述是否已经到达一个适当的结束点。如果不是这样，就让用户使用用户接口30，以便激活或者释放内容流，从而继续这一故事。图7中的流程图和对应的以上说明的目的是描述一个示例性的实施方案，而不是要进行限制。
本发明提供在儿童启蒙教育中有许多用途的一种系统。本发明通过让儿童与表示或者叙述进行交互以及对它们进行修改，能够培养儿童的创造能力并且能够开发他们的沟通能力。儿童会发现本发明的输入装置30用于与内容流进行交互非常直观，因为输入装置30的每一项操作，也就是增加和删除部件，对表示都有相似的效果，也就是增加(激活)和删除(释放)部件(流)。输入装置30好玩的本质能够进一步激励儿童与本发明交互。
另外，本发明的输入装置30可以帮助儿童学习不同概念之间的联系和关系。例如，表示对象340的外观可以与用户不能立即明白的内容流有一个逻辑关系。但是，用户发现当表示中的流被激活，表示对象340上的指示器341被触发的时候，用户会发现存在一种关系。例如，用云一样的对象来表示表示中的暴风雨，本发明能够被用于教儿童了解云和雨之间的因果关系。
但是应该指出，本发明的输入装置30并不限于给儿童用，也不限于教育应用。本发明提供一种直观、有刺激的接口，与不同年龄的用户使用的各种不同表示交互。
用户可以用本发明的输入装置30与表示有不同种类的交互。如上所述，通过让人物进行特定种类的活动，或者通过启动影响设置和其中所有人物的设置，比方说自然灾害或者气象风暴的设置，用户可以影响叙述表示的输出。输入装置30还可以只被用于改变设置中的细节，比方说改变建筑物的颜色或者森林中树的数量。但是，用户并不限于与本质上是叙述的表示交互。输入装置30可以被用于选择图片中要显示的部件，确定用于歌曲或者诗词中的抒情诗，在游戏中轮到自己，与计算机仿真交互，或者进行允许在表示中进行自我表示的任意类型的交互。
此外，本发明不限于只是将一个表示对象340或者对象接口330与一个内容流联系起来。在一个示例性实施方案中，多个表示对象340可以与一个内容流相连接，将每个表示对象340与传输对象330加在一起的时候激活它。类似地，可以有多个对象接口330与一个内容流相连接。例如，只增加一个房子对象给传输对象300可以激活显示房子的一个流，增加一个雪花对象可以激活显示雪的一个流。但是，在这个实施方案中，如果房子对象和雪花对象都被增加到传输对象里，就可以激活一个流显示一个圆顶建筑。
在另一个实施方案里，一个表示对象340或者对象接口330可以与多个内容流相连接。例如，月亮对象可以激活与夜晚有关的多个内容流，使得表示输出月亮和星星的图像，发出蟋蟀的啾救声。
已经参考示例性的实施方案描述了本发明。如同本领域中的技术人员会明白的一样，可以对本发明进行各种改进，而不会偏离本发明的范围。