在消息中发送运动控制内容的方法、消息传送设备和消息再现设备 本发明涉及将消息从发送者发送给接收者的方法。
而且，本发明涉及能够执行动作(motion)的消息再现设备和用于将消息传送给这种消息再现设备的消息传送设备。此外，本发明涉及包括这种消息传送设备和这种消息再现设备的消息传输系统。
自从数十年前开发出在线用户组和聊天室以来，特别是随着万维网和因特网的迅猛扩展，允许用户通过交换消息来通信的消息传递(messaging)系统持续受到越来越多的用户的认可。其他消息传递系统允许用户借助于例如电话或者移动电话来发送消息。
涉及用户借助于键盘来键入其消息并且其后该消息以书面形式出现在目的地用户的PC上的早期消息传递系统随着消息传递系统使用增加的可用带宽来发送视频以及音频消息内容而迅速变得过时了。如今，广泛地使用着具有合并的项目的消息，例如具有包含的图像的、HTML格式的邮件、包含音频数据或电影的邮件、MMS消息等等。这些附加的特征紧密地耦合到用于向用户传送消息的媒介中，即电话消息中的嵌入声音、计算机屏幕上显示的邮件中的图像等等。在过去，通常几乎所有可能的消息传递媒介都用来增强接收消息时的感受。一个实例是WO 2004/0795390 A1中描述的、在屏幕上依照消息的内容而运动的化身。在这个概念中，化身可以实现根据所述消息从众多预定动画中选择的动画。
本发明的目的是提供一种发送消息的方法以及消息传送设备、消息再现设备和消息传输系统，以便进一步增强接收者接收消息时的感受。
为此，本发明提供了一种将消息从发送者发送给接收者的方法，其中记录并且用动作控制内容补充该消息的记录内容，其中消息从发送者的传送设备传送到接收者的消息再现设备，所述消息再现设备能够执行动作，并且其中当将消息呈现给接收者时，依照所述动作控制内容来控制消息再现设备以便与相关消息的记录内容的呈现同步地执行所定义的动作。
消息的“记录内容”基本上可以是与消息再现设备的动作无关的任何其他内容，例如用于在消息再现设备上的显示器上显示的文本形式的消息或者用于转换成可听见的语音输出的消息。记录内容还可以包括以任何适当的方式记录的、与例如麦克风、网络摄像机等一起使用的被记录音频或视频数据。“记录”也可以指的是，消息由发送者借助于控制命令(例如离职消息)部分自动地产生，或者完全自动地产生。
术语“动作”可以指整个消息再现设备的任何运动，或者在消息再现设备包括若干部分的情况下，可以指该消息再现设备的“机器人部分”的运动，该设备或机器人部分借助于所述运动从一个位置移动到另一个位置。术语“动作”还可以指消息再现设备的特定部分或者机器人部分的运动，即实现特定姿势。
依照本发明的被同步的运动输出与所述消息内容的其余部分一起允许舞蹈元件(choreographic element)的通信。因此，大大增强了消息接收的感受。通过这种方式，例如，可以与消息一起传送真实的拥抱或者诸如鞠躬之类的礼貌的姿势。这在消息传递中开辟了一个全新的方面，其中考虑了人类在其交互中通常使用的所有通信模式。
依照本发明，用于将消息传送给能够执行动作的消息再现设备的适当的消息传送设备应当包括：消息记录器，其用于记录消息的记录内容；动作控制内容发生器，其用于产生动作控制内容；动作控制内容嵌入单元，其用于将动作控制内容嵌入到消息的记录内容中；以及传送器，其用于将消息传送给消息再现设备。因此，实现动作控制内容发生器和动作控制内容嵌入单元，以便产生动作控制内容并且将其嵌入到消息的记录内容中，使得消息再现设备在将消息呈现给接收者时能够依照动作控制内容来进行控制，从而与消息的记录内容的呈现同步地执行所定义的动作。
此外，适当的消息再现设备应当包括：接收器，其用于接收来自消息发送设备的消息；输出装置(例如显示器和/或扬声器)，其用于呈现消息的记录内容的至少一部分；以及动作装置，其用于执行消息再现设备的主体和/或主体的部分的动作。术语“主体”可以指任何种类的外壳(housing)，并且术语“主体的部分”可以指消息再现设备的外壳的任何可运动部分，或者在消息再现设备包括若干部分的情况下，可以指该消息再现设备的“机器人部分”。而且，依照本发明的消息再现设备应当包括：消息分析单元，其用于检测所述消息中的动作控制内容；以及动作控制单元，其用于在向接收者呈现消息时依照动作控制内容来控制所述动作装置，以便在呈现相关消息的同时与相关消息的记录内容的呈现同步地执行所定义的动作。
已知若干具有运动能力的系统。实例有Sony公司的AIBO机器狗，像NEC的ASIMO之类的其他机器人，或者RoboSapiens机器人。这些设备能够或者可能能够通过网络与远程机器进行通信。因此，它们按照原理都能够为特定用户接收消息并且传送消息。例如，AIBO的特征之一是，如果新的电子邮件到达，就通知用户。利用适当的附加物，就可以依照本发明相对容易地将这种设备转换成用于消息通信。
消息传送设备和消息再现设备的各种部件，特别是消息传送设备中的动作控制内容发生器和动作控制内容嵌入单元以及消息再现设备的消息分析单元和动作控制单元也可以用运行在相关设备的合适处理器上的程序或算法形式的软件来实现。
消息传输系统应当至少包括传送消息的相应的消息传送设备以及用于再现消息的依照本发明的消息再现设备。然而，通常这种系统会包括许多这种消息传送设备和消息再现设备。
优选地，消息传送设备和消息再现设备实现为集成的消息传送/再现设备的形式，即消息再现设备也会包括消息记录器、动作控制内容发生器、动作控制内容嵌入单元和适当的传送器，而消息传送设备会包括合适的接收器、输出装置、动作装置、消息分析单元和动作控制单元。使用这种消息传送/再现设备，可以以依照本发明的方式发送以及接收消息。
优选地，消息传输系统包括多个这种组合的消息传送/再现设备，由此不应当排除的是，所述系统也排他性地包括消息传送设备或者排他性地包括消息再现设备。
在这一点上，应当强调的是，消息传送设备并且特别是消息再现设备也可以借助于空间分离的部件来实现。例如，被接收消息的整个分析可以首先在某个单独的设备上进行，该设备识别出动作控制内容并且随后将适当的命令进一步发送给机器人单元，该机器人单元进而又执行伴随剩余消息内容的运动，由此剩余消息内容也能被进一步发送给机器人以便进行再现。然而，剩余消息内容也可能在不同的设备上输出，所述设备例如是具有扬声器的立体声系统，或者电视屏幕，或者在接收者一侧可用的另一显示器，即运动的再现可以与声音消息或者视频或图像消息内容的再现分开。但是，在下面将假定消息传送设备和消息再现设备是包括实现本发明所需的所有部件的机器人或者类似于机器人的设备，这不会以任何方式限制本发明。
从属权利要求以及后续的描述公开了本发明的特别有利的实施例和特征。与从属方法权利要求相应的设备权利要求和系统权利要求的进一步展开也存在于本发明的范围内。
基本上可以按照任何方式将动作控制内容包含在消息中并且链接到记录内容，使得所述运动可以与记录内容的输出同步。例如，记录内容和动作控制内容的时间输出可以相对于公共的起始时间。
机器人运动通常由自主运动(即以便保持直立)和外部控制运动(例如手臂向前运动)的混合来控制。这种控制可以通过遥控器、控制计算机或者运行在机器人自身上的脚本来接收。一些实现方式通过例如使用XML语言(RoboML和其他)借助于因特网支持更高级控制。因此在一个优选实施例中，为了产生依照本发明的消息，实现通常类型的消息传递方法并且将其与这种高级机器人控制结合，以便依据所提出的方法并且维持一致的标准。因此优选的是，将动作控制内容以所谓的“标签”的形式嵌入到记录内容中，特别是对于可以以文本形式或者以声音语音输出的形式来输出的文本内容。换言之，可以使用消息协议，其中与像RoboML之类的机器人控制语言所定义的标签类似的标签被嵌入到消息文本中。因此，这些标签可选地可以结合寻址附加模式的其他标签来使用，所述其他标签例如是用于图像的标签、用于多媒体呈现的SMIL类标签、用于室内外部设备的飞利浦PML标签等等。
存在描述消息内的动作控制内容的各种可能性。
优选地，例如在组合的消息传送/再现设备的情况下，消息传送设备也能够执行动作。在这种情况下，动作控制内容依照消息传送设备的设置和动作能力来进行描述。在沿着从消息传送设备到消息再现设备的路径的某个点处，关于消息传送设备配置的控制内容被转换成与动作再现设备的设置和动作能力有关的描述。
在这种转换(下面也称为“翻译”)中，例如可以由消息传送设备的能力执行的用于运动的控制命令被可以由对消息再现设备可用的能力代替执行的控制命令所代替。这种情况的一个实例发生在消息传送设备是能够点头的机器人并且消息再现设备不具有这种头部但是能够使“眼皮”运动以便向用户“眨眼”的时候。在这种情况下，点头被解释为消息传送设备的确认，其可以被转换成具有针对消息再现设备的相同解释的眨眼。
如果不能实现某些控制命令或者不能将其转换成另一种形式，那么也可以忽略这些命令或者用合适的文本或语音输出来代替，以便向消息的接收者通知发送者希望在那个点上执行一定的运动。
这种动作控制内容的翻译可以根据与消息再现设备的设置和/或动作能力有关的信息来在发送者一侧实现。因此，与消息再现设备的设置和/或动作能力有关的信息可以存储在消息再现设备的接收者简档(profile)存储器(优选地为数据库)中。换言之，用户能够借助于消息传送设备与之进行具有动作内容的消息的通信的各种消息再现设备的所有设置和/或能力被存储并且能够由消息传送设备按照某种方式来访问。已知消息再现设备的标识号或者类型说明可能也就足够了，并且可以从其他数据库(例如从因特网)获得或者检索有关这些接收设备的设置或动作能力的进一步的信息。
由于各种运动的含义的解释也起作用并且应当在翻译时已知，因此在一个优选实施例中，在接收者一侧基于与消息传送设备的设置和/或动作能力有关的信息来执行动作控制内容的翻译。在这里，所需信息同样也存储在可以由消息再现设备访问的存储器中，所述存储器例如是用于若干消息传送设备的数据库。
在本发明的另一个优选实施例中，与消息传送设备的设置和/或动作能力有关的信息包含在消息本身中。例如，消息传送设备的“能力描述”可以嵌入到或者包含在消息的报头中。消息再现设备首先读取这个能力描述，并且将其用于动作控制内容的翻译。如上所述，能力描述可以存储在消息再现设备的存储器中，以便以后与传送设备进行通信。此外，用于特定动作控制内容的翻译的规则可以一方面基于与消息传送设备的设置和/或动作能力有关的信息并且另一方面基于与消息再现设备的设置和/或动作能力有关的信息来定义，其可以被存储以用于以后与该传送设备或者具有相同能力描述的相同类型的传送设备进行通信。
为了使得消息再现设备的运动与消息本身的输出同步，动作控制内容包括相对于消息记录内容的特定运动再现的时间起始点以及规定所述运动要执行多长时间的相应持续时间。可替换地，可以定义呈现中的起始时间和结束时间。
此外，除了起始时间之外，还可以针对运动定义持续时间以及结束时间，由此可以将选定持续时间定义为下限或者上限，即可以在到达结束时间之后或者一定持续时间过去之后停止运动，这取决于哪个事件首先发生。同样，运动可以在两个事件发生时停止，即最后的事件决定了运动的有效持续时间。
当动作控制内容以标签的形式嵌入到消息文本中时，可以通过在消息文本中的希望位置处插入相关标签的起始部分来相对容易地定义起始时间。同样，可以以这种简单的方式来定义持续时间的结束时间。
存在各种产生动作控制内容的方式，特别是标签。例如，可以如例如Biggs和MacDonald的文章“Survey of robot programmingsystems”(Proceedings Australasian Conference on Robotics andAutomation，2003，Brisbane)所描述的那样实现现有机器人控制工具。在另一种方法中，可以基于消息传送设备的运动来产生消息。例如，在发送者一侧，其主体或主体的部分可以手工或者通过遥控器来移动的机器人的运动可以被记录和转换成诸如标签之类的希望形式，并且嵌入到消息内容中。可以通过首先记录消息记录内容并且然后重放它而同时使得机器人在消息中的希望位置处执行相关的运动来实现同步。
本发明的其他目的和特征根据以下结合附图考虑的详细描述将变得显而易见。然而，应当理解的是，这些附图仅仅被设计用于说明的目的，而不是作为对本发明的限制的限定。
图1为依照本发明一个实施例的、包括两个不同的消息传送/再现设备的消息传输系统的示意性表示；
图2为一种消息的实例，该消息包括以标签的形式嵌入到文本记录内容中的动作控制内容。
图1中示出的消息传输系统1包括两个实现为机器人的消息传送/再现设备10、40。在下文中，左边的消息传送/再现设备10用作消息传送设备10，其将消息M传送给右边的用作消息再现设备40的消息传送/再现设备40。当然，它们的角色可以倒过来，因为如下面将要解释的，两个设备10、40都包括用于通过依照本发明的方法来接收和传送消息的必要部件。
消息传送设备10实现在具有块状躯干11的机器人中，其手臂12由两侧的关节连接，爪13用作连接在手臂12的末端处的手。另外，该机器人具有连接到其躯干11的腿14，所述腿14进而又又配备了脚15。这个图示是非常简化的表示，当然，这种机器人可以具有膝、肘等特征。
头部16连接到躯干11的顶部。头部16具有用作眼睛的两个照相机17以及用作耳朵的两个麦克风21。该机器人还具有口18，其下颌19可以向下张开，允许实现基本的口部运动。口的一部分是扬声器20，该机器人通过扬声器20可以输出语音。
在该机器人内部包含了许多控制部件以便使机器人运动、记录视频和可听见的声音并且通过扬声器20输出声音信号。存在许多实现和控制机器人的方法，并且这些对于本领域技术人员应当是熟悉的。
由图1中的虚线所示的下列部件也合并到机器人的躯干11中，用于按照本发明的方式来发送消息：
首先，机器人包括消息记录单元25。利用该消息记录单元25，例如可以记录用户(发送者)的语音消息MS。这个消息记录单元25可以包括例如语音识别系统，利用该语音识别系统可以将语音消息MS转换成文本形式。此外，该机器人包括动作控制内容发生器24，动作控制内容借助于该动作控制内容发生器24来产生。这可以通过在用户口述语音消息MS时使用照相机17记录他的运动来实现。可以在适当的图像处理程序(在该示图中未示出)中分析这些图像并且由动作控制内容发生器24将这些运动转换成动作控制内容。记录内容和动作控制内容二者都转发给动作控制内容嵌入单元23，该动作控制内容嵌入单元23然后将动作控制内容嵌入到语音消息的适当位置中。
在这一点上，应当指出的是，上面和下面描述的部件中的许多部件进而又可以包括若干子部件，或者若干部件可以实现为单一的单元。例如，动作控制内容发生器25和嵌入单元23可以实现为单一的部件。
然后，将具有嵌入的动作控制内容的完整消息转发给传送器22，该传送器22将消息M传送给消息再现设备40。这可以按照任何适当的方式来实现，例如借助于通常类型的通信网络、移动通信网络或者首先到达无线LAN(WLAN)、接着经由因特网到达接收器范围内的WLAN并且然后继续到达消息再现设备来实现。消息是通过电缆还是按照无线方式来传送是无关紧要的。
消息再现设备40在该示图中也被示为机器人，但是形式与消息传送设备不同。这里，消息再现设备40具有圆形躯干41，腿44连接在下方，所述腿44进而又配备了脚45。这个机器人同样具有连接到躯干41顶部的手臂42，该手臂42进而又配备了手43。同样，该机器人是以非常简化的方式示出的，并且实际上可以配备任意数量的肢体。
该机器人的头部46实现为直接连接到躯干41的半球。头部可以旋转360度。两个照相机47设置在头部的一侧，并且用作眼睛。两个麦克风以触角49的形式实现在头部的顶端。在某一侧上，该半球形头部46可以从基座50向上一边翘起短的距离，以便模仿口的运动。扬声器51结合在这里，用于语音输出。
消息传送设备10发送的消息M首先由接收器56接收，然后转发给分析单元57，在该分析单元57中为了动作控制内容(例如特定标签的形式)来检查消息M的文本。然后，将其余文本传送给文本-语音单元60，该文本-语音单元60可以将文本转换回语音。
检测出的动作控制内容传送给解释单元58，该解释单元58在描述消息再现设备40的能力的能力简档CP’的帮助下解释动作控制内容。这个能力简档CP’存储在存储器61中，其中存储了用于该消息再现设备40频繁与之通信的消息传送设备的若干能力简档CPT’。
随后，动作控制内容在解释单元58中转换成适当的形式，使得消息再现设备40能够执行动作控制内容中规定的命令。该动作控制内容被转发给动作控制单元59，该动作控制单元59控制诸如驱动器或马达之类用于控制各种肢体或关节并且这里简单地示为块62的动作装置。文本-语音单元60借助于扬声器51以语音形式与这些运动同步地输出文本消息MS。
为了应答消息，消息再现设备40也包括消息记录单元55、动作控制内容发生器54、动作控制内容嵌入单元53和传送器52。消息传送设备10也包括接收器26、消息分析单元27、文本-语音发生器30、解释单元28、动作控制单元29以及相应的动作装置32。同样，这个设备10也包括具有存储于例如数据库中的、其自身的能力简档CP和若干用于其他设备的能力简档CPT的存储器31。当接收消息时，可以根据消息报头中的发送者ID来从该存储器中检索适当的能力简档CPT或CPT’。
图2示出了包括消息M的消息文档的简短实例，该消息M可以由类似于图1左边示出的消息传送设备类型来发送。
消息M包括消息报头MH和消息主体MB。显然，消息报头MH不必置于消息M的头部，而是可以放置在消息M中的任意位置处。仅仅必需的是，接收者应该将其识别成消息报头MH。
在该消息报头MH中，包括了消息传送设备的能力描述，该能力描述包含标签H1、H2、H3、H4、H5形式的、与消息再现设备的设置和/或动作能力有关的信息。然后，接收设备可以基于消息报头MH并且使用有关其自身能力的信息来对后面的消息主体MB和与动作内容有关的嵌入的标签T1、T2、T3、T4、T5进行转换或翻译。将标签T1、T2、T3、T4、T5、T6、T7置于文本中自动地定义了文本或语音输出中相应的运动应当在其处执行的点。
消息报头MH中的第一标签H1描述了尺寸为20×20×15cm的头部。第二标签H2描述了下巴，第三标签H3描述了消息传送设备的躯干。第四标签H4描述了下颌关节连接头部和下颌，由此头部被固定并且下颌可以在Y方向上0度和30度之间相对于头部运动。最后的标签H5描述了将躯干连接到头部的颈关节(所述机器人实际上并没有这种颈部，该颈部实际上是躯干或头部的一段)。头部可以向右或向左旋转90度，并且可以在-40度以上和50度以下之间旋转。
因此，可以在消息主体MB中定义诸如点头或者下颌运动之类的运动。当用作消息再现设备的机器人也具有这种在语音输出期间例如能够使下颌运动的下颌控制器时，该机器人的实际实现决定了所定义的运动实际被执行的程度。
消息主体MB，即实际的消息，以口语语句S1“嗨，彼特”开始。同时，机器人像第一标签T1所规定的那样向下看。
语音输出的其余部分如下：“实在抱歉，我最近的邮件造成了你的悲伤。对不起。”，如第二语句S2所给出的那样。紧接着的标签T2规定机器人再次朝上看，持续0.5s。然后，下一语句S3为“算了，让我们忘掉它吧。”
下一标签T3分成两部分T3a、T3b，覆盖了下一语句S4，即简单的“嗨！”。这些保证了在说出“嗨！”的同时机器人向上看。标签的第一部分T3a定义了运动以及从标签T3a的起始时间开始的持续时间。标签的下一部分T3b定义了所述消息中的这个运动的结束时间。在这个实例中，所述消息的结构保证了机器人向上看至少0.5s，但是直到说出词语“嗨！”并且执行标签T3b，才停止运动。
另一语句S5为：“我有个想法——这个周末让我请你吃顿饭。”后续的标签T4、T5、T6和T7保证了机器人笑两次，其口的张开与合拢清晰可见，其中标签T4和T6分成标签T4a、T4b、T6a、T6b以覆盖语句S6、S7。
如果接收以上借助于图2描述的消息的消息再现设备是简单得多的类型的机器人，例如具有可运动头部但是没有任何可运动下颌，那么就在翻译步骤中忽略所有涉及颌部的运动。该描述揭示了所涉及的运动类型，因而例如头部的运动被包含在再现的消息中。如果机器人不能处理规定的开始和结束时间或者持续时间，那么也必须将其忽略。
于是，整个操作可以如下：
可以实现图2中描述的消息M的产生，因为语音消息MS由用户借助于适当的用户接口输入而不需伴随的运动，并且作为语音来输出。当说出语音消息MS时，用户按照希望的方式使其机器人或者机器人的部分(在这种情况下为机器人的颌部和头部)运动。机器人记录这些运动。包含动作控制内容发生器和动作控制内容嵌入单元的适当的消息程序记录这些运动，产生相应的动作控制命令并且将它们以标签的形式嵌入到消息文本中的正确位置。
然后，将消息M作为包括消息报头MH和消息主体MB(参见例如图2)的消息文档来发送。在接收器一侧，使用消息报头MH和消息再现设备的已知能力来进行翻译，其中基于传送设备的能力和再现设备的能力应用了特定的翻译规则。这些翻译规则可以与能力简档一起存储，或者如果在这两个设备之间要发生进一步的通信，则替换所述能力简档。存储这些翻译规则尤其在消息再现设备不仅从相同的发送者，而且从具有相同报头的其他发送者，即从表现出相同能力特征的消息传送设备接收另外的消息时是有利的。
依照这些翻译规则，首先在报头中规定的待运动主体部分的名称以及消息再现设备机器人的主体部分的名称之间建立起一定关系(例如，消息传送设备的术语“主体”可以由术语“躯干”替换，因为它是消息再现设备使用的术语)。此外，例如可以删除所有“joint＝‘jawjoint’(关节＝‘颌关节’)”的元素。在图1的实例中，对于图2中描述的消息而言，下颌运动可以翻译成半球形头部46从消息再现设备40的基座50向上倾斜的运动。此外，如果消息再现设备不能处理所有对时间的参考，那么可以删除它们。
然后，将这些翻译规则应用到所述消息文档并且产生“新的”、经过翻译的、能够由消息再现设备再现的消息文档。
可以例如在消息传送设备和实际的消息再现设备(即机器人)之间的路径上发现的单独的设备中执行所述翻译。
在以上描绘的方式中，描述了简单的消息协议，所述消息携带了有关运动的信息。能够执行这样的运动的系统，例如用户接口机器人，可以在呈现伴随消息的同时执行这些运动。通过这种方式，所述协议以简单的方式支持与同时的消息内容呈现同步的运动。
尽管已经以优选实施例及其变型的形式公开了本发明，但是应当理解，可以对其做出许多额外的修改和变型，而不脱离本发明的范围。例如，所描述的消息传送/再现设备仅仅是一些实例，其可以由本领域技术人员进行补充或修改，而不离开本发明的范围。
为了清楚起见，应当理解的是，在整个本申请中使用“一”或“一个”并没有排除复数，并且“包括”并没有排除其他的步骤或元件。