用于在视频会议期间提供 对远端房间中的人的了解的系统和方法 背景技术
【发明领域】
本发明一般涉及一种通过连接在多个位置处的通信终端来建立通信的多点通信系统，尤其涉及一种用于向远程接收端转播视频会议过程中的所有与会者的举止的方法和系统。
相关技术地描述
由于图像压缩编码技术和数字通信技术的高度发展，对视频会议的需要已经呈指数增长。已经建议在视频会议中使用各种终端。例如，在传统视频会议设定中通常使用一个安装在电视监视器上方的摇移-倾斜-变焦(PTZ)摄像机。该PTZ的操作者控制摄像机的摇移，倾斜和变焦从而捕捉发言者的特写镜头，这样位于接收端的远程与会者就能够看到发言者的脸。但是在传统视频会议系统中，在视频会议过程中没有发言的其他与会者不能被摄像机捕获。这样观看视频会议的远程观众就可能不知道他们的举止。但是当他们听发言者发言或者与发言者进行交流的时候，通常期望能够看到其他与会者的举止。
因此，需要在视频会议中提供其他与会者的画面，这样视频会议中的所有与会者的举止都将被转播给远程接收端的与会者。
发明概述
本发明涉及一种向远程接收终端的其他视频会议终端提供视频会议中所有与会者的举止的系统和方法。
根据本发明的一个方面，一种用于跟踪视频会议中的多个与会者的方法包括以下步骤：根据视频定位器的输出来监视一个特定的视频会议房间从而跟踪所有的与会者；生成一个音频定位器输出从而确定正在演讲的人；根据音频定位和视频定位器输出是否位于一个相互的特定范围内来调整摄像机的设定从而聚焦在发言者身上；并且，如果发言者沉默了一段预定的时间周期，就调整摄像机设定来依次显示其他没有发言的与会者。如果发言者连续发言超过一段预定的时间周期，就调整摄像机设定依次显示没有发言的与会者。该方法进一步包括步骤：检测和显示一个进入视频会议房间的新人或者其中一个离开视频会议房间的与会者。
根据本发明的另一方面，一种用于跟踪视频会议中的多个与会者的装置，包括一个摄像机，以及与该摄像机耦合的处理器，处理器进行下面操作(i)处理表示每一个与会者的位置的音频定位器和视频定位器的输出；(ii)调整摄像机的设定从而聚焦在发言的一个与会者身上；(iii)检测发言者是否沉默了一段门限时间周期；以及(iv)在所检测的沉默周期超出门限时间周期之后，调整摄像机的设定来依次显示其他不发言的与会者。处理器还进一步操作以便在检测的沉默周期超出门限时间周期之后，以预定数量缩小摄像机焦距。
本发明的前述的以及其他特点和优点将在下面如附图所示的优选实施例的更详细的描述中变得清楚明了，其中参考标记在不同视图中表示同样的部分。附图不需要按比例放缩，而重点被放在说明本发明的原理上。
附图简述
当结合附图时，参考下面的详细描述，将得到关于本发明的方法和装置的更为完整的理解，其中：
附图1是表明根据本发明的一个实施例的多点会议系统的示意图；
附图2是可以应用本发明的该实施例中的视频会议房间的简化图；
附图3是表明根据本发明的一个实施例的视频会议系统的示意图；
附图4是表明根据本发明的一个实施例的视频会议系统的主要元件的简化框图；
附图5是表明根据本发明的一个实施例的操作步骤的流程图。
优选实施例的详细描述
在下面的描述中，为了解释而不是限制，阐述了诸如特定的结构，接口，技术等的具体细节，以便提供对本发明的全面了解。为了简化和明了，省略了对已知的设备、电路和方法的详细描述，从而避免用不必要的细节混淆本发明的描述。
附图1是一个表明通过被设计用于执行双向传输的数字通信线而彼此连接在一起的多个终端站的示意图。即，将视频会议终端A连接到视频会议终端B以及视频会议终端D。将视频会议终端C连接到视频会议终端B和视频会议终端D。尽管为了说明的目的将有限数目的终端以环形连接在一起，但是应当明白本发明可以支持在更多数量的终端之间以不同的形式同时进行视频会议的通信。因此，附图中的终端数目和连接安排不应限制本发明的范围。
附图2表明了当多个与会者通过耦合到包含一个摄像机的视频会议系统10的监视器2与远程观众交互时发生的视频会议。根据本发明操作的摄像机可以包括一个传统的摇移-倾斜-变焦(PTZ)摄像机。附图3示出了根据本发明的实施例安装在监视器2上的PTZ摄像机8。PTZ摄像机对于熟悉视频会议领域的技术人员是已知的。应当注意在本公开内容上下文中的视频会议系统10包括一个膝上型计算机，一个传统的台式计算机，一个交互式电视/机顶盒遥控器，或者任何配备摄像机以捕获视频会议中的与会者的举止的双工交互设备。
在操作中，具有内置自动摄像机8和相关软件的系统10用于将位于一个视频会议房间中的所有与会者4-1，4-2，4-3，...4-n的举止向位于远程接收端的其他与会者转播。特别是，即使当所有与会者没有发言的时候，跟踪系统10也跟踪摄像机8视野范围内的所有与会者。在正常模式下，摄像机8根据与会者的发言和运动的流程来跟踪与会者。在适当的时间，即，当存在一个较长时间的沉默或者当一个人发言了很长时间的时候，摄像机8依次变焦到每个与会者身上。这可以利用整个房间镜头或者最低限度的框住所有与会者的镜头进行交替。此后，摄像机9重新聚焦在发言者身上或者其他新的发言者。同时，当有一个新人6进入房间或者离开房间的时候，摄像机8自动地短时间聚焦在此人身上。因此，位于接收端的远程与会者将会了解位于发送端的所有与会者相对于发言者的位置。
附图4表明了根据本发明的实施例的系统10的主要组成部分。系统10包括一个PTZ摄像机8，一个音频定位器12，一个视频定位器14，一个控制器16，一个输入/输出(I/O)接口18，一个用户接口20，一个视频处理器22，一个显示器24以及一个存储器26。
PTZ摄像机8被耦合到控制器16并且用于实时地跟踪视频会议中的一个与会者。PTZ摄像机8被耦合到用于接收音频信号的音频定位器12和用于接收视频信号的视频定位器14。应当注意也可以使用其他类型的连接安排，以便从摄像机8向控制器16或者向其他能够使用组合的音频-视频跟踪系统来执行跟踪的系统提供视频和音频信号。此外，根据本发明的技术，除了PTZ摄像机以外，也可以使用其他的图像捕获装置。
音频定位器12和视频定位器14分别提供音频和视频跟踪操作。根据本发明的音频定位器12可以是在1999年11月8日提交的序号为09/436,193的美国专利申请中描述的类型，这里结合该专利申请中的技术教导以供参考。简单的说，音频定位器12可以用于区分发言者，即作为回声消除的副产品。应当注意其他类型的音频定位器也可以用于实现本发明。视频定位器可以是本领域中已知的任何能够跟踪视频信号或者其他类型的图像信号中的人或者其他感兴趣的对象的商业上可获得的系统。将音频定位器12和视频定位器14的输出信号提供给控制器16，然后处理器22处理这些信号，从而产生一个或者多个控制信号用于控制摄像机8的摇移，倾斜和/或聚焦设定。
将I/O设备18耦合到控制器16，其适于从远程视频会议终端以及其他包括有线服务提供商，数字高清晰度电视(HDTV)和/或数字标准清晰度电视(SDTV)信号，一个圆盘式卫星电视天线，传统的RF广播，以及互联网连接的多种源接收视频信号流。将用户接口20耦合到控制器16，以用于从用户接收命令信号(即红外信号)来控制系统10。显示器24耦合到处理器22，以用于从其他的视频会议终端接收音频和视频信号进行观看。
在本发明的其它实施例中，由附图4所示的系统10的元件所执行的一些或者全部功能可以组合到一个单一的设备中。例如系统10的一个或者多个元件可以作为专用集成电路(ASIC)或者插入计算机，电视机，机顶盒或者其他处理设备中的电路卡来实现。
本发明所选的实施例是一个在系统10中执行的计算机软件。计算机程序(或者计算机控制逻辑)存储在存储器26中。当执行这种计算机程序时，就能够使系统10执行这里所述的本发明的功能。
附图5表明了视频系统10的软件实施例的操作。假设在一个给定的视频会议过程中，视频系统10，音频定位器12和视频定位器14都被激活。在步骤100中，系统10使用摄像机8的摇移，倾斜和/或变焦设定来跟踪所有与会者。音频定位器12和视频定位器14用于产生同与会者的举止相对应的跟踪输出。跟踪输出可以是方向性测量的形式，用度数表明从摄像机8的中心轴到检测的与会者的方向。
在步骤120中，分析音频定位器12和视频定位器14的跟踪输出，从而包含一个与房间中发言的人有关的位置表示符。为此，系统10参考与视频定位器跟踪输出充分匹配的音频定位器的跟踪输出。例如，如果来自于音频定位器12和视频定位器14的方向性测量彼此位于一个特定的范围内，即在4-5度以内，就表明音频定位器12和视频定位器14关于当前发言者的位置是一致的。当检测到发言者的时候，控制器16产生一个指示摄像机8在发言者的方向上放大的控制信号。在多于一个发言者讲话的情况下，音频定位器12能够定位声音最高的人。在上面引用的序列号为09/436,193的美国专利申请中所述的音频定位器12描述了定位声音最高的发言者的机制，这里不需进一步的描述。
在步骤140中，判断当前的发言者是否持续发言超出门限时间周期。如果没有，在步骤160中判断当前发言者是否沉默超出一个预定的时间周期。如果当前发言者讲话或者沉默了一个特定的门限，系统10就在步骤180顺序显示其他与会者的特写镜头。为此，就要根据视频定位器的输出来调整摄像机设定从而控制摄像机8的摇移，倾斜和变焦设定到其他与会者方向。此后，在步骤200中，系统10产生一个控制信号，指示摄像机8缩小焦距到一定程度或者完全提供组图。此后系统10可以产生指示摄像机8重新聚焦在发言者或者其他开始发言的人身上。
同时，视频定位器14利用已知的传统技术，根据诸如运动和面部色彩特征，持续尝试发现进入房间的新人或者离开房间的与会者，这样进入房间或者离开房间的人的在场与不在场信息就被传送到位于接收端的远程与会者。
虽然已经解释和描述了本发明的优选实施例，但本领域的技术人员应理解在不背离本发明的真正范围内可以做出各种改变和修改，以及用等价物来替换元件。此外，在不背离本发明的中心范围的情况下，可以做出各种修改来适应特定的情况以及本发明的教导。因此，本发明并不局限于所公开的、作为实现本发明的最佳方式的特定实施例，本发明包括落在附加权利要求范围内的所有实施例。