通讯终端、 通讯管理系统、 通讯系统、 声音输入部登录方法 技术领域 本发明涉及通讯系统， 该通讯系统用于会议出席者在互相分开的场所通过收发图 像以及声音等会议信息来举行会议， 或者用于利用声音通话或声音及图像通话等在两者或 多者之间通讯， 尤其涉及具有静音功能的通讯终端。
背景技术 目前， 利用英特网等通信网络进行远程通信的远程通信系统、 以及利用远程通信 终端举行会议的会议系统得到了广泛普及。 该会系统在参加会议的一方的出席者等会议当 事者所在的会议室中， 用会议系统的远程通信终端来拍摄会议当事者等会议室的图像， 并 收集发言等声音， 而后将图像和声音转换成电子数据， 并将该电子数据发送到另一方的远 程通信终端， 在另一方会议室中的电视机或投影机等显示器上显示上述拍摄的图像， 并通 过扬声器输出上述收集的声音， 以接近实际举行会议的状态在分开的场所举行会议。
在一般的会议中， 经常出现出席会议的一方人员进行内部商量等的场合， 也就是 说会发生不想让出席会议的他方得知或无需让他方得知的内部会话。
在利用会议系统举行的会议中也同样会出现上述情况， 但是， 在会议系统中遇到 上述情况时， 可利用静音功能， 来暂时减小自己的声音输入， 或将自己的声音输入降至 0， 以 使得参加会议的对方听不到自己的声音。
然而， 实行静音后， 出席会议的对方对声音突然中断将会感到十分唐突， 或者会误 认为会议系统发生了故障， 从而造成混乱。
针对上述问题， 在现有技术中提出在实行静音时向对方发出通知的技术方案， 用 文字或图标在对方的画面上显示处于静音状态。
例如专利文献 1(JP 特开 2008-61060 号公报 ) 公开了以下技术方案， 会议终端 A 在向对方的会议终端 B 发送的信息中加入自己的动作状态， 包括麦克风的静音 ON/OFF 在内 的该会议终端 A 的动作状态作为附加数据被一起送往会议终端 B， 会议终端 B 根据该附加数 据显示会议终端 A 的动作状态。
关于会议系统的远程通信终端中的麦克风， 有如专利文献 2(JP 特开 2008-28885 号公报 ) 公开的、 安装在远程通信终端主机之中的麦克风， 而一般的并非专用于远程通信 终端的麦克风则为外设， 连接在远程通信终端主机上。
静音功能可以通过操作静音按钮来实行， 在装有麦克风的远程通信终端主机中设 有该静音按钮。
在一般的麦克风中通常也设有静音按钮， 与此类麦克风相连接的远程通信终端可 利用设在麦克风上的静音按钮。 这样， 用一般的麦克风作为外设时， 可操作麦克风上的静音 按钮来实行静音功能， 但此时， 为了让远程通信终端中掌握该静音功能的实行， 需要该外设 麦克风向远程通信终端发送有关按动麦克风静音按钮的操作信息。
在现有技术中， 若要获得上述操作信息， 远程通信终端主机中需要安装各台麦克 风专用的设备驱动器或应用程序。
远程通信终端中如果没有上述设备驱动器， 或安装的设备驱动器与麦克风不相 配， 则该远程通信终端无法获知静音按钮的按动， 其结果， 无法通知对方有关静音功能的实 行。
麦克风是可以根据需要交换使用的设备， 为此远程通信终端需要装设适于各种不 同类型的麦克风的设备驱动器， 如此便或造成远距通信终端的制造成本、 以及用于远程通 信终端的设备驱动器的开发成本等上升。
针对上述问题， 专利文献 3(JP 特开 2007-274369 号公报 ) 公开了一种技术方案， 该方案不需要对既存的分包格式加以改变， 而是通过加工声音数据的数据值， 在收信一方 掌握静音区间的发生原因。
关于静音， 专利文献 3 中叙述了由送信数据转换部 120A 来判断麦克风 111A 是否 实行了静音， 但却没有说明如何进行判断。而且， 专利文献 3 无法解决在采用上述一般麦克 风作为外设时所带来技术问题。
上述问题不但发生在利用会议系统的会议之中， 还会发生在两者或多者之间进行 通讯， 如利用声音通话或利用声音及图像的双方进行通话等场合。 如上所述， 在诸如具有麦 克风静音功能的远程通信终端的通讯终端中如果没有专用的设备驱动器， 则在使用未受到 通讯终端支持的麦克风时， 便会发生无法通知通讯对方有关实行静音功能的问题。 针对上述问题， 可以考虑采用如下方案， 判断能否发送所使用的麦克风的静音状 态的通知， 如果可以发送通知， 则根据收到的静音信息判断静音状态， 如果判断为不能够通 知静音状态， 则进一步测定上述声音输入部中输入的音量， 同时根据该测定结果判断静音 状态， 这样， 即便是在使用未受支持的麦克风的情况下， 也能够将实行静音的情况通知给对 方。
然而， 上述技术方案需要麦克风或远程通信终端中具备静音按钮， 如果没有静音 按钮， 则该方案无法实行。
发明内容。
对此， 本发明提供一种通讯终端， 其不依赖于静音按钮， 而是根据声音输出的音量 水准来进行静音处理。
为了解决上述问题， 本发明提供具有以下特征的技术方案。
(1) 本发明的一个方面在于， 提供一种通讯终端， 通过网络与一个或多个对方通讯 终端之间进行双向通讯， 该双向通讯至少包括声音的通讯， 该通讯终端的特征在于， 包括 ： 声音输入部， 用于输入声音 ； 判断部， 用于判断该声音输入部的类型 ； 处理部， 用于管理有 关静音的处理 ； 状态管理部， 用于管理声音的状态 ； 以及， 终端收发信部， 通过网络收发信 息， 所述判断部根据所述声音输入部的类型判断该声音输入部是否是能够通知静音状态的 声音输入部， 如果该判断部判断该声音输入部能够通知静音状态， 则所述处理部根据来自 该声音输入部的静音信息来判断该声音输入部的静音状态， 而如果该判断部判断该声音输 入部不能够通知静音状态， 则该判断部进一步根据输入到该声音输入部中音量来判断该声 音输入部的静音状态， 所述处理部根据该静音状态的判断结果， 将该静音状态通知所述状 态管理部， 该状态管理部制作短信， 该短信包括表示所述静音状态的信息， 其中还加入用于 识别自终端的信息以及用于识别接收该短信的收信终端的信息， 而后将该短信转交给所述终端收发信部， 由该终端收发信部将该短信送往所述收信终端。
(2) 本发明还提供根据 (1) 所述的通讯终端， 其特征在于， 该通讯终端还具有以 名单形式保存的第一声音输入部名单， 其中保存能够通知静音状态的声音输入部， 所述处 理部取得声音输入部的类型后将其送往所述判断部， 该判断部用该取得的声音输入部的类 型来检索该第一声音输入部名单， 如果该声音输入部名单中存在该取得的声音输入部的类 型， 则判断该声音输入部能够通知静音状态， 而如果该第一声音输入部名单中不存在该取 得的声音输入部的类型， 则判断该声音输入部不能够通知静音状态。
(3) 本发明还提供根据 (2) 所述的通讯终端， 其特征在于， 该通讯终端还具有第二 声音输入部名单， 其中保存在所述第一声音输入部名单的检索中被判断为不能通知静音状 态的声音输入部， 当在所述第一声音输入部名单的检索中被判断为不能通知静音状态的情 况下， 所述判断部以所述取得的声音输入部的类型进一步检索该第二声音输入部名单， 如 果该第二声音输入部名单中也不存在该取得的声音输入部的类型， 则通知所述状态管理部 该声音输入部的静音状态为 NONE， 即不通知该声音输入部的静音状态。
(4) 本发明还提供根据 (2) 或 (3) 所述的通讯终端， 其特征在于， 所述第二声音输 入部中相关保存所述声音输入部的类型与音量水准的阀值， 所述判断部测定该声音输入部 输入的音量水准， 并参考该阀值， 当测定的音量水准在阀值范围之内时， 判断该声音输入部 的静音状态为 ON， 而当测定的音量水准在阀值范围以外时， 则判断该声音输入部的静音状 态为 OFF。 (5) 本发明还提供根据 (4) 所述的通讯终端， 其特征在于， 所述音量水准的阀值小 于所述声音输入部输入的最小音量水准的值， 并预先保存该阀值。
(6) 本发明还提供根据 (1) ～ (5) 中任意一项所述的通讯终端， 其特征在于， 所述 判断部在预定时间内测定音量并通过判断得出所述声音输入部的音量水准。
(7) 本发明还提供根据 (1) ～ (6) 中任意一项所述的通讯终端， 其特征在于， 所述 静音状态是所述声音输入部中的信号处理过程结束以后的信号被切断了的状态。
(8) 本发明还提供根据 (1) ～ (7) 中任意一项所述的通讯终端， 其特征在于， 该通 讯终端还具有显示部， 该显示部显示静音状态， 所述终端收发信部经由网络收到所述短信 后， 将该短信送往所述状态管理部， 该状态管理部对该短信进行解析， 取得发送该短信的通 讯终端以及静音状态， 所述显示部显示该状态管理部取得的发送该短信的通讯终端名称， 同时进行该静音状态的显示或着非显示。
(9) 本发明还提供根据 (8) 所述的通讯终端， 其特征在于， 当所述取得的静音状态 为 ON 时， 所述显示部显示表示静音状态为 ON 的图像。
(10) 本发明还提供根据 (8) 所述的通讯终端， 其特征在于， 当所述取得的静音状 态为 OFF 时， 所述显示部作非显示。
(11) 本发明还提供根据 (8) 所述的通讯终端， 其特征在于， 当所述取得的静音状 态为 NONE 即不通知静音状态时， 所述显示部显示表示不通知静音状态的图像。
(12) 本发明还提供根据 (1) ～ (11) 中任意一项所述的通讯终端， 其中进一步包 括： 声音输出部， 输出所述对方通讯终端发送的声音 ； 音量调节操作部， 对该声音输出部输 出的音量水准进行调节操作 ； 以及， 监视部， 监视通过该音量调节操作部的操作而发生改变 的所述声音输出部输出的音量水准， 其特征在于， 当所述音量水准为最小值时， 所述监视部
将所述声音输入部的输入设为静音状态， 并且制作短信， 该短信中包括所述对方通讯终端 即收信终端的信息以及该静音状态的信息， 要求所述终端收发信部发送该短信。
(13) 本发明还提供根据 (12) 所述的通讯终端， 其特征在于， 当所述声音输入部 的输入为静音状态， 而且通过声音调节操作部的操作， 所述声音输出部输出的声音的音量 水准被改变为除最小值以外的值时， 所述监视部使得该声音输入部从所述静音状态恢复原 状， 而且制作短信， 该短信中包括对方通讯终端即收信终端的信息以及有关该声音输入部 恢复原状的信息， 并要求所述终端收发信部发送该短信。
(14) 本发明还提供根据 (12) 所述的通讯终端， 其特征在于， 所述监视部在将所述 声音输入部的输入设为静音状态时， 先保存该声音输入部的输入水准， 而后设定到静音状 态。
(15) 本发明还提供根据 (14) 所述的通讯终端， 其特征在于， 当声音输入部为静音 状态， 而且通过声音调节操作部的操作， 声音输出部输出的声音的音量水准被改变为除最 小值以外的值时， 所述监视部使得所述声音输入部从所述静音状态恢复到被保存的输入水 准， 并且制作短信， 该短信中包括对方通讯终端即收信终端的信息以及有关该声音输入部 恢复到被保存的输入水准的信息， 并要求所述终端收发信部发送该短信。
(16) 本发明还提供根据 (14) 或 (15) 所述的通讯终端， 其特征在于， 所述静音状态 为所述声音输入部的输入水准的值为 0 的状态。
(17) 本发明还提供根据 (12) 或 (13) 所述的通讯终端， 其特征在于， 所述静音状态 为所述声音输入部的声音输入处于被中止状态。
(18) 本发明还提供根据 (12) 或 (13) 所述的通讯终端， 其特征在于， 所述监视部判 断是否具有停止向所述声音输入部输入声音的接口， 如果具有该接口， 则在所述静音状态 下该声音输入部停止声音输入， 而如果不具有该接口， 则设声音输入部的输入水准的值为 0。
(19) 本发明还提供根据 (12) ～ (18) 中任意一项所述的通讯终端， 其特征在于， 该通讯终端还具备图像显示控制部， 用于处理并显示所述短信的内容， 所述监视部在收到 所述终端收发信部发出的收到短信的收信通知后， 对该短信中包含的声音输入状态进行解 析， 并要求所述图像显示控制部显示或非显示该声音输入状态所对应的数据。
(20) 本发明还提供根据 (19) 所述的通讯终端， 其特征在于， 当所述声音输入状态 为静音状态时， 所述图像显示控制部显示该静音状态所对应的所述数据。
(21) 本发明还提供根据 (19) 所述的通讯终端， 其特征在于， 当所述声音输入状态 不是静音状态时， 所述图像显示控制部作非显示。
(22) 本发明还提供根据 (1) ～ (11) 所述的通讯终端， 其特征在于还进一步包括 ： 模式转换部， 用于在实行通讯的通讯模式和对所述声音输入部的信息进行登录的登录模式 之间进行转换 ； 以及， 登录部 ： 当该模式转换部将模式转换到登录模式时， 如果所述声音输 入部被判断为能够通知静音状态， 则对该声音输入部的识别信息进行登录， 而如果所述声 音输入部被判断为不能够通知静音状态， 则测定从该声音输入部输入的静音状态的数据的 音量， 并将该测定到的音量与所述声音输入部的识别信息一起登录。
(23) 本发明还提供根据 (22) 所述的通讯终端， 其特征在于， 在进行所述测定之 前， 所述登录部保存所述声音输入部的当前的输入水准， 而后将该输入水准改为最大， 并且在所述测定结束之后将该输入水准恢复到所述被保存了的输入水准。
(24) 本发明还提供根据 (22) 或 (23) 所述的通讯终端， 其特征在于， 所述登录部在 预定时间内测定从所述声音输入部输入的静音状态的数据的音量， 并登录测定到的音量之 中的最大值。
(25) 本发明还提供根据 (22) ～ (24) 中任意一项所述的通讯终端， 其特征在于， 当 所述登录的值大于规定值时， 重新进行所述测定。
(26) 本发明的另一个方面在于， 提供一种声音输入部登录方法， 其特征在于， 在具 有登录声音输入部的信息的登录模式的上述 (22) ～ (25) 中任意一项所述的通信终端中进 行以下步骤 ： 实行静音操作 ； 如果能够通过实行静音操作取得静音信息， 则判断能够通知 所述声音输入部的静音状态， 并对该声音输入部的识别信息进行登录 ； 而如果不能够通过 实行静音操作取得静音信息， 则判断不能够通知所述声音输入部的静音状态， 并测定从该 声音输入部输入的静音状态的数据的音量， 将该测定的音量与所述声音输入部的识别信息 一起登录。
(27) 本发明还提供根据 (26) 所述的声音输入部登录方法， 其特征在于， 如果不能 实行静音操作， 则输入取消登录。 (28) 本发明还提供根据 (27) 所述的声音输入部登录方法， 其特征在于， 如果既不 能实行静音操作， 又不能通过实行静音操作取得静音信息， 则显示要求实行静音操作的对 话。
(29) 本发明还提供根据 (26) ～ (28) 中任意一项所述的声音输入部登录方法， 其 特征在于， 只有当所述测定到的音量之中的最大值小于规定值时， 才对所述声音输入部的 识别信息以及所述测定到的音量进行登录。
(30) 进而， 本发明的另一个方面在于， 提供一种通讯管理系统， 其与多个上述 (1) ～ (25) 所述的通讯终端之间经由网络连接， 该通讯管理系统接收该通讯终端发送的短 信， 并将该短信送往与该通讯终端通讯的对方通讯终端。
(31) 本发明还提供根据 (30) 所述的通讯管理系统， 其特征在于， 该通讯管理系统 包括短信传达部以及管理系统收发信部， 该管理系统收发信部在收到该短信之后， 将该短 信转交给该短信传达部， 该短信传达部根据所述短信中的用于识别自终端的信息， 来参考 所述对方通讯终端中保存的管理表格， 取得用于识别该对方通讯终端的信息， 并且制作所 述短信， 该短信包括表示所述静音状态的信息， 其中还加入用于识别自终端的信息以及用 于识别所述对方通讯终端的信息， 而后将该短信转交给所述管理系统收发信部， 由该管理 系统收发信部将该短信送往所述对方通讯终端。
(32) 再者， 本发明的另一个方面还在于， 提供一种通讯系统， 其特征在于， 包括上 述 (1) ～ (25) 中任意一项所述的通讯终端、 以及上述 (30) 或 (31) 所述的通讯管理系统， 该通讯终端与该通讯管理系统之间通过网络连接。
本发明的效果在于， 在具有麦克风的静音功能的通讯终端中， 即便没有专用的设 备驱动器， 下也能够将静音状态通知给对方通讯终端。
而且， 本发明还可通过预先登录关于可否通知静音状态的信息以及用于掌握静音 状态的有关音量的信息等信息， 在没有专用设备驱动器的情况下能够将静音状态通知给对 方通讯终端。
进而， 本发明还能够根据声音输出的音量水准的变化状态来进行有关静音的处 理， 因而在不具备静音按钮的情况下也能够实行静音处理， 并将静音状态通知给对方通讯 终端。附图说明
图 1 是本发明实施方式之一所涉及的远程通信系统的示意图。
图 2 是本发明实施方式之所涉及的远程通信终端的硬件结构模块图。
图 3 是本发明实施方式之一所涉及的远程通信终端的外观图。
图 4 是本发明实施方式之一所涉及的远程通信管理系统、 中继装置、 以及程序提 供系统的硬件结构模块图。
图 5 是构成发明本实施方式之一所涉及的远程通信系统的各个终端、 装置以及系 统的功能模块图。
图 6A 和图 6B 是图 5 所示声音输入部 15a 和声音输出部 15b 的功能模块图。
图 7A、 7B、 7C 是概念性说明图像数据的画质的示意图。
图 8 是改变画质管理表的示意图。
图 9 是中继装置管理表的示意图。 图 10 是终端认证管理表的示意图。 图 11 是终端管理表的示意图。 图 12 是收信名单管理表的示意图。 图 13 是时域管理表的示意图。 图 14 是地址优先度管理表的示意图。 图 15 是传送速度优先度管理表的示意图。 图 16 是画质管理表的示意图。 图 17 是对表示各个中继装置的动作状态的状态信息进行管理的时序图。 图 18 是在远程通信终端之间开始通信准备阶段中的处理时序图。 图 19 是中继装置选定处理的时序图。 图 20 是中继装置选定处理的流程图。 图 21 是中继装置选定处理时的优先度点数的计算状态的示意图。 图 22A 和 22B 是终端选择中继装置的选择处理时序图。 图 23 是用远程通信终端来选择中继装置的选择处理的流程图。 图 24 是远程通信终端之间图像数据以及声音数据的信息收发处理的时序图。 图 25 是麦克风静音状态时的送信处理流程图。 图 26A、 26B 是麦克风数据的示意图。 图 27 是静音状态的数据的示意图。 图 28 是一例包含静音信息的短信数据的图。 图 29 是另一例包含静音信息的短信数据的图。 图 30 是图 25 所示流程图中的处理 <1>。 图 31 是图 25 所示流程图中的处理 <2>。 图 32 是收信终端接受包含静音信息的短信的处理流程图。图 33 是收信终端的显示器显示静音状态的处理流程图。 图 34 是在会议模式和登录模式之间转换的菜单画面的示意图。 图 35 是麦克风登录模式的处理流程图。 图 36 是麦克风登录时的对话画面的示意图。 图 37 是麦克风登录完毕时的对话画面的示意图。 图 38 是图 35 所示的处理流程中能够取得麦克风静音信息时的处理 <3> 图 39 是图 35 所示的处理流程中能不够取得麦克风静音信息时的处理 <4> 图 40 是麦克风登录处理中的对话画面的示意图。 图 41 是利用音量调节按钮来实行静音状态时的送信处理流程图。 图 42 是一例包括静音信息的短信数据的图。 图 43 是另一例包括静音信息的短信数据的图。 图 44 是利用音量调节按钮来实行静音状态时的送信另一例处理流程图。 图 45 是选择进行图 41 所示处理还是选择图 44 所示处理的处理流程图。 图 46 是在自己的远程通信终端中的显示器上显示静音状态。 图 47 是收信终端接受包含静音信息的短信的处理流程图。 图 48 是在接受短信的远程通信终端中的显示器上显示静音状态。具体实施方式
《整体结构》
以下利用图 1 至图 24 来说明一个本发明的实施方式。图 1 是本发明的通讯系统 的实施方式之一所涉及的远程通信系统 1 的示意图， 首先利用图 1 来大致说明本实施方式。
在此， 通讯终端以及通讯系统是指通过声音、 映像、 或者声音以及映像、 以及其他 信息的收发来进行一对一或多者之间的信息交流的终端以及系统， 其包括可以携带的手机 之类的终端。
图 1 所示的远程通信系统 1 包括多个远程通信终端 (10aa、 10ab、… 10db)、 用于 各个远程通信终端 (10aa、 10ab、… 10db) 的显示器 11(11aa、 11ab、… 11db)、 多个中继装 置 (30a、 30b、 30c、 30d)、 以及远程通信管理系统 50。在此， 远程通信终端 10 仅是通讯终端 的一个实施方式， 同样， 远程通信管理系统 50 也仅是通讯管理系统的一个实施方式而已。
以下， 在表示多个远程通信终端 10(10aa、 10ab、 … ) 中的任意一个终端时， 称其为 远程通信终端 10， 表示多个显示器 11(11aa、 11ab、… ) 中任意一个显示器时， 称其为显示 器 11， 表示多个中继装置 (30a、 30b、 30c、 30d) 时， 称其为中继装置 30。
远程通信终端 10 之间收发通话数据。该通话数据包括图像数据和声音数据等数 据。在本实施方式中对以动画为图像数据的图像的情况进行说明， 此外， 图像还可以是静 画。进而还可以包括动画和静画双方。中间装置 30 在多个远程通信终端 10 之间进行通话 数据的中继。远程通信系统 50 对管理远程通信终端 10 以及中继装置 30 进行统一管理。
图 1 所示的多个路由器 (70a、 70b、 …、 70h) 选择通话数据即图像数据和声音数据、 以及日志信息的最佳路径。本实施方式用路由器 70 表示路由器 (70a、 70b、…、 70h) 中任 意一个路由器。程序提供系统 90 中具备未图示的硬盘 HD204， 其中保存远程通信终端用程 序， 并能够向远程通信终端 10 发送该远程通信终端用程序。该远程通信终端用程序用于使得远程通信终端 10 实现各种功能。此外， 程序提供系统 90 的 HD204 中还保存中继装置用 程序， 并向中继装置 30 发送该中继装置用程序， 该中继用程序用于使得中继装置 30 实现各 种功能。进而， 程序提供系统 90 中的 HD204 还保存远程通信管理装置用程序， 并向远程通 信管理系统 50 发送这些程序， 该程序用于使得远程通信管理装置 50 实现各种功能。
远程通信终端 10aa、 10ab、 中继装置 30a、 以及路由器 70a 通过 LAN2a 连接， 可进行 通信。远程通信终端 10ba、 10bb、 中继装置 30b、 以及路由器 70b 通过 LAN2b 连接， 可进行通 信。LAN2a 和 LAN2b 由包含路由器 70c 的专用线 2ab 连接， 可进行通信， 并被设置在预定区 域 A 内。例如区域 A 为日本， LAN2a 设置在东京事业所内部， LAN2b 设置在大阪事业所内部。
另一方面， 远程通信终端 10ca、 10cb、 中继装置 30c、 以及路由器 70c 通过 LAN2c 连 接， 可进行通信。 远程通信终端 10da、 10db、 中继装置 30d、 以及路由器 70d 通过 LAN2d 连接， 可进行通信。LAN2c 和 LAN2d 由包含路由器 70e 的专用线 2cd 连接， 可进行通信， 并被设置 在预定区域 B 内。例如区域 B 为美国， LAN2c 设置在纽约事业所内部， LAN2b 设置在华盛顿 DC 事业所内部。区域 A 和区域 B 之间通过路由器 70c、 70e 经由英特网 2i 连接， 能够进行通 信。
远程通信管理系统 50 以及程序提供系统 90 通过英特网 2i 与远程通信终端 10 以 及中继装置 30 连接， 可进行通信。 远程通信管理系统 50、 以及程序提供系统 90 既可设置在 区域 A 或区域 B， 也可设置在其他区域。
本实施方式的通信网络 2 通过 LAN2a、 LAN2b、 专用线 2ab、 英特网 2i、 以及专用线 2cd、 LAN2c、 LAN2d 构成。
远程通信管理系统 50 与各个远程通信终端 10 以及中继装置 30 之间利用短信 进行信息交换或登录状态等通知， 该短信以基于可扩展消息现场协议 (XMPP， extensible messaging and Presence protocol) 的可扩展标志语言 (XML) 制作。
具体来说， 远程通信管理系统 50 管理远程通信终端 10 的 “在线” “离线” 、 “正在开 、 会” 、 或 “正在静音之中” 等状态， 远程通信管理系统 50 在各个远程通信终端 10 之间充当中 介角色， 当从其某个远程通信终端 10 收到这类状态通知后， 便将该通知通报其他远程通信 终端 10。
远程通信终端 10 之间， 利用实时传送协议 (RTP， Real-time Transport Protocol) 经由中继装置 30 进行声音以及图像等数据的收发信。
图 1 中各个远程通信终端终端 10、 中继装置 30、 远程通信终端管理系统 50、 各个路 由器 70、 以及程序提供系统 90 的下面显示的 4 组数据简易表示一般的 IPv4 中的 IP 地址。 例如， 远程通信终端终端 10aa 的 IP 地址为 “1.2.1.3” 。除了 IPv4 以外， 还可以使用 IPv6， 在此为了简化说明， 用 IPv4 进行说明。
以上用相隔距离较远的不同地点举行会议的会议系统为例来说明远程通信系统， 但在此所说的会议并不局限于相距较远的会议， 该会议既可是在统一办公楼的不同会议 室， 也可以是处于同一会议室但相互听不见的不同位置。 总之， 本发明的会议是指借助于远 程通信系统举行的会议。
因此， 即使是面对面地直接矩形的现场会议， 如果借助于远程通信系同举行， 便属 于本发明的会议。
会议的人数包括一对一以及多者。同样包括简单的碰头协商或交流。另外， 会议不经用于公务， 也可用于私人之间。 例如用于地处不同场所的亲属朋友 之间的的联络等。
会议信息表示会议之中的图像声音等， 至少是其中之一。 例如， 在仅显示图像的情 况下， 可将参会者的声音用字幕表示。
会议信息中还包括会场上当事者展示的物品如商品样本、 颁布的资料、 以及没有 颁布但用投影机等显示设备显示在屏幕上的画面等信息。 这类会议信息意味着会议出席人 员在面对面直接举行的会议中能够掌握的信息。
进而， 本实施方式中的声音不仅包括人的发声， 也包括其他声音。
《硬件结构》
下面说明本实施方式的硬件结构。本实施方式中， 当接收中继信息的远程通信终 端 10 中发生图像数据接收延迟时， 通过中继装置 30 改变图像数据的图像分辨率， 而后向接 收中继信息的远程通信终端 10 发送图像数据。以下对该情况进行说明。
图 2 是本发明实施方式之一所涉及的远程通信终端 10 的硬件结构。如图 2 所示， 本实施方式的远程通信终端 10 包括 ： 中央处理器即 CPU101， 用于控制终端 10 整体动作 ； 只 读存储器即 ROM102， 用于保存终端用程序 ； 随机存取存储器即 RAM103， 用于作为 CPU101 的 工作区域 ； 闪存 104， 用于存储图像数据、 以及声音数据等各种数据 ； 固态驱动器 SSD(solid state drive)105， 按照 CPU101 的控制来对闪存 104 中各种数据的读取以及写入进行控制 ； 介质驱动器 107， 用于控制闪存等存储介质 106 的数据读取或写入 ； 操作键 108， 用于在选择 远程通信终端 10 的收信终端等进行远程通信终端 10 的动作的操作， 或者用于进行将在以 下叙述的静音按钮以及音量调节按钮的操作 ； 电源开关 109， 用于远程通信终端 10 的电源 的接与切断之间的转换 ； 网络接口 I/F111， 用于利用通信网络 2 进行数据输送 ； 互补金属氧 化半导体元件 (CMOS， compl ementary metal oxide semiconductor)112， 按照 CPU101 的 控制拍摄被摄体获得图像数据 ； 摄像元件接口 (I/F)113， 用于控制 CMOS112 的驱动 ； 麦克风 112， 用户输入声音 ； 扬声器， 用于输出声音 ； 声音输入输出接口 (I/F)116， 用于根据 CPU101 的控制来处理麦克风 114 以及扬声器 115 之间的声音信号的输入输出 ； 显示器接口 (I/ F)117， 用于根据 CPU101 的控制来向外设显示器 120 传送图像数据 ； 以及总线 110， 为如图 2 所示地电连接上述各个结构元件的地址总线或数据总线等。
麦克风 114 以及扬声器 115 既可安装远程通信终端 10 的主机中， 也可在远程通信 终端 10 上设有连接声音输入束出接口 116 的麦克风用连接端子以及扬声器用连接端子， 用 以外设麦克风和扬声器。这样能够在离开远程通信终端 10 的位置进行集音或输出声音， 针 对麦克风和扬声器的选择以及设置等状况随机应变。
如图 2 所示， 麦克风 114a 为外设麦克风， 扬声器 115a 亦为外设。
一部分上述操作按钮 108 用于麦克风的静音按钮。该静音按钮在使用内藏麦克风 114 的情况下用于设定静音状态。
而在使用外设麦克风 114a 的情况下， 通常利用设于该麦克风 114a 中的静音按钮 114b 来设定静音状态。对此将在以后详细叙述。
在使用外设麦克风 114a 时， 设外设麦克风 114a 的输入以及静音按钮 114b 有效， 并设主机内藏麦克风 114 的输入和设于主机中的静音按钮的输入为无效。
上述操作按钮 108 的另一部分按钮用于扬声器的音量调节按钮。 外设扬声器 115a中也设有音量调节按钮 115b。
该外设音量调节按钮 115b 还可兼用于静音实行的操作键。对此将在以后详细叙 述。
与麦克风 114 相同， 在使用外设扬声器时， 设外设扬声器 115a 的输出以及音量调 节按钮 115b 有效， 并设主机内藏扬声器 115 的输入和设于主机中的音量调节按钮的输入为 无效。
麦克风 114a 以及扬声器 115a 的连接端子使用 USB 规格的端子。
关于主机中的静音按钮和音量调节按钮， 在本实施方式中分别设定内藏麦克风 114 以及扬声器 115 为无效， 但是也可设定为有效。
存储介质 106 被构成为可在远程通信终端 10 上装卸。而且， 该存储介质 106 如 果是根据 CPU101 的控制来进行数据读取或写入的非易失性存储器， 则不仅可以使用闪存 104， 还可以使用电可擦可编程 ROM(EEPROM) 等。进而， COMS112 是进行光电转换将被摄体 图像或映像电子化的固体摄像元件， 但是， 拍摄被摄体的并不局限于 CMOS， 还可以使用电荷 耦合器件图像转换器 (CCD) 等。另外， 显示器 11 以液晶或有机电致发光 (EL) 形成， 用于显 示被摄体的图像或操作用图标等。 进而， 上述远程通信终端用程序为可安装格式或可实行格式的文件， 还可以存放 到上述存储介质 106 等计算机可读存储介质中出售。
图 3 是本发明实施方式之一所涉及的远程通信终端 10 的外观图。如图 3 所示， 远 程通信终端 10 具有筐体 1100、 臂 1200、 以及照相机框架 1300。筐体 1100 的后侧面 1110 上 设有以多个吸气孔构成的吸气面 ( 未图示 )， 筐体 1100 的前侧面 1120 上设有以多个排气孔 构成的排气面 1121。
这样， 通过筐体 1100 中的内藏冷却扇驱动， 可经由筐体 1100 上的吸气面 1110 从 远程通信终端 10 前方吸入外部空气， 并经由排气面 1121 向远程通信终端 10 的后方排气。
筐体 1100 的右侧面 1130 中设有集音孔 1131， 用于收集下述内藏型麦克风 114 发 出的声音。
筐体 1100 的右侧面 1130 上设有麦克风用以及扬声器用的 USB 规格连接端子 1132， 用于将外设麦克风 114a 和外设扬声器 115a 连接到声音输入输出接口 (I/F)116 上。
筐体 1100 的左侧面 1140 设有连接外设显示器 11 和显示器接口 (I/F)117 的未图 示连接端子。
筐体 1100 的右侧面 1140 上设有操作面板 1150。该操作面板 1150 上设有操作键 108、 以及下述电源开关 109， 同时还设有具有多个声音输出孔的出音面 1151， 用于输出内 藏型扬声器 115 输出的输出声音。
筐体 1100 的左侧面 1140 设有收纳部 1160， 该收纳部 1160 形成为凹部， 用于收纳 臂 1200 以及照相机框架 1300。
臂 1200 用铰链 1210 装设在筐体 1100 上， 可相对于筐体 1100 上下左右转动， 转动 角 θ1 为向上 135°范围以内， 转动之后可以保持在预定位置。图 3 显示了该臂 1200 被保 持在转动角多 θ1 为 90°位置。
照相机筐体 1300 中设有 CMOS112， 该照相机筐体 1300 可通过铰链 1310 在上下左 右转动。转动后可以保持到预定位置。
照相机筐体 1300 相对于臂 1200 的转动范围为， 当图 3 所示照相机筐体 1300 相对 于筐体 1100 的前方状态为 0°时， 水平转动角度 θ2 的范围为 180°， 而且当照相机筐体 1300 以水平状态为 0°时， 垂直转动角度 θ3 的范围为 ±45°。
图 4 是本发明实施方式之一所涉的远程通信管理系统的硬件结构图。远程通信 管理系统 50 包括 ： CPU201， 用于控制远程通信管理系统 50 整体的动作 ； ROM202， 用于保存 远程通信管理用程序 ； RAM103， 用于作为 CPU201 的工作区域 ； HD204， 用于保存各种数据 ； 硬 盘驱动器即 HDD205， 用于按照 CPU201 的控制来控制 HD204 中各种数据的读取或写入 ； 介质 驱动器 207， 按照 CPU101 的控制来控制闪存等存储介质 206 中各种数据的读取以及写入 ； 显示器 208， 用于表示游标、 菜单、 窗口、 文字或图像等各种信息 ； 网络接口 (I/F)209， 利用 下述通信网络 2 传送数据 ； 键盘 211， 具有多个键， 用于输入文字、 数据、 各种指示等 ； 鼠标 212， 用于进行各种指示的选择或实行、 处理对象的选择、 游标移动等 ； CD-ROM 驱动器 214， 用于控制作为一例可装卸存储介质的光盘驱动器即 CD-ROM213 中的各种数据的读取或写 入； 以及， 总线 210， 为如图 4 所示， 电连接上述各个结构元件的地址总线或数据总线等。
上述远程通信管理用程序为可安装格式或可实行格式的文件， 还可以存放到上述 存储介质 206 或 CD-ROM213 等计算机可读存储介质中出售。 中继装置 30 具有与上述远程通信管理系统 50 相同的硬件结构， 为此省略说明。 但 是， ROM202 中保存用于控制中继装置 30 的中继装置用程序。此时， 中继装置用程序也是可 安装格式或可实行格式的文件， 还可以存放到上述存储介质 206 或 CD-ROM213 等计算机可 读存储介质中出售。
进而， 程序提供系统 90 具有与上述远程通信管理系统 50 相同的硬件结构， 为此省 略说明。但是， ROM202 中保存用于控制程序提供系统 90 的程序提供系统用程序。此时， 程 序提供系统用程序也是可安装格式或可实行格式的文件， 还可以存放到上述存储介质 206 或 CD-ROM213 等计算机可读存储介质中出售。关于其它上述可装卸存储介质还可构成为， 如存放到可录光盘即 CD-R、 数字多功能盘即 DVD、 蓝光盘等计算机可读的存储介质中来提 供。
《功能结构》
下面说明本实施方式的功能结构。图 5 构成发明本实施方式之一所涉及的远程通 信系统的各个终端、 装置以及系统的功能模块图。 在图 5 中， 远程通信终端 10、 中继装置 30、 以及远程通信管理系统 50 之间通过通信网络 2 连接， 可进行数据通信。图 1 所示的程序提 供系统 90 与电视会议的通信没有直接关系， 因此图 5 中省略表示。
< 远程通信终端功能结构 >
远程通信终端 10 包括收发信部 11、 操作输入接受部 12、 登录要求部 13、 摄像部 14a、 图像显示控制部 14b、 声音输入部 15a、 声音输出部 15b、 最终选定部 16、 延迟检测部 17、 静音处理部 18、 以及存储及读取处理部 19。
静音处理部 18 实行静音处理， 包括处理部 18a、 判断部 18b、 状态管理部 18c、 存储 部 19d、 模式转换部 18e、 登录部 18f、 以及监视部 18g。
这些部均为图 2 所示的各个构成元件中的任意元件根据 ROM102 中保存的程序， 按 照 CPU101 的指令进行动作所实现的功能。远程通信终端 10 还包括以图 2 所示的 SSD105 构成的存储部 1000。
( 远程通信终端的各个功能部 )
下面详细说明远程通信终端 10 的各个功能部。 远程通信终端 10 中的收发信部 11 的功能由图 2 所示的网络接口 111 实现， 其经由通信网络 2 与其他终端、 装置或系统之间进 行各种数据或信息的收发信。 操作输入接受部 12 的功能由图 2 所示的操作键 108 以及电源 开关 109 来实现， 其接受用户的各种输入。例如， 当用户接通图 2 所示的电源开关 109 时， 图 5 所示的操作输入接受部 12 收到电源接通要求， 接通电源。登录要求部 13 的功能可根 据图 2 所示的 CPU101 的指令来实现。在收到上述电源接通要求后， 收发信部 11 经由通信 网络 2 自动向远程通信管理系统 50 发送表示要求登录的登录要求信息、 以及发出要求的终 端的当前的 IP 地址。
摄像部 14a 是通过图 2 所示的 CMOS112 以及摄像元件接口 113 实现功能， 其拍摄 被摄体后输出该拍摄取得的图像数据。映像显示控制部 14b 由图 2 所示的显示器接口 117 实现其功能， 控制向外设显示器发送图像数据。
声音输入部 15a 是由图 2 所示的麦克风 114 或外设麦克风 114a 和静音按钮 114b 双方、 进而声音输入接口 116 实现的功能， 其用输入用户的声音， 并将声音转换为声音信号 进行信号处理， 而后输入有关该声音信号的声音数据。
声音输出部 15b 由图 2 所示的扬声器 115 或外设扬声器 115a 和音量调节按钮 115b 双方、 进而声音输入输出接口 116 实现的功能， 对关声音数据的声音信号进行信号处理， 将 声音信号转换为声音输出。关于声音输入部 15a 和声音输出部将在以下详细叙述。
最终选定部 16 是由计测部 16a、 计算部 16b、 以及最终选择部 16c 根据图 2 所示的 CPU101 的指令实现的功能， 其进行最终选定处理， 从多个中继装置 30 中最终选定一个中继 装置 30。其中， 每当收发信部 11 收到事先送信信息时， 计测部 16a 对收发信部 11 收到事先 送信信息的收信日期和时间进行计时。而后， 计算部 16b 根据计时得到的收信日期和时间 与包含在该事先送信信息之中的发送日期和时间之间的差， 对每个经过计测部 16a 计时的 事先送信信息， 计算事先送信信息发送与接收之间的所要时间。进而， 最终选择部 16c 根据 计算部 16b 算出的进行中继所要时间， 选择进行中继所要时间为最短的事先送信信息的中 继装置 30， 将其作为最终选择的一个中继装置。
延迟检测部 17 是按照图 2 所示的 CPU101 的指令来实现的功能， 其检测其他远程 通信终端 10 经由中继装置 30 送到图像数据或声音数据的延迟时间 (ms)。存储及读取处 理部 19 是由图 2 所示的 SSD105 实现的功能， 实行存储部 1000 中的各种数据的保存处理或 存储部 1000 中保存的各种数据的读取处理。该存储部 1000 中保存用于识别远程通信终端 10 的终端 ID、 密码、 以及图像数据和声音数据等。
本实施方式的终端 I D 以及下述中继装置 I D 分别为用于毫无疑义地识别远程通 信终端 10 以及中继装置 30 而使用的言语、 文字、 标记、 或各种标示等识别信息。终端 ID 以 及中继装置 ID 还可以是上述言语、 文字、 标记、 或各种标示之中的至少两种以上组合形成 的识别信息。在以下的说明中， 称发出电视会议开始要求的远程通信终端 10 为 “要求终端 10A” ， 并称接受要求的远程通信终端 10 为 “收信终端 10B” 。
静音处理部 18 实行远程通信终端 10 的静音处理， 其各个部如下。
处理部 18a 管理有关静音的所有处理， 包括外设麦克风 114a 的静音功能， 取得外 设麦克风 114a 的静音功能信息， 取得自终端状态通知对象的他终端信息， 并指示通知状态管理部 18c 等。此外， 处理部 18a 还控制未登录外设麦克风 114a 的信登录。
判断部 18b 判断声音输入部 15a 的类型， 例如， 判断麦克风 114a 的类型， 或确认消 音状态即静音状态。
状态管理部 18c 实行有关自终端的静音状态的取得、 以及将有关自终端的静音状 态等通知向他终端的管理等。
存储部 18d 保存表示麦克风类型的登录信息或有关静音的设定信息以及静音状 态等。
模式转换部 18e 在电视会议中实行外设麦克风 114a 的静音状态通知模式与外设 麦克风 114a 的登录处理之间的转换。
登录部 18f 在对未登录外设麦克风 114a 进行登录时， 测定麦克风的特性， 并进行 登录处理。
监视部 18g 监视声音输出部的输出音量是最小状态还是该状态以外的音量状态， 并在音量状态发生变化时将该信息送往状态管理部 18c。
下面参考图 6A 和图 6B 说明声音输入部 15a 和声音输出部 15b。
图 6A 显示声音输入部 15a， 此时显示连接了外设麦克风 114a。
声 音 输 入 部 15a 中 以 回 波 消 音 器 (echo canceler)15a1、 降 噪 器 (noise reduction)15a2、 回波抑制器 (echo suppressor)15a3、 自动增益控制 15a4、 以及静音开关 15a5， 来对从外设麦克风 114a 输入的信号进行各种处理。
回波消音器 15a1 将收到的自己的声音从对方的扬声器输出， 并通过对方的麦克 风对该声音集音， 而后返回到送信的自己方， 从而消去自己的扬声器发生的音响回波。 关于 回波消声器， 使用国际电信联盟标准局 (ITU-T， international telecommunication union telecommunication standardization sector) 推荐 G.165 中规定的规格。
降噪器 15a2 用于推测并衰减从周围的计算机、 投影机、 空调机等混入的杂音信 号， 该处理采用众所周知的减谱法 (Spectral Subtraction) 来推测并降低在音信号的音 谱。
回波抑制器 15a3 设在回波消音器 15a1 之后， 用于衰减残余的回波信号。残余回 波会影响到回波信号的非线形性、 杂音、 双向同时通话等， 降低回波消音器学习性能以及精 度。关于回波抑制器， 使用 ITU-T 推荐 G.165 中规定的规格。
自动增益控制 15a4 对输入信号实行可变控制， 其不论输入水准大小， 始终保持输 出一定。具体为， 在输入信号较弱时， 提高感度， 相反当输入信号较强时， 则减小感度， 而后 输出， 以此使得输出始终保持一定。
静音开关 15a5 在收到外设麦克风 114a 的用户按动静音开关 114b 的接通 (ON) 或 断开 (OFF) 时， 让通过回波抑制器 15a3 之后的信号通过， 或切断通过回波抑制器 15a3 之后 的信号。
图 6B 显示声音输出部 15b， 此时连接外设扬声器 115a。
声音输出部 15b 中， 以线性回波消音器 (line echo canceler)15b1、 降噪器 15b2、 回波抑制器 15b3、 自动增益控制 15b4、 以及音量调节控制 15b5 来对输入信号作各种处理， 经过处理之后， 输入信号从扬声器 115a 输出。
线性回波消音器 15b1 通过消除 IP 或电话线中的线性回波来保证双向通话时的良好的通话质量。关于线性回波消音器， 使用 ITU-T 推荐 G.165 中规定的规格。
声音输出部 15b 的降噪器 15b2、 回波抑制器 15b3、 自动增益控制 15b4 分别与声音 输入部 15a 的降噪器 (noise reduction)15a2、 回波抑制器 (echo supp ressor)15a3、 自动 增益控制 15a4 相同。
音量调节部 15b5 在收到用户操作音量调节按钮 115b 以改变音量后， 改变自动增 益控制 15b4 处理后的信号的音量水准。
< 中继装置的各种功能部 >
下面说明中继装置 30 的功能。中继装置 30 包括送信部 31、 状态检测部 32、 画质 确认部 33、 改变画质管理部 34、 画质更改部 35、 以及存储及读取处理部 39。 这些部均为图 4 所示各个结构元件中的任意元件根据 ROM202 中保存的中继装置用程序、 并按照 CPU201 的 指令实现的功能或发挥功能的手段。中继装置 30 还包括以图 4 所示的 HD204 构成的存储 部 3000。
( 改变画质管理表 )
存储部 3000 中包括以图 8 所示的改变画质管理表构成的改变画质管理数据库 3001。改变画质管理表中相关保存接收经过中继的图像数据的一方的收信终端 10 的 IP 地 址、 以及该受到中继装置 30 中继的图像数据的质量。
在此说明本实施方式中的图像数据的图像分辨率。图 7A 显示以横向 160 像素、 纵 向 120 像素构成的基础图像即低分辨率图像， 图 7B 显示以横向 320 像素、 纵向 240 像素构 成的中分辨率图像、 图 7C 显示以横向 640 像素、 纵向 480 像素构成的高分辨率图像。当带 域路径较窄时， 只有基础图像的低分辨率图像数据构成低画质图像数据受到中继， 而当带 域路径相对较宽时， 基础图像的低分辨率图像数据以及中分辨率的图像数据构成的中等画 质图像数据受到中继， 而当通过宽带域时， 基础图像的低分辨率图像数据、 中分辨率的图像 数据、 以及高分辨率图像数据构成的高质量图像数据皆受到中继。 例如， 图八所示的改变质 量管理表中， 中继装置 30 对 IP 地址为 “1.3.2.4” 的收信终端 10 进行图像数据的中继时， 该受到中继的图像数据的画质为 “高画质” 。
< 中继装置的各个功能部 >
下面详细说明中继装置 30 的各个功能部。在以下对中继装置 30 的各个功能部进 行的说明中， 还包括各个功能部与图 2 所示的各种功能结构的构成元件中用于实现中继装 置 30 各个功能的主要构成元件之间关系。
图 5 所示的中继装置 30 的收发信部 31 是由图 4 所示的网络接口 209 实现的功能， 其经由通信网络 2 实行与其它终端、 装置、 或系统之间的各种数据的收发信。 状态检测部 32 是按照图 4 所示的 CPU201 的指令实现的功能， 其检测包括该状态检测部 32 的中继装置 30 的动作状态。动作状态为 “在线” 、 “离线” 、 “通话中” 、 或 “暂时中断” 。
画质确认部 33 是按照图 4 所示的 CPU201 的指令实现的功能， 其用收信终端 10B 的 IP 作为检索键， 来检索图 8 所示的改变画质管理数据库 3001， 并通过抽取对应的中继图 像数据的质量， 来确认将被中继的图像数据的质量。
改变画质管理部 34 是按照图 4 所示的 CPU201 的指令实现的功能， 其基于来自远 程通信管理系统 50 的、 将在以下说明的画质信息， 来更改改变画质管理数据库 3001 的内 容。例如， 在终端 ID 为 “01aa” 的要求终端 10aa、 与终端 ID 为 “01db” 的收信终端 10db 之间举行电视会议并收发高质量图像数据的期间中， 因另一电视会议的要求终端 bb 与收信 终端 10ca 之间经由通信网络 2 召开电视会议， 造成收信终端即终端 db 中发生图像数据收 信延迟， 此时， 中继装置 30 将正在中继的图像数据的质量从高画质降低到中画质。此时， 根 据表示中画质的画质信息， 改变画质管理数据库 3001 的内容发生变化， 使得中继装置 30 将 正在中继的图像数据的质量从高画质降低到中画质。
数据画质更改部 35 是按照图 4 所示的 CPU201 的指令得以实现的功能， 其基于上 述更改后的改变画质管理数据库 3001 的内容， 改变来自送信终端 10 的图像数据的质量。
存储及读取部 39 是由图 4 所示的 HDD205 实现的功能， 其实行存储部 3000 中各种 数据的保存处理、 或存储部 3000 中各种数据读取处理。
< 远程通信管理系统的功能结构 >
以下说明远程通信管理系统 50 的功能。远程通信管理系统 50 包括收发信部 51、 终端认证部 52、 状态管理部 53、 终端抽取部 54、 终端状态取得部 55、 初级选定部 56、 时域管 理部 57、 画质决定部 58、 存储及读取部 59、 延迟时间管理部 60、 以及短信传达部 61。
这些部均为图 4 所示各个结构元件中的任意元件按照 ROM202 中保管的程序， 并根 据 CPU201 的指令动作所实现的功能或发挥该功能的手段。远程通信管理系统 50 包括以图 4 所示的以 HD204 构成的存储部 5000。
( 中继装置管理表 )
存储部 5000 中具有图 9 所示的以中继装置管理表构成的中继装置管理数据库 5001。该中继装置管理表中将每个中继装置 30 的中继装置 ID 与中继装置 30 的动作状态、 远程通信管理系统 50 收到的表示动作状态的状态信息的收信日期及时间、 中继装置 30 的 IP 地址、 以及中继装置 30 中的最大数据传送速度 (Mbps) 相关保存， 并对其进行管理。例 如， 在图 11 所示的中继装置管理表中， 中继装置 ID 为 “111a” 的中继装置 30a 的动作状态 为 “在线” ， 远程通信管理系统 50 收到状态信息的收信日期及时间为 “2009 年 11 月 10 日 13 点钟 00 分” ， 该中继装置 30a 的 IP 地址为 “1.2.1.2” ， 该中继装置 30a 中的最大数据传 送速度为 “100Mbps” 。
( 终端认证管理表 )
进而， 存储部 5000 中保存如图 10 所示的以终端认证管理表构成的终端认证管理 数据库 5002。在该终端认证管理表中所有受远程通信管理系统 50 管理的远程通信终端 10 的登录 ID 分别与各自的密码相关保存。例如， 图 10 所示的终端认证管理表中远程通信终 端 10aa 的终端 I D 为 “01aa” ， 密码为 “aaaa” 。
( 终端管理表 )
另外， 存储部 5000 中保存如图 11 所示的以终端管理表构成的终端管理数据库 5003。该终端管理表中， 每个远程通信终端 10 的终端 ID 分别与以下参数相关， 即各个远程 通信终端 10 的动作状态、 远程通信管理系统 50 收到下述登录要求信息的收信日期及时间、 以及终端 10 的 IP 地址， 并进行管理。 例如， 如图 11 所示的终端管理表中， 终端 ID 为 “01aa” 的终端 10aa， 其动作状态为 “在线” ， 远程通信管理系统 50 收到登录要求信息的收信时间为 “2009 年 11 约 10 日 13 点 40 分” ， 该远程通信终端 10aa 的 IP 地址为 “1.2.1.3” 。
( 收信名单管理表 )
进而， 存储部 5000 中保存如图 12 所示的以收信名单管理表构成的收信管理数据库 5004。 该收信名单管理表中， 将要求电视会议开始通话的要求终端 10A 的终端 ID 与所有 作为收信终端候被补登记了的收信终端 10B 的终端 ID 相关保存并进行管理。例如， 图 12 所示的收信名单管理表中， 可以接受终端 ID 为 “01aa” 的要求终端 aa 要求开始电视会议通 话的收信终端 10B 的候补有以下三个终端 ： 终端 ID 为 “01ab” 的远程通信终端 10ab、 终端 ID 为 “01ba” 的远程通信终端 10ba、 以及终端 ID 为 “01db” 的远程通信终端 10db。收信终 端 10B 的候补可以根据任意要求终端 10A 向远程通信管理系统 50 发送的增删要求来增加 或删除， 更新收信名单管理表。
( 时域管理表 )
另外， 存储部 5000 中保存如图 13 所示的以时域管理表构成的时域管理数据库 5005。该时域管理表中， 将实行选择中继装置 30 的时域时使用的选择用时域 ID 与以下参 数相关保存并管理 ： 用于中继图像数据以及声音数据的中继装置 30 的中继装置 ID、 要求终 端 10A 的终端 ID、 收信终端 10B 的终端 ID、 收信终端 10B 收到图像数据时的收信的延迟时间 (ms)、 以及远程通信管理系统 50 收到收信终端 10B 发送的表示该延迟时间的延迟信息的收 信日期和时间。例如图 13 所示的时域管理表中显示了， 在以选择用时域 ID“se1” 实行的 时域中选择的中继装置 30a 的中继装置 ID 为 “111a” ， 该中继装置 30a 在终端 ID 为 “01aa” 的要求终端 10aa、 与终端 ID 为 “01db” 的收信终端 10db 之间中继图像数据和声音数据， 收 信终端 10db 在 “2009 年 11 月 10 日 14 点 00 分” 收到图像数据， 该图像数据收到时的延迟 时间为 200(ms)。如果实在两个远程通信终端 10 之间举行电视会议， 则除了上述收信终端 10B 以外还可以根据要求终端 10A 发送的延迟信息来管理延迟信息的收信日期及时间。但 是， 在三个远程通信终端 10 之间举行电视会议的情况下， 则需要根据收信终端 10A 发送的 延迟信息来管理延迟信息的收信日期及时间。
( 地址优先度管理表 )
存储部 5000 中保存以图 14 所示的地址优先度管理表构成的地址优先度管理数 据库 5006。该地址优先度管理表中， 利用普通 IPv4 中的 IP 地址中的四组点地址 (Dot Address) 部分中的 “同” 越多地址优先度的点数越高的相关关系来进行管理。例如， 图 14 所示的地址优先度管理表中， 对于从点地址上位到下位之间有三个值相同的 IP 地址， 其地 址优先度的点数为 “5” 。而对于点地址从上位到下位之间有两个值相同的 IP 地址， 其地址 优先度的点数为 “3” 。此时， 最下位的点地址的值是否相同与优先度无关。进而， 对于点地 址的最上位的值相同， 而自最上位起第二个值不同的 IP 地址， 其地址优先度的点数为 “1” 。 此时， 自最上位起第三个点地址以及最下位的点地址的值是否相同与优先度无关。对于点 地址最上位的值不同的 IP 地址， 其地址优先度的点数为 “0” 。 此时， 自最上位起第二、 第三、 以及最下位的点地址的值是否相同与优先度无关。
会议信息中还包括会场上当事者展示的物品如商品样本、 颁布的资料、 以及没有 颁布但用投影机等显示设备显示在屏幕上的画面等信息。 这类会议信息意味着会议出席人 员在面对面直接举行的会议中能够掌握的信息。
进而， 本实施方式中的声音不仅包括人的发声， 也包括其他声音。
《硬件结构》
下面说明本实施方式的硬件结构。本实施方式中， 当接收中继信息的远程通信终 端 10 中发生图像数据接收延迟时， 通过中继装置 30 改变图像数据的图像分辨率， 而后向接 收中继信息的远程通信终端 10 发送图像数据。以下对该情况进行说明。
图 2 是本发明实施方式之一所涉及的远程通信终端 10 的硬件结构。如图 2 所示， 本实施方式的远程通信终端 10 包括 ： 中央处理器即 CPU101， 用于控制终端 10 整体动作 ； 只 读存储器即 ROM102， 用于保存终端用程序 ； 随机存取存储器即 RAM103， 用于作为 CPU101 的 工作区域 ； 闪存 104， 用于存储图像数据、 以及声音数据等各种数据 ； 固态驱动器 SSD(solid state drive)105， 按照 CPU101 的控制来对闪存 104 中各种数据的读取以及写入进行控制 ； 介质驱动器 107， 用于控制闪存等存储介质 106 的数据读取或写入 ； 操作键 108， 用于在选择 远程通信终端 10 的收信终端等进行远程通信终端 10 的动作的操作， 或者用于进行将在以 下叙述的静音按钮以及音量调节按钮的操作 ； 电源开关 109， 用于远程通信终端 10 的电源 的接与切断之间的转换 ； 网络接口 I/F111， 用于利用通信网络 2 进行数据输送 ； 互补金属氧 化半导体元件 (CMOS， compl ementary metal oxide semiconductor)112， 按照 CPU101 的 控制拍摄被摄体获得图像数据 ； 摄像元件接口 (I/F)113， 用于控制 CMOS112 的驱动 ； 麦克风 112， 用户输入声音 ； 扬声器， 用于输出声音 ； 声音输入输出接口 (I/F)116， 用于根据 CPU101 的控制来处理麦克风 114 以及扬声器 115 之间的声音信号的输入输出 ； 显示器接口 (I/ F)117， 用于根据 CPU101 的控制来向外设显示器 120 传送图像数据 ； 以及总线 110， 为如图 2 所示地电连接上述各个结构元件的地址总线或数据总线等。
麦克风 114 以及扬声器 115 既可安装远程通信终端 10 的主机中， 也可在远程通信 终端 10 上设有连接声音输入束出接口 116 的麦克风用连接端子以及扬声器用连接端子， 用 以外设麦克风和扬声器。这样能够在离开远程通信终端 10 的位置进行集音或输出声音， 针 对麦克风和扬声器的选择以及设置等状况随机应变。
如图 2 所示， 麦克风 114a 为外设麦克风， 扬声器 115a 亦为外设。
一部分上述操作按钮 108 用于麦克风的静音按钮。该静音按钮在使用内藏麦克风 114 的情况下用于设定静音状态。
而在使用外设麦克风 114a 的情况下， 通常利用设于该麦克风 114a 中的静音按钮 114b 来设定静音状态。对此将在以后详细叙述。
在使用外设麦克风 114a 时， 设外设麦克风 114a 的输入以及静音按钮 114b 有效， 并设主机内藏麦克风 114 的输入和设于主机中的静音按钮的输入为无效。
上述操作按钮 108 的另一部分按钮用于扬声器的音量调节按钮。 外设扬声器 115a中也设有音量调节按钮 115b。
该外设音量调节按钮 115b 还可兼用于静音实行的操作键。对此将在以后详细叙 述。
与麦克风 114 相同， 在使用外设扬声器时， 设外设扬声器 115a 的输出以及音量调 节按钮 115b 有效， 并设主机内藏扬声器 115 的输入和设于主机中的音量调节按钮的输入为 无效。
麦克风 114a 以及扬声器 115a 的连接端子使用 USB 规格的端子。
关于主机中的静音按钮和音量调节按钮， 在本实施方式中分别设定内藏麦克风 114 以及扬声器 115 为无效， 但是也可设定为有效。
存储介质 106 被构成为可在远程通信终端 10 上装卸。而且， 该存储介质 106 如 果是根据 CPU101 的控制来进行数据读取或写入的非易失性存储器， 则不仅可以使用闪存 104， 还可以使用电可擦可编程 ROM(EEPROM) 等。进而， COMS112 是进行光电转换将被摄体 图像或映像电子化的固体摄像元件， 但是， 拍摄被摄体的并不局限于 CMOS， 还可以使用电荷 耦合器件图像转换器 (CCD) 等。另外， 显示器 11 以液晶或有机电致发光 (EL) 形成， 用于显 示被摄体的图像或操作用图标等。 进而， 上述远程通信终端用程序为可安装格式或可实行格式的文件， 还可以存放 到上述存储介质 106 等计算机可读存储介质中出售。
图 3 是本发明实施方式之一所涉及的远程通信终端 10 的外观图。如图 3 所示， 远 程通信终端 10 具有筐体 1100、 臂 1200、 以及照相机框架 1300。筐体 1100 的后侧面 1110 上 设有以多个吸气孔构成的吸气面 ( 未图示 )， 筐体 1100 的前侧面 1120 上设有以多个排气孔 构成的排气面 1121。
这样， 通过筐体 1100 中的内藏冷却扇驱动， 可经由筐体 1100 上的吸气面 1110 从 远程通信终端 10 前方吸入外部空气， 并经由排气面 1121 向远程通信终端 10 的后方排气。
筐体 1100 的右侧面 1130 中设有集音孔 1131， 用于收集下述内藏型麦克风 114 发 出的声音。
筐体 1100 的右侧面 1130 上设有麦克风用以及扬声器用的 USB 规格连接端子 1132， 用于将外设麦克风 114a 和外设扬声器 115a 连接到声音输入输出接口 (I/F)116 上。
筐体 1100 的左侧面 1140 设有连接外设显示器 11 和显示器接口 (I/F)117 的未图 示连接端子。
筐体 1100 的右侧面 1140 上设有操作面板 1150。该操作面板 1150 上设有操作键 108、 以及下述电源开关 109， 同时还设有具有多个声音输出孔的出音面 1151， 用于输出内 藏型扬声器 115 输出的输出声音。
筐体 1100 的左侧面 1140 设有收纳部 1160， 该收纳部 1160 形成为凹部， 用于收纳 臂 1200 以及照相机框架 1300。
臂 1200 用铰链 1210 装设在筐体 1100 上， 可相对于筐体 1100 上下左右转动， 转动 角 θ1 为向上 135°范围以内， 转动之后可以保持在预定位置。图 3 显示了该臂 1200 被保 持在转动角多 θ1 为 90°位置。
照相机筐体 1300 中设有 CMOS112， 该照相机筐体 1300 可通过铰链 1310 在上下左 右转动。转动后可以保持到预定位置。
照相机筐体 1300 相对于臂 1200 的转动范围为， 当图 3 所示照相机筐体 1300 相对 于筐体 1100 的前方状态为 0°时， 水平转动角度 θ2 的范围为 180°， 而且当照相机筐体 1300 以水平状态为 0°时， 垂直转动角度 θ3 的范围为 ±45°。
图 4 是本发明实施方式之一所涉的远程通信管理系统的硬件结构图。远程通信 管理系统 50 包括 ： CPU201， 用于控制远程通信管理系统 50 整体的动作 ； ROM202， 用于保存 远程通信管理用程序 ； RAM103， 用于作为 CPU201 的工作区域 ； HD204， 用于保存各种数据 ； 硬 盘驱动器即 HDD205， 用于按照 CPU201 的控制来控制 HD204 中各种数据的读取或写入 ； 介质 驱动器 207， 按照 CPU101 的控制来控制闪存等存储介质 206 中各种数据的读取以及写入 ； 显示器 208， 用于表示游标、 菜单、 窗口、 文字或图像等各种信息 ； 网络接口 (I/F)209， 利用 下述通信网络 2 传送数据 ； 键盘 211， 具有多个键， 用于输入文字、 数据、 各种指示等 ； 鼠标 212， 用于进行各种指示的选择或实行、 处理对象的选择、 游标移动等 ； CD-ROM 驱动器 214， 用于控制作为一例可装卸存储介质的光盘驱动器即 CD-ROM213 中的各种数据的读取或写 入； 以及， 总线 210， 为如图 4 所示， 电连接上述各个结构元件的地址总线或数据总线等。
上述远程通信管理用程序为可安装格式或可实行格式的文件， 还可以存放到上述 存储介质 206 或 CD-ROM213 等计算机可读存储介质中出售。 中继装置 30 具有与上述远程通信管理系统 50 相同的硬件结构， 为此省略说明。 但 是， ROM202 中保存用于控制中继装置 30 的中继装置用程序。此时， 中继装置用程序也是可 安装格式或可实行格式的文件， 还可以存放到上述存储介质 206 或 CD-ROM213 等计算机可 读存储介质中出售。
进而， 程序提供系统 90 具有与上述远程通信管理系统 50 相同的硬件结构， 为此省 略说明。但是， ROM202 中保存用于控制程序提供系统 90 的程序提供系统用程序。此时， 程 序提供系统用程序也是可安装格式或可实行格式的文件， 还可以存放到上述存储介质 206 或 CD-ROM213 等计算机可读存储介质中出售。关于其它上述可装卸存储介质还可构成为， 如存放到可录光盘即 CD-R、 数字多功能盘即 DVD、 蓝光盘等计算机可读的存储介质中来提 供。
《功能结构》
下面说明本实施方式的功能结构。图 5 构成发明本实施方式之一所涉及的远程通 信系统的各个终端、 装置以及系统的功能模块图。 在图 5 中， 远程通信终端 10、 中继装置 30、 以及远程通信管理系统 50 之间通过通信网络 2 连接， 可进行数据通信。图 1 所示的程序提 供系统 90 与电视会议的通信没有直接关系， 因此图 5 中省略表示。
< 远程通信终端功能结构 >
远程通信终端 10 包括收发信部 11、 操作输入接受部 12、 登录要求部 13、 摄像部 14a、 图像显示控制部 14b、 声音输入部 15a、 声音输出部 15b、 最终选定部 16、 延迟检测部 17、 静音处理部 18、 以及存储及读取处理部 19。
静音处理部 18 实行静音处理， 包括处理部 18a、 判断部 18b、 状态管理部 18c、 存储 部 19d、 模式转换部 18e、 登录部 18f、 以及监视部 18g。
这些部均为图 2 所示的各个构成元件中的任意元件根据 ROM102 中保存的程序， 按 照 CPU101 的指令进行动作所实现的功能。远程通信终端 10 还包括以图 2 所示的 SSD105 构成的存储部 1000。
( 远程通信终端的各个功能部 )
下面详细说明远程通信终端 10 的各个功能部。 远程通信终端 10 中的收发信部 11 的功能由图 2 所示的网络接口 111 实现， 其经由通信网络 2 与其他终端、 装置或系统之间进 行各种数据或信息的收发信。 操作输入接受部 12 的功能由图 2 所示的操作键 108 以及电源 开关 109 来实现， 其接受用户的各种输入。例如， 当用户接通图 2 所示的电源开关 109 时， 图 5 所示的操作输入接受部 12 收到电源接通要求， 接通电源。登录要求部 13 的功能可根 据图 2 所示的 CPU101 的指令来实现。在收到上述电源接通要求后， 收发信部 11 经由通信 网络 2 自动向远程通信管理系统 50 发送表示要求登录的登录要求信息、 以及发出要求的终 端的当前的 IP 地址。
摄像部 14a 是通过图 2 所示的 CMOS112 以及摄像元件接口 113 实现功能， 其拍摄 被摄体后输出该拍摄取得的图像数据。映像显示控制部 14b 由图 2 所示的显示器接口 117 实现其功能， 控制向外设显示器发送图像数据。
声音输入部 15a 是由图 2 所示的麦克风 114 或外设麦克风 114a 和静音按钮 114b 双方、 进而声音输入接口 116 实现的功能， 其用输入用户的声音， 并将声音转换为声音信号 进行信号处理， 而后输入有关该声音信号的声音数据。
声音输出部 15b 由图 2 所示的扬声器 115 或外设扬声器 115a 和音量调节按钮 115b 双方、 进而声音输入输出接口 116 实现的功能， 对关声音数据的声音信号进行信号处理， 将 声音信号转换为声音输出。关于声音输入部 15a 和声音输出部将在以下详细叙述。
最终选定部 16 是由计测部 16a、 计算部 16b、 以及最终选择部 16c 根据图 2 所示的 CPU101 的指令实现的功能， 其进行最终选定处理， 从多个中继装置 30 中最终选定一个中继 装置 30。其中， 每当收发信部 11 收到事先送信信息时， 计测部 16a 对收发信部 11 收到事先 送信信息的收信日期和时间进行计时。而后， 计算部 16b 根据计时得到的收信日期和时间 与包含在该事先送信信息之中的发送日期和时间之间的差， 对每个经过计测部 16a 计时的 事先送信信息， 计算事先送信信息发送与接收之间的所要时间。进而， 最终选择部 16c 根据 计算部 16b 算出的进行中继所要时间， 选择进行中继所要时间为最短的事先送信信息的中 继装置 30， 将其作为最终选择的一个中继装置。
延迟检测部 17 是按照图 2 所示的 CPU101 的指令来实现的功能， 其检测其他远程 通信终端 10 经由中继装置 30 送到图像数据或声音数据的延迟时间 (ms)。存储及读取处 理部 19 是由图 2 所示的 SSD105 实现的功能， 实行存储部 1000 中的各种数据的保存处理或 存储部 1000 中保存的各种数据的读取处理。该存储部 1000 中保存用于识别远程通信终端 10 的终端 ID、 密码、 以及图像数据和声音数据等。
本实施方式的终端 I D 以及下述中继装置 I D 分别为用于毫无疑义地识别远程通 信终端 10 以及中继装置 30 而使用的言语、 文字、 标记、 或各种标示等识别信息。终端 ID 以 及中继装置 ID 还可以是上述言语、 文字、 标记、 或各种标示之中的至少两种以上组合形成 的识别信息。在以下的说明中， 称发出电视会议开始要求的远程通信终端 10 为 “要求终端 10A” ， 并称接受要求的远程通信终端 10 为 “收信终端 10B” 。
静音处理部 18 实行远程通信终端 10 的静音处理， 其各个部如下。
处理部 18a 管理有关静音的所有处理， 包括外设麦克风 114a 的静音功能， 取得外 设麦克风 114a 的静音功能信息， 取得自终端状态通知对象的他终端信息， 并指示通知状态管理部 18c 等。此外， 处理部 18a 还控制未登录外设麦克风 114a 的信登录。
判断部 18b 判断声音输入部 15a 的类型， 例如， 判断麦克风 114a 的类型， 或确认消 音状态即静音状态。
状态管理部 18c 实行有关自终端的静音状态的取得、 以及将有关自终端的静音状 态等通知向他终端的管理等。
存储部 18d 保存表示麦克风类型的登录信息或有关静音的设定信息以及静音状 态等。
模式转换部 18e 在电视会议中实行外设麦克风 114a 的静音状态通知模式与外设 麦克风 114a 的登录处理之间的转换。
登录部 18f 在对未登录外设麦克风 114a 进行登录时， 测定麦克风的特性， 并进行 登录处理。
监视部 18g 监视声音输出部的输出音量是最小状态还是该状态以外的音量状态， 并在音量状态发生变化时将该信息送往状态管理部 18c。
下面参考图 6A 和图 6B 说明声音输入部 15a 和声音输出部 15b。
图 6A 显示声音输入部 15a， 此时显示连接了外设麦克风 114a。
声 音 输 入 部 15a 中 以 回 波 消 音 器 (echo canceler)15a1、 降 噪 器 (noise reduction)15a2、 回波抑制器 (echo suppressor)15a3、 自动增益控制 15a4、 以及静音开关 15a5， 来对从外设麦克风 114a 输入的信号进行各种处理。
回波消音器 15a1 将收到的自己的声音从对方的扬声器输出， 并通过对方的麦克 风对该声音集音， 而后返回到送信的自己方， 从而消去自己的扬声器发生的音响回波。 关于 回波消声器， 使用国际电信联盟标准局 (ITU-T， international telecommunication union telecommunication standardization sector) 推荐 G.165 中规定的规格。
降噪器 15a2 用于推测并衰减从周围的计算机、 投影机、 空调机等混入的杂音信 号， 该处理采用众所周知的减谱法 (Spectral Subtraction) 来推测并降低在音信号的音 谱。
回波抑制器 15a3 设在回波消音器 15a1 之后， 用于衰减残余的回波信号。残余回 波会影响到回波信号的非线形性、 杂音、 双向同时通话等， 降低回波消音器学习性能以及精 度。关于回波抑制器， 使用 ITU-T 推荐 G.165 中规定的规格。
自动增益控制 15a4 对输入信号实行可变控制， 其不论输入水准大小， 始终保持输 出一定。具体为， 在输入信号较弱时， 提高感度， 相反当输入信号较强时， 则减小感度， 而后 输出， 以此使得输出始终保持一定。
静音开关 15a5 在收到外设麦克风 114a 的用户按动静音开关 114b 的接通 (ON) 或 断开 (OFF) 时， 让通过回波抑制器 15a3 之后的信号通过， 或切断通过回波抑制器 15a3 之后 的信号。
图 6B 显示声音输出部 15b， 此时连接外设扬声器 115a。
声音输出部 15b 中， 以线性回波消音器 (line echo canceler)15b1、 降噪器 15b2、 回波抑制器 15b3、 自动增益控制 15b4、 以及音量调节控制 15b5 来对输入信号作各种处理， 经过处理之后， 输入信号从扬声器 115a 输出。
线性回波消音器 15b1 通过消除 IP 或电话线中的线性回波来保证双向通话时的良好的通话质量。关于线性回波消音器， 使用 ITU-T 推荐 G.165 中规定的规格。
声音输出部 15b 的降噪器 15b2、 回波抑制器 15b3、 自动增益控制 15b4 分别与声音 输入部 15a 的降噪器 (noise reduction)15a2、 回波抑制器 (echo supp ressor)15a3、 自动 增益控制 15a4 相同。
音量调节部 15b5 在收到用户操作音量调节按钮 115b 以改变音量后， 改变自动增 益控制 15b4 处理后的信号的音量水准。
< 中继装置的各种功能部 >
下面说明中继装置 30 的功能。中继装置 30 包括送信部 31、 状态检测部 32、 画质 确认部 33、 改变画质管理部 34、 画质更改部 35、 以及存储及读取处理部 39。 这些部均为图 4 所示各个结构元件中的任意元件根据 ROM202 中保存的中继装置用程序、 并按照 CPU201 的 指令实现的功能或发挥功能的手段。中继装置 30 还包括以图 4 所示的 HD204 构成的存储 部 3000。
( 改变画质管理表 )
存储部 3000 中包括以图 8 所示的改变画质管理表构成的改变画质管理数据库 3001。改变画质管理表中相关保存接收经过中继的图像数据的一方的收信终端 10 的 IP 地 址、 以及该受到中继装置 30 中继的图像数据的质量。
在此说明本实施方式中的图像数据的图像分辨率。图 7A 显示以横向 160 像素、 纵 向 120 像素构成的基础图像即低分辨率图像， 图 7B 显示以横向 320 像素、 纵向 240 像素构 成的中分辨率图像、 图 7C 显示以横向 640 像素、 纵向 480 像素构成的高分辨率图像。当带 域路径较窄时， 只有基础图像的低分辨率图像数据构成低画质图像数据受到中继， 而当带 域路径相对较宽时， 基础图像的低分辨率图像数据以及中分辨率的图像数据构成的中等画 质图像数据受到中继， 而当通过宽带域时， 基础图像的低分辨率图像数据、 中分辨率的图像 数据、 以及高分辨率图像数据构成的高质量图像数据皆受到中继。 例如， 图八所示的改变质 量管理表中， 中继装置 30 对 IP 地址为 “1.3.2.4” 的收信终端 10 进行图像数据的中继时， 该受到中继的图像数据的画质为 “高画质” 。
< 中继装置的各个功能部 >
下面详细说明中继装置 30 的各个功能部。在以下对中继装置 30 的各个功能部进 行的说明中， 还包括各个功能部与图 2 所示的各种功能结构的构成元件中用于实现中继装 置 30 各个功能的主要构成元件之间关系。
图 5 所示的中继装置 30 的收发信部 31 是由图 4 所示的网络接口 209 实现的功能， 其经由通信网络 2 实行与其它终端、 装置、 或系统之间的各种数据的收发信。 状态检测部 32 是按照图 4 所示的 CPU201 的指令实现的功能， 其检测包括该状态检测部 32 的中继装置 30 的动作状态。动作状态为 “在线” 、 “离线” 、 “通话中” 、 或 “暂时中断” 。
画质确认部 33 是按照图 4 所示的 CPU201 的指令实现的功能， 其用收信终端 10B 的 IP 作为检索键， 来检索图 8 所示的改变画质管理数据库 3001， 并通过抽取对应的中继图 像数据的质量， 来确认将被中继的图像数据的质量。
改变画质管理部 34 是按照图 4 所示的 CPU201 的指令实现的功能， 其基于来自远 程通信管理系统 50 的、 将在以下说明的画质信息， 来更改改变画质管理数据库 3001 的内 容。例如， 在终端 ID 为 “01aa” 的要求终端 10aa、 与终端 ID 为 “01db” 的收信终端 10db 之间举行电视会议并收发高质量图像数据的期间中， 因另一电视会议的要求终端 bb 与收信 终端 10ca 之间经由通信网络 2 召开电视会议， 造成收信终端即终端 db 中发生图像数据收 信延迟， 此时， 中继装置 30 将正在中继的图像数据的质量从高画质降低到中画质。此时， 根 据表示中画质的画质信息， 改变画质管理数据库 3001 的内容发生变化， 使得中继装置 30 将 正在中继的图像数据的质量从高画质降低到中画质。
数据画质更改部 35 是按照图 4 所示的 CPU201 的指令得以实现的功能， 其基于上 述更改后的改变画质管理数据库 3001 的内容， 改变来自送信终端 10 的图像数据的质量。
存储及读取部 39 是由图 4 所示的 HDD205 实现的功能， 其实行存储部 3000 中各种 数据的保存处理、 或存储部 3000 中各种数据读取处理。
< 远程通信管理系统的功能结构 >
以下说明远程通信管理系统 50 的功能。远程通信管理系统 50 包括收发信部 51、 终端认证部 52、 状态管理部 53、 终端抽取部 54、 终端状态取得部 55、 初级选定部 56、 时域管 理部 57、 画质决定部 58、 存储及读取部 59、 延迟时间管理部 60、 以及短信传达部 61。
这些部均为图 4 所示各个结构元件中的任意元件按照 ROM202 中保管的程序， 并根 据 CPU201 的指令动作所实现的功能或发挥该功能的手段。远程通信管理系统 50 包括以图 4 所示的以 HD204 构成的存储部 5000。
( 中继装置管理表 )
存储部 5000 中具有图 9 所示的以中继装置管理表构成的中继装置管理数据库 5001。该中继装置管理表中将每个中继装置 30 的中继装置 ID 与中继装置 30 的动作状态、 远程通信管理系统 50 收到的表示动作状态的状态信息的收信日期及时间、 中继装置 30 的 IP 地址、 以及中继装置 30 中的最大数据传送速度 (Mbps) 相关保存， 并对其进行管理。例 如， 在图 11 所示的中继装置管理表中， 中继装置 ID 为 “111a” 的中继装置 30a 的动作状态 为 “在线” ， 远程通信管理系统 50 收到状态信息的收信日期及时间为 “2009 年 11 月 10 日 13 点钟 00 分” ， 该中继装置 30a 的 IP 地址为 “1.2.1.2” ， 该中继装置 30a 中的最大数据传 送速度为 “100Mbps” 。
( 终端认证管理表 )
进而， 存储部 5000 中保存如图 10 所示的以终端认证管理表构成的终端认证管理 数据库 5002。在该终端认证管理表中所有受远程通信管理系统 50 管理的远程通信终端 10 的登录 ID 分别与各自的密码相关保存。例如， 图 10 所示的终端认证管理表中远程通信终 端 10aa 的终端 I D 为 “01aa” ， 密码为 “aaaa” 。
( 终端管理表 )
另外， 存储部 5000 中保存如图 11 所示的以终端管理表构成的终端管理数据库 5003。该终端管理表中， 每个远程通信终端 10 的终端 ID 分别与以下参数相关， 即各个远程 通信终端 10 的动作状态、 远程通信管理系统 50 收到下述登录要求信息的收信日期及时间、 以及终端 10 的 IP 地址， 并进行管理。 例如， 如图 11 所示的终端管理表中， 终端 ID 为 “01aa” 的终端 10aa， 其动作状态为 “在线” ， 远程通信管理系统 50 收到登录要求信息的收信时间为 “2009 年 11 约 10 日 13 点 40 分” ， 该远程通信终端 10aa 的 IP 地址为 “1.2.1.3” 。
( 收信名单管理表 )
进而， 存储部 5000 中保存如图 12 所示的以收信名单管理表构成的收信管理数据库 5004。 该收信名单管理表中， 将要求电视会议开始通话的要求终端 10A 的终端 ID 与所有 作为收信终端候被补登记了的收信终端 10B 的终端 ID 相关保存并进行管理。例如， 图 12 所示的收信名单管理表中， 可以接受终端 ID 为 “01aa” 的要求终端 aa 要求开始电视会议通 话的收信终端 10B 的候补有以下三个终端 ： 终端 ID 为 “01ab” 的远程通信终端 10ab、 终端 ID 为 “01ba” 的远程通信终端 10ba、 以及终端 ID 为 “01db” 的远程通信终端 10db。收信终 端 10B 的候补可以根据任意要求终端 10A 向远程通信管理系统 50 发送的增删要求来增加 或删除， 更新收信名单管理表。
( 时域管理表 )
另外， 存储部 5000 中保存如图 13 所示的以时域管理表构成的时域管理数据库 5005。该时域管理表中， 将实行选择中继装置 30 的时域时使用的选择用时域 ID 与以下参 数相关保存并管理 ： 用于中继图像数据以及声音数据的中继装置 30 的中继装置 ID、 要求终 端 10A 的终端 ID、 收信终端 10B 的终端 ID、 收信终端 10B 收到图像数据时的收信的延迟时间 (ms)、 以及远程通信管理系统 50 收到收信终端 10B 发送的表示该延迟时间的延迟信息的收 信日期和时间。例如图 13 所示的时域管理表中显示了， 在以选择用时域 ID“se1” 实行的 时域中选择的中继装置 30a 的中继装置 ID 为 “111a” ， 该中继装置 30a 在终端 ID 为 “01aa” 的要求终端 10aa、 与终端 ID 为 “01db” 的收信终端 10db 之间中继图像数据和声音数据， 收 信终端 10db 在 “2009 年 11 月 10 日 14 点 00 分” 收到图像数据， 该图像数据收到时的延迟 时间为 200(ms)。如果实在两个远程通信终端 10 之间举行电视会议， 则除了上述收信终端 10B 以外还可以根据要求终端 10A 发送的延迟信息来管理延迟信息的收信日期及时间。但 是， 在三个远程通信终端 10 之间举行电视会议的情况下， 则需要根据收信终端 10A 发送的 延迟信息来管理延迟信息的收信日期及时间。
( 地址优先度管理表 )
存储部 5000 中保存以图 14 所示的地址优先度管理表构成的地址优先度管理数 据库 5006。该地址优先度管理表中， 利用普通 IPv4 中的 IP 地址中的四组点地址 (Dot Address) 部分中的 “同” 越多地址优先度的点数越高的相关关系来进行管理。例如， 图 14 所示的地址优先度管理表中， 对于从点地址上位到下位之间有三个值相同的 IP 地址， 其地 址优先度的点数为 “5” 。而对于点地址从上位到下位之间有两个值相同的 IP 地址， 其地址 优先度的点数为 “3” 。此时， 最下位的点地址的值是否相同与优先度无关。进而， 对于点地 址的最上位的值相同， 而自最上位起第二个值不同的 IP 地址， 其地址优先度的点数为 “1” 。 此时， 自最上位起第三个点地址以及最下位的点地址的值是否相同与优先度无关。对于点 地址最上位的值不同的 IP 地址， 其地址优先度的点数为 “0” 。 此时， 自最上位起第二、 第三、 以及最下位的点地址的值是否相同与优先度无关。
( 传送速度优选度管理表 )
保存在存储部 5000 中的优先度管理数据库 5006 中还包括如图 15 所示的传送速 度优先度管理表。该传送速度优先度管理表中， 将最大数据输送速度与输送优先度相关 保存， 从而使得中继装置 30 中最大数据传送速度的值越大， 其传送速度优先度的点数越 高。例如， 在图 15 所示的传送速度优先度管理表中， 当中继装置 30 中最大数据传送速度为 1000Mbps 以上时， 传送速度的优先度点数为 “5” 。而当中继装置 30 中最大数据传送速度为100Mbps 且小于 1000Mbps 时， 则传送速度的优先度点数为 “3” 。而当中继装置 30 中最大数 据传送速度为 10Mbps 且小于 100Mbps 时， 传送速度的优先度点数为 “1” 。中继装置 30 中最 大数据传送速度为小于 10Mbps 时， 传送速度的优先度点数为 “0” 。
( 画质管理表 )
存储部 5000 中保存以图 16 所示的画质管理表构成的画质管理数据库 5007。 该画 质管理表中， 将图像数据的延迟时间与图像数据的质量即画质相关， 使得要求终端或收信 终端中的图像数据的延迟时 (ms) 越长， 图像数据的画质越是下降。
< 远程通信管理系统的各个功能部 >
下面详细说明远程通信管理系统 50 的各个功能部。在以下远程通信管理系统 50 的各个功能部的说明中还包括各个功能部与图 4 所示的各个构成元件中用于实现远程通 信管理系统 50 的各个功能部的主要构成元件之间的关系。
收发信部 51 是由图 2 所示的网络接口 209 实现的功能， 其经由通信网络 2 与其他 终端、 装置或系统之间进行各种数据或信息的收发信。
终端认证部 52 以经由收发信部 51 收到的登录要求信息中的终端 ID 以及密码作 为检索键， 来检索存储部 5000 的终端认证管理数据库 5002， 判断终端认证管理数据库 5002 中是否保存了相同的终端 ID 以及密码， 进行终端认证。 状态管理部 53 对将要求登录的要求终端 10A 的终端 ID、 动作状态、 远程通信管理 系统 50 收到登录要求信息的日期及时间、 以及该要求终端的 ID 地址相关后保存到终端管 理 DB5003 中的终端管理表 ( 参见图 11) 中， 用以对该要求终端的动作状态进行管理。
终端抽取部 54 以要求登录的要求终端 10A 的终端 ID 为检索键， 来检索收信名单 管理数据库 5004( 参见图 12)， 并读取能够与要求终端 10A 远程通信的收信终端 10B 的候补 的终端 ID 来抽取终端 ID。另外， 终端抽取部 54 还以要求登录的要求终端的终端 ID 为检索 键， 检索收信名单管理数据库 5004( 参见图 12)， 抽取上述要求终端 10A 作为收信终端候补 登录了的收信名单管理数据库 5004 中的其他要求终端 10A 的终端 ID。
终端状态取得部 55 以上述终端抽取部 54 抽取的收信终端候补的终端 ID 为检索 键， 来检索终端管理数据库 5003( 参见图 11)， 读取每个由上述终端抽取部 54 抽取的终端 ID 的动作状态。 这样， 终端状态取得部 55 取得能够与要求登录的要求终端进行远程通信的 收信终端 10B 的候补的动作状态。另外， 终端状态取得部 55 还以上述终端抽取部 54 抽取 的终端 ID 为检索键， 来检索终端管理数据库 5003， 并取得要求登录的要求终端 10A 的动作 状态。
初级选定部 56 进行最终选定处理前的初级选定处理， 以帮助实行最终选定处理， 从多个中继装置 30 中最终选定一个中继装置 30。一次选定部 56 包括选择用时域 ID 生成 部 56a、 终端 IP 地址抽取部 56b、 初级选择部 56c、 以及优先度决定部 56d。 其中， 选择用时域 ID 生成部 56a 生成用于实行选择中继装置 30 的时域的选择用时域 ID。终端 IP 地址抽取 部 56b 根据包含在要求终端发送的开始要求信息中的要求终端的终端 ID 以及收信终端的 终端 ID， 来检索终端管理数据库 5003( 参见图 11)， 分别抽取对应的远程通信终端 10 的 IP 地址。初级选择部 56c 从中继装置管理数据库 5001( 参见图 9) 中记录的中继装置 30 内， 选择动作状态为 “在线” 的中继装置 30 的中继装置 ID， 来进行中继装置 30 的选择。
初级选择部 56c 根据上述终端 ID 地址抽取部 56b 抽取的要求终端 10A 的 IP 地址
以及收信终端 10B 的 IP 地址， 检索中继装置管理数据库 5001( 参见图 9)， 对上述被选中的 中继装置 30 的 IP 地址的点地址进行调查， 调查上述要求终端 10A 以及收信终端 10B 的各 个 IP 地址中的点地址的异同。进而， 初级选择部 56c 将每个中继装置 30 的地址优先度的 点数比远程通信终端 10 的地址优先度点数高的中继装置的地址优先度的点数、 与传送速 度优选度的点数进行合计， 并选择该合计点数较高的上位 2 个中继装置 30， 以此来进一步 选择中继装置 30。
本实施方式选择了点数最高的两个中继装置 30， 但本发明并不局限于此， 如能够 选择更多的中继装置 30， 还可以选择三个以上点数最高的中继装置 30。
优先度决定部 56d 参考优先度管理数据库 5006( 参见图 14)， 决定上述一次选择部 56c 查到的每个中继装置 30 的地址优先度的点数。此外， 优先度决定部 56d 还根据中继装 置管理数据库 5001( 参见图 9) 中保存的各个中继装置 30 的最大数据传送速度， 来检索优 先度管理数据库 5006( 参见图 15)， 由此决定上述初级选择部 56c 在第一次删选处理中选中 的各个中继装置 30 的传送速度优先度的点数。
接着， 时域管理部 57 将选择用时域 ID 生成部 56a 生成的时域 ID、 要求终端的终端 ID、 以及收信终端的终端 ID 相关保存到存储部 5000 的时域管理数据库 5005( 参见图 13) 中进行管理。此外时域管理部 57 还在时域管理数据库 5005( 参见图 13) 中还对每个选择 用时域 ID， 保存并管理远程通信终端 10 的最终选择部 16c 最终选定的一个中继装置 30 的 中继装置 ID。
质量决定部 58 以上述延迟时间为检索键， 来检索画质管理数据库 5007( 参见图 16)， 并通过抽取对应图像数据的画质， 来决定由中继装置 30 中继的图像数据的画质。
存储及读取处理部 59 是由图 4 所示的 HDD205 实现的功能， 其在存储部 5000 中 实行各种数据的保存、 或实行存储部 5000 中保存的各种数据的读取处理。延迟时间管理 部 60 以上述收信终端 10B 的 IP 地址为检索键， 来检索终端管理数据库 5003( 参见图 11)， 抽取对应的终端 ID， 进而， 将所述延迟信息表示的延迟日期及时间保存到时域管理数据库 5005( 参见图 11) 中包含上述抽取的终端 ID 的记录中的延迟时间区域部分上。
当远程通信管理系统 50 的收发信部 51 收到各个远程通信终端 10 发送的短信如 关于静音的通知后， 短信传达部 61 进行以下管理， 即解析该短信内容， 并将该短信送往收 信的远程通信终端 10。
先用图 17 说明管理状态信息的处理。该状态信息是表示各个中继装置 30 向远程 通信管理系统 50 发送的中继装置 30 状态的信息。首先， 图 5 所示的各个中继装置 30 中的 状态检测部 32 定期检测各自的装置本身的动作状态 (S1-1 至 S1-4)。而后， 为了在远程通 信管理系统 50 中实时管理各个中继装置 30 的动作状态， 各个中继装置 30 的收发信部 31 经由网络 2 定期地向远程通信管理系统 50 发送各自的状态信息 (S2-1 至 S2-4)。这些状态 信息中包含各个中继装置 30 的中继装置 ID、 以及对应于该中继装置 ID 的中继装置 30 中的 状态检测部 32 检测到的的动作状态。本实施方式中的中继装置 30a、 30b、 30d 为正常动作 且处于 “在线” ， 而中继装置 30c 虽然处于动作之中， 但是由于实行中继装置 30c 的中继动作 的程序发生故障， 因此处于 “离线” 状态。
接着， 远程通信管理系统 50 中的收发信部 51 接收各个中继装置 30 发送的状态信 息， 并通过存储及读取处理部 59 将对应于每个中继装置 ID 的状态信息保存到存储部 5000中的中继装置管理数据库 5001( 参见图 9) 中进行管理 ( 步骤 3-1 至 3-4)。这样， 在如图 9 所示的中继装置管理表中对每个中继装置 ID 保存 “在线” 、 “离线” 、 或 “故障” 中任一动作状 态。此时， 还对每个中继装置 ID 保存远程通信管理系统 50 收到状态信息的收信日期及时 间。进而， 如果中继装置 30 没有发送状态信息， 则图 9 所示的中继装置管理表中各条记录 项内记录动作状态的区域部分以及记录收信日期及时间的区域部分表示为空白或上一次 收信时的动作状态以及收信日期及时间。
下面利用图 18 来说明远程通信终端 10aa 与 10db 之间开始远程通信之前的准备 阶段中的处理。首先， 当用户指示图 2 所示的电源开关 109 接通后， 图 5 所示操作输入接受 部 12 收到电源接通指令， 设电源接通 ( 步骤 S21)。登录要求部 13 在收到上述电源接通指 令之际， 从收发信部 11 经由通信网络 2 自动向远程通信管理系统 50 发送表示登录要求的 登录要求信息 ( 步骤 S22)。该登录要求信息包含提出要求的自终端的远程通信终端 10aa 的终端 ID 以及密码。这些终端 ID 以及密码通过存储及读取处理部 19 被从存储部 1000 中 读取并送往收发信部 11。此外， 当从终端 10aa 向远程通信管理系统 50 发送登录要求信息 时， 收信一方的远程通信管理系统 50 可以掌握送信一方的远程通信终端 10aa 的 IP 地址。
接着， 远程通信管理系统 50 的终端认证部 52 将经由收发信部 51 收到的登录要 求信息中包含的终端 ID 以及密码作为检索键， 检索存储部 5000 中的终端认证管理数据库 5002( 参见图 10)， 判断终端认证管理数据库 5002 中是否保存了相同的终端 ID 以及密码， 进行认证 ( 步骤 S23)。当该终端认证部 52 判断保存了相同的终端 ID 以及密码， 登录要求 出自具有正当使用权利的远程通信终端 10 时， 状态管理部 53 将远程通信终端 10aa 的终端 ID、 动作状态、 上述登录要求信息的收信日期及时刻、 以及远程通信终端 10aa 的 IP 地址相 关保存到终端管理数据库 5003( 参见图 11) 中 ( 步骤 S24)。由此， 在图 11 所示的终端管理 表中保存了相关的终端 ID“01aa” 、 动作状态 “在线” 、 收信日期及时间 “2009.11.10.13:40” 以及终端 10aa 的 IP 地址 “1.2.1.3” 。
远程通信管理系统 50 的收发信部 51 将表示上述终端认证部 52 的认证结果的信 息经由通信网络 2 送往发出上述登录要求的要求终端 10aa( 步骤 S25)。 以下继续说明终端 认证部 52 判断终端具有正当使用权力后的本实施方式。
远程通信管理系统 50 的终端抽取部 54 进行以下抽取， 即以发出登录要求的终端 10aa 的终端 ID“01aa” 作为检索键， 检索收信名单管理数据库 5004( 参见图 12)， 读取能够 与要求终端 10aa 通信的收信终端候补的终端 ID( 步骤 S26)。在此， 被抽取的与要求终端 10aa 的终端 ID“01aa” 相对应的收信终端即终端 10ab、 10ba、 10db 各自的终端 ID 分别为 “01ab” 、 “01ba” 、 “01db” 。
接着， 终端状态取得部 55 以上述终端抽取部 54 抽取的送信终端候补的终端 ID“01ab” 、 “01ba” 、 “01db” 为检索键， 检索终端管理数据库 5003( 参见图 11)， 读取上述终 端抽取部 54 抽取的对应于每个终端 ID 的动作状态 ( 在线、 或离线、 或中断 )， 由此取得远程 通信终端 10ab、 10ba、 10db 各自的动作状态 ( 步骤 S27)。
而后， 收发信部 51 将包含上述步骤 S27 中使用的检索键即终端 ID “01ab” “01ba” 、 、 “01db” 、 以及分别与这些终端 ID 相对应的送信终端 10ab、 10ba、 10db 各自的动作状态 ( 离 线、 在线、 在线 ) 的收信状态信息， 经由通信网络 2 送往要求终端 10aa( 步骤 S28)。这样， 要 求终端 10aa 能够掌握与该要求终端通信的收信终端候补即终端 10ab、 10ba、 10db 各自的现时动作状态 ( 离线、 在线、 在线 )。
进而， 远程通信管理系统 50 的终端抽取部 54 以发出登录要求的要求终端 10aa 的 终端 ID 即 “01aa” 作为检索键， 检索收信名单管理数据库 5004( 参见图 12) 进行， 抽取以上 述要求终端 10aa 的终端 ID 即 “01aa” 为收信终端候补登录在该收信名单管理表中的的其 他要求终端的终端 ID( 步骤 S29)。图 12 所示的收信名单管理表中被抽取的其他要求终端 的终端 ID 为 “01ab” 、 “01ba” 、 “01db” 。
而后， 远程通信管理系统 50 的终端状态取得部 55 以上述提出登录要求的要求终 端 10aa 的终端 ID“01aa” 为检索键， 检索终端管理数据库 5003( 参见图 11) 进行， 取得该 提出登录要求的要求终端 10aa 的动作状态 ( 步骤 S30)。
而后， 收发信部 51 向上述步骤 S29 中抽取的与终端 ID“01ab” “01ba” 、 “01db” 、 相 对应的远程通信终端 10ab、 10ba、 10db 中、 终端管理数据库 5003( 参见图 11) 之中动作状态 为 “在线” 的终端 10ba 和 10db 发送收信终端状态信息 ( 步骤 S31-1、 S31-2)， 该收信终端 状态信息包含上述步骤 S30 中取得的要求终端 10aa 的终端 ID“01aa” 以及动作状态 “在 线” 。收发信部 51 在向远程通信终端 10ba 以及 10db 发送收信终端状态信息时， 根据终端 ID“01ba” 和 “01db” 来参阅图 11 所示的终端管理表中的终端 IP 地址。这样， 便能够分别 向与提出登录要求的要求终端 10aa 通信的其他送信终端 10db 以及 10ba 传送上述提出登 录要求的要求终端 10aa 的终端 ID“01aa” 以及动作状态 “在线” 。
其他远程通信终端 10 进行与上述相同的处理， 即与上述步骤 S21 相同， 用户设图 4 所示电源开关 109 接通后， 图 5 所示操作输入接收部 12 收到电源接通指令， 而后， 进行上 述步骤 S22 至 S31-1 以及 S31-2 相同的处理， 在此省略详细说明。
接着利用图 19 说明中继装置 30 的选定处理。图 19 显示通过所有管理信息用时 域 sei 来收发各种管理信息。在本实施方式中， 根据上述步骤 28 中收到的收信终端的状态 信息可得知， 收信候补终端 10 中动作状态为在线的终端有终端 10ba 以及 10db， 要求终端 10aa 至少能够与该终端 10ba 以及终端 10db 中的一方进行远程通信。以下说明要求终端 10aa 的用户选择开始与收信终端 10db 远程通信的情况。
首先， 用户按动图 2 所示的操作键 108 并选择远程通信终端 10db 后， 图 5 所示的操 作输入接受部 12 接收开始与收信终端 10db 开始远程通信的要求 ( 步骤 S41)。 而后， 要求终 端 10aa 的收发信部 11 向远程通信管理系统 50 发送包含要求终端 10aa 的终端 ID“01aa” 以及收信终端 10db 的终端 ID“01db” 、 且表示希望开始远程通信的开始要求信息 ( 步骤 S42)。由此， 远程通信管理系统 50 的收发信部 51 在收到上述开始要求信息后， 能够掌握发 送信息的要求终端 10aa 的 IP 地址 “1.2.1.3” 。
而后， 根据开始要求信息中包含的要求终端 10aa 的终端 ID“01aa” 以及收信终端 10db 的终端 ID“01db” ， 状态管理部 53 改写终端管理数据库 5003 的终端管理表 ( 参见图 11)， 将其中分别包含上述终端 ID“01aa” 和 “01db” 的记录中表示动作状态的区域部分均 改为 “正在通话” ( 步骤 S43)。此时， 要求终端 10aa 与收信终端 10db 之间虽然还未开始远 程通信 ( 通话 )， 但已处于通话状态， 为此， 如果出现其他远程通信终端 10 要求与该要求终 端 10aa 或者收信终端 10db 通话， 将会输出表示正在通话的状态的声音或显示。
接着根据步骤 S44 ～ S48、 以及步骤 S61 ～ S66 说明实行选择中继装置 30 的时域 的处理。首先， 选择用时域 ID 生成部 56a 生成选择用时域 ID( 步骤 S44)， 该选择用时域ID 用于实行选择中继装置 30 的时域。而后， 时域管理部 57 将上述步骤 44 中生成的时域 ID“se1” 、 要求终端 10aa 的终端 ID“01aa” 、 以及收信终端 10db 的终端 ID“01db” 相关保 存到存储部 5000 的时域管理数据库 5005 中 ( 参见图 13) 中进行管理 ( 步骤 S45)。
下面根据中继装置管理数据库 5001、 终端管理数据库 5003、 以及优先度管理数据 库 5006， 远程通信管理系统 50 中的初级选定部 56 进行中继装置 30 的初级选定， 选择用于 在要求终端 10aa 与收信终端 10db 之间进行中继的中继装置 30( 步骤 S46)。
在此利用图 20 进一步详细说明步骤 S46 中的处理。首先终端 IP 地址抽取部 56b 根据要求终端 10aa 发送的开始通信信息中包含的要求终端 10aa 的终端 ID “01aa” 、 以及收 信终端 10db 的终端 ID “01db” ， 检索终端管理数据库 5003( 参见图 11)， 抽取分别对应于终 端 10aa 和终端 10db 的 IP 地址 “1.2.1.3” 和 “1.3.2.4” ( 步骤 S46-1)。
接着， 初级选择部 56c 在中继装置管理数据库 5001( 参见图 9) 中选择动作状态 为 “在线” 的中继装置 30a、 30b、 30d 的中继装置 IP111a、 111b、 111d( 步骤 S46-2)。初级选 择部 56c 根据上述步骤 S46-1 中抽取的要求终端 10aa 的 IP 地址 “1.2.1.3” 以及收信终端 “1.3.2.4” ， 检索中继装置管理数据库 5003( 参见图 9)， 确认上述步骤 S46-2 中选择的中继 装置 30a、 30b、 30d 各自的 IP 地址中的每个点地址是否与上述要求终端 10aa 以及收信终端 10db 各自的 IP 地址 “1.2.1.3” 和 “1.3.2.4” 中的点地址相同 ( 步骤 S46-3)。
接着， 优先度决定部 56d 参考优先度管理数据库 5006( 参见图 14)， 决定被在上述 步骤 46-3 中确认的每个中继装置 30a、 30b、 30d 的地址优先度点数 ( 步骤 S46-4)。图 21 的 表格显示了该决定处理的结果。图 21 是显示在进行中继装置 30 选定处理时的优先度的点 数的计算状态的图。 该图中针对每个中继装置 ID， 显示了地址优先度点数、 传送速度优先度 点数、 以及综合点数。地址优先度点数被表示为相对于要求终端 10aa 的点数和相对于收信 终端 10db 的点数。综合点数为两个地址优先度点数中较大一方点数与传送速度优先度点 数的合计。
本实施方式中， 对比中继装置 30a 的 IP 地址 “1.2.1.2” 和要求终端 10aa 的 IP 地 址 “1.2.1.3” ， 其结果为 “同 . 同 . 同 . 异” ， 为此如图 21 所示， 地址优先度点数为 “5” 。对 比中继装置 30a 的 I P 地址 “1.2.1.2” 和收信终端 10db 的 IP 地址 “1.3.2.4” ， 其结果为 “同 . 异 . 异 . 异” ， 因此， 地址优先度点数为 “1” 。对比中继装置 30b 的 IP 地址 “1.2.2.2” 和要求终端 10aa 的 IP 地址 “1.2.1.3” ， 为 “同 . 同 . 异 . 异” ， 因此， 地址优先度点数为 “3” 。对比中继装置 30b 的 IP 地址 “1.2.2.2”和收信终端 10db 的 IP 地址 “1.3.2.4” ， 为 “同 . 异 . 同 . 异” ， 因此， 地址优先度点数为 “1” 。进而， 对比中继装置 30d 的 IP 地址 “1.3.2.2” 和要求终端 10aa 的 IP 地址 “1.2.1.3” ， 为 “同 . 异 . 异 . 异” ， 因此， 地址优先度点 数为 “1” 。对比中继装置 30d 的 IP 地址 “1.3.2.2” 和收信终端 10db 的 IP 地址 “1.3.2.4” ， 为 “同 . 同 . 同 . 异” ， 因此， 地址优先度点数为 “5” 。
下面返回图 20。优先度决定部 56d 根据中继装置管理数据库 5001( 参见图 9) 中 保存的中继装置 30 的最大数据传送速度， 对优先度管理数据库 5006( 参见图 15) 进行检 索， 决定每个上述步骤 S46-2 的第一次选定处理中选定的中继装置 30a、 30b、 30d 的传送 速度优先度点数 ( 步骤 S46-5)。本实施方式中的中继装置 30a 的最大数据传送速度， 如 图 9 中所示， 为 100(Mbps)， 因而参考图 15 所示的传送速度优先度可知， 中继装置 30a 的 传送速度优先度点数为 3。与此相同， 中继装置 30b 的最大数据传送速度的计算结果为1000(Mbps)， 其传送速度优先度点数为 5。进而， 中继装置 30d 的最大数据传送速度的计算 结果为 10(Mbps)， 其传送速度优先度点数为 1。
而后， 初级选择部 56c 选择中继装置 30a、 30b、 30d 中综合点数较高的两个上位中 继装置 30( 步骤 S46-6)， 该综合点数为相对于终端 10aa 以及 10db 的地址优先度点数之中 较高一方的点数和传送速度优先度点数的合计。在本实施方式中如图 21 所示， 中继装置 ID111a、 111b、 111d 对应的综合点数分别为 8、 8、 6， 因此， 选择中继装置 ID 分别为 “111a” 和 “111b” 的中继装置 30a 和 30b。
上述步骤 S46-1 至 S46-6 的选择处理结束后， 图 4 所示的收发信部 501 经由通信 网络 2 向收信终端 10db 发送中继装置选择信息 ( 步骤 S47)， 该信息用于传达上述被选中 的中继装置 30 的数量， 其中包括在上述步骤 S46 中选定的中继装置 30 的数量 “2” 、 要求终 端 10aa 的终端 ID“01aa” 、 以及上述时域 ID“se1” 。由此， 远程通信终端 10db 在选择用时 域 ID“se1” 的时域的实行过程中， 远程通信管理系统 50 不但能够掌握中继装置 30 的数 量、 以及有没有要求希望与哪一个远程通信终端 10 开始电视会议， 而且还能够掌握发送中 继装置选择信息的远程通信管理系统 50 的 IP 地址 “1.1.1.2” 。
而后， 远程通信终端 10db 从收发信部 11 经由通信网络 2 向远程通信管理系统 50 发送表示上述中继装置选择信息收信完毕的收信结束信息 ( 步骤 S48)。该收信结束信 息中包含选择用时域 ID“se1” 。由此， 远程通信管理系统 50 不但能够掌握以选择用时域 ID“se1” 实行的中继装置数量的传达完毕， 而且还能够掌握发送信息的收信终端 10db 的 IP 地址 “1.3.2.4” 。 下面参考图 22A 和 22B 说明收信终端 10db 选择中继装置 30 的处理。首先， 远程 通信管理系统 50 在开始电视会议之前分别向在上述步骤 S46-1 至 S46-6 选定的中继装置 30a、 30b 发送事先中继要求信息 ( 步骤 S61-1、 S61-2)。该事先中继要求信息表示要求中 继， 其包括时域 ID“se1” 、 要求终端 10aa 的 IP 地址 “1.2.1.3” 、 以及送信终端即终端 10db 的 IP 地址 “1.3.2.4” 。这样， 各个中继装置 30a、 30b 便不但能够掌握是哪个时域的事先中 继要求信息、 哪一个要求终端 10A 以及哪一个收信终端 10B， 而且还能够掌握发送事先中继 要求信息的远程通信管理系统 50 的 IP 地址 “1.1.1.2” 。
而后， 各个中继装置 30a、 30b 分别从收发信部 31 经由通信网络 2 向上述步骤 S61-1、 S61-2 中掌握的要求终端 10aa 提出， 在开始通话电视会议之前向各个中继装置 30a、 30b 本身发送事先送信要求信息的要求， 该事先送信要求信息表示将要发送包含下述的 ping(Packet Internet Groper) 的事先送信信息 ( 步骤 S62-1、 S62-2)。该事先送信要求 信息中包含时域 ID“se1” 。这样， 在以时域 “se1” 实行的中继装置 30 选择处理中， 要求终 端 10aa 不但能够掌握向各个中继装置 30a、 30b 发送了事先送信信息， 而且， 还能够掌握发 送事先送信要求的各个中继装置 30a、 30b 的 IP 地址 “1.2.1.2” 以及 “1.2.2.2” 。
至于为什么远程通信管理系统 50 不是直接将收信终端即终端 10db 的 IP 地址通 知给要求终端， 而是如上步骤 S61-1 中所述， 将收信终端 10db 的 IP 地址通知给中继装置 30a， 而后如上步骤 S61-2 中所述， 由中继装置 30 要求要求终端 10aa 向其本身即中继装置 30 发送事先送信要求信息， 其目的在于确保安全， 避免各个终端 10 之间获悉其他终端 10 的 IP 地址。
接着， 要求终端 10aa 从接收信部 11 经由通信网络 2 向各个中继装置 30a、 30b 发
送事先送信信息 ( 步骤 S63-1、 S63-2)。该事先送信信息先于图像数据以及声音数据发送， 经由各个中继装置 30a、 30b 被送往收信终端 10db， 用于测定从要求终端 10aa 发送到收信终 端 10db 接收之间所要时间。该事先送信信息包括以下内容 ： 用于确认要求终端 10aa、 中继 装置 30a、 30b、 以及收信终端 10db 之间已连接就绪可以进行通信的 ping、 从要求终端 10aa 发送的事先送信信息的发送日期及时间、 以及时域 ID “se1” 。这样， 各个中继装置 30a、 30b 不但能够掌握在时域 ID 为 “se1” 的时域的实行中发送了事先送信信息， 而且能够掌握发送 该事先送信信息的要求终端 10aa 的 IP 地址为 “1.2.1.3” 。
接着， 各个中继装置 30a、 30b 对上述步骤 S61-1、 S61-2 收到的事先中继要求信息 中所包含的收信终端 10db 的 IP 地址 “1.3.2.4” 进行上述事先送信信息的中继 ( 步骤 64-1、 S64-2)。这样， 收信终端 10db 在时域 ID“se1” 的时域的实行中不但能够掌握事先送信信 息， 而且还能够掌握发送即中继该事先送信信息的中继装置 30a、 30b 的 IP 地址 “1.2.1.2” 、 “1.2.2.2” 。
接着， 收信终端即终端 10db 的最终选定部 16 根据事先送信信息最终选定一个中 继装置 30， 该中继装置 30 用于中继电视会议通话中的图像数据以及声音数据 ( 步骤 S65)。
在此， 利用图 5 以及图 23 进一步详细说明步骤 S65。首先， 图 5 所示的最终选定部 16 中的计测部 16a 对收信终端 10db 的收发信部 11 收到中继装置 30a、 30b 中继的每个事先 送信信息时的收信日期即时间 ( 步骤 S65-1) 进行计时。而后， 计算部 16b 根据上述计时得 到的收信日期及时间与上述事先送信信息中所包含的送信日期及时间之间的差， 计算每个 已完成收信日期及时间计测的事先送信信息从发出到收到所要时间 ( 步骤 S65-2)。接着， 最终选择部 16c 在时域 ID“se1” 的时域的实行中， 判断是否收到与预定进行中继的中继装 置 30 的个数 “2” 数量相当的所有事先送信信息 ( 步骤 S65-3)。如果还未全部收到 ( 否 )， 则最终选择部 16c 判断收信终端 10db 在收到事先收信信息后经过的时间是否超过预定时 间 ( 在此为 1 分钟 )( 步骤 S65-4)。如果没有超过预定时间 ( 否 )， 则返回上述步骤 65-1。 而如果在上述步骤 S65-3 中判断已收到所有事先送信信息 ( 是 )， 或者， 上述 S65-4 中判断 已超过了预定时间 ( 是 )， 则最终选择部 16c 选择一个中继装置 30， 该中继装置 30 以计算 部 16b 计算的所要时间之中最短所要时间来中继事先送信信息 ( 步骤 S65-5)。 在本实施方 式中， 用中继装置 30a 中继事先送信信息所要的送信与收信之间的时间比用中继装置 30b 中继事先送信信息所要的时间短， 因此， 选择中继装置 30a。
上述实施方式是在送信终端 10db 一方选择中继装置 30， 但本发明并不局限于此， 除此之外， 本发明还可通过收信终端 10db 向要求终端 10aa 或远程通信管理系统 50 发送 所有的所要时间信息， 该所要时间信息为收发事先送信信息的所要时间， 从而在要求终端 10aa 一方或远程通信管理系统 50 一方最终选定一个中继装置 30。
而后， 收信终端 10db 从收发信部 11 经由通信网络 2 向远程通信管理系统 50 发送 选择信息， 该选择信息表示已选择了中继装置 30a( 步骤 S66)， 其中包括时域 ID “se1” 、 以及 被选择的中继装置 30a 的中继装置 ID “111a” 。这样， 远程通信管理系统 50 在时域 ID “se1” 的时域的实行中， 不但能够掌握选定了中继装置 30a， 而且还能够掌握发送选择信息的收信 终端 10db 的 IP 地址 “1.3.2.4” 。
而后， 在时域管理数据库 5005 的时域管理表 ( 参见图 13) 中， 远程通信管理系统 50 的时域管理部 57 将上述最终选定的一个中继装置 30a 的中继装置 ID“111a” 保存到包括时域 ID“se1” 的记录项内的中继装置 ID 的区域部分上 ( 步骤 S67)。而后， 远程通信管 理系统 50 的收发信部 51 经由通信网络 2 向中继装置 30a 发送中继开始要求信息 ( 步骤 S68)。该中继开始要求信息表示要求开始中继， 其中包括被中继的要求终端 10aa 以及收信 终端 10db 各自的 IP 地址 “1.2.1.3” 以及 “1.3.2.4” 。这样， 中继装置 30a 能够确立用于在 终端 10aa 和 10db 之间以低分辨率、 中分辨率、 高分辨率的三个图像数据以及声音图像数据 进行通话的时域 ( 步骤 S69)， 从而在终端 10aa 和终端 10db 之间开始电视会议。
在以上的说明中， 步骤 S47 中远程通信管理系统 50 向收信终端 10db 发送中继装 置选定信息， 同时， 通过步骤 S48 ～ S64-1、 S64-2， 在收信终端 10db 一方进行中继装置的选 择处理 ( 步骤 S65)。但是， 本发明并不局限于此。除此之外， 还可以在上述步骤 S47 中， 通 过远程通信管理系统 50 向要求终端 10aa 发送中继装置选定信息， 并在其后的步骤 S48 到 S64-1 以及 S64-2 中， 将发送各种信息的要求终端 10aa 和接收各种信息的收信终端 10db 互 相交换。这样， 便可以在上述步骤 S65 中由要求终端 10aa 来实行中继装置的选择处理， 另 外， 还可以在 S66 中由要求终端 10aa 来发送选择信息。
下面， 利用图 5 以及图 24 说明在要求终端 10aa 和收信终端 10db 之间进行电视会 议时的图像数据以及声音数据的收发信处理。首先， 要求终端 10aa 将摄像部 14a 拍摄的被 摄体的图像数据以及从声音输入部 15a 输入的声音的声音数据， 从收发信部 11 经由通信网 络 2 送往中继装置 30a( 步骤 S81)。在本实施方式中输送图 7A ～ 7C 所示的低分辨率、 中分 辨率、 高分辨率三种数据构成的高质量图像数据以及声音数据。对此， 在中继装置 30a 中收 发信部 31 接收上述三种分辨率的图像数据以及声音数据。而后， 画质确认部 33 用收信终 端 10db 的 IP 地址 “1.3.2.4” 作为检索键， 检索改变画质管理数据库 3001( 参见图 8)， 并 通过抽取对应的中继图像数据的画质， 来确认中继图像数据的画质 ( 步骤 S82)。在本实施 方式中， 由于受到确认的图像数据的画质为 “高质量” ， 并且与收发信部 31 收到的图像数据 的画质相同， 因此中继装置 30a 将画质未经任何改动的图像数据以及未经任何改动的声音 数据送往收信终端即终端 10db( 步骤 S83)。这样， 收信终端 10db 的收发信部 11 收到低分 辨率、 中分辨率、 高分辨率三种数据构成的高质量图像数据以及声音数据。而后， 显示控制 部 14b 在显示器 120 上显示基于上述图像数据的图像， 同时声音输出部 15b 输出基于声音 数据的声音。
接着， 远程通信终端 10db 的延迟检测部 17 每隔一定时间， 如每隔 1 秒， 检测收发 信部 11 收到的图像数据的收信延迟时间 ( 步骤 S84)。以下说明延迟时间为 200ms 时的本 实施方式。
收信终端 10db 的收发信部 11 经由通信网络 2 将表示延迟时间为 “200(ms)” 的延 迟信息送往远程通信管理系统 50( 步骤 S85)。 这样， 远程通信管理系统 50 便可在掌握延迟 时间的同时， 掌握发送延迟信息的终端 10db 的 IP 地址 “1.3.2.4” 。
接着， 远程通信管理系统 50 的延迟时间管理部 60 以上述收信终端 10db 的 IP 地址 “1.3.2.4” 为检索键， 检索终端管理数据库 5003( 参见图 11)， 抽取对应的终端 ID“01db” ， 进而， 在时域管理数据库 5005 中的时域管理表 ( 参见图 13) 中， 将上述延迟信息中的延迟 时间 “200(ms)” 保存到上述终端 ID“01db” 的记录项内的延迟时间的区域部分中 ( 步骤 S86)。
接着， 画质决定部 58 以上述延迟时间 “200(ms)” 为检索键， 检索画质管理数据库5007( 参见图 16)， 抽取对应的图像数据的画质 “中画质” ， 并决定画质为 “中质量” ( 步骤 S87)。
而后， 收发信部 51 在时域管理数据库的时域管理表 ( 参见图 13) 中， 以与上述终 端 ID“01db” 相关的中继装置 ID“111a” 为检索键， 对中继装置管理数据库 5001( 参见图 9) 进行检索， 抽取对应的中继装置 30a 的 IP 地址 “1.2.1.2” ( 步骤 S88)。而后， 收发信部 51 经由通信网络 2， 将上述步骤 S87 决定的表示图像数据的画质为 “中画质” 的画质信息送 往中继装置 30a( 步骤 S89)。该画质信息中包括上述步骤 S86 中被当作检索键使用的收信 终端 10db 的 IP 地址 “1.3.2.4” 。这样在中继装置 30a 中， 改变画质管理部 34 便将发送信 息的终端 10( 在此为终端 10db) 的 IP 地址 “1.3.2.4” 与受到中继的图像数据的画质 “中画 质” 相关保存到改变画质管理数据库 3001( 参见图 8) 进行管理 ( 步骤 S90)。
而后， 远程通信终端 10aa 继续进行与上述步骤 S81 同样的处理， 即向中继装置 30a 发送低画质、 中画质、 高画质构成的高质量图像数据以及声音数据 ( 步骤 S91)。对此， 与上 述步骤 S82 相同， 在中继装置 30a 中， 画质确认部 33 以收信终端 10db 的 IP 地址 “1.3.2.4” 作为检索键， 对改变画质管理数据库 3001( 参见图 8) 进行检索， 并通过抽取对应的中继图 像数据的画质 “中画质” ， 来确认受到中继的图像数据的画质 ( 步骤 S92)。 在本实施方式中， 被确认了的图像数据的画质为 “中画质” ， 其画质低于收发信部 31 收到的图像数据的画质 “高画质” ， 为此， 画质更改部 35 改变图像数据的画质， 将 “高画质” 降低为 “中画质” ， 从而更 改了图像数据的图像质量 ( 步骤 S93)。
而后， 收发信部 31 通过通话数据用时域， 经由通信网络 2， 向远程通信终端 10db 发 送上述图像数据的画质被改为 “中画质” 的图像数据以及音质未经改变的声音数据 ( 步骤 S94)。这样， 当收到图像数据的收信终端 10db 中发生收信延迟时， 中继装置 30a 便改变图 像的画质， 以避免参加电视会议的人员有不协调感觉。
以下说明时域建立之后的远程通信终端 10 之间在会议期间， 麦克风 114a 的静音 被实行时的处理。
图 25 之后的附图中显示了远程通信终端 10 中实行麦克风 114a 的静音、 并通过网 络 2 发送该静音信息的处理。 在以下的说明中， 设定远程通信终端 10aa 中实行静音、 并且发 送静音信息， 该远程通信终端 10aa 的识别标示即终端 ID 为 “01aa” 、 IP 地址为 “1.2.1.3” 。
远程通信终端 10aa 登录之后开始会议， 在此状态下， 远程通信终端 10aa 进行图 25 所示的以下处理。该远程通信终端 10aa 上外设麦克风 114a。
1. 在步骤 S101-1 中， 静音处理部 18 的处理部 18a 取得声音输入部 15a 的麦克风 114a 的麦克风名称。本实施方式中在 Windows( 登录商标 ) 上实行该处理， 使用混音器 API 来取得麦克风名称。通常， 麦克风名称表示麦克风的类型， 因此， 属于相同类型的麦克风具 有相同名称。
2. 处理部 18a 将取得的麦克风名称转送到判断部 18b， 要求判断麦克风 114a 的静 音功能。
3. 在步骤 S101-2 中， 判断部 18b 检索以名单形式保存在存储部 18d 中的麦克风数 据， 判断处理部 18a 要求的麦克风 114a 能否通知静音信息。图 26A 显示一例麦克风数据， 该图中登记了能够进行麦克风静音通知的麦克风名称。
4. 如果图 26A 中存在所取得的麦克风名称， 判断部 18b 判断能够通知静音信息， 进入 <1> 的处理， 而如果图 26A 中不存在麦克风名称， 则判断不能够通知静音信息， 进入 <2> 的处理。关于 <1> 和 <2> 的处理将在以下叙述。
5.<1> 或 <2> 的处理结束后， 进入步骤 S101-3， 处理部 18 参考图 27 的识别标志， 取得除其本身的识别标志 01aa 以外的其他识别标志， 例如 01ab ～ 01bb， 将该识别标志所对 应的远程通信终端作为收信终端。图 27 中相关保存了出席会议的其他终端的识别标志和 静音状态， 该数据用 XMPP 从远程通信管理系统 50 发送。
6. 而后， 处理部 18 对 5 中取得的收信终端进行以下处理。
首先， 在步骤 S101-4 中确认是否还存在需要处理的收信终端。
如果存在需要处理的收信终端， 则进行以下 7 以后的处理。
如果不再存在需要处理的收信终端， 则结束处理。
7. 当 S101-4 中判断存在需要处理的收信终端时， 进入步骤 S101-5， 处理部 18a 要求状态管理部 18c 制作短信。据此， 状态管理部 18c 制作如图 28 所示的的短信， 该短信 基于按照 RFC3921 可扩展消息现场协议即时通讯 (XMPP IM， extensible messaging and Presence protocol ： Instant Messaging and Presence) 的可扩展标志语言 (XML) 制作。
8. 具体如下， 在标签
的属性 “from” 以及 “to” 中分别代入自终端的识 别标志以及收信终端的识别标志。在图 28 的示例中， 自终端的识别标志为 01aa， 受信终端 的识别标志为 01bb。而后将静音状态代入标签 中。图 28(a) ～ (c) 中分别代入 “MUTE_ON” 、 “MUTE_OFF” 、 “MUTE_NONE” ， 其分别表示静音状态为 “静音 ON” 、 “静音 OFF” 、 “没 有静音功能” 。此外， 图 28(a) ～ (c) 中的标签 的值均代入 “CHAT” 。
9. 在步骤 101-6 中， 当状态管理部 18 要求收发信部 11 发送上述 8 中制作的短信 后， 收发信部 11 用 XMPP 向收信终端即远程通信终端 10bb 发送短信。
10. 发信结束后， 回到步骤 101-4， 确认是否还剩下需要处理的收信终端， 如果不 再有需要处理的收信终端， 则结束处理。
在上述实施方式中， 收发信部 11 将其所处自终端的识别标志以及收信终端的识 别标识分别转换为 IP 地址并发送该 IP 地址。
另外， 标签 的属性 “from” 以及 “to” 中还可分别代入自终端的 IP 地 址以及收信终端的 IP 地址， 此时不需要进行上述转换。
下面说明另一例有关发送短信的实施方式， 该实施方式中远程通信终端将短信送 往远程通信管理系统， 由该远程通信管理系统将该短信送往出席会议的对方的远程通信终 端。
图 29 显示了在这种情况下的一例短信， 在标签 的属性 “from” 以及 “to” 中分别代入自终端的 IP 地址以及远程通信管理系统的 IP 地址， 并在标签 的值中 代入自终端的识别标志。
当执行图 25 中的步骤 S101-6， 发送了上述短信之后， 远程通信管理系统 50 以收发 信部 5 按照 XMPP IM 解析标签 的 “id” ， 参考图 13 的时域管理表， 确定 01aa 的 收信终端为 01db。而后参考图 11 的终端管理表， 确定 01db 的 IP 地址为 “1.3.2.4” 。
此后， 短信传达部 61 制作以下短信， 并要求收发信部 51 项特定的收信终端发送该 短信。
CHAT
01aa
MUTE_ON
上述短信中静音状态为 “MUTE_ON” ， 而实际上是将标签 制作为该标签 的值与发信终端发送的标签 的值相同。
这样， 如图 29 所示， 在标签 的属性 “from” 以及 “to” 中分别代入自终 端的 IP 地址以及远程通信管理系统 50 的 IP 地址， 远程通信管理系统 50 便能够确定收信 终端的 IP 地址并向该收信终端送信。
以下参考图 30 说明上述 4 的处理 <1>。处理 <1> 是在按动声音输入部 15a 的麦克 风 114a 中所具有的静音按钮 114b 后可以进行麦克风静音通知时的处理。
1. 用户按动静音按钮 114b 后， 处理部 18a 将会收到静音信息的通知。因此， 在步 骤 S105-1 中， 处理部 18a 判断是否收到该静音信息的通知。
2. 当判断收到静音信息的通知时， 进入步骤 S105-2， 处理部 18a 解析该静音信息， 判断收到的通知中的静音状态是否是 ON。 3. 当收到的通知中的静音状态为 MUTE ON 时 (S105-2 的是 )， 进入步骤 S105-3， 处 理部 18a 要求状态管理部 18c 将图 27 中与识别标记 01aa 相对应的静音状态改写为 “MUTE_ ON” 。相反， 当收到的通知中的静音状态不是 MUTE ON 而是 MUTE OFF 时 (S105-2 的否 )， 则 进入步骤 S105-4， 处理部 18a 要求状态管理部 18c 将图 27 中与识别标记 01aa 相对应的静 音状态改写为 “MUTE_OFF” 。
4. 状态管理部 18c 结束上述要求的处理后转入图 25 的 S101-3。
以下参考图 31 说明上述图 25 的处理 <2>。处理 <2> 是在按动声音输入部 15a 的 麦克风 114a 中所具有的静音按钮 114b 后不能够进行麦克风静音通知时的处理。
1. 在步骤 S106-1 中， 处理部 18a 要求判部 18b 参考保存在存储部 18d 中的图 26B 所示的麦克风数据， 根据该麦克风数据中的麦克风名称来检索在图 25 的处理中取得的麦 克风名称。
2. 当判断部 18b 找到麦克风名称时 ( 步骤 S106-1 的是 )， 进入步骤 S106-2， 从图 26B 的麦克风数据中取得与麦克风名称相对应的阀值 x， 而后转入 3 即步骤 S106-3。
而判断部 18b 如果没有找到麦克风名称 ( 步骤 S106-1 的否 )， 则进入步骤 S106-9， 处理部 18a 将图 27 的识别标志 01aa 所对应的静音状态改写为 “MUTE_NONE” ， 而后结束 <2> 的处理， 转入图 25 的 S101-3。
3. 在步骤 S106-3 中， 判断部 18b 以规定点数 ( 例如以 16 点， 标本化频率 16kHz 时 的时间长为 1ms) 测定通过图 6 所示的静音开关 15a5 后的声音信号水准。
4. 判断部 18b 判断在 S106-3 中测定的所有声音信号水准是否均在规定的值的范 围以内。 在本实施方式中， 设数字形式为 16 比特并具有符号， 与 S106-2 中取得的阀值相比， 判断该声音信号水准是否落在 -x ～ x 的范围之中， 例如在图 26B 中， 如果使用的麦克风名 称为 “MIC3” ， 则此时 x ＝ 3。而后回答处理部 18b 判断结果。
5. 在步骤 S106-4 中， 如果判断结果为落在上述范围之内， 也就是说， 如果范围以 内的声音信号水准持续了规定时间 (S106-4 的是 )， 则处理部 18a 要求状态管理部 18c 进入
S106-5， 进行以下 6 的处理。相反 (S106-4 的否 )， 则要求进入 S106-7， 进行以下 9 的处理。
6. 在步骤 S106-5 中， 状态管理部 18c 参考存储部 18d 中与 01aa 对应的静音状态 ( 参见图 27)， 判断是否为 “MUTE_OFF” 。如果判断结果为 “MUTE_OFF” (S106-5 的是 )， 则进 入 S106-6， 实行 7 的处理， 而如果不是 “MUTE_OFF” ， 则返回上述 3， 回到 S106-3。
7. 在步骤 S106-6 中， 状态管理部 18c 将静音状态改写为 “MUTE_ON” ， 并答复处理 部 18a 分歧到图 25 的接下去的处理， 即 S103-3。
8. 处理部 18a 在分歧到图 25 的下一个处理的同时， 返回上述 3， 反复进行处理。
9. 在上述 5 的步骤 S106-4 中， 如果判断结果为声音信号水准不在范围之中， 也就 是说， 声音信号水准未能在范围以内保持规定时间， 则进入步骤 S106-7， 状态管理部 18c 参 考存储部 18d 中的 01aa 所对应的静音状态 ( 参见图 27)， 判断静音状态是否是 “MUTE_ON” 。 如果不是 “MUTE_ON” (S106-7 的否 ) 则返回 S106-3， 反复进行上述 3 的处理。 如果是 “MUTE_ ON” ， 则进入步骤 S106-8。
10. 在步骤 S106-8 中， 状态管理部 18c 将静音状态改写为 “MUTE_OFF” ， 并答复处 理部 18a 分歧到图 25 的接下去的处理， 即 S101-3。
11. 处理部 18a 在分歧到图 25 的下一个处理的同时， 返回上述 3， 反复进行处理 S106-3。 在上述 4 的处理中， 对于阀值 x， 可预先测定所使用的麦克风的输入最小水准， 而 后保存小于该水准的值。
在此， 即便在取消静音开关 15a5 而使信号能够通过的状态下， 而图 6 的麦克风 114a 却能够进行音量调整时， 如果麦克风的音量被设为最小值， 则声音信号水准变小， 而如 果该声音信号水准与静音开关 15a5 接通状态下的阀值相同， 则有可能无法判断静音状态。 针对该问题， 本实施方式将静音开关 15a5 设为其他信号处理的最后阶段。这样便能够确保 打开静音开关 15a5 时的声音信号水准与取消静音开关 15a5 时的声音信号水准之间的区 别。
以下参考图 32 说明远程通信终端 10 作为收信终端收到包括静音信息的短信后的 处理。本实施方式以识别标志为 01bb 的远程通信终端 10 接收短信为例进行说明。
1. 在步骤 S107-1 中， 在收发信部 11 收到包括静音信息的短信后， 处理部 18a 要求 状态管理部 18c 进行此后的处理。
2. 在 步 骤 S107-2 中， 状 态 管 理 部 18c 对 收 到 的 短 信 进 行 分 析， 从标签 > 的 “from” 属性中取得发信终端的识别标志， 并根据标签 的值取得静 将图 27 中 01aa 所对应的静 音状态。在本实施方式中发信终端的识别标志为 01aa。而后， 音状态改写为上述取得的静音状态。
3. 在步骤 S107-3 中， 处理部 18a 判断改写后的静音状态是否是 “MUTE_ON” ， 如果 是 “MUTE_ON” (S107-3 的是 )， 则要求图像显示控制部 14b 显示识别标志 01aa 以及 MUTE_ON 信息， 而后结束处理。
4. 如果步骤 S107-3 中， 处理部 18a 判断结果为不是 “MUTE_ON” (S107-3 的否 )， 则 进入步骤 S107-5， 进一步判断静音状态是否是 “MUTE_NONE” ， 如果是 “MUTE_NONE” (S107-5 的是 )， 则进入步骤 S107-6， 要求图像显示控制部 14b 显示识别标志 01aa 以及不能实行静 音功能的信息， 而后结束处理。
5. 而如果处理部 18a 判断静音状态不是 “MUTE_NONE” (S107-5 的否 )， 则进入步骤 S107-7， 要求图像显示控制部 14b 进行识别标志 01aa 的显示以及静音信息的非显示， 而后 结束处理。
关于上述处理 3 至 5 中所述的画面的显示 / 非显示的控制， 可利用公知的画面布 置功能来实现。即制作静音信息的显示 / 非显示用布置， 该布置不同于中继装置 30 发送的 动画布置。该布置可与动画布置重叠显示在会议画面上， 以表示静音信息。
图 33 是显示器 11 上显示的与图 27 对应的显示例。 此时， 识别标志 01aa 为 “MUTE_ ON” ， 因此显示器 11 上显示了表示该静音信息的图标和识别标志。识别标志 01ab 为 “MUTE_ OFF” ， 此时 01ab 的静音信息的图标如果已显示， 则将该图标改为非显示。
识别标志 01ba 为 “MUTE_NONE” ， 此时显示表示该静音信息的灰色图标和识别标 志。
在上述实施方式中， 即便远程通信终端 10 中没有安装要使用的麦克风 114a 的设 备驱动器等来应对静音信息的功能， 也能够通过麦克风 114a 向出席会议的对方显示静音 信息， 使会议能够顺利进行。例如， 对方在突然听不到声音时， 可以了解到原因并不在于故 障， 而是因为实行静音功能。
而且， 不需要开发远程通信终端 10 专用的设备驱动器， 节省了开发成本。进而， 由 于不需要设备驱动器， 因此用户可以根据自己的喜好来选择用于远程通信终端 10 的麦克 风， 方便了用户。
下面说明远程通信终端 10 从电视会议模式转换到外设麦克风的登陆模式， 进行 新的未登陆麦克风的登录处理。
图 34 是远程通信终端 10 启动后， 图像显示控制部 14b 在显示器 11 上显示的菜单 画面。该画面上的菜单可通过操作输入接受部 12 的操作按钮 107 将游标移动到所要的项 目上， 而后以回车键输入选择信息。以下将进行该输入的状态称为 “选择” 。
此时， 如果选择 “开始会议” 项目， 则通过静音处理部 18 的模式转换部 18e” 开始 电视会议模式， 并且在会议中麦克风被设为静音时， 向对方的远程通信终端 10 发送静音状 态的信息。
另一方面， 如果选择图 34 中的 “登陆麦克风” 项目， 则在远程通信终端 10 中静音 处理部 18 的登陆部 18f 进行图 35 所示的处理。
1. 在步骤 S202-1 中， 处理部 18a 取得安装在声音输入部 15a 上的麦克风名称。而 后， 登陆部 18f 要求处理部 18a 显示如图 36 所示的对话画面， 并设定登陆部 18f 的取得可 能旗为 “不可” 。该取得可能旗表示能否取得麦克风静音信息， 能够取得时设为 “可” ， 不能 够取得时设为 “不可” 。
2. 在步骤 S202-2 中， 如果检测到用户在图 36 所示的对话画面中选择取消键， 则返 回图 34 的菜单画面， 结束处理。
用户选择取消键的理由通常为， 需要登陆没有静音按钮即没有静音功能的麦克风 114a， 或者终止麦克风登陆等情况。
3. 另一方面， 如果麦克风 114a 具有静音按钮 114b， 则在步骤 S202-2 中， 用户按照 图 36 所示对话画面的指示， 按下麦克风 114a 上附属的静音按钮 114b， 进而按 OK 键， 处理得 以继续进行 (S202-2 的是 )， 进入步骤 S202-3， 登陆部 18f 判断可否取得麦克风静音信息。用户在按动静音按钮 114b 后选择对话画面上的 OK 键。
此时是通过登陆部 18f 实际取得表示静音按钮 114b 被按下的麦克风静音信息， 来 判断能否取得麦克风静音信息。如果登陆部 18f 能够取得麦克风静音信息， 则设取得可能 旗为 “可” 。
登 录 部 18f 要 求 处 理 部 18a 取 消 图 36 的 对 话 画 面， 当取得可能旗为 “可”时 (S202-3 的是 )， 进入处理 <3>， 而取得可能旗为 “不可” 是 (S202-3 的否 )， 进入处理 <4>。
4. 处理 <3> 或处理 <4> 结束后， 登陆部 18f 要求处理部 18a 显示图 37 的对话画 面。
在 S202-4 中， 如果检测到用户选择该对话画面中的 OK 键， 则移动到图 34 的菜单 画面后结束。
本实施方式在 Windows( 登录商标 ) 上进行上述处理， 上述处理 1 以及处理 4 通过 使用音响混和器 API 得以实现。
图 38 是用于说明处理 <3> 的流程图。 在处理 <3> 中， 当可以取得麦克风静音信息， 即取得可能旗为 “可” 时， 如果登录部 18f 检测到按下图 36 的 OK 键， 则要求处理部 18a 取 消对话， 并在存储部 18d 中的麦克风数据中增加在图 35 的步骤 202-1 中取得的麦克风名。 例如， 当取得麦克风名称为 “MIC2” 时， 在图 26A 所示的麦克风名名单中增加所取得的麦克 风名称 “MIC2” 。该图显示已经登陆了麦克风名 “MIC1” ， 在此之后增加 “MIC2” 。
上述数据作为有关可以发送麦克风静音信息的麦克风的数据， 将在图 25 的处理 中用于参考。
以下参考图 39 说明处理 <4> 的流程。
1. 在不能取得麦克风静音信息即取得可能旗为 “不可” 的情况下， 在登录部 18f 检 测到图 36 的 OK 键被选择后， 要求处理部 18a 取消对话并移动到下一个处理。
2. 在步骤 S206-1 中， 取得并保存从麦克风 114a 输入的当前的音量， 而后将该音量 设为最大。
通过将音量设为最大， 便不必保存每一种麦克风在 5 的处理中使用的预定值。也 就是说， 通过充分确保当麦克风 114a 不处于静音状态时的输入水准， 来使得预定值成为任 何麦克风都能使用的值。该处理利用 Windows( 登录商标 ) 的音响混和器 API 得以实现。
3. 以预定时间例如 5 秒测定经数字处理后的声音信号水准。数字处理的条件为， 标本化频率 16kHz 且 16 比特符号化， 作 80000 点分测定。
4. 在步骤 S206-2 中， 求出所有测定到的水准 x 中绝对值 |x| 为最大的水准 x_max， 当该 x_max 小于预定的值， 例如 100 时， 将该值定为阀值。
5. 而当 x_max 大于预定值时， 要求处理部 18a 显示图 40 所示的对话。在检测到按 下 OK 键后， 返回 3， 重新进行处理。
6. 将图 35 的 S202-1 中取得的麦克风名称与上述 4 即 S206-2 中决定的阀值一起 加入到存储部 18d 的麦克风数据中。例如， 麦克风名称为 “MIC4” ， x_max 为 4 时， 如图 26B 所示， 在已经登录了的数据之后加入该数据。
在图 26B 的示例中， 麦克风名称 “MIC3” 以及与其对应的阀值已经登录， 在此数据 之后加入 “MIC4” 以及其阀值 4。
7. 而后， 在步骤 S206-4 中， 利用混音器 API 恢复到上述 2 的处理中保存的麦克风音量。 在以上所述的登录处理中， 即使以用户指定的其他麦克风作为远程通信终端 10 的外设麦克风 114a， 也能够发送静音信息的通知。
也就是说， 可以在远程通信终端 10 使用的麦克风中增加用户希望使用的麦克风， 便于提高用户使用性能。
以下说明利用改变声音输出部 15b 输出的音量水准的音量调节按钮 115b， 通过操 作该音量调节按钮 115b 来实行静音， 并在该状态发生变化时， 从收发信部 11 向收信的远程 通信终端 10 发送实行静音的信息的处理。此时， 音量调节按钮 115b 兼用为实行静音的操 作按钮， 为此， 外设麦克风 114a 可以没有静音按钮 114b。
图 41 显示了建立时域之后， 在远程通信终端 10 之间发送麦克风静音信息的处理。 在以下的处理中从远程通信终端 10aa 向远程通信终端 10bb 发送静音信息。
1. 首先， 在步骤 S301-1 中， 监视部 18g 监视声音输出部 15b 的输出水准的改变活 动， 如果收到该改变活动， 则进入步骤 S301-2。
该改变活动可通过公知的混音器 API 在 Windows( 登录商标 ) 等上得以实现， 由声 音输出部 15b 对操作输入接受部 12 收到的来自于音量调节按钮 115b 的按钮信息进行分 析， 改变输出水准。
也就是说， 当用户按动扬声器 115a 的声音调节按钮 115b 时， 该改变活动发生。在 以后的处理中， 伴随声音输入部 15a 以及声音输出部 15b 等声音输入输出 I/F116 的访问所 进行的处理也利用混音器 API 来实现。
2. 而后， 在步骤 S301-2 中， 监视部 18g 取得经过声音输出部 18b 改变后的输出水 准， 并比较该输出水准是否是最小值如水准 0。 如果监视部 18g 的比较结果为该输出水准是 最小值， 则进入接下去的处理 3， 即步骤 S301-3， 相反， 如果不是最小值， 则进入 7 的处理， 即 步骤 S301-7。
3. 在步骤 S301-3 中， 监视部 18g 无视声音输入部 15a 的输入， 利用混音器 API 实 行声音输入部 15a 的静音。
4. 在步骤 S301-4 中， 监视部 18g 将作为变数保存在存储部 18d 中的静音的状态 MUTE 设定为 MUTE ＝ ON， 处理部 18a 要求图像显示控制部 14b 在自己的显示器 11 画面上显 示表示静音 ON 的图标以及文字。图 46 表示了一例此时的画面。
图像显示控制部 14b 经由存储及读取控制部 19 参考存储部 1000 中保存的图标以 及文字 “处于静音之中” ， 在自己的显示器 11 的画面上重迭显示， 表示处于静音之中。
5. 在步骤 S301-5 中， 状态管理部 18c 制作如果 42 所示的表示静音 ON 的短信。该 短信为基于按照 RFC3921 可扩展消息现场协议即时通讯 (XMPP IM， extensible messaging and Presence protocol ： Instant Messaging and Presence) 的可扩展标志语言 (XML) 的 短信， 具体为状态管理部 18c 在标签 的属性 “from” 以及 “to” 中分别代入自终 端的识别标志以及对方终端的识别标志。并在标签 中代入静音状态。图 42(a)、 (b) 中分别代入 “MUTE_ON” “MUTE_OFF” 、 ， 其分别表示静音状态为 “静音 ON” “静音 OFF” 、 。此 外， 图 42(a)、 (c) 中的标签 的值均代入表示会议正在进行的 “CHAT” 。
在本实施方式中， 如上所述， 远程通信管理系统在收到远程通信终端发送的短信 后将该短信送往出席会议的对方远程通信终端。
图 43 显示了在这种情况下的一例短信， 在标签 的属性 “from” 以及 “to” 中分别代入自终端 10aa 的 IP 地址以及远程通信管理系统 50 的 IP 地址， 并在标签 的值中代入自终端的识别标志。
6. 在步骤 S301-6 中， 当状态管理部 18c 要求收发信部 11 发送 S301-5 的处理中制 作的短信后， 收发信部 11 以 XMPP 向收信终端的远程通信终端 10bb 发送该短信， 而后结束 处理。
7. 另一方面， 当输出水准不是最小值时， 则进入步骤 S301-7， 判断静音状态是否 是 MUTE ＝ ON。如果 MUTE ＝ ON， 则进入步骤 S301-8， 如果不是， 则结束处理。
8. 在步骤 S301-8 中， 监视部 18g 利用混音器 API 解除声音输入部 15a 的静音， 并 设定可以接受声音输入部 15a 的输入。
9. 在步骤 S301-9 中， 监视部 18g 将作为变数保存在存储部 18d 中的静音的状态 MUTE 设定为 MUTE ＝ OFF， 并要求图像显示控制部 14b 消去如图 46 所示的、 显示在自己的显 示器 11 画面上表示静音 ON 的图标以及文字。
10. 而后进入步骤 S301-5， 状态管理部 18c 制作如图 43(b) 所示的表示静音 OFF 的短信， 并在下一个步骤 S301-6 中要求发送该短信后， 收发信部 11 向收信终端的远程通信 终端 10bb 发送该短信， 而后结束处理。
根据以上处理， 远程通信终端 10 的麦克风 114a 即便没有静音按钮， 也能判断用户 是否将扬声器 115a 的输出水准设到最小， 而后， 实行麦克风的静音并发送静音信息。
换言之， 在本实施方式的远程通信终端 10 的处理中， 当用户将扬声器 115a 的输出 水准调整到最小时， 会议中断， 此时， 将这种情况看作为用户无意倾听对方的声音， 并希望 会议中断， 因此， 也可以说发送麦克风的静音信息是为了间接转达会议中断而发送的。
进而， 发送该静音信息还能通知对方没有发生系统故障， 具有给对方以安全感的 效果。
上述处理 3 中的声音输入输出接口 116 适用于静音的接口受到支持的场合。如果 声音输入输出接口 116 没有受到静音接口支持， 可将输入水准设为最小， 例如设输入水准 为 0。
下面利用图 44 的流程图说明该处理的的变形例。
1. 首先， 在步骤 S303-1 中， 监视部 18g 监视声音输出部 15b 的输出水准的改变活 动， 如果收到该改变活动， 则进入步骤 S303-2。
2. 而后， 在步骤 S303-2 中， 监视部 18g 取得经过声音输出部 18b 改变后的输出水 准， 并比较该输出水准是否是最小值如水准 0。 如果监视部 18g 的比较结果为该输出水准是 最小值， 则进入下一个处理， 即步骤 S303-3。相反， 如果不是最小值， 则进入 8 的处理， 即步 骤 S303-8。
3. 在步骤 S303-3 中， 输出水准为最小值， 监视部 18g 从声音输入部取得输入水准， 并将该输入水准保存到存储部 18d 中的变数 INPUT_LEVEL 中。
4. 而后， 在步骤 S303-4 中， 监视部 18g 利用混音器 API 将声音输入部 15b 的输入 水准设为最小值， 例如设为水准 0。
5. 在步骤 S303-5 中， 监视部 18g 将作为变数保存在存储部 18d 中的静音的状态 MUTE 设定为 MUTE ＝ ON， 并要求图像显示控制部 14b 在自己的显示器 11 画面上显示图 46所示的表示静音 ON 的图标以及文字。
6. 在步骤 S303-6 中， 状态管理部 18c 制作如图 43A 所示的表示静音 ON 的短信。
7. 而后， 在步骤 S303-7 中， 当状态管理部 18c 要求收发信部 11 发送 S303-6 的处 理中制作的短信后， 收发信部 11 以 XMPP 向收信终端的远程通信终端 10bb 发送该短信， 而 后结束处理。
8. 另一方面， 在步骤 S303-2 中当输出值不是最小值时， 进入步骤 S303-8， 判断静 音状态是否 MUTE ＝ ON。如果 MUTE ＝ ON， 则进入下一个步骤， 相反如果不是则结束处理。
9. 在步骤 S303-9 中， 参考处理 3 即步骤 S303-3 中保存的输入水准， 利用混音器 API 参考声音输入部 15a 的输入水准并设定输入水准， 即恢复输入水准。
10. 在步骤 S303-10 中， 监视部 18g 将作为变数保存在存储部 18d 中的静音的状态 MUTE 设定为 MUTE ＝ OFF， 处理部 18 要求图像显示控制部 14b 消去如图 46 所示的、 显示在 自己的显示器 11 画面上的图标以及文字。
11. 而后进入步骤 S303-6， 状态管理部 18c 制作如图 43B 所示的表示静音 OFF 的 短信， 并在下一个步骤 S303-7 中要求发送该短信后， 收发信部 11 向收信终端的远程通信终 端 10bb 发送该短信， 而后结束处理。 远程通信终端 10 的麦克风 114a 中如果不具备静音按钮， 而且声音输入输出接口 116 不支持静音控制， 在这种情况下， 通过上述处理， 判断用户是否将扬声器的输出水准设 为最小， 同时将声音输入水准设为最小来动作， 以此代替静音功能。
关于选择实行图 41 的处理还是选择实行图 44 的处理， 可通过启动时判断声音输 入部的声音输入输出接口是否受到静音功能支持来做适当选择。图 45 显示该选择流程。
1. 监视部 18 判断声音输入部 15a 的声音输入输出接口 116 是否受到静音功能支 持， 如果受到支持， 则进入下一个处理即步骤 S304-1。 如果没有受到支持则进入处理 3 即步 骤 S304-3。该处理以混音器 API 取得声音输入输出接口 116 的属性， 并参考静音功能支持 属性得以实现。
2. 在步骤 S304-2 中， 声音输入输出接口 116 受到静音功能支持， 此时， 将存储部 18d 中作为变数的静音功能设定为 MUTE_FUNC ＝ ON， 而后结束。
3. 在步骤 S304-3 中， 声音输入输出接口 116 不受静音功能支持， 此时， 设定 MUTE_ FUNC ＝ OFF， 而后结束。
为了在图 41 的处理和图 44 的处理中选择实行哪一格处理， 可在各个图的步骤 1 中加入 MUTE_FUNC 值的判断。当 MUTE_FUNC ＝ ON 时， 之后的处理根据图 41 所示流程进行， 而 MUTE_FUNC ＝ OFF 时， 之后的处理根据图 44 所示步骤进行。
通过上述处理， 不管声音输入部 15a 的声音输入输出接口 116 是否具有静音功能， 都可以判断使用者是否将扬声器输出水准设为最小， 而后向对方终端发送静音信息。
下面参考图 47 说明收到带有静音信息的短信的对方终端即远程通信终端 10bb 中 的处理。
1. 在步骤 306-1 中收发信部 11 收到短信。
2. 在接下来的步骤 S306-2 中， 状态管理部 18c 对收到的短信进行解析， 从标签 的值中取得静音状态。
3. 而后在步骤 306-3 中， 如果静音状态为 “MUTE_ON” ， 则处理部 18a 进入接下去的
处理， 如果静音状态不是 “MUTE_ON” ， 则进入处理 5 即步骤 S306-5。
4. 在步骤 S306-4 中， 静音状态为 “MUTE_ON” ， 处理部 18a 要求图像显示控制部 14b 在自己的显示器 11 画面上显示表示静音 ON 的图标以及文字。
图 48 显示一例画面的显示例。图像显示控制部 14b 经由存储及读取控制部 19 参 考存储部 1000 中保存的图标以及文字 ( 表示正在静音状态之中 )， 重迭显示在显示对方终 端的画面上。
5. 在步骤 S306-5 中， 静音状态不是 “MUTE_ON” ， 处理部 18a 要求图像显示控制部 14b 消去显示对方终端的画面上表示静音 ON 的图标以及文字。
通过上述处理， 收信终端收到送信终端发送的静音信息并显示该静音信息， 从而 能够确实可靠地获知对方是在实行静音状态， 而不是发生系统故障， 这样便能够安心利用 远程通信继续举行会议。