浸入式会议中视频、音频布局方法与装置.pdf

本发明实施例提供一种浸入式会议中视频、音频布局方法与装置。该方法包括：会议开始后，获取当前主说话人的媒体流数据，媒体流数据包括视频流数据和音频流数据，将当前主说话人的视频流数据放置在主视频窗口进行播放。本发明实施例提供的浸入式会议中视频、音频布局方法与装置，随着会议的进行，可以很好地跟踪视频流数据的变化并将关键的视频流数据呈现给与会者，而且只将当前主说话人的视频流数据进行播放，不会占用太多的网络带宽，还可提高用户的会议体验。

权利要求书1.  一种浸入式会议中视频布局方法，其特征在于，包括： 会议开始后，获取当前主说话人的媒体流数据，所述媒体流数据包括视 频流数据和音频流数据； 将所述当前主说话人的视频流数据放置在主视频窗口进行播放。 2.  根据权利要求1所述的方法，其特征在于，所述获取当前主说话人的 媒体流数据包括： 接收媒体控制单元MCU发送的其他与会者的视频流数据和音频流数据； 接收所述MCU发送的所述MCU根据接收到的所有与会者的音频流数据 检测出的当前主说话人的视频流标识，所述视频流标识用于标识视频流数据 所属的说话人； 根据所述当前主说话人的视频流标识，得到所述当前主说话人的视频流 数据。 3.  根据权利要求2所述的方法，其特征在于，所述MCU在检测出新的 当前主说话人时，所述方法还包括： 接收所述MCU发送的所述新的当前主说话人的视频流标识； 所述将所述当前主说话人的视频流数据放置在主视频窗口进行播放，包 括： 将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。 4.  根据权利要求3所述的方法，其特征在于，所述方法还包括： 接收所述MCU发送的历史主说话人的视频流标识，将变化前的历史主 说话人的视频流数据放置在历史主视频窗口进行播放。 5.  根据权利要求4所述的方法，其特征在于，所述历史主视频窗口为N 个，N小于等于4，当所述MCU检测出新的当前主说话人，且所述N个历 史主视频窗口被占满时，所述方法还包括： 按照时间的顺序删除最早的历史主说话人的视频流数据，将其他历史主 说话人的视频流数据依次放置在历史主视频窗口进行播放。 6.  根据权利要求1所述的方法，其特征在于，所述获取当前主说话人的 媒体流数据包括： 接收所有与会者的音频流数据； 根据接收到的所有与会者的音频流数据检测出当前主说话人； 向所述MCU发送第一请求信息，所述第一请求信息包含所述当前主说 话人的视频流标识，所述视频流标识用于标识视频流数据所属的说话人，以 使所述MCU根据所述当前主说话人的视频流标识将所述当前主说话人的视 频流数据返回； 接收所述MCU返回的所述当前主说话人的视频流数据。 7.  根据权利要求6所述的方法，其特征在于，所述根据接收到的所有与 会者的音频流数据检测出当前主说话人之前，还包括： 发送当前说话人的视频流标识给所述MCU，以使所述MCU广播视频流 信息，所述视频流信息包括所述MCU接收到的所有与会者发送的视频流标 识。 8.  根据权利要求6或7所述的方法，其特征在于，检测出新的当前主说 话人时，所述方法还包括： 向所述MCU发送第二请求信息，所述第二请求信息包含所述新的当前 主说话人的视频流标识，以使所述MCU根据所述新的当前主说话人的视频 流标识将所述新的当前主说话人的视频流数据返回； 所述接收所述MCU返回的所述当前主说话人的视频流数据，包括： 接收所述MCU返回的所述新的当前主说话人的视频流数据； 所述将所述当前主说话人的视频流数据放置在主视频窗口进行播放，包 括： 将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。 9.  根据权利要求8所述的方法，其特征在于，所述第二请求信息还包含 历史主说话人的视频流标识，以使所述MCU根据所述历史主说话人的视频 流标识将所述历史主说话人的视频流数据返回，所述方法还包括： 接收所述MCU返回的历史主说话人的视频流数据； 将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。 10.  根据权利要求9所述的方法，其特征在于，所述历史主视频窗口为 N个，N小于等于4，当检测出新的当前主说话人，且所述N个历史主视频 窗口被占满时，所述方法还包括： 向所述MCU发送切换消息，所述切换消息包含所述新的当前主说话人 的视频流标识和按照时间的顺序最早的历史主说话人的视频流标识，以使所 述MCU根据所述切换消息停止发送所述最早的历史主说话人的视频流数据， 发送所述新的当前主说话人的视频流数据。 11.  根据权利要求10所述的方法，其特征在于，所述向所述MCU发送 切换消息之后，还包括： 删除所述最早的历史主说话人的视频流数据，将其他历史主说话人的视 频流数据依次放置在历史主视频窗口进行播放。 12.  一种浸入式会议中视频布局方法，其特征在于，包括： 会议开始后，将接收到的与会者的媒体流数据转发给所有与会者，所述 媒体流数据包括视频流数据和音频流数据； 根据所述音频流数据检测出当前主说话人； 将所述当前主说话人的视频流标识发送给所有与会者，所述视频流标识 用于标识视频流数据所属的说话人，以使所有与会者根据所述当前主说话人 的视频流标识将所述当前主说话人的视频流数据放置在主视频窗口进行播 放。 13.  根据权利要求12所述的方法，其特征在于，检测出新的当前主说话 人时，所述方法还包括： 将所述新的当前主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。 14.  根据权利要求13所述的方法，其特征在于，所述方法还包括： 将变化前的历史主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。 15.  根据权利要求14所述的方法，其特征在于，所述历史主视频窗口为 N个，N小于等于4，当检测出新的当前主说话人，且所述N个历史主视频 窗口被占满时，所述方法还包括： 停止发送第一位历史主说话人的视频流标识，发送所述新的当前主说话 人的视频流标识给所有与会者，以使所有与会者将所述新的当前主说话人的 视频流数据放置在主视频窗口进行播放。 16.  根据权利要求12～15任一项所述的方法，其特征在于，若一与会者 由当前主说话人变为非主说话人时，所述方法还包括： 降低发送所述与会者的视频流数据所用的编码速率； 若一与会者由非主说话人变为主说话人时，所述方法还包括： 提高发送所述与会者的视频流数据所用的编码速率。 17.  一种浸入式会议中视频布局方法，其特征在于，包括： 接收所有与会者的视频流数据和音频流数据； 接收所有与会者发送的视频流标识，并广播视频流信息，所述视频流信 息包括所有与会者发送的视频流标识，所述视频流标识用于标识视频流数据 所属的说话人； 接收第一与会者发送的第一请求信息，所述第一请求信息是所述第一与 会者根据接收到的所有与会者的音频流数据检测出当前主说话人之后发送 的，所述第一请求信息包含所述当前主说话人的视频流标识； 根据所述当前主说话人的视频流标识将所述当前主说话人的视频流数据 返回给所述第一与会者，以使所述第一与会者将接收到的所述当前主说话人 的视频流数据放置在主视频窗口进行播放。 18.  根据权利要求17所述的方法，其特征在于，所述第一与会者检测出 新的当前主说话人时，所述方法还包括： 接收所述第一与会者发送的第二请求信息，所述第二请求信息是所述第 一与会者检测出新的当前主说话人后发送的，所述第二请求信息包含所述新 的当前主说话人的视频流标识； 根据所述新的当前主说话人的视频流标识将所述新的当前主说话人的视 频流数据返回给所述第一与会者，以使所述第一与会者将接收到的所述新的 当前主说话人的视频流数据放置在主视频窗口进行播放。 19.  根据权利要求18所述的方法，其特征在于，所述第二请求信息还包 含历史主说话人的视频流标识，所述方法还包括： 根据所述历史主说话人的视频流标识将所述历史主说话人的视频流数据 返回给所述第一与会者，以使所述第一与会者将接收到的历史主说话人的视 频流数据放置在历史主视频窗口进行播放。 20.  根据权利要求19所述的方法，其特征在于，所述历史主视频窗口为 N个，N小于等于4，当所述第一与会者检测出新的当前主说话人，且所述N 个历史主视频窗口被占满时，所述方法还包括： 接收所述第一与会者发送的切换消息，所述切换消息是所述第一与会者 在所述N个历史主视频窗口被占满，且所述第一与会者检测出新的当前主说 话人时发送的，所述切换消息包含所述新的当前主说话人的视频流标识和按 照时间的顺序最早的历史主说话人的视频流标识； 根据所述切换消息停止发送所述最早的历史主说话人的视频流数据，发 送所述新的当前主说话人的视频流数据，以使所述客户端将接收到的所述新 的当前主说话人的视频流数据放置在主视频窗口进行播放。 21.  根据权利要求17～20任一项所述的方法，其特征在于，若一与会者 由当前主说话人变为非主说话人时，所述方法还包括： 降低发送所述与会者的视频流数据所用的编码速率； 若一与会者由非主说话人变为主说话人时，所述方法还包括： 提高发送所述与会者的视频流数据所用的编码速率。 22.  一种浸入式会议中音频布局方法，其特征在于，包括： 会议开始后，将所有与会者的声音位置分别设置在初始位置； 当第一与会者的视频流数据在主视频窗口或历史主视频窗口进行播放 时，重新设置所述第一与会者的声音位置。 23.  根据权利要求22所述的方法，其特征在于，还包括： 当所述第一与会者的视频流数据从主视频窗口或历史主视频窗口删除 时，设置所述第一与会者的声音位置为所述初始位置。 24.  一种浸入式会议中视频布局装置，其特征在于，包括： 获取模块，用于在会议开始后，获取当前主说话人的媒体流数据，所述 媒体流数据包括视频流数据和音频流数据； 处理模块，用于将所述当前主说话人的视频流数据放置在主视频窗口进 行播放。 25.  根据权利要求24所述的装置，其特征在于，所述获取模块包括： 接收单元，用于接收媒体控制单元MCU发送的其他与会者的视频流数 据和音频流数据； 所述接收单元还用于接收所述MCU发送的所述MCU根据接收到的所有 与会者的音频流数据检测出的当前主说话人的视频流标识，所述视频流标识 用于标识视频流数据所属的说话人； 获取单元，用于根据所述当前主说话人的视频流标识，得到所述当前主 说话人的视频流数据。 26.  根据权利要求25所述的装置，其特征在于，所述MCU在检测出新 的当前主说话人时，所述接收单元还用于： 接收所述MCU发送的所述新的当前主说话人的视频流标识； 所述处理模块用于将所述新的当前主说话人的视频流数据放置在主视频 窗口进行播放。 27.  根据权利要求26所述的装置，其特征在于，所述接收单元还用于： 接收所述MCU发送的历史主说话人的视频流标识； 所述处理模块还用于将变化前的历史主说话人的视频流数据放置在历史 主视频窗口进行播放。 28.  根据权利要求27所述的装置，其特征在于，所述历史主视频窗口为 N个，当所述MCU检测出新的当前主说话人，且所述N个历史主视频窗口 被占满时，所述处理模块还用于： 按照时间的顺序删除最早的历史主说话人的视频流数据，将其他历史主 说话人的视频流数据依次放置在历史主视频窗口进行播放。 29.  根据权利要求24所述的装置，其特征在于，所述获取模块包括： 检测单元，用于接收所有与会者的音频流数据，根据接收到所有与会者 的音频流数据检测出当前主说话人； 发送单元，用于向所述MCU发送第一请求信息，所述第一请求信息包 含所述当前主说话人的视频流标识，所述视频流标识用于标识视频流数据所 属的说话人，以使所述MCU根据所述当前主说话人的视频流标识将所述当 前主说话人的视频流数据返回； 接收单元，用于接收所述MCU返回的所述当前主说话人的视频流数据。 30.  根据权利要求29所述的装置，其特征在于，所述发送单元还用于： 在所述检测单元根据接收到的所有与会者的音频流数据检测出当前主说 话人之前，发送当前说话人的视频流标识给所述MCU，以使所述MCU广播 视频流信息，所述视频流信息包括所述MCU接收到的所有与会者发送的视 频流标识。 31.  根据权利要求29或30所述的装置，其特征在于，所述检测单元检 测出新的当前主说话人时，所述发送单元还用于： 向所述MCU发送第二请求信息，所述第二请求信息包含所述新的当前 主说话人的视频流标识，以使所述MCU根据所述新的当前主说话人的视频 流标识将所述新的当前主说话人的视频流数据返回； 所述接收单元用于接收所述MCU返回的所述新的当前主说话人的视频 流数据； 所述处理模块用于： 将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。 32.  根据权利要求31所述的装置，其特征在于，所述第二请求信息还包 含历史主说话人的视频流标识，以使所述MCU根据所述历史主说话人的视 频流标识将所述历史主说话人的视频流数据返回，所述接收单元还用于： 接收所述MCU返回的历史主说话人的视频流数据； 所述处理模块还用于： 将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。 33.  根据权利要求32所述的装置，其特征在于，所述历史主视频窗口为 N个，当所述检测单元检测出新的当前主说话人，且所述N个历史主视频窗 口被占满时，所述发送单元还用于： 向所述MCU发送切换消息，所述切换消息包含所述新的当前主说话人 的视频流标识和按照时间的顺序最早的历史主说话人的视频流标识，以使所 述MCU根据所述切换消息停止发送所述最早的历史主说话人的视频流数据， 发送所述新的当前主说话人的视频流数据。 34.  根据权利要求33所述的装置，其特征在于，所述处理模块还用于： 在所述发送单元向所述MCU发送切换消息之后，删除所述最早的历史 主说话人的视频流数据，将其他历史主说话人的视频流数据依次放置在历史 主视频窗口进行播放。 35.  一种浸入式会议中视频布局装置，其特征在于，包括： 发送模块，用于在会议开始后，将接收到的与会者的媒体流数据转发给 所有与会者，所述媒体流数据包括视频流数据和音频流数据； 检测模块，用于根据所述音频流数据检测出当前主说话人； 所述发送模块还用将所述当前主说话人的视频流标识发送给所有与会 者，所述视频流标识用于标识视频流数据所属的说话人，以使所有与会者根 据所述当前主说话人的视频流标识将所述当前主说话人的视频流数据放置在 主视频窗口进行播放。 36.  根据权利要求35所述的装置，其特征在于，所述检测模块检测出新 的当前主说话人时，所述发送模块还用于： 将所述新的当前主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。 37.  根据权利要求36所述的装置，其特征在于，所述发送模块还用于： 将变化前的历史主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。 38.  根据权利要求37所述的装置，其特征在于，所述历史主视频窗口为 N个，N小于等于4，当所述检测模块检测出新的当前主说话人，且所述N 个历史主视频窗口被占满时，所述发送模块还用于： 停止发送按照时间的顺序最早的历史主说话人的视频流标识，发送所述 新的当前主说话人的视频流标识给所有与会者，以使所有与会者将所述新的 当前主说话人的视频流数据放置在主视频窗口进行播放。 39.  根据权利要求35～38任一项所述的装置，其特征在于，所述装置还 包括： 处理模块，用于在一与会者由当前主说话人变为非主说话人时，降低发 送所述与会者的视频流数据所用的编码速率； 在一与会者由非主说话人变为主说话人时，提高发送所述与会者的视频 流数据所用的编码速率。 40.  一种浸入式会议中视频布局装置，其特征在于，包括： 接收模块，用于接收所有与会者的视频流数据和音频流数据； 所述接收模块还用于接收所有与会者发送的视频流标识，并广播视频流 信息，所述视频流信息包括所有与会者发送的视频流标识； 所述接收模块还用于接收第一与会者发送的第一请求信息，所述第一请 求信息是所述第一与会者根据接收到的所有与会者的音频流数据检测出当前 主说话人之后发送的，所述第一请求信息包含所述当前主说话人的视频流标 识； 发送模块，用于根据所述当前主说话人的视频流标识将所述当前主说话 人的视频流数据返回给所述第一与会者，以使所述第一与会者将接收到的所 述当前主说话人的视频流数据放置在主视频窗口进行播放。 41.  根据权利要求40所述的装置，其特征在于，所述第一与会者检测出 新的当前主说话人时，所述接收模块还用于： 接收所述第一与会者发送的第二请求信息，所述第二请求信息是所述第 一与会者检测出新的当前主说话人后发送的，所述第二请求信息包含所述新 的当前主说话人的视频流标识； 所述发送模块还用于根据所述新的当前主说话人的视频流标识将所述新 的当前主说话人的视频流数据返回给所述第一与会者，以使所述第一与会者 将接收到的所述新的当前主说话人的视频流数据放置在主视频窗口进行播 放。 42.  根据权利要求41所述的装置，其特征在于，所述第二请求信息还包 含历史主说话人的视频流标识，所述发送模块还用于根据所述历史主说话人 的视频流标识将所述历史主说话人的视频流数据返回给所述第一与会者，以 使所述第一与会者将接收到的历史主说话人的视频流数据放置在历史主视频 窗口进行播放。 43.  根据权利要求42所述的装置，其特征在于，所述历史主视频窗口为 N个，N小于等于4，当所述第一与会者检测出新的当前主说话人，且所述N 个历史主视频窗口被占满时，所述接收模块还用于： 接收所述第一与会者发送的切换消息，所述切换消息包含所述新的当前 主说话人的视频流标识和按照时间的顺序最早的历史主说话人的视频流标 识； 所述发送模块还用于根据所述切换消息停止发送所述最早的历史主说话 人的视频流数据，发送所述新的当前主说话人的视频流数据，以使所述客户 端将接收到的所述新的当前主说话人的视频流数据放置在主视频窗口进行播 放。 44.  根据权利要求40～43任一项所述的装置，其特征在于，所述装置还 包括： 处理模块，用于在一与会者由当前主说话人变为非主说话人时，降低发 送所述与会者的视频流数据所用的编码速率； 在一与会者由非主说话人变为主说话人时，提高发送所述与会者的视频 流数据所用的编码速率。 45.  一种浸入式会议中音频布局装置，其特征在于，包括： 设置模块，用于在会议开始后，将所有与会者的声音位置分别设置在初 始位置； 所述设置模块还用于当第一与会者的视频流数据在主视频窗口或历史主 视频窗口进行播放时，重新设置所述第一与会者的声音位置。 46.  根据权利要求45所述的装置，其特征在于，所述设置模块还用于： 当所述第一与会者的视频流数据从主视频窗口或历史主视频窗口删除 时，设置所述第一与会者的声音位置为所述初始位置。

说明书浸入式会议中视频、音频布局方法与装置
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种浸入式会议中视频、音 频布局方法与装置。
背景技术
随着通信科技的发展，视频会议系统越来越多的应用在人们的工作和 生活中，而会议的体验也越来越多的被人们所重视。业界出现了很多可以 用来增强会议体验的技术方案，如立体声、3D视频、增强现实（AR）等， 与此同时，关于浸入式会议体验（Immersive conference experience）的研 究也越来越多。在用户参加视频会议的过程中，会议系统控制其它与会者 的视频流播放的策略和布局方式是影响用户参加视频会议体验的重要因 素之一。
现有技术中的一种方案是：当本地与会者加入到一个正在召开的视频 会议中以后，会议系统会默认接收所有其它与会者的视频流并在对应的视 频窗口中播放，即用户可以看到所有其它与会者的视频图像。该方案的缺 点是：当与会者人数较多时（>=9），在一个固定尺寸的显示器上看这么 多的与会者，会使本地与会者在会议中不能很简单的找到重点，而且同时 面对多个时刻在变化的视频图像时容易造成本地与会者疲惫不堪的感觉， 降低了与会者的会议体验。而且当收到的视频流增多时，为了保持视频图 像播放的质量，对网络传输带宽也会有很高的要求。
现有技术中的另一种方案是：本地与会者在加入视频会议以后，只能 接收到特定与会者例如会议主席、会议主讲人或者会议召集人的视频流并 在对应的视频窗口中播放，即用户只会看到固定的几个人的视频图像。该 方案的缺点是：随着会议的进行，会议的关键视频流可能会发生变化，例 如当会议中出现非固定人讲话时，与会者不能够及时的看到当前主讲人的 视频，这样与会者就不能很好的跟踪会议的最新进展，降低了与会者的会 议体验。
发明内容
本发明实施例提供一种浸入式会议中视频、音频布局方法与装置，可实 现随着会议的进行将关键的视频流数据呈现给与会者，提高用户的会议体验。
第一方面，本发明实施例提供一种浸入式会议中视频布局方法，包括：
会议开始后，获取当前主说话人的媒体流数据，所述媒体流数据包括视 频流数据和音频流数据；
将所述当前主说话人的视频流数据放置在主视频窗口进行播放。
在第一方面的第一种可能的实施方式中，所述获取当前主说话人的媒体 流数据包括：
接收媒体控制单元MCU发送的其他与会者的视频流数据和音频流数据；
接收所述MCU发送的所述MCU根据接收到的所有与会者的音频流数据 检测出的当前主说话人的视频流标识，所述视频流标识用于标识视频流数据 所属的说话人；
根据所述当前主说话人的视频流标识，得到所述当前主说话人的视频流 数据。
结合第一方面的第一种可能的实施方式中，在第一方面的第二种可能的 实施方式中，所述MCU在检测出新的当前主说话人时，所述方法还包括：
接收所述MCU发送的所述新的当前主说话人的视频流标识；
所述将所述当前主说话人的视频流数据放置在主视频窗口进行播放，包 括：
将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第一方面的第二种可能的实施方式，在第一方面的第三种可能的实 施方式中，所述方法还包括：
接收所述MCU发送的历史主说话人的视频流标识，将变化前的历史主 说话人的视频流数据放置在历史主视频窗口进行播放。
结合第一方面的第三种可能的实施方式，在第一方面的第四种可能的实 施方式中，所述历史主视频窗口为N个，N小于等于4，当所述MCU检测 出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述方法还包 括：
按照时间的顺序删除最早的历史主说话人的视频流数据，将其他历史主 说话人的视频流数据依次放置在历史主视频窗口进行播放。
结合第一方面，在第一方面的第五种可能的实施方式中，所述获取当前 主说话人的媒体流数据包括：
接收所有与会者的音频流数据；
根据接收到的所有与会者的音频流数据检测出当前主说话人；
向所述MCU发送第一请求信息，所述第一请求信息包含所述当前主说 话人的视频流标识，所述视频流标识用于标识视频流数据所属的说话人，以 使所述MCU根据所述当前主说话人的视频流标识将所述当前主说话人的视 频流数据返回；
接收所述MCU返回的所述当前主说话人的视频流数据。
结合第一方面的第五种可能的实施方式，在第一方面的第六种可能的实 施方式中，所述根据接收到的所有与会者的音频流数据检测出当前主说话人 之前，还包括：
发送当前说话人的视频流标识给所述MCU，以使所述MCU广播视频流 信息，所述视频流信息包括所述MCU接收到的所有与会者发送的视频流标 识。
结合第一方面的第五种可能的实施方式或第一方面的第六种可能的实施 方式，在第一方面的第七种可能的实施方式中，检测出新的当前主说话人时， 所述方法还包括：
向所述MCU发送第二请求信息，所述第二请求信息包含所述新的当前 主说话人的视频流标识，以使所述MCU根据所述新的当前主说话人的视频 流标识将所述新的当前主说话人的视频流数据返回；
所述接收所述MCU返回的所述当前主说话人的视频流数据，包括：
接收所述MCU返回的所述新的当前主说话人的视频流数据；
所述将所述当前主说话人的视频流数据放置在主视频窗口进行播放，包 括：
将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第一方面的第七种可能的实施方式，在第一方面的第八种可能的实 施方式中，所述第二请求信息还包含历史主说话人的视频流标识，以使所述 MCU根据所述历史主说话人的视频流标识将所述历史主说话人的视频流数 据返回，所述方法还包括：
接收所述MCU返回的历史主说话人的视频流数据；
将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。
结合第一方面的第八种可能的实施方式，在第一方面的第九种可能的实 施方式中，所述历史主视频窗口为N个，N小于等于4，当检测出新的当前 主说话人，且所述N个历史主视频窗口被占满时，所述方法还包括：
向所述MCU发送切换消息，所述切换消息包含所述新的当前主说话人 的视频流标识和按照时间的顺序最早的历史主说话人的视频流标识，以使所 述MCU根据所述切换消息停止发送所述最早的历史主说话人的视频流数据， 发送所述新的当前主说话人的视频流数据。
结合第一方面的第九种可能的实施方式，在第一方面的第十种可能的实 施方式中，所述向所述MCU发送切换消息之后，还包括：
删除所述最早的历史主说话人的视频流数据，将其他历史主说话人的视 频流数据依次放置在历史主视频窗口进行播放。
第二方面，本发明实施例提供一种浸入式会议中视频布局方法，包括：
会议开始后，将接收到的与会者的媒体流数据转发给所有与会者，所述 媒体流数据包括视频流数据和音频流数据；
根据所述音频流数据检测出当前主说话人；
将所述当前主说话人的视频流标识发送给所有与会者，所述视频流标识 用于标识视频流数据所属的说话人，以使所有与会者根据所述当前主说话人 的视频流标识将所述当前主说话人的视频流数据放置在主视频窗口进行播 放。
在第二方面的第一种可能的实施方式中，检测出新的当前主说话人时， 所述方法还包括：
将所述新的当前主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实 施方式中，所述方法还包括：
将变化前的历史主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。
结合第二方面的第二种可能的实施方式，在第二方面的第三种可能的实 施方式中，所述历史主视频窗口为N个，N小于等于4，当检测出新的当前 主说话人，且所述N个历史主视频窗口被占满时，所述方法还包括：
停止发送第一位历史主说话人的视频流标识，发送所述新的当前主说话 人的视频流标识给所有与会者，以使所有与会者将所述新的当前主说话人的 视频流数据放置在主视频窗口进行播放。
结合第二方面至第二方面的第三种可能的实施方式中任一项所述的方 法，在第二方面的第四种可能的实施方式中，若一与会者由当前主说话人变 为非主说话人时，所述方法还包括：
降低发送所述与会者的视频流数据所用的编码速率；
若一与会者由非主说话人变为主说话人时，所述方法还包括：
提高发送所述与会者的视频流数据所用的编码速率。
第三方面，本实施例提供一种浸入式会议中视频布局方法，包括：
接收所有与会者的视频流数据和音频流数据；
接收所有与会者发送的视频流标识，并广播视频流信息，所述视频流信 息包括所有与会者发送的视频流标识，所述视频流标识用于标识视频流数据 所属的说话人；
接收第一与会者发送的第一请求信息，所述第一请求信息是所述第一与 会者根据接收到的所有与会者的音频流数据检测出当前主说话人之后发送 的，所述第一请求信息包含所述当前主说话人的视频流标识；
根据所述当前主说话人的视频流标识将所述当前主说话人的视频流数据 返回给所述第一与会者，以使所述第一与会者将接收到的所述当前主说话人 的视频流数据放置在主视频窗口进行播放。
在第三方面的第一种可能的实施方式中，所述第一与会者检测出新的当 前主说话人时，所述方法还包括：
接收所述第一与会者发送的第二请求信息，所述第二请求信息是所述第 一与会者检测出新的当前主说话人后发送的，所述第二请求信息包含所述新 的当前主说话人的视频流标识；
根据所述新的当前主说话人的视频流标识将所述新的当前主说话人的视 频流数据返回给所述第一与会者，以使所述第一与会者将接收到的所述新的 当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第三方面的第一种可能的实施方式，在第三方面的第二种可能的实 施方式中，所述第二请求信息还包含历史主说话人的视频流标识，所述方法 还包括：
根据所述历史主说话人的视频流标识将所述历史主说话人的视频流数据 返回给所述第一与会者，以使所述第一与会者将接收到的历史主说话人的视 频流数据放置在历史主视频窗口进行播放。
结合第三方面的第二种可能的实施方式，在第三方面的第三种可能的实 施方式中，所述历史主视频窗口为N个，N小于等于4，当所述第一与会者 检测出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述方法 还包括：
接收所述第一与会者发送的切换消息，所述切换消息是所述第一与会者 在所述N个历史主视频窗口被占满，且所述第一与会者检测出新的当前主说 话人时发送的，所述切换消息包含所述新的当前主说话人的视频流标识和按 照时间的顺序最早的历史主说话人的视频流标识；
根据所述切换消息停止发送所述最早的历史主说话人的视频流数据，发 送所述新的当前主说话人的视频流数据，以使所述客户端将接收到的所述新 的当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第三方面至第三方面的第三种可能的实施方式中任一项所述的方 法，在第三方面的第四种可能的实施方式中，若一与会者由当前主说话人变 为非主说话人时，所述方法还包括：
降低发送所述与会者的视频流数据所用的编码速率；
若一与会者由非主说话人变为主说话人时，所述方法还包括：
提高发送所述与会者的视频流数据所用的编码速率。
第四方面，本实施例提供一种浸入式会议中音频布局方法，包括：
会议开始后，将所有与会者的声音位置分别设置在初始位置；
当第一与会者的视频流数据在主视频窗口或历史主视频窗口进行播放 时，重新设置所述第一与会者的声音位置。
在第四方面的第一种可能的实施方式中，还包括：
当所述第一与会者的视频流数据从主视频窗口或历史主视频窗口删除 时，设置所述第一与会者的声音位置为所述初始位置。
第五方面，本实施例提供一种浸入式会议中视频布局装置，包括：
获取模块，用于在会议开始后，获取当前主说话人的媒体流数据，所述 媒体流数据包括视频流数据和音频流数据；
处理模块，用于将所述当前主说话人的视频流数据放置在主视频窗口进 行播放。
在第五方面的第一种可能的实施方式中，所述获取模块包括：
接收单元，用于接收媒体控制单元MCU发送的其他与会者的视频流数 据和音频流数据；
所述接收单元还用于接收所述MCU发送的所述MCU根据接收到的所有 与会者的音频流数据检测出的当前主说话人的视频流标识，所述视频流标识 用于标识视频流数据所属的说话人；
获取单元，用于根据所述当前主说话人的视频流标识，得到所述当前主 说话人的视频流数据。
结合第五方面的第一种可能的实施方式，在第五方面的第二种可能的实 施方式中，所述MCU在检测出新的当前主说话人时，所述接收单元还用于：
接收所述MCU发送的所述新的当前主说话人的视频流标识；
所述处理模块用于将所述新的当前主说话人的视频流数据放置在主视频 窗口进行播放。
结合第五方面的第二种可能的实施方式，在第五方面的第三种可能的实 施方式中，所述接收单元还用于：
接收所述MCU发送的历史主说话人的视频流标识；
所述处理模块还用于将变化前的历史主说话人的视频流数据放置在历史 主视频窗口进行播放。
结合第五方面的第三种可能的实施方式，在第五方面的第四种可能的实 施方式中，所述历史主视频窗口为N个，当所述MCU检测出新的当前主说 话人，且所述N个历史主视频窗口被占满时，所述处理模块还用于：
按照时间的顺序删除最早的历史主说话人的视频流数据，将其他历史主 说话人的视频流数据依次放置在历史主视频窗口进行播放。
结合第五方面，在第一方面的第五种可能的实施方式中，所述获取模块 包括：
检测单元，用于接收所有与会者的音频流数据，根据接收到所有与会者 的音频流数据检测出当前主说话人；
发送单元，用于向所述MCU发送第一请求信息，所述第一请求信息包 含所述当前主说话人的视频流标识，所述视频流标识用于标识视频流数据所 属的说话人，以使所述MCU根据所述当前主说话人的视频流标识将所述当 前主说话人的视频流数据返回；
接收单元，用于接收所述MCU返回的所述当前主说话人的视频流数据。
结合第五方面的第五种可能的实施方式，在第一方面的第六种可能的实 施方式中，所述发送单元还用于：
在所述检测单元根据接收到的所有与会者的音频流数据检测出当前主说 话人之前，发送当前说话人的视频流标识给所述MCU，以使所述MCU广播 视频流信息，所述视频流信息包括所述MCU接收到的所有与会者发送的视 频流标识。
结合第五方面的第五种可能的实施方式或第一方面的第六种可能的实施 方式，在第一方面的第七种可能的实施方式中，所述检测单元检测出新的当 前主说话人时，所述发送单元还用于：
向所述MCU发送第二请求信息，所述第二请求信息包含所述新的当前 主说话人的视频流标识，以使所述MCU根据所述新的当前主说话人的视频 流标识将所述新的当前主说话人的视频流数据返回；
所述接收单元用于接收所述MCU返回的所述新的当前主说话人的视频 流数据；
所述处理模块用于：
将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第五方面的第七种可能的实施方式，在第一方面的第八种可能的实 施方式中，所述第二请求信息还包含历史主说话人的视频流标识，以使所述 MCU根据所述历史主说话人的视频流标识将所述历史主说话人的视频流数 据返回，所述接收单元还用于：
接收所述MCU返回的历史主说话人的视频流数据；
所述处理模块还用于：
将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。
结合第五方面的第八种可能的实施方式，在第一方面的第九种可能的实 施方式中，所述历史主视频窗口为N个，当所述检测单元检测出新的当前主 说话人，且所述N个历史主视频窗口被占满时，所述发送单元还用于：
向所述MCU发送切换消息，所述切换消息包含所述新的当前主说话人 的视频流标识和按照时间的顺序最早的历史主说话人的视频流标识，以使所 述MCU根据所述切换消息停止发送所述最早的历史主说话人的视频流数据， 发送所述新的当前主说话人的视频流数据。
结合第五方面的第九种可能的实施方式，在第一方面的第十种可能的实 施方式中，所述处理模块还用于：
在所述发送单元向所述MCU发送切换消息之后，删除所述最早的历史 主说话人的视频流数据，将其他历史主说话人的视频流数据依次放置在历史 主视频窗口进行播放。
第六方面，本发明实施例提供一种浸入式会议中视频布局装置，包括：
发送模块，用于在会议开始后，将接收到的与会者的媒体流数据转发给 所有与会者，所述媒体流数据包括视频流数据和音频流数据；
检测模块，用于根据所述音频流数据检测出当前主说话人；
所述发送模块还用将所述当前主说话人的视频流标识发送给所有与会 者，所述视频流标识用于标识视频流数据所属的说话人，以使所有与会者根 据所述当前主说话人的视频流标识将所述当前主说话人的视频流数据放置在 主视频窗口进行播放。
在第六方面的第一种可能的实施方式中，所述检测模块检测出新的当前 主说话人时，所述发送模块还用于：
将所述新的当前主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述新的当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第六方面的第一种可能的实施方式，在第六方面的第二种可能的实 施方式中，所述发送模块还用于：
将变化前的历史主说话人的视频流标识发送给所有与会者，以使所有与 会者将所述历史主说话人的视频流数据放置在历史主视频窗口进行播放。
结合第六方面的第二种可能的实施方式，在第六方面的第三种可能的实 施方式中，所述历史主视频窗口为N个，N小于等于4，当所述检测模块检 测出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述发送模 块还用于：
停止发送按照时间的顺序最早的历史主说话人的视频流标识，发送所述 新的当前主说话人的视频流标识给所有与会者，以使所有与会者将所述新的 当前主说话人的视频流数据放置在主视频窗口进行播放。
结合第六方面至第六方面的第三种可能的实施方式中任一项所述的方 法，所述装置还包括：
处理模块，用于在一与会者由当前主说话人变为非主说话人时，降低发 送所述与会者的视频流数据所用的编码速率；
在一与会者由非主说话人变为主说话人时，提高发送所述与会者的视频 流数据所用的编码速率。
第七方面，本发明实施例提供一种浸入式会议中视频布局装置，包括：
接收模块，用于接收所有与会者的视频流数据和音频流数据；
所述接收模块还用于接收所有与会者发送的视频流标识，并广播视频流 信息，所述视频流信息包括所有与会者发送的视频流标识；
所述接收模块还用于接收第一与会者发送的第一请求信息，所述第一请 求信息是所述第一与会者根据接收到的所有与会者的音频流数据检测出当前 主说话人之后发送的，所述第一请求信息包含所述当前主说话人的视频流标 识；
发送模块，用于根据所述当前主说话人的视频流标识将所述当前主说话 人的视频流数据返回给所述第一与会者，以使所述第一与会者将接收到的所 述当前主说话人的视频流数据放置在主视频窗口进行播放。
在第七方面的第一种可能的实施方式中，所述第一与会者检测出新的当 前主说话人时，所述接收模块还用于：
接收所述第一与会者发送的第二请求信息，所述第二请求信息是所述第 一与会者检测出新的当前主说话人后发送的，所述第二请求信息包含所述新 的当前主说话人的视频流标识；
所述发送模块还用于根据所述新的当前主说话人的视频流标识将所述新 的当前主说话人的视频流数据返回给所述第一与会者，以使所述第一与会者 将接收到的所述新的当前主说话人的视频流数据放置在主视频窗口进行播 放。
结合第七方面的第一种可能的实施方式，在第七方面的第二种可能的实 施方式中，所述第二请求信息还包含历史主说话人的视频流标识，所述发送 模块还用于根据所述历史主说话人的视频流标识将所述历史主说话人的视频 流数据返回给所述第一与会者，以使所述第一与会者将接收到的历史主说话 人的视频流数据放置在历史主视频窗口进行播放。
结合第七方面的第二种可能的实施方式，在第七方面的第三种可能的实 施方式中，所述历史主视频窗口为N个，N小于等于4，当所述第一与会者 检测出新的当前主说话人，且所述N个历史主视频窗口被占满时，所述接收 模块还用于：
接收所述第一与会者发送的切换消息，所述切换消息包含所述新的当前 主说话人的视频流标识和按照时间的顺序最早的历史主说话人的视频流标 识；
所述发送模块还用于根据所述切换消息停止发送所述最早的历史主说话 人的视频流数据，发送所述新的当前主说话人的视频流数据，以使所述客户 端将接收到的所述新的当前主说话人的视频流数据放置在主视频窗口进行播 放。
结合第七方面至第七方面的第三种可能的实施方式中任一所述的装置， 在第七方面的第四种可能的实施方式中，所述装置还包括：
处理模块，用于在一与会者由当前主说话人变为非主说话人时，降低发 送所述与会者的视频流数据所用的编码速率；
在一与会者由非主说话人变为主说话人时，提高发送所述与会者的视频 流数据所用的编码速率。
第八方面，本发明实施例提供一种浸入式会议中音频布局装置，包括：
设置模块，用于在会议开始后，将所有与会者的声音位置分别设置在初 始位置；
所述设置模块还用于当第一与会者的视频流数据在主视频窗口或历史主 视频窗口进行播放时，重新设置所述第一与会者的声音位置。
在第八方面的第一种可能的实施方式中，所述设置模块还用于：
当所述第一与会者的视频流数据从主视频窗口或历史主视频窗口删除 时，设置所述第一与会者的声音位置为所述初始位置。
本实施例提供的浸入式会议中视频、音频布局方法与装置，通过与会者 客户端获取当前主说话人的媒体流数据后，将当前主说话人的视频流数据放 置在主视频窗口进行播放。随着会议的进行，可以很好地跟踪视频流数据的 变化并将关键的视频流数据呈现给与会者，而且只将当前主说话人的视频流 数据进行播放，不会占用太多的网络带宽，还可提高用户的会议体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明浸入式会议中视频布局方法实施例一的流程图；
图2为本发明浸入式会议中视频布局方法实施例二的流程图；
图3为本发明浸入式会议中视频布局方法实施例三的流程图；
图4为本发明浸入式会议中视频布局方法实施例四中会议界面布局示意 图；
图5为本发明浸入式会议中视频布局方法实施例五中会议界面布局示意 图；
图6为本发明浸入式会议中音频布局方法实施例一的流程图；
图7为本发明浸入式会议中音频布局方法实施例一中声音方位示意图；
图8为本发明浸入式会议中视频布局装置实施例一的结构示意图；
图9为本发明浸入式会议中视频布局装置实施例二的结构示意图；
图10为本发明浸入式会议中视频布局装置实施例三的结构示意图；
图11为本发明浸入式会议中视频布局装置实施例四的结构示意图；
图12为本发明浸入式会议中视频布局装置实施例五的结构示意图；
图13为本发明浸入式会议中视频布局装置实施例六的结构示意图；
图14为本发明浸入式会议中视频布局装置实施例七的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的浸入式会议中视频布局方法，可以很好地跟踪视频 流数据的变化并将关键的视频流数据呈现给与会者，提高用户的会议体验。 不仅可以用于传统的PC，还支持手机、平板电脑等电子设备。
图1为本发明浸入式会议中视频布局方法实施例一的流程图，本实施例 以各个与会者的客户端为执行主体为例进行说明，如图1所示，本实施例的 方法可以包括：
S101、会议开始后，获取当前主说话人的媒体流数据，媒体流数据包括 视频流数据和音频流数据。
S102、将当前主说话人的视频流数据放置在主视频窗口进行播放。
其中，在S101中，针对检测当前主说话人的执行主体的不同，本发明实 施例有两种可实施的方式，做为一种可实施的方式，由媒体控制单元（Media  Control Unit，以下简称：MCU）来检测当前主说话人时，此时S101具体包 括：
S101a、接收MCU发送的其他与会者的视频流数据和音频流数据。
具体地，由MCU接收所有与会者的视频流数据和音频流数据并转发， 例如对于某一与会者，MCU将接收到的所有其它与会者的视频流数据和音频 流数据都转发给该与会者，而且这一过程随着会议的进行是不间断的。
S101b、接收MCU发送的MCU根据接收到的所有与会者的音频流数据 检测出的当前主说话人的视频流标识，视频流标识用于标识视频流数据所属 的说话人。
具体地，当MCU接收到的所有与会者的音频流数据后，运行说话人检 测算法模块，检测出当前主说话人后，向每一与会者客户端发送该当前主说 话人的视频流标识，该视频流标识为指示特定与会人的视频流的标识符，可 以包括但不限于与会人名字或与会人音频流对应的同步源标识符（SSRC）等。
S101c、根据当前主说话人的视频流标识，得到当前主说话人的视频流数 据。
客户端接收到MCU发送的当前主说话人的视频流标识后，即可知道该 将哪位与会者的视频流数据放置在主视频窗口进行播放。
当MCU检测出新的当前主说话人时，此时本实施例的方法还包括：
S103a、接收MCU在发送的新的当前主说话人的视频流标识。
MCU检测出新的当前主说话人时，前一当前主说话人久变为历史主说话 人。MCU将新的当前主说话人的视频流标识发送给每一与会者的客户端。
S104a、将新的当前主说话人的视频流数据放置在主视频窗口进行播放。
随着会议的进行，当前主说话人会发生变化，若还需看到历史说话人的 视频流数据，本实施例采用设置历史主视频窗口的方法来满足这一要求，历 史主视频窗口可以为多个，此处历史主视频窗口的个数可以依照需求设定。
进一步地，本实施例的方法还包括：
接收MCU发送的历史主说话人的视频流标识。
将变化前的历史主说话人的视频流数据放置在历史主视频窗口进行播 放。
每一与会者的客户端接收到新的当前主说话人的视频流标识和历史主说 话人的视频流标识之后，就将新的当前主说话人的视频流数据放置在主视频 窗口进行播放，并将变化前的历史主说话人的视频流数据放置在历史主视频 窗口进行播放。
进一步地，历史主视频窗口为N个，N小于等于4，当MCU检测出新 的当前主说话人，且N个历史主视频窗口被占满时，本实施例的方法还包括：
S105a、按照时间的顺序删除最早的历史主说话人的视频流数据，将其他 历史主说话人的视频流数据依次放置在历史主视频窗口进行播放。
做为另一种可实施的方式，由与会者客户端来检测当前主说话人时，此 时S101具体包括：
S101d、接收所有与会者的音频流数据，根据接收到的所有与会者的音频 流数据检测出当前主说话人。
此时客户端会接收所有与会者的音频流数据，所有与会者的视频流数据 还是由MCU接收。客户端根据所有与会者的音频流数据检测出当前主说话 人之前，还包括：
发送当前说话人的视频流标识给MCU，以使MCU广播视频流信息，视 频流信息包括MCU接收到的所有与会者发送的视频流标识。
客户端根据所有与会者的音频流数据检测出当前主说话人之后，就向 MCU发送第一请求信息。
S101e、向MCU发送第一请求信息，第一请求信息包含当前主说话人的 视频流标识，视频流标识用于标识视频流数据所属的说话人，以使MCU根 据当前主说话人的视频流标识将当前主说话人的视频流数据返回。
具体地，MCU接收到包含当前主说话人的视频流标识的第一请求信息 后，将当前主说话人的视频流数据发送给该与会者的客户端。
S101f、接收MCU返回的当前主说话人的视频流数据。
该与会者的客户端接收到当前主说话人的视频流数据后就将当前主说话 人的视频流数据放置在主视频窗口进行播放。
同样类似地，随着会议的进行，当前主说话人会发生变化，当检测出新 的当前主说话人时，此时本实施例的方法还包括：
S103b、向MCU发送第二请求信息，第二请求信息包含新的当前主说话 人的视频流标识，以使MCU根据新的当前主说话人的视频流标识将新的当 前主说话人的视频流数据返回。
S101f为：接收MCU返回的新的当前主说话人的视频流数据。
S102具体为：将接收到的新的当前主说话人的视频流数据放置在主视频 窗口进行播放。
同样类似地，随着会议的进行，当前主说话人会发生变化，若还需看到 历史说话人的视频流数据，本实施例采用设置历史主视频窗口的方法来满足 这一要求，历史主视频窗口可以为多个，此处历史主视频窗口的个数可以依 照需求设定。
此时第二请求信息还包含历史主说话人的视频流标识，以使MCU根据 历史主说话人的视频流标识将历史主说话人的视频流数据返回，本实施例的 方法还包括：
接收MCU返回的历史主说话人的视频流数据。
将历史主说话人的视频流数据放置在历史主视频窗口进行播放。
进一步地，历史主视频窗口为N个，N小于等于4，当检测出新的当前 主说话人，且N个历史主视频窗口被占满时，本实施例的方法还包括：
S105b、向MCU发送切换消息，切换消息包含新的当前主说话人的视频 流标识和按照时间的顺序最早的历史主说话人的视频流标识，以使MCU根 据切换消息停止发送最早的历史主说话人的视频流数据，发送新的当前主说 话人的视频流数据。
相应地，客户端将接收到的新的当前主说话人的视频流数据放置在主视 频窗口进行播放。还包括：
S106b、删除最早的历史主说话人的视频流数据，将其他历史主说话人的 视频流数据依次放置在历史主视频窗口进行播放。
在上述实施例中，当前主说话人为1个，主视频窗口为可以1个。
当前主说话人为N个，N小于等于3时，相应地，主视频窗口可以为N 个。
此处需说明的是，在并列的N个主视频窗口或者N个历史主视频窗口中， 客户端在播放视频流数据时，还可以根据实际情况将接收到的视频流标识对 应的视频流数据在N个主视频窗口或者N个历史主视频窗口切换播放。从而 可增加会议系统的可操控性，与会者在交换不同视频流的窗口位置时，加上 本发明实施例后面的音频布局方法，对应的音频流数据的声音方位也会随之 改变，在会议系统中会达到一种浸入式的交互体验。
本实施例提供的浸入式会议中视频布局方法，通过与会者客户端获取当 前主说话人的媒体流数据后，将当前主说话人的视频流数据放置在主视频窗 口进行播放。随着会议的进行，可以很好地跟踪视频流数据的变化并将关键 的视频流数据呈现给与会者，而且只将当前主说话人的视频流数据进行播放， 不会占用太多的网络带宽，还可提高用户的会议体验。
图2为本发明浸入式会议中视频布局方法实施例二的流程图，本实施例 以MCU作为执行主体为例进行说明，本实施中是由MCU来检测出当前主说 话人，如图2所示，本实施例的方法可以包括：
S201、会议开始后，将接收到的与会者的媒体流数据转发给所有与会者， 媒体流数据包括视频流数据和音频流数据。
具体地，由MCU接收所有与会者的视频流数据和音频流数据并转发， 例如对于某一与会者，MCU将接收到的所有与会者的视频流数据和音频流数 据都转发给该与会者，而且这一过程随着会议的进行是不间断的。
S202、根据音频流数据检测出当前主说话人。
S203、将当前主说话人的视频流标识发送给所有与会者，视频流标识用 于标识视频流数据所属的说话人，以使所有与会者根据当前主说话人的视频 流标识将当前主说话人的视频流数据放置在主视频窗口进行播放。该视频流 标识为指示特定与会人的视频流的标识符，可以包括但不限于与会人名字或 与会人音频流对应的同步源标识符（SSRC）等。
随着会议的进行，当前主说话人会发生变化，当MCU检测出新的当前 主说话人时，此时本实施例的方法还包括：
S204、将新的当前主说话人的视频流标识发送给所有与会者，以使所有 与会者将新的当前主说话人的视频流数据放置在主视频窗口进行播放。
随着会议的进行，当前主说话人会发生变化，若还需看到历史说话人的 视频流数据，本实施例采用设置历史主视频窗口的方法来满足这一要求，历 史主视频窗口可以为多个，此处历史主视频窗口的个数可以依照需求设定。 当MCU检测出新的当前主说话人时，此时本实施例的方法还包括：
将变化前的历史主说话人的视频流标识发送给所有与会者，以使所有与 会者将历史主说话人的视频流数据放置在历史主视频窗口进行播放。
进一步地，历史主视频窗口为N个，N小于等于4，当MCU检测出新 的当前主说话人，且N个历史主视频窗口被占满时，本实施例的方法还包括：
S205、停止发送第一位历史主说话人的视频流标识，发送新的当前主说 话人的视频流标识给所有与会者，以使所有与会者将新的当前主说话人的视 频流数据放置在主视频窗口进行播放。
在本实施例中，当前主说话人为1个，主视频窗口为可以1个。
当前主说话人为N个，N小于等于3时，相应地，主视频窗口可以为N 个。
在上述实施例中，若一与会者由当前主说话人变为非主说话人时，MCU 会降低发送与会者的视频流数据所用的编码速率；若一与会者由非主说话人 变为主说话人时，MCU会提高发送与会者的视频流数据所用的编码速率。
本实施例提供的浸入式会议中视频布局方法，通过MCU首先将接收到 的与会者的视频流数据和音频流数据转发给所有与会者，再根据音频流数据 检测出当前主说话人，然后将当前主说话人的视频流标识发送给所有与会者， 以使所有与会者根据当前主说话人的视频流标识将当前主说话人的视频流数 据放置在主视频窗口进行播放。随着会议的进行，可以很好地跟踪视频流数 据的变化并将关键的视频流数据呈现给与会者，而且只将当前主说话人的视 频流数据进行播放，不会占用太多的网络带宽，还可提高用户的会议体验。
图3为本发明浸入式会议中视频布局方法实施例三的流程图，本实施例 以MCU作为执行主体为例进行说明，如图3所示，本实施例与图2所示实 施例的区别在于是由与会者客户端来检测出当前主说话人，本实施例的方法 可以包括：
S301、接收所有与会者的视频流数据和音频流数据。
S302、接收所有与会者发送的视频流标识，并广播视频流信息，视频流 信息包括所有与会者发送的视频流标识。
S303、接收第一与会者发送的第一请求信息，第一请求信息是第一与会 者根据接收到的所有与会者的音频流数据检测出当前主说话人之后发送的， 第一请求信息包含当前主说话人的视频流标识。
S304、根据当前主说话人的视频流标识将当前主说话人的视频流数据返 回给第一与会者，以使第一与会者将接收到的当前主说话人的视频流数据放 置在主视频窗口进行播放。
同样类似地，随着会议的进行，当前主说话人会发生变化，当检测出新 的当前主说话人时，此时本实施例的方法还包括：
S305、接收第一与会者发送的第二请求信息，第二请求信息是第一与会 者检测出新的当前主说话人后发送的，第二请求信息包含新的当前主说话人 的视频流标识和历史主说话人的视频流标识。
S306、根据新的当前主说话人的视频流标识将新的当前主说话人的视频 流数据返回给第一与会者，以使第一与会者将接收到的新的当前主说话人的 视频流数据放置在主视频窗口进行播放。
同样类似地，随着会议的进行，当前主说话人会发生变化，若还需看到 历史说话人的视频流数据，本实施例采用设置历史主视频窗口的方法来满足 这一要求，历史主视频窗口可以为多个，此处历史主视频窗口的个数可以依 照需求设定。当检测出新的当前主说话人时，第二请求信息还包含历史主说 话人的视频流标识，此时本实施例的方法还包括：
根据历史主说话人的视频流标识将历史主说话人的视频流数据返回给第 一与会者，以使第一与会者将接收到的历史主说话人的视频流数据放置在历 史主视频窗口进行播放。
当历史主视频窗口为N个，N小于等于4，当第一与会者检测出新的当 前主说话人，且N个历史主视频窗口被占满时，还包括：
S307、接收第一与会者发送的切换消息，切换消息是第一与会者在N个 历史主视频窗口被占满，且第一与会者检测出新的当前主说话人时发送的， 切换消息包含新的当前主说话人的视频流标识和按照时间的顺序最早的历史 主说话人的视频流标识。
S308、根据切换消息停止发送最早的历史主说话人的视频流数据，发送 新的当前主说话人的视频流数据，以使客户端将接收到的新的当前主说话人 的视频流数据放置在主视频窗口进行播放。
在本实施例中，当前主说话人为1个，主视频窗口为可以1个。
当前主说话人为N个，N小于等于3时，相应地，主视频窗口可以为N 个。
此处需说明的是，在并列的N个主视频窗口或者N个历史主视频窗口中， 客户端在播放视频流数据时，还可以根据实际情况将接收到的视频流标识对 应的视频流数据在N个主视频窗口或者N个历史主视频窗口切换播放。
在上述实施例中，若一与会者由当前主说话人变为非主说话人时，MCU 会降低发送与会者的视频流数据所用的编码速率；若一与会者由非主说话人 变为主说话人时，MCU会提高发送与会者的视频流数据所用的编码速率。
本实施例提供的浸入式会议中视频布局方法，通过MCU首先接收所有 与会者的视频流数据和音频流数据，接收所有与会者发送的视频流标识，并 广播视频流信息，视频流信息包括所有与会者发送的视频流标识，接收与会 者客户端发送的第一请求信息后，根据第一请求信息将当前主说话人的视频 流标识对应的视频流数据返回给客户端，以使客户端将接收到的当前主说话 人的视频流数据放置在主视频窗口进行播放。随着会议的进行，可以很好地 跟踪视频流数据的变化并将关键的视频流数据呈现给与会者，而且只将当前 主说话人的视频流数据进行播放，不会占用太多的网络带宽，还可提高用户 的会议体验。
下面采用两个具体的实施例，对图1所示方法实施例的技术方案进行详 细说明。
本实施例中，由MCU来检测出当前主说话人，当前主说话人为1个时， 主视频窗口可以为1个，历史主视频窗口的个数可能发生变化，但主视频窗 口的个数恒定为1，图4为本发明浸入式会议中视频布局方法实施例四中会 议界面布局示意图，如图4所示，主视频窗口个数为1，历史主视频窗口为4， ID从左到右分别为1、2、3、4。例如会议开始以后，MCU接收所有与会者 的视频流数据和音频流数据，并转发给所有与会者，接着根据音频流数据检 测出当前主说话人，例如为N1，然后将N1的视频流标识发送给各个与会者， 各个与会者接收到N1的视频流标识后，就将N1的视频流数据放置在主视频 窗口进行播放。随着会议的进行，当前主说话人会发生变化，当MCU检测 出新的当前主说话人N2之后，N1就变为历史主说话人，MCU将N2的视频 流标识和N1的视频流标识发送给每一与会者的客户端。各个与会者接收到 N1和N2的视频流标识后，会将原先N1的视频流放置在历史主视频主窗口 中显示，将N2的视频流放置在主视频窗口中播放。若一与会者由当前主说 话人变为非主说话人时，MCU会降低发送与会者的视频流数据所用的编码速 率；若一与会者由非主说话人变为主说话人时，MCU会提高发送与会者的视 频流数据所用的编码速率。依次类推，当MCU检测到新的当前主说话人是 N6时，MCU会停止发送第一位历史主说话人N1的视频流标识，继续发送 N6和N5、N4、N3及N2的视频流标识，此时与会者客户端上主视频窗口显 示的是N6视频流，历史主视频窗口从左到右显示的分别是N5、N4、N3、 N2视频流流。
当前主说话人为N个，N小于等于3时，相应地，主视频窗口可以为N 个。图5为本发明浸入式会议中视频布局方法实施例五中会议界面布局示意 图，如图5所示，主视频窗口为2个，历史视频窗口为4个，ID从左到右分 别为1、2、3、4，例如会议开始以后，MCU接收所有与会者的视频流数据 和音频流数据，并转发给所有与会者，接着根据音频流数据检测出当前主说 话人，例如为N1和N2，然后将N1与N2的视频流标识发送给各个与会者， 各个与会者接收到N1与N2的视频流标识后，就将N1与N2的视频流数据 放置在主视频窗口进行播放。随着会议的进行，当前主说话人会发生变化， 当MCU检测出新的当前主说话人为N2与N3之后，N1就变为历史主说话人， MCU将N2与N3的视频流标识和N1的视频流标识发送给每一与会者的客户 端，并标记N2与N3为当前主说话人。各个与会者接收到N2与N3的视频 流标识和N1的视频流标识后，会将原先N1的视频流数据放置在历史主视频 主窗口中显示，将N2与N3的视频流数据放置在主视频窗口中播放。类似地， 若N1与N2都变为历史主说话人，则N1与N2的视频流数据都放置在历史 主视频主窗口中显示。若一与会者由当前主说话人变为非主说话人时，MCU 会降低发送与会者的视频流数据所用的编码速率；若一与会者由非主说话人 变为主说话人时，MCU会提高发送与会者的视频流数据所用的编码速率。
此处需说明的是，本发明实施例中的会议界面布局不限于图4和图5所 示的布局方式。
在本发明浸入式会议中视频布局方法实施例六中，由客户端来检测出当 前主说话人，以某一与会者A为例，A在加入到会议之后，首先A会向MCU 发送视频流标识，MCU接收到所有与会者发送的视频流标识后，广播视频流 信息，该视频流信息包括所有与会者发送的视频流标识。接着A根据接收到 的所有与会者的音频流数据检测出当前主说话人，检测出当前主说话人之后 A向MCU发送第一请求信息，第一请求信息包含当前主说话人的视频流标 识，MCU接收到第一请求信息后将当前主说话人的视频流数据返回给A，A 就会将当前主说话人的视频流数据放置在主视频窗口进行播放。随着会议的 进行，当前主说话人会发生变化，当A检测出新的当前主说话人时，向MCU 发送第二请求信息，第二请求信息包含新的当前主说话人的视频流标识和历 史主说话人的视频流标识，MCU接收到第二请求信息后将新的当前主说话人 的视频流数据和变化前的历史主说话人的视频流数据返回。接着A将接收到 的新的当前主说话人的视频流数据放置在主视频窗口进行播放，并将变化前 的历史主说话人的视频流数据放置在历史主视频窗口进行播放。若历史主视 频窗口为N个，当N个历史主视频窗口被占满，且客户端检测出新的当前主 说话人时，A向MCU发送切换消息，切换消息包含新的当前主说话人的视 频流标识和第一位历史主说话人的视频流标识，MCU根据切换消息停止发 送第一位历史主说话人的视频流数据，发送新的当前主说话人的视频流数据。 最后客户端将接收到的新的当前主说话人的视频流数据放置在主视频窗口进 行播放，删除第一位历史主说话人的视频流数据，将其他历史主说话人的视 频流数据依次放置在历史主视频窗口进行播放。此处需说明的是，在并列的 N个主视频窗口或者N个历史主视频窗口中，客户端在播放视频流数据时， 还可以根据实际情况将接收到的视频流标识对应的视频流数据在N个主视频 窗口或者N个历史主视频窗口切换播放。例如，本地与会者看到了两个说话 人A和B，对应的视频流数据分别为1和2，现在A为主说话人，B为历史 说话人，但是本地与会者对B讲的内容可能更感兴趣，于是本地与会者就将 B的视频流数据放置在主视频窗口进行播放，并将A的视频流数据放置在历 史主视频窗口进行播放。从而可以增强会议系统的可操作性，提高与会者的 会议体验。
为了进一步增强与会者在会议中浸入式的会议体验，本发明实施例还可 对视频会议中音频位置的安排做相应的处理，以增强声音的方位感。图6为 本发明浸入式会议中音频布局方法实施例一的流程图，如图6所示，本实施 例的执行主体为客户端，本实施例的方法可以包括：
S601、会议开始后，将所有与会者的声音位置分别设置在初始位置。
S602、当第一与会者的视频流数据在主视频窗口或历史主视频窗口进行 播放时，重新设置第一与会者的声音位置。
其中，当第一与会者的视频流数据从主视频窗口或历史主视频窗口删除 时，设置第一与会者的声音位置为初始位置。
例如，图7为本发明浸入式会议中音频布局方法实施例一中声音方位示 意图。如图7所示，当用户在加入会议后，客户端程序会自动将其它所有正 在会议中的与会者的声音的位置都设置为一个默认的位置（0-16中的一个 值），当某特定与会者的视频流出现在视频窗口1时，客户端程序会自动的 将其的声音方位设置为4，当某特定与会者的视频流出现在视频窗口2时， 客户端程序会自动的将其的声音方位设置为8，当某特定与会者的视频流出 现在视频窗口3时，客户端程序会自动的将其的声音方位设置为12。当某个 视频流播放时所处的视频窗口位置发生变化时，与会者可以听出其声音方位 的移动的感觉。
本实施例提供的浸入式会议中音频布局方法，通过在会议开始后，客户 端将所有与会者的声音位置分别设置在初始位置，当第一与会者的视频流数 据在主视频窗口或历史主视频窗口进行播放时，重新设置第一与会者的声音 位置。因此可通过增强声音的方位感，更进一步增强与会者在会议中会议体 验。
图8为本发明浸入式会议中视频布局装置实施例一的结构示意图，本实 施例的装置可以是各个与会者的客户端，如图8所示，本实施例的装置可以 包括：获取模块11和处理模块12，其中，获取模块11用于在会议开始后， 获取当前主说话人的媒体流数据，媒体流数据包括视频流数据和音频流数据， 处理模块12用于将当前主说话人的视频流数据放置在主视频窗口进行播放。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实 现原理类似，此处不再赘述。
本实施例提供的浸入式会议中视频布局装置，通过获取模块获取当前主 说话人的媒体流数据后，处理模块将当前主说话人的视频流数据放置在主视 频窗口进行播放。随着会议的进行，可以很好地跟踪视频流数据的变化并将 关键的视频流数据呈现给与会者，而且只将当前主说话人的视频流数据进行 播放，不会占用太多的网络带宽，还可提高用户的会议体验。
图9为本发明浸入式会议中视频布局装置实施例二的结构示意图，如图 9所示，本实施例的装置在图8所示装置结构的基础上，进一步地，获取模 块11可以包括：接收单元110和获取单元111。其中，接收单元110用于接 收媒体控制单元MCU发送的其他与会者的视频流数据和音频流数据。接收 单元110还用于接收MCU发送的MCU根据接收到的所有与会者的音频流数 据检测出的当前主说话人的视频流标识，视频流标识用于标识视频流数据所 属的说话人。获取单元111用于根据当前主说话人的视频流标识，得到当前 主说话人的视频流数据。
进一步地，MCU在检测出新的当前主说话人时，接收单元110还用于接 收MCU发送的新的当前主说话人的视频流标识。处理模块12用于将新的当 前主说话人的视频流数据放置在主视频窗口进行播放。
进一步地，接收单元110还用于：
接收MCU发送的历史主说话人的视频流标识。处理模块12还用于将变 化前的历史主说话人的视频流数据放置在历史主视频窗口进行播放。
进一步地，历史主视频窗口为N个，当MCU检测出新的当前主说话人， 且N个历史主视频窗口被占满时，处理模块12还用于：按照时间的顺序删 除最早的历史主说话人的视频流数据，将其他历史主说话人的视频流数据依 次放置在历史主视频窗口进行播放。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实 现原理类似，此处不再赘述。
图10为本发明浸入式会议中视频布局装置实施例三的结构示意图，如图 10所示，本实施例的装置在图8所示装置结构的基础上，进一步地，获取模 块11可以包括：检测单元112、发送单元113和接收单元114，其中，检测 单元112用于接收所有与会者的音频流数据，根据接收到所有与会者的音频 流数据检测出当前主说话人。发送单元113用于向MCU发送第一请求信息， 第一请求信息包含当前主说话人的视频流标识，视频流标识用于标识视频流 数据所属的说话人，以使MCU根据当前主说话人的视频流标识将当前主说 话人的视频流数据返回。接收单元114用于接收MCU返回的当前主说话人 的视频流数据。
进一步地，发送单元113还用于在检测单元根据接收到的所有与会者的 音频流数据检测出当前主说话人之前，发送当前说话人的视频流标识给 MCU，以使MCU广播视频流信息，视频流信息包括MCU接收到的所有与 会者发送的视频流标识。
在上述实施例中，进一步地，发送单元113还用于在检测单元112检测 出新的当前主说话人时，向MCU发送第二请求信息，第二请求信息包含新 的当前主说话人的视频流标识，以使MCU接收到第二请求信息后将新的当 前主说话人的视频流数据返回。接收单元114用于接收MCU返回的新的当 前主说话人的视频流数据。处理模块12用于将接收到的新的当前主说话人的 视频流数据放置在主视频窗口进行播放。
进一步地，第二请求信息还包含历史主说话人的视频流标识，以使MCU 根据历史主说话人的视频流标识将历史主说话人的视频流数据返回，接收单 元114还用于接收MCU返回的历史主说话人的视频流数据。处理模块12还 用于将历史主说话人的视频流数据放置在历史主视频窗口进行播放。
进一步地，历史主视频窗口为N个，当检测单元112检测出新的当前主 说话人，且N个历史主视频窗口被占满时，发送单元113还用于向MCU发 送切换消息，切换消息包含新的当前主说话人的视频流标识和按照时间的顺 序最早的历史主说话人的视频流标识，以使MCU根据切换消息停止发送最 早的历史主说话人的视频流数据，发送新的当前主说话人的视频流数据。处 理模块12还用于在发送单元113向MCU发送切换消息之后，删除最早的历 史主说话人的视频流数据，将其他历史主说话人的视频流数据依次放置在历 史主视频窗口进行播放。
在图8-图10所示的实施例中，可以是当前主说话人为1个，主视频窗口 为1个。还可以是当前主说话人为N个，N小于等于3；相应地，主视频窗 口为N个。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实 现原理类似，此处不再赘述。
图11为本发明浸入式会议中视频布局装置实施例四的结构示意图，本实 施例的装置可以是MCU，如图11所示，本实施例的装置可以包括：发送模 块21和检测模块22，其中，发送模块21用于在会议开始后，将接收到的与 会者的媒体流数据转发给所有与会者，媒体流数据包括视频流数据和音频流 数据。检测模块22用于根据音频流数据检测出当前主说话人。发送模块21 还用将当前主说话人的视频流标识发送给所有与会者，视频流标识用于标识 视频流数据所属的说话人，以使所有与会者根据当前主说话人的视频流标识 将当前主说话人的视频流数据放置在主视频窗口进行播放。
进一步地，检测模块22检测出新的当前主说话人时，发送模块21还用 于将新的当前主说话人的视频流标识发送给所有与会者，以使所有与会者将 新的当前主说话人的视频流数据放置在主视频窗口进行播放。
进一步地，发送模块21还用于：
将变化前的历史主说话人的视频流标识发送给所有与会者，以使所有与 会者将历史主说话人的视频流数据放置在历史主视频窗口进行播放。
历史主视频窗口为N个，N小于等于4，当检测模块22检测出新的当前 主说话人，且N个历史主视频窗口被占满时，发送模块21还用于：停止发 送按照时间的顺序最早的历史主说话人的视频流标识，发送新的当前主说话 人的视频流标识给所有与会者，以使所有与会者将新的当前主说话人的视频 流数据放置在主视频窗口进行播放。
在上述实施例中，可以是当前主说话人为1个，主视频窗口为1个。还 可以是当前主说话人为N个，N小于等于3；相应地，主视频窗口为N个。
本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实 现原理类似，此处不再赘述。
本实施例提供的浸入式会议中视频布局装置，通过发送模块首先将接收 到的与会者的视频流数据和音频流数据转发给所有与会者，发送模块根据音 频流数据检测出当前主说话人，然后将当前主说话人的视频流标识发送给所 有与会者，以使所有与会者根据当前主说话人的视频流标识将当前主说话人 的视频流数据放置在主视频窗口进行播放。随着会议的进行，可以很好地跟 踪视频流数据的变化并将关键的视频流数据呈现给与会者，而且只将当前主 说话人的视频流数据进行播放，不会占用太多的网络带宽，还可提高用户的 会议体验。
图12为本发明浸入式会议中视频布局装置实施例五的结构示意图，如图 12所示，本实施例的装置在图11所示装置结构的基础上，进一步地，还可 以包括：处理模块23，该处理模块23用于在一与会者由当前主说话人变为 非主说话人时，降低发送与会者的视频流数据所用的编码速率；在一与会者 由非主说话人变为主说话人时，提高发送与会者的视频流数据所用的编码速 率。
本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实 现原理类似，此处不再赘述。
图13为本发明浸入式会议中视频布局装置实施例六的结构示意图，本实 施例的装置可以是MCU，如图13所示，本实施例的装置可以包括：接收模 块31和发送模块32，其中，接收模块31用于接收所有与会者的视频流数据 和音频流数据；接收模块31还用于接收所有与会者发送的视频流标识，并广 播视频流信息，视频流信息包括所有与会者发送的视频流标识。接收模块31 还用于接收第一与会者发送的第一请求信息，第一请求信息是第一与会者根 据接收到的所有与会者的音频流数据检测出当前主说话人之后发送的，第一 请求信息包含当前主说话人的视频流标识。发送模块32用于用于根据当前主 说话人的视频流标识将当前主说话人的视频流数据返回给第一与会者，以使 第一与会者将接收到的当前主说话人的视频流数据放置在主视频窗口进行播 放。
进一步地，第一与会者检测出新的当前主说话人时，接收模块31还用于： 接收第一与会者发送的第二请求信息，第二请求信息是第一与会者检测出新 的当前主说话人后发送的，第二请求信息包含新的当前主说话人的视频流标 识。发送模块32还用于根据第二请求信息将新的当前主说话人的视频流数据 返回，以使客户端将接收到的新的当前主说话人的视频流数据放置在主视频 窗口进行播放。
进一步地，第二请求信息还包含历史主说话人的视频流标识，发送模块 32还用于根据历史主说话人的视频流标识将历史主说话人的视频流数据返回 给第一与会者，以使第一与会者将接收到的历史主说话人的视频流数据放置 在历史主视频窗口进行播放。
历史主视频窗口为N个，N小于等于4，当第一与会者检测出新的当前 主说话人，且N个历史主视频窗口被占满时，接收模块31还用于接收第一 与会者发送的切换消息，切换消息包含新的当前主说话人的视频流标识和按 照时间的顺序最早的历史主说话人的视频流标识。
发送模块32还用于根据切换消息停止发送最早的历史主说话人的视频 流数据，发送新的当前主说话人的视频流数据，以使第一与会者将接收到的 新的当前主说话人的视频流数据放置在主视频窗口进行播放。
在上述实施例中，可以是当前主说话人为1个，主视频窗口为1个。还 可以是当前主说话人为N个，N小于等于3；相应地，主视频窗口为N个。
本实施例的装置，可以用于执行图3所示方法实施例的技术方案，其实 现原理类似，此处不再赘述。
本实施例提供的浸入式会议中视频布局装置，通过接收模块首先接收所 有与会者的视频流数据和音频流数据，然后接收所有与会者发送的视频流标 识，并广播视频流信息，视频流信息包括所有与会者发送的视频流标识，接 着接收与会者第一与会者发送的第一请求信息后，发送模块根据第一请求信 息将当前主说话人的视频流标识对应的视频流数据返回给第一与会者，以使 第一与会者将接收到的当前主说话人的视频流数据放置在主视频窗口进行播 放。随着会议的进行，可以很好地跟踪视频流数据的变化并将关键的视频流 数据呈现给与会者，而且只将当前主说话人的视频流数据进行播放，不会占 用太多的网络带宽，还可提高用户的会议体验。
图14为本发明浸入式会议中视频布局装置实施例七的结构示意图，如图 14所示，本实施例的装置在图13所示装置结构的基础上，进一步地，还可 以包括：处理模块33，该处理模块33用于在一与会者由当前主说话人变为 非主说话人时，降低发送与会者的视频流数据所用的编码速率；在一与会者 由非主说话人变为主说话人时，提高发送与会者的视频流数据所用的编码速 率。
本实施例的装置，可以用于执行图3所示方法实施例的技术方案，其实 现原理类似，此处不再赘述。
在本发明浸入式会议中音频布局装置实施例一中，本实施例的装置可以 是各个与会者的客户端，本实施例的装置可以包括：设置模块，该设置模块 用于在会议开始后，将所有与会者的声音位置分别设置在初始位置。设置模 块还用于当第一与会者的视频流数据在主视频窗口或历史主视频窗口进行播 放时，重新设置第一与会者的声音位置。
进一步地，设置模块还用于：
当第一与会者的视频流数据从主视频窗口或历史主视频窗口删除时，设 置第一与会者的声音位置为初始位置。
本实施例提供的浸入式会议中音频布局装置，通过在会议开始后，设置 模块将所有与会者的声音位置分别设置在初始位置，当第一与会者的视频流 数据在主视频窗口或历史主视频窗口进行播放时，重新设置第一与会者的声 音位置。因此可通过增强声音的方位感，更进一步增强与会者在会议中会议 体验。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法， 可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的， 例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外 的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或 一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或 直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连 接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件 功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机 可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指 令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等） 或处理器（processor）执行本发明各个实施例所述方法的部分步骤。而前述 的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、 随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可 以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各 功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分 配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以 完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以 参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对 其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通 技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并 不使相应技术方案的本质脱离本发明各实施例技术方案的范围。