《用于协作远程应用程序共享和会议的方法和系统.pdf》由会员分享，可在线阅读，更多相关《用于协作远程应用程序共享和会议的方法和系统.pdf（29页珍藏版）》请在专利查询网上搜索。
1、10申请公布号CN104040946A43申请公布日20140910CN104040946A21申请号201280057759222申请日2012112061/563,25620111123US61/623,13120120412USH04L12/18200601H04L12/1220060171申请人卡尔加里科学公司地址加拿大阿尔伯塔省72发明人MM托马斯MJ斯特菲尔SA利奇DA皮加特74专利代理机构北京三友知识产权代理有限公司11127代理人吕俊刚刘久亮54发明名称用于协作远程应用程序共享和会议的方法和系统57摘要用于提供协作会议能力给由客户端计算装置远程访问的应用程序的系统和方法。客户端。
2、媒体共享应用程序被提供在客户端层中且所述客户端媒体共享应用程序允许所述客户端计算装置中的至少一个与所述客户端计算装置共享媒体。接收共享媒体的会议管理器应用程序被提供给服务器层。所述会议管理器应用程序使所述共享媒体可用于所述客户端计算装置。30优先权数据85PCT国际申请进入国家阶段日2014052386PCT国际申请的申请数据PCT/IB2012/0024172012112087PCT国际申请的公布数据WO2013/076554EN2013053051INTCL权利要求书3页说明书11页附图14页19中华人民共和国国家知识产权局12发明专利申请权利要求书3页说明书11页附图14页10申请公布号。
3、CN104040946ACN104040946A1/3页21一种提供协作会议能力给远程访问的应用程序的方法，其包括提供包括应用程序层、服务器层和客户端层的分层远程访问框架，所述分层远程访问框架传达关于客户端计算装置之间的所述远程访问的应用程序的第一信息，所述客户端计算装置在用来显示所述客户端计算装置处的所述远程访问的应用程序的状态模型内访问所述远程访问的应用程序；在所述服务器层中提供服务器远程访问应用程序，所述服务器远程应用程序能够修改所述状态模型；在所述客户端层或所述应用程序层中提供客户端远程访问应用程序；在所述客户端层中提供客户端媒体共享应用程序，所述客户端媒体共享应用程序允许所述客户端计。
4、算装置中的至少一个共享可由所述客户端计算装置中的所述至少一个访问的媒体；提供会议管理器应用程序给所述服务器层，所述会议管理器应用程序接收所述共享媒体；和修改所述状态模型以进一步包括所述共享媒体使得所述共享媒体被提供在所述客户端计算装置中的至少一个中。2根据权利要求1所述的方法，其还包括在所述服务器层中为所述客户端计算装置中的每个提供会议存根应用程序，每个会议存根应用程序介接所述服务器远程访问应用程序以修改所述状态模型。3根据权利要求1至2中任一项所述的方法，所述会议管理器应用程序直接从所述客户端媒体共享应用程序接收所述共享媒体。4根据权利要求2所述的方法，所述会议管理器应用程序经由所述会议存根。
5、应用程序间接从所述客户端远程访问应用程序接收所述共享媒体。5根据权利要求1至4中任一项所述的方法，所述共享媒体是音频、视频、图像、桌面屏幕抓取或短信。6根据权利要求1所述的方法，所述共享媒体由所述客户端计算装置中的至少两个同时共享，所述共享媒体源自于所述客户端计算装置中的所述至少两个。7根据权利要求2至5中任一项所述的方法，所述会议管理器应用程序通过使来自所述至少一个客户端计算装置的所述共享媒体可用于所述会议存根应用程序中的所述每个而用作多工器。8一种提供协作会议能力的方法，其包括提供包括服务器层和客户端层的分层远程访问框架，所述分层远程访问框架传达关于客户端计算装置之间的共享媒体的信息，所述。
6、客户端计算装置在用来显示所述客户端计算装置处的所述共享媒体的状态模型内访问所述共享媒体；在所述服务器层中提供服务器远程访问应用程序，所述服务器远程应用程序能够修改所述状态模型；在所述客户端层中提供客户端媒体共享应用程序，所述客户端媒体共享应用程序允许所述客户端计算装置中的至少一个与所述客户端计算装置共享所述共享媒体；提供会议管理器应用程序给所述服务器层，所述会议管理器应用程序接收所述共享媒体；和权利要求书CN104040946A2/3页3修改所述状态模型以进一步包括所述共享媒体使得所述共享媒体被提供在所述客户端计算装置中的至少一个中。9根据权利要求8所述的方法，其还包括在所述服务器层中为所述客。
7、户端计算装置中的每个提供会议存根应用程序，每个会议存根应用程序介接所述服务器远程访问应用程序以修改所述状态模型。10根据权利要求8至9中任一项所述的方法，所述会议管理器应用程序直接从所述客户端媒体共享应用程序接收所述共享媒体。11根据权利要求9所述的方法，所述会议管理器应用程序经由所述会议存根应用程序间接从客户端远程访问应用程序接收所述共享媒体，所述客户端远程访问应用程序被提供在所述客户端层中。12根据权利要求8至11中任一项所述的方法，所述共享媒体是音频、视频、图像、桌面屏幕抓取或短信。13根据权利要求8所述的方法，所述共享媒体由所述客户端计算装置中的至少两个同时共享，所述共享媒体源自于所述。
8、客户端计算装置中的所述至少两个。14根据权利要求9至12中任一项所述的方法，所述会议管理器应用程序通过使来自所述至少一个客户端计算装置的所述共享媒体可用于所述会议存根应用程序中的所述每个而用作多工器。15一种在其上存储用于提供协作会议能力给包括应用程序层、服务器层和客户端层的分层远程访问框架中的远程访问的应用程序的计算机可执行指令的有形计算机可读存储介质，所述分层远程访问框架被配置来传达关于客户端计算装置之间的所述远程访问的应用程序的第一信息，所述客户端计算装置在用来显示所述客户端计算装置处的所述远程访问的应用程序的状态模型内访问所述远程访问的应用程序，所述计算机可执行指令在由计算装置执行时使。
9、所述计算装置进行以下项在所述服务器层中提供服务器远程访问应用程序，所述服务器远程应用程序能够修改所述状态模型；提供会议管理器应用程序给所述服务器层，所述会议管理器应用程序能够从客户端媒体共享应用程序接收可被所述客户端计算装置中的至少一个访问的共享媒体；和修改所述状态模型以进一步包括所述共享媒体使得所述共享媒体被提供在所述客户端计算装置中的至少一个中。16根据权利要求15所述的有形计算机可读存储介质，在其上还存储计算机可执行指令，所述计算机可执行指令在由所述计算装置执行时使所述计算装置进行以下项在所述服务器层中为所述客户端计算装置中的每个提供会议存根应用程序，每个会议存根应用程序能够介接所述服务。
10、器远程访问应用程序以修改所述状态模型。17根据权利要求15至16中任一项所述的有形计算机可读存储介质，所述会议管理器应用程序直接从所述客户端媒体共享应用程序接收所述共享媒体。18根据权利要求16所述的有形计算机可读存储介质，所述会议管理器应用程序经由所述会议存根应用程序间接从客户端远程访问应用程序接收所述共享媒体，所述客户端远程访问应用程序被提供在所述客户端层或所述应用程序层中。19根据权利要求15至18中任一项所述的有形计算机可读存储介质，所述共享媒体是权利要求书CN104040946A3/3页4音频、视频、图像、桌面屏幕抓取或短信。20根据权利要求15所述的有形计算机可读存储介质，所述共享。
11、媒体由所述客户端计算装置中的至少两个同时共享，所述共享媒体源自于所述客户端计算装置中的所述至少两个。21根据权利要求16至19中任一项所述的有形计算机可读存储介质，所述会议管理器应用程序通过使来自所述至少一个客户端计算装置的所述共享媒体可用于所述会议存根应用程序中的所述每个而用作多工器。22一种用于在包括服务器层和客户端层的分层远程访问框架中提供协作会议能力的有形计算机可读存储介质，所述分层远程访问框架传达关于客户端计算装置之间的共享媒体的信息，所述客户端计算装置在用来显示所述客户端计算装置处的所述共享媒体的状态模型内访问所述共享媒体，所述有形计算机可读存储介质在由计算装置执行时使所述计算装置。
12、进行以下项在所述服务器层中提供服务器远程访问应用程序，所述服务器远程应用程序能够修改所述状态模型；提供会议管理器应用程序给所述服务器层，所述会议管理器应用程序能够从客户端媒体共享应用程序接收可被所述客户端计算装置中的至少一个访问的共享媒体；和修改所述状态模型以进一步包括所述共享媒体使得所述共享媒体被提供在所述客户端计算装置中的至少一个中。23根据权利要求22所述的有形计算机可读存储介质，在其上还存储计算机可执行指令，所述计算机可执行指令在由所述计算装置执行时使所述计算装置进行以下项在所述服务器层中为所述客户端计算装置中的每个提供会议存根应用程序，每个会议存根应用程序能够介接所述服务器远程访问应。
13、用程序以修改所述状态模型。24根据权利要求22至23中任一项所述的有形计算机可读存储介质，所述会议管理器应用程序直接从所述客户端媒体共享应用程序接收所述共享媒体。25根据权利要求23所述的有形计算机可读存储介质，所述会议管理器应用程序经由所述会议存根应用程序间接从客户端远程访问应用程序接收所述共享媒体，所述客户端远程访问应用程序被提供在所述客户端层中。26根据权利要求22至25中任一项所述的有形计算机可读存储介质，所述共享媒体是音频、视频、图像、桌面屏幕抓取或短信。27根据权利要求22所述的有形计算机可读存储介质，所述共享媒体由所述客户端计算装置中的至少两个同时共享，所述共享媒体源自于所述客户。
14、端计算装置中的所述至少两个。28根据权利要求23至26中任一项所述的有形计算机可读存储介质，所述会议管理器应用程序通过使来自所述至少一个客户端计算装置的所述共享媒体可用于所述会议存根应用程序中的所述每个而用作多工器。权利要求书CN104040946A1/11页5用于协作远程应用程序共享和会议的方法和系统背景技术0001普遍存在的远程访问服务、应用程序和数据由于宽带和无线网络访问的增长和可用性而变得愈来愈平凡。因此，用户使用种类不断增长的客户端装置例如，移动装置、平板计算装置、手提电脑/上网本/台式电脑等等访问应用程序和数据。数据可以通过多种网络包含3G和4G移动数据网络、诸如WIFI和WIMA。
15、X的无线网络、有线网络等等从远程服务器传达到装置。客户端可以跨许多不同网络带宽和延时性连接到提供服务、应用程序和数据的服务器。0002在这样的环境中，协作会话中的远程参与者之间也可以共享应用程序。然而，当协作时，参与者可以只被限于由共享应用程序提供的功能，因此限制协作会话。具体来说，可以限制参与者，因为其不能与协作会话中的其它参与者共享媒体，即音频、视频、桌面屏幕抓取、图像库等等。发明内容0003本文公开了用于提供协作会议能力给远程访问的应用程序的系统和方法。一种提供协作会议能力给远程访问的应用程序的方法可以包括提供包括应用程序层、服务器层和客户端层的分层远程访问框架，所述分层远程访问框架传达。
16、关于客户端计算装置之间的远程访问的应用程序的第一信息，所述客户端计算装置在用来显示所述客户端计算装置处的所述远程访问的应用程序的状态模型内访问所述远程访问的应用程序；在所述服务器层中提供服务器远程访问应用程序，所述服务器远程应用程序能够修改所述状态模型；在所述客户端层或所述应用程序层中提供客户端远程访问应用程序；在所述客户端层中提供客户端媒体共享应用程序，所述客户端媒体共享应用程序允许所述客户端计算装置中的至少一个与所述客户端计算装置共享媒体；提供会议管理器应用程序给所述服务器层，所述会议管理器应用程序接收所述共享媒体；和修改所述状态模型以进一步包括所述共享媒体使得所述共享媒体被提供在所述客户。
17、端计算装置中的至少一个中。0004在另一实施方式中，一种提供协作会议能力的方法可以包括提供包括服务器层和客户端层的分层远程访问框架，所述分层远程访问框架传达关于客户端计算装置之间的共享媒体的信息，所述客户端计算装置在用来显示所述客户端计算装置处的所述共享媒体的状态模型内访问所述共享媒体；在所述服务器层中提供服务器远程访问应用程序，所述服务器远程应用程序能够修改所述状态模型；在所述客户端层中提供客户端媒体共享应用程序，所述客户端媒体共享应用程序允许所述客户端计算装置中的至少一个与所述客户端计算装置共享所述共享媒体；提供会议管理器应用程序给所述服务器层，所述会议管理器应用程序接收所述共享媒体；和修。
18、改所述状态模型以进一步包括所述共享媒体使得所述共享媒体被提供在所述客户端计算装置中的至少一个中。0005本领域一般技术人员在检查以下附图和详述之后将会或可以明白其它系统、方法、特征和/或优点。希望所有这些额外系统、方法、特征和/或优点包括在这份说明内且受随附权利要求保护。说明书CN104040946A2/11页6附图说明0006附图中的组件无需相互按比例绘制。相同参考数字指代多个图中的对应部分。0007图1是示出了用于经由计算机网络对远程装置处的应用程序提供远程访问的简化方框图；0008图2是根据本公开内容的状态模型；0009图3示出了XML状态模型文档内的树；0010图4示出了图1的系统的额。
19、外方面；0011图5A是示出了用于提供围绕远程访问的应用程序的会议的系统的简化方框图；0012图5B是示出了用于在远程环境中提供会议的系统的简化方框图；0013图6A至图6B示出了在图5A至图5B的系统内执行的示例性操作的流程图；0014图7示出了协作会议会话期间的观看参与者的客户端计算装置的示例性用户界面；0015图8示出了协作会议会话期间的共享参与者的客户端计算装置的示例性用户界面；0016图9示出了协作会议会话期间的观看参与者的客户端计算装置的第二示例性用户界面；0017图10示出了协作会议会话期间的观看参与者的客户端计算装置的第三示例性用户界面；0018图11示出了包括协作会议会话期间。
20、的共享参与者的客户端计算装置的会议管理器视图的示例性用户界面；和0019图12示出了示例性计算装置。具体实施方式0020除非另有定义，否则本文使用的所有科学技术术语具有的意义均与通常为本领域一般技术人员所理解的意义相同。类似或等效于本文描述的方法和材料的方法和材料可用于实践或测试本公开内容。虽然将描述用于远程访问的应用程序的实施方式，但是本领域一般技术人员应明白实施方式不限于这些实施方式，且可应用于经由远程装置远程访问任何类型的数据或服务。0021参考图1，系统100用于经由计算机网络对应用程序、数据或其它服务提供远程访问。系统包括客户端计算机112A或112B，诸如无线手持装置，诸如例如经由。
21、计算机网络110诸如例如互联网耦接到服务器102B的苹果112A或黑莓112B。类似地，客户端计算装置还可以包括由通信网络110连接到服务器102B的台式/上网本个人计算机112C或平板装置112N。应注意，到通信网络110的连接可以是任何类型的连接，例如WIFIIEEE80211X、WIMAXIEEE80216、以太网、3G、4G等等。0022服务器102B是例如经由计算机网络110连接到局域网LAN109或可以直接连接到计算机网络110。例如，LAN109是公共机构诸如医院、银行、大型商业或政府部门的内部计算机网络。通常，这些公共机构仍然使用连接到LAN109的大型计算机102A和数据库1。
22、08。多种应用程序107A可以存储在大型计算机102A的存储器106A中且对处理器说明书CN104040946A3/11页7104A执行。类似地，多种应用程序107B可以存储在服务器102B的存储器106B中且对处理器104B执行。应用程序107A和107B可以是提供用于远程访问的“服务”。大型计算机102A、服务器102B和客户端计算机112A、112B、112C或112N可以使用诸如图12的通用计算装置中示出的硬件来实施。0023客户端远程访问应用程序121A、121B、121C、121N可以被设计来分别使用例如具有触屏114A的图形显示器或客户端计算机112A、112B、112C、112。
23、N的图形显示器114B/114N和键盘116B/116C提供用于以人类可理解的方式显示数据和/或影像的用户交互且取决于用于与应用程序交互的所接收用户指令确定用户输入数据。例如，通过使用分别存储在客户端计算机112A、112B、112C、112N的存储器120A、120B、120C、120N中的命令对处理器118A、118B、118C、118N执行可执行命令来执行客户端远程访问应用程序。0024替代地或此外，对服务器102B执行用户界面程序作为应用程序107B之一，所述服务器102B然后经由URL被泛用型客户端应用程序诸如例如对客户端计算机112A、112B执行的网页浏览器访问。使用例如超文本标。
24、记语言HTML5实施用户界面。在一些实施方式中，服务器102B可以和客户端计算机112A、112B、112C112N参与协作会话。例如，应用程序107B中的前文提及的一个可以使服务器102B能够与应用程序107A或另一应用程序107B和客户端远程访问应用程序121A、121B、121C、121N协作交互。因此，服务器102B和正在参与的客户端计算机112A、112B、112C112N中的每个可以呈现应用程序的显示的同步视图。0025如图2中示出，协同状态模型200执行服务器远程访问应用程序111B和客户端远程访问应用程序112A、112B、112C、112N中的任何一个或应用程序107B之一的。
25、操作。服务器远程访问程序的实例是可购自加拿大艾伯塔省CALGARYSCIENTIC公司的PUREWEB。当执行时，客户端远程访问应用程序根据接收自用户界面程序的用户输入数据更新状态模型200。远程访问应用程序可以根据已更新的状态模型200生成控制数据，且提供控制数据给正在服务器102B上运行的服务器远程访问应用程序111B。0026当从应用程序107A或1097B接收到应用程序数据时，服务器远程访问应用程序111B根据屏幕或应用程序数据更新状态模型200、根据已更新的状态模型200生成呈现数据，且提供呈现数据给正在客户端计算装置上运行的客户端远程访问应用程序121A、121B、121C、121。
26、N。状态模型200包括应用程序的逻辑元件与应用程序的对应状态的关联，其中逻辑元件处于层级次序中。例如，逻辑元件可以是组成应用程序用户界面的平面、菜单、子菜单、按钮等等。这使客户端装置能够例如本地显示逻辑元件。因此，呈现于移动电话上的应用程序的菜单看起来将与移动电话的本地菜单一样。类似地，呈现于台式电脑上的应用程序的菜单看起来将与台式电脑操作系统的本地菜单一样。0027确定状态模型200使得逻辑元件中的每个与应用程序107A或107B的对应状态相关联。可以确定状态模型200使得逻辑元件与用户界面相关联。例如，确定应用程序的逻辑元件使得逻辑元件包括过渡元件，其中每个过渡元件使状态模型200的变化与。
27、控制数据和与控制数据相关联的应用程序表示数据相关。0028在一些实施方式中，客户端计算装置112A、112B、112C112N中的两个或更多个和/或服务器102B可以与应用程序107A或107B协作交互。因此，通过传达客户端计算装置112A、112B、112C112N中的每个和/或服务器102B和/或参与协作会话的大型计算说明书CN104040946A4/11页8机102A之间的状态信息，正在参与的客户端计算装置112A、112B、112C112N中的每个可以呈现应用程序107A或107B的显示的同步视图。0029根据一些实施方式，系统100可以提供解耦应用程序扩展。这些扩展被提供作为服务器远。
28、程访问应用程序111B的部分例如，作为插件、客户端计算装置112A、112B、112C、112N例如，作为客户端软件开发包SDK的部分、应用程序107B之一例如，作为服务器SDK的部分或其组合以提供应用程序107A或107B没有以其它方式提供的特征和功能。下文关于图4更完整地描述这些特征和功能。可以提供这些特征和功能且无需修改应用程序107A或107B，因为其与远程访问应用程序集成在一起。因此，解耦应用程序扩展独立于应用程序本身，即，应用程序扩展并不取决于显示在服务器远程访问应用程序111B和客户端远程访问应用程序121A、121B、121C、121N内的应用程序。此外，可以在由服务器远程访问。
29、应用程序111B或客户端远程访问应用程序121A、121B、121C、121N呈现的控制内使用应用程序扩展且其总是可以用。0030例如，“交互式数字表面层”可以被提供作为应用程序扩展以使协作会话中的参与者能够在正在会话中运行的应用程序的顶部上做注释。交互式数字表面层用作涂鸦工具以使用户能够在应用程序的顶部上画线、箭头、符号、涂鸦等等以使应用程序与交互式数字表面层两者协作。如下文将参考图4A和图4B描述，交互式数字表面层可用作图1的环境内的控制。0031图3示出了描述解耦应用程序扩展诸如可以结合本公开内容的各个方面实施的交互式数字表面层的XML状态模型文档的树。美国临时专利申请第61/541,5。
30、40号和美国专利申请第13/632,245号中描述交互式数字表面层或“乙酸层”的实施方式，所述案是以引用方式全部并入本文。在XML树内，定义包括一个或多个会话的协作节点。会话与应用程序扩展诸如交互式数字表面层相关联。会话中的参与者是由USERINFO标签识别且可以是例如GLEN和JACQUIE。每个参与者被指派默认颜色DEFAULTCOLOR以表示用户在交互式数字表面层内的注释例如，GLEN指派蓝色且JACQUIE指派绿色。可以选择任何可显示颜色作为协作会话的参与者的默认颜色。可以定义颜色的优先次序，使得第一用户被指派蓝色、第二用户被指派绿色、第三用户被指派橙色等等。0032在协作节点下还定义。
31、了一个或多个视图。在图3的实例中，GLEN和JACQUIE可以在医学成像应用程序内协作。因此，可以定义两个视图轴向视图和冠状视图。会话与视图中的每个相关联，其中会话包括多个用户以进行协作。对于轴向视图，GLEN会话与光标位置CP和某些标记例如，涂鸦、箭头和圆圈相关联。在轴向视图中，JACQUIE具有相关联的光标位置，但是因为她没有对交互式数字表面层做任何标记，所以不存在与JACQUIE的轴向会话视图相关联的任何额外信息。在冠状会话下，每个用户只具有与其相关联的光标位置。0033上述信息是由客户端远程访问应用程序显示，所述信息可以显示在分别与GLEN和JACQUIE相关联的客户端计算装置上。例如。
32、，GLEN可以观看具有中型显示器的客户端计算装置诸如手提电脑上的应用程序。因此，GLEN能够同时观看轴向视图和冠状视图两者。相比之下，JACQUIE可以观看较小计算装置诸如手持无线装置上的应用程序。因此，由于这种装置的显示区域更有限，所以可能只能呈现轴向视图。0034以下是根据图3的树的状态模型200的示例性部分。状态模型200可以由例如说明书CN104040946A5/11页9扩展标记语言XML文档表示。可以使用状态模型200的其它表示。状态模型200中传达关于应用程序和交互式数字表面层的信息。因为交互式数字表面层与应用程序解耦，所以关于交互式数字表面层的信息并非应用程序状态的部分即，其与应。
33、用程序分离。相反，交互式数字表面层信息单独维持在状态模型200中。00350036关于应用程序107A或107B的信息维持在XML状态模型的第一部分中的APPLICATIONSTATE节点中。定义与轴向视图和冠状视图相关联应用程序的不同状态以及相关触发器。例如，在轴向视图中，定义用于接收名字作为用户输入数据且显示所述名字的“栏”。已解耦的协作状态和应用程序扩展状态例如，交互式数字表面层维持在XML文档的第二部分中。0037状态模型200因此可以包括关于应用程序本身的会话信息、应用程序扩展信息例如，交互式数字表面层、关于视图的信息和如何使注释例如，与轴向视图相关联的涂鸦、箭头、圆圈与具体视图相关。
34、联。0038图4更详细地示出了图1的系统100的各个方面。图4将系统100示为具有分层说明书CN104040946A6/11页10软件堆栈。客户端远程应用程序121A、121B、121C、121N可以位于客户端层中的客户端软件开发包SDK704的顶部上。客户端层传达到服务器层中的服务器远程访问应用程序111B。服务器层传达到位于应用程序层中的应用程序107A/107B和服务器SDK712的顶部上的状态管理器708。如上文提及，应用程序扩展可以实施于任一层中，即，实施于服务器层内作为插件706、实施于客户端层内作为客户端应用程序扩展702、实施于应用程序层内作为应用程序扩展710或其组合。状态模。
35、型200在所述层中传达且可以由应用程序扩展702和710及插件706在任一层中加以修改。0039在另一实例中，在应用程序层中，应用程序扩展710可以是包括新的商业逻辑以增强应用程序107A/107B的单独可执行程序。应用程序扩展710可以消耗状态模型200且产生其自身的文档714即，应用程序扩展710的状态模型，其可以包括1来自状态模型200的信息和与应用程序扩展710相关联的信息，2只有与应用程序扩展710相关联的信息，或3状态模型信息中的一些和与应用程序扩展714相关联的信息的组合。状态模型714可以被传达到服务器远程访问应用程序111B，其中服务器远程访问应用程序111B可以构成更新状态。
36、模型200以使其包括状态模型714中的信息。替代地或此外，客户端远程访问应用程序121A、121B、121C、121N可以接收状态模型200和状态模型714两者，且客户端远程访问应用程序可以构成已更新的状态模型200以使其包括状态模型714中的信息。0040图5A是示出了用于提供围绕远程访问的应用程序的会议的系统的简化方框图。如上文讨论，协作会话中的参与者可以被限于只与共享远程访问的应用程序交互，即，参与者可能不能与存储在其它参与者的客户端计算装置112A、112B、112C或112N上或由其它参与者的客户端计算装置112A、112B、112C或112N访问的各种媒体交互。然而，根据图5A中示。
37、出的实施方式，参与者可能能够与协作会话中的参与者共享各种媒体，诸如例如视频、音频、桌面屏幕抓取、短信、图像库等等。0041如关于图1、图2和图4讨论，图5A的系统包括客户端计算装置112A、112B、112C和/或112N、应用程序服务器机器即，服务器102B或大型计算机102A和在服务器102B上运行的服务器远程访问应用程序111B。如上文讨论，服务器远程访问应用程序111B对由客户端远程访问应用程序121A、121B、121C或121N显示的一个或多个应用程序107A/107B提供访问。协同状态模型200执行服务器远程访问应用程序111B和客户端远程访问应用程序121A、121B、121C。
38、或121N或应用程序107A/107B之一的操作。根据上述实施方式，参与协作会话的客户端计算装置112A、112B、112C或112N中的每个可以通过传达客户端计算装置112A、112B、112C或112N中的每个和/或服务器102B和/或大型计算机102A之间的状态模型200呈现应用程序107A/107B的同步视图。0042为了提供会议能力，即，与协作会话中的其它参与者共享各种媒体，图5A还包括具有会议存根应用程序732和会议管理器应用程序742的会议服务器机器。在一些实施方式中，会议存根应用程序732和会议管理器应用程序742可以在服务器102B上运行。会议能力的共享组件可以是选用的，且可。
39、以通过参与者使用客户端计算装置112A、112B、112C或112N下载但不是安装客户端媒体共享应用程序722起始。然而，如果客户端远程访问应用程序121A、121B、121C或121N正在受限沙盘环境诸如没有访问系统资源来收集可共享媒体的网页浏览器中运行或不共享任何媒体，那么参与者无法下载客户端媒体共享应用程序722，但是将不能与协作系统中的其它参与者共享各种媒体。相反，参与者将被限说明书CN104040946A107/11页11于只观看远程访问的应用程序107A/107B和/或由协作会话中的其它参与者共享的各种媒体。在一些实施方式中，客户端媒体共享应用程序722可以并入到客户端远程访问应用。
40、程序121A、121B、121C或121N中。0043图5A的系统允许获取会话能力的参与者与协作会话中的其它参与者共享媒体，诸如视频、音频、桌面屏幕抓取、短信、图像库等等。会议服务器机器可以直接从客户端媒体共享应用程序722或经由会议存根应用程序732间接地从客户端远程访问应用程序121A、121B、121C或121接收共享媒体。此外，多个不同参与者可提供共享媒体，其可以由其它客户端计算装置112A、112B、112C或112N同时显示。0044在一个实施方式中，会议存根应用程序732是被启用来与服务器远程访问应用程序111B通信的服务器应用程序例如，插件706。然而，会议存根应用程序732可。
41、以不包括协作特征，诸如例如允许客户端计算装置112A、112B、112C或112N与应用程序107A/107B协作交互的特征。因此，会议存根应用程序732无法经由状态模型200由会话中的参与者共享。因此，在这个实施方式中，连接到会议服务器机器的每个客户端计算装置112A、112B、112C或112N存在一个会议存根应用程序732。在另一实施方式中，会议管理器应用程序742是被启用来与服务器远程访问应用程序111B通信的服务器应用程序，且会议存根应用程序732的功能完整地存在于会议管理器应用程序742内。此外，在另一实施方式中，会议管理器应用程序742是被启用来与服务器远程访问应用程序111B通。
42、信的服务器应用程序，且会议存根应用程序732变为混合客户端/服务器，其中会议存根应用程序732是关于客户端计算装置112A、112B、112C或112N的伺服器和关于会议服务器机器的客户端。0045在如上文讨论的协作会话期间，客户端远程访问应用程序121A、121B、121C或121N协同状态模型200与服务器远程访问应用程序111B一起操作以介接应用程序107A/107B。类似地，在会议会话期间，客户端远程访问应用程序121A、121B、121C或121N协同状态模型200与服务器远程访问应用程序111B一起操作以经由会议存根应用程序732介接会议管理器应用程序742。例如，会议管理器应用程。
43、序742通过使如上文讨论，直接或间接接收自一个客户端计算装置112A、112B、112C或112N的共享媒体可用于其它客户端计算装置112A、112B、112C或112N中的每个的会议存根应用程序732而用作多工器。具体来说，会议存根应用程序732和客户端计算装置121A、121B、121C或121N协同在各种媒体流从会议存根应用程序732传输到客户端计算装置121A、121B、121C或121N之前可以如何再处理、取消、组合、再采样等等各种媒体流。例如，会议存根应用程序732可以将两种或更多种可用音频流混合成单一音频流以减小带宽需求。0046图5B是示出了用于在远程环境中提供会议的系统的简化。
44、方框图。图5A与图5B之间共有的特征是用相同参考数字加以标记。如上文关于图5A讨论，提供围绕远程访问的应用程序107A/107B的会议。然而，在图5B中，在远程环境中提供会议且无需围绕应用程序107A/107B协作。在这个实施方式中，在会议会话期间，客户端远程访问应用程序121A、121B、121C或121N以与上文讨论的方式相同的方式协同状态模型200和服务器远程访问应用程序111B一起操作以经由会议存根应用程序732介接会议管理器应用程序742。0047图6A示出了在图5A的系统内执行的示例性操作的流程图800。在802处，远程访问应用程序107A/107B。如上文讨论，例如，服务器远程访。
45、问应用程序111B对由客户端远程说明书CN104040946A118/11页12访问应用程序121A、121B、121C或121N显示的一个或多个应用程序107A/107B提供访问。在803处，客户端计算装置112A、112B、112C或112N确定其是否访问系统资源以共享媒体。如果否，那么程序跳转到下文讨论的步骤804，以获取会议能力。如果是，那么更新状态模型200，且然后程序跳转到下文讨论的步骤806。0048在804处，为了获取会议能力，参与者可以使用客户端计算装置112A、112B、112C或112N下载客户端媒体共享应用程序722。客户端媒体共享应用程序722允许参与者与协作会话中的。
46、其它参与者共享各种媒体。0049在806处，参与者使用客户端媒体共享应用程序722直接或使用客户端远程访问应用程序121A、121B、121C或121N经由会议存根应用程序732间接提供共享媒体给会议服务器机器。在一个实施方式中，多个不同参与者可提供可以由客户端计算装置112A、112B、112C或112N同时显示的共享媒体。在808处，客户端远程访问应用程序121A、121B、121C或121N协同状态模型200和服务器远程访问应用程序111B一起操作以经由会议存根应用程序732介接会议管理器应用程序742。例如，当由会议管理器应用程序742从一个客户端计算装置112A、112B、112C或。
47、112N接收到共享媒体时，会议管理器应用程序742使共享媒体可用于其它客户端计算装置112A、112B、112C或112N的每个会议存根应用程序732。然后，服务器远程访问应用程序111B更新状态模型200。0050在810处，服务器远程访问应用程序111B根据已更新的状态模型200生成呈现数据且提供呈现数据给客户端计算装置上的客户端远程访问应用程序121A、121B、121C、121N。在812处，客户端远程访问应用程序121A、121B、121C、121N更新客户端计算装置112A、112B、112C或112N的显示器。0051图6B示出了在图5B的系统内执行的示例性操作的流程图800。图。
48、6A与图6B之间共有的特征是用相同参考数字加以标记。图6B的示例性操作与图6A的示例性操作的不同之处在于开始会议无需起始应用程序107A/107B。0052图7示出了协作会议会话期间观看参与者的客户端计算装置的示例性用户界面900。例如，用户界面900可以包括应用程序902即，107A/107B的视图、共享视频流904的视图和共享媒体908的视图。此外，共享视频流904的视图可以包括多个共享视频流。此外，用户界面900可以包括共享媒体908的多个视图，且共享媒体可以源自于相同和/或不同来源。此外，用户界面900可以包括浮动工具栏906，其给参与者提供功能控制，诸如例如启动交互式数字表面层、捕获。
49、参与者的桌面的图像即，然后可以和协作会话中的其它参与者共享所述图像等等。交互式数字表面层可被操作来接收用户输入以协作地显示会话期间由用户输入的注释。可以在用户界面900的任何部分即，应用程序902即，107A/107B的视图、共享视频流904的视图、共享媒体908的视图等等上做注释。浮动工具栏906还可以给参与者提供共享各种媒体诸如例如音频、视频、桌面屏幕抓取、短信等等的选项。用户界面900还可以包括例如切换视图按钮或全屏按钮910以操控所显示的视图。用户还可以通过点击并拖曳用户界面900上的视图来切换各种视图。0053图8示出了协作会议会话期间共享参与者的客户端计算装置的示例性用户界面1000。用户界面1000包括参与者与协作会话中的其它参与者共享的桌面视图以及浮动工具栏1006。0054图9示出了协作会议会话期间观看参与者的客户端计算装置的第二示例性用户说明书CN104040946A129/11页13界面1100。类似于图7，用户界面1100包括应用程序1102即，107A/107B的视图、共享视频流1104的视图和共享媒体1108的视图以及浮动工具栏1106。此外，用户界面1100包括聊天视图1114，其允许协作会话中的参与者参加实时聊天会话。0055图10示出了协作会议会话期间观看参与者的客户端计算装置的第三示例性用户界面1200。类似于图9和图11，用户界面1200包括。