一种视频图像和桌面图像自动切换显示的系统及方法.pdf

本发明公开了一种视频图像和桌面图像自动切换显示的系统及方法，系统包括视频图像捕获模块，桌面共享图像捕获模块，演示者输入监控模块和图像叠加模块；参会者显示设备显示演示者视频图像，当演示者共享演示设备桌面或演示者输入监控模块检测到演示者操作输入装置时，设置桌面图像为不透明；当演示者不操作输入装置或不共享演示设备桌面时，设置桌面图像为透明；实现演示者桌面图像和视频图像的自然切换，能使演示者专注于会议内容的宣讲，而不必分心手工切换视频和桌面，提高演示者的操作舒适性和便利性，使视频会议变得更加流畅。

权利要求书1.  一种视频图像和桌面图像自动切换显示的系统，其特征在于包括： 视频图像捕获模块：用于抓取演示者现场视频的图像，并将抓取的图像输出； 桌面共享图像捕获模块：用于抓取演示者演示设备的桌面图像，并将抓取的图像输出； 演示者输入监控模块：用于监控演示者演示设备输入装置的工作状态，并将该状态输出； 图像叠加模块：用于将抓取的演示者演示设备桌面图像以一定透明度与抓取的演示者现场 视频图像叠加，叠加以后的图像作为演示者视频图像发送给其他参会者； 参会者显示设备显示演示者视频图像，当演示者共享演示设备桌面或演示者输入监控模块 检测到演示者操作输入装置时，设置桌面图像为不透明；当演示者不操作输入装置或不共享演 示设备桌面时，设置桌面图像为透明。 2.  一种视频图像和桌面图像自动切换显示的方法，其特征在于包括以下步骤： (1)通过视频图像捕获模块抓取演示者现场视频的图像，通过桌面共享图像捕获模块抓 取演示者演示设备的桌面图像； (2)通过图像叠加模块将抓取的演示者演示设备桌面图像以一定透明度与抓取的演示者 现场视频图像叠加，叠加以后的图像作为演示者视频图像发送给其他参会者； (3)演示者开启桌面共享时，将桌面图像设置为不透明，并通过演示者输入监控模块开 始监控演示设备输入装置的工作状态；演示者输入监控模块检测到用户输入事件时，设置桌面 图像为不透明，重启输入监控；给定时间内演示者输入监控模块没有检测到用户输入时，设置 桌面图像为透明。 3.  根据权利要求2所述的视频图像和桌面图像自动切换显示的方法，其特征在于：所述 步骤(3)在给定时间内演示者输入监控模块没有检测到用户输入时，逐步减小桌面共享图像 透明度，直至完全透明。 4.  根据权利要求2所述的视频图像和桌面图像自动切换显示的方法，其特征在于：所述 步骤(2)视频图像捕获模块和桌面共享图像捕获模块抓取到的图像以位图格式输出，将位图 A和B中对应位置各取一点Pa、Pb，分别求取Pa和Pb的RGB三个分量，并将对应分量按透 明度权值求和拼装成一个新的颜色，新的颜色所组成的图像即为以该透明度叠加的图像。 5.  根据权利要求2所述的视频图像和桌面图像自动切换显示的方法，其特征在于：所述 步骤(3)中设置有用户活动监控定时器Timer1，其定时时长为t1，还设置有透明度累加定时 器Timer2，其定时时长为t2；演示者开启桌面共享时，图像叠加模块启动用户活动监控定时 器timer1，在t1的时间间隔范围内，如果捕获到用户操作输入装置时，则重启该定时器，重 新开始计时；如果用户不活动的时间超过t1，启动透明度递增的定时器timer2，每经过t2的 时长，透明度值增加s，桌面图像将开始消隐视频图像将逐步显示，直到透明度达到最大值， 桌面图像完全隐藏图像叠加器输出的图像是演示者的视频图像。 6.  根据权利要求2所述的视频图像和桌面图像自动切换显示的方法，其特征在于：所述 演示设备输入装置包括键盘和鼠标。

说明书一种视频图像和桌面图像自动切换显示的系统及方法
【技术领域】
本发明属于网络会议技术领域，涉及一种视频图像和桌面图像自动切换显示的系统及方 法。
【背景技术】
网络会议是指两个或两个以上不同地方的个人或群体，通过传输线路及多媒体设备，将声 音、影像、电脑桌面及文件资料互传，实现即时且互动的沟通。网络会议的使用有点像电话， 除了能看到与你通话的人并进行语言交流外，还能看到他们的表情和动作，以及演示者所共享 的桌面，使处于不同地方的人就像在同一房间内沟通。
网络会议借助互联网，实现高效高清的远程会议、办公，在持续提升用户沟通效率、缩减 企业差旅费用成本、提高管理成效等方面具有得天独厚的优势，已部分取代商务出行，成为远 程办公最新模式。近年来，视频会议的应用范围迅速扩大，从政府、公安、军队、法院到科技、 能源、医疗、教育等领域随处可见，涵盖了社会生活的方方面面。
桌面共享指一台电脑将其屏幕的内容通过网络传输给其他终端以供其他用户查看的一种 技术，桌面共享可以用于远程技术支持、远程协助等场景，也可以用于网络会议。在网络会议 的场景下，会议的演示者将演示的文稿通过桌面共享的方式展示给所有的与会者，让与会者不 但可以听到会议的内容，而且可以看到会议的内容，有助于与会者对会议内容的更好的理解。
在会议的主持人控制会议的模式，会议主持人可以设置自己或者另外一个与会者作为演示 者，如果演示者打开自己的摄像头，将自己的视频分享给其他参会者，其他与会者可以看到演 示者视频图像。如果演示者再将自己的桌面共享给与会者，此时演示者侧终端软件一般不再传 送演示者的视频信号，而只传送演示者的桌面共享信号，因为其他用户的显示终端一般只有一 个，只能显示一类信号的图像。只有在演示者关闭桌面共享的情况下，其他与会者才能继续看 到演示者的视频。
现有的多媒体网络会议中，网络会议中与会者看到的演示者的视频和桌面共享图像的切换 一般是由演示者手工控制的：演示者桌面共享的时候与会者只能看到桌面共享图像，不能看到 视频图像；演示者关闭桌面共享的时候，与会者才可能看到演示者的视频。
【发明内容】
本发明的目的是提供一种视频图像和桌面图像自动切换显示的系统及方法，解决了现有网 络会议中存在的桌面和视频需要手工切换的问题。
为达到上述目的，本发明采用如下方案：
一种视频图像和桌面图像自动切换显示的系统包括：
视频图像捕获模块：用于抓取演示者现场视频的图像，并将抓取的图像输出；
桌面共享图像捕获模块：用于抓取演示者演示设备的桌面图像，并将抓取的图像输出；
演示者输入监控模块：用于监控演示者演示设备输入装置的工作状态，并将该状态输出；
图像叠加模块：用于将抓取的演示者演示设备桌面图像以一定透明度与抓取的演示者现场 视频图像叠加，叠加以后的图像作为演示者视频图像发送给其他参会者；
参会者显示设备显示演示者视频图像，当演示者共享演示设备桌面或演示者输入监控模块 检测到演示者操作输入装置时，设置桌面图像为不透明；当演示者不操作输入装置或不共享演 示设备桌面时，设置桌面图像为透明。
一种视频图像和桌面图像自动切换显示的方法，包括以下步骤：
(1)通过视频图像捕获模块抓取演示者现场视频的图像，通过桌面共享图像捕获模块抓 取演示者演示设备的桌面图像；
(2)通过图像叠加模块将抓取的演示者演示设备桌面图像以一定透明度与抓取的演示者 现场视频图像叠加，叠加以后的图像作为演示者视频图像发送给其他参会者；
(3)演示者开启桌面共享时，将桌面图像设置为不透明，并通过演示者输入监控模块开 始监控演示设备输入装置的工作状态；演示者输入监控模块检测到用户输入事件时，设置桌面 图像为不透明，重启输入监控；给定时间内演示者输入监控模块没有检测到用户输入时，设置 桌面图像为透明。
作为本发明的进一步优选方法，所述步骤(3)在给定时间内演示者输入监控模块没有检 测到用户输入时，逐步减小桌面共享图像透明度，直至完全透明。
作为本发明的进一步优选方法，所述步骤(2)视频图像捕获模块和桌面共享图像捕获模 块抓取到的图像以位图格式输出，将位图A和B中对应位置各取一点Pa、Pb，分别求取Pa 和Pb的RGB三个分量，并将对应分量按透明度权值求和拼装成一个新的颜色，新的颜色所 组成的图像即为以该透明度叠加的图像。
作为本发明的进一步优选方法，所述步骤(3)中设置有用户活动监控定时器Timer1，其 定时时长为t1，还设置有透明度累加定时器Timer2，其定时时长为t2；演示者开启桌面共享 时，图像叠加模块启动用户活动监控定时器timer1，在t1的时间间隔范围内，如果捕获到用 户操作输入装置时，则重启该定时器，重新开始计时；如果用户不活动的时间超过t1，启动透 明度递增的定时器timer2，每经过t2的时长，透明度值增加s，桌面图像将开始消隐视频图像 将逐步显示，直到透明度达到最大值，桌面图像完全隐藏图像叠加器输出的图像是演示者的视 频图像。
作为本发明的进一步优选方法，所述演示设备输入装置包括键盘和鼠标。
本发明的有益效果是：
本发明的视频图像和桌面图像自动切换显示的系统及方法，通过图像叠加模块将抓取的演 示者演示设备桌面图像以一定透明度与抓取的演示者现场视频图像叠加作为演示者视频图像 发送给其他参会者，在演示者宣讲过程中，通过演示者输入监控模块监控演示者演示设备输入 装置的工作状态，自动调整演示设备桌面图像的透明度，实现演示者桌面图像和视频图像的自 然切换，能使演示者专注于会议内容的宣讲，而不必分心手工切换视频和桌面，提高演示者的 操作舒适性和便利性，使视频会议变得更加流畅。
进一步，在桌面图像显示切换到视频图像显示的过程中，由于采用桌面图像逐步消隐，视 频图像逐步显示，切换过程中视频和桌面叠加显示的方法，看上去演示者就在演示桌面的后面， 能进一步增强双方交流的现场感。
【附图说明】
图1是本发明中网络会议中视频和桌面叠加的示意图；
图2是本发明中图像叠加模块的功能示意图；
图3是本发明中演示者开启桌面共享以后的处理流程图；
图4是本发明中定时器timer1的超时处理流程图；
图5是本发明中定时器timer2的超时处理流程图；
图6是本发明中收到用户活动的键盘鼠标事件的处理流程图。
【具体实施方式】
下面结合附图和具体实施方式对本发明进行详细描述：
如图1是网络会议中视频和桌面叠加的示意图，图中包括网络会议中典型的两个角色：演 示者和参会者，在演示者一侧视频图像、桌面图像输入到图像叠加模块，叠加模块监控用户活 动的键盘鼠标事件，将桌面图像以一定的透明度叠加在视频图像上输出并发送给参会者显示模 块。
种视频图像和桌面图像自动切换显示的系统，包括视频图像捕获模块：用于抓取演示者现 场视频的图像，并将抓取的图像输出；
桌面共享图像捕获模块：用于抓取演示者演示设备的桌面图像，并将抓取的图像输出；
演示者输入监控模块：用于监控演示者演示设备输入装置的工作状态，并将该状态输出；
图像叠加模块：用于将抓取的演示者演示设备桌面图像以一定透明度与抓取的演示者现场 视频图像叠加，叠加以后的图像作为演示者视频图像发送给其他参会者；如图2所示，图中输 入是视频图像和桌面图像，视频图像和桌面图像的每一个像素点以输入的透明度进行叠加。
参会者显示设备显示演示者视频图像，当演示者共享演示设备桌面或演示者输入监控模块 检测到演示者操作输入装置时，设置桌面图像为不透明；当演示者不操作输入装置或不共享演 示设备桌面时，设置桌面图像为透明。
一种视频图像和桌面图像自动切换显示的方法，包括以下步骤：
(1)通过视频图像捕获模块抓取演示者现场视频的图像，通过桌面共享图像捕获模块抓 取演示者演示设备的桌面图像；
(2)通过图像叠加模块将抓取的演示者演示设备桌面图像以一定透明度与抓取的演示者 现场视频图像叠加，叠加以后的图像作为演示者视频图像发送给其他参会者；
(3)演示者开启桌面共享时，将桌面图像设置为不透明，并通过演示者输入监控模块开 始监控演示设备输入装置的工作状态；演示者输入监控模块检测到用户输入事件时，设置桌面 图像为不透明，重启输入监控；给定时间内演示者输入监控模块没有检测到用户输入时，设置 桌面图像为透明。
现有的网络会议系统中，演示者的视频和桌面共享是互斥的，只要演示者打开桌面共享， 与会者就无法看到演示者的视频，如果要看到演示者的视频，演示者就必须关闭桌面共享。这 种由演示者手工控制的视频和桌面共享图像的切换的方法，在需要频繁切换视频和桌面共享的 场合增加了演示者多余的动作，使会议的过程显得不自然流畅，演示者与参会者的交流变得生 硬。
本发明提供的视频图像和桌面图像自动切换显示的系统及方法，能在演示者共享桌面的时 候，自动监控演示者对桌面的操作的鼠标、键盘等事件，在演示者不操作桌面的时候，以逐渐 显示的效果显示演示者的视频，而在用户操作桌面的时候，立即显示演示者的桌面。
进一步，视频图像捕获模块和桌面共享图像捕获模块抓取到的图像以位图格式输出，将位 图A和B中对应位置各取一点Pa、Pb，分别求取Pa和Pb的RGB三个分量，并将对应分量 按透明度权值求和拼装成一个新的颜色，新的颜色所组成的图像即为以该透明度叠加的图像。
网络会议中根据角色的不同，用户分为演示者和参会者，演示者是当前会议内容的主导者， 演示者将通过音频、视频、桌面等方式向其他与会者宣讲会议的内容，其他的参会者则收听演 示者的音频信息，观看演示者发布的视频、桌面信息。因为本发明不涉及音频信息，下文以及 附图中将不包括音频信号处理的说明。
在参会者一侧，有一个显示设备，如果参会者以电脑连接到网络会议，此显示设备一般指 电脑的显示器。显示设备在网络会议中的功能是将远端演示者传送的可视信号，如视频、桌面 等信号显示出来，在本发明中属于从属设备。
在演示者一侧，包括视频图像捕获、桌面图像捕获、用户输入等部分，其中视频图像捕获 的设备一般包括摄像头，视频捕获设备根据用户在启动摄像头时设定的每秒捕获的帧数，通过 摄像头的CCD感光器件，高速抓取图像。抓取到的图像以位图等格式输出出来。
桌面信息是显示器显示出来的内容，抓取屏幕图像的方法有多种，例如帧缓冲区抓取方式、 镜像驱动抓取方式。帧缓冲器是一个视频输出设备，它从一个包含了完整帧数据的内存缓冲区 驱动视频显示器。内存缓冲区中的信息通常包含屏幕上每个像素的色彩值，色彩值常以1位、 4位、8位、16位及24位真彩色格式存储。有时还有一个alpha通道来保存像素的透明度。 驱动帧缓冲器所需的总内存量取决于输出信号的分辨率(分辨率)、色彩深度和调色板大小。 因为帧缓冲区以内存方式保存当前屏幕显示的内容，要捕获屏幕的图像，可以直接将帧缓冲区 的内容拷贝出来。
镜像驱动实际上就是一种显卡驱动，镜像驱动在操作系统中的位置与显卡驱动完全相同， 与显卡驱动一样，镜像驱动接收所有的操作系统绘图指令，并在自己的内存中绘制出与屏幕显 示内容完全一致的图像。采用镜像驱动的方式，可以独立于系统的显示过程，因此对用户的响 应速度更快。
无论是镜像驱动还是帧缓冲区方式，对屏幕图像的捕获最终输出的都是屏幕图像。
用户的输入设备一般包括键盘和鼠标，用户操作键盘和鼠标时，系统底层将触发系统中断， 这些中断在操作系统和应用程序层次将被封装成键盘、鼠标事件。
两幅图像以不同的透明度叠加其实是将位图A和B中对应位置各取一点Pa、Pb，分别求 取Pa和Pb的RGB三个分量，并将对应分量按透明度权值求和拼装成一个新的颜色，新的颜 色所组成的图像即为以该透明度叠加的图像。算法如下：

随着alpha参数由0-255的变化，混合效果可以实现全透明--不透明的渐变。
图3所示，是演示者开启桌面共享以后的处理流程，设置有用户活动监控定时器Timer1， 其定时时长为t1，还设置有透明度累加定时器Timer2，其定时时长为t2；演示者在开启视频 以后再开启桌面共享，图像叠加模块将设置透明度的初始值为0，启动用户活动监视定时器 timer1，开始图像叠加；启动桌面后，如果用户不活动的时间超过t1，桌面图像将开始消隐， 视频图像将逐步显示；在桌面图像开始消隐以后，每经过t2时长，透明度增加s，直到透明度 达到最大值。
演示者开始视频时，此时参会者看到演示者的视频信号。接着演示者又打开了桌面共享， 此时桌面图像的透明度为0，即图像叠加模块输出的图像完全是桌面图像，参会者看到的也是 桌面图像。在用户启动桌面共享的时候，图像叠加模块启动用户活动监控定时器timer1，定时 器的时长为t1。在t1的时间间隔范围内，如果捕获到用户活动的键盘鼠标事件，则重启该定 时器，重新开始计时。
如图4所示，是定时器timer1的超时处理流程，如果在t1的时间范围内，如果没有捕获 到用户键盘鼠标等活动事件，图像叠加模块将停止定时器t1，启动透明度递增的定时器timer2， 每经过t2的时长，透明度值增加s，直到透明度达到最大值，图像叠加器输出的图像是用户的 视频图像，桌面图像完全隐藏。此时停止定时器timer2。
图5是定时器timer2的超时处理流程，定时器timer2超时以后，将透明度增加s，结果如 果大于透明度最大值，则输出透明度最大值；如果小于透明度最大值，将重启定时器timer2。
如图6所示，是收到用户活动的键盘鼠标事件的处理，任何时刻捕获到用户键盘、鼠标活 动的事件以后，将透明度设置为0，立即显示桌面图像，并重启定时器timer1。