《视频会议系统及其视频图像控制方法.pdf》由会员分享，可在线阅读，更多相关《视频会议系统及其视频图像控制方法.pdf（12页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103634560 A (43)申请公布日 2014.03.12 CN 103634560 A (21)申请号 201210297904.6 (22)申请日 2012.08.21 H04N 7/15(2006.01) H04N 7/14(2006.01) G06K 9/00(2006.01) (71)申请人 鸿富锦精密工业 （深圳） 有限公司 地址 518109 广东省深圳市宝安区龙华镇油 松第十工业区东环二路 2 号 申请人 鸿海精密工业股份有限公司 (72)发明人 林佳颖 刘良栋 (54) 发明名称 视频会议系统及其视频图像控制方法 (57) 摘要 本发明提供一种。
2、视频会议系统及其视频图像 控制方法。该方法包括步骤 ： 接收远程视频会议 的图像 ； 判断远程视频会议图像中是否有人脸图 像 ； 若有， 确定远程视频会议终端中需进行直接 视线接触的用户并识别该用户的眼睛图像 ； 接收 本地用户的输入操作并确定图像采集装置位于图 像显示设备上的位置 ； 确定图像采集装置位于图 像显示设备的位置处有直接视线接触的目标位 置 ； 将需进行直接视线接触用户的图像显示于目 标位置。该方法通过确定远程视频会议宏旭进行 直接视线接触用户， 后确定图像采集装置位于图 像显示设备上的位置及该位置处有直接视线接触 效果的目标位置， 最后将用户的图像显示于该目 标位置处以使本地用。
3、户与远程用户之间能进行视 线的直接接触。 (51)Int.Cl. 权利要求书 2 页 说明书 6 页 附图 3 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书6页 附图3页 (10)申请公布号 CN 103634560 A CN 103634560 A 1/2 页 2 1. 一种视频会议系统的视频图像控制方法， 该视频会议系统包括至少一本地视频会议 终端及一远程视频会议终端， 所述本地视频会议终端包括有视频图像采集装置、 图像显示 设备及视频会议控制系统， 其特征在于， 该方法包括以下步骤 ： 接收远程视频会议的图像 ； 判断在所接收到的远程视频会议图像。
4、中是否有人脸图像 ； 当判断出所述远程视频会议图像中有人脸图像时， 确定所述远程视频会议终端中需进 行直接视线接触的用户 ； 识别所述需进行直接视线接触用户的眼睛图像 ； 接收用户有关所述视频图像采集装置映射于所述图像显示设备上的位置的输入操作 并确定所述图像采集装置映射于所述图像显示设备上的位置 ； 确定所述图像采集装置映射于所述图像显示设备的位置处有直接视线接触的目标位 置 ； 将所述需进行直接视线接触用户的图像显示于该目标位置处。 2. 如权利要求 1 所述的方法， 其特征在于， 步骤 “确定所述远程视频会议终端中需进行 直接视线接触的用户” 具体包括 ： 在所述远程视频图像中识别人脸图。
5、像数量， 当所识别到的人脸图像数量为 1 时， 确定 该用户为远程视频会议终端中需进行直接视线接触的用户 ； 及 当所识别的人脸图像数量超过 1 时， 在所述远程视频图像中识别嘴型有变化的用户并 确定该嘴型有变化的用户为远程视频终端中需进行直接视线接触的用户。 3. 如权利要求 1 所述的方法， 其特征在于， 所述图像采集装置映射于所述图像显示设 备的位置及目标位置均是指落入以所述图像显示设备的显示屏所在平面及以该显示屏的 尺寸面积为基准所建立的坐标系中的坐标位置， 其中， 该坐标系是以该显示屏的四个顶角 中之一顶角为坐标系的原点， 以过该顶角的相邻的两边中的其中一边所在的直线为该坐标 系的横。
6、轴， 以两边中的其中另一边所在直线为该坐标系的纵轴。 4. 如权利要求 1 所述的方法， 其特征在于， 还包括如下步骤 ： 将所述需进行直接视线接 触用户的眼睛图像放置到该目标位置处。 5. 如权利要求 4 所述的方法， 其特征在于， 还包括如下步骤 ： 判断将所述需进行直接视 线接触用户的眼睛图像放置到该目标位置处时该用户的图像是否会超出所述显示屏的显 示范围 ； 当判断出该用户的图像会超出所述显示屏的显示范围时， 切除该用户的图像中超 出所述显示屏的显示范围的图像， 并将切除后的该用户的图像显示于该目标位置处。 6. 一种视频会议系统， 包括至少一本地视频会议终端、 一远程视频会议终端及连。
7、接两 视频视频会议终端的网络， 所述本地视频会议终端包括 ： 用于采集视频会议图像的视频图 像采集装置 ； 用于显示所述远程视频会议终端的视频会议图像的图像显示设备 ； 及与所述 视频图像采集装置和与所述图像显示设备相连接的视频会议控制系统 ； 其特征在于， 该视 频会议控制系统包括 ： 一图像接发单元， 用于接收远程视频会议终端中的视频会议控制系统所发的远程视频 会议图像及发送本地视频会议图像给远程视频会议终端中的视频会议控制系统， 一控制单元， 用于判断在所接收到的远程视频图像中是否有人脸图像， 当判断出在所 述远程视频图像中有人脸图像时， 确定所述远程视频会议终端中需进行直接视线接触的用。
8、 权 利 要 求 书 CN 103634560 A 2 2/2 页 3 户并识别该用户的眼睛图像 ； 一位置输入单元， 用于响应用户的所述图像采集装置映射于所述图像显示设备上的位 置的输入操作并生产一输入信号 ； 一位置接收单元， 用于接收所述位置输入单元的输入信号并确定所述图像采集装置映 射于所述图像显示设备的显示屏所在平面上的位置 ； 一确定单元， 用于确定所述图像采集装置映射于所述图像显示设备上的位置处有直接 视线交流效果的目标位置 ； 一微处理器， 用于将所述远程视频会议终端中需进行视线接触用户的图像显示于上述 目标位置处。 7. 如权利要求 6 所述的视频会议系统， 其特征在于， 所。
9、述控制单元还用于在所述远程 视频图像中识别人脸图像数量及在所述远程视频图像中识别嘴型有变化的用户， 当所识别 到的人脸图像数量为 1 时， 所述控制的单元确定该用户为远程视频会议终端中需进行直接 视线接触的用户 ； 当所识别的人脸图像数量超过 1 时， 所述控制单元在所述远程视频图像 中识别嘴型有变化的用户并确定该嘴型有变化的用户为所述远程视频终端中需进行直接 视线接触的用户。 8. 如权利要求 6 所述的视频会议系统， 其特征在于， 所述图像采集装置映射于所述图 像显示设备的位置及目标位置均是指落入以所述图像显示设备的显示屏所在平面及以该 显示屏的尺寸面积为基准所建立的坐标系中的坐标位置， 。
10、其中， 该坐标系是以该显示屏的 四个顶角中之一为坐标系的原点， 以过该顶角的相邻的两边中的其中一边所在的直线为该 坐标系的横轴， 以两边种的其中另一边所在直线为该坐标系的纵轴。 9. 如权利要求 6 所述的视频会议系统， 其特征在于， 所述微处理器将所述远程视频会 议终端中需进行直接视线接触用户的眼睛图像显示于所述目标位置处。 10. 如权利要求 9 所述的视频会议系统， 其特征在于， 在将所述需进行直接视线接触用 户的眼睛图像显示于所述目标位置处时所述微处理器还用于判断该用户的图像是否会超 出所述显示屏的显示范围， 当判断出该用户的部分图像超出所述显示屏的显示范围时， 所 述微处理器还用于切。
11、除该用户的图像中超出所述显示屏的显示范围的图像并将解除后的 该用户的图像显示于该目标位置处。 权 利 要 求 书 CN 103634560 A 3 1/6 页 4 视频会议系统及其视频图像控制方法 技术领域 0001 本发明涉及视频会议技术领域， 尤其涉及一种视频会议系统及其视频图像控制方 法。 背景技术 0002 视频会议可让参会人员彼此直接地观察对方的形象、 动作、 表情等， 从而使得本地 参会人员可与远程参会人员进行互动， 使不同地点的参会人员感受到如同参加 “面对面” 的 现场会议一样的效果。因此， 视频会议系统在每一端都至少有一显示远程用户图像的显示 屏及照相机或者摄像机等获取参会人。
12、员的图像的图像采集设备。 0003 请参阅图 1 所示的现有的视频会议系统。参加视频会议的本地用户 A 和远程用户 B都各自看着显示对方图像的显示屏21与22。 在图1所示的视频会议系统中， 摄像头11与 12 安置于显示屏 21 与 22 的上方。角度 表示摄像头 11 与显示屏 21 对用户 A 的夹角， 由 于用户A直接注视着用户B的图像 （眼睛图像） 而非摄像头11， 所以摄像头11所捕获到的用 户 A 的图像中用户 A 的眼睛是注视着下方的。如此， 如果系统直接将摄像头 11 所捕获的用 户 A 的图像显示于显示屏 22 上， 则用户 B 在观看用户 A 的图像时， 用户 B 是看向。
13、用户 A 的 眼睛， 用户 A 的视线是往下看， 如此用户 A 与用户 B 的视线是错开的。同理， 用户 A 在观看 用户 B 的图像时也有类似的视觉偏差。众所周知， 在交谈中注视对方眼睛是一种基本的礼 仪， 也有利于促进双方的交谈。因此， 图 1 所示的视频会议系统中， 用户 B 在观看用户 A 的 图像时， 理想的状况应该是用户 B 的视线看向用户 A 的眼睛， 用户 A 视线也看向用户 B 的眼 睛， 即用户 A 与 B 之间有直接的视线接触。 发明内容 0004 有鉴于此， 有必要提供一种视频会议中的视频图像的控制方法， 通过加强本地用 户与远程用户之间的直接视线接触以提高本地用户与远。
14、程用户之间的交流品质， 以解决上 述问题。 0005 为达到上述目的， 本发明所提供的视频会议中的视频图像控制方法， 该视频会议 系统包括至少一本地视频会议终端及一远程视频会议终端， 所述视频会议终端包括有视频 图像采集装置、 图像显示设备及视频会议控制系统， 该方法包括以下步骤 ： 0006 接收远程视频会议的图像 ； 0007 判断在所接收到的远程视频会议图像中是否有人脸图像 ； 0008 当所述远程视频会议图像中有人脸图像时， 确定所述远程视频会议终端中需进行 直接视线接触的用户 ； 0009 识别所述需进行直接视线接触用户的眼睛图像 ； 0010 接收用户有关所述视频图像采集装置映射于。
15、所述图像显示设备上的位置的输入 操作并确定所述图像采集装置映射于所述图像显示设备上的位置 ； 0011 确定所述图像采集装置映射于所述图像显示设备的位置处有直接视线接触的目 说 明 书 CN 103634560 A 4 2/6 页 5 标位置 ； 0012 将所述需进行直接视线接触用户的图像显示于该目标位置处。 0013 此外， 本发明还提供一种视频会议系统。 该视频会议系统， 包括至少一本地视频会 议终端、 一远程视频会议终端及连接两视频视频会议终端的网络， 所述视频会议终端包括 ： 用于采集视频会议图像的视频图像采集装置 ； 用于显示所述远程视频会议终端的视频会议 图像的图像显示设备 ； 。
16、及与所述视频图像采集装置和与所述图像显示设备相连接的视频会 议控制系统 ； 该视频会议控制系统包括 ： 一图像接发单元， 用于接收远程视频会议终端中 的视频会议控制系统所发的远程视频会议图像及发送本地视频会议图像给远程视频会议 终端中的视频会议控制系统， 一控制单元， 用于判断在所接收到的远程视频图像中是否有 人脸图像， 当判断出在所述远程视频图像中有人脸图像时， 确定所述远程视频会议终端中 需进行直接视线接触的用户并识别该用户的眼睛图像 ； 一位置输入单元， 用于响应用户的 所述图像采集装置映射于所述图像显示设备上的位置的输入操作并生产一输入信号 ； 一位 置接收单元， 用于接收所述位置输入。
17、单元的输入信号并确定所述图像采集装置映射于所述 图像显示设备的显示屏所在平面上的位置 ； 一确定单元， 用于确定所述图像采集装置映射 于所述图像显示设备上的位置处有直接视线交流效果的目标位置 ； 一微处理器， 用于将所 述远程视频会议终端中需进行视线接触用户的图像显示于上述目标位置处。 0014 相对于现有技术， 上述视频会议系统及其视频图像控制方法， 通过判断在远程视 频图像中是否有用户人脸图像， 当判断出有人脸图像时便确定远程会议中需进行直接视线 接触的用户及识别该用户眼睛的图像， 之后获取图像采集装置的位置并读取图像采集装置 的该位置处有直接视线接触效果的目标位置， 最后将远程需进行视线。
18、接触的用户的图像放 置到该有直接视线接触效果的目标位置， 以使本地用户与远程用户之间能进行视线的直接 接触， 以提高双方交谈的质量。 附图说明 0015 图 1 为现有技术中视频会议系统中用户视线交流的示意图。 0016 图 2 为本发明一实施方式的视频会议系统的示意图。 0017 图 3 为本发明一实施例的视频会议系统中的控制系统功能模块图。 0018 图 4 为本发明一实施例的视频会议系统的视线接触方法的流程图。 0019 主要元件符号说明 0020 本地视频会议终端 100 远程视频会议终端 200 网络通讯模块 300 图像采集装置 10 摄像头 11,12 说 明 书 CN 1036。
19、34560 A 5 3/6 页 6 图像显示设备 20 显示屏 21,22 视频会议控制系统 30 图像接发单元 31 控制单元 32 人脸识别模块 321 嘴型识别模块 322 视线接触确定模块 323 眼睛识别模块 324 位置输入单元 33 存储单元 34 确定单元 35 微处理器 36 位置接收单元 37 0021 0022 如下具体实施方式将结合上述附图进一步说明本发明。 具体实施方式 0023 本发明为改进视频会议中本地用户与远程用户之间存在的视觉偏差而导致无直 接的视线接触之问题， 通过判断在远程视频图像中能否有用户人脸图像， 当有人脸图像时， 确定远程会议中需进行视线接触的用户。
20、及识别该用户眼睛的图像， 之后获取图像采集装置 的位置并读取图像采集装置的该位置处有直接视线接触效果的目标位置， 最后将远程需进 行视线接触的用户图像调整到该有直接视线接触效果的目标位置， 以使本地用户与远程用 户之间能进行视线的直接接触， 以提高视频会议的质量。 0024 请参阅图2， 其为本发明一实施方式的视屏会议系统的示意图。 该视频会议系统包 括本地视频会议终端100、 本地参会用户至少1人、 远程视频会议终端200、 远程参会用户至 少1人及连接两视频会议终端的网络通讯模块300。 在本实施方式中， 该网络通讯模块可以 是 GSM( 全球移动通讯系统 ) 网络， GPRS( 通用分组。
21、无线业务 ) 网络， UMTS( 通用移动通讯系 统 ) 网络， 或者 WIFI( 无线局域网 ) 网络。 0025 为简化描述， 本地视频会议终端 100 与远程视频会议终端 200 被认为是相同的且 说 明 书 CN 103634560 A 6 4/6 页 7 只对本地视频会议终端 100 做详细描述。本地视频会议终端 100 包括一视频图像采集装置 10、 一图像显示设备 20 及一视频会议控制系统 30。视频图像采集装置 10 与视频会议控制 系统 30 相连接， 用于采集视频会议室的图像， 尤其是参加视频会议用户的图像。其中， 图像 采集装置 10 可以为摄像头或者摄像机， 该图像采。
22、集装置 10 位于图像显示设备显示屏一侧 的四周。图像显示设备 20 与视频会议控制系统 30 相连接， 用于显示视频会议控制系统 30 所接收到的远程视频图像。其中， 该图像显示设备 20 可为计算机或笔记本的显示屏、 电视 机的显示屏或者复杂视频投影系统中的显示屏。 0026 请参见图3， 视频会议控制系统30包括一图像接发单元31、 一控制单元32、 一微处 理器 36。 0027 图像接发单元 31， 用于接收远程视频会议控制系统所传送过来的远程视频会议图 像及发送本地的视频会议图像给远程的远程视频会议终端中的视频会议控制系统。 0028 控制单元 32 包括一人脸识别模块 321、 。
23、一嘴型识别模块 322、 视线接触确定模块 323、 及一眼睛识别模块 324。 0029 人脸识别模块 321， 用于判断图像接发单元 31 所接收到的远程视频图像中的是否 有人脸图像， 当在远程视频图像中识别到人脸图像时， 人脸识别模块 321 还识别远程视频 图像中的人脸图像数量。在本实施方式中， 当人脸识别模块 321 在远程视频图像中识别到 的人脸图像数量为1时， 说明该远程视频会议终端200参加该视频会议的用户为1人 ； 当人 脸识别模块 321 在远程视频图像中识别到的人脸图像数量大于 1 时， 说明该远程视频会议 终端 200 判断参加该视频会议的用户为多人。 0030 嘴型识。
24、别模块 322， 用于在远程视频会议终端 200 参加该视频会议的用户为多人 时， 识别远程视频图像中嘴型有变化的远程视频会议终端 200 的用户。本实施方式中， 当参 加视频会议的用户为多人时， 借助用户的嘴型变化来判断远程视频会议终端 200 的多个用 户中的某一用户为此时正在讲话或交谈的用户， 即该用户正与本地用户进行交流。同时默 认同一时刻该远程视频会议终端 200 只有一人在说话。 0031 视线接触确定模块 323， 用于确定远程视频会议中需与本地用户进行直接视线接 触的用户。在本实施方式中， 当人脸识别模块 321 在远程视频图像中识别到的人脸图像数 量为 1 时， 视线接触确定。
25、模块 323 便确定远程视频会议终端 200 的该用户为需与本地视频 会议终端 100 的用户进行直接视线接触的用户 ； 当人脸识别模块 321 在远程视频图像中识 别到的人脸图像数量超过 1 时， 视线接触确定模块 323 便确定嘴型识别模块 322 所识别嘴 型有变化的远程视频会议终端200的该用户为需与本地视频会议终端100的用户进行直接 视线接触的用户。 0032 眼睛识别模块 324， 用于在远程视频图像中识别该需进行直接视线接触用户的眼 睛图像。 0033 该视频会议控制系统30还包括一位置输入单元33、 位置接收单元37、 一存储单元 34 及一确定单元 35。 0034 需要说。
26、明的是在本发明中， 以下说明书中所提到的位置均是指落入以图像显示设 备 20 的显示屏所在的平面及以该显示屏的尺寸面积为基准所建立的坐标系中的坐标位 置， 其中， 该坐标系是以该显示屏的四个顶角中之一为坐标系的原点， 以过该顶角的相邻的 两条边中的其中一条边所在的直线为该坐标系的横轴， 以两条边中的另一条边所在的直线 说 明 书 CN 103634560 A 7 5/6 页 8 为该坐标系的纵轴。 0035 当视频图像采集装置 10 安装固定于图像显示设备 20 时， 用户触发位置输入单元 33， 位置输入单元 33 响应用户的输入操作并产生一图像采集装置 10 映射至图像显示设备 20 上的。
27、某一位置的输入信号。 0036 位置接收单元37， 与位置输入单元33相连接， 用于接收所述位置输入单元33的输 入信号并确定所述图像采集装置10映射至所述图像显示设备20的显示屏所在平面上的位 置， 即图像采集装置 10 映射在图像显示设备 20 的显示屏所在平面上的位置坐标。在本实 施方式中， 该位置输入单元为一滑动式输入条。 在其他实施方式中， 该位置输入单元为一旋 转按钮。 0037 存储单元 34， 存储有图像采集装置映射于图像显示设备的显示屏所在平面上的不 同位置处有直接视线接触效果的远程用户图像所在的位置列表， 即远程用户图像放置在本 地图像显示设备的显示屏所在平面上的位置坐标以。
28、使本地用户在观看该远程用户的图像 时有直接的视线接触之效果， 以下简称该位置坐标为目标位置。 0038 确定单元 35， 用于确定图像采集装置映射于图像显示设备的显示屏所在平面上的 位置处有直接视线接触效果的目标位置。在实施方式中， 确定单元 35 是从存储单元 34 中 读取图像采集装置位于图像显示设备的显示屏所在平面上的位置处的目标位置。 0039 微处理器 36 将该远程视频会议终端 200 的需进行视线接触用户的图像显示于该 目标位置处， 尤其是将该用户的眼睛图像显示于该目标位置处。进一步地， 微处理器 36 用 于判断该用户的眼睛图像显示与上述目标位置时该用户的图像是否会部分超出该显。
29、示屏 的显示范围时， 当判断出该用户的眼睛图像显示于上述目标位置时该用户的图像将部分超 出该显示屏的显示范围时， 微处理器 36 还对该用户图像中超出显示屏的那部分图像做切 除处理并将切除后的该用户的图像显示于该目标位置处。 0040 请参见图 4， 下面将结合本发明的视频会议系统对本发明视频图像控制方法做进 一步详细的说明。 0041 步骤 S401， 图像接发单元 31 接收远程视频图像。 0042 步骤 S402， 人脸识别模块 321 在所接收到的远程视频图像中识别是否有人脸图 像， 如果是， 则进入步骤 S403， 如果否， 则流程结束。 0043 步骤 S403， 人脸识别模块 3。
30、21 识别该远程视频图像中的人脸图像的数量是否超过 1， 如果是， 则进入步骤 S404， 如果否， 则进入步骤 S405。 0044 步骤 S404， 嘴型识别模块 322 在远程视频图像中识别嘴型有变化的用户。需要说 明的是在本实施方式中， 默认同一时刻远程视频会议终端 200 只有一人在说话。 0045 步骤 S405， 视线接触确定模块 323 确定远程视频图像中需进行视线接触的用户。 在本实施方式中， 当在步骤 S403 中识别出人脸图像数为 1 时， 视线接触确定模块 323 确认 远程视频会议终端200的该用户为需进行直接视线接触的用户 ； 当在步骤S403中识别出人 脸图像数超。
31、过 1 时， 视线接触确定模块 323 确定嘴型识别模块 322 所识别到嘴型有变化的 远程视频会议终端 200 的该用户为需要进行直接视线接触的用户。 0046 步骤 S406， 眼睛识别模块 324 在远程视频图像中识别该需要进行直接视线接触用 户的眼睛图像。 0047 步骤S407， 固定视频图像采集装置10， 位置输入单元33响应用户的所述图像采集 说 明 书 CN 103634560 A 8 6/6 页 9 装置 10 映射于所述图像显示设备 20 上的位置的输入操作并产生一输入信号， 位置接收单 元 37 接收位置输入单元 33 所产生的输入信号并确定图像采集装置 10 映射于图像。
32、显示设 备 20 的显示屏所在平面上的位置。 0048 步骤S408， 确定单元35确定图像采集装置10映射于图像显示设备20上的位置处 有直接视线接触效果的目标位置。 0049 步骤S409， 微处理器36将远程视频会议终端200的需进行视线接触用户的图像显 示于上述目标位置处。 0050 在本实施方式中， 微处理器36将远程视频会议终端200的需进行视线接触用户的 眼睛图像显示于上述目标位置处。 0051 本实施方式还包括步骤， 判断将该用户的眼睛图像调整到该目标显示于该用户的 局部图像是否会超出该显示屏的显示范围， 当判断出该用户的图像会超出所述显示屏的显 示范围时， 微处理器 36 还。
33、对该用户图像中超出显示屏的那部分图像做切除处理， 处理器将 做过切除后的该用户的图像显示于上述目标位置上。 0052 本技术领域的普通技术人员应当认识到， 以上的实施方式仅是用来说明本发明， 而并非用作为对本发明的限定， 只要在本发明的实质精神范围之内， 对以上实施方式所作 的适当改变和变化都落在本发明要求保护的范围之内。 说 明 书 CN 103634560 A 9 1/3 页 10 图 1 图 2 说 明 书 附 图 CN 103634560 A 10 2/3 页 11 图 3 说 明 书 附 图 CN 103634560 A 11 3/3 页 12 图 4 说 明 书 附 图 CN 103634560 A 12 。