视频图像处理的方法和装置.pdf

本发明实施例公开了一种视频图像处理的方法和装置，所述方法包括：接收对端设备发送的对端视频图像；对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；获取本端被摄对象与本端屏幕之间的第一距离；根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像；将所述第一有效本端视频图像发送给所述对端设备。

权利要求书1.  一种视频图像处理的方法，其特征在于，所述方法包括： 接收对端设备发送的对端视频图像； 对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳 孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置； 获取本端被摄对象与本端屏幕之间的第一距离； 根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的 视角夹角，得到第一有效摄像范围； 根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像； 将所述第一有效本端视频图像发送给所述对端设备。 2.  根据权利要求1所述的方法，其特征在于，所述根据所述瞳孔区域的 大小、第一位置和第一距离，以及对端被摄对象的视角夹角，得到第一有效 摄像范围具体为： X=2h×tg(a/2)+X0其中，X为第一有效摄像范围的宽度、h为第一距离、a为对端被摄对象 的视角夹角、X0为瞳孔区域的宽度；所述瞳孔区域在对端视频图像中的第一位 置满足瞳孔区域边缘至对端屏幕边缘的距离不小于h×tg(a/2)。 3.  根据权利要求1所述的方法，其特征在于，所述根据第一有效摄像范 围，得到本端被摄对象的第一有效本端视频图像具体为： 通过全部摄像单元采集所述本端的被摄对象的平行光信号，以获得第一 数量个摄像单元图像；其中，每个所述摄像单元图像为本端被摄对象的一部 分影像；所述第一数量为所述全部摄像单元的数量； 由所述第一数量个摄像单元图像合成得到本端视频图像； 根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本 端视频图像在第一有效摄像范围内的第一有效本端视频图像。 4.  根据权利要求1所述的方法，其特征在于，所述根据第一有效摄像范 围，得到本端被摄对象的第一有效本端视频图像具体为： 通过本端全部摄像单元在第一有效摄像范围内的多个摄像单元采集本端 被摄对象的平行光信号，以获得第二数量个摄像单元图像；其中，所述第二 数量为第一有效摄像范围内的摄像单元的数量； 由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。 5.  根据权利要求3或4所述的方法，其特征在于，所述第一距离的获取 方法具体为： 发射第一光信号； 通过各所述摄像单元接收所述第一光信号经过所述本端被摄对象反射后 的第二光信号； 根据所述第一光信号的发射时间和所述各摄像单元对第二光信号的接收 时间得到所述各摄像单元图像的深度信息； 对所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。 6.  根据权利要求1所述的方法，其特征在于，在接收对端设备发送的对 端视频图像之后，所述方法还包括： 将对端视频图像转化为显示驱动信号； 根据显示驱动信号对所述对端视频图像进行显示。 7.  根据权利要求1所述的方法，其特征在于，对所述对端视频图像进行 处理具体为： 每间隔第一时间，对所述对端视频图像进行处理；其中所述第一时间为 采样间隔时间。 8.  一种视频图像处理的装置，其特征在于，所述装置包括： 接收单元，用于接收对端设备发送的对端视频图像； 图像识别单元，用于对所述对端视频图像进行处理，得到对端被摄对象 在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的 第一位置； 距离获取单元，用于获取本端被摄对象与本端屏幕之间的第一距离； 摄像区域决策单元，用于根据所述瞳孔区域的大小、第一位置和第一距 离，以及对端被摄对象的视角夹角，得到第一有效摄像范围； 有效图像获取单元，根据第一有效摄像范围，得到本端被摄对象的第一 有效本端视频图像； 发送单元，用于将所述第一有效本端视频图像发送给所述对端设备。 9.  根据权利要求8所述的装置，其特征在于，所述有效图像获取单元具 体包括多个摄像单元、合成单元和处理单元； 每个所述摄像单元用于，采集所述本端的被摄对象的平行光信号，以获 得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部 分影像； 所述合成单元用于，由全部摄像单元获取的第一数量个摄像单元图像合 成得到本端视频图像；其中，所述第一数量为所述全部摄像单元的数量； 所述处理单元用于，根据所述第一有效摄像范围对所述本端视频图像进 行处理，得到所述本端视频图像在第一有效摄像范围内的第一有效本端视频 图像。 10.  根据权利要求8所述的装置，其特征在于，所述有效图像获取单元 具体包括多个摄像单元、摄像控制单元和合成单元： 每个所述摄像单元用于，采集所述本端的被摄对象的平行光信号，以获 得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部 分影像； 所述摄像控制单元用于，控制在第一有效摄像范围内的多个摄像单元对 本端被摄对象的平行光信号进行采集，得到第二数量个摄像单元图像；其中， 所述第二数量为第一有效摄像范围内的摄像单元的数量； 所述合成单元用于，由所述第二数量个摄像单元图像合成得到第一有效 本端视频图像。 11.  根据权利要求9或10所述的装置，其特征在于，所述装置还包括： 光信号发生器； 所述光信号发生器用于发射第一光信号； 所述摄像单元接收所述第一光信号经过所述本端被摄对象反射后的第二 光信号； 所述距离获取单元具体用于，根据所述第一光信号的发射时间和第二光 信号的接收时间得到所述各摄像单元图像的深度信息，并对所述各摄像单元 图像的深度信息进行加权处理，得到所述第一距离。 12.  根据权利要求8所述的方法，其特征在于，所述装置还包括： 显示驱动单元，用于将对端视频图像解码信息转化为显示驱动信号； 显示单元，用于根据显示驱动信号对所述对端视频图像信息进行显示。 13.  根据权利要求8所述的装置，其特征在于，所述图像识别单元具体 包括处理周期设定单元，用于将对所述对端视频图像信息进行处理的时间间 隔设定为第一时间，所述第一时间为采样间隔时间。

说明书视频图像处理的方法和装置
技术领域
本发明涉及通信技术领域，尤其涉及一种视频图像处理的方法和装置。
背景技术
随着网络技术的发展，视频通信技术的应用也越来越普及，视频会议， 视频聊天等已经成为人们日常工作生活中不可缺少的沟通联络方式。用户对 于视频通信的质量要求越来越高，单纯的清晰、流畅，已经不能满足用户的 要求。
在人与人实际面对面对话的场景中，对话一方想要离近另一方，只要向 另一方的方向移动身体即可；当一个人对其面前的物体想要仔细观察，也只 要凑近观看即可。
然而在现有的视频通信技术中，无论一方用户怎样移动自己的位置，显 示器显示出对方的画面都是不会改变的，需要视频中的另一方做相应的移动 才可以实现上述效果。
发明内容
本发明实施例提供了一种视频图像处理和装置，能够使对方用户产生直 接观看本端被摄物体或直接与本端用户面对面交流的体验。
第一方面，本发明实施例提供了一种视频图像处理的方法，所述方法包 括：
接收对端设备发送的对端视频图像；
对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳 孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；
获取本端被摄对象与本端屏幕之间的第一距离；
根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的 视角夹角，得到第一有效摄像范围；
根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像； 将所述第一有效本端视频图像发送给所述对端设备。
在第一种可能的实现方式中，所述根据所述瞳孔区域的大小、第一位置 和第一距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围具体为：
X=2h×tg(a/2)+X0
其中，X为第一有效摄像范围的宽度、h为第一距离、a为对端被摄对象 的视角夹角、X0为瞳孔区域的宽度；所述瞳孔区域在对端视频图像中的第一位 置满足瞳孔区域边缘至对端屏幕边缘的距离不小于h×tg(a/2)。
在第二种可能的实现方式中，所述根据第一有效摄像范围，得到本端被 摄对象的第一有效本端视频图像具体为：
通过全部摄像单元采集所述本端的被摄对象的平行光信号，以获得第一 数量个摄像单元图像；其中，每个所述摄像单元图像为本端被摄对象的一部 分影像；所述第一数量为所述全部摄像单元的数量；
由所述第一数量个摄像单元图像合成得到本端视频图像；
根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本 端视频图像在第一有效摄像范围内的第一有效本端视频图像。
在第三种可能的实现方式中，所述根据第一有效摄像范围，得到本端被 摄对象的第一有效本端视频图像具体为：
通过本端全部摄像单元在第一有效摄像范围内的多个摄像单元采集本端 被摄对象的平行光信号，以获得第二数量个摄像单元图像；其中，所述第二 数量为第一有效摄像范围内的摄像单元的数量；
由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。
结合第一方面或第一方面的第二种、第三种可能的实现方式，在第四种 可能的实现方式中，所述第一距离的获取方法具体为：
发射第一光信号；
通过各所述摄像单元接收所述第一光信号经过所述本端被摄对象反射后 的第二光信号；
根据所述第一光信号的发射时间和所述各摄像单元对第二光信号的接收 时间得到所述各摄像单元图像的深度信息；
根据所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。
在第五种可能的实现方式中，在接收对端设备发送的对端视频图像之后， 所述方法还包括：
将对端视频图像转化为显示驱动信号；
根据显示驱动信号对所述对端视频图像进行显示。
在第六种可能的实现方式中，对所述对端视频图像进行处理具体为：
每间隔第一时间，对所述对端视频图像进行处理；其中所述第一时间为 采样间隔时间。
第二方面，本发明实施例提供了一种视频图像处理的装置，包括：
接收单元，用于接收对端设备发送的对端视频图像；
图像识别单元，用于对所述对端视频图像进行处理，得到对端被摄对象 在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的 第一位置；
距离获取单元，用于获取本端被摄对象与本端屏幕之间的第一距离；
摄像区域决策单元，用于根据所述瞳孔区域的大小、第一位置和第一距 离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；
有效图像获取单元，根据第一有效摄像范围，得到本端被摄对象的第一 有效本端视频图像；
发送单元，用于将所述第一有效本端视频图像发送给所述对端设备。
在第一种可能的实现方式中，所述有效图像获取单元具体包括多个摄像 单元、合成单元和处理单元；
每个所述摄像单元用于，采集所述本端的被摄对象的平行光信号，以获 得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部 分影像；
所述合成单元用于，由全部摄像单元获取的第一数量个摄像单元图像合 成得到本端视频图像；其中，所述第一数量为所述全部摄像单元的数量；
所述处理单元用于，根据所述第一有效摄像范围对所述本端视频图像进 行处理，得到所述本端视频图像在第一有效摄像范围内的第一有效本端视频 图像。
在第二种可能的实现方式中，所述有效图像获取单元具体包括多个摄像 单元、摄像控制单元和合成单元：
每个所述摄像单元用于，采集所述本端的被摄对象的平行光信号，以获 得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部 分影像；
所述摄像控制单元用于，控制在第一有效摄像范围内的多个摄像单元对 本端被摄对象的平行光信号进行采集，得到第二数量个摄像单元图像；其中， 所述第二数量为第一有效摄像范围内的摄像单元的数量；
所述合成单元用于，由所述第二数量个摄像单元图像合成得到第一有效 本端视频图像。
结合第二方面或第二方面的第一、第二种可能的实现方式，在第三种可 能的实现方式中，所述装置还包括：光信号发生器；
所述光信号发生器用于发射第一光信号；
所述摄像单元接收所述第一光信号经过所述本端的拍摄对象反射后的第 二光信号；
所述距离获取单元具体用于，根据所述第一光信号的发射时间和第二光 信号的接收时间得到所述各摄像单元图像的深度信息，并根据所述各摄像单 元图像的深度信息进行加权处理，得到所述第一距离。
在第四种可能的实现方式中，所述装置还包括：
显示驱动单元，用于将对端视频图像解码信息转化为显示驱动信号；
显示单元，用于根据显示驱动信号对所述对端视频图像信息进行显示。
在第五种可能的实现方式中，所述图像识别单元具体包括处理周期设定 单元，用于将对所述对端视频图像信息进行处理的时间间隔设定为第一时间， 所述第一时间为采样间隔时间。
本发明实施例的视频图像处理的方法和装置，通过采集图像分析并确定 对端用户的可视区域，而模拟出与可视区域相同的第一摄像范围，从而将本 端采集图像在第一摄像范围内的图像显示给对方用户，使对方用户能够产生 直接观看本端被摄物体或直接与本端用户面对面的感觉，提高用户体验。
附图说明
图1为本发明实施例一提供的一种视频图像处理的方法流程图；
图2为本发明实施例一提供的第一有效摄像范围获取方法的示意图之一；
图3为本发明实施例一提供的第一有效摄像范围获取方法的示意图之二；
图4为本发明实施例二提供的一种视频图像处理的方法流程图；
图5为本发明实施例三提供的一种视频图像处理的装置示意图；
图6为本发明实施例四提供的一种视频图像处理的装置示意图；
图7为本发明实施例五提供的一种视频图像处理的装置示意图；
图8为本发明实施例六提供的一种视频图像处理的实体装置示意图。
下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描 述。
具体实施方式
本发明实施例提供的视频图像处理的方法和装置，可以应用在各种视频 通信场景中，如视频会议，视频聊天，通过视频传输资料，甚至网络拍卖会 等等。
图1为本发明实施例一提供的视频图像处理的方法流程图。在本实施例 中，本端的视频图像处理装置中应用了本发明的视频图像处理的方法，其中， 对端为用户端，对端用户通过对端的视频图像处理装置（即对端设备）来查 看本端视频图像处理装置采集的图像，本端被摄对象可以是人，也可以是物。
如图1所示，本实施例视频图像处理的方法包括如下步骤：
步骤110，接收对端设备发送的对端视频图像；
具体的，本端视频图像处理装置接收对端设备发送的对端视频图像，其 中，对端视频图像中包括对端用户的图像。
步骤120，对所述对端视频图像进行处理，得到对端被摄对象在对端视频 图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置;
具体的，对接收到的对端用户的图像进行识别，优选的，接收到的对端 用户的图像为经过编码压缩的图像，因此在接收图像后需要对图像进行解码。 通过人脸识别和人眼瞳孔识别技术识别出对端视频图像瞳孔区域的大小，以 及瞳孔区域在对端视频图像中的第一位置;
其中，人脸识别具体可以采用如OpenCV人脸识别算法等，通过人脸识别 确定出对端视频图像中的人脸区域，记为domain_face。
当某些情况下，人脸识别算法无法决策出domain_face区域的情况，则 可以根据用户设定或使用默认区域来指定一个domain_face区域。
人眼瞳孔识别是在人脸识别检测的区域domain_face之内，根据眼睛相 对于人脸的位置、眼睛的形状、以及眼睛的颜色与周围肤色的对比确定人眼 的区域，由此可以确定人眼的瞳孔区域。具体可以采用如OpenCV人眼瞳孔定 位算法等，确定出一个人眼的瞳孔区域，记为domain_eyes。
同样，当某些情况下，根据识别算法无法决策出domain_eyes区域的情 况，则可以根据用户设定或使用默认区域来指定一个domain_eyes区域。
第一位置，是指domain_eyes居于图像中的位置。
其中，对对端视频图像解码信息进行处理的处理时间设定为每间隔第一 时间处理一次，第一时间为本端视频图像处理装置的采样间隔时间。
步骤130，获取本端被摄对象与本端屏幕之间的第一距离；
在本端视频图像处理装置上具有一个用于测距的光信号发生器，第一距 离的获取具体可以通过如下步骤131至步骤134的方法实现。
步骤131,发射第一光信号；
第一光信号由本端视频图像处理装置射向本端的被摄对象。
步骤132，通过各所述摄像单元接收所述第一光信号经过所述本端被摄对 象反射后的第二光信号；
被摄对象对第一光信号进行反射，反射回本端视频图像处理装置的第二 光信号被本端视频图像处理装置所接收。优选的，本端视频图像处理装置的 屏幕上分布有N×M个摄像单元阵列，接收平行光信号。每隔第二时间，阵列 中的N×M个摄像单元都会采集一次视频数据，因此本端视频图像信息中的图 像是N×M个摄像单元采集到的多个摄像单元图像合成得到的。第二时间为本 端视频图像处理装置的采样时间。
步骤133，根据所述第一光信号的发射时间和所述各摄像单元对第二光信 号的接收时间得到所述各摄像单元图像的深度信息；
根据第一光信号的发射时间与第二光信号的接收时间的时间差值，以及 光的传播速度，可以获知每一个摄像单元所对应的部分拍摄对象与本端视频 图像处理装置之间的距离值，该距离值为摄像单元图像的深度信息。
步骤134，对所述各摄像单元图像的深度信息进行加权处理，得到所述第 一距离。
将全部摄像单元图像的深度信息进行加权平均，即可得到本端被摄对象 与本端屏幕之间的第一距离。
步骤140，根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被 摄对象的视角夹角，得到第一有效摄像范围；
根据前述步骤120中获得的瞳孔区域的大小、第一位置以及步骤130中 获得的第一距离，以及预设的对端被摄对象的视角夹角进行计算，可以得到 一个模拟用户眼睛可视区域的第一有效摄像范围。其中预设的视角夹角可以 采用人单眼的舒适视域60°，也可以是用户根据需要自行设定的一个值。
在一个具体的例子中，图像中两个瞳孔的大小近似为两个点，如图2所 示，全部有效摄像范围的宽度为x1。在一个采样周期中，得到对端被摄对象 在对端视频图像中瞳孔区域，其宽度为X0，以及所述瞳孔区域在对端视频图 像中的第一位置。第一距离h为屏幕至本端被摄对象之间的距离。对端被摄 对象的视角夹角为a。因此可以得到如图中所示的第一有效摄像范围的宽度 x2。
当所述瞳孔区域在对端视频图像中的第一位置满足瞳孔区域边缘至对端 屏幕边缘的距离不小于h×tg(a/2)时，x2=2h×tg(a/2)+X0；
在一种具体的实现方式中，瞳孔区域中，左眼瞳孔图像对应的可视区域 为一圆形区域，右眼瞳孔图像对应的可视区域为一圆形区域，第一有效摄像 范围是上述两个圆形区域的集合。
当所述瞳孔区域在对端视频图像中的第一位置满足瞳孔区域边缘至对端 屏幕边缘的距离小于h×tg(a/2)时，第一有效摄像范围中还需要去除瞳孔区 域在对端视频图像中的瞳孔区域边缘至对端屏幕边缘的这段距离所对应的范 围。
当对端被摄对象的用户与对端设备之间的距离发生变化时，在本端视频 图像处理装置上显示的瞳孔区域大小也会发生相应的变化。
以对端用户靠近了对端设备的情况为例，在又一个采样周期中，对端用 户靠近了对端设备，如图3所示，在屏幕上显示出的瞳孔区域比图2中的大， 其宽度由X0变为X0’，图像中的瞳孔不能再近似为点了。在第一位置和第一距 离都不发生变化的情况下，当所述瞳孔区域在对端视频图像中的第一位置满 足瞳孔区域边缘距离对端屏幕边缘的距离不小于h×tg(a/2)时，第一有效摄 像范围的宽度x3=2h×tg(a/2)+X0’；否则，第一有效摄像范围中还需要去除瞳 孔区域在对端视频图像中的瞳孔区域边缘至对端屏幕边缘的这段距离所对应 的范围。
因此可以看到，随着对端被摄对象的用户与对端设备之间的距离发生变 化时，第一有效摄像范围也发生了改变,其宽度由x2变为x3，第一有效摄像范 围比图2中变得更大了。也就是说，当用户靠近对端设备的时候，第一有效 摄像范围会随之变大，反之，当用户远离对端设备的时候，第一有效摄像范 围会随之变小。
步骤150，根据第一有效摄像范围，得到本端被摄对象的第一有效本端视 频图像；
具体的，第一有效本端视频图像的获取可以如下述步骤151-153所示的 方法来实现。
步骤151，通过全部摄像单元采集所述本端的被摄对象的平行光信号，以 获得第一数量个摄像单元图像；其中，每个所述摄像单元图像为本端被摄对 象的一部分影像；所述第一数量为所述全部摄像单元的数量
本端视频图像处理装置对本端的拍摄对象进行图像采集，优选的，采用 N×M个摄像单元阵列，每隔第一时间，对本端的拍摄对象进行拍摄，因此得到 N×M个摄像单元图像。
步骤152，由所述第一数量个摄像单元图像合成得到本端视频图像；
将采集到的N×M个摄像单元图像合成得到本端视频图像。
步骤153，根据所述第一有效摄像范围对所述本端视频图像进行处理，得 到所述本端视频图像信息在第一有效摄像范围内的第一有效本端视频图像；
利用步骤140中得到的第一有效摄像范围对本端视频图像进行处理，将 N×M个摄像单元采集到的多个摄像单元图像中处于第一有效摄像范围内的图 像合成为第一有效本端视频图像。
或者，第一有效本端视频图像的获取可以如下述步骤154-155所示的方 法来实现。
步骤154，通过本端全部摄像单元在第一有效摄像范围内的多个摄像单元 采集本端被摄对象的平行光信号，以获得第二数量个摄像单元图像；其中， 所述第二数量为第一有效摄像范围内的摄像单元的数量；
利用步骤140中得到的第一有效摄像范围选取N×M个摄像单元阵列中的 一部分，每隔第一时间，对本端的拍摄对象进行拍摄，因此得到第一有效摄 像范围内的多个摄像单元拍摄到的第二数量个摄像单元图像。
步骤155，由所述第二数量个摄像单元图像合成得到第一有效本端视频图 像。
步骤160，所述第一有效本端视频图像发送给所述对端设备。
优选的，在发送之前对所述第一有效本端视频图像进行压缩；
对端设备对于接收到的压缩后的第一有效本端视频图像进行显示，对端 的用户通过对端设备观看到的本端视频图像就是在第一有效摄像范围内的图 像，而不是本端视频图像处理装置采集的原始图像了。并且，当对端用户与 对端设备屏幕之间的距离或者位置发生变化的时候，他所观看到的第一有效 本端视频图像也会随着他的距离或位置移动而发生变化，就好像是与对端设 备所显示的本端拍摄对象面对面一样的效果。
在一个具体的例子中，本端拍摄对象是一份资料，通过视频通信分享给 对端用户看，如果对端用户想对资料的内容看得更清楚，只需要将自己的身 体靠近屏幕，就能使屏幕上相应的显示出被放大的资料内容的影像，而无需 对拍摄的资料进行移动。这样就好像用户直接面对这份资料在查看一样。
本发明实施例一提供的视频图像处理的方法，通过采集图像分析并确定 对端用户的可视区域，从而模拟出与可视区域相同的第一摄像范围，将本端 采集图像在第一摄像范围内的图像显示给对方用户，使对方用户能够产生直 接观看本端被摄物体或直接与本端用户面对面的感觉，为用户提供了一种真 实、便捷的视频互动环境，提高用户体验。
图4为本发明实施例二提供的视频图像处理的方法流程图。在本实施例 中，本端和对端的视频图像处理装置中均应用了本发明的视频图像处理的方 法，在本实施例中，本端与对端的被拍摄对象为本端和对端的用户，即实施 例二的应用场景为视频通话的场景。
如图4所示，本实施例视频图像处理的方法包括如下步骤：
步骤401，接收对端设备发送的对端视频图像；
步骤402，对所述对端视频图像进行处理，得到对端被摄对象在对端视频 图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；
步骤403，获取本端被摄对象与本端屏幕之间的第一距离;
步骤404，根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被 摄对象的视角夹角，得到第一有效摄像范围；
步骤405，根据第一有效摄像范围，得到本端被摄对象的第一有效本端视 频图像；
步骤406，将所述第一有效本端视频图像发送给所述对端设备；
上述各步骤与本发明实施例一中的步骤110至步骤160完全相同，此处 不再赘述。
在步骤402之后，还包括
步骤407，将对端视频图像转化为显示驱动信号；
步骤410，根据显示驱动信号进行显示；
具体的，根据显示驱动信号进行电光转换，产生相应的光信号对对端视 频图像进行显示。
上述步骤提供的方法，是将对端视频图像在本端视频图像处理装置上进 行显示的过程。当对端设备也采用本发明的视频图像处理的方法时，本端用 户发生与本端视频图像处理装置之间的距离和位置变化时，相应的也会看到 在本端视频图像处理装置上显示的对端视频图像的大小和位置发生相应的变 化。
优选的，在步骤405之后还包括：
步骤408，将第一有效本端视频图像与对端视频图像进行合成，得到合成 图像；
步骤409，将合成图像转化为显示驱动信号；
再执行步骤410，根据显示驱动信号进行显示；
其中显示的对象为合成图像信息。
上述步骤所提供的方法，可以同时为本端用户显示对方的视频图像和自 己传送给对方的视频图像，以便于用户随时检查自己的姿态，位置，能够更 好的满足用户之间沟通交流的需要。
相应的，本发明实施例三还提供了一种视频图像处理装置，如图5所示， 包括：
接收单元501，用于接收对端设备发送的对端视频图像；
图像识别单元502，用于对所述对端视频图像信息进行处理，得到对端被 摄对象在对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图 像中的第一位置；
距离获取单元503，用于获取本端被摄对象与本端屏幕之间的第一距离；
摄像区域决策单元504，用于根据所述瞳孔区域的大小、第一位置和第一 距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围；
有效图像获取单元505，根据第一有效摄像范围，得到本端被摄对象的第 一有效本端视频图像；
发送单元509，用于将所述第一有效本端视频图像发送给所述对端设备。
具体的，接收单元501对对端设备发送的对端视频图像信息进行接收， 并传送给图像识别单元502；图像识别单元502，对接收到的对端视频图像进 行处理，得到对端被摄对象中瞳孔区域的大小，以及所述瞳孔区域在对端视 频图像中的第一位置，并发送给摄像区域决策单元504；距离获取单元503将 获取到的本端被摄对象与本端屏幕之间的第一距离也发送给摄像区域决策单 元504。
摄像区域决策单元504根据接收到的瞳孔区域的大小、第一位置和第一 距离，以及对端被摄对象的视角夹角，得到第一有效摄像范围并发送给有效 图像获取单元505。有效图像获取单元505根据第一有效摄像范围，得到本端 被摄对象的第一有效本端视频图像，并发送给发送单元509，通过发送单元 509发送给对端设备。
本发明实施例三提供的视频图像处理的装置，通过采集图像并根据图像 识别得到对端视频图像中瞳孔区域的大小，以及所述瞳孔区域在对端视频图 像中的第一位置，从而确定对端用户的可视区域，在摄像区域决策单元中模 拟出与对端用户可视区域相同的第一有效摄像范围，从而将本端采集图像在 第一有效摄像范围内的图像显示给对方用户，使对方用户能够产生直接观看 本端被摄物体或直接与本端用户面对面的感觉，提高用户体验。
相应的，本发明实施例四还提供了另一种视频图像处理装置，如图6所 示，包括：如上述实施例所述的接收单元601、图像识别单元602、距离获取 单元603、摄像区域决策单元604、有效图像获取单元605和发送单元609。
在一个具体的例子中，有效图像获取单元605具体包括多个摄像单元606 （图中仅示出一个）、合成单元607和处理单元608。
每个摄像单元606用于，采集所述本端的被摄对象的平行光信号，以获 得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部 分影像；
合成单元607用于，由全部摄像单元获取的第一数量个摄像单元图像合 成得到本端视频图像；其中，所述第一数量为所述全部摄像单元的数量；
处理单元608用于，根据所述第一有效摄像范围对所述本端视频图像进 行处理，得到所述本端视频图像在第一有效摄像范围内的第一有效本端视频 图像。
除此之外，各单元具体如上述实施例所述，此处不再赘述。
此外，本实施例的视频图像处理装置还包括：光信号发生器610光信号 发生器610发射第一光信号；摄像单元606接收光信号发生器610发射的第 一光信号经过本端被摄对象反射后的第二光信号；距离获取单元603根据光 信号发生器610传送的第一光信号的发射时间和摄像单元606传送的第二光 信号的接收时间得到所述各摄像单元图像的深度信息，并根据各摄像单元图 像的深度信息进行加权处理，得到第一距离。
此外，本实施例的视频图像处理装置还包括：解码单元611、适配单元 612、显示驱动单元613和显示单元614；
解码单元611与接收单元601相连接，对接收单元601接收到的对端视 频图像进行解码处理；适配单元612与解码单元611相连接，对解码后的对 端视频图像解码进行适配处理，使对端视频图像转化为适合本端视频图像处 理装置显示的信息；显示驱动单元613将经过适配单元612适配处理后的对 端视频图像转化为显示驱动信号；显示单元614根据显示驱动单元613发送 的显示驱动信号对对端视频图像进行显示。
相应的，本装置还可以包括压缩单元615，在将所述第一有效本端视频图 像发送给所述对端设备之前，对图像进行编码压缩。
本发明实施例四通过采集图像分析并确定对端用户的可视区域，从而模 拟出与可视区域相同的第一摄像范围，将本端采集图像在第一摄像范围内的 图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与 本端用户面对面的感觉，为用户提供了一种真实、便捷的视频互动环境，提 高用户体验。同时，当对端设备也采用本发明的视频图像处理的装置时，本 端用户发生与本端视频图像处理装置之间的距离和位置变化时，相应的也会 看到在本端视频图像处理装置上显示的对端视频图像的大小和位置发生相应 的变化。此外，本发明实施例提供的视频图像处理的装置还能为同时本端用 户显示对方的视频图像和自己传送给对方的视频图像，以便于用户随时检查 自己的姿态和位置，能够更好的满足用户之间沟通交流的需要。
相应的，本发明实施例五还提供了另一种视频图像处理装置，如图7所 示，包括：如上述实施例所述的接收单元701、图像识别单元702、距离获取 单元703、摄像区域决策单元704、有效图像获取单元705和发送单元709。
在一个具体的例子中，有效图像获取单元705具体包括多个摄像单元706、 摄像控制单元716和合成单元707。
每个摄像单元706用于，采集所述本端的被摄对象的平行光信号，以获 得一个摄像单元图像；其中，所述一个摄像单元图像为本端被摄对象的一部 分影像；
所述摄像控制单元716用于，控制在第一有效摄像范围内的多个摄像单 元对本端被摄对象的平行光信号进行采集，得到第二数量个摄像单元图像； 其中，所述第二数量为第一有效摄像范围内的摄像单元的数量；
合成单元707用于，由所述第二数量个摄像单元图像合成得到第一有效 本端视频图像。
除此之外，各单元具体如上述实施例所述，此处不再赘述。
本发明实施例五通过采集图像分析并确定对端用户的可视区域，从而模 拟出与可视区域相同的第一摄像范围，将本端采集图像在第一摄像范围内的 图像显示给对方用户，使对方用户能够产生直接观看本端被摄物体或直接与 本端用户面对面的感觉，为用户提供了一种真实、便捷的视频互动环境，提 高用户体验。同时，当对端设备也采用本发明的视频图像处理的装置时，本 端用户发生与本端视频图像处理装置之间的距离和位置变化时，相应的也会 看到在本端视频图像处理装置上显示的对端视频图像的大小和位置发生相应 的变化。此外，本发明实施例提供的视频图像处理的装置还能为同时本端用 户显示对方的视频图像和自己传送给对方的视频图像，以便于用户随时检查 自己的姿态和位置，能够更好的满足用户之间沟通交流的需要。
图8为本发明实施例提供的一种视频图像处理的实体装置示意图，如图 所示，本实施例包括网络接口81、处理器82、存储器83、显示器85和图像 采集器86。系统总线84用于连接网络接口81、处理器82和存储器83。
网络接口81用于与物联网终端、物联网接入网关、承载网、物联网服务 网关和应用服务器通信。
存储器83可以是永久存储器，例如硬盘驱动器和闪存，；设备驱动程序 可以是网络和接口驱动程序。
图像采集器86可以是摄像头，优选为内嵌到显示器85的感光器件。
存储器83用于存储应用程序，所述应用程序包括可用于使处理器82访 问并执行如下指令：
接收对端设备发送的对端视频图像；
对所述对端视频图像进行处理，得到对端被摄对象在对端视频图像中瞳 孔区域的大小，以及所述瞳孔区域在对端视频图像中的第一位置；
获取本端被摄对象与本端屏幕之间的第一距离；
根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的 视角夹角，得到第一有效摄像范围；
根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像； 将所述第一有效本端视频图像发送给所述对端设备。
本实施例的视频图像处理的装置，通过采集图像分析并确定对端用户的 可视区域，而模拟出与对端用户可视区域相同的第一有效摄像范围，从而将 采集到的本端图像在第一有效摄像范围内的图像显示给对方用户，使对方用 户能够产生直接观看本端被摄物体或直接与本端用户面对面的感觉，提高用 户体验。
进一步的，所述存储器83存储的应用程序可用于使所述处理器82执行 根据所述瞳孔区域的大小、第一位置和第一距离，以及对端被摄对象的视角 夹角，得到第一有效摄像范围的过程的指令具体为执行以下过程的指令：
X=2h×tg(a/2)+X0
其中，X为第一有效摄像范围的宽度、h为第一距离、a为对端被摄对象 的视角夹角、X0为瞳孔区域的宽度；所述瞳孔区域在对端视频图像中的第一位 置满足瞳孔区域边缘至对端屏幕边缘的距离不小于h×tg(a/2)。
进一步的，所述存储器83存储的应用程序可用于使所述处理器82执行 根据第一有效摄像范围，得到本端被摄对象的第一有效本端视频图像的过程 的指令具体为执行以下过程的指令：
通过全部摄像单元采集所述本端的被摄对象的平行光信号，以获得第一 数量个摄像单元图像；其中，每个所述摄像单元图像为本端被摄对象的一部 分影像；所述第一数量为所述全部摄像单元的数量；
由所述第一数量个摄像单元图像合成得到本端视频图像；
根据所述第一有效摄像范围对所述本端视频图像进行处理，得到所述本 端视频图像在第一有效摄像范围内的第一有效本端视频图像。
进一步的，所述存储器83存储的应用程序使所述处理器82执行根据第 一有效摄像范围，得到本端被摄对象的第一有效本端视频图像的过程的指令 具体为：
通过本端全部摄像单元在第一有效摄像范围内的多个摄像单元采集本端 被摄对象的平行光信号，以获得第二数量个摄像单元图像；其中，所述第二 数量为第一有效摄像范围内的摄像单元的数量；
由所述第二数量个摄像单元图像合成得到第一有效本端视频图像。
进一步的，所述存储器83存储的应用程序使所述处理器82执行第一距 离的获取过程的指令具体为：
发射第一光信号；
通过各所述摄像单元接收所述第一光信号经过所述本端被摄对象反射后 的第二光信号；
根据所述第一光信号的发射时间和所述各摄像单元对第二光信号的接收 时间得到所述各摄像单元图像的深度信息；
对所述各摄像单元图像的深度信息进行加权处理，得到所述第一距离。
进一步的，所述存储器83存储的应用程序可用于使所述处理器82执行 以下过程的指令：
将对端视频图像转化为显示驱动信号；
根据显示驱动信号对所述对端视频图像进行显示。
进一步的，所述存储器83存储的应用程序使所述处理器82执行对所述 对端视频图像进行处理过程的指令具体为：
每间隔第一时间，对所述对端视频图像进行处理；其中所述第一时间为 采样间隔时间。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的 各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来 实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能 一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来 执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每 个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为 超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理 器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器 （RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、 寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式 的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行 了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而 已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做 的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。