处理三维图像的装置和方法.pdf

上传人:54 文档编号:4298795 上传时间:2018-09-13 格式:PDF 页数:38 大小:4.67MB
返回 下载 相关 举报
摘要
申请专利号:

CN201210148757.6

申请日:

2012.05.14

公开号:

CN102780902A

公开日:

2012.11.14

当前法律状态:

终止

有效性:

无权

法律详情:

未缴年费专利权终止IPC(主分类):H04N 13/04申请日:20120514授权公告日:20141224终止日期:20170514|||授权|||实质审查的生效IPC(主分类):H04N 13/04申请日:20120514|||公开

IPC分类号:

H04N13/04

主分类号:

H04N13/04

申请人:

LG电子株式会社

发明人:

安武基; 金炫锡

地址:

韩国首尔

优先权:

2011.05.13 KR 10-2011-0045021; 2011.08.19 KR 10-2011-0082688

专利代理机构:

中原信达知识产权代理有限责任公司 11219

代理人:

夏凯;谢丽娜

PDF下载: PDF下载
内容摘要

公开了一种用于处理三维图像的装置和方法。显示器被配置为显示图像。图像捕捉设备捕捉3D图像处理装置的周围环境的图像。控制器在由图像捕捉设备捕捉的视频帧中检测眼镜,并且根据检测的结果控制切换到其中显示器显示3D图像的3D视频模式。

权利要求书

1.一种用于切换3维(3D)图像处理装置的视频模式的方法,该方法包括:在捕捉的视频帧中检测眼镜;以及根据检测的结果,将视频模式切换到显示3D图像的3D视频模式。2.根据权利要求1所述的方法,其中,所述检测包括检查是否检测的眼镜具有预定的形状,以及其中,所述检测的结果包括检查的结果。3.根据权利要求1所述的方法,其中,所述检测包括检查是否检测的眼镜包括预定的标记,以及其中,所述检测的结果包括检查的结果。4.根据权利要求3所述的方法,其中,所述标记由发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。5.根据权利要求3所述的方法,其中,所述检查包括:在检测的眼镜中检查第一标记和第二标记;计算在检查的第一标记和检查的第二标记之间的距离值;基于计算的距离值来计算深度设定值;以及基于计算的深度设定值来调整3D图像的深度值。6.根据权利要求1所述的方法,其中,所述检测包括检查用户是否佩戴检测的眼镜,以及其中,所述检测的结果包括检查的结果。7.根据权利要求1所述的方法,其中,所述3D视频模式包括第一3D视频模式和第二3D视频模式,所述第一3D视频模式将接收到的2D图像显示为3D图像,所述第二3D视频模式将接收到的3D图像显示为3D图像。8.根据权利要求7所述的方法,其中,所述切换到3D视频模式包括:检查是否存在与显示的图像相对应的3D图像;以及基于检查的结果来选择所述第一3D视频模式和所述第二3D视频模式中的一个。9.根据权利要求1所述的方法,进一步包括:基于检测的结果,将所述视频模式切换到显示2D图像的2D视频模式。10.一种3维(3D)图像处理装置,包括:显示器,所述显示器被配置为显示图像;以及控制器,所述控制器被配置为在捕捉的视频帧中检测眼镜,以及根据检测的结果来控制切换到所述显示器显示3D图像的3D视频模式。11.一种3维(3D)图像处理方法,包括:在捕捉的视频帧中检测眼镜的第一标记和第二标记;计算在检测的第一标记和检测的第二标记之间的距离值;基于距离值来计算深度设定值;以及基于计算的深度设定值来调整3D图像的深度值。12.根据权利要求11所述的方法,其中,所述第一标记和所述第二标记分别位于眼镜的左眼镜片的边缘和右眼镜片的边缘上。13.根据权利要求11所述的方法,进一步包括:基于所述第一标记和所述第二标记中的至少一个的形状来计算角度值,其中,所述计算深度设定值包括基于所述距离值和所述角度值来计算所述深度设定值。14.根据权利要求13所述的方法,其中,基于所述标记的水平长度以及所述标记的水平长度与垂直长度的比率中的至少一个来计算所述角度值。15.根据权利要求13所述的方法,进一步包括:基于所述角度值来检查佩戴眼镜的用户眼睛的方向是否面向屏幕,其中,基于检查的结果来确定是否执行调整3D图像的深度值。16.根据权利要求15所述的方法,其中,所述检查眼睛的方向面向屏幕进一步包括检查所述角度值是否是预设的角度或更大。17.根据权利要求13所述的方法,其中,所述计算深度设定值包括:使用所述距离值和所述角度值来计算观看距离;以及基于计算的观看距离来计算所述深度设定值。18.根据权利要求17所述的方法,其中,基于参考观看距离与计算的观看距离的比率来计算所述深度设定值。19.根据权利要求11所述的方法,其中,所述距离值是在所述第一标记和所述第二标记之间的像素的数目。20.一种3维(3D)图像处理装置,包括:接收器,所述接收器被配置为接收3维(3D)图像;以及控制器,所述控制器被配置为:在捕捉的视频帧中检测眼镜的第一标记和第二标记,计算在检测的第一标记和检测的第二标记之间的距离值,基于计算的距离值来计算深度设定值,以及基于计算的深度设定值来控制接收到的3D图像的深度值的调整。

说明书

处理三维图像的装置和方法

相关申请的交叉引用

本申请要求于2011年5月13日申请的韩国申请
No.10-2011-0045021和2011年8月19日申请的韩国申请
No.10-2011-0082688的权益,其全部内容通过引用结合于此。

技术领域

本发明涉及一种用于处理三维(3D)图像的装置和方法,并且更
具体而言,涉及用于显示3D图像的3D图像处理装置和方法。

背景技术

近来,已经在各种领域中研究和使用用于表示三维(3D)图像的
显示技术。尤其是,作为3D图像显示技术的使用例子,带有浓厚的兴
趣关注用于显示3D图像的电子装置。

3D图像显示技术是基于双目视差的原理,其中由于在双眼的视点
之间的差别,观看者可以感知3D成像。3D图像显示技术划分为快门
眼镜方法、自动立体方法、全息方法等。在快门眼镜方法中用户可能
需要佩戴诸如偏振眼镜等的单独的设备,并且用户仅在预定的位置通
过自动立体方法可以观看3D图像。因此,为了克服在快门眼镜方法和
自动立体方法中的上述问题,近来全息方法已经成为增加的研究课题。

发明内容

因此,本发明涉及一种用于处理3维图像的装置和方法,其基本
上消除了由于现有技术的限制和缺点而导致的一个或多个问题。

本发明的一个目的是提供一种用于处理3维(3D)图像的装置以
及用于切换3D图像处理装置的视频模式的方法,其可以依照观看者的
观看意向来切换视频模式。

本发明的另一个目的是提供一种用于处理3D图像的装置和方法,
其可以依照观看距离来显示适当的3D图像。

为了实现这些目的和其他的优点并且按照本发明的目的,如在此
处实施和广泛地描述的,一种用于切换3维(3D)图像处理装置的视
频模式的方法包括:在捕捉的视频帧中检测眼镜,以及根据检测的结
果将视频模式切换到显示3D图像的3D视频模式。

该检测可以包括检查是否检测的眼镜具有预定的形状,以及该检
测的结果可以包括检查的结果。

该检测可以包括检查是否检测的眼镜包括预定的标记,以及该检
测的结果可以包括检查的结果。

该标记可以由发光二极管(LED)灯、发光材料和荧光材料的至
少一个形成。

该检查可以包括在检测的眼镜中检查第一标记和第二标记,计算
在检查的第一标记和检查的第二标记之间的距离值,基于计算的距离
值来计算深度设定值,以及基于计算的深度设定值来调整3D图像的深
度值。

该检测可以包括检查用户是否佩戴检测的眼镜,以及该检测的结
果可以包括检查的结果。

该3D视频模式可以包括第一3D视频模式和第二3D视频模式,
第一3D视频模式将接收到的2D图像显示为3D图像,第二3D视频模
式将接收到的3D图像显示为3D图像。

该切换到3D视频模式可以包括检查是否存在与显示的图像相对
应的3D图像,以及基于检查的结果来选择第一3D视频模式和第二3D
视频模式中的一个。

该3D图像处理方法可以进一步包括基于检测的结果将视频模式
切换到显示2D图像的2D视频模式。

根据本发明的另一个方面,一种3维(3D)图像处理装置,包括:
显示器,其配置成显示图像;以及控制器,其配置成在捕捉的视频帧
中检测眼镜,并且根据检测的结果来控制切换到其中显示器显示3D图
像的3D视频模式。

根据本发明的另一个方面,一种用于切换3维(3D)图像处理装
置的视频模式的方法,包括:感测3D图像处理装置的周围环境,使用
感测的信息来生成关于用户的观看意向的观看意向信息,检查生成的
观看意向信息是否指示3D视频观看,以及根据检测的结果将视频模式
切换到显示3D图像的3D视频模式。该感测的信息可以包括捕捉的图
像、从3D眼镜发送的信号以及从3D眼镜发出的光束中的至少一个。

该生成观看意向信息可以包括检查在捕捉的图像中是否检测到
3D眼镜的标记。该标记可以使用发光二极管(LED)灯、发光材料和
荧光材料中的至少一个形成。

该生成观看意向信息可以进一步包括检查用户是否佩戴3D眼镜。
可以基于3D眼镜和用户的眼睛之间的距离来检查用户是否佩戴3D眼
镜。

该3D视频模式可以包括第一3D视频模式和第二3D视频模式,
第一3D视频模式将接收到的2D图像显示为3D图像,第二3D视频模
式将接收到的3D图像显示为3D图像。该方法可以进一步包括检查是
否存在与显示的图像相对应的3D图像,以及基于检查的结果来选择第
一3D视频模式和第二3D视频模式中的一个。

该方法可以进一步包括基于检查的结果将视频模式切换到显示
2D图像的2D视频模式。

根据本发明的另一个方面,一种3维(3D)图像处理装置,包括:
感测单元,其配置成感测3D图像处理装置的周围环境,以及控制器,
其配置成使用感测的信息来生成关于用户的观看意向的观看意向信
息,检查生成的观看意向信息是否指示3D视频观看,以及根据检查的
结果来控制切换到显示3D图像的3D视频模式。该感测的信息可以包
括捕捉的图像、从3D眼镜传送的信号以及从3D眼镜发出的光束中的
至少一个。

该控制器可以检查在捕捉的图像中是否检测到3D眼镜的标记。当
检测到该标记时,该控制器可以生成指示3D视频观看的观看意向信
息。该标记可以使用发光二极管(LED)灯、发光材料和荧光材料中的
至少一个形成。

该控制器可以检查用户是否佩戴提供有检测的标记的3D眼镜。当
用户佩戴3D眼镜时,该控制器可以生成指示3D视频观看的观看意向
信息。

该控制器可以基于在3D眼镜和用户的眼睛之间的距离来检查用
户佩戴眼镜。

该3D视频模式可以包括第一3D视频模式和第二3D视频模式,
第一3D视频模式将接收到的2D图像显示为3D图像,第二3D视频模
式将接收到的3D图像显示为3D图像。该控制器可以检查是否存在与
显示的图像相对应的3D图像,和可以基于检查的结果选择第一3D视
频模式和第二3D视频模式中的一个。

该控制器可以基于检查的结果来控制切换到显示2D图像的2D视
频模式。

根据本发明的另一个方面,一种3维(3D)图像处理方法,包括:
在捕捉的视频帧中检测眼镜的第一标记和第二标记,计算在检测的第
一标记和检测的第二标记之间的距离值,基于距离值来计算深度设定
值,以及基于计算的深度设定值来调整3D图像的深度值。第一标记和
第二标记可以分别地位于眼镜的左眼镜片的边缘和右眼镜片的边缘
上。该标记可以由发光二极管(LED)灯、发光材料和荧光材料的中的
至少一个形成。该距离值可以是在第一标记和第二标记之间的像素数。

该3D图像处理方法可以进一步包括基于第一标记和第二标记的
至少一个的形状来计算角度值,以及计算深度设定值可以包括基于距
离值和角度值来计算深度设定值。可以基于标记的水平长度以及标记
的水平长度与垂直长度的比率中的至少一个来计算角度值。

该3D图像处理方法可以进一步包括基于角度值来检查佩戴眼镜
的用户眼睛的方向是否面向屏幕,以及基于检查的结果可以确定是否
执行调整3D图像的深度值。检查眼睛的方向面向屏幕可以进一步包括
检查角度值是否是预设的角度或更大。

计算深度设定值可以包括使用距离值和角度值来计算观看距离,
以及基于计算的观看距离来计算深度设定值。可以基于参考观看距离
与计算的观看距离的比率来计算深度设定值。

根据本发明的再一个方面,一种3维(3D)图像处理装置,包括:
接收器,其配置成接收3维(3D)图像;以及控制器,其配置成在捕
捉的视频帧中检测眼镜的第一标记和第二标记,计算在检测的第一标
记和检测的第二标记之间的距离值,基于计算的距离值来计算深度设
定值,以及基于计算的深度设定值来控制接收到的3D图像的深度值的
调整。第一标记和第二标记可以分别地位于眼镜的左眼镜片的边缘和
右眼镜片的边缘上。该标记可以由发光二极管(LED)灯、发光材料和
荧光材料中的至少一个形成。该距离值可以是在第一标记和第二标记
之间的像素数。

该控制器可以基于第一标记和第二标记的至少一个的形状来计算
角度值,以及可以基于该距离值和该角度值来计算该深度设定值。可
以基于标记的水平长度以及标记的水平长度与垂直长度的比率中的至
少一个来计算角度值。

该控制器可以基于角度值来检查佩戴眼镜的用户眼睛的方向是否
面向屏幕,以及可以基于该检查的结果来控制调整3D图像的深度值。
当该角度值小于预设的角度时,该控制器可以检查用户的眼睛的方向
面向屏幕。

该控制器可以使用距离值和角度值来计算观看距离,以及可以基
于计算的观看距离来计算深度设定值。可以基于参考观看距离与计算
的观看距离的比率来计算该深度设定值。

应该明白,上文的概述和下面的本发明的详细说明是示范性和解
释性的,并且意欲如所要求的提供对本发明的进一步的解释。

附图说明

该伴随的附图被包括以提供对本发明进一步的理解,并且被结合
进和构成本申请的一部分,其图示本发明的实施例,并且与该说明书
一起可以起解释本发明原理的作用。在附图中:

图1是图示根据本发明用于处理3D图像的装置的示范性实施例的
配置的框图;

图2是图示信号处理器的示范性实施例的配置的框图;

图3是图示用于眼镜的标记的例子的示意图;

图4是图示提供有标记的眼镜的示范性实施例的示意图;

图5是示意地图示在从捕捉的视频帧中提取的眼镜的标记之间的
距离的示意图;

图6是图示距离参考表的示范性实施例的表;

图7是图示从捕捉的视频帧中提取的眼镜的标记的形状的示意
图;

图8是图示角度参考表的示范性实施例的表;

图9是图示另一个角度参考表的示范性实施例的表;

图10是图示深度值设定参考表的示范性实施例的表;

图11是解释双目视差的示意图;

图12是图示取决于双目视差的幅值的深度感知的示意图;

图13是解释用于调整3D图像的深度值的方法的示范性实施例的
示意图;

图14是图示包括在图像中的对象的坐标的示意图;

图15是图示在图14中图示的对象的位移变换之后的对象的坐标
的示意图;

图16是图示根据本发明用于处理3D图像方法的示范性实施例的
流程图;

图17是图示捕捉其中用户佩戴3D眼镜的图像的视频帧的示范性
实施例的示意图;

图18是图示出现通知识别3D眼镜的消息的示范性实施例的示意
图;

图19是图示询问是否执行切换到3D视频模式消息的示范性实施
例的示意图;

图20是图示根据本发明用于切换3D图像处理装置的视频模式的
方法示范性实施例的实现过程的流程图;

图21是图示用于生成观看意向信息的方法的示范性实施例的实
现过程的流程图;

图22是图示用于切换到3D视频模式的方法的示范性实施例的实
现过程的流程图;

图23是图示根据本发明用于切换3D图像处理装置的视频模式的
方法的另一示范性实施例的实现过程的流程图;以及

图24是图示根据本发明用于切换3D图像处理装置的视频模式的
方法的再一示范性实施例的实现过程的流程图。

具体实施方式

现在将参考伴随的附图详细地介绍本发明示范性实施例。由伴随
附图图示和描述的本发明的配置和操作被作为至少一个实施例描述。
但是,对于本领域技术人员来说显而易见的是本发明的技术精神和基
本配置和操作不局限于如在此阐述的特定的实施例。

虽然在本发明中使用的术语是从通常在本领域广泛地使用的术语
中选择出来的,同时考虑它们在本发明中的功能,它们可以根据所属
技术领域的专业人员的意向、惯例、新技术的出现等改变。此外,在
特定的情形下,在本发明的描述中使用的术语可以由本申请人以他的
或者她的判断来选择,其详细含义在此处的描述的相关部分中描述。
因此,在此处使用的术语应该不只是由使用的真实的术语,而是由位
于在此处公开的描述内的含义理解。

图1是图示根据本发明用于处理3D图像的装置的示范性实施例的
配置的框图。

参考图1,根据本发明的3D图像处理装置100可以包括接收器
101、信号处理器140、显示器150、音频输出单元160、输入单元170、
存储单元180和控制器190。在一些实施例中,3D图像处理装置100
可以进一步包括图像捕捉设备90。3D图像处理装置100可以是诸如台
式计算机、膝上电脑、平板电脑,或者手持式计算机的个人计算机,
或者可以是诸如蜂窝电话、智能电话、数字多媒体广播(DMB)终端、
个人数字助理(PDA)、便携式多媒体播放器(PMP),或者导航仪
的移动终端,或者可以是诸如数字TV的固定电气设备。

接收器101可以接收包括左视点图像数据和右视点图像数据的视
频数据。接收器101可以进一步接收关于视频数据的广播信息。视频
数据可以是立体视点或者多视点图像。即,视频数据可以包括至少一
个左视点图像数据和至少一个右视点图像数据。

接收器101可以包括调谐器110、解调器120、移动通信单元115、
网络接口130和外部信号接收器135。

调谐器110从经由天线接收的RF广播信号中选择对应于由用户选
择的信道的射频(RF)广播信号,并且将选定的RF广播信号变换为中
频(IF)信号或者基带视频或者音频信号。

解调器120接收由调谐器110转换的数字IF(DIF)信号,并且
解调DIF信号。另外,解调器120可以执行信道解码。

在执行解调和信道解码之后,解调器120可以输出传输流(TS)
信号。视频信号、音频信号或者数据信号可以在TS信号中多路复用。
例如,TS信号可以是活动图像专家组-2(MPEG-2)视频信号和杜比
AC-3音频信号在其中多路复用的MPEG-2TS。更具体地说,MPEG-2
TS可以包括4字节报头和184字节有效载荷。

可以将由解调器120产生的TS信号提供给信号处理器140。

移动通信单元115将无线电信号发送到移动通信网络中的基站、
外部终端和服务器中的至少一个,并且从移动通信网络中的基站、外
部终端和服务器中的至少一个接收无线电信号。无线电信号可以包括
音频呼叫信号、视频呼叫信号,或者用于文本或者多媒体消息的传输
和接收的各种类型的数据。

外部信号接收器135可以提供能够将3D图像处理装置100连接到
外部设备的接口。外部设备可以是各种类型的视频或者音频输出设备,
诸如数字通用盘(DVD)播放器、蓝光播放器、游戏设备、摄录一体
机,和计算机(例如,笔记本计算机),并且可以是存储设备,诸如
通用串行总线(USB)存储器或者USB硬盘。3D图像处理装置100可
以显示从外部信号接收器135接收的视频和音频信号,并且可以存储
或者使用数据信号。

外部设备也可以是图像捕捉设备90。图像捕捉设备90可以包括
多个照相机。图像捕捉设备90可以捕捉人像,并且可以将包含捕捉到
的人像的视频帧发送给3D图像处理装置100。

信号处理器140多路分解从解调器210产生的TS信号,处理多路
分解的信号,将图像提供给显示器150,并且控制音频输出单元160输
出声音161。信号处理器140可以从移动通信单元115、网络接口130
和外部信号接收器135接收图像数据、声音数据和广播数据。

信号处理器140可以从控制器190接收指示深度设定值的信号。
信号处理器140可以根据接收到的深度设定值重建视频数据的左视点
图像数据和右视点图像数据。

在一些实施例中,信号处理器140可以计算包括在视频数据中的
对象的位移值,并且可以使用深度设定值修改计算的位移值。另外,
信号处理器140可以重建左视点图像数据和右视点图像数据,使得对
象的位移值根据修改的位移值来修改。

显示器150显示图像152。图像152可以是由信号处理器140重
建的视频数据的显示图像。特别地,视频数据可以是具有调整的深度
值的3D视频数据。显示器150可以与控制器190一起操作。显示器
150可以显示用于提供在用户和3D图像处理装置100的操作系统(OS)
之间,或者正在OS上执行的应用之间易于使用的接口的图形用户界面
(GUI)153。

音频输出单元160可以从信号处理器140和控制器190接收音频
数据,并且可以输出通过接收到的音频数据的再现产生的声音161。

输入单元170可以是被安排在显示器150上或者在显示器150的
前面的触摸屏。触摸屏可以集成到显示器150中,或者可以是单独的
元件。当触摸屏被安排在显示器150前面时,用户可以直接地操纵GUI
153。例如,用户可以将他的或者她的手指放置在要控制的对象上。

存储单元180通常提供存储由3D图像处理装置100使用的程序代
码和数据的位置。存储单元180可以实现为只读存储器(ROM)、随
机存取存储器(RAM)、硬盘驱动器等。程序代码和数据可以存储在
可分离的存储介质中,并且必要时,可以加载或者安装到3D图像处理
装置100上。可分离的存储介质可以包括CD-ROM、PC卡、存储卡、
软盘、磁带和网络组件。

存储单元180可以存储关于眼镜的标记的信息、距离参考表、角
度参考表和深度值设定信息参考表。关于眼镜的标记的信息可以包括
标记图像数据、标记颜色信息和关于标记的解释性信息。

控制器190执行指令,并且执行与3D图像处理装置100相关的操
作。例如,控制器190可以使用在存储单元180中检测的指令控制在
3D图像处理装置100的组件之间的输入和输出以及数据的接收和处
理。控制器190可以实现为单个芯片、多个芯片或者多个电子组件。
例如,包括专用或者嵌入的处理器、单一的目的处理器、控制器、专
用集成电路(ASIC)等的各种结构可以用作控制器190。

控制器190与OS一起执行计算机代码,并且产生和使用数据。
OS通常是已知的,因此省略对其的详细说明。OS的例子可以包括
Windows OS、Unix、Linux、Palm OS、DOS、Android和Mac OS。OS、
其他的计算机代码和数据可以存在于存储单元180内,其在控制器190
的控制下操作。

控制器190可以识别用户动作,并且可以基于识别的用户动作控
制3D图像处理装置100。用户动作可以包括选择3D图像处理装置或
者遥控器的物理按钮、执行规定的手势或者在触摸屏显示器上选择软
按钮、执行从经由图像捕捉设备捕捉的图像识别的规定的手势,以及
生成通过语音识别来识别的规定的声音。外部信号接收器135可以接
收对应于经由遥控器的物理按钮选择的用户动作的信号。手势可以包
括触摸手势和空间手势。

输入单元170接收手势171,并且控制器190执行用于执行与手
势171相关的操作的指令。存储单元180可以包括手势操作程序181,
其可以是OS或者附加的应用程序的一部分。手势操作程序181包括用
于识别手势171的发生和通知一个或多个软件代理响应于手势171将
采取行动的一系列指令。

当用户执行一个或多个手势时,输入单元170将关于手势的信息
发送给控制器190。控制器190使用来自存储单元180的指令,尤其是,
使用手势操作程序181分析手势171,并且控制3D图像处理装置100
的不同组件,诸如,存储单元180、显示器150、音频输出单元160、
信号处理器140、网络接口130、输入单元170等。手势171作为用于
执行存储在存储单元180中的应用的运动、校正在显示器150上的GUI
对象、校正存储在存储单元180中的数据,并且在网络接口130和信
号处理器140中执行操作的命令是可区别的。

控制器190可以基于观看距离确定深度设定值。控制器190可以
从由图像捕捉设备90捕捉的视频帧中检测眼镜的第一标记和第二标
记,并且可以使用在检测到的第一和第二标记之间的距离值计算观看
距离。另外,控制器190可以基于检测的第一和第二标记的至少一个
的形状计算角度值,并且可以修订基于计算的角度值计算的观看距离。
可以将在修订之前的观看距离称作用户距离值,并且可以将修订之后
的观看距离称作观看距离。

在一些实施例中,控制器190可以根据确定的深度设定值重建视
频数据的左视点图像数据和右视点图像数据。在一些实施例中,控制
器190可以控制信号处理器140根据确定的深度设定值重建视频数据
的左视点图像数据和右视点图像数据。

图2是图示信号处理器的示范性实施例的配置的框图。

参考图2,信号处理器140可以包括解复用器210、音频解码器
220、视频解码器230、定标器260、混合器270和格式器280。

解复用器210可以从移动通信单元115、网络接口130和外部信
号接收器135接收流信号,并且可以将接收到的流信号多路分解为视
频数据、音频数据和信息数据,以分别地将多路分解的视频数据、音
频数据和信息数据提供给视频解码器230、音频解码器220和控制器
190。

音频解码器220可以从解复用器210接收音频数据,并且可以恢
复接收到的音频数据以将恢复的音频数据提供给定标器260或者音频
输出单元160。

视频解码器230从解复用器210接收视频数据,并且恢复接收到
的视频数据以将恢复的视频数据提供给图像处理单元240。视频数据可
以包括3D视频数据。视频解码器230和图像处理单元240可以构成单
个模块。当控制器190充当图像处理单元240时,视频解码器230可
以将恢复的视频数据提供给控制器190。

图像处理单元240可以根据该深度设定值重建包括在恢复的视频
数据中的左视点图像数据和右视点图像数据。图像处理单元240可以
包括位移计算器245、位移修改器250和视频重建单元255。

位移计算器245计算包括在视频数据中的对象的位移值。

位移修改器250使用深度设定值修改由位移计算器245计算的位
移值。位移修改器可以根据深度设定值和计算的位移值计算修改的位
移值。

视频重建单元255可以重建视频数据的左视点图像数据和右视点
图像数据,使得根据由位移修改器250修改的位移值来修改对象的位
移值。

定标器260将由视频解码器230、图像处理单元240和控制器190
处理的视频数据和由音频解码器220处理的音频数据定标为具有恰当
幅值的信号,以经由显示器150或者扬声器(未示出)输出视频和音
频数据。更具体地说,定标器260接收3D图像,并且定标3D图像以
便适合于显示器150的分辨率或者规定的高宽比。显示器150可以根
据产品规格适配为输出具有预定分辨率的图像,例如,720×480格式、
1024×768格式等。以这种方法,定标器260可以将具有各种分辨率的
3D图像的分辨率转换为相应显示器的分辨率。

混合器270将定标器260和控制器190的输出混合。

格式器280将转换以获得3D图像的视频数据提供给显示器150。
当使用图案相位差(patterned retarder)类型的3D视频显示方法时,格
式器280可以采样接收到的3D视频帧以提供其中左视点图像数据和右
视点图像数据被水平地或者垂直地交替的视频帧,并且可以输出采样
的视频帧。

当3D视频显示方法是快门眼镜型时,格式器280可以为将被输出
的3D图像信号产生同步信号,并且可以将同步信号传送给眼镜201。
格式器280可以包括用于同步信号的传输的红外输出单元(未示出)。
同步信号是使响应于3D图像信号的左视点图像或者右视点图像的显
示时间与快门眼镜201的左眼镜片或者右眼镜片的开启/闭合时间同步
的信号。

图3是图示眼镜的标记的例子的示意图。

参考图3,眼镜的标记可以是标记310、标记320和标记330中的
任何一个。眼镜的标记不局限于在图3中图示的例子,并且包括在捕
捉的视频帧中的眼镜的对象上的可见标记可适用本发明的眼镜标记。
眼镜的标记可以使用发光二极管(LED)灯、发光材料和荧光材料中的
至少一个形成。因而,根据本发明的3D图像处理装置100可以精确地
跟踪用户的位置,甚至在黑暗的环境下,并且可以依照跟踪的用户位
置显示具有最佳深度值的3D图像。

图4是图示提供有标记的眼镜的示范性实施例的示意图。

参考图4,可以在眼镜400上显示眼镜的标记。可以在眼镜400
上显示具有相同形状的二个标记或者具有不同形状的二个标记。

在一个例子中,作为眼镜的标记,标记410和标记420可以显示
在眼镜400上。标记410位于眼镜400的右眼镜片的边缘上,并且标
记420位于眼镜400的左眼镜片的边缘上。

在一些实施例中,控制器190可以从由图像捕捉设备90捕捉的视
频帧中检测眼镜400,并且可以从检测的眼镜400中检测标记410和标
记420。

图5是示意地图示从捕捉的视频帧中提取的眼镜的标记之间的距
离的示意图。

参考图5,控制器190可以从捕捉的视频帧500中检测第一标记
510和第二标记520。控制器190可以基于包括在视频帧500中的标记
颜色信息识别第一标记510和第二标记520。

控制器190可以计算在第一标记510和第二标记520之间的距离
值530。距离值530可以由在第一标记510和第二标记520之间的像素
的数目表示,或者可以由度量长度表示。

控制器190还可以基于距离值530计算用户距离值。在一些实施
例中,控制器190可以相对于在标记之间的距离值x通过以下的公式1
计算用户距离值y。

公式1

y=a+b(c-x)

这里“a”表示参考距离,“c”表示基于参考距离指示距离值的常数,
和“b”表示指示用户距离值的变化与距离值530的变化比的常数。这些
常数“a”、“b”和“c”可以由制造商确定。

图6是图示距离参考表的示范性实施例的表。

参考图6,控制器190可以使用距离参考表相对于距离值530计
算用户距离值。控制器190可以检测在距离参考表600中与距离值530
有关的用户距离值。例如,当距离值530是100像素时,控制器190
可以检测在距离参考表600中映射到100像素的用户距离值为2.2m。
此外,当距离值530是150像素时,控制器190可以检测在距离参考
表600中映射到150像素的用户距离值为2.0m。

当在距离参考表600中不存在与距离值530相同的距离值时,控
制器190可以检测与接近于距离值530的距离值有关的用户距离值,
并且然后可以使用检测到的距离值计算相对于距离值530的用户距离
值。当在距离参考表600中不存在距离值530时,控制器190可以通
过以下的公式2计算相对于距离值x的用户距离值y。

公式2

y=y_high+(y_low-y_high)*(x-x_low)/(x_high-x_low)

这里“x_low”表示在距离参考表600中存在其中值小于“x”的距离
值,“x_high”表示在距离参考表600中存在其中值大于“x”的距离值,
“y_high”表示相对于“x_high”的用户距离值,并且“y_low”表示相对于
“x_low”的用户距离值。在一个例子中,当距离值530是125像素时,
控制器190可以将“x_low”设定为100像素,并且将“x_high”设定为150
像素,并且可以检测2.0m的“y_high”和2.2m的“y_low”。最后,控制
器190可以计算2.1m的用户距离值。

图7是图示从捕捉的视频帧中提取的眼镜的标记的形状的示意
图。

参考图7,控制器190可以在捕捉的视频帧700中检测单个标记
710。控制器190可以使用标记710的颜色的信息识别标记710。标记
710的颜色的信息可以预先地存储在存储单元180中。

控制器190可以计算标记710的水平长度711。水平长度711可
以由像素的数目表示,或者可以由度量长度表示。控制器190可以基
于水平长度711计算角度值。

控制器190也可以计算标记710的垂直长度712。垂直长度712
可以由像素的数目表示,或者可以由度量长度表示。控制器190可以
基于水平长度711和垂直长度712两者计算角度值。

图8是图示角度参考表的示范性实施例的表。

参考图8,控制器190可以使用角度参考表800基于水平长度711
计算角度值。控制器190可以在角度参考表800中检测与水平长度711
有关的角度值。在一个例子中,当水平长度711是10像素时,控制器
190可以在角度参考表800中检测映射到10像素的角度值为60°。此外,
当水平长度711是15像素时,控制器190可以在角度参考表800中检
测映射到15像素的角度值为50°。

当在角度参考表800中不存在水平长度711的时候,控制器190
可以检测与接近于水平长度711的水平长度有关的角度值,并且可以
使用检测到的水平长度计算相对于水平长度711的角度值。在一个实
施例中,当在距离参考表800中不存在水平长度711时,控制器190
可以通过以下的公式3计算相对于水平长度x的角度值y。

公式3

y=y_h igh+(y_low-y_high)*(x-x_low)/(x_high-x_low)

这里“x_low”表示在角度参考表800中存在其中值小于“x”的水平
长度,“x_high”表示在角度参考表800中存在其中值大于“x”的水平长
度,“y_high”表示相对于“x_high”的角度值,并且“y_low”表示相对于
“x_low”的角度值。在一个例子中,当水平长度711是12.5像素时,控
制器190可以将“x_low”设定为10像素,并且将“x_high”设定为15像
素,并且可以检测50°的“y_high”和60°的“y_low”。最后,控制器190
可以计算55°的角度值。

控制器190可以计算与角度值有关的位置角度系数。在示范性计
算方法中,控制器190可以使用角度参考表800计算位置角度系数。
例如,当该计算的角度值是50°的时候,控制器190计算2.0的位置角
度系数。

控制器190可以使用角度参考表800计算与水平长度711有关的
位置角度系数。例如,当水平长度711是10像素时,控制器190可以
计算2.2的位置角度系数。当在角度参考表800中不存在与计算的水平
长度711有关的位置角度系数的时候,控制器190可以通过以下的公
式4计算相对于水平长度711的位置角度系数。

公式4

y=y_high+(y_low-y_high)*(x-x_low)/(x_high-x_low)

这里“x_low”表示在角度参考表800中存在其中值小于“x”的水平
长度,“x_high”表示在角度参考表800中存在其中值大于“x”的水平长
度,“y_high”表示相对于“x_high”的位置角度系数,并且“y_low”表示相
对于“x_low”的位置角度系数。在一个例子中,当该比率是12.5像素时,
控制器190可以将“x_low”设定为10像素,并且将“x_high”设定为15
像素,并且可以检测2.0的“y_high”和2.2的“y_low”。最后,控制器190
可以计算2.1的位置角度系数。

图9是图示角度参考表的另一示范性实施例的表。

参考图9,控制器190可以使用角度参考表900计算相对于一个
比率的角度值。该比率可以是水平长度711与垂直长度712的比率。
即,该比率可以通过以下的公式5计算。

公式5

Y=H/V

这里“H”是水平长度711,“V”是垂直长度712,并且“Y”是比率。

控制器190可以在角度参考表900中检测与计算的比率有关的角
度值。在一个例子中,当比率是0.5时,控制器190可以在角度参考表
900中检测映射到0.5的角度值为60°。此外,当比率是0.64时,控制
器190可以在角度参考表900中检测映射到0.64的角度值为50°。

另外,控制器190可以使用角度参考表900计算位置角度系数。
在一个例子中,当计算的角度值是50°时,控制器190可以计算2.0的
位置角度系数。控制器190可以使用角度参考表900计算与比率有关
的位置角度系数。例如,当计算的比率是0.98时,控制器190可以计
算1.2的位置角度系数。

控制器190可以基于用户距离值和位置角度系数计算观看距离。
在一些实施例中,控制器190可以通过以下的公式6计算观看距离y。

公式6

y=a*b

这里,“a”是位置角度系数,并且“b”是用户距离值。

控制器190可以基于用户距离值和角度值计算观看距离。在一些
实施例中,控制器190可以通过以下的公式7计算观看距离y。

公式7

y=a*cosθ

这里“a”是用户距离值,并且“θ”是角度值。

控制器190可以基于计算的观看距离计算深度设定值。

图10是图示深度值设定参考表的示范性实施例的表。

参考图10,控制器190可以使用深度值设定参考表1000计算适
用于计算的观看距离的深度设定值。例如,当计算的观看距离等于参
考距离1.4m时,控制器190可以计算深度设定值为零。当计算的观看
距离是1m时,控制器190可以计算深度设定值为-2m。当计算的观看
距离是2m时,控制器190可以计算深度设定值为3m。

当计算的观看距离是特定的距离或者更少时,控制器190可以计
算深度设定值为零。即,当计算的观看距离是特定的距离或者更少时,
控制器190不能调整3D图像的深度值。

控制器190可以基于角度值检查用户眼睛的方向是否面向屏幕。
当角度值大于预设值时,控制器190可以判定用户眼睛的方向没有面
向屏幕。当角度值小于预设值时,控制器190可以判定用户眼睛的方
向面向屏幕。

控制器190可以根据用户眼睛的方向的检查结果计算深度设定值
为零,并且不能调整3D图像的深度值。特别地,当角度值在70°至90°
的范围内时,控制器190可以计算深度设定值为零。此外,当角度值
在70°至90°的范围内时,控制器190不能调整3D图像的深度值。

控制器190可以基于计算的深度设定值调整3D图像的深度值。

在一些实施例中,控制器190可以基于用户距离值,而不是观看
距离计算深度设定值。即,控制器190可以计算适用于使用深度值设
定参考表1000计算的用户距离值的深度设定值。例如,当计算的用户
距离值等于1.4m的参考距离时,控制器190可以计算深度设定值为零。
当计算的用户距离值是1m时,控制器190可以计算深度设定值为-2。

图11是解释双目视差的示意图。

参考图11,双目视差指的是通过向观看者的眼睛1121和1122显
示使用双目镜照相机等捕捉的左视点图像1101和右视点图像1102中
的至少一个,用于提供空间感或者3D的3D显示方案。根据在左视点
图像1101和右视点图像1102之间的双目视差,深度值可能不同,并
且反过来,根据深度值提供给观看者的空间感或者3D可能不同。深度
值是从3D显示屏幕表面1130到显示的3D图像1113的距离。

在左视点图像1101和右视点图像1102之间的距离越小,深度值
越小。因此,由于应该认识到图像以远离左眼1121和右眼1122的距
离形成,提供给观看者的空间感或者3D可能降低。此外,在左视点图
像1101和右视点图像1102之间的距离越大,深度值越大。因此,由
于应该认识到图像以接近于左眼1121和右眼1122的距离形成,提供
给观看者的空间感或者3D可能增强。

图12是图示取决于双目视差的幅值的深度感知的示意图。

参考图12,当观看者的眼睛观看远处对象1210的时候,在左眼
图像1211(即,在左眼处形成的图像)和右眼图像1212(即,在右眼
处形成的图像)之间的距离降低,因此,当观看远处对象1210的时候,
双目视差很小。因此,应该理解的是,将3D图像1113的双目视差调
整为较小的值使得在遥远处能够看见3D图像1113,并且3D图像1113
的深度值被调整为较小值。

当观看者的眼睛观看近处对象1220时,左眼图像1221和右眼图
像1222之间的距离间隔增加,因此,当观看近处对象1220时,双目
视差很大。即,对象1220的双目视差大于对象1210的双目视差。因
此,应该理解的是,将3D图像1113的双目视差调整为较大值以使得
3D图像1113能够在近处观看,并且3D图像1113的深度值被调整为
较大值。

图13是解释用于调整3D图像的深度值的方法的示范性实施例的
示意图。

参考图13,3D图像处理装置100可以通过减小包括在3D图像
1300中的对象1310的双目视差来减小3D图像1300的深度值。即,
通过将对象1310的双目视差调整为较小值,对象1310可以由观看者
在比原始距离更大的距离上观看,这可以减小3D图像1300的深度值。

3D图像处理装置100可以通过增加包括在3D图像1300中的对象
1320的双目视差来增加3D图像1300的深度值。即,通过将对象1320
的双目视差调整为较大值,对象1320可以由观看者在比原始距离更近
的距离上观看,这可以增加3D图像1300的深度值。

图14是图示包括在图像中的对象的坐标的示意图。

参考图14,当3D图像进入矢量图形(其中对象的坐标可以是已
知的)的时候,对象的坐标可以由以下的公式8和公式9表示。

公式8

xn={Xn|Xn是第n个对象的右眼图像的x坐标,0≤n≤对象的总数}

公式9

x′n={X′n|X′n是第n个对象的右眼图像的x坐标,0≤n≤对象的总数}

对象距离指的是相对于对象在左眼对象的位置和右眼对象的
位置之间的差值,并且可以由以下的公式10表示。左眼对象指的是包
括在左视点图像数据中的对象,或者表示该对象的图像的坐标。右眼
对象指的是包括在右视点图像数据中的对象,或者表示该对象的图像
的坐标。即,相对于对象1411,存在左眼对象1411和右眼对象1412。

公式10


对象1410的对象距离是1,该对象1420的对象距离是2,并且对
象1430的对象距离是3。

对象距离的集合可以由以下的公式11表示。

公式11


对象距离可以由以下的公式12来改变。

公式12


这里表示改变的对象距离,“a”表示3D感测度的变量,并且
该变量“a”的值可以被设定为深度设定值,或者具有与深度设定值函数
关系的值。

在双目视差中,对象距离可以表示相应对象的深度的感测,并且
也可以表示相应的对象的双目视差。因此,当在公式12中变量“a”趋近
零时,3D图像的深度值可以降低,当变量“a”是1的时候,3D图像的
深度值可以保持,并且当变量“a”大于1的时候,3D图像的深度值可以
提高。

另外,改变的对象距离的集合可以由以下的公式13表示。

公式13


在一些实施例中,3D图像处理装置100可以使用以下的公式14
计算变量“a”。

公式14

a=1+0.1b

这里“b”表示深度设定值。例如,当“b”是零时,3D图像的深度值
保持不变。

图15是图示在图14中图示的对象的位移变换之后对象的坐标的
示意图。

参考图15,当在公式12中“a”是2时,对象1510的对象距离改变
为2,对象1520的对象距离从2改变为4,并且对象1530的对象距离
从3改变为6。

图16是图示根据本发明的用于处理3D图像方法的示范性实施例
的流程图。

参考图16,接收器101接收包括左视点图像数据和右视点图像数
据的视频数据(S100)。视频数据可以是立体视点视频或者多视点视
频。

图像捕捉设备90捕捉用户的图像(S105)。

控制器190从由图像捕捉设备90捕捉的视频帧中检测眼镜的第一
标记和第二标记(S110)。第一标记和第二标记可以是在图3中图示
的标记310、320和330,并且眼镜可以是在图4中图示的眼镜400。

控制器190基于第一标记和第二标记的至少一个计算角度值
(S115)。控制器190可以使用在图8中图示的角度参考表800和在
图9中图示的角度参考表900计算角度值。

控制器190基于该角度值检查佩戴眼镜的用户眼睛的方向是否面
向屏幕(S120)。当角度值是70°或更大的时候,控制器190可以判定
用户眼睛的方向没有面向屏幕。当角度值小于70°的时候,控制器190
可以判定用户眼睛的方向面向屏幕。

当用户眼睛的方向面向屏幕的时候,控制器190计算在检测到的
第一和第二标记之间的距离值(S125)。该距离值可以是用户距离值
或者可以是观看距离。控制器190可以使用在图6中图示的距离参考
表600计算用户距离值,并且可以使用公式6计算观看距离。

控制器190基于计算的距离值计算深度设定值(S130)。控制器
190可以使用在图10中图示的深度值设定参考表1000计算深度设定
值。另外,控制器190可以基于计算的观看距离与参考观看距离的比
率来计算深度设定值。当计算的观看距离小于参考观看距离的时候,
控制器190可以将深度设定值设定为负值。当计算的观看距离等于参
考观看距离的时候,控制器190可以将深度设定值设定为零。当计算
的观看距离大于参考观看距离的时候,控制器190可以将深度设定值
设定为正值。参考距离可以是在制造时确定的值,或者可以是由接收
器101接收的值。参考距离可以包括在3D视频数据中。

控制器190基于计算的深度设定值调整3D图像的深度值(S135)。
位移计算器245可以计算接收到的3D视频数据的对象距离。在这种情
况下,位移计算器245可以使用公式10计算对象距离。位移修改器250
可以基于深度设定值使用公式14计算值“a”。位移修改器250可以基于
计算的值“a”使用公式12计算改变的对象距离。视频重建单元255可以
重建接收到的3D视频数据的左视点图像数据和右视点图像数据,使得
该对象的距离根据计算的对象距离改变。

显示器150显示3D图像(S140)。显示的3D图像可以是具有调
整的深度值的3D图像,并且可以是无需调整接收到的深度值直接显示
的3D图像。

图17是图示捕捉其中用户佩戴3D眼镜的图像的视频帧的示范性
实施例的示意图。

参考图17,控制器190可以在捕捉的视频帧1700中检测3D眼镜
1710的标记1713和1715。控制器190可以使用在视频帧1700中的标
记颜色信息识别第一标记1713和第二标记1715。3D眼镜1710可以是
快门眼镜或者偏振眼镜,并且可以是在图4中图示的眼镜400。3D眼
镜的标记1713和1715可以是在图3中图示的标记310、320和330。
在一些实施例中,可以在3D眼镜1710上显示第一标记1713和第二标
记1715中的一个,并且控制器190可以在3D眼镜1710上检测一个标
记。

控制器190可以检测用户1701的面向区域,并且可以检查标记
1713和1715是否位于检测的面向区域中。当标记1713和1715位于面
向区域中的时候,控制器190可以判断用户1701佩戴3D眼镜1710。

控制器190可以检测用户1701的面向区域,并且可以检测来自检
测的面向区域的眼睛图像1723和1725。控制器190可以检查检测到的
眼睛图像1723和1725是否位于3D眼镜1710的左眼镜片和右眼镜片
上。当眼睛图像1723和1725位于左眼和右眼镜片上的时候,控制器
190可以判断用户1701佩戴3D眼镜1710。可替选地,控制器190可
以检查在标记1713和1715以及检测到的眼睛图像1723和1725之间
的距离。当检查的距离小于预定距离的时候,控制器190可以判断用
户1701佩戴3D眼镜1710。该预定的距离可以是在左眼和右眼之间的
距离。

图18是图示通知识别3D眼镜的消息的示范性实施例的示意图。

参考图18,控制器190可以控制通知识别3D眼镜的消息1800的
显示。当在捕捉的视频帧1700中检测到标记1713和1715的时候,可
以显示消息1800,并且当识别到用户1701佩戴3D眼镜1710的时候
可以显示消息1800。当预定时间已经过去的时候,可以自动地停止消
息1800的显示。

在一些实施例中,控制器190可以从视频帧1700中检测眼镜,并
且可以检查检测到的眼镜是否具有预定的眼镜形状。当其基于检查的
结果检查检测到的眼镜具有预定的眼镜形状的时候,控制器190可以
控制消息1800的显示。在一个例子中,预定的眼镜形状可以是在图4
中图示的眼镜400。

当在捕捉到的视频帧1700中检测到标记1713和1715的时候,控
制器190可以控制切换到3D视频模式,并且当其识别到用户1701佩
戴3D眼镜1710的时候,也可以控制切换到3D视频模式。3D视频模
式可以是显示3D图像的视频模式,并且可以包括在接收2D图像时显
示3D图像的第一3D视频模式,和在接收3D图像时显示3D图像的第
二3D视频模式。在2D视频模式中,显示2D图像。

在一些实施例中,当在视频帧700中检测到的眼镜具有预定的眼
镜形状的时候,控制器190可以控制切换到3D视频模式。

图19是图示示范的询问是否执行切换到3D视频模式消息的实施
例的示意图。

参考图19,控制器190可以控制询问是否执行切换到3D视频模
式的消息1900的显示。当在捕捉的视频帧1700中检测到标记1713和
1715的时候,可以显示消息1900,并且当识别到用户1701佩戴3D眼
镜1710的时候可以显示消息1900。

消息1900可以包括选择切换到3D视频模式的按钮1910,和选择
保持当前的视频模式的按钮1920。当检测到按下按钮1910的用户动作
的时候,控制器190响应于检测到的用户动作控制切换到3D视频模式。
当检测到按下按钮1920的用户动作的时候,控制器190响应于检测到
的用户动作控制保持当前的视频模式。

图20是图示根据本发明用于切换3D图像处理装置的视频模式的
方法的示范性实施例的实现过程的流程图。

参考图20,感测单元可以感测3D图像处理装置100的周围环境
(S200)。由感测单元感测的信息可以包括捕捉的图像、从3D眼镜发
送的信号和从3D眼镜发出的光束。感测单元可以包括图像捕捉设备
90、外部信号接收器135和输入单元170。图像捕捉设备90可以捕捉
3D图像处理装置100的周围环境的图像,并且可以将捕捉到的图像提
供给外部信号接收器135。外部信号接收器135可以将从图像捕捉设备
90输出的图像提供给控制器190。外部信号接收器135可以接收从3D
眼镜发送的信号,并且可以将接收到的信号发送给控制器190。

控制器190使用感测的信息生成关于用户的观看意向的观看意向
信息(S210)。控制器190可以生成指示3D视频观看的观看意向信息,
并且可以生成指示2D视频观看的观看意向信息。在一些实施例中,观
看意向信息可以由标志表示。当标志具有值‘1’的时候,观看意向信息
表示3D视频观看。当标志具有值‘0’的时候,观看意向信息表示2D视
频观看。

操作S210可以包括图21的实现过程。

控制器190检查生成的观看意向信息是否指示3D视频观看
(S220)。

当生成的观看意向信息指示3D视频观看的时候,控制器190控制
切换到3D视频模式(S230)。在操作S230中,控制器190可以控制
图18的消息1800或者图19的消息1900的显示。当显示图19的消息
1900的时候,当检测到按下按钮1910的用户动作的时候,控制器190
可以控制切换到3D视频模式,并且当检测到按下按钮1920的用户动
作的时候,可以控制保持当前的视频模式。

操作S230可以包括图22的实现过程。

3D图像处理装置100以3D视频模式显示图像(S240)。操作S240
可以包括在图16中图示的3D图像处理方法的实现过程。

当生成的观看意向信息没有指示3D视频观看的时候,3D图像处
理装置100以2D视频模式显示图像(S250)。

图21是图示用于生成观看意向信息的方法的示范性实施例的实
现过程的流程图。

参考图21,控制器190使用由图像捕捉设备90捕捉的视频帧检
查在周围环境中是否检测到3D眼镜的标记(S300)。视频帧可以是图
17的视频帧1700,并且可以包括3D眼镜的标记1713和标记1715中
的至少一个。3D眼镜可以是眼镜1710。当在视频帧1700中检测到标
记1713和1715的时候,控制器190可以识别在3D图像处理装置的周
围环境中检测到3D眼镜的标记。

当检测到3D眼镜的标记的时候,控制器190检查用户是否佩戴
3D眼镜(S310)。控制器190可以从由图像捕捉设备90捕捉的视频
帧中检测用户的面向区域,可以检查3D眼镜的标记是否位于检测到的
面向区域中,并且当3D眼镜的标记位于面向区域中的时候,可以识别
到用户佩戴3D眼镜。

控制器190可以从由图像捕捉设备90捕捉到的视频帧中检测用户
的面向区域,并且可以在检测到的面向区域中检测眼睛图像。控制器
190可以检查检测到的眼睛图像是否位于左眼镜片和右眼镜片的任何
一个上,并且当眼睛图像位于左眼镜片和右眼镜片的任何一个上的时
候,可以识别到用户佩戴3D眼镜。可替选地,控制器190可以检查在
检测到的眼睛图像和标记之间的距离,并且当检查的距离小于预定距
离的时候,可以判断用户佩戴3D眼镜。预定的距离可以是在左眼和右
眼之间的距离。

当用户佩戴3D眼镜的时候,控制器190生成观看意向信息,其指
示观看3D视频观看(S320)。

当用户没有佩戴3D眼镜的时候,该控制器190生成观看意向信息,
其指示2D视频观看(S330)。

在一些实施例中,当在图21的操作S300中检测到3D眼镜的标
记的时候,该方法可以继续进行到操作S320。当在图21的操作S300
中检测到3D眼镜的标记的时候,图20的操作S210可以包括操作S320
的实现过程。

图22是图示用于切换到3D视频模式的方法的示范性实施例的实
现过程的流程图。

参考图22,控制器190检查是否存在对应于显示的图像的3D图
像(S400)。该显示的图像可以是2D图像,或者3D图像可以以2D
视频模式显示。当显示的图像是2D图像的时候,对应于显示的图像的
3D图像可以是与2D图像一起接收的3D图像,并且可以是包括2D图
像和将2D图像显示为3D图像的信息的视频数据。当显示的图像是以
2D视频模式显示的3D图像的时候,对应于显示的图像的3D图像可以
是以2D视频模式显示的3D图像。

当不存在相应的3D图像的时候,控制器190控制切换到第一3D
视频模式(S410)。

当存在相应的3D图像的时候,控制器190控制切换到第二3D视
频模式(S420)。

图23是图示根据本发明用于切换3D图像处理装置的视频模式的
方法的另一示范性实施例的实现过程的流程图。

参考图23,3D图像处理装置100以2D视频模式显示图像(S500)。
在完成引导之后,或者当2D视频模式作为默认选择或者由用户选择的
时候,操作S500可以继续进行。

感测单元感测3D图像处理装置100的周围环境(S505)。由感
测单元感测的信息可以包括捕捉的图像、从3D眼镜发送的信号和从
3D眼镜发出的光束。感测单元可以包括图像捕捉设备90、外部信号接
收器135和输入单元170。图像捕捉设备90可以捕捉3D图像处理装
置100的周围环境的图像,并且可以将捕捉的图像提供给外部信号接
收器135。外部信号接收器135可以将从图像捕捉设备90输出的图像
提供给控制器190。外部信号接收器135可以接收从3D眼镜发送的信
号,并且可以将接收到的信号发送给控制器190。

控制器190使用感测的信息生成关于用户的观看意向的观看意向
信息(S510)。控制器190可以生成指示3D视频观看的观看意向信息,
并且可以生成指示2D视频观看的观看意向信息。在一些实施例中,观
看意向信息可以由标志表示。当该标志具有值‘1’的时候,观看意向信
息表示3D视频观看。当该标志具有值‘0’的时候,观看意向信息指示
2D视频观看。

操作S510可以包括图21的实现过程。

控制器190检查生成的观看意向信息是否指示3D视频观看
(S515)。

当生成的观看意向信息指示3D视频观看的时候,控制器190控制
切换到3D视频模式(S520)。在操作S520中,控制器190可以控制
图18的消息1800或者图19的消息1900的显示。当显示图19的消息
1900的时候,当检测到按下按钮1910的用户动作的时候,控制器190
可以控制切换到3D视频模式,并且当检测到按下按钮1920的用户动
作的时候,可以控制保持当前的视频模式。

操作S520可以包括图22的实现过程。

3D图像处理装置100以3D视频模式显示图像(S525)。操作S525
可以包括在图16中图示的3D图像处理方法的实现过程。

感测单元感测3D图像处理装置100的周围环境(S530)。

控制器190使用感测的信息生成关于用户的观看意向的观看意向
信息(S535)。

控制器190检查生成的观看意向信息是否指示2D视频观看
(S540)。

当生成的观看意向信息指示2D视频观看的时候,控制器190控制
切换到2D视频模式(S545)。

3D图像处理装置100以2D视频模式显示图像(S550)。

图24是图示根据本发明用于切换3D图像处理装置的视频模式的
方法的再一示范性实施例的实现过程的流程图。

参考图24,3D图像处理装置100以2D视频模式显示图像(S600)。
在完成引导之后,或者当2D视频模式作为默认选择或者由用户选择的
时候,操作S600可以继续进行。

图像捕捉设备90捕捉3D图像处理装置100的周围环境的图像
(S605)。图像捕捉设备90可以捕捉3D图像处理装置100的周围环
境的图像,并且可以将捕捉到的图像提供给外部信号接收器135。外部
信号接收器135可以将从图像捕捉设备90输出的图像提供给控制器
190。

控制器190在由图像捕捉设备90捕捉到的视频帧中检测眼镜
(S610)。

在一些实施例中,在操作S610中,控制器190可以检查检测到的
眼镜是否具有预定的眼镜形状。在一个例子中,预定的眼镜形状可以
是在图4中图示的眼镜400的形状。

在一些实施例中,在操作S610中,控制器190可以检查检测到的
眼镜是否包括预定的标记。在一个例子中,预定的标记可以是在图3
中图示的标记310、标记320和标记330。

在一些实施例中,操作S610可以包括图21的实现过程。

控制器190检查检测的结果是否指示3D视频观看(S615)。检
测的结果可以包括检查检测到的眼镜的形状是否具有预定的眼镜形状
的结果,并且还可以包括检查检测到的眼镜是否包括预定的标记的结
果。当检测到的眼镜具有预定的眼镜形状的时候,检测的结果可以分
析为指示3D视频观看。当检测到的眼镜包括预定的标记的时候,检测
的结果可以分析为指示3D视频观看。

检测的结果可以包括图21的观看意向信息。

当检测的结果指示3D视频观看的时候,控制器190控制切换到
3D视频模式(S620)。在操作S620中,控制器190可以控制图18的
消息1800或者图19的消息1900的显示。当显示图19的消息1900的
时候,响应于检测到的按下按钮1910的用户动作,控制器190可以控
制切换到3D视频模式,并且响应于检测到的按下按钮1920的用户动
作,可以控制保持当前的视频模式。

操作S620可以包括图22的实现过程。

3D图像处理装置100以3D视频模式显示图像(S625)。操作S625
可以包括在图16中图示的3D图像处理方法的实现过程。

图像捕捉设备90捕捉3D图像处理装置100的周围环境的图像
(S630)。

控制器190从由图像捕捉设备90捕捉的视频帧中检测眼镜
(S635)。

控制器190检查检测的结果是否指示2D视频观看(S640)。

当检测的结果指示2D视频观看的时候,控制器190控制切换到
2D视频观看(S645)。

3D图像处理装置100以2D视频模式显示图像(S650)。

本发明可以作为可以在计算机可读的记录介质上编写的代码实
现,并且因此可以由计算机读取。计算机可读的记录介质包括数据以
计算机可读的方式存储的所有类型的记录设备。计算机可读的记录介
质的例子包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储器和
载波(例如,经由因特网的数据传输)。计算机可读的记录介质可以
被分布在经由网络连接的多个计算机设备上,使得计算机可读的代码
可以被写入于此,并且以分散的方式从其中执行。

如从以上的描述中显而易见的,根据本发明,由于用户观看意向
是使用通过感测3D图像处理装置的周围环境获得的信息识别的,视频
模式可以基于用户观看意向切换,这允许用户在不需要麻烦的调整视
频模式的情况下方便地观看3D图像。另外,作为以符合用户情形的适
当的视频模式显示图像的结果,可以提高用户的观看满意度,并且此
外可以提高用户的便利。

另外,使用在眼镜上形成的标记检测观看距离使得能够精确地检
测用户的观看距离。通过遵照检测到的观看距离适当地调整3D图像的
深度值,有可能为用户提供方便的3D视频观看。

对于那些本领域技术人员来说显而易见,在不脱离本发明的精神
或者范围的情况下,可以在本发明中进行各种修改和变化。因此,本
发明意欲覆盖对本发明的改进和变化,只要这些改进和变化落入所附
的权利要求和其等效范围之内。

处理三维图像的装置和方法.pdf_第1页
第1页 / 共38页
处理三维图像的装置和方法.pdf_第2页
第2页 / 共38页
处理三维图像的装置和方法.pdf_第3页
第3页 / 共38页
点击查看更多>>
资源描述

《处理三维图像的装置和方法.pdf》由会员分享,可在线阅读,更多相关《处理三维图像的装置和方法.pdf(38页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102780902 A (43)申请公布日 2012.11.14 C N 1 0 2 7 8 0 9 0 2 A *CN102780902A* (21)申请号 201210148757.6 (22)申请日 2012.05.14 10-2011-0045021 2011.05.13 KR 10-2011-0082688 2011.08.19 KR H04N 13/04(2006.01) (71)申请人 LG电子株式会社 地址韩国首尔 (72)发明人安武基 金炫锡 (74)专利代理机构中原信达知识产权代理有限 责任公司 11219 代理人夏凯 谢丽娜 (54) 发明名称 。

2、处理三维图像的装置和方法 (57) 摘要 公开了一种用于处理三维图像的装置和方 法。显示器被配置为显示图像。图像捕捉设备捕 捉3D图像处理装置的周围环境的图像。控制器在 由图像捕捉设备捕捉的视频帧中检测眼镜,并且 根据检测的结果控制切换到其中显示器显示3D 图像的3D视频模式。 (30)优先权数据 (51)Int.Cl. 权利要求书2页 说明书19页 附图16页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 19 页 附图 16 页 1/2页 2 1.一种用于切换3维(3D)图像处理装置的视频模式的方法,该方法包括: 在捕捉的视频帧中检测眼镜;以及 根。

3、据检测的结果,将视频模式切换到显示3D图像的3D视频模式。 2.根据权利要求1所述的方法,其中,所述检测包括检查是否检测的眼镜具有预定的 形状,以及 其中,所述检测的结果包括检查的结果。 3.根据权利要求1所述的方法,其中,所述检测包括检查是否检测的眼镜包括预定的 标记,以及 其中,所述检测的结果包括检查的结果。 4.根据权利要求3所述的方法,其中,所述标记由发光二极管(LED)灯、发光材料和荧 光材料中的至少一个形成。 5.根据权利要求3所述的方法,其中,所述检查包括: 在检测的眼镜中检查第一标记和第二标记; 计算在检查的第一标记和检查的第二标记之间的距离值; 基于计算的距离值来计算深度设定。

4、值;以及 基于计算的深度设定值来调整3D图像的深度值。 6.根据权利要求1所述的方法,其中,所述检测包括检查用户是否佩戴检测的眼镜,以 及 其中,所述检测的结果包括检查的结果。 7.根据权利要求1所述的方法,其中,所述3D视频模式包括第一3D视频模式和第二 3D视频模式,所述第一3D视频模式将接收到的2D图像显示为3D图像,所述第二3D视频模 式将接收到的3D图像显示为3D图像。 8.根据权利要求7所述的方法,其中,所述切换到3D视频模式包括: 检查是否存在与显示的图像相对应的3D图像;以及 基于检查的结果来选择所述第一3D视频模式和所述第二3D视频模式中的一个。 9.根据权利要求1所述的方法。

5、,进一步包括: 基于检测的结果,将所述视频模式切换到显示2D图像的2D视频模式。 10.一种3维(3D)图像处理装置,包括: 显示器,所述显示器被配置为显示图像;以及 控制器,所述控制器被配置为在捕捉的视频帧中检测眼镜,以及根据检测的结果来控 制切换到所述显示器显示3D图像的3D视频模式。 11.一种3维(3D)图像处理方法,包括: 在捕捉的视频帧中检测眼镜的第一标记和第二标记; 计算在检测的第一标记和检测的第二标记之间的距离值; 基于距离值来计算深度设定值;以及 基于计算的深度设定值来调整3D图像的深度值。 12.根据权利要求11所述的方法,其中,所述第一标记和所述第二标记分别位于眼镜 的左。

6、眼镜片的边缘和右眼镜片的边缘上。 13.根据权利要求11所述的方法,进一步包括: 权 利 要 求 书CN 102780902 A 2/2页 3 基于所述第一标记和所述第二标记中的至少一个的形状来计算角度值, 其中,所述计算深度设定值包括基于所述距离值和所述角度值来计算所述深度设定 值。 14.根据权利要求13所述的方法,其中,基于所述标记的水平长度以及所述标记的水 平长度与垂直长度的比率中的至少一个来计算所述角度值。 15.根据权利要求13所述的方法,进一步包括: 基于所述角度值来检查佩戴眼镜的用户眼睛的方向是否面向屏幕, 其中,基于检查的结果来确定是否执行调整3D图像的深度值。 16.根据权。

7、利要求15所述的方法,其中,所述检查眼睛的方向面向屏幕进一步包括检 查所述角度值是否是预设的角度或更大。 17.根据权利要求13所述的方法,其中,所述计算深度设定值包括: 使用所述距离值和所述角度值来计算观看距离;以及 基于计算的观看距离来计算所述深度设定值。 18.根据权利要求17所述的方法,其中,基于参考观看距离与计算的观看距离的比率 来计算所述深度设定值。 19.根据权利要求11所述的方法,其中,所述距离值是在所述第一标记和所述第二标 记之间的像素的数目。 20.一种3维(3D)图像处理装置,包括: 接收器,所述接收器被配置为接收3维(3D)图像;以及 控制器,所述控制器被配置为:在捕捉。

8、的视频帧中检测眼镜的第一标记和第二标记,计 算在检测的第一标记和检测的第二标记之间的距离值,基于计算的距离值来计算深度设定 值,以及基于计算的深度设定值来控制接收到的3D图像的深度值的调整。 权 利 要 求 书CN 102780902 A 1/19页 4 处理三维图像的装置和方法 0001 相关申请的交叉引用 0002 本申请要求于2011年5月13日申请的韩国申请No.10-2011-0045021和2011年 8月19日申请的韩国申请No.10-2011-0082688的权益,其全部内容通过引用结合于此。 技术领域 0003 本发明涉及一种用于处理三维(3D)图像的装置和方法,并且更具体而。

9、言,涉及用 于显示3D图像的3D图像处理装置和方法。 背景技术 0004 近来,已经在各种领域中研究和使用用于表示三维(3D)图像的显示技术。尤其是, 作为3D图像显示技术的使用例子,带有浓厚的兴趣关注用于显示3D图像的电子装置。 0005 3D图像显示技术是基于双目视差的原理,其中由于在双眼的视点之间的差别,观 看者可以感知3D成像。3D图像显示技术划分为快门眼镜方法、自动立体方法、全息方法等。 在快门眼镜方法中用户可能需要佩戴诸如偏振眼镜等的单独的设备,并且用户仅在预定的 位置通过自动立体方法可以观看3D图像。因此,为了克服在快门眼镜方法和自动立体方法 中的上述问题,近来全息方法已经成为增。

10、加的研究课题。 发明内容 0006 因此,本发明涉及一种用于处理3维图像的装置和方法,其基本上消除了由于现 有技术的限制和缺点而导致的一个或多个问题。 0007 本发明的一个目的是提供一种用于处理3维(3D)图像的装置以及用于切换3D图 像处理装置的视频模式的方法,其可以依照观看者的观看意向来切换视频模式。 0008 本发明的另一个目的是提供一种用于处理3D图像的装置和方法,其可以依照观 看距离来显示适当的3D图像。 0009 为了实现这些目的和其他的优点并且按照本发明的目的,如在此处实施和广泛地 描述的,一种用于切换3维(3D)图像处理装置的视频模式的方法包括:在捕捉的视频帧中 检测眼镜,以。

11、及根据检测的结果将视频模式切换到显示3D图像的3D视频模式。 0010 该检测可以包括检查是否检测的眼镜具有预定的形状,以及该检测的结果可以包 括检查的结果。 0011 该检测可以包括检查是否检测的眼镜包括预定的标记,以及该检测的结果可以包 括检查的结果。 0012 该标记可以由发光二极管(LED)灯、发光材料和荧光材料的至少一个形成。 0013 该检查可以包括在检测的眼镜中检查第一标记和第二标记,计算在检查的第一标 记和检查的第二标记之间的距离值,基于计算的距离值来计算深度设定值,以及基于计算 的深度设定值来调整3D图像的深度值。 0014 该检测可以包括检查用户是否佩戴检测的眼镜,以及该检。

12、测的结果可以包括检查 说 明 书CN 102780902 A 2/19页 5 的结果。 0015 该3D视频模式可以包括第一3D视频模式和第二3D视频模式,第一3D视频模式 将接收到的2D图像显示为3D图像,第二3D视频模式将接收到的3D图像显示为3D图像。 0016 该切换到3D视频模式可以包括检查是否存在与显示的图像相对应的3D图像,以 及基于检查的结果来选择第一3D视频模式和第二3D视频模式中的一个。 0017 该3D图像处理方法可以进一步包括基于检测的结果将视频模式切换到显示2D图 像的2D视频模式。 0018 根据本发明的另一个方面,一种3维(3D)图像处理装置,包括:显示器,其配置。

13、成 显示图像;以及控制器,其配置成在捕捉的视频帧中检测眼镜,并且根据检测的结果来控制 切换到其中显示器显示3D图像的3D视频模式。 0019 根据本发明的另一个方面,一种用于切换3维(3D)图像处理装置的视频模式的方 法,包括:感测3D图像处理装置的周围环境,使用感测的信息来生成关于用户的观看意向 的观看意向信息,检查生成的观看意向信息是否指示3D视频观看,以及根据检测的结果将 视频模式切换到显示3D图像的3D视频模式。该感测的信息可以包括捕捉的图像、从3D眼 镜发送的信号以及从3D眼镜发出的光束中的至少一个。 0020 该生成观看意向信息可以包括检查在捕捉的图像中是否检测到3D眼镜的标记。 。

14、该标记可以使用发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。 0021 该生成观看意向信息可以进一步包括检查用户是否佩戴3D眼镜。可以基于3D眼 镜和用户的眼睛之间的距离来检查用户是否佩戴3D眼镜。 0022 该3D视频模式可以包括第一3D视频模式和第二3D视频模式,第一3D视频模式 将接收到的2D图像显示为3D图像,第二3D视频模式将接收到的3D图像显示为3D图像。 该方法可以进一步包括检查是否存在与显示的图像相对应的3D图像,以及基于检查的结 果来选择第一3D视频模式和第二3D视频模式中的一个。 0023 该方法可以进一步包括基于检查的结果将视频模式切换到显示2D图像的2D视。

15、频 模式。 0024 根据本发明的另一个方面,一种3维(3D)图像处理装置,包括:感测单元,其配置 成感测3D图像处理装置的周围环境,以及控制器,其配置成使用感测的信息来生成关于用 户的观看意向的观看意向信息,检查生成的观看意向信息是否指示3D视频观看,以及根据 检查的结果来控制切换到显示3D图像的3D视频模式。该感测的信息可以包括捕捉的图像、 从3D眼镜传送的信号以及从3D眼镜发出的光束中的至少一个。 0025 该控制器可以检查在捕捉的图像中是否检测到3D眼镜的标记。当检测到该标 记时,该控制器可以生成指示3D视频观看的观看意向信息。该标记可以使用发光二极管 (LED)灯、发光材料和荧光材料。

16、中的至少一个形成。 0026 该控制器可以检查用户是否佩戴提供有检测的标记的3D眼镜。当用户佩戴3D眼 镜时,该控制器可以生成指示3D视频观看的观看意向信息。 0027 该控制器可以基于在3D眼镜和用户的眼睛之间的距离来检查用户佩戴眼镜。 0028 该3D视频模式可以包括第一3D视频模式和第二3D视频模式,第一3D视频模式 将接收到的2D图像显示为3D图像,第二3D视频模式将接收到的3D图像显示为3D图像。 该控制器可以检查是否存在与显示的图像相对应的3D图像,和可以基于检查的结果选择 说 明 书CN 102780902 A 3/19页 6 第一3D视频模式和第二3D视频模式中的一个。 002。

17、9 该控制器可以基于检查的结果来控制切换到显示2D图像的2D视频模式。 0030 根据本发明的另一个方面,一种3维(3D)图像处理方法,包括:在捕捉的视频帧 中检测眼镜的第一标记和第二标记,计算在检测的第一标记和检测的第二标记之间的距离 值,基于距离值来计算深度设定值,以及基于计算的深度设定值来调整3D图像的深度值。 第一标记和第二标记可以分别地位于眼镜的左眼镜片的边缘和右眼镜片的边缘上。该标记 可以由发光二极管(LED)灯、发光材料和荧光材料的中的至少一个形成。该距离值可以是 在第一标记和第二标记之间的像素数。 0031 该3D图像处理方法可以进一步包括基于第一标记和第二标记的至少一个的形状。

18、 来计算角度值,以及计算深度设定值可以包括基于距离值和角度值来计算深度设定值。可 以基于标记的水平长度以及标记的水平长度与垂直长度的比率中的至少一个来计算角度 值。 0032 该3D图像处理方法可以进一步包括基于角度值来检查佩戴眼镜的用户眼睛的方 向是否面向屏幕,以及基于检查的结果可以确定是否执行调整3D图像的深度值。检查眼睛 的方向面向屏幕可以进一步包括检查角度值是否是预设的角度或更大。 0033 计算深度设定值可以包括使用距离值和角度值来计算观看距离,以及基于计算的 观看距离来计算深度设定值。可以基于参考观看距离与计算的观看距离的比率来计算深度 设定值。 0034 根据本发明的再一个方面,。

19、一种3维(3D)图像处理装置,包括:接收器,其配置成 接收3维(3D)图像;以及控制器,其配置成在捕捉的视频帧中检测眼镜的第一标记和第二 标记,计算在检测的第一标记和检测的第二标记之间的距离值,基于计算的距离值来计算 深度设定值,以及基于计算的深度设定值来控制接收到的3D图像的深度值的调整。第一标 记和第二标记可以分别地位于眼镜的左眼镜片的边缘和右眼镜片的边缘上。该标记可以由 发光二极管(LED)灯、发光材料和荧光材料中的至少一个形成。该距离值可以是在第一标 记和第二标记之间的像素数。 0035 该控制器可以基于第一标记和第二标记的至少一个的形状来计算角度值,以及可 以基于该距离值和该角度值来。

20、计算该深度设定值。可以基于标记的水平长度以及标记的水 平长度与垂直长度的比率中的至少一个来计算角度值。 0036 该控制器可以基于角度值来检查佩戴眼镜的用户眼睛的方向是否面向屏幕,以及 可以基于该检查的结果来控制调整3D图像的深度值。当该角度值小于预设的角度时,该控 制器可以检查用户的眼睛的方向面向屏幕。 0037 该控制器可以使用距离值和角度值来计算观看距离,以及可以基于计算的观看距 离来计算深度设定值。可以基于参考观看距离与计算的观看距离的比率来计算该深度设定 值。 0038 应该明白,上文的概述和下面的本发明的详细说明是示范性和解释性的,并且意 欲如所要求的提供对本发明的进一步的解释。 。

21、附图说明 0039 该伴随的附图被包括以提供对本发明进一步的理解,并且被结合进和构成本申请 说 明 书CN 102780902 A 4/19页 7 的一部分,其图示本发明的实施例,并且与该说明书一起可以起解释本发明原理的作用。在 附图中: 0040 图1是图示根据本发明用于处理3D图像的装置的示范性实施例的配置的框图; 0041 图2是图示信号处理器的示范性实施例的配置的框图; 0042 图3是图示用于眼镜的标记的例子的示意图; 0043 图4是图示提供有标记的眼镜的示范性实施例的示意图; 0044 图5是示意地图示在从捕捉的视频帧中提取的眼镜的标记之间的距离的示意图; 0045 图6是图示距。

22、离参考表的示范性实施例的表; 0046 图7是图示从捕捉的视频帧中提取的眼镜的标记的形状的示意图; 0047 图8是图示角度参考表的示范性实施例的表; 0048 图9是图示另一个角度参考表的示范性实施例的表; 0049 图10是图示深度值设定参考表的示范性实施例的表; 0050 图11是解释双目视差的示意图; 0051 图12是图示取决于双目视差的幅值的深度感知的示意图; 0052 图13是解释用于调整3D图像的深度值的方法的示范性实施例的示意图; 0053 图14是图示包括在图像中的对象的坐标的示意图; 0054 图15是图示在图14中图示的对象的位移变换之后的对象的坐标的示意图; 0055。

23、 图16是图示根据本发明用于处理3D图像方法的示范性实施例的流程图; 0056 图17是图示捕捉其中用户佩戴3D眼镜的图像的视频帧的示范性实施例的示意 图; 0057 图18是图示出现通知识别3D眼镜的消息的示范性实施例的示意图; 0058 图19是图示询问是否执行切换到3D视频模式消息的示范性实施例的示意图; 0059 图20是图示根据本发明用于切换3D图像处理装置的视频模式的方法示范性实施 例的实现过程的流程图; 0060 图21是图示用于生成观看意向信息的方法的示范性实施例的实现过程的流程 图; 0061 图22是图示用于切换到3D视频模式的方法的示范性实施例的实现过程的流程 图; 00。

24、62 图23是图示根据本发明用于切换3D图像处理装置的视频模式的方法的另一示范 性实施例的实现过程的流程图;以及 0063 图24是图示根据本发明用于切换3D图像处理装置的视频模式的方法的再一示范 性实施例的实现过程的流程图。 具体实施方式 0064 现在将参考伴随的附图详细地介绍本发明示范性实施例。由伴随附图图示和描述 的本发明的配置和操作被作为至少一个实施例描述。但是,对于本领域技术人员来说显而 易见的是本发明的技术精神和基本配置和操作不局限于如在此阐述的特定的实施例。 0065 虽然在本发明中使用的术语是从通常在本领域广泛地使用的术语中选择出来的, 同时考虑它们在本发明中的功能,它们可以。

25、根据所属技术领域的专业人员的意向、惯例、新 说 明 书CN 102780902 A 5/19页 8 技术的出现等改变。此外,在特定的情形下,在本发明的描述中使用的术语可以由本申请人 以他的或者她的判断来选择,其详细含义在此处的描述的相关部分中描述。因此,在此处使 用的术语应该不只是由使用的真实的术语,而是由位于在此处公开的描述内的含义理解。 0066 图1是图示根据本发明用于处理3D图像的装置的示范性实施例的配置的框图。 0067 参考图1,根据本发明的3D图像处理装置100可以包括接收器101、信号处理器 140、显示器150、音频输出单元160、输入单元170、存储单元180和控制器190。

26、。在一些实 施例中,3D图像处理装置100可以进一步包括图像捕捉设备90。3D图像处理装置100可以 是诸如台式计算机、膝上电脑、平板电脑,或者手持式计算机的个人计算机,或者可以是诸 如蜂窝电话、智能电话、数字多媒体广播(DMB)终端、个人数字助理(PDA)、便携式多媒体播 放器(PMP),或者导航仪的移动终端,或者可以是诸如数字TV的固定电气设备。 0068 接收器101可以接收包括左视点图像数据和右视点图像数据的视频数据。接收器 101可以进一步接收关于视频数据的广播信息。视频数据可以是立体视点或者多视点图像。 即,视频数据可以包括至少一个左视点图像数据和至少一个右视点图像数据。 0069。

27、 接收器101可以包括调谐器110、解调器120、移动通信单元115、网络接口130和 外部信号接收器135。 0070 调谐器110从经由天线接收的RF广播信号中选择对应于由用户选择的信道的射 频(RF)广播信号,并且将选定的RF广播信号变换为中频(IF)信号或者基带视频或者音频 信号。 0071 解调器120接收由调谐器110转换的数字IF(DIF)信号,并且解调DIF信号。另 外,解调器120可以执行信道解码。 0072 在执行解调和信道解码之后,解调器120可以输出传输流(TS)信号。视频信号、 音频信号或者数据信号可以在TS信号中多路复用。例如,TS信号可以是活动图像专家 组-2(M。

28、PEG-2)视频信号和杜比AC-3音频信号在其中多路复用的MPEG-2TS。更具体地说, MPEG-2TS可以包括4字节报头和184字节有效载荷。 0073 可以将由解调器120产生的TS信号提供给信号处理器140。 0074 移动通信单元115将无线电信号发送到移动通信网络中的基站、外部终端和服务 器中的至少一个,并且从移动通信网络中的基站、外部终端和服务器中的至少一个接收无 线电信号。无线电信号可以包括音频呼叫信号、视频呼叫信号,或者用于文本或者多媒体消 息的传输和接收的各种类型的数据。 0075 外部信号接收器135可以提供能够将3D图像处理装置100连接到外部设备的接 口。外部设备可以。

29、是各种类型的视频或者音频输出设备,诸如数字通用盘(DVD)播放器、蓝 光播放器、游戏设备、摄录一体机,和计算机(例如,笔记本计算机),并且可以是存储设备, 诸如通用串行总线(USB)存储器或者USB硬盘。3D图像处理装置100可以显示从外部信号 接收器135接收的视频和音频信号,并且可以存储或者使用数据信号。 0076 外部设备也可以是图像捕捉设备90。图像捕捉设备90可以包括多个照相机。图 像捕捉设备90可以捕捉人像,并且可以将包含捕捉到的人像的视频帧发送给3D图像处理 装置100。 0077 信号处理器140多路分解从解调器210产生的TS信号,处理多路分解的信号,将 图像提供给显示器15。

30、0,并且控制音频输出单元160输出声音161。信号处理器140可以从 说 明 书CN 102780902 A 6/19页 9 移动通信单元115、网络接口130和外部信号接收器135接收图像数据、声音数据和广播数 据。 0078 信号处理器140可以从控制器190接收指示深度设定值的信号。信号处理器140 可以根据接收到的深度设定值重建视频数据的左视点图像数据和右视点图像数据。 0079 在一些实施例中,信号处理器140可以计算包括在视频数据中的对象的位移值, 并且可以使用深度设定值修改计算的位移值。另外,信号处理器140可以重建左视点图像 数据和右视点图像数据,使得对象的位移值根据修改的位移。

31、值来修改。 0080 显示器150显示图像152。图像152可以是由信号处理器140重建的视频数据的 显示图像。特别地,视频数据可以是具有调整的深度值的3D视频数据。显示器150可以与 控制器190一起操作。显示器150可以显示用于提供在用户和3D图像处理装置100的操作 系统(OS)之间,或者正在OS上执行的应用之间易于使用的接口的图形用户界面(GUI)153。 0081 音频输出单元160可以从信号处理器140和控制器190接收音频数据,并且可以 输出通过接收到的音频数据的再现产生的声音161。 0082 输入单元170可以是被安排在显示器150上或者在显示器150的前面的触摸屏。 触摸屏。

32、可以集成到显示器150中,或者可以是单独的元件。当触摸屏被安排在显示器150 前面时,用户可以直接地操纵GUI153。例如,用户可以将他的或者她的手指放置在要控制的 对象上。 0083 存储单元180通常提供存储由3D图像处理装置100使用的程序代码和数据的位 置。存储单元180可以实现为只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器等。程 序代码和数据可以存储在可分离的存储介质中,并且必要时,可以加载或者安装到3D图像 处理装置100上。可分离的存储介质可以包括CD-ROM、PC卡、存储卡、软盘、磁带和网络组 件。 0084 存储单元180可以存储关于眼镜的标记的信息、距离参考表。

33、、角度参考表和深度 值设定信息参考表。关于眼镜的标记的信息可以包括标记图像数据、标记颜色信息和关于 标记的解释性信息。 0085 控制器190执行指令,并且执行与3D图像处理装置100相关的操作。例如,控制 器190可以使用在存储单元180中检测的指令控制在3D图像处理装置100的组件之间的 输入和输出以及数据的接收和处理。控制器190可以实现为单个芯片、多个芯片或者多个 电子组件。例如,包括专用或者嵌入的处理器、单一的目的处理器、控制器、专用集成电路 (ASIC)等的各种结构可以用作控制器190。 0086 控制器190与OS一起执行计算机代码,并且产生和使用数据。OS通常是已知的, 因此省。

34、略对其的详细说明。OS的例子可以包括Windows OS、Unix、Linux、Palm OS、DOS、 Android和Mac OS。OS、其他的计算机代码和数据可以存在于存储单元180内,其在控制器 190的控制下操作。 0087 控制器190可以识别用户动作,并且可以基于识别的用户动作控制3D图像处理装 置100。用户动作可以包括选择3D图像处理装置或者遥控器的物理按钮、执行规定的手势 或者在触摸屏显示器上选择软按钮、执行从经由图像捕捉设备捕捉的图像识别的规定的手 势,以及生成通过语音识别来识别的规定的声音。外部信号接收器135可以接收对应于经 由遥控器的物理按钮选择的用户动作的信号。手。

35、势可以包括触摸手势和空间手势。 说 明 书CN 102780902 A 7/19页 10 0088 输入单元170接收手势171,并且控制器190执行用于执行与手势171相关的操作 的指令。存储单元180可以包括手势操作程序181,其可以是OS或者附加的应用程序的一 部分。手势操作程序181包括用于识别手势171的发生和通知一个或多个软件代理响应于 手势171将采取行动的一系列指令。 0089 当用户执行一个或多个手势时,输入单元170将关于手势的信息发送给控制器 190。控制器190使用来自存储单元180的指令,尤其是,使用手势操作程序181分析手势 171,并且控制3D图像处理装置100的。

36、不同组件,诸如,存储单元180、显示器150、音频输出 单元160、信号处理器140、网络接口130、输入单元170等。手势171作为用于执行存储在 存储单元180中的应用的运动、校正在显示器150上的GUI对象、校正存储在存储单元180 中的数据,并且在网络接口130和信号处理器140中执行操作的命令是可区别的。 0090 控制器190可以基于观看距离确定深度设定值。控制器190可以从由图像捕捉设 备90捕捉的视频帧中检测眼镜的第一标记和第二标记,并且可以使用在检测到的第一和 第二标记之间的距离值计算观看距离。另外,控制器190可以基于检测的第一和第二标记 的至少一个的形状计算角度值,并且可。

37、以修订基于计算的角度值计算的观看距离。可以将 在修订之前的观看距离称作用户距离值,并且可以将修订之后的观看距离称作观看距离。 0091 在一些实施例中,控制器190可以根据确定的深度设定值重建视频数据的左视点 图像数据和右视点图像数据。在一些实施例中,控制器190可以控制信号处理器140根据 确定的深度设定值重建视频数据的左视点图像数据和右视点图像数据。 0092 图2是图示信号处理器的示范性实施例的配置的框图。 0093 参考图2,信号处理器140可以包括解复用器210、音频解码器220、视频解码器 230、定标器260、混合器270和格式器280。 0094 解复用器210可以从移动通信单。

38、元115、网络接口130和外部信号接收器135接收 流信号,并且可以将接收到的流信号多路分解为视频数据、音频数据和信息数据,以分别地 将多路分解的视频数据、音频数据和信息数据提供给视频解码器230、音频解码器220和控 制器190。 0095 音频解码器220可以从解复用器210接收音频数据,并且可以恢复接收到的音频 数据以将恢复的音频数据提供给定标器260或者音频输出单元160。 0096 视频解码器230从解复用器210接收视频数据,并且恢复接收到的视频数据以将 恢复的视频数据提供给图像处理单元240。视频数据可以包括3D视频数据。视频解码器 230和图像处理单元240可以构成单个模块。当。

39、控制器190充当图像处理单元240时,视频 解码器230可以将恢复的视频数据提供给控制器190。 0097 图像处理单元240可以根据该深度设定值重建包括在恢复的视频数据中的左视 点图像数据和右视点图像数据。图像处理单元240可以包括位移计算器245、位移修改器 250和视频重建单元255。 0098 位移计算器245计算包括在视频数据中的对象的位移值。 0099 位移修改器250使用深度设定值修改由位移计算器245计算的位移值。位移修改 器可以根据深度设定值和计算的位移值计算修改的位移值。 0100 视频重建单元255可以重建视频数据的左视点图像数据和右视点图像数据,使得 根据由位移修改器2。

40、50修改的位移值来修改对象的位移值。 说 明 书CN 102780902 A 10 8/19页 11 0101 定标器260将由视频解码器230、图像处理单元240和控制器190处理的视频数据 和由音频解码器220处理的音频数据定标为具有恰当幅值的信号,以经由显示器150或者 扬声器(未示出)输出视频和音频数据。更具体地说,定标器260接收3D图像,并且定标3D 图像以便适合于显示器150的分辨率或者规定的高宽比。显示器150可以根据产品规格适 配为输出具有预定分辨率的图像,例如,720480格式、1024768格式等。以这种方法,定 标器260可以将具有各种分辨率的3D图像的分辨率转换为相应。

41、显示器的分辨率。 0102 混合器270将定标器260和控制器190的输出混合。 0103 格式器280将转换以获得3D图像的视频数据提供给显示器150。当使用图案相位 差(patterned retarder)类型的3D视频显示方法时,格式器280可以采样接收到的3D视 频帧以提供其中左视点图像数据和右视点图像数据被水平地或者垂直地交替的视频帧,并 且可以输出采样的视频帧。 0104 当3D视频显示方法是快门眼镜型时,格式器280可以为将被输出的3D图像信号 产生同步信号,并且可以将同步信号传送给眼镜201。格式器280可以包括用于同步信号 的传输的红外输出单元(未示出)。同步信号是使响应于。

42、3D图像信号的左视点图像或者右 视点图像的显示时间与快门眼镜201的左眼镜片或者右眼镜片的开启/闭合时间同步的信 号。 0105 图3是图示眼镜的标记的例子的示意图。 0106 参考图3,眼镜的标记可以是标记310、标记320和标记330中的任何一个。眼镜 的标记不局限于在图3中图示的例子,并且包括在捕捉的视频帧中的眼镜的对象上的可见 标记可适用本发明的眼镜标记。眼镜的标记可以使用发光二极管(LED)灯、发光材料和荧 光材料中的至少一个形成。因而,根据本发明的3D图像处理装置100可以精确地跟踪用户 的位置,甚至在黑暗的环境下,并且可以依照跟踪的用户位置显示具有最佳深度值的3D图 像。 010。

43、7 图4是图示提供有标记的眼镜的示范性实施例的示意图。 0108 参考图4,可以在眼镜400上显示眼镜的标记。可以在眼镜400上显示具有相同形 状的二个标记或者具有不同形状的二个标记。 0109 在一个例子中,作为眼镜的标记,标记410和标记420可以显示在眼镜400上。标 记410位于眼镜400的右眼镜片的边缘上,并且标记420位于眼镜400的左眼镜片的边缘 上。 0110 在一些实施例中,控制器190可以从由图像捕捉设备90捕捉的视频帧中检测眼镜 400,并且可以从检测的眼镜400中检测标记410和标记420。 0111 图5是示意地图示从捕捉的视频帧中提取的眼镜的标记之间的距离的示意图。。

44、 0112 参考图5,控制器190可以从捕捉的视频帧500中检测第一标记510和第二标记 520。控制器190可以基于包括在视频帧500中的标记颜色信息识别第一标记510和第二 标记520。 0113 控制器190可以计算在第一标记510和第二标记520之间的距离值530。距离值 530可以由在第一标记510和第二标记520之间的像素的数目表示,或者可以由度量长度表 示。 0114 控制器190还可以基于距离值530计算用户距离值。在一些实施例中,控制器190 说 明 书CN 102780902 A 11 9/19页 12 可以相对于在标记之间的距离值x通过以下的公式1计算用户距离值y。 01。

45、15 公式1 0116 ya+b(c-x) 0117 这里“a”表示参考距离,“c”表示基于参考距离指示距离值的常数,和“b”表示指 示用户距离值的变化与距离值530的变化比的常数。这些常数“a”、“b”和“c”可以由制造 商确定。 0118 图6是图示距离参考表的示范性实施例的表。 0119 参考图6,控制器190可以使用距离参考表相对于距离值530计算用户距离值。控 制器190可以检测在距离参考表600中与距离值530有关的用户距离值。例如,当距离值 530是100像素时,控制器190可以检测在距离参考表600中映射到100像素的用户距离值 为2.2m。此外,当距离值530是150像素时,。

46、控制器190可以检测在距离参考表600中映射 到150像素的用户距离值为2.0m。 0120 当在距离参考表600中不存在与距离值530相同的距离值时,控制器190可以检 测与接近于距离值530的距离值有关的用户距离值,并且然后可以使用检测到的距离值计 算相对于距离值530的用户距离值。当在距离参考表600中不存在距离值530时,控制器 190可以通过以下的公式2计算相对于距离值x的用户距离值y。 0121 公式2 0122 yy_high+(y_low-y_high)(x-x_low)/(x_high-x_low) 0123 这里“x_low”表示在距离参考表600中存在其中值小于“x”的距。

47、离值,“x_high” 表示在距离参考表600中存在其中值大于“x”的距离值,“y_high”表示相对于“x_high” 的用户距离值,并且“y_low”表示相对于“x_low”的用户距离值。在一个例子中,当距离值 530是125像素时,控制器190可以将“x_low”设定为100像素,并且将“x_high”设定为 150像素,并且可以检测2.0m的“y_high”和2.2m的“y_low”。最后,控制器190可以计算 2.1m的用户距离值。 0124 图7是图示从捕捉的视频帧中提取的眼镜的标记的形状的示意图。 0125 参考图7,控制器190可以在捕捉的视频帧700中检测单个标记710。控制。

48、器190 可以使用标记710的颜色的信息识别标记710。标记710的颜色的信息可以预先地存储在 存储单元180中。 0126 控制器190可以计算标记710的水平长度711。水平长度711可以由像素的数目 表示,或者可以由度量长度表示。控制器190可以基于水平长度711计算角度值。 0127 控制器190也可以计算标记710的垂直长度712。垂直长度712可以由像素的数 目表示,或者可以由度量长度表示。控制器190可以基于水平长度711和垂直长度712两 者计算角度值。 0128 图8是图示角度参考表的示范性实施例的表。 0129 参考图8,控制器190可以使用角度参考表800基于水平长度71。

49、1计算角度值。控 制器190可以在角度参考表800中检测与水平长度711有关的角度值。在一个例子中,当 水平长度711是10像素时,控制器190可以在角度参考表800中检测映射到10像素的角 度值为60。此外,当水平长度711是15像素时,控制器190可以在角度参考表800中检 测映射到15像素的角度值为50。 说 明 书CN 102780902 A 12 10/19页 13 0130 当在角度参考表800中不存在水平长度711的时候,控制器190可以检测与接近 于水平长度711的水平长度有关的角度值,并且可以使用检测到的水平长度计算相对于水 平长度711的角度值。在一个实施例中,当在距离参考表800中不存在水平长度711时,控 制器190可以通过以下的公式。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 电学 > 电通信技术


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1