图像处理装置、 图像处理方法及程序 技术领域 本发明涉及图像处理装置、 图像处理方法和程序， 并且适用于与例如呈现三维图 像的情况一起使用。
背景技术 可利用向观察者的眼睛交替地给予相互具有视差的右眼图像和左眼图像以向 观察者呈现三维图像的技术 ( 参考日本专利特开平第 10-117362 号和日本专利特开第 2010-193409 号 )。采用这种技术， 视频图像中的人能够从三维方向上进行观看， 因此， 增强 了真实感。
发明内容
顺便提及， 关于游戏等的视频图像， 使用者的视点有时被当作并且被显示为图像。 在刚刚描述的情况下， 作为用于增强真实感的对策之一， 有时要求图像提供使用者实际上 位于使用者的位置但同时使用者的视点被当作图像的这种现场感。期望提供能够增强真实感的图像处理装置、 图像处理方法和程序。
根据公开的技术的实施方式， 提供了图像处理装置， 包括 ： 投影部， 适于交替地投 影右眼图像以及另一左眼图像， 分离部， 适于将右眼图像的投影图像和另一左眼图像的投 影图像彼此分离， 视线检测部， 适于对将被提供右眼图像和左眼图像的观察者的视线方向 进行检测， 以及亮度调整部， 适于对右眼图像和左眼图像设定关于视线方向的范围， 并调整 像素的亮度值， 使得右眼图像和左眼图像的设定范围以外的部分呈现不可见的状态。
根据公开的技术的另一实施方式， 提供了图像处理方法， 包括 ： 对将被提供右眼图 像和另一左眼图像的观察者的视线方向进行检测， 对右眼图像和左眼图像设定关于视线方 向的范围， 并调整像素的亮度值， 使得右眼图像和左眼图像中的设定范围以外的部分呈现 不可见的状态， 交替地投影经过调整的右眼图像和左眼图像， 以及将右眼图像的投影图像 和另一左眼图像的投影图像彼此分离。
根据公开的技术的另一实施方式， 提供了用于使计算机执行以下操作的程序 ： 对 被提供右眼图像和左眼图像的观察者的视线方向进行检测， 对右眼图像和左眼图像设定关 于该视线方向的范围， 并调整像素的亮度值， 使得右眼图像和左眼图像中的设定范围以外 的部分呈现不可见的状态， 交替地投影经过调整的右眼图像和左眼图像， 以及将右眼图像 的投影图像和另一左眼图像的投影图像彼此分离。
采用公开的技术， 观察者的注意区域被限制在视线方向的周围， 并且近似于在夜 间等的黑暗的地方的实际视场的三维图像能够呈现给观察者。 因此， 通过图像处理装置、 图 像处理方法和程序能够增加真实感。
附图说明
图 1 是示出了视频图像显示系统的结构的示意图 ；图 2A 和图 2B 是示出了眼镜的结构的示意图 ； 图 3 是示出了眼镜的佩戴状态的示意图 ； 图 4 是示出了图像处理装置的结构的框图 ； 图 5 是示出了 CPU 的功能结构的框图 ； 图 6 是示出了视线与电位差的符号和大小的关系的示意图 ； 图 7 和图 8 是示出了投影图像的显示状态的不同实例的示意图 ； 图 9 是示出了视频图像显示处理程序的流程图。具体实施方式
下面描述公开的技术的具体实施方式。应注意， 本发明实施方式是按下列顺序描 述的。
1. 实施方式
2. 其他实施方式
1. 实施方式
三维图像的显示方法大致可以分为时间分割法和偏光法。在时间分割法中， 沿着 时间序列交替地投影相互具有视差的右眼图像和左眼图像， 并且改变用于分配给左眼和右 眼的液晶快门的传输定时以呈现三维图像。
另一方面， 在偏光法中， 沿着时间序列交替地投影偏光方向彼此不同的右眼图像 和左眼图像， 并且通过被分配了对应于左眼和右眼的偏光方向的透镜来呈现三维图像。
作为实施方式， 将使用时间分割法的图像显示系统作为实例进行描述。
1-1. 图像显示系统的结构
首先参照图 1， 示出了图像显示系统 1， 其包括眼镜 10 和图像处理装置 20。 配置眼 镜 10 和图像处理装置 20， 使得能够通过有线通信或无线通信来彼此发送和接收数据。
1-2. 眼镜的结构
现在参照图 2A、 图 2B 和图 3， 眼镜 10 包括框架 ( 下文称为眼镜框 )11， 分配给左眼 的液晶快门 LL 和分配给右眼的液晶快门 LR 设置在眼镜框架 11 的预定的位置上。
投影部 13 安装在桥接部 12 的上侧， 桥接部 12 设置在眼镜框架 11 的液晶快门 LL 和液晶快门 LR 之间。投影部 13 向与液晶面正交的前方投影图像。此外， 三轴陀螺仪 14 内 置于桥接部 BLP。
用于接触脸的左眼的左上侧部分的电极 ( 下文中， 有时称为左上电极 )15 以及用 于接触脸的右眼的右下侧部分的另一电极 ( 下文中， 有时称为右下电极 )16 设置在眼镜框 架 11 的与脸相对的一侧上。
作为左上电极 15 将接触的脸部位置， 佩戴眼镜框架 11 的使用者的左眉尾部周围 的部分是更优选的。另一方面， 作为右下电极 16 将接触的脸部位置， 位于佩戴眼镜框架 11 的使用者的右眉尾部下方的部分是更优选的。
此外， 用于接触一只耳朵周围的脸部部位的电极 ( 下文中， 有时简称耳部电极 )17 设置在眼镜框 11 的镜腿的内侧。作为耳部电极 17 将接触的脸部部位， 位于使用者佩戴眼 镜框架 11 的位置的下方的使用者部位是优选的。如果这个位置是耳垂， 则将是更优选的。
应注意， 如果电极 15 至 17 能够接触佩戴眼镜框架 11 的使用者的多个部位， 则眼镜框架 11 与电极 15 至 17 之间的安装并不仅限于示出的形式。
1-3. 图像处理装置的结构
参照图 4， 通过将各种硬件连接至用于控制整个图像处理装置 20 的 CPU( 中央处理 单元 )21 来配置图像处理装置 20。
具体地， ROM( 只读存储器 )22、 用作 CPU 21 的工作存储器的 RAM( 随机存储器 )23、 操作部 24 和接口 25 通过总线 26 连接至 CPU 21。
用于适当地使用液晶快门 LL 和 LR、 投影部 13、 陀螺仪 14 和电极 15 至 17 向使用 者显示三维图像的程序存储在 ROM 22 内。
操作部 24 具有多个操作元件， 并且提供由使用者向 CPU 21 发出的对应于操作元 件的操作的指令。指令涉及对三维图像的控制， 诸如例如包括在三维图像内的人的移动或 三维图像本身向后、 向前、 向左或向右的移动， 对三维图像的状态进行改变等。
液晶快门 LL 和 LR、 投影部 13、 陀螺仪 14、 电极 15 至 17 以及记录介质 MR 连接至接 口 25。记录介质 MR 例如是蓝光 ( 蓝光光盘协会 ： 注册商标 ) 光盘、 硬盘、 存储卡等。
1-4. 图像显示过程
在接收到显示视频图像的指令的情况下， CPU 21 将存储在 ROM 22 内的程序展开 至 RAM 23。现在参照图 5， CPU 21 基于程序用作视频图像获取部 31、 同步信号产生部 32、 投影控制部 33、 快门控制部 34、 视线检测部 35、 亮度调整部 36 和倾斜度调整部 37。CPU 21 因此执行用于向使用者显示三维图像的过程。 视频图像获取部 31 通过使用接口 25 的有线或无线通信路径获取来自记录介质 MR 的视频图像数据， 并且将获取的数据发送至投影控制部 33。视频图像数据表示沿着时间序 列的多个图像， 以相互具有视差的右眼图像和左眼图像为单位。
同步信号产生部 32 产生用于同步控制的信号 ( 下文中， 称为同步信号 )， 并且将产 生的信号发送至投影控制部 33、 快门控制部 34、 亮度调整部 36 和倾斜度调整部 37。
根据同步信号产生部 32 提供的同步信号， 投影控制部 33 控制投影部 13 以沿着时 间序列投影构成视频图像获取部所提供的视频图像数据的多个右眼图像和左眼图像。
快门控制部 34 根据同步信号产生部 32 提供的同步信号交替地改变液晶快门 LL 和 LR 的打开和关闭， 使得右眼图像和左眼图像分别提供至右眼和左眼。
通过视线检测部 35， 根据左上电极 15 与耳部电极 17 之间的电位差以及右下电极 16 与耳部电极 17 之间的另一电位差检测视线方向。
在该情况， 图 6 示出了实验的结果， 当在基准电极设置在左耳垂上并且其他电极 分别设置在左眼的左上部分以及右眼的右下部分的状态下在不同的方向移动视线时， 测量 各电极和基准电极之间的电位差以及电极之间的电位差。
在该测量中， 按照从前面至左上、 右下、 上中、 下中、 右上、 左下、 右中、 左中、 前面的 顺序移动视线， 并且视线以预定时间停留在各位置。如图 4 可见， 当视线停留在不同的方向 上时， 对于左上电极和基准电极之间的电位差、 右下电极和基准电极之间的电位差以及左 上电极和右下电极之间的电位差来说， 符号和大小基于视线停留的方向而不同。
应注意， 因为在视线移动时测量肌电位， 所以对应于眼电位的电位差随着视线的 移动而变化很大， 如图 6 所示。因为肌电位的大小约为眼电位的 1000 倍， 所以能够很容易 地区分肌电位和眼电位。
视线检测部 35 放大用作基准的耳部电极 17 和左上电极 15 之间的电位差， 以及放 大耳部电极 17 和右下电极 16 之间的电位差。然后， 视线检测部 13 在每个预定的时间间 隔之后对放大的电位差的值与被定义为最低值的阈值进行比较， 该最低值将被确定为肌电 位。
如果耳部电极 17 与左上电极 15 之间的电位差 ( 该电位差在下文中称为左电位 差 ) 的值和耳部电极 17 与右下电极 16 之间的电位差 ( 该电位差在下文中称为右电位差 ) 的值等于或高于阈值， 那么视线检测部 35 确定没有检测到视线。
另一方面， 如果左电位差和右电位差低于阈值， 则视线检测部 35 参考表格检测与 左电位差和右电位差的符号和大小相对应的视线方向。
具体地， 例如， 确定 9 个不同的视线方向为检测对象， 确定左电位差和右电位差的 符号和大小属于三种不同大小 “大” 、 “中” 、 “小” 中的哪一种。然后， 将确定的结果与表示如 图 6 中所示的 9 个视线方向上的符号和大小的表格进行比较。应注意， 9 个视线方向包括 “前面” 、 “上中” 、 “下中” 、 “右中” 、 “左中” 、 “右上” 、 “右下” 、 “左上” 和 “左下” 方向。
如果检测到视线方向， 则视线检测部 35 产生表示视线方向的数据 ( 在下文中有时 称为视线数据 )， 并且将产生的数据发送至亮度调整部 36。 在接收到来自视线检测部 35 的视线数据的情况下， 亮度调整部 36 基于由同步信 号产生部 32 提供的同步信号和内置时钟将对应于检测到视线数据所表示的视线方向的时 间点的右眼图像和左眼图像识别为调整对象。
然后， 亮度调整部 36 对识别为调整对象的右眼图像和左眼图像设定关于视线方 向的范围， 并将设定范围之外的区域中的像素的亮度值改变为低于预定值的值， 使得位于 设定范围之外的区域呈现不可见的状态。
此外， 亮度调整部 36 改变位于范围内的像素的亮度值， 使得亮度值的减弱率随着 距离中心的距离的增加而增加， 使得设定范围从其中心开始逐渐变暗。
结果， 如图 7 所示， 使用者的注意区域限制在视线方向的周围， 并且能够显示近似 于在夜间等的黑暗的地方的实际视场的三维图像。
倾斜度调整部 37 获取在适当佩戴眼镜框架 11 的状态下的陀螺仪 14 的测量值作 为参考数据。作为参考数据的获取方法， 例如， 从预先存储参考数据的 ROM 等中读出并且获 取参考数据的方法， 并且， 产生并获取在检测到佩戴眼镜框架 11 的时间点处的陀螺仪 14 的 测量值作为参考数据的另一方法是可用的。
如果获取到参考数据， 则倾斜度调整部 37 定期地对参考数据与从陀螺仪 14 中输 出的测量值进行比较， 从而从比较的结果中检测相对于参考平面的倾斜角。
此时， 在检测到的倾斜角等于或大于倾斜度设定的最小值时， 倾斜度调整部 37 基 于由同步信号产生部 32 提供的同步信号和内置时钟将对应于检测时间点的右眼图像和左 眼图像识别为调整对象。
然后， 倾斜度调整部 37 对作为调整对象的右眼图像和左眼图像的倾斜度进行校 正， 使得倾斜角变得小于预定的角度。
结果， 如图 8 所示， 避免了响应于佩戴眼镜框架 11 的使用者的头部的倾斜度对投 影图像进行倾斜的情况， 并且呈现与实际视场状态相一致的三维图像。
以这种方式， CPU 21 使用电极 15 至 17 以及陀螺仪 14 来校正右眼图像和左眼图
像， 使得近似于黑暗的地方的实际视场， 并且与实际视场状态相一致， 从而呈现三维图像。
1-5. 三维图像显示处理过程
现在， 参照图 9 中所示的流程图对上述的三维图像显示过程进行描述。如果 CPU 21 接收到显示视频图像的指令， 那么 CPU 21 开始三维图像显示过程并将其处理进入步骤 SP1。
在步骤 SP1 中， CPU 21 使用电极 15 至 17 检测视线方向， 并且使用陀螺仪 14 检测 相对于参考平面的倾斜角， 然后将处理进入步骤 SP2。
在步骤 SP2 中， CPU 21 从记录介质 MR 获取构成视频图像数据的成对的右眼图像 和左眼图像， 并且将处理进入步骤 SP3。
在步骤 SP3 中， CPU 21 基于在步骤 SP1 中检测到的视线方向以及相对于参考平面 的倾斜角对在步骤 SP2 中获取的右眼图像和左眼图像进行校正， 并且将处理进入步骤 SP4。 具体地， 对右眼图像和左眼图像的亮度值进行校正， 使得相对于在步骤 SP1 中检测到的视 线方向的预定的范围可见， 并且对右眼图像和左眼图像的倾斜度进行校正， 使得与相对于 在步骤 SP1 中检测到的参考平面的倾斜角的差小于预定的量。
在步骤 SP4 中， CPU 21 交替地投影在步骤 SP3 中经过校正的右眼图像和左眼图像， 并且根据投影周期改变液晶快门 LL 和 LR 的打开和关闭， 并且将处理进入步骤 SP5。 在步骤 SP5 中， CPU 21 确定在步骤 SP1 的检测时间点之后是否经过预定的时间段。 如果没有经过预定的时间段， 则 CPU 21 将处理返回至步骤 SP2， 在步骤 SP2 中 CUP 21 从记 录介质中获取新的一对右眼图像和左眼图像。
另一方面， 如果在步骤 SP1 中的检测时间点之后经过了预定的时间段， 则 CPU 21 将处理返回至步骤 SP1， 在步骤 SP1 中 CUP 21 再次检测视线方向以及相对于参考平面的倾 斜角。
以这种方式， CPU 21 基于存储在记录介质 MR 中的视频图像数据显示三维图像， 直 至接收到结束视频图像的显示的指令。
应注意， 因为视线的移动， 所以有时在步骤 SP1 检测不到视线方向。在这种情况 下， 在步骤 SP3 中， 将目前作为获取对象的右眼图像和左眼图像的亮度值同样地校正为在 目前获取的图像之前获取的右眼图像和左眼图像的经过校正的亮度值。
此外， 如果在步骤 SP1 中相对于参考平面的倾斜角小于为最小倾斜度设定的最小 值， 则在步骤 SP3 中， 将目前作为获取对象的右眼图像和左眼图像的倾斜度同样地校正为 在目前获取的图像之前获取的右眼图像和左眼图像的经过校正的倾斜度。
1-6. 效果等
具有上述结构的图像处理装置 20 对向其显示三维图像的使用者的视线方向进行 检测， 并且在将被给予使用者的右眼的右眼图像以及将被给予使用者的左眼的左眼图像中 设定关于视线方向的范围。然后， 图像处理装置 20 调整右眼和左眼图像的设定范围之外的 部分的像素的亮度值， 使得该部分呈现不可见的状态。
因此， 图像处理装置 20 能够显示将使用者的注意区域限制在视线方向的周围并 且近似于在夜间等的黑暗的地方的实际视场的三维图像。这特别适于屏幕图像 ( 诸如游戏 等中的三维图像 ) 被感知作为使用者的视场以呈现三维图像的情况。
此外， 图像处理装置 20 基于由陀螺仪提供的测量值对相对于参考平面的倾斜角
进行检测， 并调整右眼图像和左眼图像的倾斜度， 使得倾斜角变得小于预定的角度。
因此， 图像处理装置 20 能够避免随着佩戴眼镜框架 11 的使用者的头部的倾斜， 投 影图像也发生倾斜的情况， 并且能够向使用者显示与实际视场状态相一致的三维图像。这 特别适于用于投影观察者所观察到的图像的投影部 13 设置在诸如观察者佩戴的眼镜框架 11 的装置上的情况。
使用上述结构， 通过实现近似于实际视场的三维图像的显示或与实际视场状态相 一致的另一三维图像的显示， 图像处理装置 20 能够增加真实感。
2. 其他实施方式
在上述实施方式中， 液晶快门 LL 和 LR 被应用为用于将右眼图像和左眼图像的投 影图像分离到相应的眼睛的部件。 然而， 分离部并不仅限于上述的实施方式中的分离部。 例 如， 能够应用双凸透镜屏幕 (lenticular screen) 等。此外， 在用偏光法取代时间分割法情 况下， 用作偏光滤光器的液晶透镜等能够被用来取代液晶快门 LL 和 LR。
应注意， 在时间分割法中， 在投影之前对右眼图像和左眼图像的亮度值和倾斜度 进行校正， 然而， 在偏光方法中， 对液晶透镜的偏光方向进行调整， 从而校正待投影的右眼 图像和左眼图像的亮度值和倾斜度。
此外， 在上述实施方式中， 根据电极 15 和 16 与电极 17 之间的电位差检测视线方 向。然而， 视线方向的检测部并不仅限于上述实施方式中的检测部。例如， 可根据作为摄像 部拍摄到的被给予右眼图像和左眼图像的使用者的眼中的图像的结果而获取的图像来检 测视线方向。具体地， 作为从图像检测视线方向的方法， 例如， 基于眼睛中心处相对于夹在 眼睑之间的眼睛区域的中心的偏离量来检测视线方向的方法是可行的。
此外， 在上述实施方式中， 通过将视线方向作为检测对象应用了 “前面” 、 “上中” 、 “下中” 、 “右中” 、 “左中” 、 “右上” 、 “右下” 、 “左上” 以及 “左下” 9 个方向。但是， 检测对象的 视线方向并不仅限于上述实施方式中的这些视线方向， 能够应用不同数量的检测对象。
此外， 在上述实施方式中， 左电位差和右电位差的大小被划分为三个级别。然而， 用于对大小进行分类的级别的数量并不仅限于上述实施方式中的数量， 能够应用不同数量 的级别。
此外， 在上文描述的实施方式中， 关于视线方向的范围的形状被形成为圆形。但 是， 范围的形状并不仅限于圆形， 而是能够应用不同的形状。
此外， 在上述实施方式中， 对左电位差和右电位差的符号和大小与表示 9 个视线 方向的符号和大小的表格进行了比较来检测视线方向。然而， 视线方向的检测方法并不仅 限于上文描述的实施方式中的检测方法， 例如， 也可以应用通过从左电位差和右电位差的 符号和大小的计算直接地检测视线方向的方法等。
此外， 在上述实施方式中， 眼镜框架 11 被应用为佩戴部或使用者能够佩戴的装 置。然而， 佩戴部并不仅限于上述实施方式中的佩戴部。能够应用不同装置， 例如发带、 帽 子等。
此外， 在上述实施方式中， 相对于左眼的左上部分以及相对于右眼的右下部分被 应用为电极将接触的部位。然而， 如果能够检测到上、 下、 左、 右方向的视线， 则电极将接触 的部位并不仅限左眼的左上部分和右眼的右下部分。此外， 虽然在上述实施方式中与眼睛 的临近部位接触的电极的数量为每只眼睛一个电极， 但是可以使用二个以上电极。此外， 在上述实施方式中， 用于执行视频图像显示过程的程序存储在 ROM 中。然 而， 程序的存储位置并不仅限于上述实施方式中的位置。能够应用位于图像处理装置 20 的 外部或内部的各种存储介质。
本发明可应用于游戏行业、 医药行业等。
本发明包含关于 2010 年 10 月 12 日向日本专利局提交的日本在先专利申请 JP 2010-229770 中所公开的主题， 其全部内容结合于此作为参考。
本领域的技术人员应当理解， 根据设计需求和其他因素， 可以进行各种修改、 组 合、 子组合和变形， 均应包含在所附权利要求或其等同物的范围之内。