显示装置和控制方法 【技术领域】
本发明涉及一种具备触摸面板等显示部的显示装置。背景技术 对于能触摸输入的显示装置，典型的是能够通过在 LCD(LiquidCrystal Display) 上层叠一张电阻膜方式或静电容量方式等的薄片来实现。 这种显示装置被应用于银行等 设置的 ATM、用来购买车票等的售票机、汽车导航系统、便携设备、游戏设备等各种情 况，将其作为能够直观输入的接口。
基本上，对于这种能触摸输入的显示装置，用户都能以一点或多点输入。 该显 示装置能判断是否触碰了显示画面的某个位置。
作为实现触摸输入的技术已知如下的方式 ：除了电阻膜方式、静电容量方式、 红外线方式、电磁感应方式、超声波方式以外，还有通过对光传感器内置 LCD 拍摄的图 像进行解析从而检测触摸位置来实现触摸输入的方式。 例如， JP 特开 2006-244446 号公
报 ( 专利文献 1) 中对光传感器内置 LCD 进行了说明。
这样，周知存在多个用于检测触摸位置的技术。 但是，仅仅是触摸位置的检 测，还无法判别相对于触摸位置的触摸操作方向。
因此，在 JP 特开 2006-47534 号公报 ( 专利文献 2) 中提出了如下的技术 ：对于 从左右观看的人能显示不同图像的分屏 (dual view) 显示 LCD 型车载用导航系统中，判别 是从驾驶席和助手席的其中哪一个对显示画面进行了触摸操作，并根据其判别结果进行 显示控制。 该系统通过对车内的椅子或方向盘接地的人体由驾驶席和助手席将各自不同 的信号传达至显示装置，以此判别坐在左右哪个位置的人进行了触摸操作。
专利文献 1 ：JP 特开 2006-244446 号公报
专利文献 2 ：JP 特开 2006-47534 号公报
但是，在专利文献 2 提出的系统中，人需要一直坐在椅子上、或者一直触摸方 向盘等，接触显示装置以外添置的信号传达装置。 因此，上述系统仅在特定的状况下能 判别触摸操作方向。 此外，在显示装置外部还需要用于传达信号的大规模的装置。 因 此，对于在户外手持的情况下利用的移动设备等将无法应用上述系统。
在专利文献 2 中除了通过人体传达判别信号的方式以外，还提出了如下的方 式 ：在车内的后方顶部设置照相机，对从助手席以及驾驶席后方拍摄到显示装置的显示 画面的图像进行解析，以此来判别触摸操作方向的方式。
但是，在该方式中，在由头部或背部等障碍物挡住了触摸的部分、或人与人的 手交错的情况下，上述系统正确检测出是从哪个方向进行的触摸将很困难。 此外，与在 显示装置外部设置信号传达装置的方式相同，移动设备等在外部手持的情况下将无法应 用该方法。发明内容 本发明是为解决上述问题而提出的，其目的在于提供一种显示装置和该显示装 置中的控制方法，在检测到触摸操作的情况下，显示装置其自身能确定触摸操作方向 ( 触摸操作中相对于显示画面的触摸方向 )。
本发明所涉及的显示装置具备 ：显示部，具有显示画面 ；摄像部，从所述显示 部内部拍摄对所述显示画面的触摸操作 ；触摸位置检测部，检测所述触摸操作中对所述 显示画面的触摸位置 ；以及方向判别部，根据所述摄像部的摄像而得到的图像，判别所 述触摸操作中相对于所述显示画面的触摸方向。
优选所述方向判别部根据所述摄像部进行摄像而得到的图像之中以所述触摸位 置为基准的规定范围的图像，判别所述触摸方向。
优选所述方向判别部在由所述摄像部拍摄到为了所述触摸操作而接触所述显示 画面的手指或触摸部件时，根据所述触摸位置的周边图像的浓度变化，判别所述触摸方 向。
优选所述摄像部是光传感器或温度传感器。
优选所述触摸位置检测部根据所述摄像部拍摄的图像检测触摸位置。
根据本发明，从显示部的内部拍摄对显示画面的触摸操作，根据其摄像图像判 别相对于触摸位置的触摸操作方向。 因此，在检测到触摸操作的情况下，能以显示装置 自身确定触摸操作方向。
附图说明
图 1 是表示实施方式 1 中的显示装置 1 的概略结构的框图。
图 2 是用于说明光传感器内置 LCD 功能的图。
图 3 是表示摄像图像的例子的图。
图 4 是用于说明通过确定浓度梯度方向来判别触摸操作方向的判别方法原理的图。
图 5 是用于说明触摸操作方向判别处理 P1 的流程图。
图 6 是用于说明触摸操作方向判别处理 P1 的概念图。
图 7 是表示用于决定触摸操作方向的基准的处理步骤的流程图。
图 8 是用于说明根据边沿特征量分布判别触摸操作方向的判别方向原理的图。
图 9 是用于说明触摸操作方向判别处理 P2 的流程图。
图 10 是用于说明指纹特征的图。
图 11 是将显示装置应用于游戏机时的画面图。
图 12 是操作权限数据的概念图。
图 13 是表示显示装置用于判定棋子操作的有效 / 无效的处理步骤的流程图。
图 14 是表示设置了静电容量方式的触摸面板的显示装置的概略结构的框图。
图 15 是表示本发明的实施方式 2 中的显示装置的概略结构框图。
图 16 是表示 LCD 的显示画面例的图。
图 17 是用于说明 “基于椭圆长轴方向的判别方法” 的原理的图。
图 18 是表示根据 “基于椭圆长轴方向的判别方法” 的处理步骤的流程图。
图中 ：1、2、11- 显示装置 10、18- 光传感器内置 LCD 14- 触摸位置检测部 15- 触摸操作方向判别部 17- 静电容量方式触摸面板 20- 光传感器内置分屏显示 LCD具体实施方式
以下，参照附图对本发明的实施方式进行说明。 在以下的说明中，对相同的部 件以及结构要素附于相同的符号，并设它们的名称以及功能也相同。
( 实施方式 1)
图 1 是表示本发明的实施方式 1 的显示装置 1 的概略结构框图。 显示装置 1 例 如可用于游戏机。
显示装置 1 具备光传感器内置 LCD( 液晶面板 / 显示器 )10，该光传感器内置 LCD10 在各像素中内置光传感器，不仅能显示还能进行图像拍摄。 显示装置 1 还具备触 摸位置检测部 14，其对光传感器内置 LCD10 拍摄的图像进行解析从而检测触摸位置。 显 示装置 1 还具备触摸方向判别部 15，其对光传感器内置 LCD10 拍摄的图像进行解析，从 而判别从哪个方向进行的触摸。 显示装置 1 还具备控制部 19，其接受表示触摸位置和触 摸操作方向的数据，进行显示装置 1 的全部控制。 显示装置 1 还具备存储部 12，其保存 数据和命令。 显示装置 1 还具备图像生成部 13，其生成对画面显示的图像。
当检测到对显示画面的触摸操作时，光传感器内置 LCD10 从显示画面内部对触 摸操作时的图像进行拍摄。 光传感器内置 LCD10 将拍摄到的图像输入至触摸位置检测部 14。 触摸位置检测部 14 通过对图像进行解析来检测触摸位置。
作为检测触摸位置的方法，例如采用边沿特征量提取、图案匹配等技术。 这 样，通过图像处理进行触摸位置检测，即使同时触摸画面的多个位置，触摸位置检测部 14 也能检测出这些多个触摸位置。 因此，操作者能够同时操作画面上显示的多个操作对 象。 此外，也能多个人同时进行操作。
触摸操作方向判别部 15 以触摸位置检测部 14 检测出的触摸位置为基准，对光传 感器内置 LCD10 所得到的图像进行解析。 通过该解析，触摸操作方向判别部 15 判别触 摸操作方向。
控制部 19 利用触摸位置检测部 14 所得到的触摸位置、和触摸操作方向判别部 15 所得到的触摸操作方向，例如进行作为游戏机的显示装置 1 的控制。
作为光传感器内置 LCD10，对应于各像素内置传感器 ( 省略图示 )，该光传感器 主要反应可见光区域的频率。 如图 2 所例示那样，光传感器内置 LCD10 的各光传感器 被设计成接受室内光和太阳光等的外光、从背光灯 16 照射的光被置于显示画面上的手指 100 等反射而成的反射光。 光传感器内置 LCD10 将光传感器接收到的光由 AD 转换器转 换为数字值，作为黑白的灰度 ( 浓淡 ) 图像输出。
光传感器得到的触摸操作时的图像，因外光和背光灯的强度、手指的放置方式 等而不同。 图 3 例示了 3 个典型的例子。即便外光的强度发生变化，与显示画面相接的或者位于其附近的指肚部分的亮 度不怎么变化。 相对于此，外光没有被手指遮挡的部分依然受到外光亮度的变化。 因 此，外光没有被手指遮挡的部分与指肚部分相比相对地变黑或变白，其对比度发生变 化。
图 3(a) 是一例显示装置 1 的显示画面被比较亮的外光照射时的图像。 如图 3(a) 所示，没被手指遮住光的外侧部分较白。 一部分与画面相接的指肚图像 101 因背光灯 16 的反射光而稍白。 指影图像 102 由于被遮挡住光而变黑。
图 3(b) 是一例比较暗的外光的情况下的图像。 如图 3(b) 所示，仅其一部分与 画面相接的指肚图像 101 因背光灯 16 的反射光而稍白，其他部分较黑。
图 3(c) 是一例外光是太阳光那样的平行光且非常亮的情况下的图像。 由于与一 部分与画面相接的指肚图像 101 的背光灯 16 所形成的反射光相比，指肚图像 101 周围的 外光更强，因此仅指肚图像 101 较黑。
接下来，对触摸操作方向判别部 15 判别触摸操作方向的方法进行详细说明。 触 摸操作方向判别部 15 根据光传感器内置 LCD10 拍摄的图像之中以触摸位置为基准的规定 范围的图像，判别触摸操作方向。 作为触摸操作方向判别部 15 判别触摸操作方向的方 法，以下依次说明 “根据浓度梯度方向的判别方法”、 “根据边沿特征量分布的判别方 法”、 “根据指纹形状的判别方法” 的三种方法。 ( 根据浓度梯度方向的判别方法 )
图 4 是用于说明通过确定浓度梯度方向来判别触摸操作方向的原理的图。
在该判别方法中，将光传感器内置 LCD10 拍摄到的显示画面整体的画面之中被 检测到的触摸位置作为基准，通过研究触摸位置周边的黑白灰度图像的浓度梯度方向来 判别触摸操作方向。
图 4(a) 中表示由光传感器内置 LCD10 拍摄到的图像之中触摸位置周边的图像。 该图像中与图 3(a) 同样，显示了一部分与画面相接的手指的指肚图像 101、指影图像 102。 此外，图中的十字标记 105 是用于说明由触摸位置检测部 14 检测到的触摸位置的 标记。 触摸位置由十字中心位置表示。 十字标记 105 在实际的图像中并未显示。
仔细观察图 4(a) 的指肚图像 101 就会发现如下特征 ：如 “指肚部分的放大图” 所示，以触摸位置为基准，指尖方向由于手指靠近画面因反射光而拍摄得较白 ；另一方 面，越是朝向指根方向，反射光的强度越弱而图像的浓度越浓，拍摄得较黑。 这是因 为，手指以从手腕向斜下方倾斜的角度触摸画面。 此外，不仅手指，由触摸笔进行触摸 操作的情况下，当然也会出现同样的特征。
因此，在图 4(a) 的例子中，可认为指肚图像 101 之中图像浓度变浓的方向是朝 向手腕侧的指根方向、或者朝向操作者的方向。 因此，在图 4(a) 的例子中，确定图像浓 度变浓的浓度梯度分哪敢想，从而将该方向作为触摸操作方向来进行判别即可。
图 4(b) 中表示根据该原理判别触摸操作方向是上下左右 4 个方向的哪一个的判 别基准。 如图 4(b) 所示，根据指肚图像 101 的浓度梯度方向 ( 图中的 “白→黑” )，能 够判别出触摸操作方向是左、右、上、下 4 个方向的哪一个。
此外，尽管图 4(b) 中为了容易理解仅例示了 4 个方向的触摸操作方向，但通过 更加细致地计算浓度梯度方向，能在加上倾斜方向的 8 个方向甚至 16 个方向等，更详细
地判别触摸操作方向。
此外，这里虽然将灰度图像从白朝向黑的方向 ( 指根方向 ) 判别为触摸操作方 向，但是也可以将从黑朝向白的方向 ( 指尖方向 ) 判别为触摸操作方向。
一般，在触摸位置附近，因例如因手指与显示画面用力相接的部分、轻轻相接 的部分、稍稍悬浮的部分等，而可得到不同的灰度图像。 因此，显示装置 1 像这样根据 灰度图像的浓度梯度来判别触摸操作方向，从而能够精确地判别触摸操作方向。
接下来，参照图 5 以及图 6，根据图 4 所示的判定原理对显示装置 1 判别触摸操 作方向的具体步骤进行说明。 图 5 是用于说明显示装置 1 实行的触摸方向判别处理 P1 的 流程图。 此外，图 6 是用于说明触摸操作方向判别处理 P1 的概念图。
在触摸操作方向判别处理 P1 中，显示装置 1 首先取得以触摸位置坐标为中心的 灰度图像 (S1)。 所取得的灰度图像例如是光传感器内置 LCD10 拍摄的图像之中、如图 6(a) 所示那样以十字标记 105 的十字中心表示的触摸位置坐标为中心的纵横 L1×L1 的正 方形解析区域 80 中包含的图像。 在此， L1 的长度以标准手指的大小为基准进行预先设 定，并包含指肚图像 101。
此外，显示装置 1 中也可以设置登记用户手指尺寸的功能，根据其登记尺寸显 示装置 1 来设定解析区域 80 的尺寸。 此外，解析区域 80 的形状并不限于正方形，也可 以是长方形、圆形、或椭圆形。 接下来，为了对取得的灰度图像计算浓度梯度方向，显示装置 1 分别针对横方 向 (x 方向 ) 以及纵方向 (y 方向 ) 实行索贝尔 (Sobel) 滤波处理 (S2、S3)。 图 6(b) 是分 别对应横方向 (x 方向 ) 以及纵方向 (y 方向 ) 的索贝尔滤波的一例。 此外，这里虽然例 示了使用索贝尔滤波器，但只要是边沿提取用的滤波器都可以使用。
显示装置 1 通过对解析区域 80 内的灰度图像应用索贝尔滤波，从而针对构成灰 度图像的每个像素计算横方向 (x 方向 ) 以及纵方向 (y 方向 ) 的索贝尔值。 图 6(b) 是表 示具有浓度梯度角 θ 的浓度梯度向量 111 的图，该浓度梯度角 θ 针对特定的像素根据横 方向 (x 方向 ) 的索贝尔值 Gx 和纵方向 (y 方向 ) 的索贝尔值 Gy 而求得。
接下来，显示装置 1 根据 S2 以及 S3 中针对每个像素计算出的横方向及纵方向 的索贝尔值，将各像素的浓度梯度方向归类为上下左右 4 个方向的其中一个 (S4)。 如图 6(b) 所示，对应各像素计算横方向 (x) 方向的索贝尔值 Gx 和纵方向 (y 方向 ) 的索贝尔 值 Gy，但显示装置 1 由于将浓度梯度方向分类为上下左右 4 个方向，将基于 Gx 和 Gy 之 中绝对值较大的值的方向决定为该像素的浓度梯度方向。 在此，横方向的索贝尔值为正 时表示左方向，为负时表示右方向 ；纵方向的索贝尔值为正时表示上方向，为负时表示 下方向。
例如，若 (Gx，Gy) ＝ (-10，+15)，则显示装置 1 将 Gy 方向即纵方向中对应 + 方向的上方向决定为该像素的浓度梯度方向。 不过，考虑到噪声等影响，设绝对值在预 先规定的阈值以下时，显示装置 1 无法确定对应该像素的浓度梯度方向。
显示装置 1 像这样通过将各像素的浓度梯度方向归类为上下左右 4 个方向的其中 一个，从而针对解析区域 80 所包含的图像，如图 6(c) 图示那样计算每个像素的浓度梯度 方向。
接下来，显示装置 1 计算上下左右方向的浓度梯度方向之中最多的方向，将该
值判别为触摸操作方向 (S5)，并结束处理。
此外，在显示装置 1 判别 4 个以上的方向时，只要根据在各像素计算出的横方向 和纵方向的索贝尔值的值来定义倾斜方向即可。 例如，根据 S2 和 S3 的处理结果，显示 装置 1 针对每个像素计算浓度梯度向量 111。 然后，显示装置 1 比较合成各像素的浓度梯 度向量 111 而得到的合成向量的倾斜角、和上下左右倾斜方向，从而将角度差最少的方 向判别为触摸操作方向。
或者，显示装置 1 在从 4 个方向中判别触摸操作方向的情况下，也可以比较合成 向量的倾斜角和上下左右方向，从而将角度差最少的方向判别为触摸操作方向。
以上，所说明的根据浓度梯度方向的判别方法，应用于假定拍摄到图 3(a) 所示 的图像的情况。 但是，实际上也存在图 3(b) 和图 3(c) 这种摄像图像输入至触摸操作方 向判别部 15 的情况。
特别如图 3(c) 所示，图像中没有出现指影图像，指肚图像 101 的背景较白的情 况下，根据浓度梯度方向判定触摸操作方向时的判定方向与图 3(a) 的情况相反。 这是因 为 ：与在背光灯的跟前照射的手指的指肚触摸位置相比，从触摸位置朝向指根方向的手 指的指肚部分被较强的外光照射，因此在指肚图像中指肚触摸位置附近的图像的像素浓 度比指肚的指根侧图像浓。
因此，优选显示装置 1 不是仅在以触摸位置为基准的指肚部分的图像处判别触 摸操作方向，而是将指肚部分以外的图像也作为判断因素加入条件中，来判别触摸操作 方向。
因此，为了显示装置 1 能将指肚部分以外的图像也作为判断因素加入条件中， 来判别触摸操作方向，图 7 中表示用于决定触摸操作方向基准的处理步骤的流程图。
参照图 7，首先显示装置 1 针对检测到触摸操作时拍摄的图像判定是否存在指影 (S11)。 是否存在指影例如以如下方式判定。 预先根据将存在指影时的图像作为对象的 直方图等来采集像素浓度分布数据，并将此数据存储在显示装置 1 中。 在 S11 中，显示 装置 1 根据摄像图像生成基于直方图等的像素浓度分布数据，并将此数据与预先存储的 像素浓度分布数据进行比较，在获得一定值以上的相似度时判定为存在指影。
如图 3(a) 所示图像中存在指影图像 102 的情况下，显示装置 1 将图像浓度变浓 的方向 ( 参照图 4(b)) 决定为触摸操作方向 (S14)。 相对于此，在图像中不存在指影图 像的情况下，显示装置 1 判断指肚图像 101 的背景是否为白色 (S12)。
例如，在图 3(b) 所示的情况下， S12 中判断为否 ；在图 3(c) 所示的情况下， S12 中判断为是。
在 S12 中判断为否时，显示装置 1 使处理进入步骤 S14，将图像浓度变浓的方向 决定为触摸操作方向。 与此相对，在 S12 中判断为是时，显示装置 1 将图像浓度变淡的 方向决定为触摸操作方向 (S13)。
以上，在所说明的图 7 的处理步骤中，显示装置 1 将图像浓度变淡的方向决定为 触摸操作方向的情况下，图 5 所示的触摸操作方向判别处理 P1 中的上下方向以及左右方 向的判断相反。 因此，显示装置 1 判断 ：横方向的索贝尔值为正时表示右方向，为负时 表示左方向 ；纵方向的索贝尔值为正时表示下方向，为负时表示上方向。
( 根据边沿特征量分布的判别方法 )接下来，对根据边沿特征量分布显示装置 1 判别触摸操作方向的判别方法进行 说明。 图 8 是用于说明根据边沿特征量分布判别触摸操作方向的判别方法的原理的图。
在该判别方法中，在由光传感器内置 LCD10 拍摄到的显示画面整体的图像之中 将检测到的触摸位置作为基准，显示装置 1 从触摸位置周边的黑白灰度图像提取指尖周 边部分的边沿从而判别触摸操作方向。
图 8(a) 的左侧表示由光传感器内置 LCD10 拍摄到的图像之中触摸位置周边的图 像。 该图像中与图 4(a) 同样地示出了一部分与画面相接的手指的指肚图像 101、指影图 像 102、将触摸位置检测部 14 检测出的触摸位置表示在十字中心位置的十字标记 105。
指影图像 102 如图所示，在指尖的尖端部分为较高的浓度值，与背景的浓度差 较为明显，另一方面越是朝向指根方向其浓度值越淡。 因此，当显示装置 1 以这种图像 为对象进行边沿提取时，得到图 8(a) 的右侧所示的边沿 103。 由于边沿 103 表示指尖部 分，因此当以触摸位置为基准时，处于与边沿 103 相对位置的开口表示指根方向即操作 者方向。
图 8(b) 中表示根据该原理将触摸操作方向判别为上下左右 4 个方向的其中一个 的判别基准。 如图 8(b) 所示，显示装置 1 根据由边沿提取处理得到的边沿的开口方向， 判别触摸操作方向是左、右、上、下的 4 个方向的哪一个。 此外，尽管图 8(b) 中为了容易理解仅例示了 4 个触摸操作方向，但显示装置 1 可以通过对边沿的开口方向进行更加精细的计算，从而以加入了倾斜方向的 8 个方向甚 至 16 个方向等，更详细地判别触摸操作方向。
此外，尽管这里以将指根方向 ( 边沿开口方向 ) 判别为触摸操作方向的方式构成 显示装置 1，但是也可以以将指尖方向判别为触摸操作方向的方式构成显示装置 1。
这样，通过应用该边沿检测技术，显示装置 1，例如因手指用力与显示画面上相 接的部分、轻轻相接的部分、稍稍悬浮的部分等，得到不同的触摸位置近旁的边沿特征 量。 显示装置 1 通过分析该边沿特征量的分布，判别触摸操作方向，从而能够根据设置 在显示画面上的手指等微小的接触程度精确地判别触摸操作方向。
接下来，参照图 9，对根据图 8 所示的判定原理显示装置 1 判别触摸操作方向的 具体步骤进行说明。 图 9 是用于说明由显示装置 1 实行的触摸操作方向判别处理 P2 的流 程图。
在触摸操作方向判别处理 P2 中，显示装置 1 首先取得以触摸位置的坐标为中心 的灰度图像 (S21)。 所取得的灰度图像例如是光传感器内置 LCD10 拍摄的图像之中、图 8(a) 所示那样以十字标记 105 的十字中心表示的触摸位置坐标为中心的正方形解析区域 中包含的图像。 在此，解析区域的尺寸以标准手指的大小为基准进行预先设定，使得包 含指肚图像 101 和指影图像 102 的一部分。 此外，与图 5 的步骤 S1 同样，显示装置 1 中 也可以设置登记用户手指尺寸的功能，根据其登记尺寸显示装置 1 来设定解析区域的尺 寸。 此外，解析区域的形状并不限于正方形，也可以是长方形、圆形、或椭圆形。
接 下 来， 显示装置 1 根据所取得 的灰度 图 像，实 行提取 边 沿特征 量 的处理 (S22)。 在边沿特征量的提取中，显示装置 1 使用除索贝尔滤波以外的边沿提取用滤波。 然后，显示装置 1 利用规定阈值提取边沿特征量。
接下来，显示装置 1 确定从中心坐标 ( 触摸位置的坐标 ) 看去边沿特征量较少的
方向、即开口方向，将所确定的开口方向判别为触摸操作方向 (S23)。 由此，显示装置 1 结束处理。
或者，在步骤 S23 中，显示装置 1 也可以求得具有边沿特征量的多个像素的重 心坐标，从而判别触摸操作方向。 具体而言，首先，显示装置 1 提取具有规定阈值以上 的边沿特征量的多个像素。 接下来，显示装置 1 对各个提取像素加上对应像素值大小的 权重之后，计算重心坐标。 显示装置 1 在连接计算出的中心坐标和解析区域的中心坐标 ( 触摸位置的坐标 ) 的直线上，将从重心坐标位置朝向触摸位置坐标位置的方向设定为触 摸操作方向。
此外，使用了边沿特征量的触摸操作方向的判别当然并不限定于上述例子，也 可以采用其他方法，只要能够根据边沿特征量判别触摸操作方向即可。
( 根据指纹的判别方法 )
接下来，说明显示装置 1 根据指纹判别触摸操作方向的判别方法。 如图 10 所 示，人的指纹中存在如下特点 ：越是靠近指尖则横方向的线的花纹越多，而越是指根部 分纵方向的线的花纹越多。 在此，显示装置 1 利用这种指纹的特征来判别触摸操作方 向。 具体而言，首先，显示装置 1 以指肚图像为对象，与根据浓度梯度方向的判别 方法同样地，利用索贝尔滤波等针对每个像素计算索贝尔值。 接下来，显示装置 1 根据 计算出的索贝尔值，与根据浓度梯度方向的判别方法同样地计算分配给各像素的方向。 接下来，显示装置 1 根据计算出的分配给各像素的方向的分布，确定指尖部分和指根部 分。
未必总在图 10 的方向来拍摄指纹，这样虽因触摸操作方向会产生倾斜，但由于 纵方向的花纹与横方向的花纹垂直，因此通过分析这 2 方向的分布，能够粗略地确定指 尖和指根的方向。 由此，显示装置 1 能判别触摸操作方向。
这样，显示装置 1 从手指进行触摸操作时的灰度图像读取指纹的花纹，进而根 据其花纹判别方向。 由此，显示装置 1 能精度良好地判别触摸操作方向。
根据指纹判别触摸操作方向的判别方法并不限于上述内容。 例如，可考虑如下 的方法 ：预先将操作者的指纹登记在显示装置 1 中，显示装置 1 通过图案匹配对拍摄到的 指肚图像和登记的指纹进行比较，从而判别触摸操作方向。
接下来，对将上述各种判别方法应用于显示装置 1 的控制的例子进行说明。 在 此，以曲棍球游戏的控制为例进行说明。
如图 11 所示，显示装置 1 在显示画面上显示操作者从左右方向操作来玩曲棍球 游戏的画面。 在以下的说明中，将从图 11 所示的显示画面的左方向 ( 图面的球门 30a 侧 ) 操作棋子的人称为 “操作者 A”，将从右方向 ( 图面的球门 30b 侧 ) 操作棋子的人称为 “操作者 B”，将曲棍球游戏中操作者 A 的球队称为 “球队 A”，将操作者 B 的球队称 为 “球队 B”。 在显示装置 1 中，规定操作者 A 从图 11 的左侧操作，操作者 B 从右侧 操作。
显示装置 1 在显示画面的两端图像显示了球队 A 的球门 30a、以及球队 B 的球门 30b。 此外，显示装置 1 在两球门之间图像显示了以五角形图形显示的球队 A 的 5 个棋 子 20a、以八角形图形显示的球队 B 的 5 个棋子 20b、通过与棋子 20a 和 20b 撞击从而移
动方向变化的球 30。 显示装置 1 中针对各棋子 20a、20b 显示 1 ～ 5 的后背号码。 图中 手指 100a 表示操作者 A 的手指，手指 100b 表示操作者 B 的手指。 此外，以下将后背号 码为 n(n 为 1 以上 5 以下的自然数 ) 的棋子称为 “棋子 n”。
操作者 A、B 通过手指 100a、100b 彼此操作自己球队的棋子 20a、20b，使球 30 进入对方球队的球门 30a、30b。 当球进入对方球队的球门时，显示装置 1 计算得分。 基 于操作者 A、 B 的操作的以上游戏控制，例如通过显示装置 1 的控制部 19( 参照图 1) 来 实行。
显示装置 1 对各棋子分配图 12 例示的操作权限。 显示装置 1 以 A 球队的棋子 20a 仅能由操作者 A 操作的方式控制显示装置 1 的动作。 此外，显示装置 1 以 B 球队的 棋子 20b 仅能由操作者 B 操作的方式控制显示装置 1 的动作。
如图 12 所示，显示装置 1 通过在触摸操作方向上识别有无操作权限来实现上述 控制。 也就是说，显示装置 1 针对 A 球队的棋子 20a，仅在触摸操作方向为左时使操作 有效。 另一方面，显示装置 1 针对 B 球队的棋子 20b，仅在触摸操作方向为右时使操作 有效。 此外，由于球 30 基本上是经由棋子 20a、20b 而被操作，因此显示装置 1 并不将 其操作权限分配给 A、B 的任意一个。 如图 12 所示的操作权限数据例如存储在显示装置 1 的存储部 12 中。 图 13 是表示用于显示装置 1 根据操作权限数据判定棋子的操作为有效 / 无效的 处理步骤的流程图。
首先，显示装置 1 判定是否由触摸位置检测部 14 检测到了对棋子的触摸操作 (S31)。 显示装置 1 在没有检测到对棋子的触摸操作的情况下结束处理。
在图 11 所示的例子中，操作者 A 正要操作 A 球队的棋子 20a 中的 “棋子 1”和 “棋子 2”。 操作者 B 正要操作 B 球队的棋子 20b 中的 “棋子 3” 和 “棋子 5”。 该情 况下，显示装置 1 在步骤 S31 中判断有触摸操作。
接下来，显示装置 1 判别检测到触摸操作的棋子的种类 ( 图 12 的 ID)(S32)。 在 图 11 的情况下，显示装置 1 根据检测到的 4 个触摸位置和各棋子 20a、20b 的当前位置， 确定操作者要操作的 “棋子” ID 是 “1”、 “2”、 “8”、 “10”。
接下来，显示装置 1，按照所确定的各棋子，分别确定由触摸操作方向判别部 15 判别出的操作方向 (S33)。 接着，显示装置 1 比对按照各棋子确定的触摸操作方向、 和对应各棋子存储的触摸操作方向 (S34)。 显示装置 1 按照各棋子判定触摸操作方向是 否一致 (S35)。
在图 11 的情况下，显示装置 1 将针对 A 球队的 “棋子 1”、 “棋子 2” 的触摸 操作方向确定为左，并判断为操作者 A 正在进行操作。 与此相对，显示装置 1 将针对 B 球队的 “棋子 3”、“棋子 5” 的触摸操作方向确定为右，并判断为操作者 B 正在进行操 作。 这些所确定的信息与图 12 的操作权限数据进行匹配。 该情况下，在步骤 S35 中针 对任何棋子都判定为判别出的触摸操作方向与对应棋子存储的触摸操作方向一致。 其结 果显示装置 1 使各棋子的操作有效 (S36)。 因此，在图 11 的例子的情况下，操作者 A、 B 都能移动想要操作的棋子。
但是，即便例如操作者 A 想要操作 B 球队的 “棋子 1”，由于与图 12 的操作权 限数据不匹配，因此显示装置 1 在 S35 中判断为否。 其结果显示装置 1 使操作者 A 对 B
球队的 “棋子 1” 的操作无效。 由此，操作者 A 无法操作并移动 B 球队的 “棋子 1”。
这样，显示装置 1 以触摸位置检测部 14 检测出的触摸位置和各棋子 20a、20b 的 当前位置来确定检测出触摸操作的 “棋子”。 显示装置 1 根据触摸操作方向判别部 15 判 别的方向来确定 “操作者”。 由此，显示装置 1 可进行操作者仅能操作被赋予操作权限 的 “棋子” 之类的控制。
因此，显示装置 1 通过判别操作输入者，在操作者为多人的情况下也能准确地 确定是谁要进行操作。
此外，在相同画面上存在多个操作对象，多个操作输入者对其进行操作的情况 下，显示装置 1 通过使其仅能对操作对象与操作输入者的操作权限一致的棋子进行操 作，从而能够防止操作输入者进行误操作。 再有，显示装置 1 可在游戏等当中加入彼此 仅能操作自己球队的棋子的限制。
以上，根据所说明的实施方式中的显示装置 1，通过对进行输入的手指或笔等的 图像进行解析，能检测触摸位置并判别出触摸操作方向。 因此，控制部 19 能够根据表示 触摸位置的信号以及表示触摸操作方向的信号、和存储于存储部 12 中的信息，判断出位 于哪个方向的操作者进行操作。 因此，控制部 19 能进行与给操作者的操作权限相应的信 息处理。
此外，根据本实施方式所涉及的显示装置 1，对设置在显示画面后方的光传感器 所得到的图像进行解析，能够判别出从画面看去是处于哪个方向的人在操作显示在显示 画面上的操作对象。 因此，显示装置 1 能以小规模的结构正确地判别出操作方向。
也就是说，对于显示装置 1，就算在显示画面的前方存在某种障碍物，在用于 判别操作方向的输入图像中反应出障碍物从而不会对判别带来干扰。 此外，显示装置 1 不需要像背景技术中介绍的系统那样在显示装置外部设置通过人体传达信号的装置。 因 此，显示装置 1 能以显示装置单体的小规模且简单的结构下判别触摸操作方向，并进行 后面的信息处理。
在上述的实施方式中，以通过对从光传感器内置 LCD10 得到的图像进行解析从 而检测触摸位置为例子进行了说明。 但是，用于检测触摸位置的结构当然并不限于此， 也可考虑其他方式。
例如，也可以变更图 1 的显示装置 1 的结构，像图 14 例示的显示装置 11 那样在 光传感器内置 LCD18 上设置静电容量方式的触摸面板 17。 该情况下，显示装置 11 由静 电容量方式的触摸面板 17 检测触摸位置。 此外，显示装置 11 通过对静电容量方式的触 摸面板 17 得到的触摸位置和光传感器内置 LCD18 得到的图像进行解析，来判别触摸操作 方向。
此外，对于触摸面板也可以采用电阻膜方式、红外线方式、电磁感应方式、超 声波方式等各种触摸面板方式的任意一种，只要能检测触摸位置即可。
但是，通过对光传感器内置 LCD 得到的图像进行解析来判别触摸操作方向的情 况下，优选不使用静电容量方式等的触摸面板，而由光传感器内置 LCD 一并检测出触摸 位置。 这是因为 ：能够减少电阻膜这种的触摸面板部件、和在显示画面上配置电阻膜的 工序，从而使得显示装置的结构变得简单。 进而，由于结构变得简单，因此还有成本变 低的优点。此外，在上述实施方式中，虽然作为拍摄图像的摄像装置 ( 输入图像的输入装 置 )，主要以反应可见光区域的光频率的光传感器内置 LCD 为例进行了说明，但摄像装 置的结构当然不限定于此，也可以考虑其他结构。
例如，可预先将反应可见光区域以外的频率、主要为红外线频率的光传感器内 置在显示装置 1、11 中。 然后，在显示装置 1、11 中，从显示画面后方照射出的红外线 被手指或笔等反射，将反射的红外线输入光传感器中。 进而，显示装置 1、11 将该输入 的红外线转换为图像。 这样，当使用反应可见光以外主要为红外线的光传感器时，显示 装置 1、11 能够不受室内光等的外光影响，得到指肚的反射和指影的图像。 此外，由于 反应红外线的光传感器得到的图像利用手指的反射，因此与反应可见光区域频率的光传 感器得到的图像基本相同。
这样，显示装置 1、11 通过由光传感器取得背光灯对手指等操作输入物体的反 射光等作为图像，从而能详细掌握手指或触摸笔等操作输入物体对显示画面的接触程 度。
或者，显示装置 1、11 也可以代替光传感器而内置温度传感器，将放置手指或 笔等时的温度变化转换为图像并作为输入图像。 对于由温度传感器得到的图像，只要确 定如图 3(b) 或图 3(c) 那样放置了手指的部分是变暖还是变冷，就能获得具有放置手指 的部分与周围对比度不同的图像。 此外，由于手指用力与显示画面相接的部分和手指轻 轻相接的部分出现温度差，因此指肚部分的图像成为图 4 所示的黑白灰度图像。 也就是 说，温度传感器得到的图像与光传感器得到的图像为相同图像。
显示装置 1、11 通过由温度传感器取得图像，能详细把握手指或触摸笔等操作 输入物体在显示画面上的接触程度。 此外，也像光传感器那样不怎么受室内光和太阳光 这些外光影响。 因此，显示装置 1、11 能仅取得因操作输入物体而引起的温度变化。
这样，显示装置 1、11 利用算法从上述的主要反应可见光区域的光传感器得到 的图像中检测出触摸位置并判别触摸方向，从而也能根据红外线等光传感器及温度传感 器所得到的图像检测触摸位置并判别触摸方向。
此外，作为摄像装置也可以采用其他方式的传感器或照相机，只要能在防止手 指或笔等的情况下拍摄图像即可。
( 实施方式 2)
在实施方式 1 中，作为显示装置 1 的一个实施方式，说明了将显示装置 1 应用于 游戏机的例子。 再有，通过代替光传感器内置 LCD10 而以组装光传感器内置分屏显示 LCD 的结构来实现显示装置，从而能将该显示装置应用于汽车导航系统。
图 15 是表示本发明的实施方式 2 中的显示装置 2 的概略结构的框图。 显示装置 2 是具备光传感器内置分屏显示 LCD20 的汽车导航系统。
显示装置 2，具备光传感器内置分屏显示 LCD20( 以下简称为 “LCD20” ) 以及 上述说明的触摸位置检测部 14。 显示装置 2 还具备控制部 21，根据从触摸操作方向判别 部 15 输入的信号进行左右方向操作者的识别和 LCD20 的控制等。 显示装置 20 还具备存 储部 22，其存储与控制相关的各种信息。 显示装置 22 还具备输出装置 26 ～ 28( 电视接 收机 26、导航装置 27、DVD 播放器 28)，其输出各种视听用数据。 显示装置 2 还具备图 像选择部 25，将从各输出装置 26 ～ 28 输入的数据分为左方向用图像和右方向用图像并选择性进行输出。 显示装置 2 还具备左方向显示控制部 23 以及右方向显示控制部 24，其根 据图像选择部 25 输出的图像数据对 LCD20 进行图像显示控制，使得分别对应左方向和右 方向在 LCD 画面上显示应显示的图像。
图 16 是表示 LCD20 的显示画面的例子的图。 如图 16(c) 所示，显示装置 2 在放映出云罩山巅风景的电视画面上显示着用于选择电视频道的频道按钮 ( 图中能看见 “2ch”)401。 相对于此，如图 16(d) 所示，显示装置 2 在导航用地图上还显示着用于使 地图滚动的滚动按钮 301。 分屏显示的 LCD20，具有同时显示功能，从助手席侧观看显 示图 16(c) 的画面、从驾驶席侧观看显示图 16(d) 的画面。
在图 16(c) 所示的画面中，助手席侧的操作者通过用自己的手指 100L 触碰频道 按钮 401 就能任意变更电视频道。 另一方面，在图 16(d) 所示的画面中，驾驶席侧的操 作者通过用自己的手指 100R 触碰滚动按钮 301 就能任意滚动地图。
但是，如图 16(a) 所示，在画面上频道按钮 401 和滚动按钮 301 重复配置在相同 位置。 因此，在助手席侧的操作者操作了频道按钮 401 时，需要显示装置 2 能够判别该 操作是由助手席侧的操作者进行的。
此外，如图 16(b) 所示，在驾驶席侧的操作者操作滚动按钮 301 并且助手席侧的 操作者同时操作频道按钮 401 时，显示装置 2 还需要如下功能。 也就是说，需要显示装 置 2 能够判别触摸按钮的手指是驾驶席侧操作者的手指 100R 还是助手席侧操作者的手指 100L。 再有，显示装置 2 需要起动按钮 301、401 之中对应操作者的按钮功能。 本实施方式 2 所涉及的显示装置 2，与实施方式 1 所说明的显示装置 1、11 同 样，除了触摸位置检测部 14 还具备触摸操作方向判别部。 因此，显示装置 2 能够检测对 按钮 301、401 的触摸操作，进而确定该触摸操作是来自助手席侧的触摸操作还是来自驾 驶席侧的触摸操作。
其结果，例如即便在图 16(a) 所示的这种情况下，通过触摸操作方向判别部 15 也能够判别出是从左侧助手席进行的操作。 因而，显示装置 2 仅实行 TV 节目的频道操 作，而不作为针对地图的操作进行反应。 或者，即便在图 16(b) 所示的情况下，根据由 触摸位置检测装置 14 检测出的 2 点触摸位置和由触摸操作方向判别部 15 判别出的触摸操 作方向，显示装置 2 能够判别出左侧助手席的人按下的按钮是频道按钮 41，右侧驾驶席 的人按下的按钮是滚动按钮 301。 这样，即便在 TV 节目的频道按钮 401 与地图操作的滚 动按钮 301 重复配置在相同位置的情况下，左侧助手席的人进行的操作也仅反映在 TV 节 目的选择操作上，右侧驾驶席的人进行的操作也仅反映在地图的滚动操作上。
另外，在此是以车内配置的汽车导航系统为前提，以与电视操作相关的按钮和 与导航相关的按钮为例进行的说明，但汽车导航系统以及与此相关的内容源 (source) 仅 仅是一例。 当然，对于以分屏显示画面为中心，让一方 ( 例如驾驶席侧 ) 操作的内容源 与让另一方 ( 例如助手席侧 ) 操作的内容源不同的系统也能够应用。
此外，作为实施方式 2 中的触摸操作方向判别 15 的判别方法，也可以采用实 施方式 1 所说明的 “根据浓度梯度方向的判别方法”、 “根据边沿特征量分布的判别方 法”、 “根据指纹形状的判别方法” 的任意一种。
或者，作为由触摸操作方向判别部 15 进行的判别方法，也可采用接下来说明的 “根据椭圆长轴方向的判别方法”。
图 17 是用于说明 “根据椭圆长轴方向的判别方法”的原理的图。 将显示装置 2 应用于汽车导航系统的情况下，画面被配置在驾驶席与助手席之间。 因此，若考虑通常 的操作方式，则从驾驶席侧以及助手席侧触摸画面时的手指的触摸操作方向被限制在一 定范围内。 再有，触摸操作方向的范围两者并不重复。
例如，如图 17(a) 所示，一般可认为连接从画面左侧操作的操作者 ( 助手席侧的 操作者 ) 手指 100L 前端和指根的直线、与画面的 x 轴方向所成的角 ( 触摸操作方向角 )Φ 处于超过 0 度未达到 90 度的范围。 根据同样的原因，从右侧操作的操作者 ( 驾驶席侧的 操作者 ) 手指 100R 的触摸操作方向角的范围是与左侧操作的操作者的相应方向角左右对 称的范围。 因此，从左侧操作的操作者的触摸操作方向的角度与从右侧操作的操作者的 触摸操作方向的角度不重复。
因此，如图 17(b) 所示，显示装置 2 在拍摄到检测出触摸操作时的指肚图像 101L、101R 时，根据椭圆形状的指肚图像 101L、101R，如图 17(c) 所示那样计算长轴 52。 再有，例如若长轴 52 的倾斜度为正，则显示装置 2 将触摸操作方向判别为 “左”； 若长轴的倾斜度为负，则将触摸操作方向判别为 “右”。 也就是说，显示装置 2 根据长 轴的倾斜度判别左右的触摸操作方向。 这样，关注于手指进行触摸操作时的指肚部分的形状为椭圆状，显示装置 2 通 过根据该椭圆的长轴朝向判别触摸操作方向，从而能精确地判别触摸操作方向。
此外，显示装置 2 尽管在此根据椭圆的长轴 52 的倾斜度判别触摸操作方向，但 当然并不限定于椭圆的长轴 52。 显示装置 52 也可以根据椭圆的短轴判别触摸操作方向。
椭圆的长轴例如以如下方式能够计算。 例如图 17(d) 所示，显示装置 2 根据二 值化处理或边沿检测处理所得到的椭圆图像计算外切长方形和对角线。 在此计算出的一 对对角线为长轴和短轴。 如图 17(d) 所示，与短轴相比，在长轴方向上因指肚而分布着 较多的浓度值高的像素。 因此，显示装置 2 对长轴上的像素和短轴上的像素的分布进行 运算，将以黑白进行二值化之后的像素值中黑色较多的对角线判别为椭圆的长轴方向。
接下来，参照图 18 所示的流程图，根据图 17 所示的判定原理说明显示装置 2 的 动作。 显示装置 2 首先判定是否检测到对按钮 301、401 的触摸操作 (S41)。 当检测到 触摸操作时，显示装置 2 根据触摸操作位置的椭圆形状的指肚图像，判别长轴的倾斜方 向 (S42)。
接下来，显示装置 2 判别长轴的倾斜方向是否为正方向 ( 图 17 的 Φ 是否满足 0°＜ Φ ＜ 90° )(S43)。 在判别为正方向时，显示装置 2 起动分配给对应左侧操作者即 助手席侧的按钮 401 的功能 (S44)。 与此相对，在判别为负方向时，显示装置 2 起动分 配给对应右侧操作者即驾驶席侧的按钮 301 的功能 (S45)。
根据实施方式 2 所涉及的显示装置 2，不需要为了确定操作者而在显示装置的外 部设置照相机或者在椅子和方向盘上设置信号传送装置。 因此，仅由显示装置 2 就能够 判别操作者是从左右的哪一方进行的操作。 此外，由于从显示画面的内侧拍摄图像，因 此能够排除干扰判别的障碍物。 因此，例如图 16(a) 所示那样助手席或驾驶席的人手重 合的情况等、在显示画面的前方存在某种障碍物的情况下，也能正确地判别触摸操作方 向。 由此，显示装置 2 能够以小规模的结构正确地判别助手席侧的和驾驶席侧的哪个人 按下了重合配置的按钮等。
此外，也可以将助手席用的按钮和驾驶席用的按钮配置在不重合的位置，使得 能够区别是助手席侧和驾驶席侧的哪一个人按下了按钮。 但是，存在显示按钮的区域受 限的问题，在这一点上本实施方式 2 所涉及的显示装置 2 是有效的。
根据各实施方式所涉及的显示装置，不需要在显示装置的外部设置照相机或信 号传达装置等。 因而，该显示装置在显示画面前方存在某种障碍物、站着或躺着的所有 状况下都能够正确地判别从哪个方向进行的触摸。 因此，显示装置能利用该判别的信息 正确地进行后面的信息处理。 此外，由于能仅以显示装置的简单的结构正确地判别从哪 个方向进行的操作，因此，能够将成本控制在与现有的触摸面板所带的显示装置相同程 度。 因而，可在手持显示装置这种移动用途等多个情况下，利用各实施方式所涉及的显 示装置。
以上，列举了所说明的各实施方式的变形例和特征点。
(1) 显示装置可以将触摸位置检测部 14 检测出的触摸位置作为基准来解析图 像，判别触摸操作方向。
(2) 在各实施方式 1、2 中，显示装置将拍摄的图像之中规定范围的图像作为对 象进行图像解析，从而判别触摸操作方向。 这样，由于显示装置仅以触摸位置周边的图 像为对象进行处理来判别触摸操作方向，因此能够使处理简单化、高速化。 再有，显 示装置不需要关注不必要的图像区域。 因而，显示装置能够提高触摸操作方向判别的精 度。 此外，通过使处理简单化，能够减少制成电路时的门数。 因此，能削减显示装置的 制造成本。 不过，相对于此，显示装置也可以将拍摄的全图像作为解析对象。
(3) 由触摸操作方向判别部 15 进行判别方法当然不限于上述实施方式所举的例 子，也可以采用其他判别方法，只要能根据图像判别触摸操作方向即可。
(4) 在各实施方式 1、2 中，以手指进行触摸操作的情况为例进行了说明。 但 是，在触摸笔等部件进行触摸操作的情况下也能应用各实施方式 1、2。 这是因为 ：在由 触摸笔等进行触摸操作的情况下，以检测出触摸操作的坐标位置为中心的影图像会如图 4 所示那样被拍摄到。
(5) 实施方式 2 所涉及的显示装置 2 也可以构成为不包括电视接收机 26、导航装 置 27、 DVD 播放器 28 的结构。
(6) 在实施方式 2 中说明的 “根据椭圆长轴的判别方法”也可以应用于实施方式 1 所涉及的显示装置 1、11 中。
(7) 可以对显示装置 1、2、11 应用 “根据浓度梯度方向的判别方法”、 “根据 边沿特征量分布的判别方法”、 “根据指纹形状的判别方法”、以及 “根据椭圆长轴的 判别方法”之中的任意判别方法。 再有，显示装置 1、2、11 也可以设置多个触摸操作方 向判别部 15，使得能够选择实行基于这多个判别方法之中的任意多个判别方法的判别处 理。 此外，显示装置 1、2、11 也可以设置选择操作部，使得能够由操作者的操作来选择 多个触摸操作方向判别部 15 的其中一个。 或者，显示装置 1、2、11 也可以使多个触摸 操作方向判别部 15 共同发挥功能，根据其多个判别结果判别触摸操作方向。
本次公开的实施方式的全部内容仅仅是例示，而不应理解为受到限制。 上述所 说明的并不是本发明的范围，其范围在权利要求书中示出，应该理解为在与权利要求书 同等意义及范围内可进行任意变更。