使操作员能够不操作设备而发出指令的操作识别系统.pdf

操作识别系统包括要操纵的对象，至少一个照相机，一个处理器和一个控制器。所述至少一个照相机被配置成在预定的时段中获得操作者的图像数据，处理器被配置成对获得的图像数据进行识别处理。当处理图像数据时，处理器被配置成定义介于要操纵的对象和操作者之间的虚拟平面。处理器被配置成随后根据所述识别处理，确定操作者的预定部位是否穿透虚拟平面。控制器被配置成根据所述确定，控制要操纵的对象。

1、  一种操作识别系统，包括：
要操纵的对象；
获得操作者的图像数据的至少一个照相机，在预定的时段中至少获得预定数目的图像数据；
对获得的图像数据进行识别处理，以便定义介于所述对象和操作者之间的第一虚拟平面，以及确定操作者的预定部位是否穿透第一虚拟平面的处理器；和
根据所述确定，控制所述对象的控制器。

2、  按照权利要求1所述的系统，其中处理器被配置成识别操作者的预定动作，当处理器识别出操作者的预定动作时，控制器工作。

3、  按照权利要求1所述的系统，其中处理器被配置成识别操作者的预定声音，当处理器识别出操作者的预定声音时，控制器工作。

4、  按照权利要求1所述的系统，其中处理器被配置成根据识别处理，识别操作者的操作权限。

5、  按照权利要求1所述的系统，其中处理器还被配置成检测操作者的预定部位所穿透的一部分第一虚拟平面，其中控制器根据所述检测，控制所述对象。

6、  按照权利要求1所述的系统，其中当处理器被配置成把操作者的眼睛识别成视点时，处理器定义介于所述对象和视点之间的第一虚拟平面。

7、  按照权利要求1所述的系统，其中当处理器被配置成识别操作者的臂长时，处理器在距离操作者识别长度的范围内的某一位置定义第一虚拟平面。

8、  按照权利要求1所述的系统，其中根据所述识别，在可变的位置定义第一虚拟平面。

9、  按照权利要求1所述的系统，其中处理器被配置成当操作者的预定部位穿透第一虚拟平面的长度大于预定长度时，确定穿透。

10、  按照权利要求9所述的系统，其中预定长度是可变的。

11、  按照权利要求1所述的系统，其中处理器被配置成当操作者的预定部位穿透第一虚拟平面的持续时间大于预定时段时，确定穿透。

12、  按照权利要求11所述的系统，其中预定时段是可变的。

13、  按照权利要求1所述的系统，其中控制器被配置成根据操作者的预定部位穿透第一虚拟平面的长度和时段，控制所述对象。

14、  按照权利要求1所述的系统，其中所述对象包括配置成显示一个或多个操作项的显示器，其中控制器被配置成根据所述识别和所述确定，控制操作项之一的执行。

15、  按照权利要求14所述的系统，其中处理器被配置成识别操作者的预定动作，并且处理器被配置成确定预定动作表示单击操作。

16、  按照权利要求14所述的系统，其中处理器被配置成识别操作者的预定动作，并且处理器被配置成确定预定动作表示双击操作。

17、  按照权利要求13所述的系统，其中处理器被配置成识别操作者的预定动作，并且处理器被配置成确定预定动作表示拖动操作。

18、  按照权利要求1所述的系统，还包括被配置成响应所述对象进行操作的第二对象。

19、  按照权利要求1所述的系统，其中处理器还被配置成定义第一虚拟平面中的虚拟键盘，其中控制器被配置成根据所述确定，根据通过虚拟键盘的键盘输入，控制所述对象。

20、  按照权利要求19所述的系统，其中所述对象包括配置成显示对应于虚拟键盘的键盘图像的显示器，其中键盘图像辨别和通过虚拟键盘的键盘输入对应的按键。

21、  按照权利要求1所述的系统，其中处理器还被配置成定义不同于第一虚拟平面的第二虚拟平面，以及第二虚拟平面中的虚拟键盘，并根据所述识别，确定操作者的预定部位是否穿透第二虚拟平面，其中控制器被配置成根据所述确定，根据通过虚拟键盘的键盘输入，控制所述对象。

22、  按照权利要求21所述的系统，其中所述对象包括配置成显示对应于虚拟键盘的键盘图像的显示器，其中键盘图像辨别和通过虚拟键盘的键盘输入对应的按键。

23、  按照权利要求1所述的系统，其中所述对象包括配置成显示一个或多个操作项的显示器，所述显示器包括投影器和屏幕，其中在屏幕和操作者之间定义第一虚拟平面。

24、  按照权利要求1所述的系统，其中所述对象包括医疗设备。

25、  按照权利要求24所述的系统，其中医疗设备包括：
显示一个或多个操作项的显示监视器；和
拍摄样本的X射线照片的X射线照相设备，其中控制器被配置成根据所述确定，控制操作项之一的执行，其中X射线照相设备被配置成对所述操作项之一的执行作出响应。

26、  按照权利要求25所述的系统，其中当操作者操控导管时，X射线照相设备的位置受控。

27、  按照权利要求1所述的系统，其中所述对象包括用具。

28、  按照权利要求1所述的系统，还包括显示指示符的显示器，所述指示符表示操作者的预定部位穿透第一虚拟平面多少。

29、  按照权利要求28所述的系统，其中指示符根据操作者的预定部位的动作而变化。

30、  按照权利要求1所述的系统，其中所述对象包括显示虚拟平面位置改变窗口的显示器，根据所述确定改变第一虚拟平面的位置。

31、  一种显示图像的图像显示设备，该设备包括：
在屏幕中显示图像的显示器；
检测操作者的位置和操作者手的位置的位置检测器；
根据操作者的位置，定义介于屏幕和操作者之间的虚拟平面的虚拟平面定义机构；
根据操作者手的位置和虚拟平面的位置，确定虚拟平面和操作者手之间的虚拟接触的确定机构；和
根据确定机构的确定，控制图像的显示的显示控制机构。

32、  按照权利要求31所述的设备，还包括检测操作者的手形的形状检测器；和
当检测的形状和预定形状相同时，识别为操作者具有操作权限的识别机构。

33、  一种显示图像的图像显示设备，包括：
在屏幕中显示图像的显示器；
设置在屏幕的两侧，并被配置成从不同方向获得图像数据的成像部件；
根据获得的图像数据，检测操作者相对于屏幕的位置，以及操作者某一部位的位置的位置检测器；
根据操作者的位置，定义介于屏幕和操作者之间的虚拟平面的虚拟平面定义机构；
根据操作者某一部位的位置和虚拟平面的位置，确定虚拟平面和操作者某一部位之间的虚拟接触方式的确定机构；和
根据确定机构的确定结果，确定对应于接触方式的操作项，并按照操作项，控制图像显示的显示控制机构。

34、  一种控制对象的方法，所述方法包括下述步骤：
在预定时段中获得操作者的预定数目的图像数据；
对获得的图像数据进行识别处理；
定义介于所述对象和操作者之间的虚拟平面；
根据识别处理，确定操作者的预定部位是否穿透虚拟平面；和
根据确定结果控制所述对象。

35、  按照权利要求34所述的方法，其中处理获得的图像数据，以便根据识别处理，识别操作者的操作权限。

使操作员能够不操作设备而发出指令的操作识别系统
技术领域
本发明涉及一种操作识别系统，所述操作识别系统识别无设备的用户操作，并根据所述识别控制对象。
背景技术
在医疗领域，图像显示设备被用于例如通过图形用户接口(GUI)支持图像判读，医学检查和向患者说明。这种图像显示设备被称为工作站或者图像阅读器，并在例如日本专利申请公开No.PH5-12352中进行了说明。
通常，图像阅读器中使用的GUI一般是键盘，鼠标或者特别提供为GUI的操作面板。图像阅读器还包括图像显示单元，例如显示监视器或者投影器。图像阅读器的操作者，例如医生操纵键盘，鼠标和/或操作面板，以便选择，改变和/或设置将在显示监视器中显示，或者将由投影器显示的医学图像或医学检查报告的显示条件。从而在显示监视器中或者由投影器显示所需的医学信息。关于显示的医学信息，操作者还可调整其大小，对准，图像质量，灰度级等等。另外，操作者可向显示的医学信息添加必要的信息，作为注释信息。
医学图像通常由诸如数字X射线照相设备，X射线计算断层照相设备，磁共振成像设备之类医学成像设备获得。获得的图像被保存在图像服务器中。医学检查报告通常由报告系统中的报告客户机或由医学成像设备准备。准备好的报告被保存在报告系统中的报告服务器中。利用键盘、鼠标和/或操作面板，根据操作者的操作，可从图像服务器和报告服务器分别把保存的图像和报告取回到图像阅读器。图像阅读器还被用于在用于准备医学检查报告的图像判读中显示获得的图像。操作者观察在图像阅读器中显示的图像，并在报告客户机中准备医学检查报告。
在图像判读或图像参考中，操作者需要操纵键盘、鼠标和/或操作面板，以便显示所需的图像或所需的报告。特别地，当举行会议时，存在查阅图像或报告的大量操作者。在会议过程中，操作者需要相互交接键盘、鼠标和/或操作面板。对于操作者来说，这种交接不方便，并且限制了他们的操作。此外，在外科或手术治疗的情况下，从卫生的观点来看，在外科或手术治疗的过程中，不允许医生触摸和操纵键盘等。例如，日本专利申请公开No.P2000-222098描述了一种手指示设备，该设备识别操作者的手形，并在无键盘和鼠标的输入操作的情况下，响应所述识别进行操作。
但是，这种手指示设备不能使操作者完成通常在常规图像阅读器中实现的下述操作。这些操作包括通过鼠标操作的拖动操作和双击操作，以及屏幕中的绘图操作。绘图操作包括在屏幕中绘制所需的线条，数字和字符。
发明内容
根据本发明的第一方面，提供一种操作识别系统。该系统包括要操纵的对象，至少一个照相机，一个处理器和一个控制器。所述至少一个照相机被配置成获得操作者的图像数据。在预定的时段中至少获得预定数目的图像数据。处理器被配置成处理获得的图像数据，以便识别操作者。处理器还被配置成定义介于对象和操作者之间的虚拟平面，以及根据所述识别，确定操作者的预定部位是否穿透虚拟平面。控制器被配置成根据所述确定，控制对象。
根据本发明的第二方面，提供一种显示图像的图像显示设备。该设备包括显示器、位置检测器、虚拟平面定义部件，确定部件和显示控制部件。显示器被配置成在屏幕中显示图像。位置检测器被配置成检测操作者的位置和操作者手的位置。虚拟平面定义部件被配置成根据操作者的位置，定义介于屏幕和操作者之间的虚拟平面。确定部件被配置成根据操作者手的位置和虚拟平面的位置，确定虚拟平面和操作者手之间的虚拟接触。显示控制部件被配置成根据确定部件的确定，控制图像的显示。
根据本发明的第三方面，提供一种显示图像的图像显示设备。该设备包括显示器、成像部件、位置检测器、虚拟平面定义部件，确定部件和显示控制部件。显示器被配置成在屏幕中显示图像。成像部件设置在屏幕的两侧，并被配置成从不同方向获得操作者的图像数据。位置检测器被配置成根据获得的图像数据，检测操作者相对于屏幕的位置，以及操作者手的位置。虚拟平面定义部件被配置成根据操作者的位置，定义介于屏幕和操作者之间的虚拟平面。确定部件被配置成根据操作者手的位置和虚拟平面的位置，确定虚拟平面和操作者手之间的虚拟接触方式。显示控制部件被配置成根据确定部件的确定结果，确定对应于接触方式的操作项。显示控制部件还被配置成根据操作项，控制图像的显示。
根据本发明的第四方面，提供一种控制对象的方法。通过获得操作者的图像数据开始该方法。在预定时段中至少获得预定数目的图像数据通过处理获得的图像数据以便识别操作者，并定义介于对象和操作者之间的虚拟平面，继续该方法。还通过根据所述识别，确定操作者的预定部位是否穿透虚拟平面，继续该方法。此外通过根据确定结果控制对象，继续该方法。
附图说明
结合附图，参考下面的详细说明，易于更全面地理解本发明地实施例及其许多附随优点，其中：
图1是表示根据本发明第一实施例的例证医学图像显示系统的方框图；
图2表示根据本发明第一实施例的图像阅读器的例证结构；
图3是表示根据本发明第一实施例的控制器的例证结构的方框图；
图4说明根据本发明第一实施例的虚拟平面的定义的例子；
图5说明根据本发明第一实施例的虚拟键盘的例子；
图6表示根据本发明第一实施例的模式选择的例子；
图7表示根据本发明第一实施例的矩阵变换的例子；
图8表示根据本发明第一实施例的徒手绘图的例子；
图9是表示根据本发明第一实施例的图像阅读器中的例证操作流程的流程图；
图10是表示根据本发明第一实施例，图9中所示流程的例证连续流程的流程图；
图11是表示根据本发明第一实施例，图9中所示流程图的修改例子的流程图；
图12表示根据本发明第一实施例的虚拟平面位置改变窗口的例子；
图13表示根据本发明第一实施例的穿透试验窗口的第一例子；
图14表示根据本发明第一实施例的穿透试验窗口的第二例子；
图15表示根据本发明第二实施例，通过虚拟平面改变X射线透视检查位置的例子；
图16表示根据本发明第三实施例，通过虚拟平面的转换例子；
图17表示根据本发明第四实施例，通过虚拟平面的开窗和关窗例子。
具体实施方式
下面参考附图，说明本发明的实施例。
(第一实施例)
(医学图像显示系统)
图1是表示根据本发明第一实施例的例证医学图像显示系统的方框图。如图1中所示，医学图像显示系统包括图像阅读器1，X射线计算断层照相设备2，磁共振成像设备3，数字X射线照相设备4和图像服务器5。
图像阅读器1包括显示图像的显示器和输入信息或指令的输入单元。显示器还被用于显示基于医学图像判读的医学检查报告。输入单元包括键盘、鼠标和/或操作面板。X射线计算断层照相设备2，磁共振成像设备3和数字X射线照相设备4分别获得医学图像。数字X射线照相设备4结合X射线透视(图1中未示出)使用，并数字处理X射线图像。获得的医学图像保存在图像服务器5中。图像服务器5还保存医学检查报告。图1中所示的组件通过诸如局域网(LAN)6之类的网络相互连接和通信。医学图像显示系统还包括一个或多个备选的医学成像设备，例如X射线诊断设备、超声波诊断设备、内诊镜和核医学诊断设备。此外，医学图像显示系统可包括报告系统。所述报告系统包括报告服务器和报告客户机。报告服务器可被用于保存医学检查报告，从而不需要图像服务器5保存医学检查报告。类似地，报告客户机可被用于准备医学检查报告。报告客户机还被用于显示准备好的医学检查报告。
当在X射线计算断层照相设备2、磁共振成像设备3和/或数字X射线照相设备4中获得了医学图像数据时，获得的医学图像数据通常被传送给并保存在图像服务器5中。诸如医生之类操作者操纵图像阅读器1中的输入单元，以便取回保存在图像服务器5中的所需医学图像数据。在图像阅读器1中显示取回的医学图像数据。医生观察并判读显示的图像，从而关于判读的图像准备医学检查报告。准备好的医学检查报告保存在图像服务器5中。一旦医学检查报告被保存在图像服务器5中，则可取回并在图像阅读器1中显示医学检查报告。根据本发明的第一实施例，图像阅读器1包括作为第二操作面板的虚拟操作面板。虚拟操作面板包括分别限定于虚拟空间中的预定位置的虚拟平面和虚拟键盘。下面将更详细地说明虚拟操作面板。
(医学图像显示)
下面说明图像阅读器1。根据第一实施例，图像阅读器1的说明也适用于报告客户机，虽然下面不对报告客户机进行说明。图2表示根据本发明第一实施例的图像阅读器1的例证结构。
除了上述组件之外，图像阅读器1还包括投影器10、屏幕11、摄像机12a和12b、以及控制器13。投影器10把显示窗口投影到屏幕11上。显示窗口是通常是上述显示器中显示的内容。于是，操作者P可在屏幕11中观察图像。摄像机12a和12b设置在屏幕11的两侧。摄像机12a和12b被用于检测操作者P的双手，双眼以及其它任意必需身份部位的位置。操作者P双眼之一被确定为操作者P的视点。当操作者P只睁开一只眼睛时，睁开的眼睛可以是所述视点。否则，事先把操作者P双眼之一确定为视点。对于每个操作者P，可预先确定所述一只眼睛(左眼或右眼)。控制器13实现关于摄像机12a和12b获得的图像数据的图像处理，并根据图像数据计算视点和屏幕11之间的距离。控制器13还根据计算的距离、视点和屏幕11的预定尺寸，定义在从视点到屏幕11各角的延伸范围内的虚拟平面G(例如参见图4)。由于操作者P的动作由摄像机12a和12b成像，因此控制器13根据图像处理，确定操作者P是否使其指尖穿透虚拟平面G。响应所述穿透，控制器13根据虚拟平面G中的穿透部分，控制图像阅读器1。在屏幕11的显示画面中反映图像阅读器1的控制。代替投影器10和屏幕11，图像阅读器11可包括阴极射线管(CRT)监视器、液晶显示器(LCD)或者任意其它可从市场购得的显示器。投影器10、摄像机12a和12b、以及控制器13由电缆、红外数据通信等连接。
(控制器)
图3是表示根据本发明第一实施例的控制器13的例证结构的方框图。如图3中所示，控制器13包括识别单元13a、第一处理单元13b、第一存储单元13c、通信单元13d、用户接口13e、第二处理单元13f、信息采集单元13g、第三处理单元13h和第二存储单元13i。
识别单元13a识别操作者P的位置、形状和/或声音。例如，识别单元13a检测操作者P的位置，例如眼睛的位置或头部的位置，以及操作者P的双手(特别地，操作者P的手尖)的三维位置。第一处理单元13b处理虚拟平面G和虚拟键盘。例如，第一处理单元13b确定操作者P和屏幕11之间的虚拟平面G。第一处理单元13b还以虚拟平面G中的三维位置定义虚拟键盘。第一存储单元13c保存关于操作者P的个体信息。通信单元13d通过LAN6，从图像服务器5取回图像数据和/或医学检查报告。通信单元13d还可与投影器10连接。用户接口13e包括图形用户接口(GUI)，并被用于通过虚拟平面G和/或虚拟键盘的输入操作。第二处理单元13f把操作者P手的三维位置信息转换成二维坐标信息。第二处理单元13f还根据虚拟平面G和/或虚拟键盘的位置，以及手的三维位置信息，确定单击操作。信息采集单元13g获得在屏幕11中显示的图像的大小，即屏幕大小信息。第三处理单元13h处理通过用户接口13e产生的操作，以便根据所述操作，实现由图像处理产生的图像显示。第三处理单元13h与投影器10连接。第二存储单元13i保存将在屏幕11中显示的图像数据和医学检查报告的信息。
在控制器13的上述结构中，当操作者P进入预定有效区域时，摄像机12a和12b获得操作者P手指的图像数据。预定的有效区域可以是与摄像机12a和12b的视场对应的区域。识别单元13a根据获得的图像数据，获得操作者P的眼睛和/或手的三维位置信息。获得的三维位置信息被传送给第一处理单元13b和第二处理单元13f。由于摄像机12a和12b设置在与屏幕11呈预定关系的位置，因此眼睛和手的三维位置信息代表与屏幕11的相对位置关系。
当图像阅读器1要求操作者P操纵图像阅读器1的权限时，操作者P必须在预定有效区域展示他或她的手。另外必须事先把每个许可的操作者P的手形保存在第一存储单元13c中。识别单元13a识别希望操纵图像阅读器1的操作者P的手形。如果识别的手形和保存的手形之一相同，则批准该操作者P操纵图像阅读器1。从而，该操作者P的后续操作有效。另一方面，这种权限确定也可由识别单元13a中的声音识别完成，或者可和识别单元13a中的声音识别相结合。
当多个操作者P出现于预定有效区域中时，控制器13只允许一个操作者P操纵图像阅读器1。换句话说，只有一个操作者P的操作被认为是有效操作。为了确定唯一的一个操作者P，图像阅读器1要求操作者P展示他或她的手。识别单元13a根据获得的图像数据识别手形。例如，操作者确定可能需要特定的手形。代替手形，操作者P可把他或她的手放在其脸部之前。根据获得的图像数据，识别单元13a能够识别这样的动作。另一方面，操作者确定可以是声音识别或者与声音识别相结合。例如，允许发出预定单词的一个操作者P操纵图像阅读器1。识别单元13a根据收集的由操作者P的发音产生的语音数据，识别预定的单词。预定的单词和/或手的特定形状被事先保存在识别单元13a或者第一存储单元13c中。
一旦允许操作者P操纵图像阅读器1，则识别单元13a根据获得的图像数据，获得操作者P的眼睛和手的三维位置信息。获得的三维位置信息被传送给第一处理单元13b和第二处理单元13f。
识别单元13a还设置视点。当操作者P只睁开一只眼睛时，视点可被设置成睁开的眼睛。当操作者P睁开双眼时，操作者P的优势眼睛(dominant eye)可被设置成视点。操作者P可从输入单元输入优势眼睛的信息。指示优势眼睛的另一方式可以是通过获得的图像数据，识别操作者P举起和优势眼睛同侧的一只手。另外，当每个许可的操作者P的手形被保存在第一存储单元13c中时，可对应于每个许可的操作者P的手形保存优势眼睛。可用表格的形式实现保存。作为辅助信息，所述保存还可包括操作权限，即每个操作者P能够执行的许可操作。
识别单元13a进行计算，以便获得例如视点的高度，视点和屏幕11之间的距离，识别的手和屏幕11之间的距离。
第一处理单元13b根据操作者P眼睛的三维位置信息，确定位于从视点到屏幕11的延伸范围内预定位置的虚拟平面G。虚拟平面G的三维位置信息被传送给第二处理单元13f。
对于虚拟平面G的确定来说，第一处理单元13b确定到操作者P的视点R的距离L为操作者P手臂半长的位置，如图4中所示。虚拟平面G被确定在到视点R的距离为L的位置。最好平行于屏幕11确定虚拟平面G。为了获得操作者P的臂长，例如在操作者的肩、肘及手放置预定的标记。摄像机12a和12b获得带有标记的操作者P的图像数据。识别单元13a对获得的图像数据进行图像处理，识别标记的位置。借助所述识别，抽取标记的位置。第一处理单元13b根据抽取的位置，计算肩部的标记和肘部的标记之间的第一距离。类似地，第一处理单元13b根据抽取的位置，计算肘部的标记和手部的标记之间的第二距离。最后，第一处理单元13b计算第一距离和第二距离之和，从而获得操作者P的臂长。
虚拟平面P的每个角落最好位于从视点R到投影在屏幕11上的显示窗口40的对应角落的延伸线上。从而，虚拟平面G中的每个点对应于显示窗口40中的相似点。距离L可变，并可根据操作者P的偏爱而改变。操作者P可把初始距离预置为距离L。距离L也可以是固定的，或者最初由系统预先确定。另外，虚拟平面G的大小并不局限于上述情况下位于从视点R到屏幕11的延伸范围中。此外，不必平行于屏幕11确定虚拟平面G。
第一处理单元13b还确定位于虚拟平面G中预定位置的虚拟键盘。虚拟键盘的三维位置信息通过第二处理单元13f被传送给用户接口13e。在虚拟平面G内，确定的虚拟键盘的预定位置可变。如图5中所示，当在虚拟平面G中确定虚拟键盘H1时，用户接口13e工作，从而以图形图像的形式在屏幕11中显示屏幕键盘J。屏幕键盘J对应于虚拟键盘H1。于是，在屏幕键盘J上反映操作者P在虚拟键盘H1上的操作，使得操作者P能够了解操作者P正在按下哪个按键。例如，用颜色区分屏幕键盘J中，与在虚拟键盘H1上按下的按键对应的按键和其它按键。在难以操纵这种虚拟键盘H1的情况下，作为一种备选方案，可确定简化的虚拟键盘。例如，简化的虚拟键盘可包括尺寸更大的较少按键，从而操作者P易于按下所需的按键。
在操作者P正在屏幕11中确认按下的按键的时候，当操作者发觉难以操纵在其视界内的虚拟键盘H1时，可以在另一虚拟平面G2中确定一个备选虚拟键盘H2。例如平行于操作者P站立的地面确定虚拟平面G2。但是，这种情况下，需要位于地面上的另一摄像机，以便获得图像数据，确定另一虚拟平面G2，实现关于虚拟键盘H2上的操作的图像处理。即使当确定另一虚拟平面G2时，仍按照和虚拟键盘H2对应的方式，在屏幕11中显示屏幕键盘J。于是，操作者P可在屏幕11中确认操作者P正在按下哪个按键。
信息采集单元13g获得关于投影到屏幕11上的显示窗口的大小的信息。根据屏幕11和投影器10之间的距离，以及在投影器10中设置的图像放大比，确定显示窗口的大小。例如，屏幕11和投影器10之间距离的信息被预先保存在信息采集单元13g中。另外，通过通信单元13d，可从投影器10获得图像放大比的信息。
第二处理单元13f从信息采集单元13g接收关于显示窗口大小的信息。第二处理单元13f还从识别单元13a接收操作者P的眼睛和手的三维位置信息。根据接收的信息，第二处理单元13f计算投影到屏幕11上的显示窗口中的对应二维坐标信息。计算得到的信息被传送给用户接口13e。此外，第二处理单元13f根据诸如操作者P指尖的位置之类的三维位置信息，和虚拟平面G的位置，确定是否产生了单击(双击)操作。确定结果被传送给第三处理单元13h。单击操作后面说明。
用户接口13e进行处理，以便显示输入操作的图形图像。图形图像包括图标、屏幕键盘和光标。用户接口13e还实现关于输入操作的处理。更具体地说，用户接口13e根据来自第二处理单元13f的二维坐标信息，处理光标移动。当在虚拟平面G中某一图标的位置产生单击操作时，用户接口13e指令第三处理单元13H实现由该图标定义或者与该图标相关的处理或操作。另外当在虚拟键盘的某一按键上，发生单击操作时，用户接口13e确定操作者P输入了和击打的按键对应的数字或字符。数字或字符信息被传送给第三处理单元13h。
第三处理单元13h执行和用户接口13e指令的处理或操作对应的软件程序，以便实现所述处理或操作。如果所述处理或操作需要，则第三处理单元13h可从用户接口13e获得其它信息，例如坐标信息和单击确定结果。由于第二处理单元13f、用户接口13e和第三处理单元13h中的处理的结果，和单击操作对应的处理或操作结果被投影器10投影到屏幕11上，并显示在屏幕11中。将在处理或操作中获得的图像数据等事先被保存在第二存储单元13i中。当第二存储单元13i中未保存这种数据时，可通过通信单元13d从图像服务器5预先取回这种数据，并将其保存在第二存储单元13i中。
(第二处理单元)
下面详细说明第二处理单元13f中的处理。这种处理包括在虚拟平面G中产生的光标移动，单击操作，双击操作，和拖动操作。所述处理还包括虚拟键盘中的输入操作。
在图像阅读器1中，准备各种操作模式，以便帮助诸如医生之类操作者判读医学图像。例如，可准备矩阵变换模式，以便改变图像显示的矩阵。当设置2×2矩阵时，每次显示四个图像。如果操作者P提出每次观察16个图像，则根据矩阵变化模式，2×2矩阵被改变成4×4矩阵。还可准备距离测量模式，以便测量在投影到屏幕11上的显示窗口中显示的图像中所需两点之间的距离。还可准备徒手画模式，以便在投影到屏幕11上的显示窗口中显示的图像中徒手绘制所需的线条。另外可准备灰度级改变模式，以便改变在投影到屏幕11上的显示窗口中显示的图像的灰度级。此外，可准备文本输入模式，以便输入并在投影到屏幕11上的显示窗口中显示的图像中，以注释的形式显示数字、字符和符号。根据需要，可准备任意其它必需的操作模式。
如上所述，第二处理单元13f根据在识别单元13a中获得的操作者P的眼睛和手的三维位置信息，计算投影到屏幕11上的显示窗口中的二维坐标信息。在该计算中，获得位于从操作者P的眼睛的位置(视点)到操作者P指尖的位置的延伸线与投影到屏幕11上的显示窗口相交的交点的坐标。从而，获得的坐标对应于操作者查看他或她的指尖相对于显示窗口指向的一点。
这里，参数S被定义为当操作者P的指尖穿透虚拟平面G时的时段(秒)。此外，参数X被定义为操作者P的指尖穿透虚拟平面G的距离(毫米)。第二处理单元13f包括计时器和处理部分(图3中都未示出)。计时器用于测量时段S。处理部分用于检测或确定距离X。第二处理单元13f将根据时段S和距离X进行下述确定。
(单击操作)
相对于虚拟平面G的单击操作本质上由关于摄像机12a和12b获得的图像数据的图像处理识别。由于两个摄像机12a和12b被用于获取图像数据，因此能够实现三维图像处理。由于这种图像处理的结果，可识别指尖的动作。摄像机的数目可大于2。
当只使用一个摄像机获取图像数据时，依据单击操作前后指尖的大小差异，识别单击操作。另一方面，也可用照相机领域众所周知的自动调焦功能，实现所述识别。实现识别的另一种方式是使用同样可从市场购得的距离测量传感器。
单击操作的这种识别的思想还适用于双击操作和拖动操作。
当距离X大于预定距离，时段S在预定时段之内时，第二处理单元13f确定操作者P进行了单击操作。例如，可如下设置确定条件(或阈值)。预定的距离为10毫米。预定的时段为0.5秒。在这些条件下，当操作者P的指尖穿透虚拟平面G的距离X等于15毫米，持续时间S＝0.3秒时，操作者P的这种操作被确定为单击操作。如果预定距离被设置成很短的距离，则即使指尖的轻微动作也可能被识别成单击操作。于是，如果操作者P不希望灵敏的反应，则最好把预定距离设置成合理的距离。
单击操作被用于选择上述操作模式之一。图6表示了根据本发明第一实施例的模式选择的一个例子。如图6中所示，操作者P将其手指放置在虚拟平面G中的区域6A，并用手指的指尖指向区域6A。这种指示动作导致穿透虚拟平面G，并被解释成单击操作，只要上述条件被满足。响应这种单击操作，选择距离测量模式。在显示窗口中，区别距离测量模式图标和其它图标。虚拟平面G中的区域6A位于和显示窗口中该图标对应的位置。换句话说，操作者P注视该图标，并相对于该图标移动其指尖。这种动作导致虚拟平面G中的单击操作。
(双击操作)
双击操作被用于改变显示多个图像的矩阵大小。当以预定时间间隔内的间隔T重复单击操作时，第二处理单元13f确定操作者P进行了双击操作。例如，可如下设置确定条件(或阈值)。预定距离为10毫米。预定时段为0.3秒。此外，预定时间间隔为0.5秒。在这些条件下，当操作者P的指尖穿透虚拟平面G的距离X等于15毫米，持续时间S＝0.3秒，并且以0.4秒的间隔重复相似动作时，操作者P的这种动作被确定为双击操作。
图7表示了根据本发明第一实施例的矩阵变换的例子。如图7中所示，操作者P按照和选择距离测量模式相似的方式选择矩阵变换模式。响应矩阵变换模式的选择，在显示窗口中显示改变矩阵大小的图标。类似于单击操作，操作者P把其指尖置于和矩阵变换图标A对应的区域，并两次指向虚拟平面G。只要上述条件被满足，则这种指示动作就被解释成双击操作。响应这种双击操作，改变矩阵大小。图7中，矩阵大小从1×1改变为2×2。
另一方面，可按照下述方式确定上述双击操作。当在第二预定时段内重复单击操作时，第二处理单元13f可确定操作者P进行了双击操作。例如，可如下设置确定条件(或阈值)。预定距离为10毫米。预定时段为0.3秒。此外，第二预定时段为1.0秒。
在本发明的第一实施例中，能够在显示窗口中显示光标C，并根据操作者P的指尖动作移动光标C。由于通过处理摄像机12a和12b获得的图像数据，控制器13能够跟踪操作者P的动作，因此无穿透情况下，来自操作者P的虚拟平面G的视场内的指尖动作在显示窗口中反映成光标移动。
(拖动操作)
拖动操作用于按照徒手画模式绘制所需的线条。当下述条件被满足时，第二处理单元13f确定操作者P进行了拖动操作。距离X大于预定距离。初始穿透点的时段S大于预定时段。此外，保持穿透时的第三时段大于第三预定时段。即，在虚拟平面G中持续大于第三预定时段的时间移动指尖。例如，可如下设置确定条件(或阈值)。预定距离为10毫米。预定时段为0.5秒。此外，第三预定时段为1.0秒。在这些条件下，当操作者P的指尖穿透虚拟平面的距离X为15毫米，时段S为1.0秒，并开始持续2.0秒在虚拟平面内移动指尖时，操作者P的这种动作被确定为拖动操作。
图8表示了根据本发明第一实施例的徒手画的例子。如图8中所示，操作者P按照和选择距离测量模式相似的方式，选择徒手画模式。操作者P将其指尖置于虚拟平面G中的所需初始位置(图8中的(a))，并移动指尖，以便穿透虚拟平面G，从而开始绘制(图8中的(b))。在穿透之后，在指尖保持穿透的情况下，操作者P移动指尖以绘制所需的线条(图8中的(c))。只要上述条件被满足，则这种动作可被解释成拖动操作。为了完成绘制，操作者P从虚拟平面G缩回指尖。从而，如同操作者P所需那样，根据指尖的动作在显示窗口中绘制线条。
如果需要，当绘制的线条的长度超过预定长度，或者当在绘制早先所绘部分之后过去预定的时间时，可从早先所绘部分清除或擦除在显示窗口中显示的绘制线条。这可帮助使正在显示窗口中出现的绘制线条保存在预定长度之内。作为一个辅助特征，当操作者P的手穿透虚拟平面G时，或者当指尖穿透虚拟平面G的距离大于预定距离时，手或指尖可被看作清除全部或所需部分绘制线条的擦除器。
图6中再次表示了拖动操作的另一例子。该拖动操作可用于在距离测量模式下，测量两点之间的距离。
操作者P将其指尖置于虚拟平面G中的所需第一点6B，并移动指尖以便穿透虚拟平面G，从而确定起点。在穿透之后，在指尖保持穿透的情况下，操作者P把指尖移动到第二点6C，以便确定终点。在第二点6C，操作者P从虚拟平面G缩回指尖。因此，在显示窗口中显示和从虚拟平面中的第一点6B到第二点6C拖曳的线条对应的线条。在显示窗口中显示的线条的距离被计算为距离测量结果。
(流程图)
下面参考图9和10，说明图像阅读器1的基本操作流程。
图9是表示根据本发明第一实施例的图像阅读器1中的操作的例证流程的流程图。图10是表示根据本发明第一实施例，图9中所示流程的例证连续流程的流程图。
在待机模式下，当操作者P进入前述预定有效区时，摄像机12a和12b获得操作者P的图像数据。识别单元13a根据获得的图像数据识别操作者P已进入预定的有效区(步骤S01)。信息采集单元13g确定屏幕11和操作者P之间的距离。信息采集单元13g还确定投影到屏幕11上的显示窗口的大小(步骤S02)。
当图像阅读器1向操作者P要求操纵图像阅读器1的权限时，操作者P在预定的有效区展示他或她的手。识别单元13a识别操作者P的手形，并确定该操作者P被准许操纵图像阅读器1。另一方面，当操作者P用声音发出预定单词时，通过可设置在摄像机12a和12b中的麦克风，该声音被收集为语音数据。识别单元13a根据收集的语音数据识别预定单词，并确定该操作者P被准许操纵图像阅读器1。
识别单元13a随后确定操作者P的视点。当操作者P只睁开一只眼睛时，视点可被设置成睁开的眼睛。当操作者P睁开双眼时，操作者P的优势眼睛可被设置成视点(步骤S03)。响应视点确定，识别单元13a实现获得视点的高度，视点和屏幕11之间的距离，以及识别的手和屏幕11之间距离的计算。
第一处理单元13b根据获得的图像数据、视点和计算的距离，确定操作者的臂长(步骤S04)。第一处理单元13b确定到视点的距离L为操作者臂长一半的位置。在到视点的距离为L的位置确定虚拟平面(步骤S05)。
在定义虚拟平面之后，识别单元13a确定是否存在正在展示他或她的手，以便获得操纵图像阅读器1的权限的其它操作者P(步骤S06)。当在步骤S06中，确定存在这样的其它操作者P时，对新的操作者P重复步骤S03～S05。
第一处理单元13b确定操作者P的指尖是否穿透虚拟平面G(步骤S07)。如果确定指尖穿透虚拟平面G，则确定前述各种参数，包括距离X、时段S、时间间隔、第二时段和第三时段中的一个或多个，并将其与相应的预定值进行比较。作为比较的结果，确定相对于虚拟平面的操作是单击操作，双击操作还是拖动操作(步骤S08)。
第三处理单元13h根据确定的操作进行处理。当确定的操作是单击操作时，第三处理单元13h实现单击处理(步骤S09)。当确定的操作是双击操作时，第三处理单元13h实现双击操作(步骤S10)。当确定的操作是拖动操作时，第三处理单元13h实现拖动操作(步骤S11)。
当在步骤S07中确定指尖未穿透虚拟平面G时，通过处理摄像机12a和12b获得的图像数据，跟踪操作者P的动作。从而，无穿透情况下，虚拟平面G的视场内指尖的动作在显示窗口中被反映成光标移动(步骤S12)。第三处理单元13h可根据视点，以及包括投影在屏幕11上的显示窗口的位置和大小在内的信息，实现反映显示处理。
在步骤S09、S10、S11或S12中的处理之后，操作继续步骤S13。在步骤S13中，识别单元13a确定操作者P是否移动至预定有效区之外(步骤S13)。当识别单元13a根据图像数据的处理，在图像数据内不能认出操作者P时，确定操作者P已移动到预定有效区之外。当产生这样的确定时，确定已终止通过虚拟平面G的图像阅读器1的操作。从而，操作返回步骤S01。另一方面，当识别单元13a在图像数据中仍然识别出操作者P，则操作返回步骤S03，从而为下一次操作再次确定或者校正视点(如果需要的话)。
作为在步骤S13中，识别单元13a在图像数据内仍然识别出操作者P的情况的一种备选操作流程，操作可返回步骤S04，如图11中所示。当在步骤S09、S10、S11或S12的处理中，持续跟踪操作者P的视点时，这是可能的。此外，操作可改为从步骤S13返回步骤S05，如图11中所示。当除了视点跟踪之外，把先前获得的关于操作者P的臂长的数据保存在识别单元13a或者保存在第一存储单元13c中时，这是可能的。另一方面，操作可从步骤S13返回步骤S06，如图11中所示。当除了视点跟踪和臂长数据之外，不必重新确定虚拟平面G时，这是可能的。
如上所述，根据第一实施例的图像阅读器1根据操作者P的形状或者操作者P的任意可识别的特性，识别操作者P。此外，图像阅读器1在空间中，为操作者P确定虚拟平面G和位于适当位置，对应于键盘、鼠标等的虚拟键盘。于是，操作者不必向其它操作者交接诸如键盘和/或鼠标之类的操作单元。因此，操作者P不需要考虑卫生问题。这有助于提高操作者P的操作。
根据第一实施例，虚拟平面G被确定为位于到视点的距离为操作者P的臂长一半的位置。但是，可根据操作者P的手，在预定距离的位置确定虚拟平面G。这种情况下，可平行于手掌确定虚拟平面G。
另外根据第一实施例，识别单元13a和第二处理单元13f已获得操作者P的包括视点高度和优势眼睛在内的眼睛信息以及手位置信息，屏幕11和视点之间的距离，投影到屏幕11上的显示窗口的大小等等。但是，就这种信息来说，可事先在识别单元13a和/或第二处理单元13f中保存标准值。
此外，当操作者P展示他或她的手时，或者当操作者P用声音发出预定单词时，识别单元13a确定操作者P被准许操纵图像阅读器1。但是，即使当操作者P进入预定有效区，以便在无单独的预先指令的情况下操纵图像阅读器1时，识别单元13a也可确定操作者P被准许操纵图像阅读器1。另一方面，识别单元13a可确定首先进入预定有效区的操作者P被准许操纵图像阅读器1。
另外，第三处理单元可调整将在投影到屏幕11上的显示窗口中绘制或显示的线条、数字和字符的大小和/或粗细。这种调整可以屏幕11和操作者P的视点之间的距离为基础。
摄像机可设置在任意位置。代替第一实施例中描述的位置，摄像机可设置在屏幕11之后，通过在屏幕11中形成的小孔获得图像数据。摄像机可设置在屏幕11的顶部或下部。摄像机的这些位置的混合也适用于第一实施例。无论位置在何处，都可设置任意数目的摄像机。
(虚拟平面位置)
当操作者P希望改变当前定义的虚拟平面G的位置时，操作者P可输入操作命令，显示虚拟平面位置改变窗口。图12表示了根据本发明第一实施例的虚拟平面位置改变窗口的一个例子。例如，如果操作者P把遵循指尖动作的光标120移到虚拟平面位置改变窗口中的向上箭头121时，在更接近于操作者P的位置定义虚拟平面G。如果操作者P把光标120移动到虚拟平面位置改变窗口中的向下箭头122时，在更远离操作者P的位置定义虚拟平面G。
在虚拟平面G的位置改变之后或者操作者希望的任意时候，操作者P可试图了解虚拟平面G定义在何处，单击操作需要多大的指尖穿透。图13表示了根据本发明第一实施例的穿透测试窗口的第一例子。如图13中所示，当操作者P首次相对于虚拟平面G尝试穿透时，第一穿透距离表明指尖穿透虚拟平面G过多。虚线130表示识别单击操作的临界距离点。虚线130可指示定义虚拟平面G的位置。响应该尝试，第二次尝试表明指尖穿透虚拟平面G过短。最后，在第三次尝试中，操作者P可认识到移动指尖多少距离，以便被识别成单击操作。可根据前述预定距离的变化，移动虚线130。
图14中表示了一种备选的穿透测试窗口。图14表示了根据本发明第二实施例的穿透测试窗口的第二例子。在第二例子中，穿透测试窗口只表示一个指示符，所述指示符根据相对于虚拟平面G的指尖动作，改变其长度。于是，操作者易于理解对于单击操作，操作者P应按照何种程度移动他或她的指尖。虚拟40和图13中的虚线130表示相同的含义。
(第二实施例)
本发明的第二实施例涉及作为虚拟平面的另一应用例子的，导管插入术过程中的X射线透视(fluoroscope)位置改变。图15表示了根据本发明第二实施例的通过虚拟平面改变X射线透视位置的例子。
图15(a)表示医生S正在从腹股沟151把导管插入患者T内。患者T躺在诊断台152上，诊断台152是X射线诊断设备的一部分。在导管插入过程中，X射线诊断设备获得患者T的X射线透视图像数据。在导管头部所处的患者T的身体部位上方实现X射线透视。基于获得的图像数据的X射线透视图像由显示监视器153显示，从而医生S能够通过显示监视器在视觉上核实是否正在正确插入导管。显示监视器153由支持物154支承。
如图15(b)中所示，摄像机155a和155b设置在显示监视器153的两侧。摄像机155a和155b获得医生S的图像数据。通过对获得的图像数据进行的图像处理，跟踪医生S的动作。在图像处理单元(未示出)中实现这种图像处理。图像处理单元可设置在X射线诊断设备中，或者独立于X射线诊断设备。控制单元(未示出)根据图像处理的结果，控制X射线诊断设备的悬臂位置，以便改变X射线透视位置。悬臂支承X射线管和X射线检测器。控制单元可设置在X射线诊断设备中，或者独立于X射线诊断设备。根据医生S相对于虚拟平面156的操作，改变X射线透视位置。
虚拟平面156定义在医生S的视点和显示监视器153之间。当医生S的指尖穿透虚拟平面156进行单击操作时，图像处理单元通过处理通过摄像机155a和155b获得的图像数据，识别这样的操作。从而，控制单元根据单击操作控制悬臂位置。
虚拟平面156可定义在从医生S的视点到显示监视器153的各角的延伸范围内。虚拟平面156的大小可在从视点到显示监视器153的视场范围内，如图15(a)中所示。
医生S可用一只手157R(例如右手)改变悬臂位置，以便改变在监视显示器153中显示的X射线透视图像，同时医生用另一只手157L(例如左手)拿着导管。当借助点击操作，例如按下动作，手157R的指尖穿透虚拟平面156时，图像处理单元识别这样的操作。例如，在显示监视器153中显示四方向箭头158。如果指尖在对应于四方向箭头158的向上箭头的位置穿透虚拟平面156，则控制悬臂位置稍微移向患者T的头部。类似地，如果指尖在对应于四方向箭头158的向下箭头的位置穿透虚拟平面156，则控制悬臂位置稍微移向患者T的脚部。此外，如果指尖在对应于四方向箭头158的向左箭头的位置穿透虚拟平面156，则控制悬臂位置稍微移向患者T的右侧。最后，如果指尖在对应于四方向箭头158的向右箭头的位置穿透虚拟平面156，则控制悬臂位置稍微移向患者T的左侧。在显示监视器153的图像显示窗口159中，显示以在改变后的悬臂位置获得的图像数据为基础的X射线透视图像。
四方向箭头158只表示四个方向。但是，代替四方向箭头158，可用箭头显示更多的方向(例如八个方向)。一个点击操作中的移动距离可被固定，或者可按照可变的方式设置。
代替相对于四方向箭头158的点击操作，医生5可对虚拟平面156进行拖动操作。当手157R的指尖穿透虚拟平面156以便进行拖动操作时，图像处理单元识别这种操作。如果医生S向上进行拖动操作，则控制悬臂位置稍微移向患者T的头部。类似地，如果医生S向下进行拖动操作，则控制悬臂位置稍微移向患者T的脚部。此外，如果医生S向左进行拖动操作，则控制悬臂位置稍微移向患者T的右侧。最后，如果医生S向右进行拖动操作，则控制悬臂位置稍微移向患者T的左侧。在图像显示窗口159中，显示以在改变后的悬臂位置获得的图像数据为基础的X射线透视图像。
移动距离可被固定，而和拖动操作的距离无关。另一方面，移动距离可根据拖动操作的距离而变化。例如，当悬臂响应高达3厘米的拖动操作，移动第一距离时，悬臂可响应大于3厘米的拖动操作，移动两个第一距离。根据拖动操作，悬臂的移动方向可包括除上述四个方向之外的其它方向。
在第二实施例的情况下，医生S会在不打算操纵显示监视器153的时候，不经意地使其手臂穿过虚拟平面。即，虽然通过虚拟平面156直接操纵显示监视器153，但是显示监视器153不是医生S的手臂的移动中的直接意图目标。但是，只要当通过虚拟平面进行操作时，在无来自间接对象的指令的情况下，直接对象不能作出响应，则在本发明的范围中，类似于显示监视器153之类的间接对象被解释成要操纵的对象。
根据第二实施例中的系统，医生S不必要求其它人调整他/她手臂的位置。当医生S希望获得患者T的当前未显示的视图，以便进行导管插入时，医生S可在不触摸任何事物的情况下进行调整操作。另外，在医生的操作中，不会产生任何卫生问题。
在第一实施例中说明的一个或多个特征适用于第二实施例。
(第三实施例)
通过虚拟平面的操作还适用于日常生活中的其它领域。虚拟平面可被用于控制通常需要实际操作，以便操纵的任意用具。这种用具的例子包括(但不限于)：固定照明设备、窗子、加热系统、门、烘箱、以及能够控制的各种其它物品。作为一个例子，本发明的第三实施例涉及固定在天花板的荧光灯的开/关。图16表示了根据本发明第三实施例通过虚拟平面的这种开关的例子。
如图16(a)中所示，用户V躺在床161上。在用户V所躺的房间中，荧光灯162固定于房间的天花板上。类似于第一实施例，在荧光灯162的两侧设置了摄像机163a和163b。摄像机163a和163b获得用户V的图像数据。通过对获得的图像数据的图像处理，跟踪用户V的动作。在图像处理单元164中实现这种图像处理。控制单元165根据图像处理的结果，控制荧光灯162的开/关。所述开/关取决于用户V相对于虚拟平面166的操作。
虚拟平面166例如定义于用户V的视点和荧光灯162之间。当用户V的头部或手臂穿透虚拟平面166，以便进行点击操作时，图像处理单元164通过处理摄像机163a和163b获得的图像数据，识别这种操作。从而，控制单元165控制荧光灯的开/关。
如图16中图(b)～(d)中所示，可在预定位置确定虚拟平面166的大小。当虚拟平面166由四边形形成时，可沿着从用户V从左到右的方向，在用户V手臂可及的距离内确定虚拟平面166的一侧，如图16(b)中所示。类似地，可沿着从用户V脚部到头部的方向，在用户V手臂可及的距离内确定虚拟平面166的另一侧，如图16(c)中所示。图16(d)表示了从摄像机163a和163b观察的虚拟平面166的一个例证大小。另一方面，虚拟平面166可由圆、三角形或者其它任意形状构成。
第一实施例中描述的一个或多个特征适用于第三实施例。
(第四实施例)
本发明的第四实施例涉及开关窗子。图17表示了根据本发明第四实施例通过虚拟平面开关窗子的例子。
如图17中所示，用户W位于窗子171之前，窗子171可位于办公室或住宅中。窗子171具有窗玻璃172。类似于第二实施例，在窗子171两侧设置有摄像机173a和173b。摄像机173a和173b获得用户W的图像数据。通过对获得的图像数据进行图像处理，跟踪用户W的动作。在图像处理单元174中实现这种图像处理。根据图像处理的结果，控制单元175向驱动机构176提供控制信号。响应控制信号，驱动机构176驱动打开窗玻璃172之一。驱动机构176还响应控制信号，驱动关闭该窗玻璃172。控制信号取决于用户W相对于虚拟平面177的操作。
例如在用户W的视点和窗子171之间定义虚拟平面177。当用户W使其指尖穿透虚拟平面177以便进行拖动操作时，图像处理单元174通过处理摄像机173a和173b获得的图像数据，识别这种操作。从而，控制单元175控制驱动机构176。当用户W朝着图17中的左侧进行拖动操作时，窗玻璃172受驱动机构176驱动，朝着左侧移动以便关闭。类似地，当用户W朝着图17中的右侧进行拖动操作时，窗玻璃172受驱动机构176驱动，朝着右侧移动以便打开。
可在从用户W的视点到窗子171各角的延伸范围内定义虚拟平面177。
第一实施例中描述的一个多个特征适用于第四实施例。
当在离用户的距离不同的位置存在两个用具时，可根据相对于虚拟平面的穿透距离，控制(或操纵)这两个用具。例如，当虚拟平面被穿透1厘米时，操纵两个用具中较近的一个用具。当虚拟平面被穿透3厘米时，操纵两个用具中的另一用具。另一方面，根据距离不同的用具的数目，可准备多个虚拟平面。此外，即使对于单一用具，该用具的不同操作也可被分别分配给不同的穿透距离或者多个虚拟平面。
在上面说明的实施例中，描述了用于获得操作者、用户或医生的图像数据的摄像机。但是，也可使用其它类型的照相机，只要照相机能够在预定的时段中，顺序获得至少预定数目的图像(或照片)。除了摄像机之外，WEB照相机和数字相机是这种照相机的例子。
相对于虚拟平面的穿透并不局限于由操作者的指尖实现，相反也可由操作者的任意预定部位实现。
上面说明的本发明的实施例只是为易于理解本发明而说明的例子，并不意味着对本发明的限制。因此，在本发明的范围内，在本发明的实施例中公开的各个组件和部件可被重新设计或者修改成其等同物。此外，这些组件和部件的任意可能组合都包含在本发明的范围中，只要获得和根据本发明实施例中的上述公开内容获得的那些优点相似的优点即可。
鉴于上述教导，本发明的各种修改和变化都是可能的。于是在附加权利要求的范围内，可按照除这里具体说明之外的其它方式实践本发明。