信息处理装置、 信息处理方法、 记录介质、 以及集成电路 【技术领域】
本发明涉及一种信息处理装置， 尤其涉及通过使用户操作显示在显示画面的图 标， 从而生成对设备的工作进行规定的命令的信息处理装置。背景技术
近 几 年， 除 了 自 动 售 票 机 等 的 公 共 设 施 之 外， 在 如 个 人 使 用 的 个 人 计 算 机、 PDA(Personnal Digital Assistant ： 个人数字助理 )、 电视机等的家电遥控器、 以及被称作 智能手机的高机能移动终端等各种信息设备上， 也引入了搭载触摸屏型的显示画面。这些 信息设备的大部分， 都将传感器配备在画面上或画面的附近。用户通过用手指直接触摸显 示在信息设备的画面上的以文字或图像构成的链接或按键， 从而进行操作。由于信息设备 由传感器检测用户的操作请求， 因此， 用户能够通过直观的操作使信息设备执行所希望的 处理。 针对用户利用信息设备进行的处理， 作为第一个例子， 例如将文章从移动终端投 稿到个人的网络日记。 此投稿处理包括编辑处理以及将已编辑的图像添附到邮件后并发送 的处理等， 所述编辑处理例如是针对以移动终端的照相机功能所拍摄的图像， 进行大小变 更、 褐色调 (Sepia) 等的色彩变更、 以及在关键词上赋予标记的处理。
在此， 在搭载了一般的触摸屏的移动终端上， 用于接受来自用户的操作的触摸屏 所利用的菜单画面被预先设为阶层的形式。并且， 用户可以触摸用于启动菜单画面的触摸 屏上的菜单图标， 或者， 可以触摸用于启动菜单画面的被设置在移动终端的主体上的按键。 由此， 移动终端显示菜单画面， 而且， 在用户触摸显示在此菜单画面上的照相机功能的启动 图标之时， 照相机功能被启动。
接着， 以触摸屏上的快门图标， 或者， 设置在移动终端的主体的快门按键来开始进 行拍摄， 并记录拍摄图像。接着， 针对作为操作目标对象的已拍摄的图像， 依次进行以下处 理。也就是说， 用户从 “子菜单” 选择 “图像编辑” ， 从再次显示的 “子菜单” 选择 “大小变更” 之后， 选择 “所希望的大小” 。由此， 移动终端进行图像的大小调整。接着， 用户从 “子菜单” 选择 “照片修饰 (Photo Retouch)” 等的色彩变更菜单之后， 选择 “褐色调” 。
由此， 由移动终端进行图像的色彩变更。 接着， 用户从 “子菜单” 选择 “赋予关键词” 之后， 将想赋予的关键词进行输入或从候补中进行选择。接着， 用户从 “子菜单” 中选择 “添 附到邮件并发送” 之后， 通过触摸操作 ( 或者， 通过按键的操作 ) 对 “收件人地址的选择” 以 及 “输入标题 / 正文” 等的处理进行输入。如上所述， 为了实现将文章投稿到网络日记这一 目的， 需要反复进行多个触摸操作。
这样的操作， 是熟悉移动终端的操作的用户日常所进行的操作。 然而， 由于菜单画 面被阶层地构成， 因此， 即使采用触摸屏， 应显示的画面数量也很多。由用户触摸触摸屏的 次数 ( 或者， 操作操作键的次数 )， 就会与阶层数成正比而不断增加。 也就是说， 随着阶层数 的增加， 反而会有损于用户的便利性。
此外， 在想连续执行基于非连续的多个功能的处理的情况下， 选择菜单图标之后，
用户需要预先掌握其次能够选择什么样的子菜单。因此， 对于不擅长设备操作的用户或完 全不具备有关终端功能的知识的用户而言， 菜单画面的阶层性的构成， 反而会带来操作的 不便。此外， 菜单画面的阶层性的构成， 即使针对熟练者， 也不得不在日常上反复进行相同 的操作。
在专利文献 1 中公开了所述第一个例子中的课题的第一个解决方法。该技术的 具体的内容是， 在画面显示部预先决定的处理指令执行区域上显示图标。并且， 用户对表 示成为操作目标的图像等的数据的操作目标对象 ( 图标 ) 进行拖动， 从而使操作目标对象 ( 图标 ) 通过处理指令执行区域， 所述拖动是利用触摸屏或使用了鼠标的光标操作而被进 行的。 因此， 移动终端能够针对对应于操作目标对象的数据， 执行对应于此处理指令执行区 域的处理。
此外， 若针对各个处理指令执行区域， 预先设定参数候补值 ( 例如图像的放大倍 率等 )， 则也能够在操作目标对象 ( 图标 ) 所通过的区域的周围显示对应的参数候补值。 并 且， 用户也能够在显示的多个参数候补值中， 选择所希望的值。
此外， 根据脚本或批处理文件的处理执行方法是众所周知的。 根据此方法， 例如用 户预先按照描述规则， 将想使计算机连续执行的多个处理， 依次描述在一个记述文件上， 从 而依次执行多个处理。 [ 专利文献 1] 日本国特开 2005-149279 号公报
然而， 在上述说明的专利文献 1 所公开的方法中， 操作目标对象被限定在图像或 声音这种内容， 并且， 针对这样的内容处理的前提是， 一次仅能处理所述内容之一。
在此虽然也能够适用上述已说明的多个处理的执行方法， 但是， 在此多个处理的 执行方法中， 需要用户自己预先在计算机上将应执行的处理， 按照描述规则， 以计算机可译 码的语言进行记载。因此， 对于不擅长设备操作的用户或完全不具备有关终端功能的知识 的用户而言， 不能说是一个简便的方法。
发明内容 鉴于上述的课题， 本发明的目的在于提供一种信息处理装置， 该信息处理装置能 够根据直观性操作来执行多个处理。
本发明的一个实施例所涉及的信息处理装置， 通过使用户操作显示在显示画面的 图标， 从而生成对设备的工作进行规定的命令， 其中包括 ： 存储部， 包含指令管理部， 该指令 管理部将一个以上的指令与一个以上的参数相关联并进行存储， 所述一个以上的指令是指 针对对象执行的处理， 所述一个以上的参数规定所述指令的处理内容 ； 命令接受部， 接受用 户对显示在所述显示画面的所述图标的操作 ； 显示控制部， 使用于识别所述对象的一个以 上的对象图标， 显示在所述显示画面的第一显示区域 ； 以及命令生成部， 按照所述命令接受 部所接受的用户的操作， 生成作为存储在所述指令管理部的所述指令以及所述参数的集合 的命令， 所述显示控制部， 进一步， 在至少选择被显示在所述第一显示区域的所述一个以上 的对象图标中的一个的操作由所述命令接受部接受了的情况下， 从所述指令管理部抽出能 够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令， 在维持所述显 示画面的所述第一显示区域的显示内容的状态下， 使用于识别被抽出的所述指令的一个以 上的指令图标， 显示在与所述第一显示区域不同的第二显示区域， 在至少选择被显示在所
述第二显示区域的所述一个以上的指令图标中的一个的操作由所述命令接受部接受了的 情况下， 从所述指令管理部抽出与以被选择的所述指令图标来识别的所述指令相关联的所 述参数， 在维持所述显示画面的所述第一显示区域以及所述第二显示区域的显示内容的状 态下， 使用于识别被抽出的所述参数的一个以上的参数图标， 显示在与所述第一显示区域 以及所述第二显示区域不同的第三显示区域， 所述命令生成部， 在两个以上的所述指令图 标被选择的情况下， 生成用于按照被选择的顺序来执行以该两个以上的指令图标所分别识 别的两个以上的所述指令的命令。
根据上述构成， 由于能够将对象图标、 指令图标、 参数图标同时显示在一个画面 上， 因此， 用户能够以直观的操作， 来执行针对操作目标对象的命令。
并且， 若选择操作目标对象， 则仅显示针对该操作目标对象可执行的指令的指令 图标。并且， 若选择指令， 则仅显示与该指令相关联的参数的参数图标。而且， 能够一次选 择多个针对操作目标对象执行的指令。因此， 能够进一步提高用户的便利性。
进一步， 也可以是， 所述信息处理装置还包括命令执行部， 该命令执行部针对所述 操作目标对象执行在所述命令生成部生成的所述命令。因此， 能够针对信息处理装置所保 持的内容 ( 实体数据 )， 执行已生成的命令。 并且， 也可以是， 所述显示控制部， 在两个以上的所述操作目标对象被选择的情况 下， 从所述指令管理部抽出能够针对所述两个以上的操作目标对象均能够执行的所述指 令。
并且， 也可以是， 所述显示控制部， 按照所述显示画面上尚未利用于显示所述图标 的余留区域的大小， 来校正已显示在所述显示画面上的多个所述图标的显示间隔。 因此， 显 示区域被重新显示， 并能够确保用户应选择的图标的显示区域， 从而更加提高操作性。
并且， 也可以是， 所述命令生成部还将已生成的所述命令作为处理模式， 登录到所 述存储部的模式管理部， 所述显示控制部还从所述模式管理部抽出能够针对以被选择的所 述对象图标来识别的所述对象而执行的所述处理模式， 并使用于识别被抽出的所述处理模 式的处理模式图标， 显示在与所述显示画面的所述第一显示区域、 所述第二显示区域以及 所述第三显示区域不同的模式显示区域。 因此， 在反复执行相同的处理的情况等， 也能够提 高用户的便利性。
进一步， 也可以是， 所述信息处理装置还包括所述显示画面和检测部， 该检测部检 测所述显示画面的朝向， 所述显示控制部按照由所述检测部检测出的所述显示画面的朝 向， 来变更显示在所述显示画面上的所述图标的显示位置。因此， 能够按照显示画面的朝 向， 以适当的布局来显示图标。
并且， 也可以是， 所述对象是与所述信息处理装置相连接的外部装置， 所述信息处 理装置还包括通信部， 该通信部将在所述命令生成部生成的所述命令， 发送到与所述操作 目标对象相对应的外部装置。 因此， 能够以所持有的信息处理装置来生成命令， 并使外部装 置执行所述命令。
进一步， 也可以是， 所述通信部还从所述操作目标对象接收表示该操作目标对象 的当前的工作状态的状态信息， 所述显示控制部， 在所述操作目标对象处于所述状态信息 所表示的工作状态时， 从所述指令管理部抽出能够针对该操作目标对象执行的所述指令。 因此， 按照操作目标对象的工作状态， 能够仅显示可执行的指令图标， 从而能够提高用户的
操作效率。
并且， 也可以是， 在所述操作目标对象具有显示画面的情况下， 所述通信部， 从所 述操作目标对象接收显示布局信息， 所述显示布局信息表示显示在该操作目标对象的显示 画面的显示内容， 所述显示控制部， 还使所述显示布局信息所表示的显示内容， 显示在与所 述显示画面的所述第一显示区域、 所述第二显示区域以及所述第三显示区域不同的虚拟画 面显示区域。 因此， 能够使操作目标对象的显示画面和虚拟画面显示区域联动而进行操作， 从而能够更加提高操作性。
本发明的一个实施例所涉及的信息处理方法， 用于所述信息处理装置， 该信息处 理装置通过使用户操作显示在显示画面的图标， 从而生成对设备的工作进行规定的命令， 所述信息处理装置具有存储部， 该存储部包含指令管理部， 该指令管理部将一个以上的指 令与一个以上的参数相关联并进行存储， 所述一个以上的指令是指针对对象执行的处理， 所述一个以上的参数规定所述指令的处理内容， 其中包括 ： 命令接受步骤， 接受用户对显示 在所述显示画面的所述图标的操作 ； 显示控制步骤， 使用于识别所述对象的一个以上的对 象图标， 显示在所述显示画面的第一显示区域 ； 以及命令生成步骤， 按照在所述命令接受步 骤中接受的用户的操作， 生成作为存储在所述指令管理部的所述指令以及所述参数的集合 的命令， 在所述显示控制步骤中， 进一步， 在至少选择被显示在所述第一显示区域的所述一 个以上的对象图标中的一个的操作在所述命令接受步骤中接受了的情况下， 从所述指令管 理部抽出能够针对以被选择的所述对象图标来识别的操作目标对象而执行的所述指令， 在 维持所述显示画面的所述第一显示区域的显示内容的状态下， 使用于识别被抽出的所述指 令的一个以上的指令图标， 显示在与所述第一显示区域不同的第二显示区域， 在至少选择 被显示在所述第二显示区域的所述一个以上的指令图标中的一个的操作在所述命令接受 步骤中接受了的情况下， 从所述指令管理部抽出与以被选择的所述指令图标来识别的所述 指令相关联的所述参数， 在维持所述显示画面的所述第一显示区域以及所述第二显示区域 的显示内容的状态下， 使用于识别被抽出的所述参数的一个以上的参数图标， 显示在与所 述第一显示区域以及所述第二显示区域不同的第三显示区域， 在所述命令生成步骤， 在两 个以上的所述指令图标被选择的情况下， 生成用于按照被选择的顺序来执行以该两个以上 的指令图标所分别识别的两个以上的所述指令的命令。
本发明的一个实施例所涉及的计算机可读取的记录介质， 记录了程序， 该程序使 信息处理装置通过使用户操作显示在显示画面的图标， 从而生成对设备的工作进行规定的 命令， 所述信息处理装置具有存储部， 该存储部包含指令管理部， 该指令管理部将一个以上 的指令与一个以上的参数相关联并进行存储， 所述一个以上的指令是指针对对象执行的处 理， 所述一个以上的参数规定所述指令的处理内容， 所述程序使所述信息处理装置执行以 下步骤 ： 命令接受步骤， 接受用户对显示在所述显示画面的所述图标的操作 ； 显示控制步 骤， 使用于识别所述对象的一个以上的对象图标， 显示在所述显示画面的第一显示区域 ； 以 及命令生成步骤， 按照在所述命令接受步骤中接受的用户的操作， 生成作为存储在所述指 令管理部的所述指令以及所述参数的集合的命令， 在所述显示控制步骤中， 进一步， 在至少 选择被显示在所述第一显示区域的所述一个以上的对象图标中的一个的操作在所述命令 接受步骤中接受了的情况下， 从所述指令管理部抽出能够针对以被选择的所述对象图标来 识别的操作目标对象而执行的所述指令， 在维持所述显示画面的所述第一显示区域的显示内容的状态下， 使用于识别被抽出的所述指令的一个以上的指令图标， 显示在与所述第一 显示区域不同的第二显示区域， 在至少选择被显示在所述第二显示区域的所述一个以上的 指令图标中的一个的操作在所述命令接受步骤中接受了的情况下， 从所述指令管理部抽出 与以被选择的所述指令图标来识别的所述指令相关联的所述参数， 在维持所述显示画面的 所述第一显示区域以及所述第二显示区域的显示内容的状态下， 使用于识别被抽出的所述 参数的一个以上的参数图标， 显示在与所述第一显示区域以及所述第二显示区域不同的第 三显示区域， 在所述命令生成步骤， 在两个以上的所述指令图标被选择的情况下， 生成用于 按照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的 命令。
本发明的一个实施例所涉及的集成电路， 搭载在信息处理装置， 所述信息处理装 置具有存储部， 并且， 通过使用户操作显示在显示画面的图标， 从而生成对设备的工作进行 规定的命令， 所述存储部包含指令管理部， 该指令管理部将一个以上的指令与一个以上的 参数相关联并进行存储， 所述一个以上的指令是指针对对象执行的处理， 所述一个以上的 参数规定所述指令的处理内容， 其中包括命令接受部， 接受用户对显示在所述显示画面的 所述图标的操作 ； 显示控制部， 使用于识别所述对象的一个以上的对象图标， 显示在所述显 示画面的第一显示区域 ； 以及命令生成部， 按照所述命令接受部所接受的用户的操作， 生成 作为存储在所述指令管理部的所述指令以及所述参数的集合的命令， 所述显示控制部， 进 一步， 在至少选择被显示在所述第一显示区域的所述一个以上的指令图标中的一个的操作 由所述命令接受部接受了的情况下， 从所述指令管理部抽出能够针对以被选择的所述对象 图标来识别的操作目标对象而执行的所述指令， 在维持所述显示画面的所述第一显示区域 的显示内容的状态下， 使用于识别被抽出的所述指令的一个以上的指令图标， 显示在与所 述第一显示区域不同的第二显示区域， 在至少选择被显示在所述第二显示区域的所述一个 以上的指令图标中的一个的操作由所述命令接受部接受了的情况下， 从所述指令管理部抽 出与以被选择的所述指令图标来识别的所述指令相关联的所述参数， 在维持所述显示画面 的所述第一显示区域以及所述第二显示区域的显示内容的状态下， 使用于识别被抽出的所 述参数的一个以上的参数图标， 显示在与所述第一显示区域以及所述第二显示区域不同的 第三显示区域， 所述命令生成部， 在两个以上的所述指令图标被选择的情况下， 生成用于按 照被选择的顺序来执行以该两个以上的指令图标所分别识别的两个以上的所述指令的命 令。
根据本发明， 能够提供根据直观性操作来执行多个处理的信息处理装置。 附图说明
图 1 是本发明的实施例 1 所涉及的信息处理装置的框图。 图 2A 是显示在纵向的显示部的操作画面的构成例子的图。 图 2B 是显示在横向的显示部的操作画面的构成例子的图。 图 3A 是示出操作目标对象被选择的状态的图。 图 3B 是示出显示能够针对操作目标对象而执行的指令的状态的图。 图 3C 是示出通过选择指令， 从而显示与指令相关联的参数的状态的图。 图 3D 是示出参数被选择的状态的图。图 3E 是示出通过选择第二个指令， 从而显示与该指令相关联的参数的状态的图。 图 3F 是示出执行已生成的命令的状态的图。 图 4A 是示出图 3A 的状态中的操作履历表的内容的图。 图 4B 是示出图 3B 的状态中的操作履历表的内容的图。 图 4C 是示出图 3C 的状态中的操作履历表的内容的图。 图 4D 是示出图 3D 的状态中的操作履历表的内容的图。 图 4E 是示出图 3E 的状态中的操作履历表的内容的图。 图 4F 是示出图 3F 的状态中的操作履历表的内容的图。 图 5A 是示出登录处理模式的状态的图。 图 5B 是示出输入处理模式的信息的状态的图。 图 5C 是示出操作目标对象被选择的状态的图。 图 5D 是示出选择处理模式的状态的图。 图 5E 是示出针对操作目标对象执行处理模式的状态的图。 图 5F 是示出进展显示画面的图。 图 6A 是示出图 5A 的状态中的操作履历表的内容的图。 图 6B 是示出模式管理表的数据格式的一个例子的图。 图 6C 是示出多个处理模式被登录在模式管理表内的例子的图。 图 7 是示出实施例 1 所涉及的信息处理装置的工作的流程图。 图 8 是示出属性验证处理的流程图。 图 9 是示出实施例 1 中的指令管理表的一个例子的图。 图 10A 是示出作为指令参照表的一个例子的 “Address Book ： 地址名册” 的图。 图 10B 是示出作为指令参照表的一个例子的 “Retouch FIlter ： 润饰过滤” 的图。 图 10C 是示出作为指令参照表的一个例子的 “Mark Table ： 符号表” 的图。 图 10D 是示出作为指令参照表的一个例子的 “Frame Tabie ： 框表” 的图。 图 10E 是示出作为指令参照表的一个例子的 “Tag DB ： 标记数据库” 的图。 图 10F 是示出作为指令参照表的一个例子的 “Size Table ： 大小表” 的图。 图 10G 是示出作为指令参照表的一个例子的 “Rotate Table ： 旋转表” 的图。 图 11 是示出实施例 1 中的指令候补表的一个例子的图。 图 12 是示出实施例 1 中的内容目录表的一个例子的图。 图 13 是示出本发明的实施例 2 所涉及的系统的构成的图。 图 14 是本发明的实施例 2 所涉及的信息处理装置的框图。 图 15A 是示出选择操作目标对象的状态的图。 图 15B 是示出从外部设备取得的信息的一个例子的图。 图 15C 是基于图 15B 所示的信息的显示例子的图。 图 16A 是示出从外部设备取得的信息的其他的例子的图。 图 16B 是基于图 16A 所示的信息的显示例子的图。 图 16C 是示出信息显示装置的操作例子的图。 图 17 是示出实施例 2 中的属性验证处理的流程图。 图 18 是示出实施例 2 中的指令管理表的一个例子的图。图 19A 是示出选择多个操作目标对象的状态的图。 图 19B 是示出显示针对多个操作目标对象均能够执行的指令的状态的图。 图 19C 是示出生成针对多个操作目标对象的命令的状态的一个例子的图。 图 19D 是生成示出针对多个操作目标对象的命令的状态的其他的例子的图。 图 19E 是示出进展显示画面的一个例子的图。 图 19F 是示出命令的执行结果画面的一个例子的图。 图 20 是示出指令候补表的一个例子的图。 图 21A 是示出作为指令参照表的一个例子的 “Address Book ： 地址名册” 的图。 图 21B 是示出作为指令参照表的一个例子的 “Retouch Filter ： 润饰过滤” 的图。 图 21C 是示出作为指令参照表的一个例子的 “Mark Table ： 符号表” 的图。 图 21D 是示出作为指令参照表的一个例子的 “Frame Table ： 框表” 的图。 图 21E 是示出作为指令参照表的一个例子的 “Tag DB ： 标记数据库” 的图。 图 21F 是示出作为指令参照表的一个例子的 “Size Table ： 大小表” 的图。 图 21G 是示出作为指令参照表的一个例子的 “Rotate Table ： 旋转表” 的图。 图 21H 是示出作为指令参照表的一个例子的 “Power Table ： 电源表” 的图。 图 21I 是示出作为指令参照表的一个例子的 “Mute Table ： 静音表” 的图。 图 21J 是示出作为指令参照表的一个例子的 “Timer SetTable ： 定时器设定表” 的图。 图 21K 是示出作为指令参照表的一个例子的 “RecurringSetting Table ： 反复设 定表” 的图。
图 22A 是示出对被登录的处理模式的定期执行进行指示的状态的图。
图 22B 是示出定期执行被指示之前的处理模式的登录例子的图。
图 22C 是示出定期执行被指示之后的处理模式的登录例子的图。
图 23 是本发明的实施例 3 所涉及的信息处理装置的框图。
图 24A 是示出在显示校正层次为 “0” 的情况下的显示例子的图。
图 24B 是示出在显示校正层次为 “1” 的情况下的显示例子的图。
图 24C 是示出在图 24B 基础上追加新的显示项目的显示例子的图。
图 24D 是示出在显示校正层次为 “2” 的情况下的显示例子的图。
图 25 是示出显示内容校正处理的流程图。
图 26 是本发明的实施例 4 所涉及的信息处理装置的框图。
图 27A 是示出外部装置的显示画面和信息处理装置的虚拟画面显示区域之间的 关系的图。
图 27B 是示出包含虚拟画面显示区域的显示例子的图。
图 27C 是示出利用了虚拟画面的操作例子的图。
图 27D 是示出操作命令消息的一个例子的图。
图 28 是本发明的实施例 5 所涉及的信息处理装置的框图。
图 29A 是示出外部装置的显示画面和信息处理装置的虚拟画面显示区域之间的 关系的图。
图 29B 是在纵方向的显示部所显示的虚拟画面的显示例子的图。
图 29C 是在横方向的显示部所显示的虚拟画面的显示例子的图。 图 29D 是外部装置的显示画面的显示例子的图。 图 29E 是示出利用了虚拟画面的操作例子的图。 图 30A 是纵方向的显示部所显示的操作画面的构成例子的图。 图 30B 是横方向的显示部所显示的操作画面的构成例子的图。具体实施方式
以下， 针对本发明的实施例， 参照附图进行详细的说明。 另外， 在实施例中， 为了避 免重复的说明， 针对相同的构成要素赋予相同的符号， 并省略其说明。
( 实施例 1)
图 1 是示出本发明的实施例 1 所涉及的信息处理装置 100 的构成的框图。在图 1 中， 信息处理装置 100 包括 ： 显示控制部 10、 存储部 20、 显示部 103、 命令接受部 104、 命令执 行部 106、 定时器 107、 以及命令生成部 115。 此信息处理装置 100 通过使用户操作显示在显 示部 103 的图标， 从而生成对设备的工作进行规定的命令。
存储部 20 包括指令管理部 101、 数据保持部 102、 以及模式管理部 110， 并且， 存 储部 20 是对信息处理装置 100 的工作中所需的各种数据进行存储的 DB(Data Base ： 数据 库 )。
指令管理部 101 至少保持一个指令信息。此指令信息中所保持的指令与参数相关 联， 所述指令是指成为开始执行信息处理装置 100 所具备的各种功能处理的指令 ( 以下也 称为 “处理指令” )， 所述参数是指规定该指令的处理内容的一个以上的参数。此外， 指令信 息保持有用于识别指令的指令图标和用于识别参数的参数图标。
数据保持部 102 将作为操作目标的对象和用于识别该对象的对象图标相对应地 进行保持。另外， 实施例 1 所涉及的对象为保持在信息处理装置 100 的实体数据， 且典型地 以文件的形式进行保持。 实体数据的具体例子没有特别的限定， 例如能够列举出图像文件， 动态图像文件， 文本文件等所有形式的数据。
模式管理部 110 至少保持一个将由操作命令指定的指令以及参数的集合作为处 理模式来进行登录的模式管理表。也就是说， 模式管理表内包含有处理顺序数据 ( 处理模 式 )。
显示部 103 对包含与对象、 指令、 以及参数相对应的图标的操作画面 ( 图形用户接 口 ) 进行显示。用户从显示在显示部 103 的对象图标选择操作目标对象， 并且， 针对所选择 的操作目标对象， 选择与想执行的处理相对应的指令图标以及参数图标。 因此， 能够针对操 作目标对象执行所希望的处理。
另外， 显示部 103 的具体例子没有特别的限定， 但是， 能够使用例如液晶显示器、 等离子显示器、 或者有机电致发光 (Electro Luminescence) 显示器等。此外， 信息处理装 置 100 可以不包含作为构成要素的显示部 103， 也可以进行外部的显示画面的显示控制。
命令接受部 104 接受用户针对显示在显示部 103 的各种图标的操作。 更具体地说， 若用户选择显示在显示部 103 的图标， 则将该被选择的图标的位置信息作为坐标信息输出 到操作判断部 105。 并且， 将此坐标信息与被选择的图标的识别信息一同输出到操作判断部 105。另外， 输入装置与显示部 103 重叠而成为一体， 是被安装在信息处理装置 100 的触摸屏型输入装置， 或者， 是能够以鼠标、 轨迹球等光标进行操作的输入装置。
显示控制部 10 按照由命令接受部 104 接受的用户的操作， 来控制显示部 103 的显 示状态。具体地， 首先， 将一个以上的对象图标显示在显示部 103 的第一显示区域。
接着， 显示控制部 10 在至少选择显示在第一显示区域的一个以上的对象图标中 的一个的操作由命令接受部 104 接受了的情况下， 在与第一显示区域不同的第二显示区域 上显示一个以上的指令图标。 另外， 显示控制部 10， 从指令管理部 101 仅抽出能够针对以选 择的对象图标来识别的操作目标对象而执行的指令， 并使用于识别被抽出的指令的指令图 标显示。此外， 显示部 103 的第一显示区域的显示内容仍被继续显示。
接着， 显示控制部 10 在至少选择显示在第二显示区域的一个以上的对象图标中 的一个的操作由命令接受部 104 接受了的情况下， 在与第一以及第二显示区域不同的第三 显示区域上显示一个以上的参数图标。另外， 显示控制部 10， 从指令管理部 101 仅抽出与 以被选择的指令图标来识别的指令相关联的参数， 并显示用于识别被抽出的参数的参数图 标。此外， 显示画面的第一显示区域以及第二显示区域的显示内容仍被继续显示。
并且， 显示控制部 10 从模式管理部 110 抽出能够针对操作目标对象而执行的处理 模式， 使用于识别被抽出的处理模式的处理模式图标， 显示在与显示部 103 的第一显示区 域、 第二显示区域以及第三显示区域不同的模式显示区域。
并且， 为了执行上述的处理， 显示控制部 10 具备操作判断部 105、 属性验证部 108 以及操作区域管理部 109。
操作判断部 105， 例如判断从命令接受部 104 接受的坐标信息所表示的坐标， 是否 重叠在被分配于各种指令的指令图标上。也就是说， 操作判断部 105 对从命令接受部 104 接受的坐标信息所表示的坐标是否与指令图标重叠进行判断。
这个判断以规定的时间间隔反复地进行。并且， 操作判断部 105 将与从命令接受 部 104 接受的坐标信息所表示的坐标相对应的位置的指令图标的识别信息输出到指令管 理部 101。在选择对象图标或参数图标的情况下， 也同样进行上述的处理。
属性验证部 108 验证与从指令管理部 101 接受的操作目标对象的识别信息以及处 理指令的识别信息相关联的属性， 并决定在显示部 103 其次应显示的内容。例如， 按照操作 目标对象的属性， 从指令管理部 101 抽出能够针对该操作目标对象来执行的处理指令。此 外， 按照被选择的处理指令的属性， 从指令管理部 101 抽出与该处理指令相关联的参数。
操作区域管理部 109， 将具有共同属性的至少包含一个指令的指令图标群定义为 组。并且， 操作区域管理部 109 对显示部 103 中的图标的显示区域进行管理。
定时器 107 计算从由操作判断部 105 判断为坐标重叠在图标上的定时， 到判断为 从此图标脱离的定时为止所经过的时间， 所述坐标是从命令接受部 104 接受的坐标信息所 表示的坐标。此时间经过， 按照每个图标进行管理。
此外， 操作判断部 105 若由定时器 107 计算的停留时间成为规定的阈值以上， 则判 断为与此停留时间相对应的图标被选择。并且， 将被选择的图标的识别信息输出到属性验 证部 108 以及命令生成部 115。操作判断部 105， 直到接受来自用户的执行命令 ( 即执行、 模式保存、 取消等 ) 为止， 以停留时间成为阈值以上的顺序， 来依次输出被选择的图标的识 别信息。由存储在命令生成部 115 的图标的识别信息构成的处理顺序数据， 在接受来自用 户的执行命令 ( 表示执行命令的图标被选择 ) 的时刻， 被输出到命令执行部 106。如上所述， 操作判断部 105 以及定时器 107， 例如作为管理停留时间的停留时间管 理单元来发挥作用， 所述停留时间是指被拖动的对象图标从重叠到指令图标或参数图标直 至离开指令图标或参数图标为止的时间。
另外， 虽然以下作为选择指令图标以及参数图标的操作的具体例子， 仅说明将对 象图标与指令图标或参数图标进行重叠的操作 ( 拖动操作 )， 但是， 本发明并不限定于此操 作。例如， 也可以是通过按下各个图标 ( 点击操作、 触摸操作 )， 从而进行选择的方法。
命令生成部 115 按照由命令接受部 104 接受的用户的操作来生成命令， 所述命令 是存储在指令管理部 101 的指令以及参数的集合。 更具体地说， 命令生成部 115 将从操作判 断部 105 取得的各个图标的识别信息， 按照被选择的顺序进行排列而生成处理顺序数据。 并且， 在接受来自用户的执行命令的时刻， 将该处理顺序数据输出到命令执行部 106。
命令执行部 106 从命令生成部 115 取得操作目标对象的识别信息和处理顺序数 据。并且， 针对接受了的操作目标对象， 以上述存储的顺序， 依次执行与包含在上述处理顺 序数据内的指令识别信息相对应的指令。此时， 命令执行部 106 从指令管理部 101 接受对 应于指令识别信息的指令， 并利用该指令， 针对操作目标对象来执行处理。
接着， 针对具有以上构成的信息处理装置 100 的工作进行说明。 图 2A 以及图 2B 是示出显示在显示部 103 的操作画面的构成例子的图。在图 2A 中， 信息处理装置 100 所具有的操作画面区域 200 内的区域 201( 区域 1) 是， 至少显示一个 与可选择的操作目标对象相对应的对象图标的内容目录。在输入装置为触摸屏的情况下， 用户通过直接触摸画面， 从而能够对显示在区域 1 的对象图标 ( 在此为 3 个， 即 C1-C3) 进 行选择。
另外， 针对没有显示的对象图标， 例如作为以连续的链来连接的数据进行管理。 此 外， 通过触摸图 2A 所示的左右的箭头按键区域， 或者， 通过将终端向箭头方向物理倾斜， 从 而能够显示没有显示的其他的对象图标。在此， 利用滚动显示等的显示方法来进行显示。
区域 202( 区域 2) 是， 显示与能够针对在区域 201 中被选择的操作目标对象而执 行的指令 ( 功能 ) 相对应的指令图标的功能目录。在区域 202 根据操作区域管理部 109 所 管理的显示布局信息， 指令图标被显示到最大数 ( 在此为 6 个， 即 F1-F6) 为止。
区域 203( 区域 3) 是， 显示与参数相对应的参数图标的信息目录， 所述参数是与对 应于在区域 202 中被选择的指令图标的处理相关联的参数。在区域 203 根据操作区域管理 部 109 所管理的显示布局信息， 参数图标被显示到最大数 ( 在此为 4 个即 D1-D4) 为止。
区域 204( 区域 4) 是， 除了区域 201 至 203 的已经显示的区域和预约区域之外的 未显示区域 ( 空白区域 )204， 所述预约区域是为了指示区域 205( 区域 5) 中所图示的处理 执行操作 ( 即， 以 Execute( 执行 ) 所示出的图标 ) 以及取消操作 ( 即， 以 Cancel( 取消 ) 所示出的图标 ) 等而准备的区域。
此外， 操作区域管理部 109 对包含区域 201 至区域 205 的显示状态， 或显示所需要 的面积占有率的操作区域信息进行管理。此外， 操作区域管理部 109 也可以作为用户可目 视的表现方式， 对如图 2A 的 L1 至 L4 所示的各个操作区域进行分组， 并且， 以能够识别的虚 线或框等的向导线来进行管理。
此外， 图 2B 示出从图 2A 的状态， 将信息处理装置 100 向左右任意方向旋转 90 度 时的操作画面区域 210。 在此情况下， 信息处理装置 100 所具有的操作画面区域 210 成为横
宽状态， 各个图标按照横宽画面， 进行再配置。区域 211 至 215 分别对应于区域 201 至 205 的操作区域。在图 2B 中， 使用了虚线框的向导线。
图 3A- 图 3F 是示出显示在显示部 103 的操作画面中， 进行操作目标对象的选择、 指令的选择、 以及处理执行的状态的图。图 3A- 图 3F 中具体地示出以下的流程。用户选择 作为加工目标的图像内容 (C2)( 图 3A)， 通过拖动操作， 将图像的大小调整为 CIF(Common Intermediate Format ： 通用中间格式 ) 大小 (352×288 像素 )( 图 3B- 图 3D)， 而且， 将相 同的图像内容 (C2) 的色彩变更为褐色调 ( 图 3E- 图 3F)。
图 4A- 图 4F 是示出在图 3A- 图 3F 所示出的操作过程中， 由命令生成部 115 所保 持的操作履历表被改写的状态的图。此外， 图 5A- 图 5F 是示出进行处理模式的登录、 操作 目标对象的选择、 利用了已登录的处理模式的处理执行的状态的图。此外， 图 6A- 图 6C 是 示出将由命令生成部 115 所保持的操作履历表作为处理模式， 登录到模式管理部 110 的模 式管理表的状态的图。图 6A- 图 6C 中示出的处理模式与图 5A- 图 5F 中的处理模式的登录 过程是相对应的。
图 7 是示出选择多个处理并执行处理的流程图。图 8 是示出操作目标对象的属性 验证处理的流程图。图 9 是示出在实施例 1 中， 指令管理部 101 所保持的指令管理表的一 个例子的图。图 10A- 图 10G 是示出在实施例 1 中， 指令管理部 101 所保持的指令参照表的 一个例子的图。 图 11 是示出在实施例 1 中， 指令管理部 101 所保持的指令候补表的一个例子的 图。图 12 是示出在实施例 1 中， 存储与数据保持部 102 所保持的操作目标内容 ( 数据 ) 有 关的信息的内容目录表的一个例子的图。
以下， 利用图 3A- 图 12， 针对信息处理装置 100 的工作进行详细的说明。基本上， 按照图 7 以及图 8 的流程图进行说明。
首先， 如图 3A 所示， 用户通过触摸显示在显示部 103 的对象图标的操作， 从而能够 将作为操作目标的数据选择为操作目标对象。此时， 命令接受部 104 检测用户的触摸操作 事件。此外， 操作判断部 105 确认当前是否为选择操作目标对象的模式 (S101)。并且， 若为 选择模式 (S101 中 “是” )， 则继续执行以下的处理。
另一方面， 在当前不是操作目标对象选择模式的情况下 (S101 中 “否” )， 命令接受 部 104 直到检测下一个触摸操作事件为止处于待机状态 (S102)。另外， 所谓不是操作目标 对象选择模式的状态是指， 比如由于用户针对操作画面在一定时间以上没有进行操作等原 因， 从而导致操作被锁住的状态。
其次， 操作判断部 105 确认从命令接受部 104 通知来的操作命令是否为通过拖动 操作而进行的输入 (S103)。并且， 若为拖动操作 (S103 中 “是” )， 则继续执行以下的处理。 另一方面， 操作命令不是通过拖动操作的情况下 (S103 中 “否” )， 执行其他的处理 (S102)， 如单击触摸或者双击等单纯地选择操作目标对象， 或者， 直接执行与操作目标对象相对应 的功能处理等 (S102)。
接着， 操作判断部 105 确认是否已经决定了操作目标对象 (S104)。并且， 在已经 决定了的情况下 (S104 中 “是” )， 继续执行以下处理。另一方面， 在没有决定操作目标对象 的情况下 (S104 中 “否” )， 确认在步骤 S103 中检测出的拖动操作是否为与操作目标对象相 对应的对象图标 ( 即， 在图 2A 的区域 201 中描绘的 C1-C3 的任意的对象图标 ) 的拖动操作
(S105)。此外， 操作判断部 105， 在判断为对象图标的拖动操作的情况下 (S105 中 “是” )， 继 续进行以下的处理。
另一方面， 在对象图标的拖动操作没有开始的情况下 (S105 中 “否” )， 操作目标对 象的选择成为无效。此时， 命令接受部 104 直到检测下一个触摸操作事件为止， 处于待机状 态 (S102)。
接着， 操作判断部 105， 在判断为是对象图标的拖动操作的情况下 (S105 中 “是” )， 将被选择的至少一个对象图标 ( 在此为 C2) 登录到由命令生成部 115 所保持的操作履历表 (S106)。也就是说， 如图 3A 所示， 用户仅仅触摸操作目标对象， 并不能将操作目标对象的识 别信息登录到操作履历表。
然而， 如图 3B 所示， 在由用户对对象图标执行拖动操作的时刻， 操作目标对象的 识别信息 (C2) 被登录到操作履历表。在图 4A 以及图 4B 中分别示出与图 3A 以及图 3B 相 对应的时刻的操作履历表。另外， 图 3A- 图 3F 中 “●” 的部分模式性地示出用户正在触摸 的部分。此外， 被选择的对象图标中所表示的 “×” 的部分示出此区域的中心点。
而且， 操作判断部 105 对由用户的拖动操作是否结束进行确认 (S107)。 并且， 在拖 动操作没有结束的情况下 (S107 中 “否” )， 继续执行以下处理。操作判断部 105 对被选择 的对象图标的中心点是否被拖动到显示区域 ( 图 2A 的区域 201) 的外部进行判断 (S108)。
并且， 如图 3B 所示， 对象图标的中心点越过了表示显示区域的分界的向导线的 情况下 (S108 中 “是” )， 操作判断部 105 向属性验证部 108 请求进行对象属性验证处理 (S109)。针对对象属性验证处理， 在后述中进行详细的说明。另一方面， 在没有被拖动到显 示区域 ( 图 2A 的区域 201) 的外部的情况下 (S108 中 “否” )， 操作判断部 105 返回到步骤 S107， 并判断拖动操作结束。
接着， 属性验证部 108 根据对象属性验证处理的结果， 针对与当前被选择的对象 图标相对应的操作目标对象， 确认是否存在可执行的指令或被登录的处理模式 (S110)。在 存在可执行的指令或被登录的处理模式的情况下 (S110 中 “是” )， 显示控制部 10 使被分配 在该指令的指令图标 Fn 或被分配在该处理模式的处理模式图标 Rn 显示在显示部 103( 参 照图 3B)。
此外， 显示控制部 10 在由用户进行的拖动操作比较久， 且在拖动操作中操作目标 对象的属性发生变化的情况下， 或者， 在通过多点触摸而对象图标被增加的情况下， 对已显 示的指令图标 Fn 或处理模式图标 Rn 进行更新。
图 9 是示出指令管理部 101 所保持的指令管理表的一个例子的图。 例如， 在操作目 标对象 ( 在此为 C2) 为图像的情况下， 与表示图像的属性 (Image ： 图像 ) 相对应的指令为适 合针对操作目标对象可执行的指令。指令管理表按照每个属性， 将附带有指令标识符 (ID) 的指令名称 (Command ： 指令 )、 参照表 (ReferenceData ： 参照数据 )、 指令使用次数 (Rate ： 比率 ) 的各种信息， 相对应地进行保持。此外， 图 10A- 图 10G 是示出从图 9 的指令管理表 所参照的各种参照表， 即与各个指令相关联的参数的例子的图。此外， 图 11 是示出通过对 象属性验证处理所生成的指令候补表的一个例子的图。
在此， 针对被选择的操作目标对象 (C2)， 在显示部 103 上显示与图 11 中所示的指 令相对应的指令图标内的指令图标， 该指令图标的显示数为操作区域管理部 109 所保持的 布局信息的显示最大数以下。图 3B 中所示出的例子中， 显示最大数为 6。因此， 在图 3B 中，在上位的 6 个指令图标显示在显示部 103。 另外， 由于指令图标显示在与对象图标不同的显 示区域， 因此， 如图 3B 所示， 对象图标和指令图标同时显示在一个画面上。
如上所示， 如图 3C 所示， 用户通过进行拖动操作， 以使被分配在操作目标对象的 对象图标与被分配在指令的指令图标重叠， 从而能够在视觉上来指定指令处理。
接着， 在说明步骤 S112 以及步骤 S113 之前， 先说明步骤 S114 之后的处理。如图 3C 所示， 操作判断部 105 在用户针对表示操作目标对象的对象图标持续进行拖动操作， 且 对象图标在指令图标 Fn 或处理模式图标 Rn 上停留规定时间 ( 例如 2 秒 ) 以上的情况下 (S114 中 “是” )， 如图 4C 所示， 将被分配在指令图标 Fn 的指令 ( 在此为 Resize 处理 ： 调整 大小处理 ) 或被分配在处理模式图标 Rn 的处理模式登录到操作履历表 (S115)。
并且， 显示控制部 10 在存在与被选择的指令图标 Fn 相对应的参数的情况下， 如 图 3C 所示， 显示从图 9 示出的指令管理表所参照的参照表内的参数图标 Dn， 该参数图标 Dn 的显示数为操作区域管理部 109 所保持的布局信息的显示最大数以下 (S116)。在此， 与 Resize( 调整大小 ) 指令相对应的 Size( 大小 ) 表 ( 图 10F) 相当于参数。另外， 由于参数 图标显示在与对象图标以及指令图标不同的显示区域， 因此， 如图 3C 所示， 对象图标、 指令 图标、 参数图标同时显示在一个画面上。
并且， 如图 3D 所示， 操作判断部 105 在用户针对表示操作目标对象的对象图标持 续进行拖动操作， 且对象图标在参数图标 Dn 上停留规定时间 ( 例如 2 秒 ) 以上的情况下 (S117 中 “是” )， 如图 4D 所示， 将被分配在参数图标 Dn 的参数 ( 在此为 CIF) 登录到操作履 历表 (S118)。并且， 处理返回到判断拖动操作结束的步骤 S107 上。
接着， 如图 3E 所示， 在用户通过持续地进行拖动操作， 从而选择下一个指令图标 ( 在此为 ColorEdit ： 色彩编辑 ) 的情况下 (S107 中 “否” )， 按照被选择的指令图标， 重复进 行步骤 S108 到 S118 为止的处理， 并更新参数图标的显示。并且， 如图 3F 所示， 在对表示操 作目标对象的对象图标进行拖动操作， 且对象图标在参数图标 ( 在此为 Sepia ： 褐色 ) 上存 在规定时间以上的情况下， 如图 4F 所示， 对操作履历表进行更新。
并且， 如图 3F 所示， 在由用户的一连串的拖动操作结束了的情况下 (S107 中 “是” )， 对是否正在显示预约区域 ( 图 2A 的区域 205 ： 区域 5) 进行确认 (S119)， 所述预约区 域包含执行指示图标 (Execute ： 执行 ) 以及保存执行指示图标 (Save ： 保存 )。在预约区域 显示中 (S119 中 “是” )， 进行以后的处理。另一方面， 在没有显示预约区域的情况下 (S119 中 “否” )， 例如， 将针对当前选择中的操作目标对象的处理指令的执行所需的信息判断为处 于不足的状态。因此， 操作目标对象的选择模式被解除， 信息处理装置 100 成为待机状态 (S102)。
在判断正在显示预约区域的情况 (S119 中 “是” ) 下， 对在结束拖动时刻的对象图 标的中心点在操作画面中的位置进行确认 (S120)。也就是说， 对象图标中心点的位置在预 约区域中的执行指示图标上的情况下 (S120 中 “是” )， 执行以后的处理。另一方面， 在对象 图标中心点的位置不在执行指示图标上 (S120 中 “否” )， 而在保存执行指示图标上的情况 下 (S121 中 “是” )， 进行步骤 S122 的处理。
而且， 在对象图标中心点的位置既不在执行指示图标上也不在保存执行指示图标 上的情况下 (S121 中 “否” )， 例如， 将针对当前选择中的操作目标对象的处理指令的执行所 需的信息判断为处于不足的状态。因此， 操作目标对象的选择模式被解除， 信息处理装置100 成为待机状态 (S102)。
在判断表示操作目标对象的对象图标的拖动操作在保存执行指示图标上结束了 的情况下 (S121 中 “是” )， 命令生成部 115 将操作管理表中所保持的指令以及参数作为处 理模式 Rn 进行登录 (S122)。
并且， 在判断结束拖动时刻的对象图标的中心点的位置在预约区域中的执行指示 图标上的情况下 (S120 中 “是” )， 或者， 在执行步骤 S122 的处理之后， 命令执行部 106 按照 根据参数进行的指定， 执行与登录在操作履历表的指令相对应的处理 (S123)。
此时， 在通过信息处理装置 100 的设定画面等， 预先设定了能够用目视来确认处 理的进展状况的 “进展显示模式” 的情况下 (S124 中 “是” )， 在显示部 103 上显示处理的执 行状况 (S125)。另外， 针对步骤 S125， 在后述中利用具体的实例进行说明。
另一方面， 在没有设定 “进展显示模式” 的情况下 (S124 中 “否” )， 显示部 103 的 画面不发生变化。
并且， 在信息处理装置 100 的机箱的一部分设置对处理的中断或取消进行指示的 清除按键的情况下， 按下此清除按键， 从而正在执行中的处理被取消。也就是说， 在用户按 下机箱的清除按键的情况 (S126 中 “是” ) 下， 在信息处理装置 100 内产生表示取消命令的 事件通知。而且， 命令执行部 106 接受产生了的取消命令通知， 中断正在执行中的处理， 并 执行将没有执行完的处理返回到原来状态的处理 ( 恢复处理 )(S127)。
另一方面， 不产生取消命令而结束登录在操作履历表的一连串的处理执行的情况 下 (S126 中 “否” )， 命令执行部 106 判断由命令执行部 106 的处理执行正常完成， 并执行结 束处理 (S128)。并且， 为了接受来自用户的下一个操作， 信息处理装置 100 成为待机状态 (S102)。另外， 例如结束处理为删除操作履历表的登录内容的处理。
如上所述， 由图 3A- 图 3F 所示出的， 针对作为由用户选择的操作目标对象的图像 内容 (C2)， 通过拖动操作， 进行将图像内容的大小调整为 CIF 大小 (352×288 像素 )， 还将 相同的图像内容 (C2) 的色彩变更为褐色调等处理。
接着， 针对对象属性验证处理 (S109)， 利用图 8- 图 10 进行详细的说明。
如以上所述， 如图 3B 所示， 在对象图标的中心点越过了表示显示区域的分界的向 导线的情况下 (S108 中 “是” )， 操作判断部 105 向属性验证部 108 请求进行对象属性验证 处理 (S109)。
属性验证部 108 根据来自操作判断部 105 的请求， 对对象计数器和属性计数器进 行初始化 ( 计数＝ 0)(S201)， 所述对象计数器用于计入当前已成为操作目标的对象的数 量， 所述属性计数器用于计入与对象相关联的属性的数量。并且， 属性验证部 108 清除所有 的内容以作为指令候补表的初始化处理。另外， 操作目标对象是由操作命令作为处理对象 而指定的数据以及指令。
接着， 属性验证部 108 参照被登录在图 4B 所示的操作履历表的操作目标对象 On， 并取得作为操作目标的对象的识别信息 (C2)。并且， 属性验证部 108 针对所取得的对象的 识别信息 (C2)， 从图 12 所示的内容目录， 取得作为操作目标的对象的属性名称 (Image ： 图 像 )。
由于在此被选择的操作目标对象的识别信息仅为识别信息 (C2)， 因此， 作为操作 目标的对象的属性仅为在 C2 中所参照的 “Image ： 图像” 属性。对此， 例如在利用多点触摸来选择多个对象图标的情况下， 存在根据表示多个操作目标对象的识别信息， 来选择多个 属性的情况。因此， 属性验证部 108 取得所有的属性 (S202)。
接着， 属性验证部 108 向指令管理部 101 询问是否存在能够针对所取得的属性名 称而执行的处理指令。指令管理部 101 针对来自属性验证部 108 的请求， 参照图 9 所示的 指令管理表， 并回复可执行的指令群 (S203)。 在此， 指令管理部 101 所回复的是与属性名称 “Image ： 图像” 相对应的 ID1(Send Mail ： 发送邮件 )-ID10(Delete ： 删除 ) 的处理指令。
接着， 属性验证部 108 在存在与属性名称相对应的处理指令的情况下 (S204 中 “是” )， 抽出与属性相对应的处理指令， 并试着存储到指令候补表 (S205)。此时， 在所抽出 的处理指令已被登录到指令候补表， 并且， 通过目视仅能够确认共同的功能 ( 处理指令 ) 的 “滤波器显示模式” ， 通过信息处理装置 100 的设定画面被预先设定的情况下 (S206 中 “是” )， 仅将共同的处理指令登录到指令候补表 (S207)。因此， 即使在选择了多个操作目标 对象的情况下， 由于也能够仅将表示共同的处理指令的指令图标作为菜单来显示， 因此， 避 免复杂且多余的菜单显示。
并且， 属性验证部 108， 在与属性相对应的处理指令不足于指令候补表的最大存储 数量 ( 在此为 10 个 ) 的情况下 (S208 中 “否” )， 将抽出的处理指令作为处理侯补， 而登录 到指令候补表 (S209)。另外， 属性验证部 108， 在与属性相对应的处理指令成为指令候补表 的最大存储数量以上的情况下 (S208 中 “是” )， 按照图 9 的 “Rate ： 比率” 所示出的指令使 用次数， 从使用频率高的开始登录仅登录到最大存储数量为止 (S210)。
另外， 在图 11 的以 “Com.” 表示的栏中示出了在各个属性的验证中被抽出的处理 指令的抽出次数 ( 出现次数 )， 并且是每当相同的处理指令被抽出， 抽出次数就被递增并被 保持的值。
另外， 属性验证部 108， 在判断指令管理表内不存在与所取得的属性相对应的处理 指令的情况下 (S204 中 “否” )， 继续进行步骤 S209 或 S210 之后的处理。
接着， 属性验证部 108 针对与当前正在验证中的操作目标对象相对应的所有的属 性， 确认是否抽出了处理指令 (S211)。并且， 在没有对所有的属性进行验证的情况下 (S211 中 “否” )， 属性计数器所记忆的数字就递增 (S212)， 并返回到步骤 S203 之后的处理。
另一方面， 属性验证部 108 在针对被选择的操作目标对象， 判断为验证了所有属 性的的情况下 (S211 中 “是” )， 将属性计数器初始化为 0(S213)。
并且， 属性验证部 108 确认是否针对除了当前正在验证中的操作目标对象之外的 所有操作目标对象都进行了验证 (S214)。在此， 属性验证部 108 在没有对所有的操作目标 对象进行验证的情况下 (S214 中 “否” )， 对象计数器所记忆的数字就递增 (S215)， 并返回到 步骤 S202 之后的处理。
另一方面， 属性验证部 108 在针对所有操作目标对象判断为验证已结束的情况下 (S214 中 “是” )， 结束对象属性验证处理， 并返回到图 7 的步骤 S110 之后的处理。
通过以上的对象属性验证处理， 由于能够按照操作目标对象的属性， 动态地抽出 处理指令， 因此， 能够动态地变更处理指令区域 ( 菜单 )。
接着， 利用图 5A-10G， 对处理模式的登录以及利用了被登录的处理模式的处理执 行进行说明。
图 5A 是示出了用户选择操目标对象 (C2)， 并在选择处理指令和参数之后的保存处理模式的状态。此外， 图中的箭头表示用户进行拖动操作的轨迹。也就是说， 在图 5A 示 出了最终在保存指示图标上结束拖动操作。
在此， 在判断拖动操作结束在保存指示图标上的情况下 (S121 中 “是” )， 操作判断 部 105 请求模式管理部 110， 以使将登录在操作履历表的处理顺序数据作为 “处理模式 Rn” 来登录。模式管理部 110 参照被指定的操作履历表， 并新建处理模式之后， 保存到模式管理 表。在此， 将在图 4F 中所示的操作履历表解释为图 6A 所示的处理模式， 并调整为图 6B 所 示的处理模式格式之后， 保存到模式管理表。
在此， 信息处理装置 100， 将操作目标对象的识别信息 (C2) 进行抽象化， 并转换为 操作目标对象的种类信息 (Image ： 图像 )。 这样， 在之后的处理中作为处理模式来执行的情 况下， 能够通过判断种类信息来判断该处理模式是否可执行。
此外， 如图 6B 所示， 模式管理部 110 将补充处理模式的补充信息作为信息来进行 保存， 所述处理模式是用于识别处理模式的处理模式 ID(PatternID ： 模式标识符 )、 处理模 式名称 (PatternName ： 模式名称 )、 处理模式制作日期 (Date ： 日期 )、 处理模式的执行指定 日期和时间 (ExecuteTime ： 执行时间 )、 以及反复设定 (Recurring ： 反复 ) 等。这些信息， 也可以由信息处理装置 100 尽可能自动地进行补充， 也可以如图 5B 所示， 明确地提示处理 模式的登录画面， 使用户通过键盘等输入装置进行输入或修改。
此外， 图 6C 示出了模式管理部 110 所保持的处理模式的一个例子。例如， 在除了 如图 5A 以及图 5B 或图 6A 以及图 6B 一样所制作的处理模式之外， 在以如图 6C 所示的模 式 ID“R2” 所表示的处理模式被登录的情况下， 如图 5C 所示， 在显示部 103 的画面上， 在 以 “Saved Pattern( 保存模式 )” 所示出的区域上 ( 图 2A 的区域 203 ： 区域 3)， 将被称作 “Small Image with Sepia( 将图像变小且变成褐色 )” 以及 “Send Mobile Blog( 使用手机 发送到网络日记 )” 的处理模式名称作为处理模式图标来显示。
如上所示， 在下一个之后的处理指令选择中， 用户通过将表示操作目标对象的对 象图标拖动到已登录的处理模式的处理模式图标上的操作， 从而能够执行已登录的处理模 式 ( 相当于 S120 之后的处理 )。
另外， 以图 6C 所示出的模式 ID“R2” 所表示的处理模式中所包含的处理是， 针对 种类信息被指定为 “Image ： 图像” 的操作目标对象， 将图像大小变换为固定大小的 “QCIF ： quarter common intermediate format ： 四分之一通用中间格式” ， 并将作为能够进行字符 串处理的标记 “Food ： 食物” 作为字符串来赋予。而且， 以模式 ID“R2” 所表示的处理模式 中包含赋予表示处理模式被指定的位置的位置 (Geo) 信息 ( 表示纬度、 经度等的位置的信 息 ) 的处理。此外， 以模式 ID“R2” 所表示的处理模式中包含添附图像并发送邮件到用于 投稿到个人管理并持有的网络日记的特定的邮件地址 “Address1( 地址 1)” 这样的一系列 的处理。
图 5D 示出了对表示操作目标对象的对象图标进行拖动， 从而使对象图标以比较 短的时间通过功能目录的区域时的状态。此时， 操作判断部 105 判断是否在规定时间 ( 例 如 2 秒 ) 内通过了包含指令图标 Fn 的操作区域 (S112)。并且， 如判断为在规定时间内通过 了的情况下 (S112 中 “是” )， 使包含在已通过的操作区域的处理候补的指令图标处于无效 状态 (S113)。例如， 操作判断部 105 使处理侯补的指令图标处于不显示状态， 或者， 处于变 灰色 (Gray out) 状态， 以成为不能选择的显示状态。另一方面， 判断部 105 在判断为没有在规定时间内通过的情况下 (S112 中 “否” )， 继续执行步骤 S114 之后的处理。这样， 由于包含在通过拖动操作在短时间内通过的操作区 域内的指令图标不是用户实际上想要选择的指令图标， 因此没有被选为选择候补之事可以 向用户明确示出。 此外， 能够预先防止因在拖动操作中错误地触摸， 所导致的选择用户不想 选择的处理指令的情况。
另外， 虽然在此仅说明对通过的判断是以固定的规定时间来进行判断的情况， 但 是， 由于操作区域的面积未必是固定的， 因此， 有必要变化拖动操作的通过所需要的时间。 在此， 也可以按照显示部 103 的画面整体的面积、 由操作区域管理部 109 管理的操作区域内 能够存储的处理指令的显示最大数， 或者， 包含在布局信息内的操作区域的面积， 动态地变 更规定时间。
此外， 如图 5D 所示， 在选择了处理模式图标的情况下， “Save( 保存 )” 的图标也处 于无效的状态。 这是因为， 在选择了被登录的处理模式的情况下， 像保存这种选项是不可能 存在的。
此外， 如图 5E 所示， 在用户选择处理模式图标， 且拖动操作结束在执行指示图标 上的情况下 (S120)， 执行以被选择的处理模式定义的一连串的处理 (S123)。并且， 若设定 了 “进展显示模式” (S124 中 “是” )， 则显示如图 5F 所示的进展显示画面。在此， 除了可以 显示表示处理进展情况的进展通知条之外， 在针对操作目标对象进行图像加工的情况下， 还可以作为预览画面同时显示图像加工之前的图像 (Before ： 前 ) 和图像加工之后的图像 (After ： 后 )。 如上所述， 根据本实施例 1， 在信息处理装置 100 中， 操作判断部 105 对在操作画面 中通过光标操作而被选择的操作目标对象和针对被选择的操作目标对象而执行的处理指 令进行检测。命令生成部 115 生成将操作目标对象、 处理指令以及参数相对应地进行存储 的操作履历表， 所述处理指令是与各个操作目标对象相对应的指令， 所述参数是与处理指 令相对应的参数。 此外， 将至少一个以上的对象图标、 指令图标以及参数图标显示在同一个 操作画面上， 所述指令图标识别能够针对被选择的操作目标对象而执行的处理指令， 所述 参数图标识别与处理指令相对应的参数。
并且， 从对操作目标对象进行选择开始， 直到确定针对该操作目标对象而执行的 处理指令群为止， 命令生成部 115 在不改变选择状态下的一个操作的拖动处理中， 对由操 作判断部 105 检测出的处理指令的识别信息， 按照检测顺序进行排列。这样， 处理顺序数据 被形成。并且， 命令执行部 106 针对被选择的操作目标对象， 根据此处理顺序数据的构成识 别信息来执行处理指令。
如上所述， 信息处理装置 100 针对已选择的操作目标对象， 能够仅显示可处理的 菜单以及可处理的下级菜单， 所述可处理的下级菜单是指与从该可处理的菜单中选择的菜 单相对应的处理之后的下级菜单。而且， 信息处理装置 100 仅通过对显示的菜单进行拖动 操作， 从而能够指定多个所希望的处理并执行。 也就是说， 能够实现通过直观性操作就能够 执行多个处理的信息处理装置 100。
此外， 操作判断部 105 以及定时器 107 作为停留期间管理单元， 从对象图标与指令 图标的一部分重叠的定时开始， 直到对象图标与指令图标不重叠的定时为止的停留期间进 行管理， 所述对象图标表示被选择的操作目标对象。并且， 操作判断部 105 仅检测与停留时
间超过了规定的阈值的指令图标相对应的指令， 以作为被选择的指令。
如上所述， 即使因在拖动操作中用户无意识的手颤动或错误操作， 瞬间触摸了用 户不想触摸的菜单， 由于不视为用户选择了菜单， 因此， 也能够预先防止执行用户所不希望 的处理。
此外， 模式管理部 110， 将过去形成的处理顺序数据作为处理模式进行管理。 这样， 由于在执行相同的处理的情况下， 不需要再次选择指令， 因此， 能够提高用户的便利性。
另外， 即使在处理的指定与执行之间的定时没有间隔的情况下， 也可以是， 显示控 制部 10 使处理顺序数据显示在画面， 并向用户确认显示的处理顺序数据是否有错误， 在接 受用户的执行指示之后再执行处理。 因此， 能够预先防止执行用户所不希望执行的处理。 此 外， 能够预先防止因立即执行背景处理所导致的终端负荷的增加， 以及针对一连串的拖动 操作的操作性能 ( 响应 ) 的低下。
此外， 显示控制部 10 在同时选择了两个操作目标对象的情况下， 仅显示在两个操 作目标对象上共有的指令。 另外， 即使同时被选择的操作目标对象为两个以上的多个， 也能 够进行相同的处理。
此外， 通过排除不能针对两个操作目标对象同时进行处理的菜单， 从而能够预先 防止用户的错误操作等。因此， 能够提高用户的操作性。
此外， 操作区域管理部 109 对从操作目标对象、 指令、 以及参数为止的各个阶段分 别配置为一个组的群区域进行管理， 并将相邻区域间的分界作为向导线来进行显示。如上 所述， 由于用户能够直观性地判断是否具有共同属性的菜单， 因此， 能够提高用户的操作 性。
另外， 操作判断部 105 也可以按照群区域的面积或群区域的宽度， 来决定所述的 规定的阈值。因此， 在具有各种画面大小的各个信息处理装置 100 中， 针对按照画面大小而 变化的菜单群的显示区域的大小， 能够按照所需要的拖动操作的移动量， 来灵活地取阈值， 并且， 能够减少操作错误以及提高操作性。
( 实施例 2)
实施例 2 涉及一种系统， 该系统通过经由网络相连接的信息处理装置和外部设备 联动， 从而执行处理。
图 13 示出了本发明的实施例 2 所涉及的系统的构成。在图 13 示出的系统中， 信 息处理装置 100A、 空调机 300、 第一电视机 400、 第二电视机 401 以及电热壶 500， 经由网络 250 而相互连接， 并能够进行通信。空调机 300、 第一电视机 400、 第二电视机 401、 以及电热 壶 500 相当于上述的外部装置。
图 14 是本发明的实施例 2 所涉及的信息处理装置 100A 的构成的框图。在图 14 所示出的信息处理装置 100A 中， 取代图 1 所示出的信息处理装置 100 的命令执行部 106， 而 具备通信部 111。实施例 2 中的 “对象” 是与信息处理装置 100A 相连接的外部装置。并且， 信息处理装置 100A 作为执行外部装置的遥控器来发挥作用， 而不是亲自执行生成的命令。
属性验证部 108 在保持在指令管理部 101 的指令管理表内不存在与作为操作目标 对象的外部装置有关的属性的情况下， 从外部装置取得该属性。此属性的取得是经由通信 部 111 来进行的。另外， 显示控制部 10 也可以不必试着取得属性层次， 而是从外部装置取 得包含属性的指令管理表或功能目录。命令生成部 115 将所生成的处理顺序数据与处理执行请求一同发送到作为操作 目标对象的外部装置。此外， 命令生成部 115 将保持在模式管理部 110 的处理模式与处理 执行要求一同发送到外部装置。
处 理 执 行 要 求 是 经 由 通 信 部 111 进 行 发 送 的。 另 外， 外部装置通过利用 UPnP(Universal Plug and Play ： 通用即插即用 ) 或 ECHONET(Energy Conservation and Homecase Network ： 能源节约与家庭家庭医疗组织 ) 等标准的设备联动协议， 或者， 独自决 定的协议， 经由网络 250 进行通信， 从而能够与信息处理装置 100A 之间进行信息的交换。
接着， 针对具有以上构成的系统的工作进行说明。 在此， 将以下的事项作为前提进 行说明。 也就是说， 用户利用信息处理装置 100A， 对第一电视机 400 以及第二电视机 401( 机 顶盒 ) 进行操作， 所述第一电视机 400 能够接收地面数字广播 (D) 以及卫星广播 (BS)， 所述 第二电视机 401 能够接收有线电视广播 (CATV)。
尤其， 在以下所示的图以及其说明中示出的情况是， 在第一电视机 400 的调谐器 选择地面数字广播的 8 频道， 在第二电视机 401 的调谐器选择 CATV 的 102 频道， 从而这两 个输入影像以 3 ∶ 1 的比率划分为两个画面显示在第一电视机 400。
图 15A- 图 15C 以及图 16A- 图 16C 是示出直到指示两个画面显示为止的操作画面 的例子和从外部装置取得的信息的例子的图。此外， 图 17 是示出实施例 2 中属性验证处理 的流程图。
在图 15A 中， 相当于图 2A 的区域 201( 区域 1) 的部分上， 显示表示第一电视机 400 的 “TV1” 图标、 表示第二电视机 401 的 “TV2” 图标以及表示电热壶 500 的 “Pot” 图标， 以作 为内容目录。也就是说， 在此以以下状态为前提， 即在信息处理装置 100A 经由网络 250 连 接时， 根据即使是 UPnP 等的标准协议也具有的设备发现功能， 经由通信部 111 预先取得位 于周围的外部装置的基本信息 ( 一般为设备名称、 序列号、 IP 地址、 设备种类 ( 属性 ) 等 )。
区域 1 中显示的各个对象图标 ( 在表示外部装置的情况下， 也称为 “设备图标” ) 表示外部装置。在此， 成为操作目标对象的目标不同， 在实施例 1 中操作目标对象为内容， 而在实施例 2 中操作目标对象为外部装置。然而， 不论目标为哪种情况， 都能够作为操作目 标对象进行同等的处理。
也就是说， 通过用户触摸操作画面的设备图标 ( 在此为 TV1 和 TV2)， 并进行拖动操 作， 从而能够根据图 7 所示出的流程图， 来进行针对操作目标对象的处理指令的选择以及 执行。另外， 在图 15A 中， 除了触摸的设备图标 “TV1” “TV2” 之外的设备图标 “Pot” ， 当前作 为无效的图标处于变灰色 (Gray out) 状态。
图 17 是示出操作目标对象的属性验证处理的流程图。图 17 的流程图是图 8 的流 程图的基础上进行了部分修改的图。具体而言， 增加了步骤 S216 以及 S217 的处理。
指令管理部 101 针对来自属性验证部 108 的请求， 参照图 9 所示的指令管理表， 并 回复能够执行的指令群 (S203)。然而， 图 9 所示的指令管理表内没有记载相当于 “TV” 图标 的属性。
因此， 判断指令管理部 101 内不存在 “TV” 属性 (S204 中 “否” )。
并且， 属性验证部 108 经由通信部 111， 向外部装置询问是否存在 ( 即是否持有 ) 与 “TV” 属性相对应的指令信息 (S216)。并且， 属性验证部 108 经由通信部 111， 接收询问 的结果， 并将接收的指令信息登录到指令管理部 101。属性验证部 108， 判断是否取得了与所希望的属性相对应的指令信息 (S217)。并 且， 在取得了的情况下 (S217 中 “是” )， 继续执行步骤 S205 之后的处理。另一方面， 没有取 得与希望的属性相对应的指令信息的情况下 (S217 中 “否” )， 继续执行步骤 S209 或者步骤 S210 之后的处理。
图 15B 示出了从第一电视机 400( “TV1” ) 取得的 “TV” 属性的数据例子。图 15B 的 信息 1501 中描述了与设备有关的设备信息和状态信息， 例如描述了装置的属性名称 (TV)、 设备名称 (TV1)、 模型 (IPTV)、 模型名称 (GIGAVISION)、 序列号 (SN0123456789)、 设备固有 编号 (uuid:giga001_0123456789)、 以及电源状态 (ON) 等信息， 所述状态信息是表示外部 设备的当前的工作状态的信息， 例如电源 ON( 开 ) 的状态， 电源 OFF( 关 ) 的状态等。
信息 1502-1504 描述了设备所提供的功能或与服务有关的信息。信息 1502-1504 的最前和最后记载有设备服务标记 (Device Services ： 设备服务 )。 也就是说， 能够知道设 备服务标记之间的部分， 描述了设备所提供的功能或与服务有关的信息。 在此， 设备所提供 的功能以及服务为 3 要素。
信息 1502 中描述了以下内容， 即 TV1 具有调谐器， 能够接收地面数字广播， 用于 确定功能的 ID 为 “TV1-T1” ， 当前调谐器被设定接收的频道为 “D-081” 。信息 1503 中描述 了以下内容， 即 TV1 具有能够接收 BS 广播的调谐器， 用于确定功能的 ID 为 “TV1-T2” ， 当前 的频道为 “BS-05” 。信息 1504 中描述了以下内容， 即 TV1 具有 EPG(Electronic Program Guide ： 电子节目菜单 ) 功能， 用于确定功能的 ID 为 “TV1-EPG” ， 当前的状态为 “Ready( 待 机状态 )” 。
信息 1505-1507 描述了与设备所提供的功能或与针对服务的指令有关的信息。信 息 1505-1507 的最前和最后记载有控制目录标记 (Control List ： 控制目录 )。也就是说， 能够知道控制目录标记之间的部分， 描述了与设备所提供的功能和与针对服务的处理指令 有关的信息。在此， 设备所提供的功能或针对服务的处理指令为 3 要素。
信息 1505 中描述了作为针对成为目标的调谐器功能能够执行的指令 ( 动作 )， 提 供频道的升序变更 (Channel Up ： 向上切换频道 )。更具体地说， 描述了有关此显示的格式 被推荐为 “上按键 (Button( 按键 ) ： Up( 向上切换 )” ， 以及执行实际的处理指令所需的路径 存在在目标外部装置的 URL(UniformResource Locator ： 统一资源定位符 )。
信息 1506 中描述了提供频道的降序变更 (Channel Down ： 向下切换频道 )。更具 体地说， 描述了格式被推荐为 “下按键 (Button( 按键 ) ： Down( 向下切换 )” ， 以及执行指令 所需要的路径。另外， 成为目标的 “调谐器” 是由 TV1 保持的功能的种类 (Type( 种类 ) 标 记 ) 所表示的 “Tuner( 调谐器 )” 。此外， 频道变更能够分别在用于地面数字广播的调谐器 以及用于 BS 广播的调谐器上适用。
此外， 在信息 1507 中描述了没有目标的指定， 以及作为与 TV1 的基本功能相对应 的指令， 存在画面的划分显示 ( 两个画面显示 )。更具体地说， 描述了以下内容， 即作为格 式被推荐为 “( 一般的 ) 按键” ， 此按键上应显示的信息为划分比率目录 (RateList ： 比率目 录 )， 以及取得此划分比率目录的 XML(extensible markup language ： 可扩展标记语言 ) 的 URL。
此外， 执行实际的指令所需要的路径以目标外部装置的 URL 而被描述。并且， 描述 了在两个画面显示中所需要的两个画面的输入源的指定方法以及划分比率的指定方法。图 15C 中示出了在接收了图 15B 所示的数据之后， 在显示部 103 显示的操作画面 的一个例子。在由属性验证部 108 分析了经由通信部 111 所取得的回复数据之后， 使操作 画面显示在显示部 103。
在图 15C 中， 在相当于图 2A 的区域 202( 区域 2) 的部分， 显示有三个功能要素和 最新的状态 ( 接收 D-081、 BS-05 的设定 )， 所述三个功能要素被记载在所取得的信息内。 并 且， 通过在调谐器图标的上下所显示的按键来表示能够处理对两个调谐器的频道变更。
用户通过按下 ( 触摸 ) 此上下按键， 从而能够变更调谐器的频道。并且， 在图 15C 中， 在相当于图 2A 的区域 203( 区域 3) 的部分， 显示有能够指定的划分比率。并且， 在图 15C 中， 在相当于图 2A 的区域 205( 区域 5) 的部分， 显示有表示作为最后的输出目的 地 (Output ： 输出 ) 的能够选择的设备的设备图标 ( 在此， 仅为 TV)。相当于图 2A 的区域 205( 区域 5) 的部分是预约区域。
图 16A 是从作为外部装置的第二电视机 401(“TV2” ) 取得的 “TV” 属性的数据的 例子。图 16A 的信息 1508 中与图 15B 的信息 1501 相同地描述了与 “TV2” 有关的设备信息。 通过信息 1509-1511 可知， “TV2” 所提供的功能或服务是 3 要素。 此外， 通过信息 1512-1514 可知， 对 “TV2” 所提供的功能或针对服务的处理指令也是 3 要素。
图 16B 示出了在接收了图 16A 所示的数据之后， 在显示部 103 显示的操作画面的 一个例子。
在图 16B 中， 相当于图 2A 的区域 202( 区域 2) 的部分， 除了原有的图 15 中所显示 的三个功能要素之外， 还追加描述了用于接收 TV2 所提供的 CATV 的调谐器的最新状态 ( 接 收 CATV102 的设定 )。并且， 除了原有的 TV1 所提供的 “EPG 画面显示按键 (EPG)” 之外， 还 追加描述了 TV2 所提供的 “互联网阅览浏览器显示按键 (NET)“以及 “视频点播显示按键 (VOD)” 。
此外， 在图 16B 中， 在相当于图 2A 的区域 203( 区域 3) 的部分， 显示有能够由 TV1 以及 TV2 处理的划分比率。此外， 在图 16B 中， 作为相当于图 2A 的区域 205( 区域 5) 的部 分的预约区域， 追加描述了作为最后的输出目的地的能够选择的设备图标的 “TV2” 。
图 16C 是示出在操作画面中进行操作目标对象的选择、 指令的选择、 以及处理执 行的状态的图。图 16C 具体地示出了用户在操作画面中， 通过多点触摸来选择想要划分画 面而显示的两个输入源 “D-081( 调谐器 1)” 以及 “CATV102( 调谐器 2)” ， 并通过拖动操作来 选择划分比率 (3 ∶ 1)， 将 TV1 作为输出目的地来指定的一个流程。这样， 通过将外部设备 作为操作目标对象来处理， 并将作为操作目标对象的外部设备所具有的功能或服务作为处 理指令来处理， 从而能够使外部装置以与实施例 1 相同的操作执行处理。
图 18 是示出在实施例 2 中由指令管理部 101 保持的指令管理表的一个例子的图。 指令管理部 101 在图 17 的步骤 S217 中从外部装置取得与属性相对应的处理指令信息之 时， 通过将此处理指令信息追加描述到指令管理表， 从而扩充指令管理表。相对于图 9 所示 的指令管理表， 图 18 示出了追加描述了属性 “AV” 、 “TV” 、 “PVR” 、 “Appliance” 的指令管理 表。
图 19A- 图 19F 是示出在操作画面中进行操作目标对象的选择、 指令的选择、 以及 处理执行的状态的图。图 19A- 图 19F 示出了作为操作目标对象而选择基本功能不同的多 个设备的情况下的流程。在图 19A 中， 作为设备目录 (Device List) 示出了多个对象图标。在图 19A 中， 选 择了空调机和电视机。 这样的选择例如是用户在外出之前关闭空调机以及电视机的电源时 进行的。
图 19B 示出了用户通过多点触摸来选择设备图标 “AirCon.” 和 “TV” ， 并对这些 设备图标进行拖动操作直到越过图 2A 的区域 201 与区域 202 之间的分界线 (L1) 为止的 位置的状态。如实施例 1 的说明， 若对被选择的表示作为操作目标对象的空调机 ( 属性 ： Appliance) 以及表示电视机 ( 属性 ： AV、 TV) 的设备图标进行拖动而越过分界线时， 则显示 表示这些功能的指令图标。
在此， 在空调机 ( 属性 ： Appliance) 以及电视机 ( 属性 ： AV、 TV) 的功能中， 使作 为不是两个操作目标对象之间的共同的处理指令的 “Volume( 音量 )” 、 “Mute( 静音 )” 、 “Channel Up( 向上切换频道 )” 、 “Channel Down( 向下切换频道 )” 处于无效 ( 变灰色 )。
图 20 是示出由指令管理部 101 保持的指令候补表的一个例子的图。 该指令候补表 是如以下这样而被制作的。即， 属性验证部 108 通过与所述的步骤 S206 以及 S207 相对应 的处理， 一边参照指令管理表 ( 参照图 18)， 一边抽出与各个属性 (AV、 TV、 Appliance) 相对 应的处理指令， 并将抽出的处理指令逐渐描述到指令管理部 101 所保持的指令候补表 ( 参 照图 20)。 图 20 中以 “Com.” 所表示的栏内描述了属性验证处理中的指令的抽出次数 ( 出现 次数 )。 此抽出次数是每当指令被抽出时， 抽出次数就被递增并被保持的值， 并且， 抽出次数 是按照每个指令进行管理的。在此， 由于 “Power ： 电源” 以及 “Timer ： 定时器” 是作为操作 目标对象的空调机以及电视机这两者所共同的指令， 因此， 如图 20 所示， 指令抽出次数成 为了 “2” 。
也就是说， 由于 “Power” 以及 “Timer” 为被选择的两个设备均能够执行的处理， 因此， 在通过多点触摸等来选择多个设备的情况下， “Power” 以及 “Timer” 被判断为共同功 能。并且， 属性验证部 108 将判断为是针对被选择的多个操作目标对象均能够执行的功能 的 “Power” 以及 “Timer” 图标显示为有效。
在此， 在图 19B 中成为有效状态的指令图标不以 “Power” 来显示， 而是以 “Power OFF( 关闭电源 )” 来显示。此处理通过利用了以下将要说明的表的处理来实现。
也就是说， 在图 18 所示的指令管理表的属性 “AV” 以及 “Appliance” ， 分别记载了 处理指令 “Power ： 电源” ， 而且， 作为与处理指令 “Power ： 电源” 相对应的参照表 ( 参照图 20) 指定了 “Power Table ： 电源表” 。图 21A- 图 21K 是示出在实施例 2 中由指令管理部 101 保持的指令参照表的一个例子的图。
图 21A- 图 21G 所示的指令参照表与图 10A- 图 10G 所示的指令参照表相对应。另 外， 图 21H- 图 21K 所示的指令参照表为从外部装置所取得的指令参照表。
图 21H 示出了作为与图 19B 所示的 “Power ： 电源”相对应的参照表的 “Power Table ： 电源表” 。图 21H 的 “State ： 状态” 栏中描述了成为操作对象的设备的状态。 “Exec ： 执行” 栏中描述了应按照 “State” 来执行的处理指令。 “Path ： 路径” 栏中描述了请求应执 行的处理指令时所需要的 URL 或用于显示的图像的 URL 等。
在此， 操作对象的空调机以及电视机的状态信息， 利用图 15B 的信息 1501 所示的 电源状态标记 (Power State ： 电源状态 ) 等， 从而被描述到参照表。在图 15B 中示出了状
态信息为 “ON( 开 )” 状态。
并且， 属性验证部 108 按照操作目标对象的工作状态和指令参照表的描述， 将处 理指令 “Power ： 电源” 的指令图标显示为 “Power OFF ： 关闭电源” 。如上所述， 由于能够按 照操作目标设备的状态， 不显示不能执行的处理指令的指令图标， 而仅显示能够执行的处 理指令的指令图标， 因此， 能够提高用户的操作效率。
此外， 由于能够防止不使用的指令图标的显示， 因此， 可以不必将结构阶层化而显 示指令图标。因此， 例如如图 19C 所示， 用户通过多点触摸来选择多个设备图标， 并能够简 单地实现以一次的拖动操作将多个设备的电源处于关闭状态的操作命令。
图 19D 示出的处理流程是， 从图 19B 的状态继续进行多个设备图标的拖动操作， 在 使多个设备图标通过作为共同处理指令的 “Timer ： 定时器” 图标之后， 再通过表示意味着 “30 分后” 这一参数的 “30min ： 30 分” 图标， 最后， 此拖动操作结束在 “Execute ： 执行” 的执 行指示图标上。
另外， 在图 19D 的参数图标上， 在 “Timer ： 定时器” 图标被选择的定时， 图 21J 的 “Timer Set Table ： 定时器设定表” 的信息， 根据操作区域管理部 109 所管理的布局信息而 被显示。
并且， 在用户按照图 19 所示的过程进行操作的情况下， 命令生成部 115 请求成为 操作目标对象的设备， 执行被登录在操作履历表的共同处理指令 ( 图 7 的 S120)。在此， 命 令生成部 115 在操作目标设备为自身装置 ( 即信息处理装置 100A) 的情况下， 请求命令执 行部 ( 在图 14 中省略其图示 ) 执行指令。 另一方面， 在操作目标设备为外部装置的情况下， 经由通信部 111， 请求外部装置的命令执行部执行指令。
并且， 在设定进展显示模式的情况下 ( 在图 7 的 S124 中为 “是” )， 显示如图 19E 所示的进展显示画面 ( 图 7 中 S125)。在图 19E 中， 除了能够掌握整体进展的进展通知条之 外， 作为处理的详细信息， 还显示针对外部装置处理指令的执行请求 “Timer Set ： 定时器设 定” 的回复结果 “Air Con.( 空调机 .) ： OK” ， 以及正在询问中的状态 “(Waiting response ： 等待响应 )” 等。并且， 如图 19 所示， 包含了外部装置的共同处理指令的执行结果被显示在 操作画面上。
接着， 针对利用了被登录的处理模式的处理执行进行说明。在此， 尤其， 以设定指 令的执行时刻以及与执行有关的详细信息的情况为例进行说明。
图 22A- 图 22C 是用于说明利用了被登录的处理模式的处理执行的图。图 22A 示 出了指定已登录处理模式的信息并执行的操作过程。
具体地说， 用户从相当于图 2A 的区域 201( 区域 1) 的部分所显示的已登录处理模 式目录， 将所希望的处理模式 (Morning bell ： 闹钟 ) 选择为操作目标对象， 并开始进行拖 动操作。
并且， 被选择的对象图标通过拖动操作， 首先通过在相当于图 2A 的区域 202( 区域 2) 的部分所显示的反复设定中 (Recurring Setting ： 反复设定 ) 表示每天 (Daily) 的指令 图标， 接着， 以横穿的形式通过相当于图 2A 的区域 203( 区域 3) 的部分所显示的音量设定 (Volume ： 音量 ) 中表示所希望的音量 ( 在此， 音量级别 ： 80) 的线段， 然后， 在执行指示图标 “Execute( 执行 )” 上被放开。
图 22B 是示出执行指示之前的模式管理表的图。此外， 图 22C 是示出执行指示之后模式管理表的图。通过图 22A 的操作， 有关反复设定， 从图 22B 的 “OFF ： 关” 的状态变化 为图 22C 的 “ON( 开 ) ： Daily( 每天 )” 的状态。此外， 有关针对操作目标对象 “TV” 的指令 “Volume ： 音量” 的参数， 从图 22B 的 “50” 的状态变化为图 22C 的 “80” 的状态。
如上所述， 作为与处理模式相对应的指令， 通过预先使该指令包含设定变更指令， 从而能够进行包含登录了一次的多个指令的处理模式的变更或修改。 此处理模式的变更或 修改， 也能够通过用户的拖动操作来执行。
另外， 图 22B 以及图 22C 的 ID(5) 的操作目标对象， 通过 “一” 中的记载被进行了抽 象化。 这表示是针对所有的 ID(1-4) 共同设定的处理指令。 也就是说， 图 22B 以及图 22C 的 ID(5) 的处理指令， 请求电视机、 空调机、 以及壶这三个设备， 在上午 7 点半同时打开电源。
如上所述， 根据本实施例 2， 在信息处理装置 100A 中， 多个操作目标对象中至少一 个是外部装置。此外， 信息处理装置 100A 具有与外部装置之间进行通信的通信部 111。并 且， 属性验证部 108 在外部装置被选择为操作目标对象的情况下， 将请求发送对应处理指 令的请求消息， 经由通信部 111 发送到被选择的外部装置。
因此， 能够与信息处理装置 100A 所保持的操作目标对象 ( 内容 ) 相同地处理外部 装置。
此外， 命令生成部 115 在处理顺序数据内包含由外部装置执行的处理指令的识别 信息的情况下， 将该识别信息经由通信部 111 发送到外部装置。
( 实施例 3)
图 23 是示出本发明的实施例 3 所涉及的信息处理装置 100B 的构成的框图。在图 23 中， 信息处理装置 100B 在图 14 中所示出的信息处理装置 100A 的构成的基础上， 还增加 有显示校正部 112。另外， 在此， 虽然是以在实施例 2 中所说明的将外部设备作为操作目标 对象来处理的情况为前提而构成的， 但是， 并不限定于此， 也可以以不包含在实施例 1 中所 说明的通信部 111 作为前提而构成。
显示校正部 112 按照在显示画面内尚未利用于显示操作目标对象、 处理指令等的 区域 ( 即空白区域 )， 来校正显示内容。更具体地说， 显示校正部 112 按照在显示部 103 尚 未利用于显示图标的余留区域的大小， 来校正已显示在显示部 103 的多个图标之间的显示 间隔。
图 24A- 图 24D 是用于说明按照显示画面内的空白区域来进行显示内容的校正处 理的图。图 25 是示出显示内容校正处理的流程图。这是改进图 7 的步骤 S111 的显示处理 的图。
在此， 以进行以下处理为前提进行说明。也就是说， 信息处理装置 100B 能够显示， 作为经由网络 250， 与信息处理装置 100B 相连接的外部装置的硬盘录像机 (PVR)、 电视机 (TV)、 电热壶 (Pot) 的设备图标。
并且， 以以下内容为前提， 即用户将电视机上正在播放的料理节目中的菜谱 ( 假 设电视机为两个画面模式， 菜谱显示在两个画面中的左侧画面 (Tuner1 ： 调谐器 1)) 作为快 照进行截屏， 在以邮件发送此截屏的图像时， 将图像变更为 QCIF 大小， 并将 “用户 C” 选择为 收件人进行发送。
显示控制部 10 使显示部 103 显示如图 24A 的上部分所示的操作画面。 图 24A 的区 域 2301a 显示表示操作目标设备的设备图标的目录 (Device List ： 设备目录 )。 区域 2302a显示表示处理指令以及参数的图标的目录 (Functions ： 功能 )。区域 2303a 是未显示区域 (Blank ： 空白 )。并且， 区域 2304a 是预约区域 (Reserved ： 预约 )。
此外， 图 24A 的下部分所示的表中示出了各个显示区域的占有率 (Occupation ： 占 有率 ) 以及能否压缩标记 (Compressible ： 可压缩的 )。在此， 占有率表示各个区域对画面 整体的占有的程度。 能否压缩标记表示能否进行显示的校正 (true ： 可能 /false ： 不可能 )。 此外， 能否压缩标记上附加的数字表示由显示校正部 112 所管理的显示校正层次 ( 在此， 数 值为 0-2)。
以下， 针对显示内容的校正处理， 参照图 24A- 图 24D 以及图 25 来进行说明。
显示校正部 112 在正由命令接受部 104 接受来自用户的操作命令时， 校正显示部 103 中正在显示的各个显示区域的大小， 以使用户容易进行操作。 显示校正部 112 监视所述 的各个显示区域的占有率， 并验证未显示区域的大小的状况 (S301)。 作为此验证定时， 例如 利用用户进行过指令区域选择操作的定时。
例如， 如图 24 所示， 在用户选择了图像的大小变更 (Resize ： 调整大小 ) 的详细信 息 (QCIF) 的情况下， 未显示区域 ( 即上述的空白区域 ) 的占有率成为整体的 8％。
在此， 显示校正部 112 确认当前未显示区域是否在规定的阈值 ( 在此固定值 ： 20％ ) 以下 (S302)。并且， 在占有率超过阈值的情况下 (S302 中 “否” )， 结束显示内容校正 处理。
另外， 占有率成为阈值以下的情况下 (S302 中 “是” )， 显示校正部 112 确认操作 履历表内是否存在已选择的项目 ( 在处理指令区域或辅助指令区域中显示的用户能够 目视的显示部分 )(S303)。并且， 在不存在的情况下 (S303 的 “否” )， 结束显示内容校正 处理。此外， 在存在的情况下 (S303 中 “是” )， 对相当于与已选择的项目相对应的区域 2302a(Functions ： 功能 ) 的部分的分界区域 ( 在图 24A 以虚线示出的向导线显示 ) 的显示 进行清除 (S304)。
而且， 在相当于区域 2302a(Functions ： 功能 ) 的部分的显示校正层次为 “0” 的情 况下 (S305 中 “是” )， 显示校正部 112 将指令图标或参数图标的上下的显示间隔设为 “0(px ： 像素 )” (S306)。
并且， 显示校正部 112 将进行了显示校正的区域 2302a 的显示校正层次变更为 “1” (S307)， 对未显示区域的大小以及占有率进行修改 (S313)， 并按照变更后的设定再次描 绘操作画面 (S314)。据此， 如区域 2302b 所示， 已选择的项目的部分被压缩显示。
也就是说， 如图 24B 的上部分所示， 变更为处理指令之间的间隔距离上下被缩短 的显示画面。从而如图 24B 的下部分所示， 区域 2303b 的未显示区域的占有率成为 30％， 其次要显示的指令图标的区域被确保。因此， 能够以用户容易看的显示形式， 在新的区域 2303c 显示指令图标或参数图标。
另外， 在显示校正层次不是 “0” 的情况下 (S305 的 “否” )， 显示校正部 112 确认显 示校正层次是否为 “1” (S308)。并且， 在不是 “1” 的情况下 (S308 的 “否” )， 判断为不能够 进行显示校正， 并结束显示内容校正处理。
图 24C 的上部分示出了在新的区域 2303c 显示选择邮件的发送目的地的参数图标 的状态的画面。在图 24C 的上部分示出的画面上， 用户通过将拖动中的设备图标拖动到参 数图标的 “UserC” ， 从而能够继续选择项目。在此， 在图 24 中的未显示区域 2304c 的占有率成为低于应验证的阈值 ( 在此， 固 定值 ： 20％ ) 的值 ( 在此为 18％ )(S302 中 “否” )。因此， 再次进行显示内容校正处理。然 而， 由于当前的区域 2302c(Functions ： 功能 ) 的显示校正层次是 “1” ， 因此， 将显示校正层 次视为 “1” (S305 中 “否” 且 S308 中 “是” )， 继续进行之后的处理。
例如， 显示校正部 112 将指令图标或参数图标的上下的显示间隔设为 “-10(px ： 像 素 )” (S309)。从而， 如图 24D 的上部分所示， 图标之间的间隔距离上下被进一步缩短， 并变 更为一部分重叠状态的显示画面。而且， 显示校正部 112 缩小在已选择的各个项目中显示 的字符串的字体 ( 在此， 8px ： 像素 )(S310)， 将字符串的显示位置本身从 “中心位置” 设定为 “上方位置” (S311)。
并且， 显示校正部 112 将进行了显示校正的区域 2302c 的显示校正层次变更为 “2” (S312)， 继续进行所述的 S313 之后的处理。从而如图 24D 的区域 2302d 所示， 已选择的 项目的部分比区域 2302c 所示的部分被进一步压缩显示。因此， 能够提高其次成为选择目 标的图标被显示的区域 ( 即， 区域 2303d 以及区域 2304d 中所示的部分 ) 的占有率， 并且， 能够以用户容易看的显示形式显示此区域的图标。
如上所述， 根据本实施例 3， 信息处理装置 100B 的显示校正部 112 在显示新的图标 时， 按照在显示画面上尚未利用于显示的余留区域的量， 将已显示的图标的显示形式校正 为压缩形式。
通过如上所述， 即使在狭窄的画面中进行拖动操作的情况下， 也能够显示在其次 的拖动操作中应选择的菜单， 因此， 能够继续进行拖动操作， 并提高操作性。
压缩形式例如为缩小已显示的图标的缩小显示形式， 或者， 为将一部分进行重叠 的显示形式。
( 实施例 4)
图 26 是本发明的实施例 4 所涉及的信息处理装置 100C 的构成的框图。在图 26 中， 信息处理装置 100C 在图 14 中所示出的信息处理装置 100A 的构成的基础上， 还增加有 虚拟位置判断部 113。
虚拟位置判断部 113 能够在操作画面中模仿外部装置的画面来操作外部装置。更 具体地说， 虚拟位置判断部 113 经由通信部 111， 从该操作目标对象接收显示布局信息， 使 接收的显示布局信息所表示的显示内容作为虚拟画面， 显示在与显示部 103 的第 1、 第2以 及第 3 显示区域不同的虚拟画面显示区域， 所述显示布局信息表示显示在外部装置的显示 画面上的显示内容。
并且， 虚拟位置判断部 113 例如在被选择的对象图标在虚拟画面内被放开的情况 下， 检测虚拟画面中的放开位置， 并且， 将虚拟画面中的放开位置信息变换为外部装置的显 示画面中的位置信息。 另外， 在上述说明中， 以对象图标被拖动作为前提， 但是， 并不限定于 此， 即使在虚拟画面中的特定位置通过点击等而被选择的情况下， 也可以检测虚拟画面中 的选择位置， 并且， 将虚拟画面中的选择位置信息变换为外部装置的显示画面中的位置信 息。即使在后述的实施例 5 中， 也是相同的。
图 27A- 图 27D 是用于说明利用了虚拟画面显示区域的处理的图。在此， 以进行 以下处理作为前提来进行说明。也就是说， 作为移动终端的信息处理装置 100C， 将电视机 (TV) 指定为操作目标设备， 所述电视机 (TV) 是与信息处理装置 100C 经由网络 250 而连接的外部装置。
并且， 以以下内容为前提， 即在用户选择手里持有的移动终端内所保持的图像 ( 例如家族照片 )， 并将已选择的图像显示在电视机的画面上任意的位置的情况下， 向此选 择的图像赋予消息 ( 例如 Enjoy ！ ( 愉快！ ))， 且指定显示期限 ( 例如一个月 )， 所述消息 由其他的用户能够目视的字符串构成， 所述显示期限为对此图像以及赋予的消息的显示进 行取消的期限。
图 27A 示出了虚拟画面的构成信息。 此外， 图 27B 示出了操作画面的构成例子。 例 如， 信息处理装置 100C(Source Device) 所具有的画面的描绘区域 (Full Screen ： 全屏幕 ) 的大小是， 宽度 (Width) 为 320px( 像素 )、 高度为 (Height) 为 480px( 像素 )， 将画面上的 坐标轴中 X 轴 (0)/Y 轴 (0) 作为描绘区域的初始点。
也就是说， 图 27B 的区域 2600 相当于描绘区域。并且， 信息处理装置 100C 所管 理的操作目标设备的虚拟画面 (Virtual Screen ： 虚拟屏幕 ) 的大小是， 宽度为 320px( 像 素 )、 高度为 180px( 像素 )， 画面上的坐标轴中 X 轴 (0)/Y 轴 (300) 成为虚拟画面显示区域 的初始点。也就是说， 图 27B 的区域 2604( 区域 4) 相当于虚拟画面显示区域。
此外， 操作目标设备 (Target Device) 其所具备的画面的描绘区域 (FullScreen ： 全屏幕 ) 的大小是， 宽度为 960px( 像素 )、 高度为 540px( 像素 )， 将画面上的坐标轴中 X 轴 (0)/Y 轴 (0) 作为描绘区域的初始点。 并且， 在图 27 所示的虚拟画面的构成信息 ( 显示布局信息 ) 上， 记载了虚拟画面 显示区域对于操作目标设备的描绘区域的扩大缩小比率 (Rate( 比率 ) ： 在此为 33％ )。另 外， 成为操作对象的外部装置 ( 电视机 ) 的画面大小等设为， 能够经由通信部 111， 通过标准 的协议或独自的协议来取得。
图 27C 是示出操作画面的一个例子的图。用户从区域 2601( 区域 1) 所显示的内 容目录中， 将所希望的内容 ( 在此为图像 ) 选择为操作目标对象。
并且， 被选择的对象图标， 通过拖动操作， 通过显示在区域 2602( 区域 2) 的消息 目录中的， 用户所希望的消息图标 ( 在此， Enjoy ！ ( 愉快！ ))， 接着， 通过显示在区域 2603( 区域 3) 的显示期限信息中的， 表示用户所希望的期限的图标 ( 在此， 1month( 一个 月 ))， 最后， 此被选择的对象图标在作为执行指示图标来处理的操作目标设备的虚拟画面 显示区域 ( 称为 Position of message board( 消息板的位置 ) 的区域 ) 的任意位置上被 放开。
在此， 信息处理装置 100C 的命令接受部 104 取得在拖动操作结束之时的虚拟画面 显示区域上的拖动操作完成坐标 (104， 368)， 并将与拖动操作完成坐标有关的信息， 与拖动 操作的操作命令一同传送到操作判断部 105。操作判断部 105 判断在执行指示图标上的拖 动操作已完成 ( 图 7 中 S120)。
连接于操作判断部 105 的虚拟位置判断部 113 按照虚拟画面的显示位置或扩大缩 小比率， 来调整在拖动操作完成时刻在虚拟画面显示区域上的坐标信息， 并将调整后的坐 标信息传送到操作判断部 105。在此的坐标调整处理是， 由于虚拟画面显示区域的初始点 为 Y 轴的 300px， 因此， 从拖动操作完成坐标的 Y 轴方向减去 300px， 并且， 按照扩大缩小比 率来换算坐标的处理。
并且， 作为处理后的坐标信息， 取得在最后的操作目标设备的画面上应处理的坐
标 (312， 204)。操作判断部 105 将调整之前的坐标信息以及调整之后的坐标信息输出到命 令生成部 115。并且， 命令生成部 115 经由通信部 111， 将调整之后的坐标信息包含到操作 命令消息内， 并发送到操作目标设备。
图 27D 是示出操作命令消息的构成例子的图。图 27D 示出了发送到作为外部目标 设备的外部装置 ( 电视机 ) 的操作命令消息的一个例子。信息 2605 中描述了， 为了利用服 务器功能向外部公开信息处理装置 100C 所保持的图像， 而将此图像追加到操作目标设备 的命令。
此外， 信息 2606 以及信息 2607 中描述了针对此追加图像的附加信息。具体而 言， 在信息 2606 中， 以正文标记 (Description ： 描述 )， 指定了在操作画面中被选择的消息 “Enjoy ！ ( 愉快！ )” ， 并且， 以显示期限标记 (Expire ： 期限 )， 指定了表示在相同的操作画 面中被选择的显示期限 “1month( 一个月 )” 的信息。
此外， 在信息 2607 中， 以显示位置标记 (Position ： 位置 ) 指定了由虚拟位置判断 部 113 计算出的操作目标设备中的坐标 (312、 204)。 若接收此操作命令消息， 则操作目标设 备按照操作命令取得图像， 并一同显示被指定的消息和图像。 并且， 按照显示期限指定来清 除显示。 另外， 在图 27C 中示出了在区域 2604 的虚拟画面显示区域上， 显示当前设定显示 在操作目标设备的画面上其他的内容 ( 图像、 笔记、 向网络动态图像的链接等 ) 的例子。这 些显示位置是能够根据操作目标设备和信息处理装置 100C 之间所决定的任意的协议， 来 取得的显示位置等。
根据此显示， 由于知道当前正在显示的内容的位置， 因此， 能够避免新的内容重叠 到一直显示的内容， 并掩盖该内容等的错误操作。
如上所述， 根据本实施例 4， 信息处理装置 100C 的虚拟位置判断部 113 在操作画面 上显示与外部装置的显示画面相对应的虚拟画面。此外， 虚拟位置判断部 113 在被选择的 对象图标在虚拟画面显示区域内被放开的情况下， 对虚拟画面中的放开位置进行检测， 并 且， 将虚拟画面中的放开位置信息变换为外部装置的显示画面中的位置信息。 并且， 虚拟位 置判断部 113 将由外部装置执行的处理指令的识别信息和位置信息一同进行发送。
如上所述， 能够在所持有的信息处理装置 100C 的显示部 103 上指定在外部装置中 执行的处理， 例如将笔记信息粘贴到经由网络而连接的外部装置的显示画面等处理， 并且， 也能够在外部装置的显示画面中指定此指定处理被执行的位置。
( 实施例 5)
图 28 是示出本发明的实施例 5 所涉及的信息处理装置 100D 的构成的框图。在图 28 中， 信息处理装置 100D 在图 26 中所示出的信息处理装置 100C 的构成的基础上， 还增加 有传感器 114。
传感器 114 检测表示信息处理装置 100D 当前所保持的状态 ( 典型的为显示部 103 的朝向 ) 的保持状态信息。传感器 114 将检测出的保持状态信息输出到显示控制部 10。传 感器 114 也可以按照来自显示控制部 10 的请求输出保持状态信息， 或者， 也可以是传感器 114 在每当检测装置朝向的变化之时， 就自动地进行输出。并且， 取得了保持状态信息的显 示控制部 10 按照显示部 103 的朝向， 来变更显示在显示部 103 上的图标的显示位置 ( 布 局 )。
图 29A- 图 29E 是用于说明按照保持状态信息来变更操作画面的处理的图。在此， 以进行以下处理为前提来进行说明。也就是说， 作为移动终端的信息处理装置 100D 将电视 机 (TV) 指定为操作目标设备， 所述电视机 (TV) 是与信息处理装置 100D 经由网络 250 而连 接的外部装置。
并且， 以以下内容为前提， 即用户从显示在作为外部装置的电视机的多个图像中 选择所希望的图像， 并且， 在用户所持有的信息处理装置 100D 中， 针对选择图像追加描述 消息 (Great ！ ( 太好了！ ))， 在设定了显示期限 ( 一个月 ) 之后， 再次将图像粘贴到电视 机的显示画面上的任意的位置。
图 29A 示出了虚拟画面的构成信息以及显示要素 ( 内容目录、 功能目录等 ) 的布 局信息。此外， 图 29B 示出了显示模式为 “垂直模式 (Vertical ： 垂直 )” 时的操作画面的构 成例子， 图 29C 示出了显示模式为 “水平模式 (Horizontal ： 水平 )” 时的操作画面的构成例 子。
例 如， 信 息 处 理 装 置 100D(Source Device) 所 具 有 的 画 面 的 描 绘 区 域 (Full Screen ： 全屏幕 ) 的大小是， 宽度 (Width) 为 320px( 像素 )、 高度为 (Height) 为 480px( 像 素 )， 将画面上的坐标轴中的 X 轴 (0)/Y 轴 (0) 作为描绘区域的初始点。
也就是说， 图 29B 的区域 2800 相当于描绘区域。另外， 在信息处理装置 100D 所管 理的操作目标设备的虚拟画面显示区域 (Virtual Screen ： 虚拟屏幕 ) 为 “垂直模式” 的情 况下， 宽度为 320px、 高度为 180px， 图 29B 的画面上的坐标轴中的 X 轴 (0)/Y 轴 (300) 成为 虚拟画面显示区域的初始点。此外， 在虚拟画面 (Virtual Screen ： 虚拟屏幕 ) 为 “水平模 式” 的情况下， 宽度为 420px、 高度为 236px， 图 29C 的画面上的坐标轴中的 X 轴 (30)/Y 轴 (42) 成为虚拟画面显示区域的初始点。
也就是说， 图 29B 的区域 2804( 区域 4) 以及图 29C 的区域 2805( 区域 4) 相当于 虚拟画面显示区域。
此外， 操作对象设备 (Target Device) 其所具备的画面的描绘区域 (Full Screen ： 全屏幕 ) 的大小是， 宽度为 960px、 高度为 540px， 将画面上的坐标轴中的 X 轴 (0)/Y 轴 (0) 作为描绘区域的初始点。
并且， 图 29A 所示的虚拟画面的构成信息中按照每个显示模式， 记载了虚拟画面 显示区域对于操作目标设备的描绘区域的扩大缩小比率 (Rate( 比率 ))( 在此垂直模式时 为 33％， 水平模式时为 43％ )。另外， 成为操作目标的外部装置 ( 电视机 ) 的画面大小等设 为经由通信部 111， 能够根据标准的协议或独自的协议来取得。
在此， 传感器 114 在显示控制部 10 使显示部 103 描绘操作画面之前， 按照来自显 示控制部 10 的请求， 检测信息处理装置 100D 的保持状态信息 ( 例如包括被称为装置朝向 的针对重力的朝向、 方位、 斜度 )。
并且， 传感器 114 将检测出的当前的保持状态信息 ( 在此为装置朝向 ) 输出到显 示控制部 10。显示控制部 10 根据从传感器 114 接受的保持状态信息来切换显示模式。也 就是说， 显示控制部 10 根据从传感器 114 接受的保持状态信息， 来判断信息处理装置 100D 的保持状态。
并且， 显示控制部 10 判断了保持状态的结果， 在判断为在当前时刻的终端朝向是 “垂直” 的情况下， 将操作画面切换成 “垂直模式” 。具体而言， 显示如图 29B 所示的 “垂直模式” 的操作画面。另外， 在显示控制部 10 判断为在当前时刻的终端朝向是 “水平” 的情况 下， 将操作画面切换成 “水平模式” 。具体而言， 显示如图 29C 所示的 “水平模式” 的操作画 面。
图 29D 以及图 29E 分别示出了 “水平模式” 以及 “垂直模式” 的操作画面的一个例 子的图。在此， 移动终端的初始状态为提供联动的设备的操作画面的 “水平模式” 。
在 “水平模式” 的操作画面中， 例如如图 29D 所示， 用户能够目视与区域 2805( 区 域 4) 所显示的电视机的消息板 ( 被安装在电视机一侧的能够将图像或文本进行粘贴的告 示板的应用软件 ) 相同的画面。并且， 用户能够通过触摸等操作， 来选择显示在操作画面的 图像中的想添加评语或消息的图像 ( 在此为 M6)。
在此选择了图像之后， 在用户将正在操作的移动终端转向垂直方向 ( 即将终端旋 转到与画面的纵横比不同的方向 ) 的情况下， 传感器 114 检测移动终端的装置朝向的变化。 并且， 如图 29E 所示， 显示控制部 10 使对被选择的内容进行编辑、 加工的 “垂直模式” 的操 作画面显示。
并且， 用户通过拖动所希望的内容 ( 在此为图像 ： M6)， 从而通过显示在区域 2802( 区域 2) 的消息目录中的， 用户所希望的消息图标 ( 在此为 Great ！ ( 太好了 ))， 接 着， 通过显示在区域 2803( 区域 3) 的显示期限信息中的， 表示用户所希望的期限的图标 ( 在此为 1month( 一个月 ))， 最后， 此拖动操作结束在作为执行指示图标来处理的虚拟画面 显示区域 ( 即在图 29E 中称为 Postion of Message board( 消息板的位置 ) 的区域 ) 上的 任意的位置。在此之后的坐标变换处理等与在实施例 4 中的说明相同。
另外， 在此， 针对基于保持状态信息来切换显示模式的情况进行说明。然而， 并不 限定于此， 例如能够将外部气温、 体温、 位置信息、 电池的余量等的状态信息作为显示模式 的切换基准来利用。状态信息内也包含保持状态信息。例如， 能够优先显示按照外部气温 或体温来督促健康护理的菜单 ( 例如空调机的加湿设定或温度设定等 )， 或者， 能够按照位 置信息将拖动操作中显示的地图的位置设定为附近的地图， 或者， 能够按照电池的余量将 附近的电池充电服务站显示在地图上。传感器 114 也检测保持状态信息之外的状态信息。
此外， 在此， 针对通过切换显示模式来变更操作画面的布局的情况进行了说明。 然 而， 并不限定于此， 例如 “垂直模式的情况为所持有的设备的操作” 、 “水平模式的情况为联 动对象的设备的操作” 等， 也可以按照终端所朝向的方向来变更操作菜单整体的作用或各 种功能的显示内容以及表示方法。
如上所述， 根据本实施例 5， 在信息处理装置 100D 中， 由传感器 114 检测信息处理 装置 100D 的状态。并且， 显示控制部 10 按照由传感器 114 检测出的状态信息， 来切换操作 画面的显示模式。
通过如上所述， 由于能够切换成与信息处理装置 D 相对应的操作画面， 因此， 能够 提高用户的操作性。
( 其他实施例 )
(1) 在实施例 1 至 5 的信息处理装置 100、 100A、 100B、 100C、 100D 所表示的操作画 面中， 通过触摸箭头按键， 能够在不间断图标的显示的状态下将处于非显示状态的对象图 标、 指令图标、 以及参数图标转换为显示状态。
在作为信息处理装置 100A、 100B、 100C、 100D 与外部装置处于连接状态的实施例 2至 5 中， 也可以将处于显示状态的各个图标显示在外部装置所具有的大画面上。
图 30A 以及图 30B 是示出信息处理装置 100C、 100D 的操作画面以及外部装置的操 作画面的图。图 30A 的框 2900 为当前用户所操作的操作对象的信息处理装置 100C、 100D 的操作画面。图 30A 的区域 2901-2903 中， 没有显示在画面布局上的菜单项目 ( 即向箭头 按键区域的拖动操作或通过将终端向箭头方向物理倾斜的操作而出现的选项 ) 的存在， 通 过箭头符号而被表示出来。 这些非显示菜单项目能够通过用户对操作画面的操作命令而依 次显现， 但是， 至于哪个项目处于非显示状态， 要通过用户进行操作才能知道。
图 30B 的框 2910 示出了能够与信息处理装置 100C、 100D 联动的外部装置 ( 例如电 视机 ) 所显示的画面的例子。框 2911 为成为将要联动的信息处理装置 100C、 100D(Mobile A( 移动 A)) 所能够描绘的显示区域。 此外， 框 2912 在外部装置的画面上再现并描绘了成为 将要联动的信息处理装置 100C、 100D 当前正在显示的画面。另外， 区域 2913-2916 分别与 区域 2901-2904 相对应。
框 2911 的区域内显示了画面比外部装置小且在信息处理装置 100C、 100D 中处于 非显示状态的菜单项目。 从而用户能够一边操作手边的信息处理装置 100C、 100D， 一边目视 在作为外部装置的电视机画面中处于非显示状态的菜单项目。因此， 在所希望的菜单没有 显示在信息处理装置 100C、 100D 的操作画面的情况下， 能够以最短过程 ( 在显示 “Memo( 笔 记 )” 的情况下， 比起向右移动， 向左移动更能够减少再描绘次数 ) 执行用于显示在外部装 置的画面上已确认的所希望的菜单项目 ( 例如区域 2914 的 “Memo( 笔记 )” ) 的操作。
另外， 在此， 虽然将选择的项目作为文本以及表情符号 ( 根据特定的字符串的模 式的外观来表现面部表情的字符串 )， 但是， 也可以为静止图像、 动态图像、 以及符号等。此 外， 虽然将移动方向设为左右， 但是， 也可以设为上下方向以及运用了 3D( 三维 ) 表示的显 示等。此外， 如区域 2916 所示， 并不限定于菜单项目， 也可以补充显示处于非显示状态的描 绘对象 ( 例如称为小工具的天气预报、 时钟、 日历这种驻留粘贴型应用程序， 或者， 作为告 示板被粘贴的笔记或录像信等 )。
此外， 作为在外部装置显示非显示菜单项目的定时， 可以利用以下的定时。例如， 第一， 可以是在用户持续拖动操作的过程中， 到拖动操作开始为止进行显示。第二， 可以是 每当例如选择的对象图标每当超过相邻区域之间的分界线等时 ) 拖动操作进展之时， 依次 进行显示。第三， 可以是在传感器检测出用户有目的地使信息处理装置 100D 倾斜等的动作 的定时。
(2) 在实施例 1-5 中， 在显示部 103 所显示的操作画面上， 虽然是以实线的箭头来 显示针对对象图标的拖动操作的轨迹的， 但是， 显示轨迹的方法并不限定于此， 也可以显示 辅助操作的操作向导线。
(3) 在实施例 1-5 中， 虽然针对对象图标与指令图标是否重叠的判断是以对象图 标的中心点是否与指令图标重叠来作为判断标准的， 但是， 判断标准并不限定于此， 也可以 以对象图标的边 ( 即边缘部分 ) 是否与指令图标接触来作为判断标准。
(4) 在 实 施 例 2-5 中 利 用 将 外 部 装 置 之 间 收 发 的 信 息 进 行 抽 象 化 的 XML(extensible markup language ： 可扩展标记语言 ) 形式来进行了表示， 但是， 也可以增 减各个要素。此外， 也可以利用将描述形式设为二进制形式等其他的表示。
(5) 在实施例 1-5 中， 虽然以用两个手指拖动两个图标， 并持续拖动到执行指示区域上为止为前提进行了说明， 但是， 也可以采取在两个图标通过拖动开始移动的阶段， 即使 放开一个手指， 两个图标被合并， 也能够继续进行拖动的方式。
(6) 在实施例 1-5 的信息处理装置 100、 100A、 100B、 100C、 100D 能够适用在， 具有 表示各种功能 ( 目标图像或目标影像的编辑、 加工 ； 与广播、 影像再生有关的画质、 音质、 音量调整 ； 时间表的管理、 输入、 参照、 显示指定期限 ； 视听、 录像预约的设定 ； 记录模式的 变更 ； 邮件正文的制作、 收件人的指定等 ) 的操作候补的画面， 并在装置单体执行处理的 移动终端、 个人计算机、 汽车导航系统等装置， 所述处理是通过经由主体所具有的输入设 备的操作指示而被选择的， 或者， 在装置内执行处理的电视接受机、 硬盘录像机 (Harddisk recorder)、 空 调 机 等 的 遥 控 器， 所述处理是通过经由存在在装置外的远距离控制器 (remote controller)( 以下称为遥控器 ) 的操作指示而被选择的。
此外， 实施例 1-5 的信息处理装置 100、 100A、 100B、 100C、 100D 为计算机系统， 具体 地由微处理器、 ROM、 RAM、 硬盘设备、 显示器设备、 键盘、 鼠标等来构成。RAM 或硬盘设备存储 计算机程序。微处理器按照计算机程序来工作， 从而实现计算机系统所具有的各个要素的 功能。计算机程序为了实现规定的功能， 组合多个表示指令计算机的指令代码来构成。
(7) 构成实施例 1-5 的信息处理装置 100、 100A、 100B、 100C、 100D 的构成要素的部 分或全部也可以由一个系统 LSI(Large Scale Integration ： 大规模集成电路 ) 来构成。 系 统 LSI 是将多个构成部集成在一个芯片上而制造的超级多功能 LSI， 具体地， 是包含微处理 器、 ROM、 RAM 等来构成的计算机系统。RAM 或硬盘设备存储计算机程序。微处理器按照计算 机程序来工作， 从而系统 LSI 实现其功能。
(8) 构成实施例 1-5 的信息处理装置 100、 100A、 100B、 100C、 100D 的构成要素的部 分或全部也可以由能够拆装于信息处理装置 100、 100A、 100B、 100C、 100D 的主体上的 IC 卡 或单体的模块来构成。IC 卡或单体的模块是由微处理器、 ROM、 RAM 来构成的计算机系统。 IC 卡或单体的模块也可以包含上述的超级多功能 LSI。微处理器按照计算机程序来工作， 从而 IC 卡或单体的模块实现其功能。此 IC 卡或模块也可以具有抗篡改性。
(9) 在实施例 1-5 中， 针对本发明以由硬件来构成的情况为例进行了说明， 但是， 本发明也可以由软件来实现。
本发明的信息处理装置可以作为能够通过直观性的操作来执行多个处理， 并且， 为了操作移动终端、 个人计算机、 汽车导航系统、 数字电视接受机、 DVD 光盘刻录机 (Digital Video Disc Recorder)、 机顶盒、 放映机、 以及外部显示器等的设备而利用的遥控器来应用 并发挥作用。
符号说明
10 显示控制部
20 存储部
100、 100A、 100B、 100C、 100D 信息处理装置
101 指令管理部
102 数据保持部
103 显示部
104 命令接受部
105 操作判断部106 命令执行部 107 定时器 108 属性验证部 109 操作区域管理部 110 模式管理部 111 通信部 112 显示校正部 113 虚拟位置判断部 114 传感器 115 命令生成部 200、 210 操作画面区域 201、 202、 203、 204、 205 区域 250 网络 300 空调机 400、 401 电视机 500 电热壶 2304c 未显示区域 2900、 2910、 2911、 2912 框