《互动式系统及互动式装置.pdf》由会员分享，可在线阅读，更多相关《互动式系统及互动式装置.pdf（14页珍藏版）》请在专利查询网上搜索。
1、(10)申请公布号 CN 103176599 A (43)申请公布日 2013.06.26 CN 103176599 A *CN103176599A* (21)申请号 201210015364.8 (22)申请日 2012.01.17 100147491 2011.12.20 TW G06F 3/01(2006.01) (71)申请人 财团法人交大思源基金会 地址 中国台湾新竹市 (72)发明人 曾煜棋 吴钧豪 (74)专利代理机构 北京林达刘知识产权代理事 务所 ( 普通合伙 ) 11277 代理人 刘新宇 (54) 发明名称 互动式系统及互动式装置 (57) 摘要 一种互动式系统及互动式装。
2、置， 互动式装置 可与一可显示一影像画面的显示装置通讯， 该互 动式装置包含一摄像单元、 一耦接于摄像单元的 控制单元以及耦接于控制单元的一回馈单元及一 信号传输单元， 摄像单元撷取部分显示装置所显 示的影像画面， 控制单元将摄像单元所撷取的画 面通过信号传输单元传送至显示装置， 并与显示 装置通讯， 且根据显示装置回传的一对应摄像单 元所撷取的画面的回馈信号， 控制回馈单元发出 一对应回馈信号的回馈信息。 如此， 通过互动式装 置撷取显示装置所显示的影像， 并通过无线传输 的方式与显示装置沟通， 以达到互动式装置与显 示装置互动的目的。 (30)优先权数据 (51)Int.Cl. 权利要求书。
3、 2 页 说明书 5 页 附图 6 页 (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书2页 说明书5页 附图6页 (10)申请公布号 CN 103176599 A CN 103176599 A *CN103176599A* 1/2 页 2 1. 一种互动式系统， 其特征在于， 该互动式系统包含 ： 一显示装置， 包括一显示模块、 一耦接于该显示模块的处理模块及一耦接于该处理模 块的收发模块， 该显示模块显示一影像画面 ； 及 一互动式装置， 包括一摄像单元、 一耦接于该摄像单元的控制单元及一耦接于该控制 单元且与该收发模块通讯的信号传输单元， 该摄像单元撷取部分该影像画。
4、面， 该控制单元 将该摄像单元所撷取的画面通过该信号传输单元传送至该收发模块， 使得该处理模块根据 该摄像单元所撷取的画面判断该互动式装置相对于该影像画面的位置。 2. 一种互动式系统， 其特征在于， 该互动式系统包含 ： 一显示装置， 包括一显示模块及一耦接于该显示模块的收发模块， 该显示模块显示一 影像画面 ； 及 一互动式装置， 包括一摄像单元、 一耦接于该摄像单元的控制单元、 一耦接于该控制单 元的处理单元及一耦接于该控制单元且与该收发模块通讯的信号传输单元， 该摄像单元撷 取部分该影像画面， 该控制单元控制该处理单元根据该摄像单元所撷取的画面判断该互动 式装置相对于该影像画面的位置，。
5、 并将该位置通过该信号传输单元传送至该收发模块， 使 得该显示模块显示对应该位置的画面。 3.根据权利要求1或2所述的互动式系统， 其特征在于， 该影像画面包括至少一识别符 号， 该摄像单元撷取部分该影像画面并辨别该识别符号， 该控制单元将该识别符号通过该 信号传输单元传送至该收发模块， 使得该处理模块或该处理单元根据该识别符号判断该互 动式装置相对于该影像画面的位置。 4. 根据权利要求 3 所述的互动式系统， 其特征在于， 该互动式装置还包括一耦接于该 控制单元的回馈单元， 该控制单元根据该处理模块或该处理单元的判断结果， 控制该回馈 单元发出对应该摄像单元所撷取的画面的信号。 5. 根据。
6、权利要求 4 所述的互动式系统， 其特征在于， 该回馈单元为显示器、 扬声器、 震 动器或其组合。 6. 根据权利要求 5 所述的互动式系统， 其特征在于， 该互动式装置还包括一耦接于该 控制单元的电力单元， 该电力单元用以提供该摄像单元、 该控制单元、 该信号传输单元及该 回馈单元运作时所需的电力。 7. 一种互动式装置， 能与一显示装置通讯， 该显示装置显示一影像画面， 其特征在于， 该互动式装置包含 ： 一摄像单元， 用以撷取部分该影像画面 ； 一控制单元， 耦接于该摄像单元 ； 一回馈单元， 耦接于该控制单元 ； 及 一信号传输单元， 耦接于该控制单元， 该控制单元将该摄像单元所撷取的。
7、画面通过该 信号传输单元传送至该显示装置， 并与该显示装置通讯， 且根据该显示装置回传的一对应 该摄像单元所撷取的画面的回馈信号， 控制该回馈单元输出一对应该回馈信号的回馈信 息。 8. 根据权利要求 7 所述的互动式装置， 其特征在于， 该影像画面包括至少一识别符号， 权 利 要 求 书 CN 103176599 A 2 2/2 页 3 该摄像单元撷取部分该影像画面并辨别该识别符号， 该控制单元将该识别符号通过该信号 传输单元传送至该显示装置， 并与该显示装置通讯， 且根据该显示装置回传的回馈信号， 控 制该回馈单元输出该回馈信息。 9. 根据权利要求 8 所述的互动式装置， 其特征在于， 。
8、该回馈单元为显示器、 扬声器、 震 动器或其组合。 10. 根据权利要求 9 所述的互动式装置， 其特征在于， 该互动式装置还包含一耦接于该 控制单元的电力单元， 该电力单元用以提供该摄像单元、 该控制单元、 该信号传输单元及该 回馈单元运作时所需的电力。 11. 根据权利要求 7 所述的互动式装置， 其特征在于， 该互动式装置还包含一耦接于该 控制单元的处理单元， 该控制单元控制该处理单元将该摄像单元所撷取的画面进行处理， 并于处理后通过该信号传输单元传送至该显示装置。 权 利 要 求 书 CN 103176599 A 3 1/5 页 4 互动式系统及互动式装置 技术领域 0001 本发明涉。
9、及一种互动式装置， 特别是涉及一种可与显示装置互动的互动式装置。 背景技术 0002 随着科技的进步及人们生活娱乐上的需求， 现有的显示装置可通过其所输出的画 面及使用者界面， 与使用者相互沟通互动。 0003 然而， 对于互动教学用的显示装置来说， 其人机界面技术 ( 例如 ： Microsoft Surface、 Sony atracTable) 皆是使用特制显示器， 此种类型的显示器会内嵌摄影机， 来追 踪使用者手部或是物体于屏幕上的位置， 借以产生互动的画面。 但是， 此类显示器并不相容 于现有的显示装置， 且机台笨重， 制作成本高， 也不具可携性。 发明内容 0004 本发明的目的在。
10、于提供一种互动自然、 低成本且具有可携性的互动式装置。 0005 本发明互动式装置， 可与一显示装置通讯， 该显示装置显示一影像画面， 该互动式 装置包含一摄像单元、 一耦接于摄像单元的控制单元、 一耦接于控制单元的回馈单元及一 耦接于控制单元的信号传输单元， 其中， 摄像单元会撷取部分显示装置所显示的影像画面， 控制单元将摄像单元所撷取的画面通过信号传输单元传送至显示装置， 并与显示装置通 讯， 且根据显示装置回传的一对应摄像单元所撷取的画面的回馈信号， 控制回馈单元发出 一对应回馈信号的回馈信息。 如此， 通过互动式装置撷取显示装置所显示的影像， 并通过无 线传输的方式与显示装置相互沟通，。
11、 将可达到互动式装置与显示装置互动的目的。 0006 详细地说， 显示装置所显示的影像画面包括至少一识别符号 (symbol)， 摄像单元 撷取部分影像画面并辨别相对应的识别符号， 且控制单元将该识别符号通过信号传输单元 传送至显示装置， 并与该显示装置通讯， 且根据显示装置回传的回馈信号， 控制回馈单元输 出回馈信息。 0007 本互动式装置还包含一耦接于控制单元的电力单元， 用以提供摄像单元、 控制单 元及信号传输单元运作时所需的电力。 0008 本互动式装置还包含一耦接于该控制单元的处理单元， 该控制单元控制该处理单 元将该摄像单元所撷取的画面进行处理， 并于处理后通过该信号传输单元传送。
12、至该显示装 置。 0009 另外， 本发明的另一目的， 即在提供一种互动性高、 低成本且具有可携性的互动式 系统。 0010 本发明互动式系统， 包含一显示装置及一互动式装置。 显示装置包括一显示模块、 一耦接于显示模块的处理模块及一耦接于处理模块的收发模块， 显示模块用以显示一影像 画面 ； 互动式装置包括一摄像单元、 一耦接于摄像单元的控制单元及一耦接于控制单元且 与收发模块通讯的信号传输单元。摄像单元撷取部分显示模块所显示的影像画面， 控制单 元将摄像单元所撷取的画面通过信号传输单元传送至收发模块， 使得处理模块根据摄像单 说 明 书 CN 103176599 A 4 2/5 页 5 元。
13、所撷取的画面判断互动式装置相对于影像画面的位置。因此， 显示装置利用影像识别的 方式定位出互动式装置相对于显示装置的位置， 并以此与互动式装置互动， 且显示装置也 不需要额外装设摄像设备而改变设计， 其制作成本得以降低， 也更具有可携性。 0011 此外， 本发明互动式系统， 也可包含一显示装置及一互动式装置。 显示装置包括一 显示模块及一耦接于显示模块的收发模块， 显示模块用以显示一影像画面 ； 互动式装置包 括一摄像单元、 一耦接于摄像单元的控制单元、 一耦接于控制单元的处理单元及一耦接于 控制单元且与收发模块通讯的信号传输单元。 摄像单元撷取部分显示模块所显示的影像画 面， 控制单元控制。
14、处理单元根据摄像单元所撷取的画面判断互动式装置相对于影像画面的 位置， 并将该位置通过信号传输单元传送至收发模块， 使得显示模块显示对应该位置的画 面。同样地， 显示装置也可以利用影像识别的方式定位出互动式装置相对于显示装置的位 置， 并以此与互动式装置互动。 0012 详细地说， 影像画面包括至少一识别符号 (symbol)， 摄像单元是撷取部分影像画 面并辨别该识别符号， 控制单元将识别符号通过信号传输单元传送至收发模块， 使得处理 模块或处理单元根据识别符号判断互动式装置相对于影像画面的位置。 0013 此外， 互动式装置还包括一耦接于控制单元的回馈单元， 控制单元根据处理模块 或处理单。
15、元的判断结果， 控制回馈单元发出对应摄像单元所撷取的画面的信号。 进一步地， 回馈单元可为显示器、 扬声器及震动器或其组合。 0014 互动式装置还包括一耦接于控制单元的电力单元， 用以提供摄像单元、 控制单元 及信号传输单元运作时所需的电力。 0015 本发明的有益效果在于 ： 显示装置利用影像识别的方式定位出互动式装置的位 置， 借此达到与互动式装置互动的功效， 且显示装置将不需要额外装设摄像设备而改变设 计， 其制作成本得以降低， 也更具可携性。 附图说明 0016 图 1 是说明本发明互动式系统的第一实施例 ； 0017 图 2 是说明显示模块为显示期间所显示的画面以及互动式装置所显示。
16、的回馈画 面。 0018 图 3 是说明显示模块为辨识期间所显示的画面。 0019 图 4 是说明本发明互动式系统的第二实施例。 0020 图 5 是说明本发明互动式系统的第三实施例， 其中回馈单元是显示口腔的横向切 面。 0021 图 6 是说明本发明互动式系统的第三实施例， 其中回馈单元是显示口腔的纵向切 面。 具体实施方式 0022 下面结合附图及实施例对本发明进行详细说明。 0023 参阅图 1， 为本发明互动式系统的第一实施例， 该互动式系统 100 包含一显示装置 10及一可与显示装置10相互通讯的互动式装置(interactive apparatus)20， 在本实施例 中， 显。
17、示装置 10 为一大型平板计算机， 其中包括一显示模块 11、 一耦接于显示模块 11 的处 说 明 书 CN 103176599 A 5 3/5 页 6 理模块 12 以及一耦接于处理模块 12 的收发模块 13， 配合参阅图 2 及图 3， 显示模块 11 用 以显示一影像画面 30， 其可利用特殊形状、 色彩或是条码 (barcode) 等图形编码技术产生， 且该影像画面 30 包括多个可供辨识的识别符号 (symbol)31， 例如 ： QR code ； 处理模块 12 用以处理影像信号， 以判断互动式装置20相对于影像画面30的位置， 并回传一回馈信号至 互动式装置 20， 以进行。
18、互动， 其相关细节将于后段补述 ； 收发模块 13 用以与互动式装置 20 通讯以传输数据。 0024 互动式装置 20 包括一摄像单元 21、 一控制单元 22、 一信号传输单元 23、 一回馈单 元 24 及一电力单元 25。 0025 摄像单元 21 为一短景深 (DOF) 的照相元件， 例如 ： 影像感测器 (Contact Image Sensor， CIS)， 摄像单元 21 用以撷取影像画面 30 中其中一识别符号 31， 并辨别该识别符号 31， 以判断该识别符号 31 是否为有效符号， 特别说明的是， 摄像单元 21 的摄像范围会根据 识别符号 31 的大小而改变， 该摄像范。
19、围至少需大于一个识别符号 31 的大小 ； 控制单元 22 耦接于摄像单元 21， 用以控制所有电路元件的运作 ； 信号传输单元 23 耦接于控制单元 22， 并以无线的方式 ( 例如 ： WiFi、 蓝牙等 ) 与显示装置 10 的收发模块 13 通讯以传输数据 ； 回 馈单元 24 受控制单元 22 的控制而输出对应摄像单元 21 所撷取的画面的回馈信息， 在本实 施例中， 回馈单元24为一显示器(display device)， 因此该回馈信息为一对应摄像单元21 所撷取的画面的回馈画面， 但不以显示器为限， 回馈单元 24 也可以为一扬声器 (speaker) 或一震动器， 或是上述的。
20、组合 ； 电力单元 25 为一电池组且耦接于控制单元 22， 用以提供所 有电路元件运作时所需的电力。 0026 在显示模块 11 显示影像画面 30 的一工作周期中， 主要可分为一显示期间及一辨 识期间， 于显示期间中， 显示模块 11 显示一如图 2 所示的谷歌地图 (Google Map) 的街道式 地图， 而在辨识期间中， 显示模块11则会显示多个如图3所示的识别符号31， 由于所述相互 排列的识别符号 31 提供互动式装置 20 辨识而产生相对应的互动画面， 故通常辨识期间的 时间会短于显示期间。 0027 当互动式装置 20 置于显示模块 11 上且静止不动时， 互动式装置 20 。
21、进入一绝对定 位 (absolute localization) 阶段， 摄像单元 21 会撷取部分显示模块 11 所显示的画面， 并 辨别是否为有效识别符号 31， 若辨别为有效识别符号 31， 控制单元 22 会将该识别符号 31 通过信号传输单元23传送至显示装置10的收发模块13， 处理模块12利用一内建的电子地 图与该识别符号 31 进行比较， 以判断互动式装置 20 相对于影像画面 30( 街道式地图 ) 的 位置， 并产生一绝对坐标 (x， y) 及对应该绝对坐标的相关地图信息 ( 回馈信号 )。随后， 收 发模块13将该相关地图信息回传至互动式装置20的信号传输单元23， 使得。
22、控制单元22控 制回馈单元 24( 显示器 ) 显示对应该绝对坐标的街景照片 40( 回馈信息 )。如此， 通过显示 装置 10 与互动式装置 20 之间的相互沟通， 可使显示装置 10 确实地追踪互动式装置 20 于 影像画面 30 上的位置， 以达互动的功能， 且显示装置 10 并不需要额外安装摄像设备， 更有 利于现有平板计算机微小化及可携性的应用。 0028 补充说明的是， 处理模块12除了使用精确坐标定位外， 也可以利用影像画面30中 的一物件来表示定位结果， 即处理模块12判断该识别符号31为地图上的物件(例如 ： 加油 站 ) 时， 则从一内建存储器中直接读取对应该物件的绝对坐标。
23、， 如此同样能达到定位功能。 0029 此外， 本实施例的互动式装置20还包括一耦接于控制单元22的电子罗盘26， 用于 说 明 书 CN 103176599 A 6 4/5 页 7 感测互动式装置 20 与北方的夹角， 以辨识互动式装置 20 的摆向。因此， 在摄像单元 21 辨 别其摄像的识别符号 31 为有效识别符号 31 时， 控制单元 22 会将该识别符号 31 连同互动 式装置 20 的摆向一并传送至显示装置 10， 使得处理模块 12 所产生的地图信息会与互动式 装置 20 的摆向有关， 如此使用者将可以利用互动式装置 20 与北向的夹角来显示同一绝对 位置不同视角的街景照片 4。
24、0。 0030 当互动式装置 20 于显示模块 11 上且移动时， 互动式装置 20 进入一相对定位 (relative localization)阶段， 摄像单元21会随着互动式装置20的移动而连续拍摄多张 影像， 并将所述影像传送至显示装置 10， 由于所述影像是短时间连续拍摄， 彼此之间会有部 分的重叠， 处理模块 12 即利用所述影像部分重叠的特性， 来计算互动式装置 20 的位移量， 再将该位移量加上绝对定位阶段所得到的绝对位置， 以推算出互动式装置 20 移动后的绝 对位置。如此一来， 处理模块 12 不用如绝对定位阶段时将每张影像进行比对， 以更节省计 算时间。 0031 然而，。
25、 相对定位阶段中的计算也可以于互动式装置 20 执行， 参阅图 1， 互动式装置 20 还可包含一耦接于控制单元 22 的计算单元 27， 用以根据摄像单元 21 连续拍摄的多张影 像， 计算出互动式装置 20 的位移量， 再将该位移量加上绝对定位阶段所得到的绝对位置， 如此同样可以推算出互动式装置 20 移动后的绝对位置。 0032 此外， 互动式装置20中也可以包含一耦接于控制单元22的处理单元28， 在互动式 装置 20 进入绝对定位阶段时， 摄像单元 21 撷取部分显示模块 11 所显示的画面并辨别为有 效识别符号 31 后， 控制单元 22 可直接控制处理单元 28 判断互动式装置 。
26、20 相对于影像画 面 30 的位置， 例如 ： 将该识别符号 31 解码以得到一携带位置 (x， y) 信息的文字， 之后控制 单元 22 将该位置通过信号传输单元 23 回传至显示装置 10， 使得显示装置 10 的显示模块 11 显示更新的互动画面。因此， 由上述可知， 判断位置的处理可以通过显示装置 10 的处理 模块 12 或是互动式装置 20 的处理单元 28 来执行， 并不以本实施例为限。特别说明的是， 若判断位置的处理改由互动式装置 20 的处理单元 28， 则显示装置 10 可以不需要处理模块 12 的设置。 0033 参阅图 1 及图 4， 图 4 为本发明互动式系统的第二。
27、实施例， 其大致与第一实施例 相同， 惟不同之处在于， 本实施例的显示装置 10 为一具有触控功能的平板计算机 ( 例如 ； iPAD)， 其中显示模块 11 则为一触控面板。 0034 在本实施例中， 显示装置10同样包括一显示模块11、 一耦接于显示模块11的处理 模块 12 以及一耦接于处理模块 12 的收发模块 13， 其中显示模块 11 所显示的影像画面 30 为一游戏画面 ( 如图 4)， 互动式装置 20 则包括一摄像单元 21、 一耦接于摄像单元 21 的控 制单元 22 以及耦接于控制单元 22 的一信号传输单元 23、 一回馈单元 24 及一电力单元 25， 其各电路元件的。
28、功能皆与第一实施例相同， 故不多加赘述。 0035 与第一实施例不同的是， 在互动式装置 20 未置于显示模块 11 上时， 显示模块 11 会持续显示影像画面30， 直到显示模块11侦测到互动式装置20置于显示模块11上所产生 的触压信号， 显示模块 11 才会显示对应该触压位置的识别符号 31， 以供互动式装置 20 摄 像辨识。且特别说明的是， 由于显示模块 11 所显示的影像画面 30 为大富翁游戏画面， 故影 像画面 30 仅需要在特定的地方 ( 例如 ： 围绕在影像画面 30 周围的区域 ) 绘制识别符号 31 即可。 说 明 书 CN 103176599 A 7 5/5 页 8 。
29、0036 因此， 当使用者将互动式装置 20 移动于显示模块 11 上时， 显示模块 11 会显示对 应触压位置的识别符号31， 使摄像单元21可撷取该识别符号31， 并利用影像识别技术加以 识别， 信号传输单元23将此识别结果以无线的方式传送至显示装置10， 处理模块12经过信 号处理后即可得知互动式装置 20 相对于影像画面 30 的位置， 此为定位过程。定位完成后， 收发模块 13 将对应该位置的画面信号回传至互动式装置 20， 使得互动式装置 20 的回馈单 元 24 提供使用者回馈信息 50， 其包括显示位置信息、 物件信息等， 以达与显示装置 10 互动 的目的。 0037 参阅图。
30、 1 及图 5， 图 5 为本发明互动式系统的第三实施例， 其大致与第一实施例相 同， 惟不同之处在于， 本实施例的互动式系统 100 是用于医疗影像的三维 (3D) 显像， 该三 维显像技术包括计算机断层 (Computed Tomography， CT)、 磁振造影 (MagneticResonance Imaging， MRI)、 正子 / 计算机断层扫描 (PET/CT) 等。 0038 在本实施例中， 显示装置10同样包括一显示模块11、 一耦接于显示模块11的处理 模块 12 以及一耦接于处理模块 12 的收发模块 13， 其中显示模块 11 所显示的影像画面 30 为一断层扫描影。
31、像的口腔截面 ( 如图 5)， 互动式装置 20 则包括一摄像单元 21、 一耦接于摄 像单元 21 的控制单元 22 以及耦接于控制单元 22 的一信号传输单元 23、 一回馈单元 24、 一 电力单元 25 及一电子罗盘 26， 其各电路元件的功能皆与第一实施例相同， 故不多加赘述。 0039 当使用者将互动式装置 20 在显示模块 11 上移动时， 会连续辨识其相对于显示装 置 10 的位置 (x， y)， 并通过回馈单元 24( 显示器 ) 显示该位置 (x， y) 的垂直切面图。特别 说明的是， 此处所谓的垂直切面是指互动式装置20与显示装置10的画面垂直的切面， 即在 图 5 中，。
32、 互动式装置 20 的位置 (x， y) 为显示装置 10 上 L1 及 L2 线的交叉点， 且通过电子罗 盘 26 可感测互动式装置 20 与北方的夹角， 进而得知互动式装置 20 上的显示屏幕 ( 回馈单 元 24) 面向南方， 故互动式装置 20 显示在此位置 (x， y) 口腔的横向切面 (L1 方向切面 )。 同样地， 在图 6 中， 通过电子罗盘 26 而得知互动式装置 20 上的显示屏幕 ( 回馈单元 24) 面 向西方， 故互动式装置 20 显示在此位置 (x， y) 口腔的纵向切面 (L2 方向切面 )。因此， 通 过显示装置 10 与互动式装置 20 的互动， 使得互动式装。
33、置 20 可呈现口腔截面中不同方向的 立体影像。 0040 综上所述， 本发明互动式系统 100， 通过互动式装置 20 撷取显示装置 10 所显示的 影像， 并通过无线传输的方式与显示装置10相互沟通， 以使显示装置10得知互动式装置20 的位置并提供回馈信息， 如此显示装置 10 将不需要额外装设摄像设备而改变设计， 其制作 成本得以降低， 也更具可携性， 且显示装置 10 还可以同时定位多个互动式装置 20， 使多位 使用者可同时与显示装置 10 互动， 故确实能达成本发明的目的。 说 明 书 CN 103176599 A 8 1/6 页 9 图 1 说 明 书 附 图 CN 103176599 A 9 2/6 页 10 图 2 说 明 书 附 图 CN 103176599 A 10 3/6 页 11 图 3 说 明 书 附 图 CN 103176599 A 11 4/6 页 12 图 4 说 明 书 附 图 CN 103176599 A 12 5/6 页 13 图 5 说 明 书 附 图 CN 103176599 A 13 6/6 页 14 图 6 说 明 书 附 图 CN 103176599 A 14 。