遥控设备、远端设备、多媒体系统及其控制方法技术领域
本发明涉及遥控设备、由遥控设备控制的远端设备、包括遥控设备和远
端设备的多媒体系统及其遥控方法。
背景技术
近年来,移动电话等便携设备已经成为日常生活中不可缺少的工具。随
着技术的不断进步,移动电话已经不仅仅限于打电话、发送短信息等等这样
的通信用途,随着智能移动电话的出现,通过安装各种软件,移动电话可以
扮演游戏中心、媒体中心、办公助手等各种不同的角色。另外,在智能移动
电话的基础上,也出现了屏幕更大的平板电脑等便携设备,极大地丰富了移
动便携设备的品种。
另外,由于屏幕面积和性能所限,便携设备还是不能满足很多需要,仍
然有很多应用程序需要比如电视机等设备来执行。另一方面,电视机所使用
的传统遥控器的键位排列固定不变,因为操作的程序不同因而会产生种种的
使用障碍。比如这样的传统遥控器中往往尽可能地设置有对应于各种功能的
键,势必导致每个键都很小,当要遥控的程序比如音乐播放等不需要用到所
有的键的情况下,对于不熟悉该遥控器的人来说,寻找对应于该程序的特定
键存在困难,而且由于键很小,也不容易操作。另外,遥控器与电视机的连
接方式通常是采用红外线连接,这样也导致遥控器的信号有时候因环境条件
而无法顺利达到电视机。
由于上述种种原因,具有可切换画面的触控屏幕并且数据连接方式多样
的手机成为代替上述传统遥控器的候选,通过移动电话等便携设备来对电视
机等设备进行遥控的需求越来越多,随之各种能够通过被安装到便携设备上
从而对电视机等设备进行遥控的软件应运而生。
记载了这样的技术的现有技术很多,比如中国CN201789547U中就公开
了一种手机兼做电视遥控器的发明,但是根据其说明书的内容可知,该技术
的基础是其需要设计一套特定的硬件平台来支持遥控功能,因此导致该技术
并不具有通用性。
另外,美国US6,989,763B2的文献中也公开了一种基于网络的通用遥控
器,但是这需要在特定的PDA操作平台中安装遥控器程序才能使用。由于操
作平台的限制也大大缩小了该技术的应用范围。
除了上述两篇现有技术文献之外,市面上出现的所有能够对媒体设备进
行遥控的软件都是基于某一特定平台开发的,只有预先安装在对应的系统中,
才能够正常使用,因此都不具有通用性。
发明内容
本发明鉴于上述问题而完成,其目的在于提供一种能够在任何具有通讯
功能的设备上运作而与该设备的硬件和系统配置无关的遥控设备、由遥控设
备控制的远端设备、包括遥控设备和远端设备的多媒体系统及其遥控方法。
为了实现本发明的目的,本发明提供一种遥控设备,包括:通信单元,
与远端设备建立连接,并进行通信;操作单元,通过用户操作而操作所述远
端设备中的特定程序;以及模式改变单元,根据所述远端设备响应于所述操
作单元中的所述操作而反馈的与所述特定程序相关的反馈信息,切换所述遥
控设备中的操作模式。
另外,本发明提供一种远端设备,包括:通信单元,与遥控设备建立连
接,并进行通信;以及反馈单元,根据所述遥控设备对所述远端设备中的特
定程序的操作,对所述遥控设备反馈与所述特定程序相关的反馈信息。
另外,本发明提供一种多媒体系统,包括遥控设备和远端设备,其中,
所述远端设备包括:远端设备侧通信单元,与所述遥控设备建立连接,并进
行通信;以及反馈单元,根据所述遥控设备对所述远端设备中的特定程序的
操作,对所述遥控设备反馈与所述特定程序相关的反馈信息,所述遥控设备
包括:遥控设备侧通信单元,与所述远端设备建立连接,并进行通信;操作
单元,通过用户操作而操作所述远端设备中的所述特定程序;以及模式改变
单元,根据从所述远端设备反馈的所述反馈信息,切换所述遥控设备中的操
作模式。
另外,本发明提供一种多媒体系统中的控制方法,所述多媒体系统包括
遥控设备和远端设备,所述控制方法包括:连接步骤,所述遥控设备与所述
远端设备建立通信连接;操作步骤,通过用户操作所述遥控设备而操作所述
远端设备中的特定程序;反馈步骤,所述远端设备响应于所述操作单元中的
所述用户操作而反馈的与所述特定程序相关的反馈信息;以及模式改变单元,
所述遥控设备根据在所述反馈信息,切换本身的操作模式。
本发明能够提供在任何具有通讯功能的设备上运作而与该设备的硬件和
系统配置无关的遥控设备、由遥控设备控制的远端设备、包括遥控设备和远
端设备的多媒体系统及其遥控方法。
附图说明
图1是表示本发明的多媒体系统的方框图。
图2是表示本发明的多媒体系统中的遥控器和远端设备之间的控制的示
意图。
图3是表示本发明的多媒体系统中的控制方法的流程图。
图4是示出本发明的遥控器和远端设备之间进行的基于WebSocket方式
的操作控制的概念图。
图5是示出本发明的遥控器和远端设备之间进行的基于服务器推送
(Server-push)方式的操作控制的概念图。
图6是表示本发明的一个例子的多媒体系统中遥控器中的画面随着程序
的变化而切换的示意图。
图7(a)~图7(d)是表示本发明的一个例子的多媒体系统中遥控器中
切换的画面的示意图。
图8是表示本发明的另一个例子的多媒体系统中遥控器中的画面随着程
序的变化而切换的示意图。
图9(a)~图9(c)是表示本发明的另一个例子的多媒体系统中遥控器
中切换的画面的示意图。
图10是表示遥控器的键盘映射的一例的图。
具体实施方式
下面,结合具体的实施例,结合附图来对本发明进行说明。需要注意的
是,下面的说明仅仅是为了使本发明的技术内容和技术思想得到明确而进行
的例示,其中举出的具体数值以及技术标准等只要没有特别的事先说明就仅
仅是一个例子,不应将本发明的范围限定于上述具体的数值以及技术标准。
图1是表示本发明的多媒体系统的方框图。图1中示出了本发明的多媒
体系统,其中包括遥控器1以及作为被遥控设备的远端设备2。通过遥控器1
和远端设备2之间的交互通信可以进行遥控器画面、操作声音和操作方式等
操作模式的切换。在此,作为遥控器1的例子可以举出手机和平板电脑,作
为被遥控设备2的例子可以举出电视机,但是遥控器1和被遥控设备2并不
限于上述例子,只要是支持HTTP等广泛使用的数据传输协议并具有数据通
讯功能的设备即可。
如图1所示,遥控器1包括模式改变单元11、用于用户输入操作指令的
用户接口即操作单元12以及用于与远端设备2或外部服务器3进行通信的通
信单元13。其中,模式改变单元11基于通过通信单元13与远端设备2的通
信而从远端设备2获得的信息而更改遥控器1的操作模式。另外,如图1所
示,远端设备2包括反馈单元21以及与遥控设备建立连接并进行通信的通信
单元22。其中,反馈单元21根据遥控器1对远端设备2中的特定程序的操
作,对遥控器1反馈与该特定程序相关的反馈信息。另外,通信单元13与远
端设备2或外部服务器3进行通信的方式可以是有线网络、Wifi、蓝牙、红
外线等多种连接方式。
下面参照图2说明本发明的多媒体系统中的具体操作。图2是表示本发
明的多媒体系统中的遥控器1和远端设备2之间的控制的示意图。如图2所
示,遥控器1可以运行在支持HTML5浏览器的手机和平板电脑等电子设备
上,操控的对象可以是装有WS系统的远端设备,如电视机。
用户通过对操作单元12进行操作,从而在遥控器1与远端设备2之间建
立WebSocket连接。在建立WebSocket连接之后,用户可以通过按键、语音
或传感器等操作运行于远端设备2的操作系统。这里作为一个例子,可以通
过在遥控器1中通过操作单元12操作其中安装的浏览器,从而输入指令而连
接到远端设备2,但本领域技术人员应当知道,连接方式并不限于通过浏览
器进行,也可以通过其他界面或操作方式进行。作为一个例子,例如在外围
设备2中显示或者在其外壳上印刷QR码(QR码是二维条码的一种,QR是
“Quick Response”的缩写,即快速反应的意思),配置有摄像头的遥控器1等
通过该摄像头等读取QR码,从而建立实现两者之间的连接。
当用户通过操作遥控器1而使远端设备2进入特定的应用程序后,远端
设备2会发送与当前运行的程序相关的信息到遥控器1。遥控器1通过通信
单元13获得上述信息,并根据获得的信息,切换到即时对应应用程序状态的
操作模式。新的操作模式会包含应用程序即时状态的信息,并提供新的操作
方式,新的反馈和响应声音等。
随着用户对远端设备2操作的持续进行,遥控器1的页面变化也会持续
进行。
当用户通过操作遥控器1选择在远端设备2中退出上述启动了的应用程
序之后,遥控器1会自动切换回默认操作模式,继续执行对远端系统系统的
操作。
当用户退出浏览器,或用户退出当前操作的界面时,遥控器自动断开
WebSocket连接,结束对远端设备的控制。
图3是表示本发明的遥控方法的流程图。首先,遥控器1与远端设备2
建立通信连接(S1);然后,通过用户操作遥控器1的操作单元12而操作远
端设备2中的特定程序(S2);接着,远端设备2响应于操作单元2中的所述
用户操作而反馈与该特定程序相关的信息(S3);最后,遥控器1根据远端设
备所反馈的信息,切换本身的操作模式(S4)。
图4是示出遥控器1和远端设备2之间进行的基于WebSocket方式的操
作控制的概念图。
如图4所示,在每一个远端设备2中都安装一个WebSocket服务器。通
过用户操作遥控器1的浏览器,从而首先与WebSocket服务器建立WebSocket
连接。
当连接建立之后,用户可以操作遥控器1通过默认界面控制远端设备2。
遥控器1的这些控制信息,被传到WebSocket服务器端的事件代理
(EventProxy)。事件代理会调用对应事件的库文件,在远端设备2上模拟运
行对应的动作。
当用户打开一个具体的应用程序,控制视图管理器
(ControlViewManager)会与WebSocket服务器端建立Socket连接,将应用
程序启动的对应信息传递给WebSocket服务器端的视图发送器
(ViewDispatcher)。视图发送器会通过WebSocket将应用程序启动信息广播
到客户端即遥控器1。这些信息包括了:遥控器1客户端对应界面访问的网
址、当前遥控器1端要显示的界面的ID,即用于对要下载的界面进行识别的
识别符。
在遥控器1端,当得到这些信息后,从通过通信单元13访问从WebSocket
服务器得到的例如图1中所示的外部服务器3的网址,并下载对应控制程序
的界面,同时在当前显示界面中显示对应ID的界面。这里,考虑到通讯的实
时性而避免直接发送数据量较大的界面数据而是发送其下载的网址以及ID,
但对实时性要求不高或者界面数据是其传送不会影响通讯的实时性的大小的
情况下,也可以从远端设备2直接对遥控器1提供界面数据。
此时用户获得一个新的控制界面,这个新的界面将加载不同的界面和操
控方式,可以对WebSocket服务器发送不同的事件信息。当触发这些事件时
候,WebSocket服务器端事件代理将新的事件信息传递给应用程序,应用程
序根据程序具体的变化判断是否需要更新遥控器1端的界面。如果需要更新,
更新信息会同样从视图发送器端发送。以此往复,直到用户断开遥控器1与
远端设备2即电视机的连接。
这里事件代理21可以通过WebSocket与客户端的遥控器1进行双向的连
接,但当不需要更新整个界面,而只需要更新当前界面某些数据时,事件代
理会参与进来,发送信息给Web遥控器端,客户端接收数据后会自动更新。
这种情况主要是出现在同一程序内的界面切换。
上面,介绍了基于HTML5的WebSocket方式在遥控器1和远端设备2
之间进行的具体操作的实例。但是在遥控器1和远端设备2之间的连接也可
以是非基于HTML5的其他基于HTTP的连接方式,甚至也可以是基于HTTP
以外的其他的通用的数据传输协议的连接方式。
下面,参照图5介绍一种非基于HTML5方式的连接方式。
图5是示出客户端即遥控器1和服务器端即远端设备2之间进行的基于
服务器推送(Server-push)方式的操作控制的概念图。另外,在本实施例中,
对于功能相似或相同的部分赋予相同的标号并省略说明。
由于并非所有的设备都支持HTML5,因此对于不支持HTML5的
WebSocket的浏览器,也可以使用服务器推送技术替代WebSocket技术以达
到相同效果。
与上述基于HTML5方式的多媒体系统相同,如图5所示,本实施例的
多媒体系统包括客户端即遥控器1和服务器端即远端设备2。
客户端的javascript库(IO Lib)封装了基于长轮询/回调轮询
(long-polling/callback-polling)的实现方式,并提供跟WebSocket一致的接
口。
客户端和服务器端通过传输低延迟的异步消息(通过http协议)进行通
讯。
服务器端负责协议消息的解析,消息的路由以及轮询时序控制。
当遥控器1连接到作为远端设备2的电视机时,通过订阅(Subscribe)
的方式告诉服务器,并通过AJAXrequest建立初始轮询,如果电视机有数据
要发送到遥控器1,则服务器马上返回数据,否则服务器维持一个连接,直
到电视机有有效数据后才返回数据。
如图5所示,遥控器1的请求经过解析后交由消息路由器进行派发,如
果消息队列里(事件代理和视图发送器)有数据则立即返回,否则将此请求连接
交给连接维护模块,当消息队列更新时通知连接维护模块进行数据发送。该
方式可以最大程度的减少用于轮询的HttpRequest,减少通信负荷,同时大大
增加通信的实时性。
上面介绍了通过建立基于HTML5的WebSocket方式连接以及非基于
HTML5的服务器推送方式的连接,但如上面所说明的,只要是基于通用的数
据传输协议的连接方式都在本发明的保护范围之内。
下面,参照图6介绍本发明的一个例子的多媒体系统中遥控器1中的画
面随着程序的变化而切换的例子。
图6中,远端设备2是一台装有Web服务器的电视机,遥控器1是一台
安装了支持HTML5的浏览器的手机。
当用户操作遥控器1通过浏览器连接到远端设备2后,首先从远端设备
2发送来默认界面,作为一个例子,如图7(a)所示,默认界面提供了一般
五项键的基本功能:上、下、左、右、进入、退出。通过默认界面,用户可
以对远端设备进行简单的操作。
当用户操作遥控器1启动了远端设备2中的应用,例如媒体播放器(MP)
时,远端设备2会发送画面切换的信息给遥控器1,切换到MP的默认控制界
面文件夹视图(Folder View),在这个控制界面中,用户可以对远端设备2的
本地媒体文件夹进行各种操作,例如删除、增加文件夹等。
当用户通过文件夹视图的控制界面进入一个特定的文件夹,远端设备2
会发送信息,切换遥控器1到如图7(b)所示的媒体视图(Media View)控
制界面。此时,相比文件夹视图的控制界面,媒体视图的控制界面在整体布
局上没有太大变动,只是代替进入文件夹选项而增加了播放功能选项,以适
应当前远端设备2的状态。
当用户点击播放,远端设备2会对选中的多媒体文件进行播放,此时遥
控器1会根据远端设备2发送回来的反馈信息切换到如图7(c)所示的播放
视图(Play View)界面,该播放视图界面中同样在整体布局上没有太大变动,
只是置换了控制按钮,提供放大、缩小、旋转、播放等功能。
当用户结束了MP的使用而选择退出MP时,遥控器1会自动切换回图7
(a)所示的默认界面,以备用户选择其他的应用程序。
例如,此时当用户选择远端设备2安装的《冒险岛》游戏,并进入游戏,
遥控器1又会根据远端设备2发回的反馈信息,切换到冒险岛游戏相关的控
制界面(如图),然后对游戏进行开始、控制、存档、退出等各种操作。
遥控器1按照以上介绍的方式正常运行。当用户断开与远端设备2的连
接或者关闭控制界面,遥控器1会交出对远端设备2的控制。
通过上述的例子可知,本发明的遥控器1中,不仅以随着远端设备2中
运行的程序不同而切换为与各个程序对应的界面,而且即便在同一应用程序
中,也会随着事件的不同而进行界面的切换。并且,在不需要界面整体的切
换的情况下,还可以在大致相同的界面框架下进行局部调整以切换所需的功
能选项。因此,本发明能够提供给用户最细致的操控感觉。
下面,参照图8介绍本发明的另一个例子的多媒体系统中遥控器1中的
画面随着程序的变化而切换的例子。
在本实施例中,与参照图6介绍的多媒体系统的不同之处在于,在本实
施例的多媒体系统中包括两个遥控器(遥控器1a和遥控器1b),两个遥控器
可以同时接入一个远端设备2并且在同一个Web应用中进行互动,其控制权
的获得及相关的数据更新,由Web应用决定。另外,本例中虽仅仅然列举了
两个遥控器,但实际上根据应用程序的内容等的不同,也可以有更多的遥控
器加入该多媒体系统之中,这对于本领域技术人员是不言而喻的。
仍然以上述的《冒险岛》这个游戏为例进行说明,首先,用户A的遥控
器1a建立与远端设备2的连接,远端设备2发送给用户A其对应的如图9(a)
所示的操作界面1。由此用户A的遥控器1a获得了游戏角色1的控制权。
然后,用户B的遥控器1b随后接入远端设备2,远端设备2根据已经分
配的游戏角色、未分配的游戏角色及控制权分配规则,向用户B反馈信息,
将游戏角色2的控制权分配给用户B。用户B的遥控器1b切换到对应的如图
9(b)所示操作界面2。
当用户A和用户B的遥控器1a和1b先后完成了与远端设备2的连接之
后,对战游戏开始,用户A与用户B的遥控器1a和1b保持与远端设备2的
连接。各个用户通过其操作的遥控器1a或1b发送操作指令给远端设备2,同
时从远端设备2不断更新状态信息。例如用户A通过操纵自己的操作游戏角
色来攻击用户B的操作游戏角色,对用户B的控制游戏角色造成了伤害。在
这个控制的过程中,用户A发送攻击的指令,传输给远端设备2,远端设备
2根据计算判断用户B受到的伤害,从而发送相应的反馈信息给用户B的遥
控器1b,用户B的遥控器1b接收到反馈信息之后,更新用户B操作游戏角
色的状态,相应地改变遥控器1b中的界面。比如将显示的用户B操作游戏角
色的图像改变为受伤的图像等等。
当用户A击败用户B,用户B的遥控器1b会收到远端设备2发送过来
的切换显示界面的指令,用户B的遥控器1b切换到如图9(c)所示的失败
界面。
在本实施例中,通过使多个用户能够参与到同一应用程序(比如游戏程
序)中,从而使用户之间的操作能够互相影响,从而达到互动的目的,提供
给用户更多的体验。
另外,在上述各个实施例中,介绍了通过在程序切换时改变遥控器1中
的界面来给用户提供与程序完美匹配的界面的内容。但是,如上所述,在遥
控器1中不仅可以切换显示的界面,伴随界面的切换,或者在界面的切换之
外,还可以对操作音、背景音以及操作方式(屏幕、键盘或传感器)进行操
作,从而提供丰富的操作体验。
下面,介绍除了通过在遥控器1中切换显示界面之外的,随着程序变化
而切换遥控器1中的操作模式的例子。
在安装了任何支持HTML5技术的浏览器的设备中,遥控器1可以应用
设备的各种输出部件,如LCD显示屏、LED指示灯、语音输出设备、振动器
等。
在以LCD显示屏作为主要输出部件并且遥控器1安装了浏览器时,用户
可以通过LCD屏,显示从远端设备2传输过来的信息。通过改变遥控器1的
可视画面,提供不同的输入和响应方式,例如文字输入、按钮反馈等,作为
主要的控制方式,对远端设备2进行操控。其可视化的特点,提高了用户操
作的便捷性,同时实时更新的操作界面,丰富了用户的操作的方式和信息。
在以LCD显示屏作为主要输出部件但是遥控器1没有安装浏览器时,用
户可以通过特定的应用程序,建立遥控器1与远端设备2的连接,通过LCD
屏展示和切换远端设备2传输过来的信息。
在以非LCD显示屏作为主要输出部件时,遥控器1可以通过特定的应用
程序,改变各种其他的输出部件状态,来与用户进行各种基本的交互。
1)可以通过LED灯,根据灯光闪烁和排列的约定规则,提示远端设备2
的状态和信息。
2)可以通过键盘,根据远端设备2反馈回来的信息,在遥控器1端组成
不同的可用键盘排列,使一些按键失去输入的功能,而一些有用的按键例如
通过LED等指示灯被显示和突出出来,形成当前状态下独特的输入模式即键
盘映射,如图10所示。如图10所示,当远端设备2在某一特定状态下,遥
控器1端的键盘输入设备,只有2个按钮可以进行输入,通过这两个按钮各
自功能或相互组合向远端设备发布各种指令。
3)可以通过语音输出设备,当前的遥控器1会根据远端设备2返回的信
息,进行各种的语音提示。用户可以通过语音输入向远端设备2发出各种指
令,已达到交互目的。
4)可以通过各种传感器,例如根据远端设备2返回的信息,通过遥控器
1的震动方式提示远端设备2状态变化。
上面,结合实施例,参照附图说明了本发明,通过本发明的遥控设备、
远端设备、多媒体系统及其控制方法,能够在任何具有通讯功能的设备上运
作而与该设备的硬件和系统配置无关。
另外,说明书中记载的各个实施例中的各个构成要素可以适当地互相组
合,并且该组合在本发明的保护范围之内。