本发明的目的在于为压缩和传输图像数据建议一种新型和改善的
方法,它尤其能克服上述的缺点。
根据本发明,该目的尤其通过独立权利要求的技术要点来解决。其
它的优选实施方案由从属权利要求和本说明书给出。
该目的尤其通过如下的传输和显示图像数据的方法来实现,其中,
-所述的图像数据从发送装置被传输到至少一个通信终端,并由图
像再现工具在所述的至少一个通信终端内进行显示,且确定通信终端用
户的当前视线,
-对应于整个图像区的第一图像数据利用较低分辨率通过第一传
输信道进行传输,
-所述的当前视线(22)通过反向信道被发送给所述的发送装置
(1),
-与所述用户在当前所观看的图像区相对应的第二图像数据利用
较高的分辨率通过第二传输信道进行传输,而且
-叠加并同时再现所述的第一和第二图像数据。
这有个优点,就是所述的第一图像数据通过第一传输信道(譬如广
播信道)进行传输,而只有与当前被观看的图像区相对应的第二图像数
据才通过第二传输信道(譬如昂贵的双向移动无线网)进行传输。由此
为边缘区采用比上述专利申请WO98/33315中更高的分辨率,而不会增
加经所述应付费用的移动无线网传输的数据量。
因此,可以通过广播信道以较低的分辨率把相同的图像数据发送给
所有的用户,而与各用户所观看的图像区相对应的图像数据则以较高的
分辨率通过第二传输信道被私下地发送给每个用户。
下面借助例子来讲述本发明的实施方案。该实施例是由如下附图示
出的:
在图1中,参考符号1涉及一种譬如可以由商用通信服务器组成的
发送装置,该通信服务器具有一些硬件和软件部分,以用于经两个不同
的传输信道4、7与许多通信终端8进行通信。参考符号10涉及譬如为
数字数据文件的图像数据,其内容可以通过合适的再现工具譬如以静态
画面或优选以动画的图像形式给用户9显示出来。该图像数据譬如可以
是数字化的图像序列(譬如电影或电视节目)或其它多媒体数据,譬如
譬如包含静态和/或动画数据和/或语音数据的HTML数据。在本发明的
一种变型方案中,图像数据10在那些特别感兴趣的、观看者最可能观
看的图像区和图像段中作了特殊标记,这在稍后还要详述。
图像数据序列通过发送装置1中未示出的定序器按顺序地读出,其
中,譬如在图像数据具有超文本控制单元的情况下,该顺序也可以选择
由用户9进行控制。该定序器譬如可以由硬件和/或软件模块组成,由
它们读取图像序列的图像,并将其送至(可选的)分段模块2。
分段模块2把图像划分成不同的段,如图2所示。为此使用了关于
各个观看者9的当前视线的信息A,譬如至少一个用户9的视线在当前
所对准的所有点22的坐标x,y。此外,还优选地接收或在所述分段模块
内求出一个或多个与当前被观看的点22的速度相对应的移动矢量23。
分段模块2借助该信息A来确定当前由至少一个用户9所观看的一
个或多个区域21。正如下面还要讲述的一样,该区域以较高的分辨率进
行压缩,并经传输信道7被传输给相应的用户。包括边缘区25在内的
整个图像利用另外的算法和较低的分辨率进行压缩,并经传输信道4被
发送给所有的用户。每个区域21的大小可以优选地与传输信道7的带
宽相匹配。典型地,每个高度压缩的区域21约占整个图像区的2~4%。
此外,在一种优选变型方案中,由分段模块2预先确定一个或多个
观察区域24。为此,所述的分段模块譬如可以考虑由所述移动矢量23
给出的目光移动、所观看的对象或图像上的人的移动、和/或图像数据
中被特殊标记的部分,譬如在多媒体图像数据情况下的超链接。分段模
块2譬如可以存储眼睛和/或图像上被观看的对象的相继位置,并譬如
借助合适的回归函数预先确定下一个期望的视线,其中可以人为地标记
某些经常观看的区域。
在图2所示的变型方案中,各个图像区21、24、25是矩形的。但
它们也可以是其它形状和具有不同的大小,并可以部分或完全地重叠。
远离观察点的图像区25被发送给第一编码模块3,在那儿譬如借助
MPEG算法或在静态画面的情况下利用JPGE或GIF算法进行压缩。第一
编码模块3优选地使用空间、时间和色度压缩方法。此外,该第一编码
模块还优选地执行差错编码和信道编码。
然后,由编码模块3编码过的图像区被发送机4以广播模式发送出
去,并由此可以被许多接收机8借助广播接收机80进行接收。所述的
发送机4譬如可以以DAB或DVB(数字音频广播或数字视频广播)图像
数据、电视数据(譬如被数字编码的电视数据)、或TCP-IP数据而经因
特网等进行发送。由编码模块3准备的数据甚至可以被复制到磁和/或
光数据载体上,譬如复制到CD或DVD上,并利用该方式进行销售和让
许多用户买到。
由通信终端8内的第一接收机80接收到的图像数据被复制到第一
高速缓冲存储器81中,其中优选地存储由多个相继的单图像组成的图
像区25。利用该方法可以补偿经由两个传输信道4和7的变化传输时
间。
由分段模块从当前和将来被观看的图像区21和24中选出的数据被
送至第二编码模块5,该编码模块利用一种视网膜中心压缩函数来压缩
当前或将来被观看的每个区域21、24,也就是说利用在上述专利申请
WO98/33315中所讲述的函数,即:以结果的形式给观察点22附近的图
像数据提供一个比其它较远的图像区更高的分辨率。在本发明的一种优
选变型方案中,所述的视网膜中心函数的至少某些参数可以取决于第二
传输信道的带宽。此外,所述的第二编码模块5还优选地执行差错编码
和信道编码。
由第二编码模块5编码的每个图像区21通过第二传输信道7被发
送给所有正在观看该图像区的所有用户9,并由此可以被该用户借助通
信终端8内的第二接收机83(譬如移动无线终端)进行接收。所述的第
二传输信道7是一种双向的通信信道,它几乎允许实时的通信连接,譬
如公共交换电话网、遵照GSM或UMTS的数字移动无线网、譬如遵照ISDN
的固定网、或譬如为因特网的TCP-IP网。
在一种未示出的本发明变型方案中取消了所述的分段模块2,而且
所有单图像10被传送给两个编码模块3和5。在该情形下,所述的第一
编码模块3可以是压缩所有单图像的所有区域21、24和35的标准化模
块。所述的第二编码模块5可以按照视网膜中心函数来压缩所有的图
像。
通信终端8优选地是可以便携和电自主的,而且优选以袖珍设备的
形式进行制造。在电信网7是移动无线网的实施方案中,至少某些通信
终端8是移动无线设备,譬如也包含有广播接收机80的移动无线电话
或具有通信能力的膝上型或掌上型电脑。这种组合式通信终端譬如在专
利申请WO99/60712和WO99/60713(两者均是以瑞士电信股份公司的名
义)中曾讲述过。移动无线终端83譬如可以借助GPRS业务(通用分组
无线业务)或按照合适的协议在有用信道中经移动无线网7交换数据。
譬如为DVB接收机的第一接收机80和譬如为UMTS终端的第二接收机83
优选地被组合在单独的单元内(譬如在单个的机壳内),但也可以集成
为多个相互连接的单元。在后一种情形下,所述的两个单元优选地通过
譬如IrdA、蓝牙或HomeRF等非接触式接口进行连接。
由通信终端8内的第二接收机83接收的图像数据被复制到第二高
速缓冲存储器84中,其中在该第二高速缓冲存储器84内存储多个相继
的图像区21或24。
由通信终端8内的叠加模块82读取两个高速缓冲存储器81、84中
的图像数据,并对它们进行叠化。为此,两个高速缓冲存储器中的每个
图像区21、24、25优选地具有一个号,它给出了所述图像区属于哪个
单图像,以便能补偿经由两个传输信道4和7的不同传输时同。模块82
在第二高速缓冲存储器84中选择的图像区21、24是根据当前所观看的
图像区而被选出的。如果所述的高速缓冲存储器足够大,则也可以利用
它并通过相应的用户指令来暂停读取所存储的图像数据,以及对该读取
进行重启和/或正反向卷动等。
随后,与由模块82所混合的图像数据相对应的图像信号可以通过
通信终端8的显示装置85再现出来。在本发明的一种优选变型方案中,
所述的显示装置由所谓的虚拟视网膜显示装置(VRD)组成,由它把所
述的图像信号投射到通信终端8的用户9的眼睛视网膜上。这种VRD显
示装置曾在专利申请WO 94/09472和WO 97/37339中讲述过。通过合
适的接口可以给该显示装置85提供不同格式的图像数据。
通信终端8的显示装置85和其它组件可以实施在共同或分开的单
元中,其中,处于第一单元内的显示装置85可以通过有线或无线接口
与第二单元的组件连接起来。
如图1的简图所示,通信终端8包括一个视线测量模块86,它可以
确定用户9的视线x,y。这种视线测量模块(眼睛跟踪系统ETS)同样
也在上述专利申请WO 94/09472中讲述过。关于视线x,y的信息A被送
至模块82,这样,该模块82便可以象上文所述的那样确定出应从第二
高速缓冲存储器84中读取哪个图像区21、24。随后,该信息A被传送
给发送-接收机83,并通过一个未示出的模块与用户特有的信息进行逻
辑连接,然后经第二传输信道7的反向信道实时地从发送-接收机83被
传输给所述的发送装置1。根据第二传输信道的类型,该信息A譬如可
以以USSD信号的形式或优选地通过有用信道或数据信道进行传输。
在一种实施方案变型中,所述的视线优选地借助一个相对于用户头
部而被安装在眼镜上的测量模块来进行测量,在该模块中优选地测量至
少一个眼睛的瞳孔。
在另一实施方案变型中,所述的视线优选地借助一个相对于用户头
部而被安装在眼镜上的测量模块来进行测量,并且借助一个测量系统-
优选地是一个安装在用户头部的惯性系统-来测量用户头部9相对于外
部参照物的位置和/或定向。于是可以给用户9投射图像数据,这些图
像数据大于用户的整个视角,且其内容在用户转动头部时可以移动。因
此,当前的视线22是与有效观察区21相联系的。利用该方法可以给用
户显示角度非常宽的影片。
优选地,类似于视线A而被发送回的所述附加的用户特有信息包括
有一个用户标识,该用户标识譬如被存放在个人识别模块830(SIM卡)
中。此外,该附加信息还可以包含用户9的其它指令(譬如在所显示的
图像包含超链接的情况下由用户选择的URL)或其它菜单选项。该附加
信息可以共同或分开地传输。至少某些附加信息可以被加密和/或作电
子签名。
在发送装置1中,所接收的关于当前视点x,y的信息A被分段模块
2用来确定当前被观看的图像区21和在必要时预先确定出将来的图像区
24,以及把该图像区21、24传送给所述的编码模块5。
以附加信息形式被传输的用户标识可以被发送机侧的结算中心6加
以使用,由该结算中心对图像数据的观看进行结算。结算的金额譬如可
以直接计到存储在识别模块830中的预付金额、银行帐户或信用卡上,
或者通过结算单(譬如作为电话计费的一部分)来提供,并且譬如按照
有关图像数据的每个时间单位、每个有关的标题、每个附加的信息或页
面来进行结算,以及/或者结合预订者来进行结算。与用户有关的结算
调整(譬如优选的结算地址和结算方式)可以存放在结算中心的用户数
据库80内。结算中心可以综合在发送装置1内,或作为变型方案也可
以由其它的机构(譬如由网络7的运营商)来管理。
选择指令和由通信终端8的用户9输入的、并作为附加信息经第二
传输信道7传输的指令由所述未示出的定序器进行接收和作进一步处
理,这样便收到譬如由用户请求的图像数据-譬如子标题、HTML或WML
页、语音序列等等-,并经所述的两个传输信道将其传输给所述的通信
终端4。
本发明尤其适用于把图像数据1(譬如电影或电视节目)同时地传
输给多个用户9,其中,共同的数据通过广播信道4进行发送,而取决
于个人视线的数据则通过寻址信道7传输。但它也可以应用于在两个通
信对方之间具有图像传输的可视会议和电话。因此,考虑到取决于眼睛
生理的分辨率需要,图像数据的传输可以在通信信道4和7的最大预定
带宽范围内进行匹配。
尽管本发明较详细地讲述了GSM移动无线网的特殊实施例,但专业
人员应当理解,所述的方法尤其也可以与其它类型的移动和固定网一起
使用,譬如与AMPS、TDMA、CDMA、TACS、PDC、HSCSD、GPRS、EDGE或
UMTS移动无线网一起使用,尤其是与具有WAP(无线应用协议)能力的
移动无线网一起使用。另外,本发明还可以用于其它网络、尤其是因特
网。