媒体处理方法和配置方案.pdf

上传人:Y94****206 文档编号:5864233 上传时间:2019-03-26 格式:PDF 页数:50 大小:1.17MB
返回 下载 相关 举报
摘要
申请专利号:

CN201080015678.7

申请日:

2010.01.22

公开号:

CN102388378A

公开日:

2012.03.21

当前法律状态:

驳回

有效性:

无权

法律详情:

发明专利申请公布后的驳回IPC(主分类):G06F 15/16申请公布日:20120321|||实质审查的生效IPC(主分类):G06F 15/16申请日:20100122|||公开

IPC分类号:

G06F15/16

主分类号:

G06F15/16

申请人:

数字标记公司

发明人:

B·L·戴维斯; T·F·罗德里格斯

地址:

美国俄勒冈州

优先权:

2009.02.12 US 61/152,226; 2009.03.16 US 61/160,660; 2009.04.08 US 61/167,828; 2009.06.24 US 12/490,980

专利代理机构:

北京尚诚知识产权代理有限公司 11322

代理人:

龙淳

PDF下载: PDF下载
内容摘要

本技术涉及将手机和其它便携式设备与(电子和实体的)媒体内容和其它系统(例如电视、数字视频录像机和电子节目指南)结合使用。一些方面允许用户容易地将显示内容从手机屏幕转移到电视屏幕上以便于观看,或者允许用户容易地将显示内容从电视屏幕转移到手机屏幕上以获得内容便携性。另一些方面使用户能够互动地参与到娱乐内容中。本技术的另一些方面涉及节目目录数据库,其根据监视并识别经过联网计算机的内容业务流的网络节点所报告的信息自动编制。通过识别驻留在大量不同存储库(例如,网站、TV网络、P2P系统等)中的内容,这样的目录允许手

权利要求书

1.一种方法,包括以下操作:
接收来自多个分布式计算机节点的报告数据,所述报告数据指示
在所述节点处通过使用数字水印或指纹技术而自动检测到的视频娱乐
内容;
从所述节点中的至少某些节点,另外接收时间安排数据,所述时
间安排数据详细描述公开通过一个或多个内容分发商获得检测到的视
频娱乐内容的可获得性;以及
采用以节目为中心的目录的形式将所述数据中的至少某些呈现给
用户,所述以节目为中心的目录详细描述信源和时间安排,用户指定
的视频内容可以通过所述信源和所述时间安排而被获得以供观看。
2.如权利要求1所述的方法,其中所述以节目为中心的目录识别
至少两种类型的输出口,所述用户指定的视频内容可以从所述输出口
获得以供观看,其中所述输出口的类型是从电视网络、网站和对等网
络中选出的。
3.一种方法,包括以下操作:
在视频娱乐内容的分发商处,接收来自视频娱乐内容的信源的视
频娱乐内容;
从所接收的视频娱乐内容中检测数字水印或指纹识别数据;
通过参考检测到的识别数据,向远程节目目录数据库报告所述内
容存在于所述分发商处;
还向所述远程节目目录数据库报告时间安排信息,所述时间安排
信息规定时间安排,所述视频娱乐内容将通过所述时间安排而被提供
给公众;
其中所述报告允许自动编制节目目录数据库,所述节目目录数据
库可由公众使用以识别用于获得视频娱乐内容的信源和时间安排。
4.一种将视频游戏从第一屏幕转移到第二屏幕的方法,其中所述
屏幕中的一个形成用户手机的一部分,所述第一屏幕具有与所述第一
屏幕关联的第一处理器,并且所述第二屏幕具有与所述第二屏幕关联
的第二处理器,所述方法包括以下操作:
在与第一和第二处理器不同的远程处理器上执行视频游戏软件;
将执行所述视频游戏软件而得到的输出转换为视频流;
将所述视频流发送给所述第一处理器,以便显示在所述第一屏幕
上;
在所述第一处理器处接收与游戏有关的用户输入,并将所述用户
输入发送给所述远程处理器以进行响应性操作;以及
响应于用户指令,将所发送的视频流的目的地从所述第一处理器
变更为所述第二处理器;
其中用户可以在玩游戏期间在手机屏幕和不同的屏幕之间转移游
戏。
5.一种用于将视频娱乐内容从第一屏幕转移到第二屏幕的系统,
所述系统包括含有所述屏幕中的一个屏幕和相关联的处理器的手机,
所述系统还包括与所述第二屏幕相关联的第二处理器,所述系统还包
括内存,所述内存含有用于配置所述处理器中的一个处理器以呈现用
户界面控制的指令,所述用户界面控制可由用户激活以启动视频娱乐
内容从所述第一屏幕到所述第二屏幕的转移,所述系统还包括响应于
所述用户界面控制,而将所述视频娱乐内容从所述第一屏幕转移到所
述第二屏幕的装置。
6.一种使用户参与视频娱乐内容的方法,包括以下操作:
向用户呈现视频娱乐内容;
接收通过用户手机提交的用户输入;以及
根据所述接收到的用户输入来使所述视频娱乐内容得到适应性修
改。
7.如权利要求6所述的方法,其中所述用户输入包括音频。
8.如权利要求6所述的方法,其中所述用户输入包括音频,并且
通过将所述音频的至少一部分包含到所述内容中来使所述视频娱乐内
容得到适应性修改。
9.如权利要求6所述的方法,其中所述用户输入包括通过用户移
动手机而发出的手势输入。

说明书

媒体处理方法和配置方案

相关申请数据

在美国,本申请要求2009年4月8日提交的第61/167,828号、2009
年3月16日提交的第61/160,660号和2009年2月12日提交的第
61/152,226号临时申请的优先权,通过引用将这些临时申请结合在本文
中。

技术领域

本技术涉及手机和其它便携式设备,并且更特别地涉及将这样的
设备与(电子和实体的)媒体内容和其它系统(例如电视、数字视频
录像机和电子节目指南)结合使用。

背景技术

本技术以本受让人在先前的专利申请中公开的技术为基础,并且
是本受让人在先前的专利申请中公开的技术的延伸。因此读者可参考
(通过引用而结合在本文中的)下列申请,这些申请详细描述了申请
人期望本技术以什么样的配置方案得到应用,并且这些申请在技术方
面补充本公开的内容:

2008年11月14日提交的序列号为12/271,772的申请,其名称为
Content Interaction Methods and Systems Employing Portable Devices;

2009年2月5日提交的序列号为61/150,235的申请,其名称为
Second Screens and Widgets;

2009年3月3日提交的序列号为61/157,153的申请,其名称为
Narrowcasting from Public Displays,and Related Methods;以及

2009年6月12日提交的序列号为12/484,115的申请,其名称为
Methods and Systems for Content Processing。

这些早期专利申请详细描述了手机如何能够监视或监听用户环境
并识别来自该环境的内容(例如媒体对象或实体对象)。然后可使用手
机帮助完善用户体验。

发明内容

本公开详细描述了各种各样的进一步改进和创新。

例如,根据下文详细描述的技术的一个方面,手机没有必要监视
或监听用户环境。猜测通常足以。手机或其它设备可基于各种因素(日
时、用户位置、电视位置、用户观看历史、其它个人资料数据(profile 
data)、EPG数据等)成功推断出用户正接触到的内容(如果有的话)。
(只要是匹兹堡钢人队打比赛的比赛时间,铁杆的钢人队球迷就很可
能正待在电视屏幕前。)

一旦已经作出初始推断,就可以任选地寻找附加信息来确认或反
驳初始假设。例如,可对声音或图像采样—在没有其它信息时可能不
足以识别视频节目,但是却足以加强(或减弱)初始推断。作为选择,
手机可以简单地向用户提出一个或多个确认性问题,例如“您是否正
在看电视?”以及/或者“您是否正在电视上观看钢人队的比赛?”以
及/或者“您是否正在观看X节目或Y节目(或者两者都不是)?”

在其它配置方案中,首先推断观看活动这一事实。例如,如果可
以确定电视系统和手机的位置(例如通过GPS),并且发现手机处于距
电视十英尺范围内,则仅根据邻近性就可以推断出用户在观看电视。
如果手机作出了肯定推断,则手机然后可以估计正在观看什么节目(例
如通过参考当前EPG数据、用户历史和个人资料—从家庭网络磁盘驱
动器访问,或先前缓存在手机内存中,等等)。如果电视系统作出了邻
近性判断,则电视系统知道它是否处于“打开”状态以及它正在播出
什么节目。电视系统可以将这样的信息发送给手机,使得电视系统和
手机中的任何一个能随后取得辅助内容以呈现给用户。

基于这样近似得出的情况,手机可以再次向用户提供补充体验。

列出可用的辅助内容而不扰乱期望的视频播放的一种方式是暂停
主要视频节目。(可由用户启动暂停,或者在辅助内容得到识别或变得
可用时由系统触发暂停。)图形控制可以出现在手机或主屏幕上,用户
可通过图形控制来选择所需辅助内容。图形控制可包括例如代表可用
辅助内容的图标,供选择的图标根据暂停屏幕的内容而变化。(例如,
如果暂停屏幕中显示的是John Wayne,则可以显示有关Wayne的生平
信息或其它视频剪辑作为可用辅助内容;稍后,如果暂停屏幕中显示
的是Ronald Reagan,则可以显示有关Reagan的生平信息或其它视频
剪辑作为可用辅助内容。)

必要时,可将手机编程为在手机运动传感器指示出某种运动(或
任意运动)时使主要视频播放暂停。例如,如果手机感测到它正在从
静止位置移动到使用位置(例如,接听来电),则电视显示可以自动暂
停。如果在手机上或其它地方正在呈现辅助内容,则电视显示也可以
自动暂停。

在一些配置方案中,用户的手机被注册为与用户的电视系统关联。
例如,在用户的TiVo数字视频录像机中,一种数据结构可存储关联的
手机的标识符,例如电话号码。与视频节目有关的信息(文本提醒、
辅助内容、视频内容本身等)可从电视系统发送至关联手机。

注册的手机可以具有一种称作“观看电视(WatchingTV)”的模式,
在这种模式中,手机做好了呈现辅助内容的准备。(这种状态可由手机
指示给关联电视系统,例如通过Apple Bonjour协议或其它方式。)如
果用户的手机处于“观看电视”模式中,则可根据过去的观看历史、
录制历史、偏好数据等来推测用户正在观看节目。可相应地向手机提
供辅助内容。

在其它配置方案中,不需要“观看电视”模式。可基于可用节目
和用户数据来将信息发送至手机,用户可以选择是否在屏幕上显示这
些信息。

如果确定用户离家很远(例如通过参考从用户手机定期提供给家
庭网络的位置信息),则系统可确定用户如何能够在用户的当前位置收
看喜爱的节目(例如,通过参考先前的观看历史或录制历史来确定),
并将这样的信息发送至用户手机。

类似地,可发送提醒来向用户通知即将播出的用户潜在感兴趣的
节目—局限于用户当前位置。

尽管目前尚未由TiVo实现,但是也可以改变TiVo的设计来支持
两位或多位用户—每位用户都有自己的观看偏好数据、录制历史数据
和其它个人资料数据。每位用户可以拥有向TiVo设备注册的一个或多
个关联手机。当电视系统被操作但未明确声明是哪个用户时,系统可
根据各种因素(例如,将诸如风格、标题、摘要之类的内容元数据与
关于每位用户的存储数据进行比较;考虑日时;确定关联手机的当前
位置并识别任何邻近该系统的设备;将面部识别技术应用于摄像机所
拍摄的图像数据以帮助感测特定用户,等等)推断用户身份。然后可
根据推断出的用户身份定制系统操作。

应认识到的是,手机可用作“第二屏幕”。用户可在房间内的其他
人观看电视屏幕的同时与手机交互—不会因叠盖和对全屏体验的其它
中断而分散注意力。进而,他们可以与自己的手机交互—与自己选择
的辅助内容交互(并与群组内的其他人交换文本消息和其它内容)。但
是该群组共享公用大屏幕的体验和公用实体环境。

(在一些实施例中,来自两个或更多位置的多个群组可在虚拟基
础上组合。每个群组可在其所在位置的主屏上同时观看相同的视频内
容,同时还能够与各自的第二屏幕交互—包括与群组内其他成员进行
在线社交。手机可同时以电话会议模式操作—允许每个人与群组内其
他成员交谈。)

当群组内的两位或多位成员(实体地或虚拟地)组合进行第二屏
幕体验时,信息可在各成员的手机之间共享。每位用户可在他们的手
机上设置指示是否可以与其它手机共享可视内容信息的选项。如果设
置了此选项,则群组内其他成员可“调谐到”任何其他成员的第二屏
幕体验中(或者所有成员可共享同一第二屏幕体验)。

在其它实施例中,不需要使用手机呈现内容。而是,手机可以仅
向其它系统提供信息,例如识别用户位置;或者通过参考日程表应用
程序来确定用户是空闲还是忙碌;或者指明用户处于静止状态还是运
动状态;或者识别哪位用户邻近特定显示系统,等等。然后其它系统
可根据这样的信息来使它们的操作得到适应性修改。

一些实施例允许用户轻松地将显示的内容从手机屏幕转移到电视
屏幕上以便于查看。相反地,用户可将显示的内容从电视转移到手机
上以实现便携性。所述转移可发生在视频娱乐节目的回放期间或比赛
期间,允许从中断点继续播放。

本技术的其它方面使用户能够参与娱乐内容,诸如通过提交情节
发展方向、音频输入、角色姓名等,从而产生更具吸引力的沉浸式用
户体验。

根据本技术的另一些方面,从网络节点所报告的信息中编制出以
节目为中心的内容目录,其中所述网络节点监视和识别传入(和/或传
出)网络数据库的内容业务流。通过跨越各种各样的内容存储库(例
如,网站、电视网、P2P系统等),这样的目录允许手机用户识别可从
中获得所需内容的信源的多样性—一些可按照日程安排获得,一些可
一经请求就获得。取决于应用场合,目录信息可以对于用户而言是透
明的,这样有助于识别所需内容的多个信源,其中应用软件可基于例
如背景环境和存储的个人资料数据来从所述多个信源中为内容下载挑
选信源。

上述内容只是本技术的新颖方面中的一些。根据参考附图给出的
本说明书的其余部分,这些及其它特征和优点将会更加明了。

附图说明

图1示出包含本技术一些方面的示例性实现方案的各单元。

图2是可在本技术的某些实现方案中使用、包括某些存储数据的
数字视频录像机系统的框图。

图3是可在本技术的某些实现方案中使用的手机的框图。

图4是来自使主要内容与辅助内容相关联的数据库的样本记录的
图示。

图5-8详细示出一种说明性配置方案的各方面,通过这种配置方案
可自动编制出节目目录数据库。

具体实施方式

本主题技术的一些实施例在用户的个人屏幕(例如手机)上提供
对另一屏幕(通常是更大的屏幕)上可获得的内容进行补充的内容。

为了便于说明,通常将更大屏幕上可获得的内容称为主要内容,
并且将个人屏幕(“第二屏幕”)上呈现的内容视为辅助内容。辅助内
容的实例包括音频和视频、网页及其它文本数据、应用程序和软件小
组件(widget)。(在一些情况中,用户可能会认为辅助内容更具相关性,
并且在一些情况中,可能会只观看辅助内容而不观看主要内容。)

参考图1,本技术的某些实施例10可包括电视系统12和多个第二
屏幕设备14、16、18。

电视系统12可以包括诸如机顶盒20、卫星接收器22、数字视频
录像机(DVR)24、电视接收器/监视器26、蓝光设备28以及一个或
多个其它组件30(例如计算机、Slingbox设备、Apple TV设备、iPod、
Boxee媒体中心软件等)之类的多个单元。

可通过任何通信信道36将主要内容传送至电视系统12。实例包括
卫星、电缆、有线或无线互联网、无线电广播等。内容分发商32(例
如Comcast、DirectTV、电视网络或电视台等)通常汇集来自各种内容
源34(诸如电影公司、内容网络、运动队等)的内容以便通过通信信
道36进行分发。其它实体(诸如Apple iTunes商店、NetFlix、Google、
YouTube、Hulu、对等网络等)也可充当内容分发商。

辅助内容同样可以通过任何通信信道38传送。通常使用互联网
40。辅助内容也可以来自包括提供主要内容的同一实体在内的若干个
信源,以及来自其它信源(例如,诸如Flickr和Wikipedia之类的网站、
广告商、Apple App商店供应商、社交网络好友和其它个体等等)。在
一些情况下,辅助内容可包括如第61/150,235号专利申请中详述的关
联软件小组件。

在一个特定实现方案中,辅助内容通过互联网40发送至用户家中,
并通过家庭网络44从路由器42无线传送至第二屏幕设备14、16。(第
二屏幕内容也可以通过家庭网络提供给有线设备(诸如台式计算机
46),尽管这并不常见。)

示例性DVR 24在图2中示出,并且包括网络连接50(例如与家
庭网络44的连接)。此DVR还具有:输入端52,通过此输入端提供视
频内容;以及电话连接54。输入端52可以连接到诸如卫星接收器、机
顶盒或天线等设备,或者如果通过网络连接50向DVR提供视频内容,
则可取消此输入端。电话输入端提供一种连接,DVR可通过此连接拨
入数据中心以定期下载电子节目指南(EPG)数据和其它说明。同样,
如果通过视频或网络输入端提供这样的数据,则可以取消输入端54。

所示的DVR还包括处理器56、用户界面58(其可以包括实体控
制和屏幕菜单/控制)、遥控装置60和数据存储装置62。数据存储装置
62可包括半导体存储装置和磁盘存储装置。除了操作系统软件、用户
界面软件和应用程序之外,所示的数据存储装置60还包含EPG数据、
软件小组件(参见例如第61/150,235号专利申请)、其它数据和软件程
序模块、以及存储的视频数据。

数据存储装置60还包含各种用户特定数据。这包括详细列出待录
制节目以及早先已录制节目的时间表数据、用户个人资料数据和用户
手机数据。用户个人资料数据可包括各种信息,诸如节目观看历史、
节目录制历史、全影集录制(season pass)预订和其它常设录制指令、
有关某些节目的观众排名和投票、以及其它明示的观看偏好。个人资
料数据还可以包括个人背景信息(demographic information),诸如邮政
编码、用户年龄和性别、有关亲和性的数据、和用户所属的社会团体
等。

在更复杂的实施例中,个人资料数据是从各种数据存储库访问的,
并且可包括用户的网页浏览历史和其它信息源。这些可包括用户接触
的并在其中留下痕迹的各种各样的数据,例如Google搜索历史、缓存
的网页、cookie、电子邮件存档、在Expedia和Orbitz上的旅游预订、
iTunes上的音乐收藏、有线电视订阅、已观看过的和排入队列中的
Netflix电影、手机账单、信用卡账单、来自Amazon和EBay的购物数
据、GPS跟踪信息、社交网络好友、数据和活动、在诸如Flickr和Picasa
之类的照片站点和诸如YouTube之类的视频站点上的活动和发布的内
容、在这些记录中保留下来的日时等。(该集合可称为“数字生活日
志”。)

此外,可参考用户的家人和朋友以及与用户具有个人背景相似性
的其他人(全都进行了适当的匿名化和隐私保护)的数字生活日志数
据。

DVR 24还可以具有一种模块,通过此模块可确定DVR 24的位置。
一种这样的模块是GPS接收器。

图3示出示例性的手机14,包括诸如麦克风、摄像机70、处理器
72、显示器/触摸屏74、实体用户界面、定位模块、和内存之类的单元。
内存存储操作系统软件、用户界面软件、其它功能软件模块、小组件
软件等。

此手机可采用关于DVR描述的定位模块。

根据本技术的一个方面,将用户个人资料数据与背景环境信息结
合使用来作出估计(或推断,或猜测),从而识别用户可能正在观看(或
将来会观看)的一个或多个特定电视节目。背景环境信息可包括用户
位置。背景环境信息还可包括用户在此位置是处于静止状态还是运动
状态。附加地或者可选地,背景环境信息可以是当前日期/时间和/或例
如来自电子节目指南(EPG)的电视节目时间表信息。

举例来说,个人资料信息可能会暗示:用户是匹兹堡钢人队的忠
实粉丝,并且观看许多其它职业橄榄球赛事—例行地收看Monday 
Night Football(周一橄榄球之夜)。个人资料信息可能会进一步表明:
用户收看电视播送的大部分俄勒冈大学篮球赛,偶尔收看一些高尔夫
赛事,并且用户的家庭电视最常被调谐到ESPN台。

位置信息可通过纬度和经度识别用户位置。使用第12/484,115号
申请中所述的地理定位服务中的一种(例如Yahoo的GeoPlanet服务)
调查此位置可能会指示:用户位于俄勒冈州波特兰市S.E.Hawthorne
大街上的Claude’s Sports Bar。此位置数据也可能在一段时间内保持不
变,这说明用户并非简单地开车路过酒吧。

在没有其它数据的情况下,系统可能会推断用户很可能在观看酒
吧电视上的体育频道。个人资料数据表明用户对电视播送的体育节目
感兴趣。用Google搜索波特兰市S.E.Hawthorne上的Claude’s Sports 
Bar会找到充满体育和电视相关参考信息的网页(“大屏幕”、“卫星”、
“频道”、“橄榄球”等)。推断引擎取这些事实作为输入、识别与这样
的输入有关的一组存储的规则、解决规则之间的任何冲突、并产生一
项或多项推断作为输出(例如,用户很可能在观看电视并且所观看的
电视很有可能正在播放体育内容)。

(可将人工智能技术应用于这些背景环境以及采用本技术的其它
背景环境中。人工智能的一个分支是自然语言处理(NLP)。NLP技术
可用于理解诸如在关于Claude’s Sports Bar的网页上找到的术语之类的
信息的含义。第7,383,169号专利详细描述了如何能够通过NLP技术
处理词典和其它大型语言作品,以编制出充当有关世界的这样的“常
识”信息的丰富来源的词汇知识库。Wikipedia是可以充当这样的知识
库的基础的另一个参考来源。这类常识知识可应用于本文详细描述的
处理。)

在有更多信息的情况下,系统可对用户正在做的事作出更精确的
估计或者更有把握的估计。例如,如果日期和时间指示是十一月一个
周一的晚上,则可推断出用户正在观看ESPN台的周一橄榄球之夜。
如果是俄勒冈大学正在打篮球赛的一个周二的晚上,则可推断出用户
正在任何一个播放此球赛的网络上观看该篮球赛。

如果是十一月一个周一的晚上并且电视在播送俄勒冈大学篮球队
正在打的比赛,则算法应用其它直观推断和/或个人资料数据以解决此
冲突:用户正在观看周一橄榄球之夜还是俄勒冈大学篮球赛?根据诸
如用户过去的收看历史之类的数据,推断引擎可估计出用户观看篮球
赛的可能性为70%,并且用户观看橄榄球赛的可能性为30%。

基于此推断,系统向用户手机标识出相应的辅助内容,例如先前
引用的专利申请中详细描述的那类辅助内容。可以呈现两个或多个不
同的辅助内容选项(例如,以缩略图或图标形式;静态或流动),用户
可从中进行选择。这些选项可以包括:例如,打比赛的橄榄球队的NFL
统计数据;进攻四分卫的特写镜头,或者邀请用户猜测接下来四分卫
会采取什么战术的互动游戏。

在系统产生概率结果(例如,橄榄球的概率为70%;篮球的概率
为30%)的情况下,呈现给用户的内容或选项可以相应地被加权。

同样地,推断的置信度也可以影响此系统提供给用户的内容或选
项。例如,如果系统只有10%的把握确定用户正在观看高尔夫赛事,
则可以不提示与高尔夫相关的辅助内容。而是,它可以提供总体上更
迎合用户个人资料的默认辅助内容(例如,来自最近的钢人队橄榄球
赛事和俄勒冈大学篮球赛事的精彩片段;对他们即将到来的赛事的评
论;ESPN头条新闻等)。

在一些实施例中,系统通过向用户询问一个或多个问题来检查其
推断。例如,系统可向用户手机发送一条文本消息,询问“您是否正
在观看俄勒冈大学篮球赛?”或者用户手机上的应用程序可能会提出
这样的问题。可根据用户的回答来定制呈现给用户的辅助内容(或内
容选项)。

作为用这样的询问打断用户的替代,手机可以仅从用户所处环境
中捕获音频或可视信息(例如通过手机的麦克风或摄像机),从而设法
通过诸如数字水印解码或指纹提取之类的技术确认所作的估计。

电视音频在被发送前通常载有由内容分发商(例如KOIN电视台)
插入的Nielsen数字水印信号。这种水印反复传达两项信息:源ID和
时间戳。源ID具有两个部分。第一部分通常识别内容是从哪个网络(例
如CBS、ESPN等)分发的;第二部分识别本地输出口(outlet),例如
KOIN电视台、Comcast cable-West Portland(Comcast有线电视公司—
西波特兰)等。时间戳是给出播送的日期和时间的递增时钟。插入水
印的编码器是帮助Nielsen公司跟踪电视消费的现有网络的一部分。
Nielsen维护着一个数据库,此数据库按日期和时间详细列出每个地理
市场和全国网络内每个频道的节目编排。由诸如Tribune Media公司和
/或TV Guide之类的供应商编制的节目指南信息被馈送到此数据库中。

惯用的水印使用模型是从水印识别未知电视节目。在这种情况下,
水印ID/时间戳被作为一个查询输入数据库,并且数据库返回标识在当
时在那个电视源上播送的节目的输出数据。

本申请稍有不同,因为已经做出了关于可能的节目的猜测。在这
种情况下,标识估计出的节目的信息被用来查询数据库,以及检索源
ID(并且任选地检索指示该节目的计划时间的时间戳数据)。然后检查
从用户环境捕获的音频是否与检索到的源ID相符。(在技术上,分析
音频以确定是否存在一个或多个预期的水印,比分析音频以识别是否
存在未知水印更容易。)

系统假定:在用户环境中获得的内容正在其初始播送时的节目时
段期间播放。这样查询数据库以识别当前正在播送估计出的节目的一
个或多个信源。例如,周一橄榄球之夜可能由ESPN台和本地广播电
视台分发。然后从数据库获得这些信源的源ID,并分析用户环境中的
环境音频以确定是否存在与这些源ID中的一个对应的水印。如果存在,
则估计得到了确认。(可对录制的内容采用类似方法,尽管必须考虑更
大的候选节目范围。)

如上文所述,进行内容识别(或确认)的另一种方法是指纹法。
指纹法的运作方式是将来自未知媒体内容的特征与来自已知媒体内容
的特征进行匹配,以进行识别。同样,由于系统已经对内容的身份进
行了估计,因此这种背景环境比通常出现的背景环境更简单。所以仅
分析捕获的音频(或图像)来检查是否与估计出的节目一致,以确认
估计。(例如,可检查估计出的节目的指纹是否与采样的音频对应;与
使用指纹技术从几乎无限的可能性中识别出采样的内容相比,这是更
简单的任务。)

在另外的配置方案中,采样的音频或图像仅倾向于确认用户正在
观看电视,而不是在参与某种其它活动。例如,电视音频通常具有可
以与例如交谈中的两个人的频谱分布区分开的频谱分布。电视音频往
往频带受到限制并经过压缩(受到限制),以增大其平均功率并将其能
量集中到人类听觉系统最敏感的频谱区域。类似地,电视视频也具有
独特的视觉特征。CRT电视监视器使用在视觉频谱范围内产生特征峰
的彩色磷光体。电视屏幕以固定速率刷新,由此电视屏幕的图像能够
与自然景象区分开。这些及其它标志可用于帮助确认用户正在观看电
视而不是正在讨论或观看现场橄榄球赛等。

在一种实现方案中,上文所述的处理是由用户手机中的处理器72
和相关应用软件执行的。在其它实现方案中,这种处理发生在用户的
DVR中,或发生在有线电视公司服务器中,或发生在云服务器中,或
发生在其它地方(或分布在这些处理器中)。

有时,用户可能会在远离家的某个城市中旅行。通过GPS或其它
方式可了解到用户位置。然而,在这个远方城市中可获得的电视节目
可能不同于通常由用户手机或家庭DVR跟踪的电视节目。在这种情况
下,系统可使用在线资源,诸如TV Guide网站或来自Tribune Media
公司(或下文详细描述的Program Directory Database(节目目录数据
库))的数据,来确定该远方城市中内容的可获得性和时间安排。在了
解该远方城市中可获得的节目编排以及用户位置和个人资料信息的情
况下,系统仍可以估计用户当前正在观看(或将来可能观看)的特定
节目。

可将有关用户的估计观看活动的信息发回用户家中(如果该信息
已由远程设备确定的话),在用户家中,此信息可以被存储或者在特定
应用程序可能需要它时被使用。如果用户确认了一项观看活动,则此
信息可以类似地记录在例如与用户家庭网络相连的数据存储库中。

刚刚描述的配置方案对用户目前正在观看的内容进行猜测,并相
应地采取操作。可使用类似程序猜测用户将来要观看什么内容—或者
可能有兴趣观看什么内容。然后可立即或稍后将辅助内容或提醒发送
给用户。

一种特定实现方案接收指示用户位置的数据(例如用户手机所处
的位置),并且结合与该用户有关的个人资料数据,识别用户可能想要
观看的一个或多个即将播出的电视节目。然后针对即将播出的电视节
目向用户发送提醒(例如发送到用户手机)。如果用户正在(或将要)
观看该节目,则此提醒可以邀请用户按一个按钮或者以其它方式发出
信号。同样,如果用户离家较远,则可使用来自用户当前所处的媒体
市场的节目编排数据来定制提醒。

个人资料数据可以像这样的信息一样简单,该信息表明用户的家
庭DVR被设置为在特定时间录制特定节目。例如,用户可能已事先操
作家庭TiVo设备的用户界面以安排“全影集录制”,指示设备录制明
尼苏达森林狼队的所有播送的篮球赛。在每场比赛开始时,或提前一
小段时间(例如,5、15或60分钟),系统可以向用户发送比赛即将播
出的提醒。(在图2所示的DVR中,DVR知道用户的手机号—这允许
DVR通过文本消息、声音提醒等方式发送这样的提醒。)

如果用户确认在观看特定节目(或者如果通过其它方式(例如通
过音频采样)确认了观看),则可将这一事实传递给网络、内容创建者
或其它各方,从而允许他们提供补充性的辅助内容。举例来说,用户
可能会受邀参与一项在线投票以确定某场橄榄球赛的最佳队员,或者
确定某场真人秀中谁应该被淘汰出局。因此主要内容的结果可能在一
定程度上取决于观众对辅助内容的参与情况。(下文将对这一特征进行
进一步详细讨论。)在另一实例中,不定期向用户提供一些无关紧要的
信息,例如奥巴马总统是资深的匹兹堡钢人队的球迷。如果与网络等
共享用户个人资料数据,则网络可以更好地使观看者与有意义的辅助
内容接触。

在一些实施例中,用户可通过请求将排定的节目发送到用户手机
上观看来回应提醒。

正如用户观看电视节目这一事实可以推断,用户停止观看这一事
实也是可以推断的。例如,这可通过使用手机感测音频或图像数据来
实现。附加地或者可选地,这可以包含感测手机的运动情况(诸如通
过加速计,或者通过手机摄像机视场内的明显特征的移动)。

如果观看者已经明显停止观看电视,则可以采取相应的操作。一
种操作是暂停节目,使得观看者稍后可以继续观看。另一种操作是向
观看者发送关于内容的错过部分的信息。这种信息可以包括关键帧、
视频集锦、文本摘要等。这些信息的一种或多种可链接到错过内容的
录制版本。

如上文所述,可将一个或多个手机与特定电视系统关联起来,例
如通过DVR数据存储装置或家庭网络上的其它地方中的注册数据。然
后可在系统和一个或多个相关联的手机之间共享信息。

在一种特定配置方案中,夫妻二人均向家庭TiVo系统注册了手机。
两个人各自有自己的TiVo个人资料,包括例如偏好、观看历史、视频
录制、全影集录制等。

在一些情况下,可明显确定与给定节目相关联的是丈夫还是妻子。
例如,某个节目可能已经在丈夫或妻子的指示下进行了录制,并出现
在他们自己的录制列表上。当电视播放已录制的节目时,可以将辅助
内容(或有关辅助内容的可获得性的消息)发给安排录制此节目的那
个人。

在其它情况下,对于哪个人(或两个人是否都)与某个节目有关
联,还存在着不明确性。考虑这种情况,周六下午有人打开电视系统
并调谐到高尔夫球节目。观看者是谁?可应用各种直观推断。

一种方法是分析过去的录制历史。如果妻子的录制列表中含有高
尔夫球节目,而丈夫的录制列表中没有,那么系统可以推断出观看者
是妻子。因此可以将数据发到妻子的手机上。可使用其它个人资料数
据达到类似效果。

另一种方法是感测一部手机或两部手机的位置。可将数据发送给
电视系统附近的那部手机(或两部手机)。

手机可能正在运行Bonjour协议—告知家庭网络上的其它设备它
是谁(例如,它属于夫妻二人中的哪一位)以及它正在做什么。电视
机可接收此广播并由此识别正观看电视的手机。

还可以采用各种其它配置方案。例如,电视系统可以包括摄像机
和用来识别观看者的面部识别算法。电视系统可以监视来自手机的周
期性发射,其中手机通过周期性发射而使本地基站识别出自己。或者
电视系统可以简单地向夫妻中的一方询问他们是否正在观看高尔夫球
赛。如果被询问者回答“是”,则可将辅助内容信息发送给此人;如果
回答“否”,则可将辅助内容信息发送给另一人。

在刚才所举的实例中,电视系统是抢先的:设法识别观看者使得
可以提供辅助内容。在其它配置方案中,电视系统以另一种方式工作。
用户可以操作手机(例如,通过启动WatchingTV应用程序)以表明对
辅助内容或其它交互性的兴趣。然后在手机和电视系统之间确定一种
逻辑关联。这种关联可以是即兴的,或者通过先前存储在数据注册表
中的信息或诸如这样的信息来确定。

即兴关联情况的一个实例是,手机感测到它处于电视系统附近,
诸如通过位置确定、通过来自本地无线网络的Bonjour广播、通过水印
或环境音频/视频的其它独特特征等。(可通过对该电视系统提供的内容
中所编码的数字水印进行解码来确定电视系统的身份,其中水印传达
特定电视系统的标识符。)一旦建立了逻辑关联,就提供与电视上显示
的主要内容相对应的辅助内容供用户享用。(如在其它情况中那样,辅
助内容可以取决于用户个人资料、用户位置等。)

在另一种情况下,逻辑关联是通过先前存储在数据注册表中的信
息或诸如这样的信息确定的。一个实例是,向用户的家庭TiVo系统注
册的手机。在一些情况下,用户甚至可能不在相关联的电视系统附近。
尽管如此,用户的手机仍然可以与相关联的电视系统协商并向用户呈
现相关信息。所呈现的信息可以仅包括电视系统的状态或者正在此系
统上观看或录制的节目的名称。或者所呈现的信息可以包括与正在相
关联的系统上处理(或事先存储在此系统上)的内容相对应的辅助视
频或网络内容。(此处,如在其它实施例中那样,手机可呈现一个菜单,
用户可通过此菜单从多个选项中选择。如果有若干个不同的辅助内容
项可用,则此菜单可以包括内容的缩略图视图(包括动态视频),用户
可从缩略图视图中选择。)

应认识到的是,第二屏幕辅助内容可以是主要内容的一部分或全
部,这取决于应用场合。例如,在先前讨论过的(向用户提醒即将在
家庭DVR上录制的节目的)情况中,辅助内容可以是经过重新格式化
和流式处理以呈现到用户手机显示屏上的主要内容。手机上的用户界
面可以向用户提醒这样的内容的可获得性,其中这样的内容可通过手
机触屏界面上的相应手势来播放。

在本实施例和其它实施例中,用户可通过指示辅助内容也应该提
供或发送给一个或多个其它手机或第二屏幕,来响应辅助内容的提供。
因此,当用户手机收到提醒,得知森林狼队的比赛即将开始时,用户
可以将辅助内容转发到用户的膝上型电脑,并且还可以将辅助内容提
供给也是森林狼队的球迷的同班同学的手机。可以通过无线方式从用
户的手机进行这种传递(例如,通过蓝牙传递给附近的第二屏幕设备,
或先通过WiFi再通过互联网传递给更远的设备)。作为选择,可以采
用Bonjour协议—发送家庭(或其它)网络上的所有设备都可接收到的
数据。

在一些实施例中,用户的手机可以发出指示,将辅助内容分发到
来自分发过程中的上游节点(例如来自图1中的服务器34中的一个,
或来自用户的家庭DVR 12,等等)的被指定者。

内容可以与以下个人共享:与用户有一定关联(例如,在社交网
络上为“好友”状态)的个人,或者身处附近的个人,或者在用户的
电话簿里或公共网络上的个人,等等。

共享的内容可以出现在另一个人的手机显示屏的子部分中,例如
窗口中。另一个人可通过选择此窗口使显示的内容占据整个屏幕。理
想情况下,此内容在显示此内容的所有屏幕上同时呈现。

在一些实现方案中,DVR可以编程为向多个个人发送节目提醒,
并且在有请求的情况下使每个个人可获得辅助内容。

没有必要为了推断用户正在观看电视而去了解用户的绝对位置。
在其它配置方案中,可以仅推断用户邻近电视的事实,并且可基于此
事实进行操作。

上文讨论了各种用于推断邻近性的技术,例如,检测电视产生的
音频和图像的特有特征,并与其它音频和图像对比。也可以检测来自
电视机或其它视频设备(例如,NTSC制式电视机的色同步信号振荡器;
电视屏的刷新率,或视频扫描频率等)的低水平杂散发射。也可以使
用来自电视机的Bonjour协议传输。

相反地,电视机可以通过例如由手机定期发送至蜂窝网络的近场
射频信号、发送至附近路由器的近场WiFi信号、蓝牙发射、Bonjour
协议传输等来检测附近是否存在手机。电视系统可通过这样的传输来
识别手机,并且一旦确定邻近性,就可对用户最有可能观看的电视内
容进行估计。

一旦确定用户和电视屏幕之间的邻近性,就可根据用户个人资料
数据向用户提供辅助内容。

最终,所有设备都能够知道它们自己的位置(诸如通过各种新出
现的(例如如下文详述的)地理定位配置方案中的一种)的那一天会
到来。它们可以与本地设备共享此信息(例如,通过无线和/或Bonjour),
并且/或者将位置数据投递给联网的数据存储库—在该数据存储库中,
位置数据可由其它设备访问。在这种环境中,用户的手机可以获悉位
置并识别出附近的电子设备(其可以以地图的形式呈现)。如果发现电
视监视器位于手机附近,则系统可推断用户正在看电视。(“附近”的
定义取决于给定应用场合的特定要求。在一些情况中,可以将十英尺
视为附近。有时是二十英尺。在Jumbotron视频监视器的情况下,可以
将十码或一百码视为附近。)

下一代视频系统还可以发布识别它们正在显示的内容的数据(例
如,通过无线方式、通过Bonjour,或发布到联网的数据存储库)。在
这种情况中,不再需要对内容作出估计。视频设备可明确提供此信息。
使用本技术的系统可访问此信息,并基于此信息(并且任选地基于个
人资料数据),向附近用户的手机提供相应辅助内容。

在这些实施例中,如前文所述,系统可寻求确认例如用户实际正
在观看附近屏幕上显示的视频内容。可以反复寻求这样的确认,而不
是仅寻求一次。

在所有这些实例中,不需要将辅助内容呈现到用户手机上。可将
辅助内容呈现到显示主要内容的大屏幕上(例如呈现在窗口中)。或者
可通过其它方式传送辅助内容。

除了将信息或内容呈现给用户之外(或者作为将信息或内容呈现
给用户这一操作的替代),手机完全可以将信息提供给其它系统。例如,
它可以识别用户位置;或者通过参考日程表应用程序指出用户是空闲
还是忙碌;或者指明用户是处于静止状态还是运动状态;或者识别用
户是否邻近特定显示系统,等等。下一代手机可以报告生物学指标,
例如暗示用户正在睡觉还是吃东西等等。然后其它系统可根据这样的
信息使它们的操作得到适应性修改。

例如,如果机场休息室中的电视系统感测到Jane Doe(或者更准
确地说是她的手机)在附近且处于静止状态,则此电视系统可以(例
如从手机或在线资源)检索Jane Doe的个人资料信息,并识别她可能
最感兴趣的视频节目,例如时下正进行的LPGA高尔夫球锦标赛。电
视可在Jane候机时自动将这样的节目呈现给她。当Jane离开而John 
Smith坐下时,电视可通过类似方式调谐至CNBC台。

作为选择主要节目这一操作的替代或者除了选择主要节目之外,
这样的系统还可以识别附近用户特别感兴趣的辅助内容。例如,John 
Doe的手机可通过WiFi网络或蓝牙来提供他的默认Yahoo Finance投
资组合上的各股票的名称(但不提供各股票分享的金额)。电视系统可
自动将小窗口叠盖在CNBC屏幕上,滚动显示这些股票的当前价格。

这样,根据本技术的手机在可以对用户环境作出响应的同时,还
允许用户环境对用户作出响应。

关于辅助内容的更多描述

主要内容的供应商(例如,某个视频网络,诸如ESPN)或者另一
网络或商业实体可选择利用特定的一项主要内容可获得的辅助内容
项。然而,另一种选择是让辅助内容通过众包方式得到识别,例如以
社交网络的方式得到识别。

社交网络可预先定义(例如,John Doe的Facebook好友,或者俄
勒冈州波特兰市的高中学生),或者社交网络可以是即兴的(例如,任
何正在观看今晚的森林狼队比赛的人。)

个人用户可以找到他们自己的辅助内容。例如,观看James Bond
电影的高中学生可能会浏览Austin Martin的主页,或者英国军情六处
秘密情报局的主页。观看同一部电影的退休人员可能会倾向于浏览
“Shaken,Not Stirred(摇匀,不要搅拌)”的Wikipedia页面。或者浏
览Tanqueray Gin的主页。

类似地,当篮球运动员Kevin Love的高中母校的学生观看NBA
明尼苏达森林狼队的篮球赛时,他们可能导航到NBA.com网站上有
Kevin的统计资料的页面,或者导航到YouTube,观看Kevin在一场著
名的高中比赛中扣碎篮板的视频。

对这样的选择进行记录的数据可以收集到可公开访问的数据库
中,并且可以充当供他人识别相关内容的资源。可以将每一项辅助内
容与以下信息关联起来:(1)有关观看辅助内容的用户的个人资料信
息,以及(2)用于识别已经与辅助内容关联起来的内容的信息。

一种实现方案采用关系数据库,该关系数据库可使用公共属性对
数据分组。这样的数据库中的数据的示意性表现形式在图4中示出。

当然,这只是样本。理想情况下,此数据库包括其它数据,或通
过此数据库可访问其它数据。这种其它数据可包括与每一项内容相关
联的元数据—按风格、演员、关键字描述符、ISAN(国际标准视听资
料号)和/或DOI(数字对象标识符)、日期等分类。还可以提供每位用
户的附加个人资料数据,例如电话号码区号和电话总机交换台;IP地
址(或域),以及先前提到的个人资料信息。

可通过其它方式挖掘该数据。对于独立浏览军情六处官方网站的
人可能会被提示考虑观看Goldfinger电影等。web浏览器可暂时在所呈
现的内容上叠盖一个侧边栏(sidebar),告知“对此页面感兴趣的用户
也对下列页面感兴趣:<其它内容的标识>”

这样的数据库可被托管在一台独立计算机上,或者分布(和/或复
制)在许多不同的平台间。可采用对等配置方案,使数据库的不同部
分驻留在不同用户的机器上。

可以以wiki的形式管理这样的数据库,使用户能够明确地贡献列
表以及对列表作注释。另一种选择就是让诸如Google之类的供应商编
制数据。这样可提供一项新服务(例如“MediaGuide”),这项服务会
提供给定的一项主要内容(例如某个电视节目)最常使用的辅助内容
(例如网页)的排名单。

已有的一个例子是,Google Toolbar产品得到用户同意后向Google
提供识别已访问的网站的数据。可对Google Toolbar进行增强,以使其
还向Google提供识别在浏览网页期间存在于用户环境中的媒体内容的
数据(背景媒体数据收集模式)。

可通过在本文以及通过引用结合在本文中的文献中详细描述的各
种技术(包括数字水印、指纹等)来识别媒体内容。Google Toolbar可
完全识别内容(例如通过对来自所捕获音频的水印进行解码),或者
Google Toolbar可简单地对捕获的音频(或视频)进行一些处理,并将
经过处理的数据转发至Google的服务器以通过指纹匹配等方式完成识
别任务。(理想情况下,这种处理通过使音频变模糊等方式去除可识别
的个人信息。一种这样的处理是Wiener滤波,或从瞬时值中减去音频
振幅的短期平均值。另一种处理是提取音频中的特定界标(landmark)
的定时和频率,例如如Shazam的第7,359,889号专利中详述的那样。)

不需要以高度确定性识别周围媒体。基于不完整的数据或情况的
猜测(如本说明书中其它地方所述)通常就足够了,特别是在收集到
大量这样的数据的情况下。主要内容和以得到正确识别的主要内容为
基础的相伴辅助内容之间的关联趋向于群集;清晰的模式浮现出来。
例如,Oprah电视节目的许多观众可能会访问Oprah Book Club网页和
出现在Oprah脱口秀节目中的名人的网页;CNBC的许多观众可能会
访问Wall Street Journal网站和Yahoo Finance网站。相反,以错误识别
的内容为基础的关联是非群集的;它们发生的频率不会使他们出现在
排名靠前的搜索结果中。因此即使当时只有20%或2%的媒体识别是正
确的,有用的关联最终会显现出来。

在其它实施例中,不需要任何猜测或洞察力;通过来自电视系统
或来自分发/播放链中其它位置的设备的数据来使主要内容得到明确识
别。例如,TiVo盒知道提供给电视监视器的内容是什么,并且它可以
将这种标识数据提供给Google Toolbar使用。在一种特定实施例中,
TiVo系统中的软件采用Bonjour协议通知家庭网络内的其它设备当前
正在播放的视频的身份。Google Toolbar软件可以接收这种广播,并将
这种广播转发给Google(正如它转发可识别已访问网页的数据那样)。

在查询模式中,本发明预期到的MediaGuide服务取主要内容的标
识符作为输入,并提供从数据库中识别的相应辅助内容的排名单作为
输出。输入的标识符可以是用户输入的关键字,例如Oprah或CNBC。
可选地,用户的设备(例如与Google Toolbar关联的模块)可以简单地
对环境音频采样(响应于用户命令,或自动进行)并向此服务提供相
关的标识符。这些标识符可以是文本关键字(例如节目名称),或者与
特定节目相关的其它标识符(例如,水印有效载荷、音频或视频指纹,
等等)。在一些实施例中,捕获的音频数据或者经过处理的视频数据可
以作为输入提交,并且Google服务器可基于该音频数据识别主要内容,
并用经过排名的相应辅助内容的标识作出响应。

在另一些实施例中,通过来自电视系统或来自分发/播放链中其它
位置的设备的数据来使主要内容得到明确识别,详见上文所述。

可以按照与Google的网页搜索结果相同的熟悉格式呈现这样的
MediaGuide查询的结果。来自数据库的超链接结果会填充大部分屏幕。
赞助商链接可放置在边缘。例如,Nike可付费将其Air Jordan网页链
接呈现在基于开拓者队篮球节目的媒体查询结果页面的右上方。

在收集到最初的主要内容—辅助内容关联数据集之后,以查询模
式使用本系统允许收集到更多的媒体关联数据。当存在不同的主要(环
境)媒体时,Google Toolbar可以记录下哪些辅助内容搜索结果被选择。
此信息被发送给Google,并且可以告知基于该主要媒体内容的未来搜
索。

如果在处于媒体数据收集模式中时个人背景数据就是已知的,则
可针对用户的个人背景数据(例如年龄、性别、邮政编码)定制搜索
结果。例如,波特兰一名19岁男性针对开拓者队篮球赛进行的
MediaGuide查询可以报告具有相似个人资料的其他用户消费的最受欢
迎的辅助内容。

应认识到的是,刚才详细描述的配置方案与内容消费通常的精心
脚本(scripting)有背离。过去,商业实体(诸如广告商和内容网络)
将主要内容与辅助内容配对(比如广播电视和相关商业广告)。与之相
反,现在的方法是通过调查实际的用户行为来收集大量信息,从而有
机地建立适当的内容配对而不是通过指令。

尽管是以Google产品为背景进行描述,但是当然可以实现任意数
量的特定实现方案。一种实现方案采用Personal People Meters(PPM,
便携式人员收视测量仪)—一种寻呼机大小的设备,其感测周围媒体
以进行观众调查(参见例如Nielsen公司的第20090070797号专利公开
和Arbitron公司的第6,871,180号和第7,222,071号专利)。观众调查公
司招募并付报酬给一些人员让他们携带这样的测量仪。被招募的这些
人员会被要求将软件安装在他们的web浏览器中以报告访问了什么网
站以及访问时间。然后可将某人的网站数据和PPM数据暂时关联起来
以便在web内容和广播节目内容之间建立关联。

类似地,可通过联网的媒体监视设备(诸如Nielsen公司的第
20080320508号专利公开中详细描述的设备)来实现这样的数据收集,
而不是使用Google Toolbar软件。

应认识到的是,本文详细描述的技术为电视和其它内容提供了增
强的观众统计方法。这种系统的操作者接收关于全球媒体消费的实时
信息。可采用诸如Nielsen和Arbitron公司使用的观众分析技术。

此外,本文详细描述的系统提供了另一维度的观众信息,即关于
共同消费内容的信息。这种信息对广告商而言会特别有用。

假设有一家希望向具有特定个人背景的人群推销其产品的公司,
这些具有特定个人背景的人群没有被传统电视观众统计调查所跟踪,
例如常有闲暇的游客。过去,已经使用了其它度量指标作为期望的具
有特定个人背景的人群的粗略代表,例如收入超过100,000美元且年龄
介于49-64岁的人。但是效果不尽如人意—常常识别出不具有相关性的
节目,或者未能识别出相关的节目。

然而,在与web访问数据配对的情况下,电视观众统计具有了新
意义。广告商用目标人群所使用的网站(例如Expedia、Travelocity、
Priceline、Hotwire)来查询刚才详细描述的数据库,而不是识别目标人
群的个人背景代表。在这种操作模式中,数据库返回在访问这些网站
时最经常播送的电视节目的名称来做出响应。符合期望的观众个人背
景信息的电视节目被轻松且有把握地识别出来。

如果某公司希望在受越野车爱好者欢迎的电视节目中打广告,则
可向数据库查询与Fourwheeler、Offroaders和Pirate4X4网站相关的节
目。如果某公司希望在有老年痴呆症患者的家庭观看的电视节目上打
广告,则可向数据库查询在浏览Alzheimers’Association网站时最经常
观看的节目。对于在线游戏玩家观看的节目,可向数据库查询在用户
访问流行的游戏网站(例如World of Warcraft(魔兽世界))时播送的
节目。

这种方法在电视观众统计的准确性方面有显著提高。不再完全按
年龄、地域、收入、教育等一般的个人背景信息对观看者进行分类。
现在他们的个人兴趣得到了揭示—这种因素可将他们与在统计学上和
他们相同的人区分开。并且,这样的兴趣不是使用可靠性不确定的调
查表来收集的,而是通过参考实际的web浏览习惯来收集的。

也可以通过其它方式使用周围媒体信息。一种方式是cookie信息。
cookies已经被长期用于允许网站使它们呈现的内容适合于返回cookie
的用户,例如基于用户过去的活动或兴趣来定制呈现的信息。同样地,
可以将有关当前正播送给某用户的电视节目的信息传递到此用户浏览
的网站,并且web服务器可相应地使其呈现的内容得到适应性修改。
如果在观看者的环境中感测到体育节目(例如来自ESPN的内容),并
且用户导航到New York Times网站,则New York Times的web服务器
可以以更明显的方式呈现体育新闻。类似地,如果用户的环境中正在
播放Washington Week in Review节目,则New York Times网站可在提
供给用户的第一个网页上以更明显的方式显示国家政治新闻。

这不需要使用传统的cookies来实现。可使用其它数据交换配置方
案。一种数据交换配置方案是作为HTTP分组中的信头数据发送给New
York Times网站,请求加载页面。此信头数据已携带各种信息,诸如
可识别用户刚刚从哪个网站(指引页面)导航而来的数据。此信头数
据还可携带识别用户环境中当前正在播放的电视节目的数据,使得响
应网站可据此使其内容得到适应性修改。

在这种实施例中,如在其它实施例中那样,识别电视节目的数据
可以是任何形式。其实例包括ISAN标识符、时间/频道数据、音频数
据(远程检测器可从此音频数据中辨别出标识水印或指纹数据)、已解
码的水印数据、指纹数据、来自TiVo系统的EPG坐标、文本标题数据
(例如来自EPG)等等。

有机地编制的节目目录

节目指南是个旧概念,可追溯至最早刚出现电视机的时期和TV 
Guide杂志印刷品。其采用网格结构,用列表示时间(通常以30分钟
的增量递增),用行表示频道。

随着以大量频道为特色的有线电视网络的发展,这种网格格式演
变成屏幕上的滚动指南—最初在专用于此目的的有线电视频道上提
供。

此领域后来已发生大量技术进展,但时间/频道网格格式仍保持不
变。

TV Guide的时间表数据以及后来的电子时间表数据,传统上是通
过劳动密集型过程编制的。TV Guide以及后来的Tribune Media Services
的文书工作者定期拜访电视网络和各电视台以获得下一周的节目编排
信息。当到了最后一刻节目发生变化(这种情况不可避免地发生)时,
该指南提供的就是不正确的信息。

根据本技术的各方面,本发明人认为是时候直接从各频道获知节
目了。消费者有显示屏,内容会合乎需要地出现在该显示屏上(不论
是来自TV广播、有线电视、web流、iTunes、NetFlix、对等网络等)。
作为一种组织原则的各频道已变得不再有用。(通过参考频道来识别内
容类似于通过参考将邮件带到门口的邮递员姓名来识别邮件,或者通
过参考数据经过互联网各节点的路由来识别网页。)内容如何到达消费
者屏幕是次要关注点—如果存在的话。

包含本技术的此方面的实施例可以参考详细描述可用以获得内容
的多个替代信源的以节目为中心的目录。消费者指明所需节目而不是
指明所需频道。参考该目录的自动系统从可用信源中选择并将所需内
容呈现在屏幕上。仅有极少数情况需要消费者参与。

在一种特定实施例中,系统采用所存储的与用户偏好和个人资料
数据配合的直观推断和规则,来从不同信源中选择内容。用户可以针
对下载的内容优于流内容、免费内容优于付费内容、无商业广告、至
少1024×768的分辨率、不传递可能未经授权的信源等,表明偏好或
要求。一些这样的偏好可应用于所有内容类型;一些偏好可针对特定
内容类型定制(例如剧场电影和体育运动:偏好至少1024×768的分
辨率;时事和喜剧:偏好至少720×480的分辨率;付费内容:要求没
有商业广告)。可以以特定次序应用偏好/要求(例如,在可能的情况下
始终使用用户的第一偏好,而不考虑满足第一偏好是否意味着其它偏
好不会得到满足)。可选地,可以向这些偏好赋予不同的相对权重,在
考虑所有相关偏好和权重的情况下,仅当对每个选项进行综合评分后
才做出最终选择。

有时,规则/直观推断会将决定权交给用户。例如,规则可以规定
不要自动授权任何超过0.99美元(对于在剧场上映不到两周的电影,
则为2.99美元)的内容支付。然后,用户可通过手机或其它用户界面
(UI)来指定是否授权支付。

在其它情况下,用户可以指定一份优选供应商的有序列表。从Hulu
获得,如果可获得的话;否则从YouTube获得,如果可获得的话;否
则从iTunes获得,如果可获得的话;否则向用户呈现选项进行手动选
择。

图5示出了与Daily Show节目的某一集对应的数据库记录。所示
出的数据结构提供了关于此节目的信息,并列出提供此节目的各种信
源。一些是web信源。一些是TV信源。一种信源来自P2P网络
(Limewire)。

与各个所列出的内容输出口关联的是关于内容的进一步信息(元
数据),诸如该输出口使用的标识符(例如,Hulu的77973),内容的
ISAN编号(如果可获得的话),以及关于来自该输出口的内容的可获
得性的信息。

对于一些输出口,可获得性信息表明:此内容是“一经请求”就
可获得的。这种信息可以进一步指定此内容何时能够从此输出口第一
次获得,并且可以指定这种可获得性预期何时会结束。

例如,试看版的Daily Show剧集在该剧集的首播日期和时间(即
6月15日晚上8点)就可在Comedy Central(该剧集的始发网络)上
获得,并且直到首播的五周纪念日前的周日午夜都可以获得。然而,
提供给Hulu的拷贝会延迟一小时播出—直到晚上9点才能从Hulu获
得,并且只在此信源提供30天。

对于电视广播,所述数据结构包括指向任何长度列表的指针,此
列表详细列出该节目的首播时间和所有安排的重播时间。因此,
Comedy Central TV条目示出首播时间为晚上8点,随后在10:30重播,
在次日早晨7:30重播,等等。(在所示出的数据记录中,所有时间均为
太平洋时间。)

含有图5所示信息的同一数据库中或者另一数据库中,包含有将
电视网络映射到频道的数据结构。例如,Comedy Central在Dish网络
上是107频道,在Comcast网络上是55频道,等等。通过参考这些信
息,用户的系统可以在不同的分发系统上定位所需的节目。

图6示出如何收集信源数据。内容创建者为每一项内容提供无论
内容去往哪里都可以以数字方式从内容中提取出来的固有标识符。尽
管也可以使用指纹法,但优选使用数字水印技术。这种标识符和有关
内容的元数据一起存储在数据库中。然后将内容分发给一个或多个接
收者,诸如电视网络、网站等。

内容接收者配备有水印(和/或指纹)检测器(如图6中的三角形
符号所示),这些检测器读取内容的固有标识符并将报告发回数据库。
(参见例如Digimarc的第20070208711号专利公开,了解关于这样的
水印/指纹检测器的更多信息。)理想情况下,每个接收者的报告中都含
有接收者特定的信息,诸如期望用途的详细说明。这些详细说明可以
包括时间安排数据(例如,何时播送内容,何时可从网站下载内容,
何时将会停止提供,等等)。还可以包括其它信息,诸如内容的提供格
式,由接收者的系统分配给内容的标识符,等等。因此数据库中记录
了内容的存储位置,以及其它接收者贡献的所有信息。

除了将检测器设在经授权的分发商的内容摄取点之外,还可以将
检测器(图6中的三角形符号)设置在其它位置以识别其它位置的内
容,诸如泄漏给非计划的目的地的内容。例如,某人可能从网站下载
了某个内容,并将其重新发布到P2P网站上。位于某个互联网节点的
检测器可以感测P2P业务流,并向数据库提交识别该P2P网络的信息
作为此内容的备选信源。

图7更详细地示出此过程的内容创建者(例如电影工作室)部分。
内容最初通过胶片或数字拍摄而被创建。由制作团队审查工作样片,
并进行剪辑。如果内容通过胶片产生,则将内容扫描成数字形式。

然后以数字水印的方式给内容标上工作室分配的标识符。(在一些
配置方案中,给内容标水印的时间更早,诸如在制作工作样片时。)将
水印标识符与有关内容的元数据相关联地存储在工作室数据库中。(可
选地或者附加地,从内容中提取水印数据,并以相似的方式将其与相
关元数据一起存储在工作室的数据库中。)创建和分发胶片拷贝和数字
影院文件。

此内容创建过程不终止于影院放映材料。可针对例如电视(包括
标准清晰度和高清晰度)、视频点播、飞机观看、DVD版本、包括
MPEG2、Adobe Flash、Windows Media Format等在内的各种格式的web
视频等,制作内容的数十种其它剪辑和/或格式。还可以将此内容发送
给外部转码公司(例如Rhozet/Harmonic)以创建其它格式的文件。

理想情况下,水印具有允许逐层添加水印数据的变化性。在这种
情况下,可向内容的每个不同版本应用不同的副水印。这些标识符也
与其它相关信息(例如有关剪辑和格式的信息)一起存储在工作室数
据库中。

此工作室的数据库通常包含大量专有信息。因此,可将适合公开
传播的部分数据(例如节目名称、摘要、片长、水印/指纹信息等)发
送到一个不同的数据库,如图7所示的节目目录数据库。这是图6中
所示的收集可识别提供该内容的所有信源的报告的数据库。它可由行
业协会(例如MPAA)或签订合约的服务供应商(例如Secure Path)
管理。

在其它配置方案中,适合的保护机制可允许外部人员出于有限目
的访问工作室的内部数据库的部分内容。在这种情况下,图6所示的
数据库可以包括联合数据库—含有由不同的工作室和其它内容创建者
维护的许多不同的部分。也可以使用外部和内部数据库的组合。

图8从内容分发商的角度(例如从CBS等电视网络的角度)进一
步详述了此系统。内容在伴随有元数据的状态下从电影工作室到达分
发商的内容摄取服务器。此元数据(通常是“带外”信息,诸如信头
数据或附件)详细描述了内容标题、摘要、片长、格式详情、文件大
小、发布日期等。内容和元数据都注册在此网络的内部数字财产管理
系统中(“检入(checked-in)”)。

此网络将自己的元数据与检入的内容相关联地添加到数字资产管
理系统中,所述元数据详细描述内部管理信息,包括内容被安排在何
时播送、内容被安排何时发布到网站上、内部标识符等。

按照与内容创建者签订的合约要求(例如作为分发协议的一部
分),作为检入过程的一部分,内容分发商应将其创建并存储在其内部
数据库中的元数据中的至少一部分(包括时间安排信息在内)发送至
节目目录数据库,在该节目目录数据库中,所述至少一部分元数据与
内容相关联地存储。

类似地,可通过合约要求内容分发商在对先前提供的信息作出任
何变更时,或者在新的时间安排信息变得可获得时(例如,另外的播
出日期,内容被安排在何时从网站移除,等等),通过电子方式更新节
目目录数据库。

通过这种配置方案,节目目录数据库可有机地发展,在内容被首
次制作、然后分发、然后发生变更时由不同的各方贡献信息。在向节
目目录数据库补充由远离预期内容分发商的监视节点贡献的信息的情
况下,节目目录数据库成为有关不同信源的内容可获得性的信息的丰
富集合—所有信息都是自动编制的。此外,此节目目录数据库详细记
录了远远超过一周或十天(这是已知电子节目指南的典型时间范围)
的时间范围内的可获得性。

有时,内容输出口在接收到内容时可能还不知道它的分发安排。
尽管如此,位于该输出口的内容摄取点的水印/指纹检测器还是检测到
此内容,并且可将存储在此输出口的内容记录(以及检测日期/时间)
输入到节目分发数据库中。

可通过在本说明书的其它地方关于EPG描述的方式使用这种内容
目录数据库。例如,可通过手机应用程序查询该数据库以寻找以及安
排下载所需的内容。如果用户试看了感兴趣的节目,则对数据库进行
快速检查可立即揭示出许多输出口和时间表,通过这些输出口和时间
表可获得完整的节目。可立即下载完整的节目,或安排稍后下载完整
的节目。

有时,用户可能会遇到(并且用户手机可能会试看)以前看过的
节目—诸如Friends(《六人行》)或House(豪斯医生)等连续剧的某
一集。手机上的识别节目的应用软件可以从节目目录数据库或其它地
方调出所试看的连续剧的所有剧集的列表,并将此列表(及节目剧情
简介)呈现给用户。用户可能没兴趣观看当前正在播放的剧集(因为
以前看过),但是可以选择观看或者计划稍后下载此连续剧未看过的一
集或多集(包括重播的剧集,和尚未播出的剧集)。因此,遇到重播节
目时可提示用户安排观看同一连续剧的其它剧集。节目目录数据库可
帮助识别和定位这样的其它剧集以便观看。(在一些实施例中,可以编
制一种文件,该文件识别由用户下载和/或观看过的连续剧的所有剧集。
这可以充当现成的参考资料来确定此电视剧的未观看剧集。)

EPG的已知用户界面范例可用于当前描述的节目目录数据库。例
如,用户可以将某些节目或风格确定为最爱,并且这样的节目可以在
用户定制的数据库内容显示中给以更显著的地位。

一些用户界面以节目的直观图标或缩略图为特色,由此节目被形
象地表示。可采用主题一致的变体来表示不同形式的内容可获得性,
例如基于web、流式、下载、付费、高清等等。例如,可对特定节目
的所有图标使用相同的基础图像,同时采用不同风格的边界来表示不
同的变体。可以将这些图标组织到与不同节目对应的文件夹中。特定
节目的文件夹还可以包括代表与此节目相关的辅助内容的图标(例如,
关于角色、花絮(blooper reel)、赢取演播室观众门票的竞赛、小组件
等的信息)。如本说明书的其它地方所述,可以向用户提供机会来向节
目提交反馈(例如,关于情节发展、角色行为和动机等的反馈);节目
文件夹可包括一个或多个用于启动可提交这样的反馈的应用程序的图
标。

理想情况下,将同一内容的不同格式版本一起合并在节目目录数
据库中的一个节目条目下(例如,以文件夹的形式表示)呈现给用户。
(例如,与当前的以频道为中心的EPG显示方式不同,对于同一广播
节目的高清版和标清版,诸如ESPN和ESPN-HD,不会向用户呈现完
全不同的两个条目。)

除了用户定义的最喜爱的节目的文件夹之外,用以向用户呈现节
目目录数据库内容的用户界面还可以包括特别节目文件夹、最新新闻
文件夹以及用户潜在感兴趣的没有专门文件夹的其它节目的文件夹。

在一些实现方案中,定期或持续对节目目录数据库中的信息进行
检查以确保其准确性。例如,诸如由Nielsen提供的监视服务可对本地
电视频道进行采样以确认根据所指示的时间表能够收看到节目。如果
不能,则可将相应的数据库记录标记为可能有误,随后可采取措施纠
正目录中的任何相关错误,并确保类似错误不再发生。这种监视服务
可以同样的方式检查内容的web可获得性。如果此监视服务发现某个
特定内容不再能够从节目目录数据库中示出具有该内容的web输出口
获得,则可相应地修改数据库记录。

可将水印/指纹检测器设置于内容分发工作流程中的其它位置—而
不是设置在公共内容输出口处。例如,提供转码、配字幕、以及DVD
授权服务的公司可以在他们的摄取服务器处配备检测器—在其接收到
内容时报告该内容。可将这些报告记录在节目目录数据库中,但是对
这些报告的访问可以局限于内容创作者(例如工作室)。可选地,这样
的检测器可将这些内容报告给内容创作者处的私人数据库。

在另一种变型中,用户的手机可生成提供给节目目录数据库的内
容报告。例如,如果一位正在上网的用户碰巧观看了来自某特定社交
网站的一集Friends,则这一事实可以报告给节目目录数据库,并且可
以添加此网站作为此内容的另一备选输出口(如果此网站尚未被列出
的话)。同样地,如果一位用户试看了某电视节目(此节目可能以水印
编码的方式标有源ID和时间戳,如上文所述),则可识别出此内容(通
过水印或时间戳),并将此信息报告给节目目录数据库以检查数据库的
准确性,和/或用于观众调查目的。

沉浸式内容

近年来,电视节目已经从过去几十年来的那种“后靠式
(lean-back)”被动娱乐方式转变为几乎可以诱使观众对着电视叫喊的
“前倾式(lean-forward)”娱乐方式,例如Jerry Springer杀气腾腾的节
目。

一些新兴技术使3D电视指日可待,观众有望进一步融入到节目
中。但是,用户体验方面的实际问题,诸如引起头痛、引发癫痫发作,
可能会限制这种完全沉浸式体验的实际前景。

对本申请人而言,似乎更好的是这样的技术,其允许用户更好地
沉浸其中同时不具有3D和其它虚拟现实体验伴有的定向障碍。

根据本技术的这一方面,用户通过一种参与方式,特别是通过关
联的手机应用程序所提供的用户界面,受邀与电视和其它内容节目的
角色、情节和环境互动。

在一种特定配置方案中,观众共同地或者单独地影响节目的多个
方面。例如,用户可以选择通过他们的手机将某些个人资料信息暴露
给内容的创作者或分发商。如果由此发现特定节目的相当大一部分观
众是卡车车主(或饮酒者),则可在节目的制作中和/或选择广告赞助商
时对卡车公司(或葡萄酒品牌)给予差别待遇,形成与观众相符的内
容或广告产品。在一些情况中,这种适应性调整可以诸如通过基于当
前背景环境动态插入的广告而几乎实时地发生—正如Google的
AdWords使广告适应伴随的web搜索结果。在其它配置方案中,观众
的个人资料信息被提供给节目编辑,并且被用于使情节和/或其它节目
特性根据用户的个人资料信息而得到适应性修改。

如果某个节目的大部分观众是Budweiser啤酒的爱好者,则Miller 
Brewing公司可能愿意支付高额广告费以便在此节目播出期间推销产
品。

电视和在线内容可以从World of Warcraft之类的大型多人在线角
色扮演游戏(MMORPG)汲取经验,在这种游戏中,玩家团队(“公
会”)具有共同的才能、工具和其它财产设定,这些因素决定了团队的
成败。对于娱乐内容的观众也同样如此。可使用全体观众的构成和属
性来影响内容的情节、角色的动机和成败、广告等等。

不同的观众可以与节目演员表中的不同角色结盟。例如,在Friends
节目中,一些观众可以通过手机的用户界面输入信息,表示他们支持
Phoebe,一些观众则支持Monica,一些支持Chandler,一些支持Ross,
等等。在某些方面,节目的每个角色可以代表相应阵营正在观看的观
众来表演。观众可以提供意见、建议、决策等,这可能会影响角色的
响应方式,或情节的其它迂回曲折。(观众可以力劝Chandler,他还没
有准备好向Monica求婚。)

在一种特定配置方案中,最初可以为节目准备若干个备选情节走
向(类似于Choose Your own Adventure系列的儿童书籍)。取决于观众
通过其手机表达的观点,可以使剧情向不同方向发展(例如,对于节
目的不同部分,播放多个不同的录制片段中的一个)。

在另一配置方案中,向节目制作者提供观众反馈,使节目制作者
根据这样的反馈来修改即将播出剧集的剧本。

有时,给予观众评价节目的不同角色的机会。例如,在The Mole
节目中,剧中的角色努力达成一个共同目标,但是其中有一个需要隐
藏身份的双重间谍破坏者,他试图阻挠整个小组。在每集结束时,可
以对观众进行民意测验,对谁是间谍发表自己的评价。然后在下一集
中可将观众投票数最少的角色从演员表中去除。

在另一配置方案中,真人秀和其它现场表演秀中的角色完全被告
知观众的反馈、线索、动机或指示,并且会对他们的表演进行相应调
整。现场喜剧表演可以将用户提出的构想或困境作为即兴短喜剧的基
础,喜剧团花几分钟时间组织好他们的幽默段子后表演所述即兴短喜
剧。

Great Broadway节目的演员讲述他们对出席每场演出的特定观众
作出响应的感觉。Lily Tomlin这样的喜剧演员超群地使自己的表演适
应在现场观看他们表演的特定观众。尽管手机界面不提供现场观众的
直接反应或私下行为,但是它在使表演适应观众方面仍然实现了巨大
进步。(通过加速计、磁力仪、多点触摸用户界面功能等等,与过去的
其它设备(例如电视遥控器)相比,手机能够提供丰富得多的功能来
提供反馈。)新的混合电子内容因而能够得以实现,既包括脚本方面又
包括取决于观众的方面。

因为更多节目完全变成合成节目,所以动态调整节目情节和内容
以反映用户反馈变得更加容易。也就是说,对于用计算机生成的动画
图像,而非现场演员和实体布景制作的节目,可基于观众的实时意见
来动态设计情节。(例如,一个类似Chandler的角色可能在他向一个类
似Monica的角色求婚的路上错过了地铁,直到晚上她离开后他才到达
—所有这些都是根据按照观众意见修改的CGI脚本表演的。或者一个
动作角色可以伸手拿他左髋上的剑,或者他右侧的狼牙棒,这取决于
大部分观众成员移动其手机的方向。)尽管颇受欢迎的Pixar动画作品
要花很长时间制作动画效果和渲染,但是在电视和手机屏幕上呈现的
作品所需的较低分辨率以及处理能力依据摩尔定律而持续指数增长,
使实现观众响应式动画和渲染成为可能。

在一些配置方案中,一个节目可以包括一个或多个依据全体或部
分观众的输入而建立动作和/或动机的角色。(例如,以南北战争为背景
的内容可能包括:一个邦联军的英雄角色,对南部邦联的观众的输入
作出响应;和一个联邦军的英雄角色,对来自北方各州的输入作出响
应。)

(可参考控制动机。一个动机可能会决定随后的一系列行动。因
此,如果英雄的动机是救美,甚至不惜以自己的生命为代价,那么接
着发生的场景中的大量行动就会合乎逻辑地发生。如果英雄的动机是
战胜对手并活下来讲述此过程,那么接下来一系列不同的行动可能会
合乎逻辑地发生。取决于具体情况,接收观众关于角色动机的输入比
接收观众关于个体行动的输入更可取。)

参与观众成员的姓名和/或位置可以与他们输入的内容一起提交。
节目可以将这些名字编入故事情节中。(例如,在到达Monica的公寓
时,Chandler可能注意到“我和一位来自波特兰的游客Tony共搭一部
电梯,他说他可以看出我心烦意乱。你觉得我看起来心烦意乱吗?”)
可以基于参与观众的输入展开次要情节。

如果节目中包括观众角色,则可以用参与观众成员中最常见的名
字给这些观众角色取名—提高节目内容对观众的吸引力。或者可以通
过其它方式给角色取名,诸如第一个正确回答出问题的观众的名字,
等等。或者不用某位观众成员的名字给角色取名,而是可以向赢得竞
赛的观众成员授予给角色取他/她所选择的名字的特权。

剧情可以编写成包括一些反问,或角色之间的疑问,这些问题也
可以由观众来回答。(“我不知道我明天是否应该穿这条红裙子去和
Chandler约会;这条裙子也许太前卫了。”)取决于观众的反应,她可
以选择穿或不穿这条红裙子(可以将她的决定归因于“Tony”给出的
建议)。

在一些情况下,观众可以提交有声(音频)指示或其它音频输入。
可将这样的音频输入添加到节目内容的音轨中—进一步提高观众的参
与程度。(群众场景的音轨可包括数十或数百个叠加的音轨,这些音轨
由观众成员使用他们的手机提交。)

其建议在故事的展开过程中得到采纳(或音频得以添加)的观众
成员自然会对他们的参与感到自豪—让他们在办公室闲聊时增加一些
炫耀的资本,等等。

根据本技术的另一方面,可使用手机发送“赞成”或“反对”信
号以决定古罗马角斗士的命运。然而,与由皇帝判决不同,这是观众
的集体意见。

可通过各种用户界面控制(诸如通过正面朝上时摇动手机或倒置
时摇动手机,或通过其它手势或动作),来输入“赞成”或“反对”信
号。

如果一位观众发出信号表示支持第一位游戏节目参赛选手,不支
持第二位参赛选手,则节目制作者可以提高第一位选手获胜的可能性。

使用手机手势发送信号以输入对正在展开的情节的意见,这种方
法在观众众多的场合可产生良好效果,诸如在放映动作片的剧院观众
席中。可邀请观众决定是否用剑刺,以帮助英雄击败屏幕上的反派角
色。同样,取决于观众的参与情况(例如,通过选择两个先前制作的
不同结局中的一个,或通过制作动态渲染的不同计算机图形序列的动
画),战斗可以发展出不同的结果。

在另一方面中,在现场表演场地(诸如音乐会),将手机用作输入
设备。观众可使用手机告知表演者他们希望演奏哪些曲目,并对加演
的曲目提出建议。音乐会主办方可发布一种用于提交这样的输入的应
用软件,并可要求用户提供他们的电邮地址(并且任选地提供其它个
人背景数据)以便激活此功能。当然,这样做可使主办方获得有价值
的营销资源。音乐会观众的手机屏幕发出的光可取代打火机火焰的光
以使音乐会表演者获知观众的喜爱程度。

在另一方面中,可通过另一种流动方向(即从内容节目到用户手
机)的数据,来补充刚才描述的特征(例如向内容节目提供用户输入)。
内容可包括水印或其它可通过用户手机触发同步动作的编码数据。这
可包括本申请和通过引用结合在本文中的那些文献中详细描述的各种
形式的辅助内容。可能会发生相互影响,即用户输入会触发内容中的
响应动作,这种响应动作继而又触发辅助内容中的响应动作,就这样
来回相互影响。

通过前述配置方案,用户可在内容展开的过程中参与其中,通过
他们的操作和观点影响节目动作和情节发展。与过去数十年来的被动
后靠式观看,或当前一些节目的那种诱使观众向电视叫喊的观看方式
不同,观众可以以前所未有的方式控制节目—通过与他们的手机进行
手势或其它交互,产生更加充分参与的沉浸式体验。

屏幕切换

根据本技术的另一方面,向用户提供将内容从小屏幕(例如手机)
切换到附近大屏幕(例如电视显示屏),或从大屏幕切换到小屏幕的直
接手段(straight-forward means)。

在一种形式中,该装置包括可向目的地屏幕发送指令的用户界面
控制,通过这种用户界面控制可使在当前屏幕上正在进行的用户体验
(例如娱乐内容的播放,等等)延续下去。对于web内容,诸如从
YouTube上下载的视频,手机可向网站发送指针以及视频播放器应用
程序的状态数据,例如详细描述视频和缓冲内容的当前点的状态数据。
对于视频游戏,手机可通过类似方式将当前状态信息发送给电视计算
机中的处理器—允许其从当前状态继续进行下去。

在一些实现方案中,可使用Bonjour协议实现发送—向接收处理器
告知可供发送的信息,并请求接收处理器接管。

在一些情况中,目的地设备可与当前正在播放的设备通信以“抽
取”内容,而不是将内容从当前屏幕推送到不同的设备屏幕上。

在其它应用场合中,最初显示的内容可能受一个Java应用程序控
制,诸如通过蓝光光盘提供的BDJ应用程序,或由有线电视公司的交
互服务提供的Tru2Way应用程序。可通过在接收计算机上加载对应的
Java应用程序,并根据请求发送时始发计算机的执行状态对执行状态
进行初始化,来将这样的内容提供给另一屏幕。

一种这样的Java应用程序是允许观众参与游戏节目的程序,诸如
Who Wants to Be a Millionaire(“谁想成为百万富翁?”)(此节目中,
参赛者选择回答多少个问题以获得双倍奖金或零奖金),或Deal or No 
Deal(“成交或放弃”)(此节目中,参赛者从一组奖金总金额已知的盒
子中选择一个奖金金额未知的盒子;然后一个一个地揭晓其它盒子的
内容,通过这种排除过程指明非选中盒子中的奖金;庄家向参赛者提
供另一笔现金交易,这笔交易的价值随着排除过程的进行而波动)。

观看这类内容节目的观众可选择接收该游戏节目的对应Java版本
(例如,作为辅助内容—使用本说明书其它地方描述的配置方案)。下
载(并且可定期更新)的Java版本具有正在播放的剧集的特定参数。
观众可以在该集的任何时刻暂停该游戏节目的正常呈现,并尝试用所
述的Java应用程序参与游戏直到结束。然后观众可将他或她的结果与
电视播送的参赛选手的结果进行比较。

(在激活游戏的Java版本时,原内容节目可自动暂停。暂停可以
包括TiVo暂停操作,这种操作在本地或远程磁盘上对正在进行的内容
传递进行缓冲。或者可以从有线电视或在线信源以按需模式传递原游
戏,这样只需指示已下载的流停止播放即可实现暂停,稍后再继续播
放。)

作为另一个实例,考虑在家庭PC上玩World of Warcraft的玩家,
此玩家希望在乘坐公交车时继续玩游戏。于是该用户通过操作其手机
上的内容发送用户界面控制,将关于游戏的状态信息发送到手机上(如
果手机上没有游戏软件,则与游戏软件一起发送),这样玩家就可以在
小屏幕上继续玩游戏。

再考虑一下在大屏幕上玩游戏或观看内容的人,此人的手机接收
到一位朋友发送的内容(例如图像)。为了更好地观看收到的内容,该
用户可以操作手机界面(或大屏幕界面)上的控制,以使大屏幕内容
自动暂停,并显示发送至手机的信息。在大屏幕上览毕图像后,该用
户可仍旧在大屏幕上调用消息发送应用程序,以将自己的评论回复给
这位朋友。然后通过再次操作用户界面控制,大屏幕继续呈现原内容。

用户可能希望使用大屏幕完成许多操作,诸如阅览图片和视频、
视频消息发送、阅读、控制/设置等等。大屏幕成为手机用户界面的延
伸。创作发送至手机的内容时可以考虑这种功能,例如将屏幕发送按
钮集成到用于控制内容的用户界面中。

在这种配置方案以及其它详细描述的配置方案中,对于大部分相
关处理(例如玩游戏,用户界面操作等等),可利用云资源帮助完成屏
幕切换。云资源接收来自大屏幕和小屏幕设备上的用户界面控制的用
户输入,并动态生成发送给目的地设备及呈现给用户的作为响应的
MPEG流。用户在例如手机上发出命令,然后很快看到作为响应的屏
幕显示—就好像是手机在回应用户命令。实际上,作出响应的是云处
理;用户看到的只是远程编写的响应视频。通过在云中执行处理并将
手机(或大屏幕处理器)仅用作输入输出外设,切换屏幕变得轻而易
举。作为对用户输入的响应而在云中编写的MPEG流只是被路由到所
需的本地设备。

返回到World of Warcraft游戏,用户像惯例那样控制游戏。然而,
用户的输入被发送至云处理器,此云处理器与游戏交互并将作为响应
的MPEG流发回用户PC。当用户希望将游戏带到公交车上玩时,只需
将远程计算的MPEG流的目的地切换为用户的手机。

在阅览好友发送到用户手机上的图片(例如JPEG图像)的情况下,
JPEG图像被解压缩并作为发送至手机的视频帧呈现。持续呈现单张图
片直到用户操作用户界面控制以前进到下一张图片。此命令被传递到
云处理器,然后云处理器将下一张图片作为一系列视频帧呈现。当用
户希望切换到大显示屏上进行阅览时,只需将MPEG流重新路由到所
需的显示屏。

通过这种配置方案,用户可以在用小屏幕和用大屏幕呈现内容这
两种方式间切换,并可在希望时通过选择积极参与内容相关活动而打
断娱乐内容通常线性的展开过程。

附加信息

Google公司最近发布了Google Voice,这项服务提供了对传统电
话系统的大量改进。Vonage和Skype公司也提供了一些先进的电话功
能。这些功能可结合本技术的应用程序一起使用。

例如,这种服务可针对如何采用用户手机传达媒体提醒建立管理
规则。可将这种服务设置为仅允许在周一至周四晚上8点至10点间,
以及周五至周日早上9点至晚上11点间向用户发送电视节目提醒,但
是如果确定用户当前位置正在电影院或正在工作等,则不发送提醒。

还可以采用Google Voice的其它功能。一种功能是用户定位。如
果用户将Google Voice设置为在她的办公室、住宅和海滨别墅打电话,
并且用户在海滨别墅的电话上接听来电,则由此会生成此用户的位置
数据。这种信息可以与本文详述的基于位置的服务(以及其它基于位
置的服务)一起使用。

Google Voice提供的声音到文本转录服务可用于将主要内容或辅
助内容的音频转录为文本,该文本可通过已知配置方案(电子邮件、
SMS短信、FAX等等)提供给用户。对于一些使用场合而言,与音频
相比,文本是更好的数据形式,因为用户可以依个人兴趣对不同部分
进行浏览或研究。

每当涉及用户信息时便会产生隐私问题。本技术的任何一种实现
方案自然应当对保护用户隐私给予适当的考虑。在一些配置方案中,
用户有机会选择共享多少信息,从而对本文详述的不同系统的功能进
行增减。

可将除手机以外的其它设备与所述配置方案结合使用。在一些实
施例中,直接将信息和内容路由到这样的设备。在另一些实施例中,
手机接收数据,并通过WiFi、蓝牙或Bonjour等,将数据传递给其它
设备(例如,附近的设备,或与公用网络相关联的设备)。

用户的个人资料数据可包括指明用户感兴趣(或不感兴趣)的电
视节目范围的子集的数据。在一个实施例中,这种个人资料数据采取
EPG中要包括或排除的频道(或节目目录数据库中要包括或排除的节
目)的形式。(ESPN可能为“包括”状态,Home Shopping Network(家
庭购物网络)可能为“排除”状态。)用户的个人资料数据还能显示用
户所属的社交团体,诸如一个虚构的橄榄球联盟或某个Facebook群组。
除了用户是否是成员,关于此群组、其全体成员及其活动的附加信息
都可以用来帮助识别潜在感兴趣的主要内容和辅助内容。(如果用户的
虚构橄榄球队包括来自四支NFL球队的队员,只要这四支球队中的任
何一支有比赛,用户可能都有兴趣从家庭TiVo系统接收相关文字提
醒。)

尽管本文对广告商所述甚少,但其无疑也发挥着一定作用。其一
就是广告商的传统角色,即节目的签约赞助商。另一种作用就是提供
辅助内容,包括应用程序。

考虑一家提供可从Apple iPhone App Store下载的折扣应用程序的
比萨连锁店。当用户看完此比萨连锁店赞助的特定内容时,此应用程
序会提供每20美元的比萨订单折扣10美元的优惠。手机感测呈现给
观看者的赞助内容—使观看者获得折扣资格。由于手机知道用户的位
置,因此可以识别出此比萨店最近的分店,然后将观看确认发送给该
店,并安排支付和递送。

本技术的一些实施例利用推断方式。推断可以得到概率结果:例
如,系统可以推断出用户观看海鹰队比赛的可能性为60%,观看开拓
者队比赛的可能性为40%。可按同样的比例设置辅助内容选项。例如,
通过第二屏幕内容的菜单呈现给用户的五个选项中有三个选项可以与
海鹰队或橄榄球有关;另外两个选项可以与开拓者队或篮球有关。

在一些实施例中,对有关用户观看活动的确定(在家和不在家)
进行跟踪并将其收集在数据存储库中,例如与用户的家庭网络相连,
或者由Nielsen、Google或Comcast之类的服务供应商维护的磁盘或存
储器。该数据存储库可以是为用户确定辅助内容所围绕的中心。在一
些配置方案中,也可以包括关于用户选择的辅助内容的信息。这些收
集的数据可以充当个人资料数据的来源,并且有助于在未来可能不甚
明了的背景环境中辨别用户活动。

在有适当的许可的情况下,这样的信息可以实时或偶尔与内容供
应商和其它各方共享,使得内容供应商和其它各方可以针对用户的消
费情况提供定制的辅助内容。在一些实施例中,仅与参与向用户发送
特定内容的实体共享此信息。例如,可能仅与ESPN共享有关用户观
看ESPN节目的信息。在其它实施例中,与更广泛种类的实体共享此
信息。例如,后一种配置方案可允许CBS、NBC、ABC和FOX提供
与ESPN橄榄球赛对应的辅助内容。

(还可以与观众统计企业共享这种收集到的信息。)

不同的网络可以全都具有各不相同的第二屏幕策略。对于相似的
主要内容,Fox、NBC、ESPN可以全都具有各不相同的辅助内容。

尽管本说明书讨论了对用户可能正在观看(或未来可能观看)的
节目进行估计,但是也可以通过类似的方式对若干个节目进行估计。
如果请求用户确认,则她可以将若干个节目中的一个确认为正观看的
节目。

尽管本说明书在前面提到过本说明书与本受让人先前的专利申请
的关系,仍有必要重述一下。这些公开应该一并阅读并作为一个整体
来解释。申请人打算将每个专利申请中的特征与其它专利申请中的特
征结合起来。因此,例如,可以实现第61/150,235号申请中详述的采
用与小组件相关的技术的配置方案,以便也包括本申请中详述的特征
和配置方案—反之亦然。对机场的电视监视器进行音频采样以便触发
家中的DVR记录相同的节目或前面的节目(详见第12/271,772号申请
所述),这样的方案同样可以查询众包数据库以便识别相关辅助内容,
详见本说明书所述。将各种辅助内容推送至手机,用户可以用手机的
箭头键滚动内容(详见第12/484,115号申请所述),这样的方案可以用
在使用本申请所述的基于情景猜测用户当前正在接触的内容的方法
(详见本申请所述)的系统中。向外部服务供应商推荐一些内容识别
任务或组分任务(可能基于反向竞拍,详见第12/484,115号申请),这
可以类似地用于本文所述技术的实施例中。等等。因此应理解的是,
本申请中揭示的方法、单元和概念可以与相关申请中详述的方法、单
元和概念组合。尽管本说明书特别对其中一些组合进行了详细描述,
但是还有许多组合尚未描述—因为存在大量置换和组合。尽管如此,
根据所提供的教导,所有这些组合的实现对于本领域技术人员而言是
直接明了的。

DVR通常是一种家用设备。但是它们不必如此。本技术的实施例
可使用各种各样的录制设备—不管这样的录制设备位于哪里。
(Cablevision提供了一种消费者DVR服务,在此服务中,实际的录制
是在有线电视分发系统的头端完成的。)

尽管图1将第二屏幕辅助内容显示为独立于主要内容传送,但是
在其它配置方案中,这两种内容可以一起传送,或使用相同的分发系
统传送。

在一些实施例中,可使用用户邻近其他人这一事实来估计用户的
活动。例如,如果用户邻近一群来自业余篮球联盟的兄弟,则通过此
因素可以推断,用户更有可能在观看篮球赛(如果当时是三月)或橄
榄球赛(如果当时是十一月)。相比之下,如果用户邻近他的妻子,并
且当时是周一至周四的晚上,则此因素可能暗示,用户正在观看
Comedy Central频道的Daily Show。可通过电子方式感测是否邻近,例
如通过蓝牙信号,通过比较位置数据,等等。

如上所述,身体邻近的含义取决于特定实现方案的要求。身体邻
近可以表示在一定距离内(例如10码或100码),在同一间住宅内,
在视线范围内,使用同一公用网络,在WiFi或蓝牙等短距离无线服务
范围内—取决于应用场合。

本说明书涉及电视节目。但这是一种简略表达,包括任何视频内
容—不论其制作或发送方式。例如,某个电视节目可以是一种传统节
目—同时通过多个不同网络分发给多个消费者。或者它可以是使用其
它模型分配的内容,诸如web广播(web cast)、YouTube、Hulu、视频
点播(例如NetFlix)、Boxee、DVD、戏剧演出等等。

展望未来,内容编排者可能会创造出大量增强的媒体体验,每种
体验都针对个体用户定制,包括内容的基本主题(例如,篮球赛),在
该基本主题下,由用户动态选择和导航补充体验(辅助内容)。更多沉
浸式呈现系统和功能更强大的用户界面可能会使一个电视屏和一部手
机的模式黯然失色。一位用户可能选择Howard Cosell的角色来讲述
Jets橄榄球赛,并且可能使此角色通过交互式语音对话澄清特定要点。
另一位用户可能只选择由阴郁的Joe Namath进行边线型评论。

本文提到了节目目录数据库。一旦用本文详述的自动化技术编制
出数据,便可根据在本说明书中其它地方关于EPG讨论的技术和根据
现有EPG技术已知的其它技术来呈现、使用和传播这些数据。本说明
书未详细说明现有EPG技术;读者可以参考现有文献来了解更多信息。
(这些文献包括Davis等人的第5,559,548、5,576,755、5,585,866、
5,589,892、5,635,978、5,781,246、5,822,123、5,986,650、6,016,141、
6,141,488、6,275,268、6,275,648、6,331,877、6,418,556、6,604,240和
6,771,317号专利,以及本发明人的第7,263,202号专利,该专利涉及将
水印与EPG结合使用。)

尽管本技术是在提供辅助内容作为主要视频内容的补充的背景下
描述的,但是相同的原理也适用于其它地方,例如其它对情景和/或其
环境作出响应的设备。因此,例如,辅助内容可以与任何对象(包括
实体对象)关联起来。一位用户拍摄了一张埃菲尔铁塔的照片或一盒
牛奶的照片,可使用本文详述的原理向此用户呈现相关内容的菜单。

应认识到的是,上文详述的配置方案中的某些配置方案是一个更
大概念的一些专门情况,所述更大概念是有助于呈现对用户环境作出
响应的内容的技术。

一些研究人员预言,有一天我们的所有日常经历都会以数字形式
被捕获。事实上,微软公司的Gordon Bell已经通过他的CyberAll、
SenseCam和MyLifeBits技术将他最近的生活编制成数字档案。Bell的
档案包括所有电话录音、日常生活视频、消费的所有TV和无线广播的
捕获内容、访问的所有网页的存档、参观过的所有地方的地图数据、
治疗他的睡眠性呼吸暂停的多导睡眠图,等等。(如需了解更多信息,
请参见例如Bell,A Digital Life,Scientific American,2007年3月;
Gemmell,MyLifeBits:a personal database for everything,微软研究院技
术报告MSR-TR-2006-23;Gemmell,Passive Capture and Ensuing Issues 
for a Personal Lifetime Store,Proceedings of The First ACM Workshop on 
Continuous Archival and Retrieval of Personal Experiences(CARPE′04),
第48-55页;Wilkinson,Remember This,The New Yorker,2007年5月
27日。还可参见Gordon’s Bell的微软研究院网页引用的其它参考文献,
以及ACM特别兴趣组的CARPE(Capture,Archival & Retrieval of 
Personal Experiences)网页。)

一个更实际的例子是,用手机通过对音频频繁采样(例如,连续
地每秒钟采集五千个样本;或者每秒钟采集一万个样本且每分钟连续
采集十二秒,等等)来捕获用户日常经历的各方面。可将这些样本发
送至用户家中,以便在用户明确请求时被进一步查询,或者这些样本
还可以伴随着用户并提供其它操作所基于的数据。

设想一下,一位用户在餐馆听到一首感兴趣的歌。稍后,她通过
数据线或以无线方式将她的手机连接到她装有Google Toolbar的膝上
型电脑上。(或者手机可以自己运行Google Toolbar。)Google Toolbar
保存了过去的搜索历史,手机则提供了过去经历的历史。通过使用
Google Toolbar提供的用于该任务的用户界面,用户迅速浏览当天采集
的音频样本(例如通过时间戳、GPS位置标记等等),查找在此餐馆采
集的样本。Google Toolbar对识别出的音频进行处理并返回这首歌的元
数据,诸如歌名、艺术家和专辑。但是,与竞争对手的服务(例如Shazam)
不同,采集的历史允许用户挖掘过去的经历—在一些情况下可研究所
捕获的用户原本不感兴趣但后来感兴趣的信息。

在另一种配置方案中,将采集的所有音频提供给Google(在其被
捕获时提供,或稍后提供)。Google开始搜索,并用搜索结果(诸如元
数据、语音转文本数据、Wikipedia以及与可听辨的词语和通过NLP技
术从词语中提取出来的概念相对应的其它web资源的链接等)对音频
数据作注释(或另外提供搜索结果)。当用户稍后回顾该音频数据时,
立刻可获得该增强信息。

可采用众包和位置数据以达到良好效果。例如,Google可通过参
考GPS数据和时间戳识别出许多与用户同时在餐馆用餐的其他顾客。
可以将这些顾客捕获的音频与用户捕获的音频结合在一起考虑,以便
更完整地表征用户的音频环境(例如,可以从不同手机偶尔捕获的音
频样本组合出一段连续的音频流)。Google可以例如根据每位顾客光顾
餐馆的时间段,对这一段增强的拼接音频进行分析以产生更多和/或更
好的信息并使这些信息能够为用户所用。

在另一实施例中,Google可以提供对其它顾客的音频数据的分析
结果—顾客明确请求进行搜索,或者Google自发进行分析。如果邻桌
的一位顾客点了一份巧克力舒芙蕾,则Google对这个词进行的搜索
(Google在其多次数据挖掘工作中的一次工作中识别出这个词并将其
与餐馆名称相结合进行搜索)可能将三年前在Gourmet杂志上发表的
这家餐馆这道甜品的制作方法显示出来。此信息可以被包括在呈现给
用户的结果中,尽管此信息是以另一顾客的餐桌上捕获到的音频为基
础的。以类似的方式,可用反复提及的菜品名称(通过分析软件根据
背景识别(例如,“您要点菜了吗?”这一音频线索出现时,将随后出
现的词语识别为菜品名称))重现这家餐馆的菜单,并将菜单提供给通
过GPS数据而获悉到的已经光顾过该餐馆的所有用户(不论他们是否
曾在此捕获过音频)。

在另一配置方案中,将捕获到的音频持续提交给Google,并立即
进行分析。Google将其分析结果以流式方式返回至用户手机,手机对
这些分析结果进行缓冲以便查看。(一些分析过程可能比其它分析过程
花费更长时间,因此可能不严格地按时间顺序返回数据流,但是返回
的每个数据都与指示该数据所对应的音频片段的时间戳相关联,因此
可以按适当的顺序呈现信息。)用户可以在任何点倒退滚动其经历(可
能使用适合于临时安排的数据的用户界面,诸如Apple公司在iPod中
使用的并且在其第20080174570号专利公开中详细描述的“封面流”
界面)以检查所捕获的信息,并查看Google返回的响应信息。

(在刚才详述的配置方案中,可在如上文提到的GeoPlanet服务之
类的地理位置数据库中查找顾客的纬度/经度坐标以确定顾客是否在相
同环境(即餐馆)中。对于低层级的功能粒度,例如街道地址或企业
名称这种层级,所有顾客的纬度/经度坐标都对应于同一位置。)

本文多次提及Bonjour。Bonjour是Apple公司实现的服务发现协
议Zeroconf的商标。Bonjour使用多播域名系统服务记录,来定位本地
网络上的设备并识别每个设备提供的服务。此软件内置于Apple MAC
OS X操作系统,也被包括在Apple公司为iPhone提供的“Remote”应
用中,用于通过WiFi使iPhone与iTunes资料库建立连接。(TiVo使用
Bonjour来定位数字视频录像机和共享的媒体资料库。)

Bonjour服务被实现在主要使用标准TCP/IP调用的应用层,而不
是实现在操作系统中。Apple已将Bonjour多播DNS响应器(发现服
务的核心组件)的源代码作为Darwin开源项目提供。此项目为大量平
台(包括Mac OS X、Linux、*BSD、Solaris和Windows)提供了用于
建立响应器守护程序(daemon)的源代码。此外,Apple公司还提供了
一套名为Bonjour for Windows的用户可安装的服务,以及Java资料库。

如上文所述,可采用Bonjour为本技术的实现方案中的各种功能提
供服务。例如,DVR可使用Bonjour在家庭网络的子网上定期(例如,
每一秒或每几秒)发送一个或多个用于识别当前正在呈现(或录制)
的节目以及与该节目对应的辅助内容的分组。它还可以识别自己的位
置、它的注册用户、以及它所提供的功能/服务,并根据EPG数据和以
前进行的录制的列表来详细列出当前可用的其它节目选项。这些
Bonjour广播全都包括DVR的IP地址,使得响应系统可以向DVR请
求更多信息或内容。同样地,手机可以通过类似方式发送用于识别其
状态、正呈现的内容、位置、可用功能/服务、用户个人资料数据等的
信息。

其它软件可以可选地或附加地被用于在各设备之间交换数据。其
实例包括Universal Plug and Play(通用即插即用,UPnP)及其下一代
Devices Profile for Web Services(DPWS)。这些是实现零配置网络服务
的其它协议,通过这些协议,设备可以连接、识别自身、将可用功能
告知其它设备、共享内容等等。

假定本领域技术人员熟悉这类软件工具。

应认识到的是,本技术的某些实施例允许多位观看者在各自的屏
幕上获得各自的观看体验,而不会受到共享屏幕上的集体观看体验的
干扰。最终结果就是获得增强的社交体验,其中每个人可为强大的群
组体验贡献不同的观点。

结论

已经参考了一些说明性实例描述并举例说明了本发明的原理,应
认识到的是,本技术并非局限于此。

例如,虽然本文提及了手机,但应认识到的是,本技术可用于各
种各样的设备—既可用于便携式设备也可用于固定式设备。PDA、组
织器(organizer)、便携式音乐播放器、台式计算机、可佩戴式计算机、
服务器等等都可以利用本文详述的原理。本发明特别涵盖的手机包括
Apple iPhone和采用Google的Android规范的手机(例如由HTC公司
为T-Mobile制造的G1手机)。“手机”一词应解释为包括所有这样的
设备,甚至那些严格来说不是蜂窝式电话也不是电话机的设备。

(Apple公司已公开的第20080174570号专利申请中提供了iPhone
(包括其触控界面在内)的详细说明。)

为了便于说明,通常单独描述本说明书中所述的概念。但是,可
以以几乎无限种组合方式组合这些概念(包括通过引用结合在本文中
的文献中详述的概念),使得例如手机或系统可以采用本文详述的多种
功能。这些组合明确属于本申请揭示内容的范围。

尽管说明书和附图将数据描述为存储于某些设备中,但这仅是例
证性的。数据可存储于任何位置(甚至存储在云存储库中),并且可在
任何需要的时间和地点提供。类似地,各种操作被描述为由特定设备
执行。然而,这些处理也可以在任何地方执行,并且可以在任何需要
的地方提供结果。因此,只是出于说明目的提到由手机执行某种操作
或数据存储于DVR中。当然可使用其它配置方案。

本受让人已在专利文献中公布了关于相关系统和技术的大量信
息,假定技术人员熟悉这些文献。其中包括第6,590,996、6,947,571号
专利和已公开的第20070156726号专利申请。

尽管某些配置方案将水印技术用于内容识别或信号发送,但相同
或类似的功能也常常可通过基于指纹的方法或带外技术(例如,VBI
信号发送技术)来实现。在一些实现方案中,可采用条形编码或其它
公开的符号系统、RFID芯片及其它识别技术。

尽管是作为完整系统公开的,但本文详述的配置方案的各种子组
合也可分别预期到。

尽管本说明书已在说明性实施例中详细描述了特定操作顺序和特
定单元组合,但应认识到的是,其它预期到的方法也可以对操作重新
排序(可能省略一些操作并增加另一些操作),并且其它预期到的组合
可以省略一些单元并增加另一些单元,等等。

本公开中所提到的手机和其它设备的设计是技术人员所熟悉的。
如上所述,每种设计通常包括一个或多个处理器、一个或多个内存(例
如RAM)、存储器(例如,磁盘或闪存)、用户界面(可以包括例如键
盘、TFT LCD或OLED显示屏、触觉或其它手势传感器、摄像机或其
它光学传感器、麦克风等等,以及用于提供图形用户界面的软件指令)、
这些单元之间的互连装置(例如总线)、以及一个或多个用于与其它设
备通信的接口(可以是无线接口,诸如GSM、CDMA、W-CDMA、
CDMA2000、TDMA、EV-DO、HSDPA、WiFi、WiMax或蓝牙,和/
或有线接口,诸如通过以太网局域网、T-1互联网连接,等等)。

可将本说明书中详述的处理和系统组件实现为计算设备的指令,
诸如包括微处理器(例如,ARM系列32位RISC处理器)、图形处理
单元(GPU)、数字信号处理器(例如,Texas Instruments的TMS320
系列设备)等在内的各种通用可编程处理器的指令。可将这些指令实
现为软件、固件等。这些指令还可以以各种形式的处理器电路实现,
包括可编程逻辑设备、FPGA(例如,Xilinx Virtex系列设备)、以及专
用电路—包括数字电路、模拟电路和数字/模拟混合电路。指令的执行
可以分布在多个处理器之间以及/或者可以使指令的执行并行跨越某个
设备内的多个处理器或跨越某个设备网络。内容信号数据的转换也可
以分布在不同处理器和存储设备之间。提及“处理器”或“模块”时,
应将其理解为是指功能,而不是要求一种特定实现形式。

用于实现本文详述功能的软件指令可由技术人员根据本文提供的
描述而很容易地编写出来,例如用C、C++、Visual Basic、Java、Python、
Tcl、Perl、Scheme、Ruby等语言编写。根据本技术的手机、DVR和其
它设备可包括用于执行不同功能和操作的软件模块。

通常,每个设备都包括向硬件设备和通用功能提供接口的操作系
统软件,并且还包括可以有选择地调用以执行用户所需的特定任务的
应用软件。可对已知的浏览器软件、通信软件和媒体处理软件进行改
编,使其适合于本文详述的许多用途。软件通常作为指令存储在通过
磁盘或光盘、内存卡、ROM等有形媒介传达的一种或多种数据结构中。
一些实施例可实现为嵌入式系统,其中嵌入式系统是一种专用计算机
系统,在该系统中,操作系统软件和应用软件对用户而言不可区分(例
如,普通手机中通常就是这样)。可通过操作系统软件、应用软件和/
或嵌入式系统软件实现本说明书中详述的功能。

不同的功能可以实现在不同的设备上。例如,在手机与远程服务
器通信的系统中,不同的任务可以由一个设备或另一个设备专门执行,
或者可将执行分布于两个设备间。内容识别只是这样的任务的一个例
子。因此,应理解的是,将某个操作描述为通过某个设备执行并不是
限定性的,而是示例性的;通过另一个设备执行操作或在各设备间共
享操作,也属于这种情况。

不必通过明确可识别的硬件专门执行操作。相反,可以将一些操
作提交给其它的外部服务(例如,云计算),这些外部服务再通过另一
些通常不知名的系统来处理这些操作的执行。这类分布式系统可以是
大规模的(例如,涉及全球计算资源),或者是局部的(例如,当便携
式设备通过蓝牙通信识别出附近设备,并使一个或多个附近设备参与
到任务中时)。

应认识到的是,本文详述的内容信号(例如图像信号、音频信号
等)的处理包括对这些以各种物理形式存在的信号进行转换。图像和
视频(穿过实体空间传播并描绘实体对象的电磁波形式)可使用摄像
机或其它拍摄设备从实体对象拍摄,或者由计算设备生成。类似地,
可使用音频换能器(例如麦克风)捕获穿过实体介质传播的声压波,
并将其转换为电子信号(数字形式或模拟形式)。尽管这些信号通常以
电子和数字形式处理以实现上述组件和处理,但是这些信号也可以以
包括电子、光学、磁、和电磁波形式在内的其它物理形式被捕获、处
理、发送和存储。在处理过程中以各种方式针对各种用途转换内容信
号,从而产生信号和相关信息的各种数据结构表示形式。继而,对内
存中的数据结构信号进行转换以便在搜索、排序、读取、写入和检索
过程中进行操作。这些信号还可经过转换以便被捕获、发送、储存并
通过显示屏或音频换能器(例如扬声器)输出。

本文曾提及GPS数据。应将其理解为任何位置相关信息的一种简
略表达;不一定要通过全球定位系统卫星群来获取这种数据。例如,
另一种适合于生成位置数据的技术依赖于通常在设备(例如WiFi设备、
蜂窝式设备等)之间交换的无线电信号。在给定几个通信设备的情况
下,信号本身以及控制这些信号的不完善的数字时钟信号形成一个参
照系,通过这个参照系可以提取出高度准确的时间和位置数据。早期
公开的第WO08/073347号国际专利公开对这样的技术进行了详细描
述。技术人员将会熟悉其它几种位置估计技术,包括基于到达时间的
技术,以及基于无线电广播和电视塔的位置的技术(如Rosum提供的
技术)、基于WiFi节点的位置的技术(如由Skyhook Wireless提供并且
在iPhone中采用的技术)等等。

尽管地理位置数据通常包括纬度和经度数据,但是地理位置数据
可以可选地包括更多、更少或不同的数据。例如,它可以包括方向信
息,诸如由磁力计提供的罗盘方向,或由回转仪或其它传感器提供的
倾斜度信息。它还可以包括海拔信息,诸如由数字测高仪系统提供的
海拔信息。

本文曾提及触摸屏界面—一种手势界面形式。另一种形式的可用
于本技术实施例的手势界面通过感测手机的运动而工作—通过跟踪所
拍摄图像内的特征点的移动。Digimarc公司的第6,947,571号专利对有
关这样的手势界面的更多信息进行了详细描述。

如上文所述,水印技术可用于各种实施例。水印编码/解码技术在
例如以下文献中有详细描述:Digimarc公司的第6,614,914、6,590,996
和6,122,403号专利;Nielsen公司的第6,968,564和7,006,555号专利;
以及Arbitron公司的第5,450,490、5,764,763、6,862,355和6,845,360
号专利。

Digimarc公司拥有与本主题有关的各种其它专利申请。请参见例
如第20070156726、20080049971和20070266252号专利公开,以及
Sharma等人于2008年5月22日提交的第12/125,840号未决申请。

内容指纹法也可以用于各种实施例。音频指纹法的实例在以下文
献中有详细描述:第20070250716、20070174059和20080300011号专
利公开(Digimarc公司)、第20080276265、20070274537和20050232411
号专利公开(Nielsen公司)、第20070124756号专利公开(Google公
司)、第7,516,074号专利(Auditude公司)、以及第6,990,453和7,359,889
号专利(均属于Shazam公司)。图像/视频指纹法的实例在以下文献中
有详细描述:第7,020,304号专利(Digimarc公司)、第7,486,827号专
利(Seiko-Epson公司)、第20070253594号专利公开(Vobile公司)、
第20080317278号专利公开(Thomson公司)、以及第20020044659号
专利公开(NEC公司)。

附图仅是示例性的而非限制性的。例如,当使用一个数据库即可
时,附图有时显示多个数据库(反之亦然)。同样地,所绘出的方框之
间的一些连接没有显示出来—为了清晰起见。

可将环境背景数据用于本文详述的实施例的所有方面以进一步增
强操作。例如,某个处理可以取决于:始发设备是手机还是另一种类
型的设备;环境温度是30还是80;用户位置以及其它表征用户的信息;
等等。

本文不可能明确列出本文所述技术的众多变型和组合。申请人认
识到并且意图使本说明书中的概念可以进行组合、替代和互换(在本
说明书的概念之间进行,以及与从引用的现有技术已知的概念进行组
合、替代和互换)。此外,应认识到的是,本文详述的技术可包括于其
它技术(当前技术和即将出现的技术)中以产生有利效果。

为了提供全面的公开而不会使本说明书的长度过度加长,申请人
通过引用将本说明书提及的文献和专利公开结合在本文中。(这样的文
献的全文被结合在本文中,即使在上文中已经关于其特定教导而对其
进行了引用。)这些参考文献揭示的技术和教导可结合到本文详述的配
置方案中,并且本文详述的技术和教导也可结合到这些参考文献揭示
的技术和教导中。

上文详述的实施例中的单元和功能的特定组合仅是示例性的;这
些教导与本文和通过引用结合在本文中的文献中的其它教导进行的互
换和替代也是被明确预期到和打算涵盖的。

申请人特别预期到的一些配置方案包括:

A.一种方法,其包括以下操作:

访问指示手机的位置的位置数据;

访问与手机的用户的电视观看偏好有关的个人资料数据;以及

通过至少参考位置和个人资料数据,对用户当前可能正在观看的
或者将来可能观看的特定视频内容作出估计。

方法A,其包括从手机向用户呈现补充信息,该补充信息与估计
的视频内容有关。

方法A,还包括通过手机的用户界面询问用户是否正在观看特定
视频内容。

方法A1,其包括如果用户作出肯定回复,则从手机向用户提供补
充信息,该补充信息与特定节目有关。

方法A2,其中用户观看手机的屏幕上的补充信息,同时还观看电
视的屏幕上的特定视频内容。

方法A2,其中用户观看手机的屏幕上的补充信息,但不同时观看
电视的屏幕上的特定视频内容。

方法A,其包括获得识别在包含指示的位置的媒体市场中,当前
可获得的多个电视节目的EPG数据,并根据个人资料数据评估识别出
的电视节目,以估计用户当前可能正在观看的或者将来可能观看的特
定电视节目。

方法A,其中个人资料数据包括与用户先前的电视观看历史有关
的数据。

方法A,其包括从手机的定位模块访问位置数据,并使用手机中
的处理器对特定电视节目作出估计。

方法A,还包括向与用户关联的家庭网络中的设备发送有关估计
的信息。

B.一种方法,其包括以下操作:

访问指示手机的位置的位置数据;

访问与手机的用户的电视观看偏好有关的个人资料数据;

通过至少参考位置和个人资料数据,识别用户可能想要观看的一
个或多个即将播出的电视节目;以及

使用手机向用户提醒即将播出的电视节目。

C.一种方法,其包括以下操作:

确定电视和手机相对邻近;

访问与手机的用户的电视观看偏好有关的个人资料数据;以及

基于上述操作,采用手机的用户界面向用户提供与电视节目有关
的补充信息。

方法C,其包括:

通过手机的用户界面询问用户是否正在观看识别出的电视节目;
以及

如果用户作出肯定回复,则提供补充信息。

方法C,其中所述确定操作参考关于手机的位置的位置数据。

方法C,其中所述确定操作参考关于电视的位置的位置数据。

方法C,其中所述确定操作参考由手机捕获的音频或图像信息。

D.一种方法,其包括以下操作:

通过参考用户个人资料信息和EPG数据,估计用户的电视观看活
动;

使用手机从用户环境中感测音频或图像数据;以及

基于感测到的数据重新评估所述估计。

方法D,其中所述估计操作包括估计用户可能正在观看的一个或
多个电视节目。

方法D,其中所述估计操作包括估计用户是否正在观看特定电视
节目。

方法D,其包括随时间推移反复重新评估所述估计。

E.一种方法,其包括以下操作:

访问用户个人资料数据;

访问EPG数据;

从用户环境中感测音频或图像数据;以及

通过参考上述数据,估计用户可能正在观看的电视节目。

方法E,其包括:

通过便携式设备的用户界面询问用户是否正在观看估计出的电视
节目;以及

如果用户作出肯定回复,则向便携式设备提供与所述电视节目有
关的补充信息。

F.一种方法,其包括以下操作:

安排DVR录制电视节目;以及

在节目的计划播出时间之前,向与DVR关联的手机发送提醒。

F1.方法F,其包括确定手机远离家所在的地理位置,确定在该远
离家的地理位置何时能获得所述节目,并且在所述节目能够在远离家
的地理位置获得之前发送提醒。

G.一种方法,其包括以下操作:

安排DVR录制电视节目;

向与DVR关联的手机发送与节目有关的提醒;以及

响应于通过手机的用户界面输入的用户命令,在手机的屏幕上呈
现电视节目的至少一部分。

H.一种方法,其涉及一手机和一电视系统,包括以下操作:

使用与电视系统关联的电子用户界面,来识别用户感兴趣的即将
播出的电视节目;以及

向用户的手机发送与所述电视节目有关的提醒。

方法H,还包括响应于通过手机的用户界面输入的用户命令,在
手机的屏幕上呈现电视节目的至少一部分。

方法H,其包括向与用户有关联的一个或多个其它手机发送电视
节目的至少一部分。

方法H,其包括通过诸如WiFi或蓝牙之类的无线方式向所述其它
手机发送电视节目的至少一部分。

方法H,其包括向与用户的手机物理地邻近的一个或多个其它手
机发送电视节目的至少一部分。

方法H,其包括向与用户的手机相关联地注册的一个或多个其它
手机发送电视节目的至少一部分。

J.一种方法,其涉及用户的手机,包括以下操作:

识别用户感兴趣的或者可能感兴趣的电视节目;以及

通过手机的用户界面询问用户是否正在观看识别出的电视节目。

方法J,其包括如果用户作出肯定回复,则向手机提供与识别出的
节目有关的补充信息。

方法J,还包括使用手机感测音频或图像数据,并根据所述数据推
断用户是否已经停止观看识别出的电视节目。

方法J,其包括感测手机的运动,并根据感测到的音频或图像数据
和感测到的运动来推断用户已经离开电视。

方法J1,其包括暂停电视显示,使得节目能够在用户回来时继续
播放。

K.一种方法,其包括以下操作:

通过参考先前可获得的不明确的数据,来估计用户当前的电视观
看活动;以及

从用户手机获得进一步的当前数据以帮助确认或反驳所述估计。

方法K,其中进一步的数据包括确认或反驳所述估计的用户输入。

方法K,其中进一步的数据包括由手机采样的音频或图像数据。

方法K,还包括向用户手机提供与估计出的电视观看活动有关的
辅助内容。

L.一种方法,其涉及用户的手机,包括以下操作:

在电视节目结束之前,感测暗示用户已经停止观看的数据;以及

采取与电视节目有关的行动,以减少用户停止观看造成的影响。

方法L,其包括暂停电视显示,使得节目能够在用户回到电视观看
区域时继续播放。

方法L,其包括向用户手机发送与用户离开期间播放的电视节目的
片段有关的信息。

M.一种方法,其涉及用户的手机,包括以下操作:

从与数字视频录像机关联的数据存储库访问用户的无线联系信息
和与用户有关的视频节目数据;

至少部分地基于视频节目数据来为用户生成提醒通知;以及

采用无线联系信息,将提醒通知发送给用户。

方法M,其中所述提醒通知包括允许用户在手机的屏幕上观看相
关视频的数据。

方法M,其中所述提醒通知包括允许用户运行与用户感兴趣的视
频节目有关的软件小组件的数据。

方法M,其中所述数字视频录像机与家庭网络相连接,并且所述
数据存储库也与家庭网络相连接。

N.一种方法,涉及用户的手机,包括以下操作:

在视频系统的显示屏上呈现视频节目;

调用注册数据,所述注册数据将手机和视频系统关联在一起;以

通过参考注册数据,将辅助内容发送给手机以补充显示屏上呈现
的视频内容。

方法N,其中视频系统包括与多个用户关联的用户数据,所述方
法还包括:

辨别多个用户中的哪一个用户有可能正在观看呈现的视频;以及

将辅助内容发送给与辨别出的用户关联的手机。

方法N,其中:

对于所述用户中的至少一个用户,所述用户数据包括个人资料信
息或视频观看信息;以及

所述辨别操作包括根据用户数据评估关于视频节目的信息,以辨
别哪个用户可能正在观看呈现的视频。

方法N,其包括在发送辅助内容之前,把向辨别出的用户提醒辅
助内容的可获得性的消息发送给手机。

方法N1,其中所述消息包括由所呈现的视频节目的所有者贡献的
信息。

P.一种方法,其包括以下操作:

在用户的手机上启动第二屏幕应用程序;

确定手机和电视系统之间的逻辑关联;

作为结果,在手机的屏幕上呈现第二屏幕辅助内容,所述第二屏
幕辅助内容与电视系统的屏幕上正在呈现的内容有关。

方法P,其包括通过检查数据注册表(data registry)来确定逻辑关
联,所述数据注册表含有将手机与和电视系统关联起来的信息。

方法P,其中电视系统的屏幕上正在呈现的内容在先前被分发,并
且由电视系统录制以便进行时移观看。

方法P,其中第二屏幕辅助内容也与用户的地理位置有关。

方法P,其中部分地基于存储在内存中的用户偏好数据来选择第二
屏幕辅助内容。

R.一种计算机可读存储介质,其上存储有指令,所述指令使用户
的手机与和该用户关联的电视系统协商,并在手机的屏幕上呈现信息,
所呈现的信息包括电视系统正在处理的视频节目的名称。

介质R,还包括用于接收与视频节目关联的辅助内容数据的指令,
以及用于将辅助内容数据呈现给用户的指令。

介质R,还包括用于向用户呈现与视频节目关联的多个辅助内容
项目的菜单的指令,以及用于接收指示所述多个辅助内容项目中的哪
一个应该呈现给用户的用户输入的指令。

S.一种方法,其包括以下操作:

从与数字视频录像机关联的节目列表中识别用户感兴趣的节目;

确定用户处于远离家所在位置的第一位置;以及

向用户的手机发送有关感兴趣的节目的提醒。

方法S,还包括确定有关用户如何能够在第一位置访问节目的信
息,并将所述信息发送给处于第一位置的用户。

方法S1,其包括参考与在第一位置可获得的视频相对应的EPG数
据。

方法S,还包括将有关辅助内容的信息发送给手机,所述辅助内容
与用户感兴趣的节目有关。

T.一种方法,其包括以下操作:

在电视系统的屏幕上呈现视频内容;以及

依据用户暂停命令来暂停呈现;

其中所述用户暂停命令还使图形控制被呈现,通过所述图形控制,
用户能够选择与视频内容有关的辅助内容。

方法T,其中所述辅助内容提供与用户暂停命令生效时电视屏幕上
所呈现的主题相关的背景信息。

方法T,其中所述图形控制被显示在电视系统的屏幕上。

方法T,其中所述图形控制被显示在用户手机的屏幕上。

方法T,其包括接收与用户对辅助内容的选择相对应的数据,并在
用户手机上显示辅助内容。

U.一种方法,其包括以下操作:

在电视系统的屏幕上呈现动态视频内容;

在手机的屏幕上呈现动态辅助内容,所述辅助内容与视频内容有
关;以及

依据一条用户暂停命令暂停两者的呈现;

V.一种方法,其包括以下操作:

在电视系统的屏幕上呈现动态视频内容;以及

感测手机已经从静止位置朝使用位置移动;

其中所述感测操作使电视系统屏幕上的视频内容的呈现暂停。

方法V,其中所述感测操作包括感测当有来电时手机已经从静止
位置发生移动。

W.一种方法,其包括:

采用第一设备,从多个视频内容流中采样数据;

通过参考所采样的数据,识别所述多个内容流中的三个或更多内
容流;

通过参考用户个人资料数据,将识别出的内容流中的两个或多个
内容流识别为用户潜在感兴趣的内容流;

在空间上邻近的手机的屏幕上呈现来自所述两个或多个流的片
段;以及

响应于用户选择,在手机屏幕上呈现所述两个或多个流中的一个
流供用户观看。

方法W,其中所述第一设备包括用户手机。

方法W,其中所述第一设备包括调制的RF信号的接收器。

X.一种方法,其采用第一用户的手机,包括以下操作:

接收来自第一用户的指令,设置允许在第一用户的手机和一个或
多个其它手机之间共享可视内容信息的选项;

在第一用户的手机上呈现可视内容;

从第一用户的手机发送内容相关数据;以及

与第一用户的手机上的呈现相同步地在第二用户的手机上呈现相
同的可视内容。

方法X,其包括将内容相关数据从第一用户的手机发送到一个或
多个其他用户的手机。

方法X,其中所述可视内容被呈现在第二用户的手机的显示屏的
子部分中。

方法X,其中所发送的内容相关数据识别出一远程计算机服务器,
第一和第二用户的手机都从所述远程计算机服务器获得可视内容。

方法X,其中所发送的内容相关数据包括压缩的视频数据。

方法X,其中所述内容相关数据通过数据服务发现协议发送到整
个家庭网络,并且第一和第二手机都与同一家庭网络相连接。

Y.一种方法,其包括以下操作:

通过参考用户携带的便携式设备来确定用户的位置;

识别邻近所确定的用户位置的电视系统;以及

根据与所述用户相对应的个人资料数据来控制电视系统的操作的
某个方面。

Z.一种方法,其包括以下操作:

识别在第二内容正被呈现给用户的同时也正呈现给用户的不同的
第一内容,所述内容中的一个包括在电视屏幕上呈现的娱乐内容,所
述内容中的另一个包括在第二屏幕上呈现的web内容;

将与第一和第二内容有关的数据相关联地存储在数据库中;

此后,通过用识别第一内容的数据查询数据库,以便由此获得识
别与第一内容相关联的第二内容的数据。

方法Z,其包括将与所述用户相对应的个人资料数据与和第一及第
二内容有关的数据关联起来,其中所述查询操作包括用查询用户的个
人资料数据来查询。

AA.一种方法,其包括以下操作:

用第一用户携带的第一便携式设备捕获环境音频的样本;

用第二用户携带的第二便携式设备捕获环境音频的样本;

通过参考与所述设备关联的位置数据来确定在捕获环境音频的样
本时所述第一和第二设备处于同一环境中;

对与第一和第二便携式设备所采样的环境音频相对应的数据进行
组合和分析以生成相关联的第一信息;

通过参考第一信息,从数据结构中获得相关联的第二信息;以及

将第二信息的至少一部分提供给第一用户;

其中提供给第一用户的信息至少部分地基于用第二用户携带的第
二便携式设备捕获的环境音频。

方法AA,其中第一信息包括识别歌曲的数据,并且第二信息包括
与识别出的歌曲相关联的艺术家信息。

方法AA,其中第一信息包括一个或多个词,并且第二信息包括基
于第一信息的互联网搜索的结果。

AB.一种方法,其包括以下操作:

接收来自多个分布式计算机节点的报告数据,所述报告数据指示
在所述节点处通过使用数字水印或指纹技术而自动检测到的视频娱乐
内容;

从所述节点中的至少某些节点,另外接收时间安排数据,所述时
间安排数据详细描述公开通过一个或多个内容分发商获得检测到的视
频娱乐内容的可获得性;以及

采用以节目为中心的目录的形式将所述数据中的至少某些呈现给
用户,所述以节目为中心的目录详细描述信源和时间安排,用户指定
的视频内容可以通过所述信源和所述时间安排而被获得以供观看。

方法AB,其中所述以节目为中心的目录识别至少两种类型的输出
口,用户指定的视频内容可以从所述输出口获得以供观看,其中所述
输出口的类型是从电视网络、网站和对等网络中选出的。

AC.一种方法,其包括以下操作:

在视频娱乐内容的分发商处,接收来自视频娱乐内容的信源的视
频娱乐内容;

从所接收的视频娱乐内容中检测数字水印或指纹识别数据;

通过参考检测到的识别数据,向远程节目目录数据库报告所述内
容存在于分发商处;

还向远程节目目录数据库报告时间安排信息,所述时间安排信息
规定时间安排,视频娱乐内容将通过所述时间安排而被提供给公众;

其中所述报告允许自动编制节目目录数据库,所述节目目录数据
库可由公众使用以识别用于获得视频娱乐内容的信源和时间安排。

AD.一种存储在有形存储介质上的数据结构,所述数据结构使通
过适当的编程指令配置的处理器产生一内容目录,所述内容目录详细
描述视频娱乐内容的名称,以及可从中获得所述内容的多个信源,所
述目录还详细描述时间安排信息,所述时间安排信息详细描述所述内
容的时间可获得性,其中来自所述目录的信息被用于从所述信源中的
一个获得视频娱乐内容以便在显示屏幕上呈现给用户。

AE.一种将视频游戏内容从第一屏幕转移到第二屏幕的方法,其
中所述屏幕中的一个形成用户手机的一部分,所述第一屏幕具有与所
述第一屏幕关联的第一处理器,并且所述第二屏幕具有与所述第二屏
幕关联的第二处理器,所述方法包括以下操作:

在与第一和第二处理器不同的远程处理器上执行视频游戏软件;

将执行所述视频游戏软件而得到的输出转换为视频流;

将视频流发送给第一处理器,以便显示在第一屏幕上;

在第一处理器处接收与游戏有关的用户输入,并将所述用户输入
发送给远程处理器以进行响应性操作;以及

响应于用户指令,将所发送的视频流的目的地从第一处理器变更
为第二处理器;

其中用户可以在玩游戏期间在手机屏幕和不同的屏幕之间转移游
戏。

AF.一种用于将视频娱乐内容从第一屏幕转移到第二屏幕的系
统,所述系统包括含有所述屏幕中的一个屏幕和相关联的处理器的手
机,所述系统还包括与第二屏幕相关联的第二处理器,所述系统还包
括内存,所述内存含有用于配置所述处理器中的一个处理器以呈现用
户界面控制的指令,所述用户界面控制可由用户激活以启动视频娱乐
内容从第一屏幕到第二屏幕的转移,所述系统还包括响应于所述用户
界面控制,而将视频娱乐内容从第一屏幕转移到第二屏幕的装置。

AG.一种使用户参与视频娱乐内容的方法,其包括以下操作:

向用户呈现视频娱乐内容;

接收通过用户手机提交的用户输入;以及

根据所述接收到的用户输入来使视频娱乐内容得到适应性修改。

方法AG,其中所述用户输入包括音频。

方法AG,其中所述用户输入包括音频,并且通过将所述音频的至
少一部分包含到所述内容中来使视频娱乐内容得到适应性修改。

方法AG,其中所述用户输入包括通过用户移动手机而发出的手势
输入。

装置和系统,例如通过使用用于执行上文所列举的操作的处理器
和模块来实施上述方法。

磁盘、内存和其它有形介质,其存储使一个或多个计算机设备执
行上述方法的指令。

考虑到本文所公开的技术可具有大量实现方案,应理解的是,本
文特别详述的配置方案仅是示例性的,并且不应将其理解为是对所要
求保护的技术的范围进行限制。而是,我们要求保护可能落入所附权
利要求及其等价形式的范围的所有形式和功能方面的这些变型。

媒体处理方法和配置方案.pdf_第1页
第1页 / 共50页
媒体处理方法和配置方案.pdf_第2页
第2页 / 共50页
媒体处理方法和配置方案.pdf_第3页
第3页 / 共50页
点击查看更多>>
资源描述

《媒体处理方法和配置方案.pdf》由会员分享,可在线阅读,更多相关《媒体处理方法和配置方案.pdf(50页珍藏版)》请在专利查询网上搜索。

1、(10)申请公布号 CN 102388378 A (43)申请公布日 2012.03.21 CN 102388378 A *CN102388378A* (21)申请号 201080015678.7 (22)申请日 2010.01.22 61/152,226 2009.02.12 US 61/160,660 2009.03.16 US 61/167,828 2009.04.08 US 12/490,980 2009.06.24 US G06F 15/16(2006.01) (71)申请人 数字标记公司 地址 美国俄勒冈州 (72)发明人 BL戴维斯 TF罗德里格斯 (74)专利代理机构 北京尚诚。

2、知识产权代理有限 公司 11322 代理人 龙淳 (54) 发明名称 媒体处理方法和配置方案 (57) 摘要 本技术涉及将手机和其它便携式设备与 ( 电 子和实体的)媒体内容和其它系统(例如电视、 数 字视频录像机和电子节目指南 ) 结合使用。一些 方面允许用户容易地将显示内容从手机屏幕转移 到电视屏幕上以便于观看, 或者允许用户容易地 将显示内容从电视屏幕转移到手机屏幕上以获得 内容便携性。另一些方面使用户能够互动地参与 到娱乐内容中。本技术的另一些方面涉及节目目 录数据库, 其根据监视并识别经过联网计算机的 内容业务流的网络节点所报告的信息自动编制。 通过识别驻留在大量不同存储库 ( 例如。

3、, 网站、 TV 网络、 P2P 系统等 ) 中的内容, 这样的目录允许手 机用户识别按日程安排获得的或一经请求即可获 得的内容源的多样性。还详细描述了大量其它特 征和配置方案。 (30)优先权数据 (85)PCT申请进入国家阶段日 2011.10.08 (86)PCT申请的申请数据 PCT/US2010/021836 2010.01.22 (87)PCT申请的公布数据 WO2010/093510 EN 2010.08.19 (51)Int.Cl. (19)中华人民共和国国家知识产权局 (12)发明专利申请 权利要求书 2 页 说明书 39 页 附图 8 页 CN 102388391 A1/2。

4、 页 2 1. 一种方法, 包括以下操作 : 接收来自多个分布式计算机节点的报告数据, 所述报告数据指示在所述节点处通过使 用数字水印或指纹技术而自动检测到的视频娱乐内容 ; 从所述节点中的至少某些节点, 另外接收时间安排数据, 所述时间安排数据详细描述 公开通过一个或多个内容分发商获得检测到的视频娱乐内容的可获得性 ; 以及 采用以节目为中心的目录的形式将所述数据中的至少某些呈现给用户, 所述以节目为 中心的目录详细描述信源和时间安排, 用户指定的视频内容可以通过所述信源和所述时间 安排而被获得以供观看。 2. 如权利要求 1 所述的方法, 其中所述以节目为中心的目录识别至少两种类型的输出 。

5、口, 所述用户指定的视频内容可以从所述输出口获得以供观看, 其中所述输出口的类型是 从电视网络、 网站和对等网络中选出的。 3. 一种方法, 包括以下操作 : 在视频娱乐内容的分发商处, 接收来自视频娱乐内容的信源的视频娱乐内容 ; 从所接收的视频娱乐内容中检测数字水印或指纹识别数据 ; 通过参考检测到的识别数据, 向远程节目目录数据库报告所述内容存在于所述分发商 处 ; 还向所述远程节目目录数据库报告时间安排信息, 所述时间安排信息规定时间安排, 所述视频娱乐内容将通过所述时间安排而被提供给公众 ; 其中所述报告允许自动编制节目目录数据库, 所述节目目录数据库可由公众使用以识 别用于获得视频。

6、娱乐内容的信源和时间安排。 4. 一种将视频游戏从第一屏幕转移到第二屏幕的方法, 其中所述屏幕中的一个形成用 户手机的一部分, 所述第一屏幕具有与所述第一屏幕关联的第一处理器, 并且所述第二屏 幕具有与所述第二屏幕关联的第二处理器, 所述方法包括以下操作 : 在与第一和第二处理器不同的远程处理器上执行视频游戏软件 ; 将执行所述视频游戏软件而得到的输出转换为视频流 ; 将所述视频流发送给所述第一处理器, 以便显示在所述第一屏幕上 ; 在所述第一处理器处接收与游戏有关的用户输入, 并将所述用户输入发送给所述远程 处理器以进行响应性操作 ; 以及 响应于用户指令, 将所发送的视频流的目的地从所述第。

7、一处理器变更为所述第二处理 器 ; 其中用户可以在玩游戏期间在手机屏幕和不同的屏幕之间转移游戏。 5. 一种用于将视频娱乐内容从第一屏幕转移到第二屏幕的系统, 所述系统包括含有所 述屏幕中的一个屏幕和相关联的处理器的手机, 所述系统还包括与所述第二屏幕相关联的 第二处理器, 所述系统还包括内存, 所述内存含有用于配置所述处理器中的一个处理器以 呈现用户界面控制的指令, 所述用户界面控制可由用户激活以启动视频娱乐内容从所述第 一屏幕到所述第二屏幕的转移, 所述系统还包括响应于所述用户界面控制, 而将所述视频 娱乐内容从所述第一屏幕转移到所述第二屏幕的装置。 6. 一种使用户参与视频娱乐内容的方法。

8、, 包括以下操作 : 向用户呈现视频娱乐内容 ; 权 利 要 求 书 CN 102388378 A CN 102388391 A2/2 页 3 接收通过用户手机提交的用户输入 ; 以及 根据所述接收到的用户输入来使所述视频娱乐内容得到适应性修改。 7. 如权利要求 6 所述的方法, 其中所述用户输入包括音频。 8. 如权利要求 6 所述的方法, 其中所述用户输入包括音频, 并且通过将所述音频的至 少一部分包含到所述内容中来使所述视频娱乐内容得到适应性修改。 9. 如权利要求 6 所述的方法, 其中所述用户输入包括通过用户移动手机而发出的手势 输入。 权 利 要 求 书 CN 102388378。

9、 A CN 102388391 A1/39 页 4 媒体处理方法和配置方案 0001 相关申请数据 0002 在美国, 本申请要求 2009 年 4 月 8 日提交的第 61/167,828 号、 2009 年 3 月 16 日 提交的第 61/160,660 号和 2009 年 2 月 12 日提交的第 61/152,226 号临时申请的优先权, 通过引用将这些临时申请结合在本文中。 技术领域 0003 本技术涉及手机和其它便携式设备, 并且更特别地涉及将这样的设备与 ( 电子和 实体的 ) 媒体内容和其它系统 ( 例如电视、 数字视频录像机和电子节目指南 ) 结合使用。 背景技术 0004。

10、 本技术以本受让人在先前的专利申请中公开的技术为基础, 并且是本受让人在先 前的专利申请中公开的技术的延伸。因此读者可参考 ( 通过引用而结合在本文中的 ) 下列 申请, 这些申请详细描述了申请人期望本技术以什么样的配置方案得到应用, 并且这些申 请在技术方面补充本公开的内容 : 0005 2008 年 11 月 14 日提交的序列号为 12/271,772 的申请, 其名称为 Content Interaction Methods and Systems Employing Portable Devices ; 0006 2009 年 2 月 5 日提交的序列号为 61/150,235 的申。

11、请, 其名称为 Second Screens and Widgets ; 0007 2009 年 3 月 3 日提交的序列号为 61/157,153 的申请, 其名称为 Narrowcasting from Public Displays, and Related Methods ; 以及 0008 2009 年 6 月 12 日提交的序列号为 12/484,115 的申请, 其名称为 Methods and Systems for Content Processing。 0009 这些早期专利申请详细描述了手机如何能够监视或监听用户环境并识别来自该 环境的内容 ( 例如媒体对象或实体对象 )。

12、。然后可使用手机帮助完善用户体验。 发明内容 0010 本公开详细描述了各种各样的进一步改进和创新。 0011 例如, 根据下文详细描述的技术的一个方面, 手机没有必要监视或监听用户环境。 猜测通常足以。手机或其它设备可基于各种因素 ( 日时、 用户位置、 电视位置、 用户观看历 史、 其它个人资料数据 (profile data)、 EPG 数据等 ) 成功推断出用户正接触到的内容 ( 如 果有的话 )。( 只要是匹兹堡钢人队打比赛的比赛时间, 铁杆的钢人队球迷就很可能正待在 电视屏幕前。) 0012 一旦已经作出初始推断, 就可以任选地寻找附加信息来确认或反驳初始假设。例 如, 可对声音或。

13、图像采样在没有其它信息时可能不足以识别视频节目, 但是却足以加强 ( 或减弱 ) 初始推断。作为选择, 手机可以简单地向用户提出一个或多个确认性问题, 例如 “您是否正在看电视? ” 以及 / 或者 “您是否正在电视上观看钢人队的比赛? ” 以及 / 或者 说 明 书 CN 102388378 A CN 102388391 A2/39 页 5 “您是否正在观看 X 节目或 Y 节目 ( 或者两者都不是 ) ? ” 0013 在其它配置方案中, 首先推断观看活动这一事实。 例如, 如果可以确定电视系统和 手机的位置 ( 例如通过 GPS), 并且发现手机处于距电视十英尺范围内, 则仅根据邻近性就。

14、 可以推断出用户在观看电视。如果手机作出了肯定推断, 则手机然后可以估计正在观看什 么节目(例如通过参考当前EPG数据、 用户历史和个人资料从家庭网络磁盘驱动器访问, 或先前缓存在手机内存中, 等等 )。如果电视系统作出了邻近性判断, 则电视系统知道它是 否处于 “打开” 状态以及它正在播出什么节目。电视系统可以将这样的信息发送给手机, 使 得电视系统和手机中的任何一个能随后取得辅助内容以呈现给用户。 0014 基于这样近似得出的情况, 手机可以再次向用户提供补充体验。 0015 列出可用的辅助内容而不扰乱期望的视频播放的一种方式是暂停主要视频节目。 ( 可由用户启动暂停, 或者在辅助内容得到。

15、识别或变得可用时由系统触发暂停。) 图形控制 可以出现在手机或主屏幕上, 用户可通过图形控制来选择所需辅助内容。图形控制可包括 例如代表可用辅助内容的图标, 供选择的图标根据暂停屏幕的内容而变化。( 例如, 如果暂 停屏幕中显示的是 John Wayne, 则可以显示有关 Wayne 的生平信息或其它视频剪辑作为可 用辅助内容 ; 稍后, 如果暂停屏幕中显示的是 Ronald Reagan, 则可以显示有关 Reagan 的生 平信息或其它视频剪辑作为可用辅助内容。) 0016 必要时, 可将手机编程为在手机运动传感器指示出某种运动 ( 或任意运动 ) 时使 主要视频播放暂停。例如, 如果手机。

16、感测到它正在从静止位置移动到使用位置 ( 例如, 接听 来电 ), 则电视显示可以自动暂停。如果在手机上或其它地方正在呈现辅助内容, 则电视显 示也可以自动暂停。 0017 在一些配置方案中, 用户的手机被注册为与用户的电视系统关联。 例如, 在用户的 TiVo数字视频录像机中, 一种数据结构可存储关联的手机的标识符, 例如电话号码。 与视频 节目有关的信息 ( 文本提醒、 辅助内容、 视频内容本身等 ) 可从电视系统发送至关联手机。 0018 注册的手机可以具有一种称作 “观看电视 (WatchingTV)” 的模式, 在这种模式中, 手机做好了呈现辅助内容的准备。( 这种状态可由手机指示给。

17、关联电视系统, 例如通过 Apple Bonjour 协议或其它方式。) 如果用户的手机处于 “观看电视” 模式中, 则可根据过 去的观看历史、 录制历史、 偏好数据等来推测用户正在观看节目。 可相应地向手机提供辅助 内容。 0019 在其它配置方案中, 不需要 “观看电视” 模式。可基于可用节目和用户数据来将信 息发送至手机, 用户可以选择是否在屏幕上显示这些信息。 0020 如果确定用户离家很远 ( 例如通过参考从用户手机定期提供给家庭网络的位置 信息 ), 则系统可确定用户如何能够在用户的当前位置收看喜爱的节目 ( 例如, 通过参考先 前的观看历史或录制历史来确定 ), 并将这样的信息发。

18、送至用户手机。 0021 类似地, 可发送提醒来向用户通知即将播出的用户潜在感兴趣的节目局限于用 户当前位置。 0022 尽管目前尚未由 TiVo 实现, 但是也可以改变 TiVo 的设计来支持两位或多位用 户每位用户都有自己的观看偏好数据、 录制历史数据和其它个人资料数据。每位用户可 以拥有向 TiVo 设备注册的一个或多个关联手机。当电视系统被操作但未明确声明是哪个 用户时, 系统可根据各种因素 ( 例如, 将诸如风格、 标题、 摘要之类的内容元数据与关于每 说 明 书 CN 102388378 A CN 102388391 A3/39 页 6 位用户的存储数据进行比较 ; 考虑日时 ; 。

19、确定关联手机的当前位置并识别任何邻近该系统 的设备 ; 将面部识别技术应用于摄像机所拍摄的图像数据以帮助感测特定用户, 等等 ) 推 断用户身份。然后可根据推断出的用户身份定制系统操作。 0023 应认识到的是, 手机可用作 “第二屏幕” 。用户可在房间内的其他人观看电视屏幕 的同时与手机交互不会因叠盖和对全屏体验的其它中断而分散注意力。进而, 他们可以 与自己的手机交互与自己选择的辅助内容交互 ( 并与群组内的其他人交换文本消息和 其它内容 )。但是该群组共享公用大屏幕的体验和公用实体环境。 0024 ( 在一些实施例中, 来自两个或更多位置的多个群组可在虚拟基础上组合。每个 群组可在其所在。

20、位置的主屏上同时观看相同的视频内容, 同时还能够与各自的第二屏幕交 互包括与群组内其他成员进行在线社交。 手机可同时以电话会议模式操作允许每个人 与群组内其他成员交谈。) 0025 当群组内的两位或多位成员 ( 实体地或虚拟地 ) 组合进行第二屏幕体验时, 信息 可在各成员的手机之间共享。 每位用户可在他们的手机上设置指示是否可以与其它手机共 享可视内容信息的选项。如果设置了此选项, 则群组内其他成员可 “调谐到” 任何其他成员 的第二屏幕体验中 ( 或者所有成员可共享同一第二屏幕体验 )。 0026 在其它实施例中, 不需要使用手机呈现内容。 而是, 手机可以仅向其它系统提供信 息, 例如识。

21、别用户位置 ; 或者通过参考日程表应用程序来确定用户是空闲还是忙碌 ; 或者 指明用户处于静止状态还是运动状态 ; 或者识别哪位用户邻近特定显示系统, 等等。 然后其 它系统可根据这样的信息来使它们的操作得到适应性修改。 0027 一些实施例允许用户轻松地将显示的内容从手机屏幕转移到电视屏幕上以便于 查看。相反地, 用户可将显示的内容从电视转移到手机上以实现便携性。所述转移可发生 在视频娱乐节目的回放期间或比赛期间, 允许从中断点继续播放。 0028 本技术的其它方面使用户能够参与娱乐内容, 诸如通过提交情节发展方向、 音频 输入、 角色姓名等, 从而产生更具吸引力的沉浸式用户体验。 0029。

22、 根据本技术的另一些方面, 从网络节点所报告的信息中编制出以节目为中心的内 容目录, 其中所述网络节点监视和识别传入 ( 和 / 或传出 ) 网络数据库的内容业务流。通 过跨越各种各样的内容存储库 ( 例如, 网站、 电视网、 P2P 系统等 ), 这样的目录允许手机用 户识别可从中获得所需内容的信源的多样性一些可按照日程安排获得, 一些可一经请求 就获得。 取决于应用场合, 目录信息可以对于用户而言是透明的, 这样有助于识别所需内容 的多个信源, 其中应用软件可基于例如背景环境和存储的个人资料数据来从所述多个信源 中为内容下载挑选信源。 0030 上述内容只是本技术的新颖方面中的一些。 根据。

23、参考附图给出的本说明书的其余 部分, 这些及其它特征和优点将会更加明了。 附图说明 0031 图 1 示出包含本技术一些方面的示例性实现方案的各单元。 0032 图 2 是可在本技术的某些实现方案中使用、 包括某些存储数据的数字视频录像机 系统的框图。 0033 图 3 是可在本技术的某些实现方案中使用的手机的框图。 说 明 书 CN 102388378 A CN 102388391 A4/39 页 7 0034 图 4 是来自使主要内容与辅助内容相关联的数据库的样本记录的图示。 0035 图 5-8 详细示出一种说明性配置方案的各方面, 通过这种配置方案可自动编制出 节目目录数据库。 具体实。

24、施方式 0036 本主题技术的一些实施例在用户的个人屏幕 ( 例如手机 ) 上提供对另一屏幕 ( 通 常是更大的屏幕 ) 上可获得的内容进行补充的内容。 0037 为了便于说明, 通常将更大屏幕上可获得的内容称为主要内容, 并且将个人屏幕 (“第二屏幕” ) 上呈现的内容视为辅助内容。辅助内容的实例包括音频和视频、 网页及其 它文本数据、 应用程序和软件小组件 (widget)。( 在一些情况中, 用户可能会认为辅助内容 更具相关性, 并且在一些情况中, 可能会只观看辅助内容而不观看主要内容。) 0038 参考图 1, 本技术的某些实施例 10 可包括电视系统 12 和多个第二屏幕设备 14、。

25、 16、 18。 0039 电视系统 12 可以包括诸如机顶盒 20、 卫星接收器 22、 数字视频录像机 (DVR)24、 电视接收器 / 监视器 26、 蓝光设备 28 以及一个或多个其它组件 30( 例如计算机、 Slingbox 设备、 Apple TV 设备、 iPod、 Boxee 媒体中心软件等 ) 之类的多个单元。 0040 可通过任何通信信道 36 将主要内容传送至电视系统 12。实例包括卫星、 电缆、 有 线或无线互联网、 无线电广播等。 内容分发商32(例如Comcast、 DirectTV、 电视网络或电视 台等 ) 通常汇集来自各种内容源 34( 诸如电影公司、 内容。

26、网络、 运动队等 ) 的内容以便通过 通信信道 36 进行分发。其它实体 ( 诸如 Apple iTunes 商店、 NetFlix、 Google、 YouTube、 Hulu、 对等网络等 ) 也可充当内容分发商。 0041 辅助内容同样可以通过任何通信信道 38 传送。通常使用互联网 40。辅助内容也 可以来自包括提供主要内容的同一实体在内的若干个信源, 以及来自其它信源 ( 例如, 诸 如 Flickr 和 Wikipedia 之类的网站、 广告商、 Apple App 商店供应商、 社交网络好友和其它 个体等等 )。在一些情况下, 辅助内容可包括如第 61/150,235 号专利申请。

27、中详述的关联软 件小组件。 0042 在一个特定实现方案中, 辅助内容通过互联网 40 发送至用户家中, 并通过家庭网 络 44 从路由器 42 无线传送至第二屏幕设备 14、 16。( 第二屏幕内容也可以通过家庭网络 提供给有线设备 ( 诸如台式计算机 46), 尽管这并不常见。) 0043 示例性DVR 24在图2中示出, 并且包括网络连接50(例如与家庭网络44的连接)。 此 DVR 还具有 : 输入端 52, 通过此输入端提供视频内容 ; 以及电话连接 54。输入端 52 可以 连接到诸如卫星接收器、 机顶盒或天线等设备, 或者如果通过网络连接 50 向 DVR 提供视频 内容, 则可。

28、取消此输入端。电话输入端提供一种连接, DVR 可通过此连接拨入数据中心以定 期下载电子节目指南 (EPG) 数据和其它说明。同样, 如果通过视频或网络输入端提供这样 的数据, 则可以取消输入端 54。 0044 所示的 DVR 还包括处理器 56、 用户界面 58( 其可以包括实体控制和屏幕菜单 / 控 制 )、 遥控装置 60 和数据存储装置 62。数据存储装置 62 可包括半导体存储装置和磁盘存 储装置。除了操作系统软件、 用户界面软件和应用程序之外, 所示的数据存储装置 60 还包 含 EPG 数据、 软件小组件 ( 参见例如第 61/150,235 号专利申请 )、 其它数据和软件程。

29、序模 说 明 书 CN 102388378 A CN 102388391 A5/39 页 8 块、 以及存储的视频数据。 0045 数据存储装置 60 还包含各种用户特定数据。这包括详细列出待录制节目以及早 先已录制节目的时间表数据、 用户个人资料数据和用户手机数据。用户个人资料数据可包 括各种信息, 诸如节目观看历史、 节目录制历史、 全影集录制 (season pass) 预订和其它常 设录制指令、 有关某些节目的观众排名和投票、 以及其它明示的观看偏好。 个人资料数据还 可以包括个人背景信息 (demographic information), 诸如邮政编码、 用户年龄和性别、 有 关亲。

30、和性的数据、 和用户所属的社会团体等。 0046 在更复杂的实施例中, 个人资料数据是从各种数据存储库访问的, 并且可包括用 户的网页浏览历史和其它信息源。 这些可包括用户接触的并在其中留下痕迹的各种各样的 数据, 例如 Google 搜索历史、 缓存的网页、 cookie、 电子邮件存档、 在 Expedia 和 Orbitz 上 的旅游预订、 iTunes 上的音乐收藏、 有线电视订阅、 已观看过的和排入队列中的 Netflix 电 影、 手机账单、 信用卡账单、 来自 Amazon 和 EBay 的购物数据、 GPS 跟踪信息、 社交网络好友、 数据和活动、 在诸如 Flickr 和 P。

31、icasa 之类的照片站点和诸如 YouTube 之类的视频站点上 的活动和发布的内容、 在这些记录中保留下来的日时等。 (该集合可称为 “数字生活日志” 。 ) 0047 此外, 可参考用户的家人和朋友以及与用户具有个人背景相似性的其他人 ( 全都 进行了适当的匿名化和隐私保护 ) 的数字生活日志数据。 0048 DVR 24还可以具有一种模块, 通过此模块可确定DVR 24的位置。 一种这样的模块 是 GPS 接收器。 0049 图 3 示出示例性的手机 14, 包括诸如麦克风、 摄像机 70、 处理器 72、 显示器 / 触摸 屏 74、 实体用户界面、 定位模块、 和内存之类的单元。内。

32、存存储操作系统软件、 用户界面软 件、 其它功能软件模块、 小组件软件等。 0050 此手机可采用关于 DVR 描述的定位模块。 0051 根据本技术的一个方面, 将用户个人资料数据与背景环境信息结合使用来作出估 计 ( 或推断, 或猜测 ), 从而识别用户可能正在观看 ( 或将来会观看 ) 的一个或多个特定电 视节目。背景环境信息可包括用户位置。背景环境信息还可包括用户在此位置是处于静止 状态还是运动状态。附加地或者可选地, 背景环境信息可以是当前日期 / 时间和 / 或例如 来自电子节目指南 (EPG) 的电视节目时间表信息。 0052 举例来说, 个人资料信息可能会暗示 : 用户是匹兹堡。

33、钢人队的忠实粉丝, 并且观看 许多其它职业橄榄球赛事例行地收看Monday Night Football(周一橄榄球之夜)。 个人 资料信息可能会进一步表明 : 用户收看电视播送的大部分俄勒冈大学篮球赛, 偶尔收看一 些高尔夫赛事, 并且用户的家庭电视最常被调谐到 ESPN 台。 0053 位置信息可通过纬度和经度识别用户位置。使用第 12/484,115 号申请中所述的 地理定位服务中的一种 ( 例如 Yahoo 的 GeoPlanet 服务 ) 调查此位置可能会指示 : 用户位 于俄勒冈州波特兰市 S.E.Hawthorne 大街上的 Claude s Sports Bar。此位置数据也可。

34、能 在一段时间内保持不变, 这说明用户并非简单地开车路过酒吧。 0054 在没有其它数据的情况下, 系统可能会推断用户很可能在观看酒吧电视上的体育 频道。个人资料数据表明用户对电视播送的体育节目感兴趣。用 Google 搜索波特兰市 S.E.Hawthorne 上的 Claude s Sports Bar 会找到充满体育和电视相关参考信息的网页 (“大屏幕” 、“卫星” 、“频道” 、“橄榄球” 等 )。推断引擎取这些事实作为输入、 识别与这样的 说 明 书 CN 102388378 A CN 102388391 A6/39 页 9 输入有关的一组存储的规则、 解决规则之间的任何冲突、 并产生。

35、一项或多项推断作为输出 ( 例如, 用户很可能在观看电视并且所观看的电视很有可能正在播放体育内容 )。 0055 ( 可将人工智能技术应用于这些背景环境以及采用本技术的其它背景环境中。 人工智能的一个分支是自然语言处理 (NLP)。NLP 技术可用于理解诸如在关于 Claude s Sports Bar的网页上找到的术语之类的信息的含义。 第7,383,169号专利详细描述了如何 能够通过 NLP 技术处理词典和其它大型语言作品, 以编制出充当有关世界的这样的 “常识” 信息的丰富来源的词汇知识库。Wikipedia 是可以充当这样的知识库的基础的另一个参考 来源。这类常识知识可应用于本文详细。

36、描述的处理。) 0056 在有更多信息的情况下, 系统可对用户正在做的事作出更精确的估计或者更有把 握的估计。 例如, 如果日期和时间指示是十一月一个周一的晚上, 则可推断出用户正在观看 ESPN 台的周一橄榄球之夜。如果是俄勒冈大学正在打篮球赛的一个周二的晚上, 则可推断 出用户正在任何一个播放此球赛的网络上观看该篮球赛。 0057 如果是十一月一个周一的晚上并且电视在播送俄勒冈大学篮球队正在打的比赛, 则算法应用其它直观推断和 / 或个人资料数据以解决此冲突 : 用户正在观看周一橄榄球之 夜还是俄勒冈大学篮球赛?根据诸如用户过去的收看历史之类的数据, 推断引擎可估计出 用户观看篮球赛的可能。

37、性为 70, 并且用户观看橄榄球赛的可能性为 30。 0058 基于此推断, 系统向用户手机标识出相应的辅助内容, 例如先前引用的专利申请 中详细描述的那类辅助内容。可以呈现两个或多个不同的辅助内容选项 ( 例如, 以缩略图 或图标形式 ; 静态或流动), 用户可从中进行选择。 这些选项可以包括 : 例如, 打比赛的橄榄 球队的 NFL 统计数据 ; 进攻四分卫的特写镜头, 或者邀请用户猜测接下来四分卫会采取什 么战术的互动游戏。 0059 在系统产生概率结果 ( 例如, 橄榄球的概率为 70 ; 篮球的概率为 30 ) 的情况 下, 呈现给用户的内容或选项可以相应地被加权。 0060 同样地。

38、, 推断的置信度也可以影响此系统提供给用户的内容或选项。例如, 如果 系统只有 10的把握确定用户正在观看高尔夫赛事, 则可以不提示与高尔夫相关的辅助内 容。而是, 它可以提供总体上更迎合用户个人资料的默认辅助内容 ( 例如, 来自最近的钢人 队橄榄球赛事和俄勒冈大学篮球赛事的精彩片段 ; 对他们即将到来的赛事的评论 ; ESPN 头 条新闻等 )。 0061 在一些实施例中, 系统通过向用户询问一个或多个问题来检查其推断。 例如, 系统 可向用户手机发送一条文本消息, 询问 “您是否正在观看俄勒冈大学篮球赛? ” 或者用户手 机上的应用程序可能会提出这样的问题。 可根据用户的回答来定制呈现给。

39、用户的辅助内容 ( 或内容选项 )。 0062 作为用这样的询问打断用户的替代, 手机可以仅从用户所处环境中捕获音频或可 视信息 ( 例如通过手机的麦克风或摄像机 ), 从而设法通过诸如数字水印解码或指纹提取 之类的技术确认所作的估计。 0063 电视音频在被发送前通常载有由内容分发商(例如KOIN电视台)插入的Nielsen 数字水印信号。这种水印反复传达两项信息 : 源 ID 和时间戳。源 ID 具有两个部分。第一 部分通常识别内容是从哪个网络 ( 例如 CBS、 ESPN 等 ) 分发的 ; 第二部分识别本地输出口 (outlet), 例如KOIN电视台、 Comcast cable-W。

40、est Portland(Comcast有线电视公司西波 说 明 书 CN 102388378 A CN 102388391 A7/39 页 10 特兰)等。 时间戳是给出播送的日期和时间的递增时钟。 插入水印的编码器是帮助Nielsen 公司跟踪电视消费的现有网络的一部分。 Nielsen维护着一个数据库, 此数据库按日期和时 间详细列出每个地理市场和全国网络内每个频道的节目编排。由诸如 Tribune Media 公司 和 / 或 TV Guide 之类的供应商编制的节目指南信息被馈送到此数据库中。 0064 惯用的水印使用模型是从水印识别未知电视节目。在这种情况下, 水印 ID/ 时间 。

41、戳被作为一个查询输入数据库, 并且数据库返回标识在当时在那个电视源上播送的节目的 输出数据。 0065 本申请稍有不同, 因为已经做出了关于可能的节目的猜测。 在这种情况下, 标识估 计出的节目的信息被用来查询数据库, 以及检索源 ID( 并且任选地检索指示该节目的计划 时间的时间戳数据 )。然后检查从用户环境捕获的音频是否与检索到的源 ID 相符。( 在技 术上, 分析音频以确定是否存在一个或多个预期的水印, 比分析音频以识别是否存在未知 水印更容易。) 0066 系统假定 : 在用户环境中获得的内容正在其初始播送时的节目时段期间播放。这 样查询数据库以识别当前正在播送估计出的节目的一个或多。

42、个信源。例如, 周一橄榄球之 夜可能由ESPN台和本地广播电视台分发。 然后从数据库获得这些信源的源ID, 并分析用户 环境中的环境音频以确定是否存在与这些源 ID 中的一个对应的水印。如果存在, 则估计得 到了确认。( 可对录制的内容采用类似方法, 尽管必须考虑更大的候选节目范围。) 0067 如上文所述, 进行内容识别(或确认)的另一种方法是指纹法。 指纹法的运作方式 是将来自未知媒体内容的特征与来自已知媒体内容的特征进行匹配, 以进行识别。 同样, 由 于系统已经对内容的身份进行了估计, 因此这种背景环境比通常出现的背景环境更简单。 所以仅分析捕获的音频 ( 或图像 ) 来检查是否与估计。

43、出的节目一致, 以确认估计。( 例如, 可检查估计出的节目的指纹是否与采样的音频对应 ; 与使用指纹技术从几乎无限的可能性 中识别出采样的内容相比, 这是更简单的任务。) 0068 在另外的配置方案中, 采样的音频或图像仅倾向于确认用户正在观看电视, 而不 是在参与某种其它活动。例如, 电视音频通常具有可以与例如交谈中的两个人的频谱分布 区分开的频谱分布。 电视音频往往频带受到限制并经过压缩(受到限制), 以增大其平均功 率并将其能量集中到人类听觉系统最敏感的频谱区域。类似地, 电视视频也具有独特的视 觉特征。CRT 电视监视器使用在视觉频谱范围内产生特征峰的彩色磷光体。电视屏幕以固 定速率刷。

44、新, 由此电视屏幕的图像能够与自然景象区分开。这些及其它标志可用于帮助确 认用户正在观看电视而不是正在讨论或观看现场橄榄球赛等。 0069 在一种实现方案中, 上文所述的处理是由用户手机中的处理器 72 和相关应用软 件执行的。在其它实现方案中, 这种处理发生在用户的 DVR 中, 或发生在有线电视公司服务 器中, 或发生在云服务器中, 或发生在其它地方 ( 或分布在这些处理器中 )。 0070 有时, 用户可能会在远离家的某个城市中旅行。通过 GPS 或其它方式可了解到用 户位置。 然而, 在这个远方城市中可获得的电视节目可能不同于通常由用户手机或家庭DVR 跟踪的电视节目。 在这种情况下,。

45、 系统可使用在线资源, 诸如TV Guide网站或来自Tribune Media 公司 ( 或下文详细描述的 Program Directory Database( 节目目录数据库 ) 的数 据, 来确定该远方城市中内容的可获得性和时间安排。在了解该远方城市中可获得的节目 编排以及用户位置和个人资料信息的情况下, 系统仍可以估计用户当前正在观看 ( 或将来 说 明 书 CN 102388378 A CN 102388391 A8/39 页 11 可能观看 ) 的特定节目。 0071 可将有关用户的估计观看活动的信息发回用户家中 ( 如果该信息已由远程设备 确定的话 ), 在用户家中, 此信息可。

46、以被存储或者在特定应用程序可能需要它时被使用。如 果用户确认了一项观看活动, 则此信息可以类似地记录在例如与用户家庭网络相连的数据 存储库中。 0072 刚刚描述的配置方案对用户目前正在观看的内容进行猜测, 并相应地采取操作。 可使用类似程序猜测用户将来要观看什么内容或者可能有兴趣观看什么内容。 然后可立 即或稍后将辅助内容或提醒发送给用户。 0073 一种特定实现方案接收指示用户位置的数据 ( 例如用户手机所处的位置 ), 并且 结合与该用户有关的个人资料数据, 识别用户可能想要观看的一个或多个即将播出的电视 节目。然后针对即将播出的电视节目向用户发送提醒 ( 例如发送到用户手机 )。如果用。

47、户 正在(或将要)观看该节目, 则此提醒可以邀请用户按一个按钮或者以其它方式发出信号。 同样, 如果用户离家较远, 则可使用来自用户当前所处的媒体市场的节目编排数据来定制 提醒。 0074 个人资料数据可以像这样的信息一样简单, 该信息表明用户的家庭 DVR 被设置为 在特定时间录制特定节目。例如, 用户可能已事先操作家庭 TiVo 设备的用户界面以安排 “全影集录制” , 指示设备录制明尼苏达森林狼队的所有播送的篮球赛。在每场比赛开始时, 或提前一小段时间 ( 例如, 5、 15 或 60 分钟 ), 系统可以向用户发送比赛即将播出的提醒。 ( 在图 2 所示的 DVR 中, DVR 知道用。

48、户的手机号这允许 DVR 通过文本消息、 声音提醒等方 式发送这样的提醒。) 0075 如果用户确认在观看特定节目 ( 或者如果通过其它方式 ( 例如通过音频采样 ) 确 认了观看 ), 则可将这一事实传递给网络、 内容创建者或其它各方, 从而允许他们提供补充 性的辅助内容。举例来说, 用户可能会受邀参与一项在线投票以确定某场橄榄球赛的最佳 队员, 或者确定某场真人秀中谁应该被淘汰出局。因此主要内容的结果可能在一定程度上 取决于观众对辅助内容的参与情况。( 下文将对这一特征进行进一步详细讨论。) 在另一 实例中, 不定期向用户提供一些无关紧要的信息, 例如奥巴马总统是资深的匹兹堡钢人队 的球迷。

49、。如果与网络等共享用户个人资料数据, 则网络可以更好地使观看者与有意义的辅 助内容接触。 0076 在一些实施例中, 用户可通过请求将排定的节目发送到用户手机上观看来回应提 醒。 0077 正如用户观看电视节目这一事实可以推断, 用户停止观看这一事实也是可以推断 的。例如, 这可通过使用手机感测音频或图像数据来实现。附加地或者可选地, 这可以包含 感测手机的运动情况 ( 诸如通过加速计, 或者通过手机摄像机视场内的明显特征的移动 )。 0078 如果观看者已经明显停止观看电视, 则可以采取相应的操作。一种操作是暂停节 目, 使得观看者稍后可以继续观看。另一种操作是向观看者发送关于内容的错过部分的信 息。这种信息可以包括关键帧、 视频集锦、 文本摘要等。这些信息的一种或多种可链接到错 过内容的录制版本。 0079 如上文所述, 可将一个或多个手机与特定电视系统关联起来, 例如通过 DVR 数据 存储装置或家庭网络上的其它地。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 物理 > 计算;推算;计数


copyright@ 2017-2020 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备2021068784号-1