使辅助内容与主媒体内容的并行馈送时间同步.pdf

公开了一种用于按照与主设备的操作相关联的方式来使辅助设备操作的方法，该方法包括：获得与主设备输出的媒体资产相对应的第一信息；对第一信息进行处理以确定本地媒体签名信息；对第一信息进行发射以由服务器接收；接收来自服务器的辅助信息，其中辅助信息包括相应地与媒体资产的相应部分相对应的多个资产媒体签名；试图确定本地媒体签名信息的至少一部分与资产媒体签名的至少一个之间的相关性；以及从辅助设备输出时间相关资产流的一个或多个部分，这一个或多个部分是至少间接地基于相关性而确定的。

权利要求书1.  一种按照与主设备的操作相关联的方式来操作辅助设备的方法，所述方法包括：(a)获得与所述主设备输出的媒体资产相对应的第一信息；(b)处理所述第一信息，以确定本地媒体签名信息；(c)发射所述第一信息，以由服务器接收；(d)从所述服务器接收辅助信息，其中所述辅助信息包括多个资产媒体签名，所述多个资产媒体签名相应地与所述媒体资产的相应部分相对应；(e)尝试确定在至少一部分所述本地媒体签名信息与至少一个所述资产媒体签名之间的基于时间的相关性；以及(f)从所述辅助设备输出时间相关资产流的一个或多个部分，所述一个或多个部分是至少间接地基于所述相关性而确定的。2.  根据权利要求1所述的方法，其中所述辅助信息包括针对与所述媒体资产的相应部分相关联的所述时间相关资产流的一个或多个链接或指针。3.  根据权利要求2所述的方法，其中所述时间相关资产流的所述一个或多个部分作为并行馈送由所述辅助设备接收。4.  根据权利要求1所述的方法，其中所述第一信息包括至少一个音频采样。5.  根据权利要求1所述的方法，进一步包括：存储接收到的辅助信息，所述接收到的辅助信息包括所述多个资产媒体签名。6.  根据权利要求5所述的方法，其中所述辅助设备是从下述组中选择的移动设备，该组包括：蜂窝电话、个人数字助理、以及平板计 算机设备。7.  根据权利要求1所述的方法，其中，周期性地重复(a)、(b)、以及所述尝试步骤(e)中的每一个；以及其中，每个重复的尝试包括：比较所述第一信息与所述多个资产媒体签名。8.  根据权利要求7所述的方法，进一步包括在步骤(e)期间：在所述移动设备处，比较所述第一信息和与在最后同步时间点附近的时间点相对应的资产媒体签名的第一子集，以识别这些时间点之间的匹配；以及如果未发现匹配，那么比较所述第一信息与资产媒体签名的第二子集。9.  根据权利要求1所述的方法，其中由所述辅助设备的至少一个输入设备来执行所述获得的步骤，所述至少一个输入设备是从下述组中选择的，该组包括：照相机和麦克风。10.  根据权利要求1所述的方法，其中所述辅助信息另外包括下述多个数据部分：该多个数据部分用于相应地识别执行获得所述第一信息的相应的最好或优选时间，以便提高用户的隐私并降低电池消耗。11.  根据权利要求10所述的方法，其中激活所述辅助设备的输入设备，以便导致在所述最好或优选时间获得所述第一信息。12.  根据权利要求1所述的方法，进一步包括：至少部分地基于存储在所述辅助设备处的所述多个资产媒体签名，来确定执行获得所述第一信息的一个或多个最好或优选时间。13.  根据权利要求12所述的方法，其中激活所述辅助设备的输入设备，以便导致在所述最好或优选时间获得所述第一信息。14.  根据权利要求1所述的方法，进一步包括：至少部分地基于所述资产媒体签名，来确定由所述主设备输出的所述媒体资产的一部分是否已经改变或者是否已经发生了故障。15.  根据权利要求1所述的方法，其中所述接收到的辅助信息另外包括下述至少一个：媒体签名的第一序列、麦克风签名的第二序列、以及照相机签名的第三序列。16.  根据权利要求1所述的方法，其中获得第三信息，所述第三信息包括下述一个或多个资产媒体签名：该一个或多个资产媒体签名仅包括音频采样信息；以及其中所述辅助信息包括媒体签名的所述第一序列。17.  根据权利要求1所述的方法，其中重复(a)、(b)、(c)、(d)和(e)直至(e)的尝试产生了在所述至少一部分所述本地媒体签名与所述至少一个所述资产媒体签名之间的时间对应性，以及不执行(f)，直至(e)的尝试产生了在所述至少一部分所述本地媒体签名与所述至少一个所述资产媒体签名之间的时间对应性。18.  根据权利要求1所述的方法，进一步包括，在(f)之后：在从麦克风签名或照相机签名的所述序列所确定的时间，检索将来的时间相关资产流，以获得更新的资产媒体签名。19.  一种移动设备，包括：输入设备，通过所述输入设备获得与外部设备输出的主内容相对应的第一信息，所述第一信息包括视频或音频信息；处理设备，所述处理设备至少间接地与所述输入设备相耦合，所 述处理设备被配置为：至少部分地基于所述第一信息来创立本地媒体签名信息；无线收发器，所述无线收发器被配置为：接收在服务器发起的通信信号，所述通信信号包括辅助信息的一个或多个部分，所述辅助信息的一个或多个部分包括相应地与所述主内容的相应部分相对应的多个时间相关资产媒体签名；以及存储器设备，所述存储器设备被配置为：存储所述辅助信息的一个或多个部分；其中，所述处理设备进一步被配置为：尝试确定在至少一部分所述媒体签名信息与至少一个所述时间相关资产媒体签名之间的基于时间的相关性，所述处理设备进一步至少间接地与所述无线收发器和所述存储器设备的每一个相耦合；以及输出设备，通过所述输出设备从所述辅助设备输出时间相关资产流的一个或多个部分，所述一个或多个部分是至少间接地基于所述相关性而确定的。20.  根据权利要求19所述的移动设备，其中，所述移动设备是从下述组中选择的，该组包括：蜂窝电话、个人数字助理、移动计算机设备、以及平板计算机设备；以及其中，所述输入设备是下述组中选择的，该组包括：麦克风和照相机。21.  一种使在移动设备上呈现的辅助内容与在主设备上能观看的主内容同步的方法，所述方法包括：(a)获得与主设备输出的媒体资产相对应的第一信息；(b)处理所述第一信息，以确定本地媒体签名信息；(c)发射所述第一信息，以由服务器接收；(d)从所述服务器接收辅助信息，其中所述辅助信息包括多个资产媒体签名，所述多个资产媒体签名相应地与所述媒体资产的相应部分相对应；(e)尝试确定在至少一部分所述本地媒体签名信息与至少一个所述资产媒体签名之间的基于时间的相关性；以及(f)从所述辅助设备输出时间相关资产流的一个或多个部分，所述一个或多个部分是至少间接地基于所述相关性而确定的。22.  一种用于使在移动设备上呈现的辅助内容与在主设备上能观看的主内容同步的方法，所述方法包括：使用移动设备的一个或多个输入设备来周期性地捕获视频采样和音频采样中的至少一个，其中，视频采样和音频采样中的所述至少一个是从输出媒体资产的主设备获得的；从所述移动设备上的本地媒体签名生成器生成本地媒体签名；接收与所述媒体资产有关的一个或多个资产媒体签名，其中所述资产媒体签名基本上跨越所述媒体资产的所述时间长度；将所述一个或多个资产媒体签名存储在所述移动设备上；使所述本地媒体签名与所述资产媒体签名相互关联；基于在所述本地媒体签名与所述资产媒体签名之间的匹配，建立时间参考；以及周期性地更新所述时间参考。

说明书使辅助内容与主媒体内容的并行馈送时间同步
技术领域
本发明通常涉及同步，并且更具体地说，涉及使辅助设备与媒体内容时间同步。
背景技术
为了对移动设备的用户提供增强的整体观看体验，显示设备上的媒体内容(例如电视节目)的观众可以希望访问与他们正在观看的媒体内容有关的附加信息。移动设备与显示设备之间缺少直接通信，移动设备需要与显示设备上的媒体内容同步以便提供准确的与时间依赖信息。
发明内容
通过参考说明书、附图、以及权利要求书可理解的本发明解决了上述考虑及其它。根据本发明的方面，提供了一种按照与主设备的操作相关联的方式来使辅助设备操作的方法，该方法包括：获得与主设备输出的媒体资产相对应的第一信息；对第一信息进行处理以确定本地媒体签名信息；对第一信息进行发射以由服务器接收；从服务器接收辅助信息，其中辅助信息包括与媒体资产的相应部分相对应的多个资产媒体签名；试图确定本地媒体签名信息的至少一部分与资产媒体签名的至少一个之间的基于时间的相关性；以及从辅助设备输出时间相关资产流的一个或多个部分，这一个或多个部分是至少间接地基于该相关性而确定的。
根据本发明的其它方面，提供了一种使在移动设备上呈现的辅助内容与可在主设备上观看的主内容同步的方法，该方法包括：获得与主设备输出的媒体资产相对应的第一信息；对第一信息进行处理以确 定本地媒体签名信息；对第一信息进行发射以由服务器接收；从服务器接收辅助信息，其中辅助信息包括相应地与媒体资产的相应部分相对应的多个资产媒体签名；试图确定本地媒体签名信息的至少一部分与资产媒体签名的至少一个之间的基于时间的相关性；以及从辅助设备输出时间相关资产流的一个或多个部分，这一个或多个部分是至少间接地基于该相关性而确定的。
根据本发明的附加方面，提供了一种使在移动设备上呈现的辅助内容与可在主设备上观看的主内容同步的方法，该方法包括：使用移动设备的一个或多个输入设备来周期性地捕获视频采样和音频采样中的至少一个，其中视频采样和音频采样中的至少一个是从下述主设备获得的，所述主设备从用于接收与媒体资产有关的一个或多个资产媒体签名的移动设备上的本地媒体签名生成器输出用于生成本地媒体签名的媒体资产，其中资产媒体签名基本上跨度用于将一个或多个资产媒体签名存储在移动设备上的媒体资产的时间长度；使本地媒体签名与资产媒体签名相互关联；基于本地媒体签名与资产媒体签名之间的匹配建立时间参考；以及周期性地更新时间参考。
附图描述
虽然所附权利要求阐述了具有特殊性的本发明的特征，但是结合附图从下面的详细描述可以更清楚地得知本发明及其目的和优点，在附图中：
图1是可以实施本发明的示例性通信系统的框图；
图2是示出了图1的辅助设备的示例性内部硬件组件的框图；
图3是包括提取并存储媒体资产信息的并行资产流生成器的示例性服务器的框图；
图4是资产信息的示意表示；
图5是用于进一步说明图1的通信系统100的组件的框图；
图6是图5的各个组件的框图；
图7a和7b一起构成了用于使资产流与媒体资产的并行馈送时间 同步的示例性方法的流程图，其可由图1的通信系统100的一个或多个组件执行。
具体实施方式
转到附图，其中相同参考数字是指相同元件，本发明被说明为在适当环境中实现。以下描述是基于本发明的实施例并且就在这里未明确描述的替代实施例而言以下描述不应被视为限制本发明。
在图1中，提供了示例性通信系统100。在至少一些实施例中，通信系统100被配置为提供一种用于使相关资产与主媒体内容的流的并行馈送101时间同步的方法。通信系统100包括媒体源102、主设备104、服务器设备106、以及诸如移动设备108这样的辅助设备。示例性媒体源102可包括诸如有线电视频道、卫星电视频道、因特网视频馈送等等这样的主媒体内容110的各种源中的一个或多个。媒体源102传递来自诸如电视台、互联网网站等等这样的各种源的主媒体内容110。主媒体内容110包括一个或多个媒体资产109(例如媒体节目)。媒体源102经由诸如通信链路105这样的一个或多个通信链路将主媒体内容110传递到诸如机顶盒这样的一个或多个主设备104以在电视上观看。另外，媒体资产109可包括可公开或私下得到的实况的(在线)或录制的(非在线)主媒体内容110。
服务器106被配置为接收和生成与媒体资产109有关的媒体资产信息112中的至少一个。媒体资产信息112可包括针对时间有关信息的链接或指针，诸如时间相关资产流312(参见图3)、可包括麦克风签名的序列的资产媒体签名111的序列、以及照相机签名的序列。媒体源102可经由诸如通信链路115这样的一个或多个通信链路将媒体资产信息112传递到服务器106。在至少一些实施例中，将主媒体内容110传递到服务器106，并且服务器106利用主媒体内容110以生成媒体资产信息112。在至少一些其它实施例中，可在第二服务器(未示出)得到或由第二服务器(未示出)获得媒体资产信息112并且将其传递到服 务器106。服务器可利用诸如通信链路117这样的一个或多个通信链路以与移动设备108进行通信。
服务器106包括存储器部分118、与存储器部分118进行通信的处理器部分120、以及用于将通信链路115，117与处理器部分120对接的一个或多个的输入/输出接口(未示出)。处理器部分120可经由通信链路115与媒体源102进行通信并且经由通信链路117与移动设备108进行通信。通信系统100中的组件之间的通信可包括有线和无线技术这两者。虽然在图1中说明了一些示例性通信链路，但是可提供未示出的各种其它通信链路。存储器部分118可包括诸如随机存取存储器、只读存储器、硬盘、盘片驱动器等等这样的能够存储诸如媒体资产信息112这样的信息并且有助于执行服务器106的必要功能的各种类型的存储媒体。另外，存储器部分118包括资产签名数据库308(参见图3)。
图2说明了根据本实施例的诸如移动设备108这样的移动设备的示例性内部组件200。如图2所示，组件200包括一个或多个无线收发器202、处理器部分204(例如微处理器、微计算机、专用集成电路等等)、存储器部分206、一个或多个输出设备208、以及一个或多个输入设备210。在至少一些实施例中，存在包括诸如显示器这样的一个或多个输出设备208以及诸如小键盘或触摸传感器这样的一个或多个输入设备210的用户接口。内部组件200可进一步包括组件接口212以提供与辅助组件或附件的直接连接以用于额外的或增强的功能。内部组件200最好是还包括诸如电池这样的电源214以在实现移动设备108便携的同时向其它内部组件供电。所有的内部组件200可通过一个或多个内部通信链路232(例如内部总线)彼此相耦合并且彼此进行通信。
在图2的实施例中，无线收发器202尤其包括蜂窝式收发器203以及Wi-Fi收发器205。更具体地，蜂窝式收发器203被配置为进行诸如3G、4G、4G-LTE等等这样的蜂窝式通信，虽然其它实施例中，蜂 窝式收发器203可被配置为替代地或另外利用诸如模拟通信(使用AMPS)，数字通信(使用CDMA、TDMA、GSM、GPR、iDEN、GPRS、EDGE等等)、或者下一代通信(使用UMTS、WCDMA、LTE、IEEE802.16等等)或其变型的各种其它基于蜂窝的通信技术中的任何一个。
相反，Wi-Fi收发器205是被配置为根据IEEE 802.11(a，b，g，或者n)标准与接入点进行Wi-Fi通信的无线局域网收发器205。在其它实施例中，Wi-Fi收发器205可替代地(或者另外)进行通常被理解为包含在诸如一些类型的对等(例如Wi-Fi对等)通信这样的Wi-Fi通信之内的其它类型的通信。此外，在其它实施例中，Wi-Fi收发器205可替换或补充有一个或多个其它无线收发器，所述一个或多个其它无线收发器被配置用于包括例如采用诸如家庭RF(无线电频率)、归属节点B(3G毫微微蜂窝)、蓝牙这样的自组织通信技术或者诸如红外技术这样的其它无线通信技术的无线收发器的非蜂窝式无线通信。因此，虽然在本实施例中移动设备108具有两个无线收发器203和205，但是本公开旨在包括存在采用任何任意数目的通信技术的任何任意数目的无线收发器这样的多个实施例。
与移动设备108的其它内部组件200相结合的无线收发器202的示例性操作可采用各种形式并且可包括例如下述操作，即一旦接收到无线信号，则内部组件对通信信号进行检测并且收发器202对通信信号进行解调以恢复诸如由无线信号发射的语音或数据这样的传入信息。在接收到来自收发器202的传入信息之后，处理器204对传入信息进行格式化以用于一个或多个输出设备208。同样地，为了传输无线信号，处理器204对可以由或可以不由输入设备210激活的传出信息进行格式化并且将传出信息传递到一个或多个无线收发器202以调制为通信信号。无线收发器202通过无线以及(也可能是有线)通信链路将调制信号传递到诸如服务器106这样的其它设备以及一个或多个内容提供商网站(以及可能地传递到诸如蜂窝塔、接入点、另一服务器、或者任何种类的远程设备)。
根据该实施例，内部组件200的输入和输出设备208，210可包括各种视频、听觉、或机械输出。例如，输出设备208可包括诸如液晶显示器和发光二极管指示器这样的一个或多个可视输出设备216，诸如扬声器、警报器、或者蜂鸣器这样的一个或多个听觉输出设备218、或者诸如振动机构这样的一个或多个机械输出设备220。可视输出设备216尤其可包括视频屏幕。同样地，例如，输入设备210可包括诸如光学传感器(例如照相机223)这样的一个或多个视频输入设备222、诸如麦克风225这样的一个或多个音频输入设备224、以及诸如触发传感器、键盘、小键盘、选择按钮、导航群组、触摸板、触摸屏、电容式传感器、运动传感器、以及开关这样的一个或多个机械输入设备226。可激活一个或多个输入设备210的动作不但可包括按钮或其它致动器的物理激活而且还包括例如打开移动设备108(如果它可以在打开或关闭位置)、对设备108解锁、移动设备108以激活运动、移动设备108以激活位置定位系统、以及对设备108进行操作。
如图2所示，移动设备108的内部组件200还可包括各种类型的传感器228中的一个或多个。传感器228可包括例如接近传感器(光检测传感器、超声收发器、或者红外收发器)、触摸传感器、高度传感器、位置电路，该位置电路可包括例如全球定位系统接收器、三角测量接收器、加速度计、倾角传感器、陀螺仪、或者可识别出移动设备108的用户设备界面(携带模式)的当前位置的任何其它信息收集设备。虽然传感器228是为了图2的目的而被认为是与输入设备210不同，但是在其它实施例中可能的是一个或多个输入设备210也可被认为构成了一个或多个传感器228(反之亦然)。另外，即使在本实施例中示出了输入设备210与输出设备208不同，但是应认识到在一些实施例中一个或多个设备用作输入设备210和输出设备208这两者。例如，在采用触摸屏的实施例中，触摸屏可被认为是构成了可视输出设备216和机械输入设备226这两者。
内部组件200的存储器部分206可包括任何各种形式的一个或多个存储器设备(例如只读存储器、随机存取存储器、静态随机存取存储器、动态随机存取存储器等等)并且可被处理器204使用以存储并检索数据。在一些实施例中，可将存储器部分206与处理器部分204集成在单个设备中(例如包括存储器或者记忆体处理器的处理设备)，尽管这种单个设备仍将典型地具有用于执行不同处理和存储器功能并且可被认为是独立设备的不同部件。
存储器部分206所存储的数据可包括但不局限于诸如数据库这样的操作系统、应用、以及信息数据。每个操作系统包括用于对通信设备108的下述基本功能进行控制的可执行代码，所述基本功能是诸如包含在内部组件200当中的各个组件之间的交互作用、经由无线收发器202或组件接口212与外部设备的通信、以及将应用和数据存储到存储器部分206以及从存储器部分206检索应用和数据。另外，移动设备108可包括一个或多个应用。每个应用可包括下述可执行代码，该可执行代码利用操作系统以为通信设备108提供诸如文件系统服务、对存储在存储器部分206中的受保护的和未受保护的数据进行处理这样的更具体的功能。信息数据是不可执行的代码或者是操作系统或用于执行通信设备108的功能的应用可参考或操作的信息。如图1所示，一个这种应用是为执行这里所述的方法所提供的客户端应用132。
客户端应用132意欲是代表可对诸如移动电话、平板电脑、膝上计算机等等这样的任何各种类型的移动设备执行相同或相似功能的任何类型的客户端应用。客户端应用132是在处理器部分204上操作的基于软件的应用并且尤其是被配置为提供移动设备108与通信系统100的一个或多个其它组件之间的接口。另外，客户端应用132对诸如照相机223和麦克风225这样的一个或多个输入和输出设备210，208的操作进行管控。此外，客户端应用132与下述可视界面(例如显示屏)(未示出)一起工作，所述可视界面允许移动设备108的用户开始诸如请求获得移动设备108上的媒体资产信息112这样的各种动作(如参考图5 和6进一步详细讨论的)。客户端应用132可采取多种形式并且根据该实施例可被配置为在各种操作系统和设备上进行操作并与各种操作系统和设备进行通信。应理解的是可根据尤其是客户端应用132的操作或者根据其它应用来执行这里所述的移动设备108所执行的各种处理，这取决于实施例。
现在参考图3，服务器106包括具有多个模块的平行资产流生成器302，所述多个模块能够接收主媒体内容110(音频、视频、文本信息)(例如，MPEG-2TS)、提取媒体资产信息112、并且存储媒体资产信息112。这些模块提供了此后由服务器106上所包括的附加模块所利用的信息。更具体地说，平行资产流生成器302包括资产关联模块304、媒体资产签名生成器306、编辑界面307、以及资产签名数据库308。媒体资产签名生成器306被配置为接收媒体内容110和媒体资产信息112。媒体资产签名生成器306生成覆盖媒体资产109的时间跨度的资产媒体签名111(例如ms(tk))。资产媒体签名111可包括一个或多个媒体资产109的视频或音频签名。资产关联模块304创建时间相关资产流312(例如，p1(tk)……pn(tk))的集合。可手动地输入时间相关资产流312并经由编辑界面307对其进行编辑。另外，可给予时间相关资产流312优先权。当生成资产媒体签名111和时间相关资产流312时，如下所讨论的，将它们存储在资产签名数据库308中以供服务器106中的其它模块使用。
图4是时间相关资产流312的示例性表示。资产流312由ID来识别，这将它绑定到主媒体内容110的标识符上。这可在主媒体内容110与对应资产流312之间进行映射。在一般情况下，存在有一个或多个对应资产流312。每个资产流312是时间的函数并且可被识别为资产流pi(tk)，在这种情况下，它是距所消费的主媒体内容312的相对时间偏移量。存在用于指的是特定资产流pi(tk)的可视性和优先级的一般流信息。在每个时刻tk，陈列出相关资产集合402(媒体资产的集合)。资产集合40之内的每个媒体资产109具有与媒体资产109有关的诸如由 assetType识别出的媒体资产109的类型(例如，图像、视频、音乐、或者文档)、媒体资产109的持续时间，或者媒体资产109的优先级或相对重要性这样的信息。另外，还包含与可以检索特定媒体资产109有关的信息(例如location_url)。资产流312的该示例性表示允许按照时间相关方式将媒体资产信息112与主媒体内容110绑定在一起。
图5提供了对图1的通信系统100的组件以及其之间的相互关系的进一步说明500。更具体地是，示出了移动设备108的客户端应用132的各个方面与主设备104、服务器106、以及移动设备108的其它部分的相互作用。如所示，客户端应用132可包括本地媒体签名生成器502、并行馈送客户端控制器504、客户端高速缓存模块506(即与客户端高速缓存数据库508进行通信)、时间同步器510、流选择器模块512、以及并行馈送消费者模块514。另外，服务器106可包括具有多个模块(即媒体查找服务模块516、并行馈送服务模块518、以及EPG服务模块520)的一个或多个应用。如上面参考图3所讨论的，这些组件中的一个或多个可以与资产并行资产流生成器302进行通信。尤其是，并行馈送服务模块518与资产签名数据库308进行通信。
移动设备108和客户端应用132利用本地媒体签名生成器502以从一个或多个本地媒体采样522生成一个或多个本地媒体签名521。从辅助设备108的用户在主设备104上所观看的主媒体内容110获得本地媒体采样522，尤其是从媒体资产109获得。本地媒体采样522可包括用移动设备108的一个或多个输入设备210获得的视频或音频采样。在至少一些实施例中，用户可利用照相机223以获得在主设备104上显示的媒体资产109(节目)的原始视频采样523。替代地或者另外，用户可利用麦克风225以获得媒体资产109的原始音频采样524。使用视频签名处理器526对原始视频采样523进行处理。视频签名处理器526被配置为对原始视频采样523进行分析并且识别出有区别的本地视频特征528。同样地，使用音频签名处理器530对原始音频采样524进行处理，音频签名处理器530被配置为对原始音频采样524进行分析并 且识别出有区别的本地音频特征532。本地媒体签名生成器502进一步包括本地签名构建器534，该本地签名构建器534被配置为收集本地视频特征528和本地音频特征532并且构建一个或多个本地媒体签名521。另外，提供媒体签名收集控制器538以对本地签名构建器534进行控制并且至少间接地获取本地媒体采样522并对其进行处理。
一旦本地媒体签名生成器502生成了至少一个本地媒体签名521，将本地媒体签名521传递到服务器106，其中由媒体查找服务模块516接收它。媒体查找服务模块516在有限时窗ms’[tn，tm]使本地媒体签名521相关联并且找到媒体资产ID539以及在媒体资产109的时间跨度中出现本地媒体签名521的时间点。然后并行馈送服务模块518将媒体资产ID 539与关联的媒体资产信息112、相关资产媒体签名111、以及时间相关的资产流312一起发送到移动设备108上的客户端高速缓存模块506以存储在客户端高速缓存数据库508上。
并行馈送客户端控制器504对时间相关资产流312的适时呈现进行控制。时间同步器510确保并行馈送客户端控制器504保持用于相对于用户观看的媒体资产109而言呈现时间相关资产流312的正确定时。为了保持正确定时，时间同步器510从本地媒体签名生成器502周期性地接收有限时窗的本地媒体签名521并且使它与从并行馈送服务模块518所接收到的资产媒体签名111相关联，其中资产媒体签名111跨度媒体资产109的整个时间长度。如果本地媒体签名521与资产媒体签名111相匹配，那么必要时并行馈送客户端控制器504可对内部时间参考进行调节以与资产媒体签名111相关联的时间匹配。在匹配处理期间，时间同步器510首先试图使本地媒体签名521与在最近同步时间点附近的时间点上的存储的资产媒体签名111相匹配。如果在最近同步时间点附近匹配失败，那么会发生下述状况，即如果用户快进到、倒带到、暂停在、或者跳到媒体流中的另一点，那么时间同步器510试图使本地媒体签名521与所存储的资产媒体签名111的剩余时间点相匹配。如果本地媒体签名521不能与任何时间点上的资产 媒体签名111匹配，那么通过用户向并行馈送客户端控制器504警告假定的媒体资产109已变为新的未知的媒体资产109这样的故障状况或频道变化。流选择器模块512与客户端高速缓存模块506进行通信以识别出将哪个资产流312传递到并行馈送消费者模块514。并行馈送消费者模块514经由并行馈送链路515将流选择器模块512所选的资产流312传递到辅助设备108的一个或多个输出208。
图6提供了图5的客户端应用132的框图。尤其是，示出了本地媒体签名生成器502、并行馈送客户端控制器504、媒体查找服务模块516、以及时间同步器510。为了将并行馈送从服务器106提供给移动设备108，指令并行馈送客户端控制器504以对时间同步器510进行初始化。时间同步器510将用于提供包括本地音频特征532和本地视频特征528这两者的一个或多个本地媒体签名521的请求传递到媒体签名生成器502。在该初始化步骤期间，在连续的收集间隔540得到媒体签名521并且将其发送到媒体查找服务516(如上所讨论的)以获得媒体资产ID 539。
在已识别出媒体资产110并且并行馈送101开始将媒体资产信息112、资产媒体签名111、以及时间相关资产流312传递到移动设备108之后，时间同步器510请求仅包括本地音频特征532的附加本地媒体签名521。时间同步器510将用于在特定(不连续的)收集间隔542(ci1，…，cin)期间提供本地媒体签名521的请求传递到媒体签名生成器502，其中本地媒体签名521仅包括本地音频特征532。通过仅将本地媒体签名521限制为本地音频特征532并且限制收集间隔，限制了移动设备108上的处理及带宽负担，这可改善了电池寿命和响应时间。在至少一些实施例中，本地媒体签名521还可包括本地视频特征528。
选择用于收集本地媒体签名521的特定收集间隔542以包括当前观看的媒体资产109的大多数代表性间隔。由并行馈送服务模块518、 由时间同步器510、或者由并行馈送客户端控制器504来选择特定收集间隔542。选择特定收集间隔542以便它们包含用于表征每个时间点上的媒体资产109的突出的本地音频特征532。例如，如果媒体资产109包含时间T1与T2之间的特定旋律或音符序列、包含时间T2与T3之间的静音、包含时间T3与T4之间的女性讲话、包含时间T4与T5之间的另一静音间隔、并且包含时间T5与T6之间的枪声，那么收集间隔542将包括时间间隔T1-T2、T3-T4、以及T5-T6中的一个或多个并且将排除时间间隔T2-T3和T4-T5，因为为大家熟知的是它们不包含突出的本地音频特征532。注意到，收集间隔542可包含其包括音频信息的时间间隔的下述子集，该子集仅包括具有最突出的本地音频特征532的时间间隔以便使设备108收集本地音频采样524的时间段最小化。在所提供的示例中，时间间隔T1-T2中的旋律以及T5-T6之间的枪声可被认为是比包含女性讲话的时间间隔T3-T4更突出的本地音频特征532。用于经由时间同步器510来确定收集间隔542的并行馈送服务模块518和并行馈送客户端控制器504中的至少一个包含用于提取本地音频特征532并且使用它们以对来自媒体资产109的本地媒体采样522的每个部分进行分类的数字信号处理算法。例如，计算包含在时间间隔之中的音频能量的算法可用于确定时间间隔是否主要包含静音。例如，可确定在音频时段中存在音乐的已知算法可用于确定时间间隔是否包含旋律。
还可以从媒体签名111本身进行对最突出的时间间隔的确定。例如，一些音频媒体签名算法基于声谱图的峰值并且基于它们在时间上的关系而生成媒体签名111。每秒的峰值数目以及其平均振幅可被认为是用于确定时间间隔是多么突出的量度。与连续地相反，收集限于包括仅在最具代表性的间隔期间所生成的本地音频特征532的本地媒体签名521防止了在麦克风225上对音频的连续记录，这可能潜在地对用户导致隐私问题。如果大多数当前分析的本地媒体签名521停止与被认为是由用户观看的媒体资产109的资产媒体签名111匹配，那么时间同步器510请求可包括本地音频特征532和本地视频特征528这 两者或者可仅包括在连续的收集间隔540获得的本地音频特征532的整个集合。然后对当前本地媒体签名521与资产媒体签名111的整个集合进行比较。如果未发现匹配，那么将资产媒体签名111的整个集合发送到媒体查找服务模块516以重新识别，并且并行馈送消费者模块514中止发送时间相关资产流312，直至识别出新的媒体资产109并使其同步。
图7a和7b提供了流程图700，该流程图700示出了用于使相关资产与主媒体内容的流的并行馈送时间同步，这可由图1的通信系统100的一个或多个组件来执行。更具体地，如所示，该方法从步骤702开始，在步骤702中，移动设备108使用照相机223或麦克风225来从主媒体内容110捕获原始视频采样523或原始音频采样524。在步骤704，本地媒体签名生成器502对原始视频采样523或原始音频采样524进行处理以形成本地媒体签名521。然后将本地媒体签名521发射到服务器106以在步骤706中分析。
尤其是，将本地媒体签名521发送到服务器106的媒体查找服务模块516，其中对本地媒体签名521与表示各种媒体资产109的资产媒体签名111进行比较。如果发现与特定媒体资产109匹配，那么将媒体资产109的媒体资产ID 539发送到并行馈送服务模块518。在步骤708中，移动设备108从并行馈送服务模块518接收媒体资产信息112、时间相关资产流312、资产媒体签名111的序列、麦克风签名的序列、以及照相机签名的序列。
在至少一个其它实施例中，如在步骤708中所描述的，不将麦克风签名的序列和照相机签名的序列提供给移动设备108。替代地，如在将代替步骤708的步骤712和步骤714中所示，它们在移动设备108处生成。更具体地，在步骤712中所接收的媒体资产信息112仅包括时间相关资产流312以及资产媒体签名111的序列。在步骤714中，移动设备108生成麦克风签名的序列以及照相机签名的序列。在一个 实施例中，通过计算声谱图中的每秒的峰值数目来从资产媒体签名111提取麦克风签名的序列。通过计算每秒的画面切换的次数来从资产媒体签名111提取照相机签名的序列。在步骤708或步骤714结束时，将媒体资产信息112、时间相关资产流312、资产媒体签名111的序列、麦克风签名的序列、以及照相机签名的序列存储在移动设备108上的客户端高速缓存数据库508中。
在图7b的步骤718中，移动设备108使本地媒体签名521与本地存储的资产媒体签名111的序列相关联以确定与本地媒体签名521相对应的媒体资产109之内的时刻(时间点)。该时刻用于建立并保持移动设备108与媒体资产109之间的同步。如在之前所说明的，在步骤718期间，移动设备108首先试图使本地媒体签名521与最近同步时间点附近的时刻上的存储的资产媒体签名111相匹配。如果在最近同步时间点附近匹配失败，那么会发生下述状况，即如果用户快进到、倒带到、暂停在、或者跳到媒体流中的另一点，那么移动设备108试图使本地媒体签名521与所存储的资产媒体签名111的剩余时间点相匹配。在步骤720中，如果既在最近同步时间点附近又在本地存储的资产媒体签名111的任何其它时间点都未发现本地媒体签名521，那么同步失败，并且处理返回到步骤702，其中获得新的原始视频或原始音频采样523，524。如果在步骤718中完成了同步，那么处理移动到步骤722，其中然后通过移动设备108上的应用可呈现与所计算的时刻相对应的呈现的时间相关资产流312以供用户观看。在步骤724中，为了准备好移动设备108呈现下一集合的时间相关信息，该系统可检索将来的时间相关信息。
如上所讨论的，还可将麦克风签名的序列以及照相机签名的序列中的一个或多个存储在设备108中。这些签名可包括下述信息，该信息指示收集间隔542以及当将激活适当捕获设备(麦克风225或照相机223)以从媒体资产109捕获后续原始视频采样523或原始音频采样524时的每个收集间隔542之内的容许捕获时段。在步骤726中，对签名 进行分析以确定是否到达下一收集间隔542。如果仍未达到下一收集间隔542，那么处理回到步骤722，并且基于本地时钟继续对时间相关资产流312的同步呈现，这紧接着上次同步开始计时。如果已达到下一收集间隔542，那么处理移动到步骤728，其中在被指示为麦克风签名的序列和照相机签名的序列可容许的收集间隔524之内的时段从媒体资产109获得后续音频采样524或视频采样523。在步骤730中，对采样523，524生成本地媒体签名521，这可使步骤718中的更新的相关性分析以检验客户端应用132与媒体资产109的回放之间的同步。
鉴于可以应用本发明的原理的多个可能实施例，应认识到这里就附图所描述的实施例意指仅是说明性的并且不应被视为限制本发明的范围。因此，这里所描述的本发明涉及可能在权利要求及其等效体的范围之内的所有这些实施例。