情感电视监视和控制 【技术领域】
一般而言，本发明针对电视观众反馈收集系统，具体而言，本发明涉及使用人类反应输入来自动产生电视观众简档的系统和方法。
【发明背景】
现代电视系统有效地处理惊人数量的音频视频输入，从而将各种各样来源的高质量节目呈现给电视观众。这些来源中许多是通过电缆或者无线电波传送节目的广播网络。其它来源可以是更加局部的或有限的。例如，专用网络可以传送那些只是准备供有限观众使用的节目，而且许多家庭安装了录像机(VCR)或者其它录制设备，一旦它们拥有录制好的内容，这些录制设备本身就是节目来源。
因此，现代的电视观众有许多节目选择。由于大多数的节目是为了商业原因制作的，因此节目制作者有兴趣确定什么是电视观众想要或者喜欢观看的，从而可以使用受欢迎的节目来作为未来设计节目的导向。另外，为了对付巨大数量的现有节目，有各种各样的设备用来允许电视观众选择性地关注相对较小部分地节目，假如他们选择这样做的话。例如，电视观众可以简单地选择仅仅预订某些节目频道。可是，无论其收集的目的如何，收集有关电视用户(观众)观看偏好的数据通常是有用的。有几种方法用来收集有关人们喜欢观看什么的有用数据。首先，可以简单地问电视观众。可以向测试观众展示特定节目，然后询问其成员以便测定其反应。尽管通常很有效，但是该方法有几个缺点。首先，需要许多调查员来问问题和记录回答。然后，假如需要对电视观众的喜好和厌恶进行精确的判读，就必须对该回答进行恰当的解释。因此，一般而言，该方法只有当测试观众有限时才有价值。由于该电视观众反应要从仅仅这些有限的观众中采集，因此必须适当地选择这些观众，以保证他们的反应将代表整个观众群。
当然，假如测试观众仅仅被要求提供预定书面问题的答案，描述他们的反应，或者在多个节目中“投票”他们最喜欢的节目的话，那么就不需要调查人员。可是该方法在解释时也容易发生甚至更多的错误，并且携带一种可被称为反应疲劳的问题。在这种情况中，测试观众可能在某种程度上厌倦了回答问题或者填表，假如这样的话，这些测试观众就会粗心完成这些事，因为现在他们想要做的只是完成约定任务。这里也存在故意误导的回答，在这种情况下观众察觉到问题的目的，并且出于某种目的，提供误导的回答。例如，吸引观众的节目可能是描写性行为的或者是暴力的，致使观众不想承认其受人欢迎的特性。虽然很主动，但是这种行为影响了该测试过程。
当然，结果只相当于所问问题和给出的回答。任何调查脚本或者书面问卷都必须仔细设计，以获得准确的响应，即使对一个真实的诚挚的回答者也是这样。所有这些需要时间，金钱和其它资源，因此只可能测试有限的观众。不管测试者如何仔细地组织测试观众以提供满意的有效样本，他们也只能限于那些愿意回答问题的人。即使当电视观众在家被访问，并且被问及他们如何收看以及关于他们一般的观看习惯时，也存在这个问题。使用任何上述方法，都会存在以下问题，即通常电视观众的反应报告是基于所观看节目整体的，而不是基于该节目的特定片断，这些特定片断可能引起肯定或者否定回答。在许多情况下，这种反应可能是本能的或者潜意识的，甚至一个热心观众也不能确切指出节目中哪一部分是最令人满意的。最后，问题和回答，或者其它调查方法必须或者在整个节目之后进行或者在节目结束之前打断该节目。在任何一种情况下，都会损害获得观众反应的完整性。如上所述，观众反馈也可仅仅用来简化他们自己的频道选择过程。但是即使当观众仅仅想要记住他们喜欢哪些节目并调整他们的频道选择器时，效果可能也远非理想。他们的记忆可能是错误的，他们选择的频道可能和他们真正的喜好不完全匹配。在任何情况下，他们必须手动进行选择，因为太复杂了，所以这样做可能会耽误时间。
那么就需要一种测量观众对电视和类似节目的反应的非干扰的自动方法，这种方法可以对大范围的测试观众进行测试，并向管理该测试的团体或者只是自动节目选择辅助系统提供精确的反馈。本发明的系统和方法提供的正是这一解决方案。
发明概述
为解决现有技术的上述缺陷，本发明的一个主要目的在于，提供一种用来收集和分析的系统和方法和电视系统一起使用，以便提供观众对特定节目和节目片断的反应。一个或多个电视观众反馈传感器放置在每个测试观众附近，以便收集反应信息。该反应数据被转换成数字形式以便存储和分析，并且被存储在系统数据库中。该存储在数据库中的反应信息是带时间戳的，因此可以就特定的节目片断来修正该信息。机顶盒耦合到一个或多个节目源。控制程序或者为电视观众选择想要观看的节目，或者允许他们做出自己的选择。
一旦观看了足够多的内容，就可以评估与可识别节目片断有关的数据。一个报告设备递交分析结果。
在一个特定优选实施例中，该报告的结果用来通知该测试过程，因此可以确认电视观众的反应。
在另一个特定优选实施例中，电视观众的反应和观众的偏好程度(表示观众的喜欢或不喜欢，这从被收集的反应信息中推断出来)相联系。
在本发明的详细描述中将更加完全地阐述本发明的其它目的和优点。
以上宽泛地略述了本发明的特征和技术优势，因此本领域的技术人员可以更好地理解以下的发明详述。下面将阐述本发明的其它特征和优点，这构成了本发明权利要求的主题。那些本领域的技术人员应当理解他们可容易地使用所公开的概念和特定实施例，作为修改或者设计用来实现本发明相同目的的其它结构的基础。那些本领域的技术人员还应该认识到这种等效结构就其最广泛的形式而言并没有背离本发明的精神和范围。
在开始详细描述之前，最好先阐明在该整篇专利文件中使用的某些词和短语的定义：术语“包括”和“包含”及其派生词，意思是没有限制的包含；术语“或者”是包含的，意思是和/或；短语“与...联系”和“与此联系”及其派生词可表示包括，包括在内，与...相互联系，包含，包含在内，连接到或与...连接，结合到或与...结合，与...可通信，与...合作，插入，并列，与...接近，附在...上或者与...紧密联系，具有，具有...的特性等等；术语“控制器”意思是控制至少一个操作的任何设备，系统或其部件，这种设备可以以硬件，固件或软件或者其中两种的一些组合来实现。应当注意，和任何特定控制器有关的功能无论本地或者远程地都可以是集中的或者分布式的。某些词和短语的定义是在这整篇专利文件中规定的，那些本领域的普通技术人员应当理解在许多情况下，即使不是在大多数情况下，这种定义适用于以上以及以后使用这种定义词和短语的情况。
【附图说明】
为了更加完整地了解本发明及其优点，现在参考结合附图所作的描述，其中同样的数字表示同样的对象，其中：
图1示出了根据本发明的一个实施例的一种示意性的电视接收器系统；
图2示出了根据本发明的一个类似实施例用来收集电视观众对节目片断的反应的示意性系统，这是在与图1的示意性电视接收器系统类似的系统中实现的；
图3是说明根据本发明的一个优选实施例，可用来处理来自摄像机的输入的视频处理器的方框图；
图4是根据本发明的一个实施例说明感觉输入的交互作用，以及使用该采集及处理的感觉数据的可能应用的系统图；和
图5是说明根据本发明的收集，处理和使用感觉反馈信息的方法的流程图。
【具体实施方式】
以下讨论的图1到5以及在本专利文件中用来描述本发明的原理的各种实施例仅为了说明，并不应认为是以任何方式限制本发明的范围。在以下的示例描述中，本发明集成进数字电视接收器，或者与其结合使用。可是该实施例仅是作为例子，并不应认为是将本发明的范围限制在数字电视接收器。事实上，那些本领域的技术人员将认识到可以容易地修改本发明的示意性实施例，以便用于模拟电视接收器和其它类似的设备。
注意，电视“节目”或者“节目安排”在这里通常用来表示可以在电视接收器或者类似设备上显示的节目或者其中的一部分，该设备包括例如广播或者有线电视，预先录制的录像带或者DVD显示，和通过通信或者计算机网络传送的多媒体流。正如在此使用的那样，“电视节目安排”也包括音频节目，文字或者多媒体显示，无论其是否伴随实际的电视广播。例如，也包括无线电广播和多媒体网页显示(并且在合适的例子中“观看”或者“观众”将表示仅仅收听，或者听和读，以及实际观看视频图像)。
图1示出了根据本发明的一个实施例的示意性电视系统100。示意性电视系统100包含电视接收器105，带有红外线(IR)探测器160的机顶盒150，和录像设备140(尽管典型地这样称呼，但是该设备通常也录制音频节目)。如以下将详细描述的那样，本发明提供一种系统，该系统收集和使用观众反应作为反馈，以供研究和增强电视接收器105的作用，特别是关于被选来显示和录制的节目内容。
电视接收器105包含显示屏110，用来显示由电缆或者卫星电视节目提供者提供的电视节目，并显示先前录制好的内容。接收器105也包括红外线(IR)传感器115，和由环绕的虚线表示的一套手动控制器120。手动控制器120可包括，但不限于，电源按钮，音量控制按钮，垂直和水平控制按钮以及一个或多个频道选择按钮。红外线(IR)传感器115接收来自可由电视观众操作的可选手持遥控器125的IR控制信号。典型地，由IR传感器探测到的来自遥控器125的IR控制信号在电视接收器105中进行处理，从而改变屏幕110上观看到的频道，升高或者降低音量，打开或者关闭电视接收器105等等。可选地，由IR传感器115探测到的IR控制信号可以传送到机顶盒150，以便控制机顶盒150的工作。
机顶盒150对来自电缆或者卫星电视节目服务提供者的输入信号进行常规调谐和解调，以产生例如运动图象专家组(MPEG)编码数字数据流，由此可以得到视频信号。可选地，电视接收器105可直接接收来自外部天线(未示出)的输入电视广播信号。在本发明的该可选实施例中，电视接收器105对从天线接收到的输入RF信号进行常规调谐和解调，以产生例如MPEG编码数字数据流，由此可以得到视频信号。该外部天线如果存在的话，也可连接到机顶盒150。
机顶盒150也包括红外线(IR)传感器160。IR传感器160接收来自由电视观众操作的手持遥控器125的红外线(IR)控制信号。优选地，控制机顶盒150的遥控器125和操作电视接收器105的遥控器125是一样的。典型地，由IR传感器探测到的IR控制信号在机顶盒150中进行处理，从而改变传送到电视接收器105以供显示屏幕110上观看的频道，打开或者关闭机顶盒150(和/或电视接收器105)，并调节其它电视控制。
录像机140是录制节目供观众在另一时间观看的设备。它可以连接到电视接收器105，或者优选地直接连接到机顶盒150，并可以录制正在显示器110上显示的节目，但是也可当显示器关闭时录制。当电视系统100这样设定，使得当显示第二节目时可以录制第一节目，则具有特别的优点。录像机140可以是但不必要是磁带录像机(VCR)，并可以回放并非从机顶盒150或者接收器105接收到的节目，例如使用可移动媒介如录像带或者软盘，或者可以直接或间接连接到允许节目下载以供录制和回放的网络。另外，录像机140可以和TV105或者机顶盒150连接。
在本发明的一个有利实施例中，机顶盒150可以集成到电视接收器105中。机顶盒150和电视接收器105的集成通常发生在例如当电视接收器105是高清晰度电视(HDTV)接收器时。由于机顶盒150的功能和工作原理都是众所周知的，因此电视制造商常常发现将机顶盒150集成到电视接收器105中，从而减少设备，接线和由电视观众进行的安装工作的数量很有利。
优选地，电视系统100也包括个人计算机(PC)170，该个人计算机与电视接收器105和机顶盒150二者进行通信。PC170包含中央处理器(CPU)180，视频监控器190，和可移动存储媒介195。PC170也包含常规元件(未示出)如键盘，鼠标，内部硬盘驱动器，和随机存取存储器(RAM)。在本发明的一个使用PC170的实施例中，用来采集观众反馈的系统包含CPU 180以及存储在CPU 180的随机存取存储器(RAM)(未示出)中或者存储在CPU 180的内部硬盘驱动器(未示出)中的程序。该程序也可存储在可移动存储媒介195上，该可移动存储媒介195可以是例如3.5英寸软盘，光盘只读存储器(CD ROM)，数字化视频光盘(DVD)或者类似的存储媒介。
另外，本发明的观众反馈采集系统包含多个观众反应传感器，在图1中列举为132，134，136和138，但是可以有任意数量的传感器。传感器信号接收器185接收处于未经处理状态的由观众反应传感器132-138产生的反应信号，并处理该信号供PC170进行存储和分析。
在本发明的一种有利实施例中，用来采集观众反应的系统可以是集成在电视接收器105中的嵌入式系统。在本发明的另一种有利实施例中，可以在机顶盒150中实现该系统。换句话说，在图1中单独示出的电视系统100的部件，即传感器信号接收器185，PC170，机顶盒150可以集成进单个物理部件如接收器105中，或者以其它的方式分配它们的功能。
图2示出了根据本发明的一个类似实施例用来采集观众对节目和节目片断的反应的示例系统，这是在与图1的示例电视接收器系统100类似的系统中实现的。电视接收器系统200包括具有显示器210的电视接收器205。如上所述，机顶盒230接收节目信息，并将其传送到接收器205。注意，尽管图1中示出的各个部件在系统200中也可能存在，但是为了清楚起见，在图1示出的实施例的基础上对电视接收系统200进行某些简化。理想地，至少在测试观众部分的开头，观众坐在椅子215内。根据本发明的一个实施例，“测试观众”意味着该系统可用于受控的测试状况。在另一实施例中，当在观众的家里使用该系统时，仍然可以提供类似的椅子215。注意本发明的系统和方法可应用于任一应用中，这里所述的适用于一个应用的特性被认为也适用于另一应用，除非明确地指出需要区分或者从前后关系中很容易地看出需要区分。
椅子215可选地配备了传感器(未示出)，用来记录观众状况的如温度，姿势，走动或者静止的倾向等等方面。也可将麦克风放在椅子215里或者附在椅子215上，用来记录反应的声音如笑声或者会话。由这些传感器生成的信号被采集并转换成无线电信号，以便无线传送到传感器信号接收器285。椅子215和传感器信号接收器285分别配备天线217和219，以帮助它们之间的无线电通信。当然，无线通信不是必须的，传感器信号也可通过其它方式如红外线或者仅仅通过电缆传送。传感器衬衫220提供了通过无意的或自然的反应采集观众反馈的另一种设备。注意，这里寻求的“无意的”或“自然的”反应是那些在观众观看显示的节目时自然产生的反应。即，这些术语通常指的是在节目显示时或者接近节目显示时，对节目本身的响应或反应，而不是对以后的调查如调查人员的问题的反应。因此，本发明的一个主要优点在于在允许节目连续不中断的同时接收反应的能力，该反应可以直接和节目片断联系。传感器衬衫220可以和椅子215结合使用，或者用来替代椅子215。传感器衬衫220包含一个或多个传感器，以便测量观众状况如体温传感器，心率监控器，出汗检测器等等。在一种特别优选实施例中，传感器衬衫220包括流电激励器(galvactivator)(未示出)，利用当出现内部或内部激励时生理上引起皮肤瞬时变成电的较好导体的现象，该流电激励器测量皮肤导电反应(也称为皮肤电反应)。在New Orleans第九届人机交互国际会议(International Conference on Human-Computer Interation)(2001年八月)的学报中Rosalind W.Picard & Jocelyn Scheirer，The Galvactivator的论文：A Glove that Senses and CommunicatesSkin Conductivity中较为详细地解释了这种现象，该论文在此引作参考。正如本领域的普通技术人员都明白的那样，这种传感器也可以加到手套或者和观众接触的其它物品中。这种列举是为了说明而不是限制。优选地，传感器衬衫220，手套，或者其它感觉设备包括无线发送器222，用来向传感器信号接收器285发送传感器数据。
图2中出现的其它观众状况传感器包括运动传感器230，用来检测在收看房间201中的活动情况(甚至出入情况)。根据需要覆盖的运动(范围)，可以有超过一个运动传感器。运动传感器230通常经由电缆连接和传感器信号接收器285进行连接，但是也可使用任何其它方法如前面提到的方法。放置摄影机240以便捕捉坐在椅子215内的观众的影像，特别是观众的头和脸部区域。这可以是静止的或者活动的。在后一种情况下，可以使用驱动控制系统(未示出)来辅助该录像机追踪并保持聚焦该观众。
摄影机240可用来以不同的方法提供感觉信息。与上述其它传感器(除了麦克风)不同，其信号输出可以仅仅保存在视频记录设备如图1中示出的录像机140中。可是，通常假如需要象这样记录观众反应视频图像时，将使用单独的录像机(未示出)。可是，在一个具体的优选实施例中，单独处理该视频信息以便增强其反馈值并消除(或者巩固)操作人员对该视频图像进行的任何分析。
在一个优选实施例中，通过多个传感器如上述各种设备聚集起来的感觉信息将被综合分析，从而产生比仅仅孤立地看每个感觉输入所获得的结果更为精确的观众反应简档。例如，特别的流电反应可包括激励，但是留下一个问题，该引起的但是未经规定的情绪是好还是不好。可是，和视觉信号一起使用的话，效价也可被评估，例如，微笑表示这种特别的激励状态是愉快的。作为另一个例子，视觉反应如皱眉，或者声音反应如问问题(根据说话人提高句尾的音调)，可能表示疑惑或者缺乏了解。可是，当综合考虑这些输入时，增加了正确判断的可能性。
图3是说明根据本发明的一个优选实施例，可用来处理来自摄像机240的输入的视频处理器300的方框图。视频处理器300在输入端口305接收来自摄像机240的视频输入。优选地，视频处理器300也包括用来记录摄像机240捕捉的图像的视频记录媒介310。为方便起见，这里又使用了“视频记录”。典型地，录像机记录声音甚至也可能伴随文字(如字幕)。在所示实施例中，视频处理器通过输出端口312输出记录的视频，如果希望的话，以供显示。通过端口305接收到的视频输入也被送到数字转换器315，在该数字转换器315中被转换成标准数字格式以便处理。在视觉分析模块320中，每一帧数字化图像，或者可选地为每一个被选帧子集，和存储在视频库文件325中的观众的已知脸部表情或者动作的类似数字化图像相比较。关于对脸部姿态分析的更完整的阐述，参看Antonio Colminarez，Modeling theDynamics of Facial Expressions，(提交到2001年十二月11-13日在Hawaii举行的Computer Vision & Pattern RecognitionConference)，该文献在此引作参考。以逐像素的方式(使用所有的或者部分的像素)，或者使用任何已知的图像分析算法进行所述比较。优选地，存储在库文件315中的参考视频图像是观众个人的图像，但是也可包括他人的参考视图目录。比较步骤的目的是尽可能精确地确定捕捉到的观众表情或者动作是否可以识别为与已知情绪和其它人类反应有关的表情或者动作。当然，可以理解任何这种评估是预测的或者是近似的，而不是确定的，这里并不是要暗示声称甚至可能声称确定的判断。可是，当根据前后关系进行评价时，由视频处理器300提供的信息提供了重要的输入。向传感器信号接收器285报告由视觉分析模块320探测到的匹配。假如没有找到匹配，该报告可指出这一情况或者简单地将其忽略。
图4是说明根据本发明的一个实施例的感觉输入的交互作用，以及使用该采集及处理的感觉数据的可能应用的系统图。该实施也是示例的而不是限制的。如上所述，对照参考图像分析脸部表情和头部动作，以便确定可识别的情绪(模块405)。根据一套预定的标准来解释某些指示如微笑和凝视的强度(即凝视不动的持续时间和凝视方向)。也解释总的动作，如由摄像机240或者运动传感器230所探测到的房间内的运动(模块410)。另外，由例如椅子215或者传感器衬衫220上的传感器捕捉到的生物计量反应数据可以以与某些人类情感反应相联系为特征，其联系方式和以上结合捕捉到的视频图像所述的方式类似，虽然在大多数情况下有些较不确定。注意，某些感觉数据如体温可仅仅通过指出其相对于基线或者先前水平的变化来进行分析。这种类型的分析当然比视频图像比较更加简单，尽管在一个优选实施例中，还要考虑环境条件的变化，例如室温，外面天气条件，环境噪声水平，一天中的时间等等。
当然，也可以考虑其它输入，例如观众改变节目选择的动作，特别是当有遥控器如遥控器125(图1中示出)时，使得这种改变容易执行(模块420)。该节目改变可表示讨厌特定的节目片断，或者频繁的且无明显目的的，可以表示一般的厌倦。在一些情况下，观众可能进行“频道冲浪”，即快速地接连查看很多频道很短的时间。可是，即使是整体模式的一部分，收看一个特定片断的时间超过预期停顿也可提供信息。每一次按动“下一频道”的按钮所使用的体力，如遥控器125中的变形测量器或者类似的设备测量的，可表示厌倦或者受挫，特别当和某些音频反应如叹气或咒骂的检测和识别相结合时。很明显，在实施本发明的系统和方法时，经验和观察将增强把某些感觉输入单独或者联合地与某些人类情感反应联系起来的能力。
上述感觉输入特征的每一种和任何其它可用特征被直接或间接地提供，用于特定行为或有关条件的分类(模块425)。各个输入每一个都进行检查，以便确定一个离散的可识别条件或者条件变化是否可以从连续的或者至少是断断续续的相关输入流中分离开来。一旦一个分离的感觉事件被分类，那么它就可以和已知数据底数相比较，以便和已知心情，情绪或者其它反应相联系(模块430)。也可以判断特定的心情或者情绪有多强烈。
在一个优选实施例中，从视觉领域所提取的脸部表情都标上了符号并给予特征向量值。例如，假如有五种状态：悲伤，笑，漠不关心，厌烦，害怕，然后将这些进行符号编码(最好是带有数字)。同时也从0到1按比例记录情绪的大小(如从温和到极度高兴)，也记录算法的确定程度。追踪观众的姿势和行动，并且也将这些记录下来：坐着，起来，看报纸分心，呼喊等等(这也是我们特征向量的特定值)。也记录生物测量反应：心电图，肌动电流图，呼吸以及测量自主神经系统兴奋作用的皮肤电导传感器。这些信号被实时数字化并记录下来。所有这些特征都不是必定有用的。首先在学习模式中，可使用线性识别函数根据识别性能将每个特征分别分类，从而找到识别模式的最优特征组。遥控器反应模式也可分成几类，分类为：“频道转换”，主动观看(调大音量，回放，或者慢模式)，半主动观看，稳定观看。所有的这些值都用于特征向量f＝f(f1，f2，...fn)中，记录一个时间段(如2秒)的特征向量。
接下来，这些观察符号被送到隐藏马尔可夫模型。隐藏马尔可夫模型(HMM)是一种广泛用于信号处理的通用技术。HMM的本质在于构造一种解释观察资料(符号)的产生的模型，并用它来识别其它的观察序列。在L.R.Rabiner，A Tutorial on Hidden Markov Models andSelected Applications in Speech Recognition，77 Proceedingsof the IEEE 257-285(1989)中介绍了HMM的基本原理及其应用，该文献在此引作参考。
简而言之，在HMM中具有有限数量的状态，并且该HMM总是处于这些状态之一。在每个时钟时间，根据先前状态在转移概率分布的基础上进入一个新的状态。在转移之后，根据当前状态在概率分布的基础上生成输出符号。在HMM的正式定义中，该状态表示为Q＝{q1，q2，...qN}，其中N是状态数，观察符号表示为V＝{v1，v2，...vM}，其中M是观察符号数。在两个状态之间的转移概率分布用矩阵A＝{aij}来表示，其中aij＝Pr{t+1处qj|t处qi}，而该观察符号概率分布用矩阵B＝{bj(k)}来表示，其中bj(k)是当前状态为qj时生成观察数据vk的概率。
该系统包含两个阶段，即训练和分类。对应于不同的行为(如非常喜欢，不关心，讨厌，惊骇)，通过使用上述特征值集合进行训练，我们构造不同的HMM。该HMM训练实质上是调整λ＝(A，B，π)的参数，以便将该观察序列Pr(0|λ)的概率最大化。这里π代表初始状态分布，并定义为π＝{πi}，其中πi是状态qi是该HMM的初始状态的概率。O是观察序列。
在分类阶段，从脸部，生物测量，人的动作和遥控器反应模式的输入特征值的特定集合中提取包含高层标志的观察序列。然后将该序列送到不同的HMM(如非常喜欢，不关心，讨厌，惊骇)作为输入，并将其分类为生成最高反应(观察概率)的HMM类。
一旦观众的行为被识别，就和观众当前正在收看的节目和节目片断的类型一起被回馈给系统。推论该用户对正在显示的节目是喜欢，不喜欢还是中性的。然后该结果用来将不同的节目(或者一些改进节目内容的行动如扩充等)根据用户的收视简档展示给那些可能更加喜欢的观众。监控对该新信息的反应，以便了解在不同情况下用户更喜欢的信息或者行为的类型。这样，在模块430中，使用行为组合来进行心情推断，类型，强度等等。
在观众状况分析的同时，还要分析观众所看见的节目输入(模块435)。电子节目指南(EGP)信息是和从特定源可得到的剩余节目输入有关的说明性数据。尽管该信息的一些用来产生观众在进行频道选择时可使用的实际节目指南显示，本发明的系统使用其它信息将显示的节目内容与所经历的观众行为联系起来。换句话说，EPG向该系统提供电子提示，表明特定节目什么时间开始或者结束。注意，节目片断的使用源自一种认识，即使单个电视节目或者电影也不是均一事件，而是一系列片断(或“场景”)。在名为Method and Apparatus forAudio/Data/Visual Information Selection的美国专利申请序列号09/442,960中较为详细地解释了在子节目层的视频分割和选择，该申请由Nevenka Dimitrova，Thomas McGee，Herman Elenbaas，LalithaAgnihotri，Radu Jasinschi，Serhan Dagtas，Aaron Mendelsohn于1999年11月18日提出，由本申请的受让人共同拥有，在此引作参考。在R.S.Jasinschi，N.Dimitrova，T.McGee，L.Agnihotri，J.Zimmerman，& D.Li，Integrated Multimedia Processing forTopic Segmentation and Classification，Procedings for the IEEEInternational Conference on Image Processing(Thessaloniki，October 2001)中也提供了进一步说明，该文献在此也引作参考。比起节目总体评价来说，观众对每一个这些片断的反应比对节目做整体评价可以更有用地作为观众嗜好的评估者。从这一点上，使用本发明的系统和方法最为有利。
在一个特别优选的实施例中，节目提供者向节目订户(即观众)提供(可能要付费)至少一些感觉设备，或者提供一些关于如何连接订户家中通常可以找到的电器设备(如摄像机)以便提供感觉读数的用法说明。该感觉信号，处理过的或者未经处理的，都被送回该提供者，该提供者分析这些信号并使用这些信号来调整提供给观众的节目内容，或者创建频道选择控制器供订户(观众)使用，该频道选择控制器帮助观众选择那些和产生肯定回答的节目相类似的节目。当然，在这种情况下，该EPG信息优选地包括节目分段信息，使得检测到的观众反应可以和特定的节目片断相联系。
例如，分割功能也可包括在机顶盒150中以便自动按照适合分析的方式分割节目，从而取代或者结合使用EPG信息分割节目(即将其逻辑上分割成多个片断，以便使用不连续的观众反应进行比较)。将该节目(和节目分割)信息与节目片断过程中产生的心情和情绪相比较，提供重要的节目选择信息(模块440)。可以以不同的方式使用该选择信息。首先，当然可以存储在存储记录器中(模块445)，并在以后作为另一辅助设备进行查看，以便预测观众选择。这可以在测试情况下或者如上所述当在观众家中操作该系统时进行，该信息可以传送给节目提供者供个体或者总体(即测试观众)分析。关于个体观众，该了解到的选择信息也可被处理(模块450)，供今后心情或情绪判断(模块430)中使用。另外，假如观众有机会这样做的话，用户将选择那些看来与前面看过的产生良好反应的内容类似的节目内容，根据这一假设，可以使用该选择信息。通过简单的警报，通知观众现在可以得到特定类型的节目(模块455)，可以实现这一效果。或者提供多个类似的即将播出的节目作为推荐(模块460)。当然，在任一情况下，仅仅向用户提供观看或者记录该推荐的节目的机会。可是，在一种可选实施例中，该系统可以仅仅选择某个节目供录制用，将其自动传送到录制设备(模块465)。当有能力录制多种内容时这特别有用，这样该节目就可以保存一段时间，而不是在下一次录制期间简单地被覆盖。最后，根据前面了解到的用户选择，可以扩充该观看的或者录制的节目的实际内容(模块470)。该扩充的内容可以从节目提供者那里得到，但是要根据观众的个体状态来使用。例如，先前表示过偏爱动作场面的观众可能插入一段赛车代替法庭场景，而另一个喜欢喜剧的观众可能用幽默片断来代替。当然，假如观众想要以某些方式来指出他们的个性，或者假如由系统传感器自动确定个性的话，该系统可以根据他们的个人口味(或者根据经常一起观看的多个观众的综合口味)来定制节目。
图5是说明根据本发明收集，处理和使用感觉反馈信息的方法的流程图。最初(程序步骤“开始”)，假定节目接收和显示系统和感觉反馈系统在合适的位置。当节目显示开始时，感觉设备被通电并激活(程序步骤505)。该系统立即接收初始输入，并且在所示实施例中，将初始输入设为基线(程序步骤510)。在另一实施例中，已经设置了每个可识别观众的基线，只有当不能确定观众的身份时才设置新的基线。直到检测到可识别感觉状况(如出汗程度或者温度升高)，才处理传感器输入(程序步骤515)，这时将指示传送到该感觉处理器，因为心情/情绪判断和检测该心情/情绪的感觉结果时正在显示的节目片断有关的信息相联系(程序步骤520)。假如对节目的反应在预期的范围内，则该信息被存储在数据库中(程序步骤525)。注意，假如该选择信息是假的，如一个通常忧郁的观众在不愉快的片断中大笑，则该信息就不是“在预期范围内”，这情况下怀疑发生了分心的事。在优选实施例中，这种反应被忽视。该过程也可继续将该选择信息送回提供者这一步骤(程序步骤530)，或者使用本地使用该选择信息这一步骤(程序步骤535)，或者上述两个步骤。(上面参考图4已经提供了本地使用的几个例子。)
尽管已经详细阐述了本发明，但是那些本领域的技术人员应当理解在不背离本发明的精神和范围的广泛形式的情况下，这里他们也可以进行各种变化，置换和变更。