认知与情感人机界面相关申请的交叉引用
本申请要求于2014年2月23日提交的美国临时专利申请No.61/943,467
的权益，其内容结合于此作为参考。
背景技术
某些人机界面(HMI)会使用户无所适从或产生挫败感。例如，不合时
宜的广告插入(insertion)或难度过大或过于无聊的游戏，都可能会使用户
敬而远之。以车辆碰撞预警系统为例，在其发出迫近危险的告警时，如果
HMI的低优先级消息分散了用户的注意力，那么安全性就成为了一个问题。
在市场营销方面，选择欠妥的时机和/或消息都会降低营销的效果。在向消费
者提出产品或内容方面的建议时，有人会采用一些推测性的数据，而采用这
种数据可能无法很好地预测对实际产品或内容的使用或兴趣所在。由于教师
授课或采用计算机的培训过程中可能会忽视学生处理新信息的能力，从而导
致学生学习教材的能力下降。而吃一堑长一智这种做法则会导致效率低下。
发明内容
公开了用于生成人机界面(HMI)的系统、方法和手段，所述HMI能
够了解并适应用户的认知负荷(load)和/或情绪情感状态。传感器数据可用
于估计用户的认知状态(例如认知负荷)和/或情感状态，而用户的认知状态
和/或情感状态可用于对与用户的互动划分优先级或还可以对之产生影响。用
户的认知和/或情感状态可包括除了能够从用户已经消费的上下文和/或内容
中推断出的信息之外的信息。例如，认知和/或情感状态信息可用于自适应游
戏、广告植入和/或递送定时、驾驶员或飞行员辅助、教学、广告选择、产品
和/或内容建议、和/或视频聊天应用。
人机界面(HMI)可由系统生成。所述系统可对HMI中的内容植入进
行管理。所述系统可向用户递送内容。所述内容可包括视频数据、视频游戏
数据、教学数据、培训数据等等。所述系统可从一个或多个传感器接收传感
器数据。所述传感器数据与用户关联。来自所述一个或多个传感器的传感器
数据可包括下列中的至少一者：拍摄数据、皮肤电反映(GSR)数据、语音
分析数据、面部表情分析数据、肢体语言分析数据、眼球运动和注视点追踪
分析数据、眨眼率分析数据、脑电描记数据(electroencephalographic)、皮肤
电活动数据、瞳孔测量数据、心率数据、血压数据、呼吸速率数据、或体温
数据。所述系统可基于接收到的传感器数据确定用户的认知状态或情感状态
中的至少一者。用户的认知状态可包括用户的认知负荷。用户的情感状态可
包括觉醒(arousal)测量和效价(valence)测量。所述系统可对接收到的传
感器数据进行分析。所述系统可在二维觉醒效价空间上绘制(plot)觉醒测
量和效价测量。所述系统可基于该绘制将用户与一个或多个预定义情感状态
关联。
所述系统可确定递送内容的定时。所述内容可包括广告。所述递送内容
的定时可基于用户的确定的认知状态或用户的确定的情感状态中的至少一
者来确定。当用户的认知负荷低于预先确定的阈值或当用户的情感状态指示
了用户处于可接受状态时，所述内容可被递送给用户。当用户的情感状态距
预定义情感状态的距离测量低于预先确定的阈值时，用户的情感状态指示用
户处于可接受状态。所述预定义情感状态可包括预定义觉醒测量和预定义效
价测量。所述距离测量可基于用户的情感状态与预定义情感状态之间的距
离。所述距离测量可包括觉醒分量(component)和效价分量。所述内容可
基于预先确定的定时被递送给用户。所述内容可经由HMI或第二HMI被递
送给用户。
所述系统可对用于递送给用户的内容进行选择。可基于用户的认知状态
或用户的情感状态中的至少一者对用于递送给用户的内容进行选择。可基于
用户的刺激(stimulus)响应模型对用于递送给用户的内容进行选择。所述
刺激响应模型可基于对之前内容的历史用户响应(例如用户针对之前内容的
的认知和/或情感状态的历史观测)。用户可与消费者分类关联。用户可基于
刺激/响应对与消费者分类关联。所述刺激/响应对可基于呈现给用户的信息
以及响应于信息呈现的用户的认知状态或用户的情感状态中的至少一者。所
述系统可对刺激/响应对进行存储。可基于与用户关联的消费者分类对用于递
送给用户的内容进行选择。可基于预定义消费者分类中的消费者的刺激响应
数据库对用于递送给用户的内容进行选择。所述预定义消费者分类可包括所
述用户。所述内容可以是第一产品的第一广告。所述第一产品的第一广告可
基于用户对第二产品的第二广告的在先响应进行选择。
附图说明
图1A是可在其中实施一个或多个所公开实施方式的示例通信系统的系
统图示。
图1B是可在图1A说明的通信系统中使用的示例无线发射/接收单元
(WTRU)的系统图示。
图1C是可在图1A说明的通信系统中使用的示例无线电接入网络和示
例核心网络的系统图示。
图1D是可在图1A说明的通信系统中使用的另一示例无线电接入网络
和另一示例核心网络的系统图示。
图1E是可在图1A说明的通信系统中使用的另一示例无线电接入网络
和另一示例核心网络的系统图示。
图2是说明了瞳孔放大与记忆(memory)编码困难之间的示例关系的
图示。
图3是说明了可用于对情感状态进行分类的示例二维空间的图示。
图4是说明了示例情感和/或认知自适应游戏系统的框图。
图5是说明了示例情感和/或认知自适应广告递送定时系统的框图。
图6是说明了示例情感和/或认知自适应警告系统的框图。
图7是说明了示例情感和/或认知自适应教学系统的框图。
图8是说明了示例情感和/或认知自适应产品或内容建议系统的框图。
图9是说明了消费者分类示例的框图。
图10是说明了产品/内容建议示例的框图。
图11是说明了示例情感和/或认知自适应视频聊天系统的框图。
图12是说明了可以用培训数据填充状态/解译数据库的示例子系统的框
图，其中所述培训数据可将认知和/或情感状态与解译相联系。
图13是说明了示例视频注释生成子系统的框图。
具体实施方式
现在参照各个附图对说明性实施方式进行详细描述。虽然该描述提供了
可能实施的具体示例，应当注意的是，所述细节是示例性的且不对本申请的
范围进行限制。
图1A是可以实施一个或多个公开的实施方式的示例通信系统100的系
统图示。该通信系统100可以是将诸如语音、数据、视频、消息发送、广播
等之类的内容提供给多个无线用户的多接入系统。该通信系统100可以通过
系统资源(包括无线带宽)的共享使得多个无线用户能够访问这些内容。例
如，该通信系统100可以使用一种或多种信道接入方法，例如码分多址
(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、
单载波FDMA(SC-FDMA)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、
102b、102c、和/或102d(统称或合称为WTRU 102)、无线电接入网(RAN)
103/104/105、核心网络106/107/109、公共交换电话网(PSTN)108、因特
网110、和其他网络112，但可以理解可实施任意数量的WTRU、基站、网
络和/或网络元件。WTRU 102a、102b、102c、102d中的每一个可以是被配
置成在无线环境中运行和/或通信的任何类型的装置。作为示例，WTRU
102a、102b、102c、102d可以被配置成发送和/或接收无线信号，并且可以
包括用户设备(UE)、移动站、固定或移动订户单元、寻呼机、蜂窝电话、
个人数字助理(PDA)、智能电话、便携式电脑、上网本、个人计算机、无
线传感器、消费电子产品等等。
通信系统100还可以包括基站114a和基站114b。基站114a、114b中的
每一个可以是被配置成与WTRU 102a、102b、102c、102d中的至少一者无
线对接，以便于接入一个或多个通信网络(例如，核心网络106/107/109、
因特网110、和/或网络112)的任何类型的装置。例如，基站114a、114b可
以是基站收发信站(BTS)、节点B、e节点B、家用节点B、家用e节点B、
站点控制器、接入点(AP)、无线路由器等。尽管基站114a、114b每个均被
描述为单个元件，但是可以理解基站114a、114b可以包括任何数量的互连
基站和/或网络元件。
基站114a可以是RAN 103/104/105的一部分，该RAN还可以包括其他
基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器
(RNC)、中继节点等。基站114a和/或基站114b可以被配置成传送和/或接
收特定地理区域内的无线信号，该特定地理区域可以被称作小区(未示出)。
小区还可以被划分成小区扇区。例如与基站114a相关联的小区可以被划分
成三个扇区。由此，在一种实施方式中，基站114a可以包括三个收发信机，
例如针对所述小区的每个扇区都有一个收发信机。在另一实施方式中，基站
114a可以使用多输入多输出(MIMO)技术，并且因此可以使用针对小区的
每个扇区的多个收发信机。
基站114a、114b可以通过空中接口115/116/117与WTRU 102a、102b、
102c、102d中的一者或多者通信，该空中接口115/116/117可以是任何合适
的无线通信链路(例如，射频(RF)、微波、红外(IR)、紫外(UV)、可见
光等)。空中接口115/116/117可以使用任何合适的无线电接入技术(RAT)
来建立。
更特别地，如上所述，通信系统100可以是多接入系统，并且可以使用
一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA
等。例如，在RAN 103/104/105中的基站114a和WTRU 102a、102b、102c
可以实施诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类
的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口
115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型
HSPA(HSPA+)的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)
和/或高速上行链路分组接入(HSUPA)。
在另一实施方式中，基站114a和WTRU 102a、102b、102c可以实施诸
如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其可以使
用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115/116/117。
在其他实施方式中，基站114a和WTRU 102a、102b、102c可以实施诸
如IEEE 802.16(即，全球微波互联接入(WiMAX))、CDMA2000、CDMA2000
1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、
临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM
演进(EDGE)、GSM EDGE(GERAN)之类的无线电技术。
图1A中的基站114b可以是例如无线路由器、家用节点B、家用e节点
B或者接入点，并且可以使用任何合适的RAT，以用于促进在诸如商业区、
家庭、车辆、校园之类的局部区域的无线连接。在一种实施方式中，基站114b
和WTRU 102c、102d可以实施诸如IEEE 802.11之类的无线电技术以建立无
线局域网(WLAN)。在另一个实施方式中，基站114b和WTRU 102c、102d
可以实施诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。
在另一个实施方式中，基站114b和WTRU 102c、102d可以使用基于蜂窝的
RAT(例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等)以建立微微
小区(picocell)和毫微微小区(femtocell)。如图1A所示，基站114b可以
具有至因特网110的直接连接。由此，基站114b可不经由核心网络
106/107/109来接入因特网110。
RAN 103/104/105可以与核心网络106/107/109通信，该核心网络
106/107/109可以是被配置成将语音、数据、应用和/或通过网际协议的语音
(VoIP)服务提供到WTRU 102a、102b、102c、102d中的一者或多者的任
何类型的网络。例如，核心网络106/107/109可以提供呼叫控制、账单服务、
基于移动定位的服务、预付费呼叫、因特网连接、视频分配等，和/或执行高
级安全性功能，例如用户认证。尽管图1A中未示出，可以理解RAN
103/104/105和/或核心网络106/107/109可以直接或间接地与其他RAN进行
通信，这些其他RAN使用与RAN 103/104/105相同的RAT或者不同的RAT。
例如，除了连接到可以采用E-UTRA无线电技术的RAN 103/104/105，核心
网络106/107/109也可以与使用GSM无线电技术的其他RAN(未显示)通
信。
核心网络106/107/109也可以用作WTRU 102a、102b、102c、102d接入
PSTN 108、因特网110、和/或其他网络112的网关。PSTN 108可以包括提
供普通老式电话服务(POTS)的电路交换电话网络。因特网110可以包括
使用公共通信协议的互联计算机网络及装置的全球系统，所述公共通信协议
例如是传输控制协议(TCP)/网际协议(IP)因特网协议套件中的传输控制
协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。所述网络112可
以包括由其他服务提供方拥有和/或运营的无线或有线通信网络。例如，网络
112可以包括连接到一个或多个RAN的另一核心网，这些RAN可以使用与
RAN 103/104/105相同的RAT或者不同的RAT。
通信系统100中的WTRU 102a、102b、102c、102d中的一些或者全部
可以包括多模式能力，即WTRU 102a、102b、102c、102d可以包括用于通
过不同的通信链路与不同的无线网络进行通信的多个收发信机。例如，图1A
中显示的WTRU 102c可以被配置成与可使用基于蜂窝的无线电技术的基站
114a进行通信，并且与可使用IEEE 802无线电技术的基站114b进行通信。
图1B是示例WTRU 102的系统图。如图1B所示，WTRU 102可以包
括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键
盘126、显示屏/触摸板128、不可移除存储器130、可移除存储器132、电源
134、全球定位系统(GPS)芯片组136、和其他外围设备138。应该理解的
是，在保持与实施方式一致的情况下，WTRU 102可以包括上述元件的任何
子组合。同样，实施方式设想基站114a和114b，和/或基站114a和114b可
以表示的节点(例如但不限于收发信机站(BTS)、节点B、站点控制器、接
入点(AP)、家庭节点B、演进型家庭节点B(e节点B)、家庭演进型节点
B(HeNB或He节点B)、家庭演进型节点B网关、以及代理节点等等)可
以包括图1B中描述的以及这里描述的元件的一些或全部。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处
理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、
控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)
电路、任何其它类型的集成电路(IC)、状态机等。处理器118可以执行信
号编码、数据处理、功率控制、输入/输出处理和/或使得WTRU 102能够运
行在无线环境中的其他任何功能。处理器118可以耦合到收发信机120，该
收发信机120可以耦合到发射/接收元件122。尽管图1B中将处理器118和
收发信机120描述为独立的组件，但是处理器118和收发信机120可以被一
起集成到电子封装或者芯片中。
发射/接收元件122可以被配置成通过空中接口115/116/117将信号传送
到基站(例如，基站114a)，或者从基站(例如，基站114a)接收信号。例
如，在一个实施方式中，发射/接收元件122可以是被配置成传送和/或接收
RF信号的天线。在另一个实施方式中，发射/接收元件122可以是被配置成
发送和/或接收例如IR、UV或者可见光信号的发射器/检测器。在另一个实
施方式中，发射/接收元件122可以被配置成传送和接收RF信号和光信号两
者。可以理解发射/接收元件122可以被配置成传送和/或接收无线信号的任
意组合。
此外，尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU
102可以包括任何数量的发射/接收元件122。更具体地，WTRU 102可以使
用MIMO技术。由此，在一个实施方式中，WTRU 102可以包括两个或更多
个发射/接收元件122(例如，多个天线)以用于通过空中接口115/116/117
发射和/或接收无线信号。
收发信机120可以被配置成对将由发射/接收元件122发送的信号进行
调制，并且被配置成对由发射/接收元件122接收的信号进行解调。如上所述，
WTRU 102可以具有多模式能力。由此，收发信机120可以包括多个收发信
机以用于使得WTRU 102能够经由多个RAT进行通信，例如UTRA和IEEE
802.11。
WTRU 102的处理器118可以被耦合到扬声器/麦克风124、键盘126、
和/或显示屏/触摸板128(例如，液晶显示(LCD)显示单元或者有机发光
二极管(OLED)显示单元)，并且可以从上述装置接收用户输入数据。处理
器118还可以向扬声器/麦克风124、键盘126、和/或显示屏/触摸板128输出
用户数据。此外，处理器118可以访问来自任何类型的合适的存储器中的信
息，以及向任何类型的合适的存储器中存储数据，所述存储器例如可以是不
可移除存储器130和/或可移除存储器132。不可移除存储器130可以包括随
机存取存储器(RAM)、只读存储器(ROM)、硬盘或者任何其他类型的存
储器存储装置。可移除存储器132可以包括订户标识模块(SIM)卡、记忆
棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以访问来
自物理上未位于WTRU 102上(例如位于服务器或者家用计算机(未示出)
上)的存储器的数据，以及在该存储器中存储数据。
处理器118可以从电源134接收电能，并且可以被配置成将该电能分配
给WTRU 102中的其他组件和/或对至WTRU 102中的其他组件的电能进行
控制。电源134可以是任何适用于给WTRU 102供电的装置。例如，电源
134可以包括一个或多个干电池(镍镉(NiCd)、镍锌(NiZn)、镍氢(NiMH)、
锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组136可以被
配置成提供关于WTRU 102的当前位置的位置信息(例如，经度和纬度)。
作为来自GPS芯片组136的信息的补充或者替代，WTRU 102可以通过空中
接口115/116/117从基站(例如，基站114a、114b)接收位置信息，和/或基
于从两个或更多个相邻基站接收到的信号的定时来确定其位置。可以理解，
在保持与实施方式一致性的同时，WTRU可以通过任何合适的位置确定实施
方法来获取位置信息。
处理器118还可以耦合到其他外围设备138，该外围设备138可以包括
提供附加特征、功能、和/或无线或有线连接的一个或多个软件和/或硬件模
块。例如，外围设备138可以包括加速度计、电子指南针(e-compass)、卫
星收发信机、数字相机(用于照片或者视频)、通用串行总线(USB)端口、
振动装置、电视收发信机、免持耳机、模块、调频(FM)无线电单元、
数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
图1C为根据一种实施方式的RAN 103及核心网络106的系统图。如上
所述，RAN 103可使用UTRA无线电技术通过空中接口115与WTRU 102a、
102b、102c通信。RAN 103还可以与核心网络106进行通信。如图1C所示，
RAN 103可包括节点B 140a、140b、140c，节点B 140a、140b、140c每一
者均可包括一个或多个用于通过空中接口115与WTRU 102a、102b、102c
通信的收发信机。节点B 140a、140b、140c中的每一者均可与RAN 103中
的特定小区(未示出)相关联。RAN 103还可以包括RNC 142a、142b。可
以理解在保持与实施方式一致性的同时，RAN 103可以包括任意数量的节点
B和RNC。
如图1C所示，节点B 140a、140b可以与RNC 142a通信。此外，节点
B 140c可以与RNC 142b通信。节点B 140a、140b、140c可以经由Iub接口
与各自的RNC 142a、142b通信。RNC 142a、142b可以经由Iur接口彼此通
信。RNC 142a、142b的每一个可以被配置成控制其连接的各自的节点B
140a、140b、140c。此外，RNC 142a、142b的每一个可以被配制成执行或
支持其他功能，例如外环功率控制、负载控制、准许控制、分组调度、切换
控制、宏分集、安全功能、数据加密等。
图1C中示出的核心网络106可以包括媒体网关(MGW)144、移动交
换中心(MSC)146、服务GPRS支持节点(SGSN)148、和/或网关GPRS
支持节点(GGSN)150。尽管前述每一个元件被描述为核心网络106的一部
分，但这些元件的任何一个可以由除核心网络运营方之外的实体所拥有和/
或操作。
RAN 103中的RNC 142a可以经由IuCS接口连接到核心网络106中的
MSC 146。MSC 146可以连接到MGW 144。MSC 146和MGW 144可以给
WTRU 102a、102b、102c提供对例如PSTN 108的电路交换网络的接入，以
促进WTRU 102a、102b、102c与传统路线通信装置之间的通信。
RAN 103中的RNC 102a还可以经由IuPS接口连接到核心网络106中
的SGSN 148。SGSN 148可以连接到GGSN 150。SGSN 148和GGSN 150
可以给WTRU 102a、102b、102c提供对例如因特网110的分组交换网络的
接入，以促进WTRU 102a、102b、102c与IP使能装置之间的通信。
如上所述，核心网络106还可以连接到网络112，网络112可以包括其
他服务提供方拥有和/或运营的其他有线或无线网络。
图1D为根据一种实施方式的RAN 104及核心网络107的系统图。如上
所述，RAN 104可使用E-UTRA无线电技术通过空中接口116与WTRU
102a、102b、102c通信。RAN 104还可以与核心网络107进行通信。
RAN 104可包括e节点B 160a、160b、160c，但可以理解RAN 104可
以包括任意数量的e节点B而保持与实施方式一致。e节点B 160a、160b、
160c每一者均可包括用于通过空中接口116与WTRU 102a、102b、102c通
信的一个或多个收发信机。在一个实施方式中，e节点B 160a、160b、160c
可以实施MIMO技术。从而，例如e节点B 160a可以使用多个天线来向
WTRU 102a发射无线信号并从WTRU 102a接收无线信号。
e节点B 160a、160b、160c中的每一个可以与特定小区(未示出)相关
联，并可被配置为处理无线电资源管理决定、切换决定、在上行链路和/或下
行链路中对用户进行调度等。如图1D所示，e节点B 160a、160b、160c可
以通过X2接口互相通信。
图1D中示出的核心网络107可以包括移动性管理网关(MME)162、
服务网关164、和分组数据网(PDN)网关166。虽然上述元件中的每一个
都被描述为核心网络107的一部分，这些元件中的任何一个可被除核心网络
运营商之外的实体所拥有和/或操作。
MME 162可经由S1接口连接到RAN 104中的e节点B 160a、160b、
160c中的每一个，并可充当控制节点。例如，MME 162可负责认证WTRU
102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c
的初始附着期间选择特定服务网关，等等。MME 162还可提供控制平面功
能，以用于在RAN 104和使用其它无线电技术(比如GSM或WCDMA)的
其它RAN(未示出)之间进行切换。
服务网关164可经由S1接口连接到RAN 104中的e节点B 160a、160b、
160c中的每一个。服务网关164可以一般地向/从WTRU 102a、102b、102c
路由并转发用户数据分组。服务网关164还可执行其它功能，比如在e节点
B间切换期间锚定用户平面、当下行链路数据对WTRU 102a、102b、102c
是可用的时触发寻呼、管理并存储WTRU 102a、102b、102c的上下文，等
等。
服务网关164还可连接到PDN 166，其可向WTRU 102a、102b、102c
提供到分组交换网络(比如因特网110)的接入，以促进WTRU 102a、102b、
102c和IP使能装置之间的通信。
核心网络107可以促进与其它网络的通信。例如，核心网络107可以向
WTRU 102a、102b、102c提供到电路交换网络(比如PSTN 108)的接入，
以促进WTRU 102a、102b、102c和传统陆线通信装置之间的通信。例如，
核心网络107可以包括充当核心网络107与PSTN 108之间的接口的IP网关
(例如IP多媒体子系统(IMS)服务器)或者可以与该IP网关通信。此外，
核心网络107可以向WTRU 102a、102b、102c提供到网络112的接入，网
络112可包括由其他服务提供商拥有和/或操作的其它有线或无线网络。
图1E是根据一种实施方式的RAN 105和核心网络109的系统图。RAN
105可以是利用IEEE 802.16无线电技术通过空中接口117与WTRU 102a、
102b、102c进行通信的接入服务网(ASN)。如将在下面详细描述的，WTRU
102a、102b、102c、RAN 105和核心网络109中的不同功能实体之间的通信
链路可被定义为参考点。
如图1E中所示，RAN 105可包括基站180a、180b、180c和ASN网关
182，但可以理解在保持与实施方式一致性的同时RAN 105可以包括任意数
量的基站和ASN网关。基站180a、180b、180c每一个可以与RAN 105中的
特定小区(未示出)相关联并且均可包括用于通过空中接口117与WTRU
102a、102b、102c通信的一个或多个收发信机。在一种实施方式中，基站
180a、180b、180c可以实施MIMO技术。从而，举例来讲，基站180a可以
使用多个天线来向WTRU 102a发射无线信号并从WTRU 102a接收无线信
号。基站180a、180b、180c还可提供移动性管理功能，比如切换触发、隧
道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行等。ASN
网关182可以充当业务聚集点并可负责寻呼、缓存订户简档、路由到核心网
络109等。
WTRU 102a、102b、102c与RAN 105之间的空中接口117可被定义为
实施IEEE 802.16规范的R1参考点。此外，WTRU 102a、102b、102c中的
每一个可与核心网络109建立逻辑接口(未示出)。WTRU 102a、102b、102c
和核心网络109之间的逻辑接口可被定义为R2参考点，其可用于认证、授
权、IP主机配置管理和/或移动性管理。
基站180a、180b、180c中的每一个之间的通信链路可被定义为包括用
于促进WTRU切换和基站之间的数据转移的协议的R8参考点。基站180a、
180b、180c和ASN网关182之间的通信链路可被定义为R6参考点。R6参
考点可包括用于促进基于与WTRU 102a、102b、102c中的每一个相关联的
移动性事件的移动性管理的协议。
如图1E所示，RAN 105可连接到核心网络109。RAN 105和核心网络
109之间的通信链路可被定义为例如包括用于促进数据转移和移动性管理能
力的协议的R3参考点。核心网络109可包括移动性IP本地代理(MIP-HA)
184、认证授权记账(AAA)服务器186、和网关188。虽然上述元件中的每
一个都被描述为核心网络109的一部分，但可以理解这些元件中的任何一个
可被除核心网络运营商之外的实体所拥有和/或操作。
所述MIP-HA可以负责IP地址管理，并且可使得WTRU 102a、102b、
102c在不同的ASN和/或不同的核心网络之间路由。所述MIP-HA 184可向
WTRU 102a、102b、102c提供到分组交换网络(例如因特网110)的接入，
以便于WTRU 102a、102b、102c与IP使能设备之间的通信。AAA服务器
186可以用于负责用户认证和用于支持用户服务。网关188可促进与其他网
络的交互。例如，网关188可向WTRU 102a、102b、102c提供到电路交换
网络(例如PSTN 108)的接入，以便于WTRU 102a、102b、102c与传统陆
线通信设备之间的通信。此外，网关188向WTRU 102a、102b、102c提供
到网络112的接入，该网络112可包括由其他服务提供商所拥有和/或操作的
其他有线或无线网络。
虽然未在图1E中示出，但应当理解的是，RAN 105可与其他ASN连接，
并且核心网络109可与其他核心网络连接。RAN 105与其他ASN之间的通
信链路可被定义为R4参考点，其可包括用于协调WTRU 102a、102b、102c
在RAN 105与其他ASN之间的移动性的协议。核心网络109与其他核心网
络之间的通信链路可被定义为R5参考点，其可包括用于促进家用核心网络
与受访核心网络之间的交互的协议。
人机界面(HMI)可从一个或多个传感器接收数据(例如传感器数据)。
所述HMI可基于接收到的传感器数据确定用户的认知状态和/或用户的情感
状态。所述HMI可适应用户的认知状态和/或情感状态。所述HMI可向用户
递送内容。所述内容可经由WTRU 102(例如智能手机或平板电脑等)递送
给用户，如图1A至图1E所示。WTRU 102可包括处理器118和显示屏128，
如图1B所示。此处所公开的系统400、500、600、700、800、900、1000、
1100、1200和1300可使用如图1C至图1E所示的系统架构实施。所述内容
可包括视频数据、视频游戏数据、教学数据和/或培训数据。
可对与认知负荷和/或情感状态相关的一个或多个(例如多个)信号进
行捕获。所述一个或多个信号可包括接收自一个或多个传感器的传感器数
据。例如，瞳孔放大可与认知尝试(effort)关联。心理刺激引发的瞳孔扩张
改变大约为0.5mm。瞳孔放大是由于副交感神经系统的神经抑制机制产生的
结果。图2是说明了对象在对不同难度等级的记忆进行编码时对对象的瞳孔
直径进行测量的研究结果示例的图示。参见图2，对记忆进行编码可与瞳孔
直径的增加相关。编码存档的难度等级可与瞳孔直径的增加幅度相关。
对具有不同入侵(invasiveness)等级的认知负荷和/或情感状态的测量
存在多种途径。认知负荷和/或情感状态的测量途径可包括：皮肤电反应
(GSR)或皮肤电活动、语音分析、面部表情分析、肢体语言分析、眼球运
动和注视点追踪、眨眼率分析、心率分析、血压分析、呼吸速率分析、体温
分析、和/或脑电描记。认知负荷和/或情感状态估计(例如确定)可使用一
个或多个认知负荷和/或情感状态的测量途径被执行(例如取决于数据获取的
设置和可行性)。
情感计算可包括能够识别、解译、处理和/或模拟人类情感的系统和/或
设备的学习和研发。情感计算是一门跨越了至少计算机科学、心理学和/或认
知科学的跨学科领域。机器可以解译人类的情绪状态。所述机器可适应人类
的情绪状态行为。所述机器可对人类的情绪状态提供适当的响应。
情感状态可被分类为一个或多个预定义情感状态。所述情感状态可在空
间上进行分类，如图3中的示例所示。所述一个或多个预定义情感状态可基
于对人类情感的估计来作出决定。图3是说明了示例二维空间300的图示，
该示例二维空间300可用于通过相对效价绘制觉醒来对情感状态进行分类。
所述二维空间可包括一个或多个预定义情感状态。所述二维空间可包括与效
价轴垂直的觉醒轴。预定义情感状态可通过觉醒测量和效价测量来进行定
义。所述觉醒测量可包括相距觉醒轴的第一距离。所述效价测量可包括相距
效价轴的第二距离。所述一个或多个预定义情感状态可包括愤怒、紧张、恐
惧、平静、快乐、悲伤、和/或放松。举例来说，愤怒预定义情感状态可包括
负效价测量和激动觉醒测量。根据另一实例，紧张预定义情感状态可包括中
度(moderate)负效价测量和中度激动觉醒测量。根据另一实例，恐惧预定
义情感状态可包括负效价测量和和中度激动觉醒测量。根据另一实例，平静
预定义情感状态可包括轻微激动或镇定效价测量和轻微正或负觉醒测量。根
据另一实例，快乐预定义情感状态可包括正效价测量和激动觉醒测量。根据
另一实例，悲伤预定义情感状态可包括负效价测量和镇定觉醒测量。根据另
一实例，放松预定义情感状态可包括正效价测量和镇定觉醒测量。觉醒可以
是正被唤醒和/或刺激反应的生理和/或精神状态。效价是对事件、对象、或
形势的兴趣(例如正效价)或厌恶(例如负效价)的测量。
可以对觉醒和/或效价进行追踪。例如，可经由语言分析、面部表情分
析、肢体语言分析、脑电描记、皮肤电反应(GSR)或皮肤电活动(例如对
交感神经系统活动的测量(例如战或逃反应))、震颤或运动分析、瞳孔测量、
眼球运动和注视点分析、眨眼率分析、心率分析、血压分析、呼吸速率分析、
和/或体温分析来对觉醒和/或效价进行追踪。一个或多个预定义情感状态可
被确定并在绘制觉醒和效价的二维空间上进行绘制。一个预定义情感状态可
与一个或多个预定义情感状态同时发生。可对用户的觉醒测量和效价测量进
行多次确定。在所述多次确定中，觉醒测量和效价测量可在二维觉醒效价空
间上进行测量和/或绘制。
游戏设计者(例如视频游戏设计者)试图在游戏难易程度上实现平衡，
如果太难会让用户产生挫败感，如果太容易又会让用户感到无趣。可以使用
集合了摄像机、加速计、运动追踪器、注视点追踪器等的游戏平台来捕获传
感器数据。可对所述传感器数据进行分析以确定用户的情感和/或认知状态。
对所述传感器数据进行分析包括对用户的被捕获的一个或多个视频图像连
同其他传感器输入数据(例如GSR、震颤、肢体语言、和/或面部表情)进
行分析。可基于所确定的情感和/或认知状态对游戏内容进行调整(例如增加
或最大化用户的参与度和/或减少或最小化耗损(attrition))。
举例来说，当用户的效价和觉醒测量指示出游戏操作中有过度愤怒，则
可通过降低难度等级来自适应游戏内容。如果瞳孔计量(pupillometric)估
计指示出用户处于饱和(saturate)状态和/或无法编码记忆，则可基于瞳孔
计量估计来调整游戏内容。系统可以开环方式来实现这种权衡。例如，在用
户以多于阈值次数尝试实现目标之后，所述系统会向用户提供提示或另一形
式的帮助。闭环方式能够对用户对游戏内容的响应作出更好的调整。某些系
统可允许用户选择游戏的难度等级。自适应难度模式可根据用户测量的情感
和/或认知状态来确定难度等级。由于可指示帮助的情感和/或认知状态能够
提升用户的游戏体验，因此所述系统可以提供这样的帮助和/或提示。自适应
难度可基于用户的选择来启用或禁用。
图4是说明了示例情感和/或认知自适应游戏系统400中的示例信息流
的框图。一个或多个传感器402可获取与用户404关联的数据(例如传感器
数据)。所述一个或多个传感器402可提供所述数据以用于认知/情感状态估
计(在406)。在406，所述认知/情感状态估计可使用所述数据来确定(例如
估计)用户的认知和/或情感状态。用户的认知状态可包括用户的认知负荷。
所确定的用户认知和/或情感状态信息可被提供以用于游戏难度自适应(在
408)。在408，所述游戏难度自适应可基于所确定的用户的认知和/或情感状
态来调整游戏的难度等级和/或确定提供给用户的提示和/或其他帮助。在
408，由所述游戏难度自适应实施的调整可由游戏引擎410来执行。所述游
戏引擎410可向用户404呈现游戏体验。
可对递送(例如插入)内容(例如一个或多个广告)的定时进行确定。
递送定时可增加(例如最大化)所述一个或多个广告的影响。用户的情感和
/或认知状态可用于影响广告植入(例如递送定时)。在用户会话期间，如果
在错误的时刻(例如当用户由于其他活动处于饱和状态)插入广告，营销消
息可能会丢失，或者广告可能被忽略。通过追踪用户的情感和/或认知状态，
系统可在某个时刻插入广告，而该时刻可增加或最大化消息递送的效力和/
或减小或最小化广告被忽略的频率(例如点击“跳过广告”)。对递送定时的
调整可能不会对广告插入的整体速率造成影响。对递送定时的调整可优化插
入定时。例如，时间窗可包括其间有广告插入的时间段。所述时间窗内的广
告递送定时可基于用户的认知和/或情感状态来确定。可基于在时间窗内的特
定时刻对用户的可接受认知状态和/或可接受情感状态的检测在所述时间窗
内的所述特定时刻插入广告。在用户的情感和/或认知状态未在时间窗的初期
触发广告插入的情况下，可在所述时间窗的末期或快到末期的时刻触发所述
广告。内容浏览时间线可被一个或多个这样的时间窗覆盖或被划分成一个或
多个这样的时间窗，由此一个或多个广告在用户浏览所述内容时被插入。举
例来说，一个一小时长的视频节目(或者一小时的视频浏览，哪怕不是单个
视频节目)可以被划分成五个十二分钟的时间窗，并且可以使用用户的认知
和/或情感状态来调整递送(例如插入)广告到这五个时间窗中的每一时间窗
的定时。采用这种方式，广告商可以将广告的递送时间设置为与用户的可接
受认知和/或情感状态一致，同时维持预先确定的广告插入的整体速率(例如
每小时五个广告)。所述时间窗可与标准化峰值检测器结合。所述标准化峰
值检测器可基于用户的情感和/或认知状态的活动平均来确定情感和/或认知
状态标准。对广告植入的阈值情感和/或认知状态可适应于具有较低平均响应
的用户。
图5是说明了示例情感和/或认知自适应广告插入定时系统500中的示
例信息流的框图。一个或多个传感器502可获取与用户504关联的数据(例
如传感器数据)。所述一个或多个传感器502可为认知/情感状态估计506提
供所述数据。所述认知/情感状态估计子系统506可使用所述数据来确定(例
如估计)用户504的认知和/或情感状态。举例来说，可基于所述数据来确定
用户的觉醒和效价。用户504的觉醒和效价可被绘制在二维觉醒和效价空间
上。用户504的情感状态可基于所绘制的用户504的觉醒和效价来确定。所
述用户可基于觉醒和效价的绘制来与一个或多个预定义的情感状态关联。用
户504的认知状态可基于所述数据来确定。用户504的认知状态可包括用户
504的认知负荷。
用户504的被确定的认知和/或情感状态可被提供以用于广告递送定时
508。所述认知/情感状态估计506可经由网络510来提供。在508，所述广
告递送定时可基于用户504的所确定的认知和/或情感状态来确定递送(例如
插入进度(schedule))一个或多个广告的定时。广告插入可在用户处于可接
受状态时触发。例如，当用户处于可接受状态时，可将广告递送给用户。用
户的情感状态可指示用户何时处于可接受状态。例如，可确定用户的情感状
态距预定义情感状态的距离测量。所述预定义情感状态可包括预定义觉醒测
量和预定义效价测量。当用户的情感状态距预先确定的情感状态的距离测量
低于预先确定的阈值时，用户处于可接受状态。当用户呈现适当高的觉醒和
适当高的效价时，用户处于可接受状态。当用户的认知负荷低于预先确定的
阈值时，可将广告递送给用户。当用户能够对新的记忆进行编码时，用户的
认知负荷低于预先确定的阈值。
在508，递送一个或多个广告的所确定的定时可被提供给内容发布商
512。内容发布商512可基于所确定的定时来向用户504递送所述一个或多
个广告和/或其他内容。可使用如图1C至图1E示出的系统架构来实现情感
和/或认知自适应广告插入定时系统500。例如，广告和/或内容可经由WTRU
102(例如智能手机或平板电脑等)递送给用户，如图1C至图1E所示。通
过对用户的认知负荷进行监控并在用户能够编码新的记忆时触发(例如递
送)广告，对广告的营销消息的保留可得以增加或最大化。当用户的认知负
荷低于预先确定的阈值而递送广告时，可增加由于广告营销消息而导致用户
行为改变的可能性。
可使用用户的情感和/或认知状态来帮助驾驶员和/或飞行员。用户的认
知状态的比重较用户的情感状态更大(例如认知处理可以比情感状态更重
要)。如此处所述，信息娱乐系统的自适应可促进情感状态估计。例如，可
基于驾驶员的情感状态来向驾驶员推荐音乐。
在较低优先级界面警告的情况下，驾驶员或飞行员可能会注意力分散或
处于饱和状态，并且可能忽略掉高优先级的消息(例如碰撞警告)。可通过
瞳孔测量(例如使用后视镜或安装在仪表盘上的摄像头)、GSR(例如使用
集成在方向盘或飞机支架上的GSR传感器)、声音分析(例如由车辆通信系
统捕获)、和/或来自车辆导航系统(例如基于GPS等)的信息来监控用户的
认知负荷。这些输入可被合成到用于提供一个或多个触发(例如针对用户界
面警告的动态触发)的认知负荷评估中。例如，如果燃油水平降到阈值之下，
可以按时递送警告以防止注意力分散和/或允许驾驶员的注意力保持在较高
优先级任务上(例如避免碰撞)。可基于驾驶员或飞行员的认知和/或情感状
态来以按照优先级顺序的方式按时递送警告。所述按照优先级顺序的方式可
使得一个或多个危险警告立即得到处理(例如不发生延迟)。根据按照优先
级顺序的方式，较低优先级的警告可在驾驶员或飞行员的认知带宽(例如认
知负荷)使得驾驶员或飞行员将注意力集中在该较低优先级警告时进行递
送。车辆导航系统可用于追踪路线的关键点和/或触发对即将进行的演习
(maneuver)发出警告。
认知负荷可提供输入到一个或多个用户界面消息的定时。例如，如果驾
驶员或飞行员正在接近涉及演习的位置(例如根据预先计划的导航路线或飞
行路线)，该位置例如为高速出口或航向改变，HMI可在监控认知负荷时递
送一个或多个不重要的消息并基于用户的认知负荷提供一个或多个指示。例
如，如果瞳孔计量和/或皮肤电反应(GSR)测量指示了驾驶员或飞行员并未
处于心理活动饱和状态，在关键演习之前，界面可指示存在较低优先级干扰
(例如维护提醒等)。再例如，如果瞳孔计量和/或GSR测量指示了驾驶员或
飞行员处于心理活动饱和状态，则所述界面可忽略或延迟指示存在较低优先
级干扰。
图6是说明了示例情感和/或认知状态告警系统600中的示例信息流的
框图。一个或多个传感器602(例如驾驶员或飞行员面对的摄像头、方向盘
或支架安装的(yoke-mounted)GSR传感器等)可获取与驾驶员或飞行员604
关联的数据。所述一个或多个传感器602可向认知/情感状态估计606提供所
述数据。在606，所述认知/情感状态估计可使用所述数据来确定(例如估计)
驾驶员或飞行员604的认知和/或情感状态。驾驶员或飞行员604的认知状态
可包括驾驶员或飞行员604的认知负荷。所确定的认知和/或情感状态可被提
供用于警告进度在608和/或音乐或多媒体选择在610。在608，所述警告进
度可确定递送一个或多个警告的定时以呈现在警告显示界面612上。递送所
述一个或多个警告的定时可基于驾驶员或飞行员604的所确定的认知和/或
情感状态、来自车载导航系统614的信息、来自车辆状态监控616的信息、
和/或来自车辆通信系统618的信息。在610，音乐或多媒体选择可基于驾驶
员或飞行员604的所确定的情感状态来选择驾驶员或飞行员604的音乐和/
或多媒体内容。所选择的音乐和/或多媒体内容可经由车辆信息娱乐系统620
递送给驾驶员或飞行员604。
情感和/或认知状态可在教学设置(例如基于计算机的培训课程和/或课
堂环境(例如在线课堂))中得以使用。可使用一个或多个线索(cues)来确
定学员参与度和保留率。可使用所述一个或多个线索来控制信息流和/或所述
信息流中的间断的定时。可使用学员的认知和/或情感状态来确定呈现教材的
定时(例如进度)。学员的认知状态可包括学员的认知负荷。学员的认知和/
或情感状态可被用作对重复和/或增强的触发。举例来说，如果对某一主题的
第一次呈现导致了负面情感(例如高觉醒和负效价)，则该主题可被阐明和/
或可提供额外的实例。学员的认知和/或情感状态可由教员(例如在线教员)
使用或在基于计算机的培训中使用。例如，学员掌握教材的能力可基于学员
的认知和/或情感状态来计算。再例如，间断(例如适当的间断)的定时可基
于学员的认知和/或情感状态来计算。基于计算机的培训系统或在线培训系统
可对课程的一个或多个学员进行监控。所述基于计算机的培训系统或在线培
训系统可提供对一个或多个学员的认知和/或情感状态的一个或多个指示(例
如报告)。例如，可在课程期间经由HMI将所述一个或多个指示呈现给在线
课堂的教员。基于一个或多个学员的认知和/或情感状态，所述基于计算机的
培训系统或在线培训系统可确定教学速率(例如当前速率)的效力和/或可监
控可能有所发展的初期挫败感。在在线培训(例如课堂)系统中，可(例如
经由HMI)向教员提供建议，来改变教学进度、花费更多的时间来强化与低
(例如不足的)认知和/或情感状态相关联的教材、和/或花费更多的时间来
辅导被确认为具有低(例如不足的)认知和/或情感状态的一名或多名学员。
在基于计算机的培训(例如学习)系统中，可响应于对学员的低(例如不足
的)认知和/或情感状态的检测来自动调整教学进度(例如课程进度)和/或
加强学生的教材。
图7是说明了示例情感和/或认知自适应教学系统700中的示例信息流
的框图。对于基于计算机的培训，学员702可处于与计算机非常接近的位置。
学员702的认知和/或情感状态追踪可经由一个或多个传感器704来执行(例
如经由前置摄像头)。所述一个或多个传感器704可向认知/情感状态估计(在
706)提供与学员702关联的数据(例如传感器数据)。在706，所述认知/
情感状态估计可基于所述传感器数据对学员702的认知和/或情感状态进行
估计。所确定的用户的认知和/或情感状态可被提供以分析进度、重复、回顾
和/或间断的效力。在708，所述进度、重复、回顾以及间断分析可向教员或
基于计算机的培训子系统710指示是否增强或减缓信息流的进度和/或是否
回顾之前的主题。认知和/或情感状态追踪输入可用于培训中的时间间断(例
如向学员提供休息的时间并能够以更佳的状态和处于恢复水平的认知资源
回到培训课程中)。对于在线课堂设置，情感和/或认知自适应教学系统700
可在显示器(例如平视显示器(HUD，其在课程学习期间对于教员是可视的)
上提供对学员接受的指示。在课堂(例如在线课堂)的设置中，可使用一个
或多个传感器704来追踪一个或多个学员的认知负荷。所述一个或多个传感
器704可被安装在课堂的前端。所述一个或多个传感器704可对所述一个或
多个学生的面部进行追踪。所述一个或多个传感器704可包括一个或多个长
焦镜头。所述一个或多个传感器704可使用机电控制(electromechanical
steering)(例如，来为瞳孔计量测量提供足够的分辨率)。
情感和/或认知状态可用于产品建议(例如广告选择)。内容提供商可基
于反馈(例如显式反馈)向用户提供建议。所述反馈可包括对“同意”按键
的点击和/或用户先前作出的浏览选择。零售商可基于用户的浏览和/或购买
历史来建议(例如选择递送)一个或多个产品。用户的认知和/或情感状态可
以被追踪(例如，以对用户喜爱的产品和/或内容的广告选择提供帮助)。例
如，当呈现某种类型的视频、音频或产品之后用户显示出高等级的觉醒(例
如高觉醒测量)和正效价(例如开心)时，零售商可选择历史上已经得到类
似用户的正面情感响应的产品来递送。类似的用户可以包括具有与对感兴趣
的当前用户对内容的情感响应类似的响应的用户。具有类似响应的用户能够
被用作当前(例如目标)用户对新内容的预期响应的替代。
图8是说明了示例情感和/或认知自适应产品建议系统800中的示例信
息流的框图。一个或多个传感器802可生成与用户804关联的数据(例如传
感器数据)。所述一个或多个传感器802可为认知/情感状态估计提供所述数
据。所述认知/情感状态估计(在806)可基于所述数据来估计(例如确定)
用户的认知和/或情感状态。用户的认知和/或情感状态可针对产品/内容建议
来提供。用户的认知和/或情感状态可经由网络810针对产品/内容建议来提
供。在808，可基于用户的认知和/或情感状态对一个或多个产品或内容进行
确定或选择以递送给用户。所述产品/内容建议可基于历史上得到听众
(audience)、其他用户、类似的用户或当前用户的类似响应的一个或多个产
品或内容来确定一个或多个产品或内容。由所述产品/内容建议确定的一个或
多个产品或内容可被提供给内容发布商或零售商812。所述内容发布商或零
售商812可为被选择以递送给用户804的一个或多个产品或内容递送广告。
所述情感和/或认知自适应产品建议系统800可使用如图1C至图1E示出的
系统架构来实施。例如，广告和/或内容可经由WTRU 102(例如智能手机或
平板电脑等)来递送给用户，如图1C至图1E所示。
情感和/或认知自适应产品建议系统可在用户消费内容(例如广告)时
追踪用户的认知和/或情感状态。所述情感和/或认知自适应产品建议系统可
在用户消费内容时对用户的认知和/或情感状态进行分类。所述情感和/或认
知自适应产品建议系统可在用户消费内容时根据用户的认知和/或情感状态
对一个或多个刺激(stimulus)/响应对进行分类。刺激/响应对中的刺激可包
括呈现给用户的信息(例如内容)。刺激/响应对中的响应可包括作为对呈现
给用户的信息的响应的用户的认知状态和/或情感状态。所述用户可基于所述
一个或多个刺激/响应对与消费者分类关联。所述一个或多个刺激/响应对可
指示用户对内容或产品的感受。所述一个或多个刺激/响应对可存储在数据库
内。用户可基于所述一个或多个刺激/响应对与消费者分类关联。可基于与用
户关联的消费者分类选择递送给用户的广告。所述情感和/或认知自适应产品
建议系统可观测用户对不同内容或产品的响应，并且随着时间的推移开发刺
激响应模型。所述刺激响应模型可基于历史的用户对一个或多个先前广告的
响应。所述刺激响应模型可用于对用户的一个或多个偏好进行分类。所述刺
激响应模型可用于选择递送给用户的广告。所述刺激响应模型可基于用户对
一个或多个产品的一个或多个广告作出的一个或多个之前的响应来选择递
送给用户的广告。例如，可基于用户对第二产品的第二广告的之前的响应来
选择递送给用户的第一产品的第一广告。
图9是说明了示例消费者分类子系统900的框图，该示例消费者分类子
系统900可由产品建议系统(例如情感和/或认知自适应产品建议系统800)
来使用或与所述产品建议系统结合。当向用户904呈现内容和/或产品信息
910时，一个或多个传感器902可生成与用户904关联的数据(例如传感器
数据)。所述一个或多个传感器902可提供数据至认知/情感状态估计子系统
906。所述认知/情感状态估计子系统906可使用所述数据来确定(例如估计)
用户904的认知和/或情感状态。所述认知/情感状态估计子系统906可向刺
激/响应数据库908提供用户904的所确定的认知和/或情感状态。所述认知/
情感状态估计子系统906可将用户904的所确定的认知和/或情感状态与内容
和/或产品信息910结合。在912，所述消费者分类子系统900可对刺激/响
应条目进行处理以将用户904与消费者分类关联。所述消费者分类可以是预
定义的消费者分类。所述消费者分类子系统900可将分类信息、一个或多个
预定义的消费者分类、和/或一个或多个刺激/响应对存储到消费者分类数据
库914中。所述消费者分类数据库914可以是刺激响应数据库。
举例来说，用户可被放置在(例如关联于)有关于喜爱某个内容或产品
且不喜爱其他内容或产品的分类。被广泛使用的内容(例如特定内容)和/
或一个或多个产品(例如受欢迎的内容和/或受欢迎的产品)可被用作用户吸
引度的标记。被广泛使用的内容和/或一个或多个产品可用于将一个或多个广
告与一个或多个消费者分类关联。一个或多个广告选择(例如产品建议)可
基于相同或类似消费者分类中的一个或多个其他用户的刺激/响应对来确定
(例如通过推断一个或多个正面响应)。
图10是说明了示例产品/内容建议子系统1000的框图。所述示例产品/
内容建议子系统1000可由产品建议系统(例如情感和/或认知自适应产品建
议系统800)使用或与所述产品建议系统结合。在1002，所述产品/内容建议
子系统1000可对消费者的消费者分类进行确定。所述产品/内容建议子系统
1000可通过消费者分类数据库1004对消费者的消费者分类进行确定。在
1006，所述产品/内容建议子系统1000可从刺激/响应数据库1008中选择内
容和/或产品的一个或多个广告。所选择的内容和/或一个或多个广告可基于
历史上得到类似的消费者(例如与所述消费者处于相同消费者分类中的消费
者)的正面响应来选择。在1010，所述产品/内容建议子系统1000可将所选
择的产品和/或内容的广告(例如建议)递送(例如提供)给消费者。所述产
品/内容建议子系统1000可使用如图1C至图1E示出的系统架构来实施。例
如，广告和/或产品可经由WTRU 102(例如智能手机或平板电脑等)递送给
消费者，如图1C至图1E所示。
情感和/或认知自适应产品建议系统(例如情感和/或认知自适应产品建
议系统800)可指示注意第一内容或广告和/或购买第一产品的用户可能对第
二内容和/或第二产品感兴趣。注意和/或购买第一内容和/或第一产品的人可
能不喜爱或满意第一内容和/或第一产品。注意和/或购买第一内容和/或第一
产品的用户可能不满意第二内容和/或第二产品。
通过对用户的情感和/或认知状态进行监控，不需要明确的用户反馈的
情感和/或认知自适应产品建议系统(例如情感和/或认知自适应产品建议系
统800)能够向用户指示(例如报告)具有类似体验或兴趣的喜爱或满意第
一内容和/或第一产品的一个或多个用户同样喜爱或同样满意第二内容和/或
第二产品。情感和/或认知自适应产品建议系统可不要求明确的用户反馈(例
如避免对明确的用户反馈的需求)。所述情感和/或认知自适应产品建议系统
可提供更快速(例如更及时)和/或更直接的消费者满意度测量。例如，用户
可能无法意识到用户的喜好等级。再例如，用户可能会受到一个或多个临时
性(transient)事件的影响，所述临时性事件可能不会影响用户体验的用户
评估。
情感和/或认知状态可用于人机-机人互动，例如视频聊天。对一个或多
个参与者的情感和/或认知的分析可在两个或更多个参与者之间的实时视频
聊天(例如视频电话)中执行。一个或多个参与者的情感和/或认知分析可向
一个或多个参与者提供信息以增强信息流和/或信息内容。情感和/或认知分
析可基于传感器数据确定一个或多个参与者的认知状态和/或一个或多个参
与者的情感状态。情感和/或认知状态分析可在人际关系上提供帮助。例如，
会话中的一个参与者可能会冒犯(例如在不知情的情况下得罪)另一参与者。
当执行情感状态分析时，可以增强两个或更多个参与者之间的互动(例如可
以解决问题而不是使问题悬而未决)。处于实时视频聊天一端的用户界面可
合并认知和/或情感状态分析。可在客户处(例如每一客户)或在处理会话视
频(例如一个或多个会话视频流)的中央服务器处针对认知和/或情感状态分
析处理用户视频流。
图11是说明了示例情感和/或认知自适应视频聊天系统1100的框图。所
述情感和/或认知自适应视频聊天系统1100可包括一个或多个显示屏1102、
1104、以及一个或多个摄像头1106、1108。一个或多个视频客户端1110、1112
可经由网络1114(例如因特网)相互通信。所述一个或多个摄像头1106、
1108和/或其他传感器(未在图11中示出)可向一个或多个认知/情感状态估
计子系统1116、1118提供数据。所述一个或多个认知/情感状态估计子系统
1116、1118可确定(例如估计)远程参与者的认知和/或情感状态。例如，
认知/情感状态估计子系统1116可使用来自摄像头1106的数据来确定靠近摄
像头1106的参与者的认知和/或情感状态。认知/情感状态估计子系统1118
可使用来自摄像头1108的数据来确定(例如估计)靠近摄像头1108的参与
者的认知和/或情感状态。所述认知/情感状态估计子系统1116、1118可将所
确定的认知和/或情感状态信息提供给各自的视频注释(annotation)生成子
系统1120、1122。各自的视频注释生成子系统1120、1122可生成将分别使
用显示屏1102、1104显示的一个或多个注释(例如一个或多个视频注释)。
所述情感和/或认知自适应视频聊天系统1100可使用如图1C至图1E所示的
系统架构来实施。例如，所述一个或多个显示屏1102、1104可包括WTRU 102
(例如智能手机或平板电脑等)，如图1C至图1E所示。
视频注释的示例可包括对于第一方的指示，指示呼叫中的第二方(例如
另一方)可能有所困惑和/或可能希望澄清或重申(reiteration)。例如，所述
第二方可能要求在继续讨论(例如在处理信息时)之前有额外的时间。所述
第二方可以被冒犯并且可能要求道歉或其他形式的调解。所述第二方可能会
超负荷并且可能要求在会话中中止或间断。所述第二方可能被分离(例如不
被关注)。认知/情感估计子系统可基于例如面部表情和/或认知和/或情感分
析来确定(例如估计)另一方可能是具有欺骗性的。当一方被确定为具有欺
骗性，所述认知/情感估计子系统可指示该方为具有欺骗性的并且该方被提出
警惕(例如提防该方提供的响应、警惕任何欺骗性招数等)。
可以执行解译。所述解译可通过增强一个或多个认知和/或情感状态参
考对和/或一个或多个解译来执行，来向一个或多个用户提供认知和/或情感
状态的解译。图12是说明了示例子系统1300的框图，该示例子系统1300
可将培训数据填充到状态/解译数据库1202中。所述培训数据可将一个或多
个认知和/或情感状态与一个或多个解译相联系(例如被冒犯、厌倦、欺骗、
困惑等等)。认知/情感状态估计子系统1204可从一个或多个传感器1206接
收数据。所述一个或多个传感器1206可捕获与用户1208关联的一个或多个
图像和/或生物计量(biometric)数据。来自用户1208的一个或多个图像和/
或生物计量数据可包括例如语言分析、面部表情分析、肢体语言分析、眼球
运动/注视点分析、眨眼率分析等等。所述认知/情感状态估计子系统1204可
确定(例如估计)用户1208的认知和/或情感状态。所述认知/情感状态估计
子系统1204可基于所述一个或多个图像和/或生物计量数据来确定用户1208
的认知和/或情感状态。所述认知/情感状态估计子系统1204可将用户1208
的所确定的认知和/或情感状态填充到状态/解译数据库1202中。
图13是说明了示例视频注释生成子系统1300的框图。一个或多个传感
器1302可捕获与用户1304关联的一个或多个图像和/或生物计量数据。所述
一个或多个图像和/或生物计量数据可包括例如语言分析、面部表情分析、肢
体语言分析、眼球运动/注视点分析、眨眼率分析等等。所述一个或多个传感
器1302可将所述一个或多个图像和/或生物计量数据提供给认知/情感状态
估计子系统1306。所述认知/情感状态估计子系统1306可确定(例如估计)
用户1304的认知和/或情感状态。所述认知/情感状态估计子系统1306可基
于所述一个或多个图像和/或生物计量数据来确定用户1304的认知和/或情
感状态。可经由状态/解译数据库1308来生成一个或多个认知和/或情感解
译。在1310，视频注释生成子系统1300可提供指示了所述一个或多个认知
和/或情感解译的一个或多个视频注释。
此处描述的方法和手段可适用于任意组合，并且可适用于其他无线技术
及其他服务。
WTRU可涉及(refer to)物理设备的标识或用户标识(例如订阅相关标
识，例如MSISDN、SIP URI等)。WTRU可涉及基于应用的标识，例如针
对每一应用使用的用户名。
此处所述的过程可在结合至计算机可读存储介质中的计算机程序、软件
和/或固件中实现，以由计算机或处理器执行。计算机可读介质的示例包括但
不限于电子信号(通过有线或无线连接传送)和计算机可读存储媒介。计算
机可读存储媒介的例子包括但不限于只读存储器(ROM)、随机存取存储器
(RAM)、寄存器、缓存存储器、半导体存储设备、例如内置磁盘和可移动
磁盘的磁媒介、磁光媒介、和/或光媒介(例如CD-ROM盘和/或数字多用途
盘(DVD)，但不限于此。与软件相关联的处理器可被用于实施在WTRU、
UE、终端、基站、RNC或任何主机中使用的射频收发信机。