广播接收装置 【技术领域】
本发明涉及广播接收装置。背景技术 在现有的广播接收装置中， 操作者拥有操作的决定权， 缺少对其他视听者的关照。 对此， 在专利文献 1 中， 在多个使用者使有自己专用的遥控器， 根据规定的优先顺序决定能 够操作的遥控器的情况下， 在遥控器的操作次数或者操作时间中设置限制， 使优先顺序变 动， 在这方面下了很大功夫。
专利文献
[ 专利文献 1] 特开 2003-111161 号公报
发明内容 在专利文献 1 中， 具有在对于自己专用的遥控器， 在遥控器的操作次数或者操作 时间中设置限制， 使优先顺序变动的方面下了很大功夫这样的特征。
然而， 在多名视听者视听的情况下， 能够设想到这样的课题， 即， 当某个视听者集 中视听节目时， 有时突然被其他的视听者变更频道， 或者进行了用录像预约等隐藏正在视 听的节目画面这样的操作， 破坏了情绪， 不能愉快地欣赏特定节目。
本发明是考虑了上述课题而完成的， 目的是提供实现能够比以往减少装置操作者 以外的视听者干扰视听的操作方法的广播收发装置。
为了实现该目的， 本发明的广播接收装置由拍摄包括正在视听广播接收装置中显 示的节目、 画面的视听者的状态、 姿势、 状况等影像的摄像单元 110、 从拍摄的影像检测视听 者面部的面部检测单元 120、 区别管理所检测的面部的个人区别单元 130、 在所区别的每个 面部计算电视机视听的注视度信息的注视度计算单元 140、 判定电视机的操作者， 以操作者 以外的视听者的关注度信息的值判定操作执行的操作执行判定单元 150 构成。
依据本发明， 直到操作者以外的视听者的关注度信息成为小于规定的值为止， 保 留操作。 从而， 与以往相比较， 改善成使得减少视听者被打扰， 能够集中地愉快地视听节目。
附图说明
图 1 是本发明实施例 1 的广播接收装置的结构图。 图 2 是个人区别单元的框图。 图 3 是注视度计算单元的框图。 图 4 是操作执行判定单元的框图。 图 5 是个人区别处理的流程。 图 6 是个人识别单元存储的面部检测结果。 图 7 是个人识别单元存储的面部模板。 图 8 是注视度计算的流程。图 9 是模板生成处理的流程。 图 10 是注视度计算单元存储的每个人的注视度信息。 图 11 表示电视机视听者。 图 12 表示电视机操作者判定方式的一个例子。 图 13 是操作执行判定的流程图。 图 14 是操作保留中的处理流程。 符号说明 1、 2、 3： 视听者 4： 遥控器 5、 6、 7： 被检测了的面部区域 8、 9、 10 ： 被检测了的面部区域与遥控器的距离 110 ： 摄像单元 120 ： 面部检测单元 130 ： 个人区别单元 131 ： 面部跟踪单元 132 ： 面部区别单元 133 ： 模板生成单元 134 ： 存储单元 140 ： 注视度计算单元 141 ： 面部朝向检测单元 142 ： 瞬间注视度计算单元 143 ： 区间注视度计算单元 144 ： 注视度存储单元 150 ： 操作执行判定单元 151 ： 遥控器位置检测单元 152 ： 操作者判定单元 153 ： 执行判定单元 154 ： 通知单元 160 ： 操作事件检测单元 170 ： 控制单元 601、 1000 ： 识别符 602 ： 面部状态 603 ： 面部检测结果位置 604 ： 面部检测结果大小 1001 ： 瞬间注视度 1002 ： 瞬间关注度串 1003 ： 区间注视度具体实施方式
以下， 使用附图说明本发明的实施形态。
[ 实施例 1]
图 1 是本发明实施例 1 的广播接收装置 ( 以下记为电视机 ) 的结构图。
110 是摄像单元， 120 是面部检测单元， 130 是个人区别单元， 140 是注视度计算单 元， 150 是操作执行判定单元， 160 是操作事件检测单元， 170 是控制单元。 另外， 以下为了简 便将注视度信息称为注视度。
摄像单元 110 是拍摄正在视听电视机的视听者的影像的单元。由摄像单元 110 拍 摄的影像输入到面部检测单元 120、 个人区别单元 130、 注视度计算单元 140 和操作执行判 定单元 150。面部检测单元 120 从由上述摄像单元 110 拍摄的影像和图像得到包括面部的 面部区域图像信息， 在得到了该面部区域图像信息以后检测面部区域， 生成检测面部的面 部检测信息， 将面部检测结果输入到个人区别单元 130。 关于面部区域的检测方式没有特别 限制。也可以采用与检测面部的面部检测区域信息相对应， 使用作为能够检测面部的信息 的面部模型模板信息进行检测的方法等已有的技术。作为面部检测结果， 在每个检测了的 面部输出面部区域的坐标、 大小。另外， 以下将模板信息称为模板。 个人区别单元 130 使用检测出的面部检测结果， 从由摄像单元 110 拍摄图像拍摄 的图像划分出面部区域的影像， 与个人模板进行比较区别个人， 分配识别符， 在面部检测单 元 120 生成的面部检测结果中添加区别个人的识别符信息。
以下， 将在面部检测结果中添加了区别个人的识别符信息的信息称为添加识别符 的面部检测结果 600( 图 6)。关于个人区别的方式以及在个人区别中使用的个人模板的生 成方式没有特别限制。 也可以采用检测眼睛或者口鼻等面部的器官比较特征点的方式等已 有的技术。注视度计算单元 140 使用个人区别单元 130 生成的添加识别符的面部检测结果 600( 图 6)， 从由摄像单元 110 拍摄的图像划分出面部区域的影像， 在每个人计算注视度。
另外， 面部检测、 个人识别、 注视度计算的处理既可以在摄像单元 110 拍摄影像的 时间单位 ( 每个帧 ) 进行， 也可以将规定的时间间隔作为处理时间单位进行。
操作执行判定单元 150 以从操作事件检测单元 160 输入的操作事件为契机， 从由 摄像单元 110 拍摄的影像信号和从个人区别单元 130 得到的添加识别符的面部检测结果， 判断是操作者还是其以外的视听者， 将根据其以外的视听者的注视度判定了操作执行的判 定结果输出到控制单元 170。
操作事件检测单元 160 检测由在这里没有记载的遥控器或者操作屏实施的操作 事件， 如果检测出了频道切换或者录像预约等妨碍视听的操作事件， 则通知给操作执行判 定单元 150。
控制单元 170 是进行在这里没有记载的电视机整体控制的单元。另外， 根据操作 执行判定单元 150 的判定结果， 控制由遥控器或者操作屏实施的操作执行。
以下， 顺序说明个人区别单元 130、 注视度计算单元 140、 操作执行判定单元 150 的 处理的详细过程。
个人区别单元 130 是使用由面部检测单元 120 检测出的面部检测结果信息， 在所 拍摄的各个视听者中添加识别符进行区别的单元。
以下， 使用图 2、 图 5、 图 6 进行说明。
图 2 是个人区别单元 130 的框图， 图 5 是个人区别处理的流程， 图 6 表示个人识别 单元存储的添加识别符的面部检测结果 600， 图 7 表示个人识别单元存储的个人模板。
如图 2 所示， 个人区别单元 130 由面部跟踪单元 131、 面部区别单元 132、 模板生成 单元 133、 存储单元 134 构成。
面部跟踪单元 131 是判断包含在由面部检测单元 120 检测出的面部检测结果中的 面部与在前一个帧 ( 处理时间单位 ) 的个人区别处理中存储到存储单元 134 中的添加识别 符的面部检测结果 600 的哪个识别符的面部相对应的单元。作为跟踪面部的方式， 也可以 采取使用了亮度信号的代表点匹配方式、 检测动态矢量并根据其矢量进行跟踪的方式等已 有的技术。
由面部跟踪单元 131 实施的面部跟踪结果判断以下的三种状态。
(1)「在座」 ： 有能够与添加识别符的面部检测结果 600 取得对应的面部的情况。
(2)「新加入」 ： 在添加识别符的面部检测结果 600 中不存在能够与由面部检测单 元 120 检测出的面部检测结果取得对应的面部的情况。
(3) 「离座」 ： 在添加识别符的面部检测结果 600 中存在不能与由面部检测单元 120 检测出的面部检测结果取得对应的面部的情况。 面部区别单元 132 对个人模板与由面部检测单元 120 检测出的面部区域的图像数 据进行比较， 判断是存储了个人模板的已知的视听者还是新的视听者。在已知视听者的情 况下， 更新该识别符的添加识别符的面部检测结果 600。 另外， 在新视听者的情况下， 分配临 时识别符， 追加到添加识别符的面部检测结果 600 中。
模板生成单元 133 是使用由面部检测单元 120 检测出的面部区域的图像数据生成 个人模板的单元。如图 7 所示， 存储成使识别符与个人模板能够建立对应关系。另外， 对于 一个识别符能够存储多个个人模板。
存储单元 134 存储添加识别符的面部检测结果 600 和个人模板。物理上即使与其 它的存储单元通用也没有问题。
以下， 使用图 5 的个人区别处理的流程说明个人区别处理。
s501 ： s501 是面部跟踪处理。根据面部跟踪结果， 使处理分支。
如果面部跟踪结果是 「在座」 ， 则判断为正在视听的视听者继续进行视听， 进入到 s502。
如果面部跟踪结果是 「新」 ， 则判断为出现了新的视听者， 进入到 s504。
如果面部跟踪结果是 「离座」 ， 则判断为视听者离开了电视机前面， 进入到 s509。
s502 ： 进入到视听者继续 「在座」 时的添加识别符的面部检测结果信息更新处理 s503。
s503 ： 更新在 s501 中判断为 「在座」 的识别符 (601) 的添加识别符的面部检测结 果 600 信息。
「状态」 信息 (602) ： 「在座」
「面部检测结果」 信息 (603) ： 用由面部检测单元 120 检测出的信息置换。
s504 ： 由于出现了新的视听者， 因此在 s505 以下的步骤中进行面部区别处理。
s505 ： 参照在存储单元 134 中注册的个人模板， 判断是存储了个人模板的已知的 视听者还是新的视听者。在与注册数据一致的情况下， 以一致的个人模板参照并取得识别
符， 进入到 s506。在不一致情况下， 进入到 s507。
s506 ： 更新在 s505 中判断为是已知视听者的识别符 (601) 的添加识别符的面部检 测结果 600 信息。
「状态」 信息 (602) ： 「新」
「面部检测结果」 信息 (603) ： 用由面部检测单元 120 检测出的信息置换
s507 ： 对新的视听者分配临时识别符
s508 ： 将分配了临时识别符的新视听者的信息追加到添加识别符的面部检测结果 600 信息中。
「状态」 信息 (602) ： 「新」
「面部检测结果」 信息 (603) ： 由面部检测单元 120 检测出的信息
s509 ： 进入到视听者 「离座」 时的添加识别符的面部检测结果信息更新处 s510。
s510 ： 更新在 s501 中判断为 「离座」 的识别符 (601) 的添加识别符的面部检测结 果 600 信息。
「状态」 信息 (602) ： 「离座」
「面部检测结果」 信息 (603) ： 清除 注视度计算单元 140 是使用个人区别单元 130 生成的添加识别符的面部检测结果 600， 从由摄像单元 110 拍摄的图像划分出面部区域的影像， 在每个人计算注视度的单元。
以下， 使用图 3、 图 8、 图 10 进行说明。
图 3 是注视度计算单元 140 的框图， 图 8 是注视度计算的流程， 图 10 表示每个人 的注视度信息。
如图 3 所示， 注视度计算单元 140 由面部朝向检测单元 141、 瞬间注视度计算单元 142、 区间注视度计算单元 143、 注视度存储单元 144 构成。
面部图像检测单元 141 计算由旋转的大小、 上下倾斜、 左右倾斜构成的面部方向， 根据面部方向信息， 进行面部是否朝向电视机方向的正面判定。旋转的大小、 上下倾斜、 左 右倾斜的计算方式也可以使用使三维面部模型与面部图像相配合进行判定的方式等已有 的技术。
正面判定例如在输入了面部的所有特征器官 ( 两只眼睛、 鼻子、 嘴 ) 的面部图像 中， 将满足旋转大小的绝对值为 95 度以下， 上下倾斜的绝对值为 5 度以下， 左右倾斜为 5 度 以下条件的面部判断为正面。 将旋转大小的范围取得很大是为了在托腮的状态或者横向视 听的状态下也进行检测。
另外， 也可以不一定是该方式， 只要是能够判定视听者的面部对于电视机是否朝 向正面的方式即可。
瞬间注视度计算单元 142 以规定的时间间隔计算每名视听者的瞬间注视度， 始终 将确定的时间长度部分 ( 以下， 记为区间 ) 的最新瞬间注视度存储到注视度存储单元 144 中。
区间注视度计算单元 143 根据瞬间注视度计算单元 142 计算出的每个区间部分的 瞬间注视度， 计算最新的区间注视度， 记录到注视度存储单元 144 中。
注视度存储单元 144 如图 10 所示， 记录区间部分的瞬间注视度 1001 和区间注视 度 1002。瞬间注视度和区间注视度都能够用在由个人区别单元 140 分配的识别符 1000 进
行参照。瞬间注视度 1001 记录到环形缓冲构造的存储器区域中， 始终存储区间部分的最新 的瞬间注视度 ( 瞬间关注度串 )。另外， 图中 t0、 t1……成为对于所有的视听者计算出了同 一个时刻的瞬间注视度的抽取点。
以下， 使用图 8 的注视度计算的流程说明注视度计算。
s801 ： 从个人区别单元 130 生成的添加识别符的面部检测结果 600， 用识别符参照 进行注视度计算的对象的状态。在状态不是 「离座」 的情况下， 转移到 s802 的面部朝向判 定处理。在状态是 「离座」 的状态下， 使瞬间注视度成为 -1(s806)。而且， 处理转移到 s809 的区间注视度计算。
s802 ： 从由摄像单元 110 拍摄的图像， 使用面部区域的影像进行面部朝向判定。 使 用使三维面部模型与面部图像相配合进行判定的方式等现有的技术， 判定面部对于电视机 是否朝向正面 (s802)。在面部朝向正面的情况下在 s804 中， 除此以外的情况下在 s805 中 决定瞬间注视度。
s804 ： 将面部对电视机朝向正面时判断为正在注视视听的状态， 使瞬间注视度成 为 1。而且， 处理转移到 s807。
s805 ： 将面部对电视机没有朝向正面时判断为没有正在注视视听的状态， 使瞬间 注视度成为 0。而且， 处理转移到 s809。
s807 ： 判定被判定为正面的面部的识别符是否是临时识别符。在是临时识别符的 情况下， 处理转移到 s808， 在不是临时识别符的情况下， 处理转移到 s809。
s808 ： 识别符是临时识别符的面部表示是没有存储个人模板的未注册的面部， 或 者是遮挡了一部分等， 面部图像的摄影状态差， 不能区别个人。从而， 当判定为面部朝向是 正面时， 向个人区别单元 130 请求个人模板的生成， 取得分配给其面部的面部识别符。而 且， 用被分配的识别符置换在注视度存储单元 144 中记录的临时识别符的值。通过这样做， 即使在从用临时识别符区别了个人的临时状态变化到能够区别为注册了个人模板的已知 个人的正式状态的情况下， 也能够不中断而继续保持区间部分的最新的瞬间注视度信息。 另外， 关于个人模板生成处理另行说明。
s809 ： 在 s809 中， 从记录在注视度存储单元 144 中的区间部分的瞬间注视度信息 计算区间注视度。计算方式采用区间时间中的注视状态， 即瞬间注视度为 1 的比例。但是， 不限于该方式， 也可以是瞬间注视度为 1 的状态连续出现 2 次的比例。区间注视度与计算 瞬间注视度的规定时间间隔同步进行更新， 在注视度存储单元 144 中， 在区间注视度信息 1002 中始终存储最新的区间注视度。
以下， 使用图 9 的个人模板生成处理的流程， 说明个人区别单元 140 中的个人模板 生成处理。
s901 ： 等待个人模板生成请求， 在有生成请求的情况下， 处理转移到 s902。
s902 ： 将请求了个人模板生成的面部图像与注册在存储单元 134 中的个人模板进 行参照， 判断是存储了个人模板的已知的视听者还是新的视听者。在与注册数据一致的情 况下， 进入到 s904， 在不一致的情况下， 进入到 s908。
s904 ： 参照存储单元 144， 取得在 s902 中一致的个人模板的识别符 (s904)， 进入到 s905。
s905 ： 将添加识别符面部检测结果 600 的状态信息更新为临时识别符的值， 表示状态从临时识别符变化到了正式识别符的状态。另外， 识别符信息也更新为正式识别符的 值。进入到 s906
s906 ： 从请求了个人模板生成的面部图像生成个人模板， 作为用于判定在 s904 和 s908 中分配的识别符的个人的模板 610， 存储到存储单元 134 中。在该识别符中注册的个 人模板数超过了可存储数的情况下， 清除最陈旧的信息。进入到 s907。
s907 ： 根据个人模板生成请求， 返回被分配给面部图像的识别符， 结束处理。
s908 ： 由于与注册数据不一致， 因此分配新的识别符。进入到 s905。
这样， 关于个人模板未注册的面部图像， 作为区别用模板， 在适当的正面朝向的面 部图像的情况下， 进行个人模板生成。由此， 能够生成精度高的个人模板。另外， 判断是否 未注册， 能够不麻烦使用者， 进行个人模板生成和注册。
操作执行判定单元 105 是以从操作事件检测单元 160 输入的操作事件为契机， 根 据视听者的注视度判定操作执行的单元。
以下， 使用图 4、 图 11、 图 12、 图 13、 图 14 进行说明。
图 4 是操作执行判定单元 150 的框图， 图 11 表示电视机视听者， 图 12 表示电视机 操作者判断方式的一个例子， 图 13 是操作执行判定的流程， 图 14 是操作保留中的处理流 程。 如图 4 所示， 操作执行判定单元 150 由遥控器位置检测单元 151、 操作执行判定单 元 152、 执行判定单元 153、 通知单元 154 构成。
遥控器位置检测单元 151 以从操作事件检测单元 160 输入的操作事件为契机， 从 由摄像单元 110 拍摄的影像检测遥控器的位置。遥控器的位置从图像中检测由遥控器发出 的红外线。
操作者判定单元 152 是使用由遥控器位置检测单元 151 检测出的遥控器位置信息 和个人区别单元 130 生成的添加识别符的面部检测结果 600， 判定操作者。 例如， 如图 11 所 示， 设存在视听者， 分别分配了 1、 2、 3 的识别符。操作者如图 12 所示， 从遥控器位置 4 和包 含在面部检测结果中的面部位置信息 5、 6、 7， 计算遥控器与面部的距离 8、 9、 19， 将距离最 短的判断为操作者的面部。图 12 的情况下， 判定为识别符 1 是操作者。
判定执行单元 153 是使用由注视度计算单元 140 计算出的区间注视度， 判断执行 被请求了的操作的单元。在由操作者判定单元 152 判定的操作者以外的区间注视度大于预 先确定的阈值的情况下， 判定为操作无效或者操作保留。
通知单元 154 是向操作者通知成为无效或者成为保留的单元。使用在电视机画面 的下端用文本显示， 或者在遥控器的显示单元上显示等方法。
以下， 说明使用图 13 的操作执行判定的流程， 说明操作执行判定处理。另外， 以下 是作为操作保留时的处理流程。作为操作无效时的处理流程可以将 「保留」 改为 「无效」 。
s1301 ： 等待遥控器操作事件， 在检测出了频道切换或者录像预约等妨碍视听的遥 控器操作事件的情况下， 处理转移到 s1302。
s1302 ： 从注视度计算单元 140 的注视度存储单元 144 取得区间注视度信息。进入 到 s1303。
s1303 ： 在所有的视听者的区间注视度小于阈值的情况下进入到 s1309。其它的情 况下进入到 s1304。
s1304 ： 使用由摄像单元 110 拍摄的影像， 由遥控器位置检测单元 151 检测遥控器 位置。进入到 s1305。
s1305 ： 由操作者判定单元 152 从在 s1304 中得到的遥控器位置和操作者的面部位 置判定操作者。
s1306 ： 使用在 s1302 中取得的区间注视度信息， 操作者以外的区间注视度即使一 个人比阈值大， 也进入到 s1307。其它的情况下进入到 s1309。
s1307 ： 使操作判定结果成为 「保留」 ， 向控制单元 170 请求遥控器操作 「保留」 。进 入到 s1309。
s1308 ： 在画面的下端用文字等显示操作成为 「保留」 ， 通知给操作者。
s1309 ： 操作判定结果是 「执行」 ， 遥控器操作保持为有效。
也可以预先由使用者将操作设定为 「无效」 或者 「保留」 ， 还可以进行在刚加入视 听的操作者 ( 例如， 在区间注视度的测定期间中加入了视听的视听者等 ) 操作的情况下， 成 为 「无效」 ， 在某种程度长的时间进行视听的视听者操作的情况下， 成为 「保留」 等控制。
以下， 使用图 14 的操作保留中的处理流程说明操作保留中的处理。
s1401 ： 在不是操作保留中的情况下结束处理。在是操作保留中的情况下进入到 s1402。 s1402 ： 与区间注视度信息的更新同步， 从注视度存储单元 144 取得区间注视度信 息。进入到 s1403。
s1403 ： 判定操作者以外的区间注视度是否大于阈值。 即使一个人比阈值大也进入 到 s1404。其它的情况下进入到 s1406。
s1404 ： 判定保留继续时间是否比阈值长。短的情况下继续保留。进入到 s1405。 长的情况下进入到 s1406。
s1405 ： 操作判定结果保持 「保留」 不变， 继续保留状态。
s1406 ： 操作判定结果成为 「保留解除」 ， 向控制单元 170 请求遥控器操作保留解 除， 结束处理。
如上所述， 操作保留中由于以区间注视度的更新单位重新评估保留状态， 因此能 够在操作者以外的视听者的注视度低的时刻执行成为保留的操作。
依据以上说明的本发明的实施例， 能够将操作保留到操作者以外的视听者的注视 度比规定的值小为止。 从而， 能够提供视听者不受打扰的能够集中、 愉快地视听节目的电视 机。