基于人脸检测的电视收视率统计装置及检测方法.pdf

本发明涉及一种基于人脸检测的电视收视率统计装置及检测方法，该装置包括双摄像头、红外灯、红外灯光滤光器、机顶盒和后台服务器，其中，所述的双摄像头与红外灯、红外灯光滤光器并联，双摄像头另与机顶盒连接，机顶盒通过有线或无线方式与后台服务器连接，机顶盒还与电视机连接。本发明的优点是利用生物特征识别和确认身份及观看状态；通过对每个时间段观看特定广告的人数、偏好程度以及观看者的年龄性别生活水平进行统计，并对检测到的人脸进行实时跟踪，避免重复计算，提高了电视收视率的精确度。

1、  一种基于人脸检测的电视收视率统计装置，该装置包括双摄像头、红外灯、红外灯光滤光器、机顶盒和后台服务器，其特征在于：
所述的双摄像头与红外灯、红外灯光滤光器并联，双摄像头另与机顶盒连接，机顶盒通过有线或无线方式与后台服务器连接，机顶盒还与电视机连接。

2、  按权利要求1所述的基于人脸检测的电视收视率统计装置，其特征在于：
所述的机顶盒包括人脸检测模块、人脸识别模块、人脸跟踪模块、人数统计模块、数据分析处理模块和无线传输模块，所述的人脸检测模块分别与人脸识别模块、人脸跟踪模块、人数统计模块连接，人脸识别模块、人脸跟踪模块、人数统计模块分别与数据分析处理模块连接，数据分析处理模块通过无线传输模块与后台服务器连接；人脸检测模块接收由双摄像头获取的人脸图像信息，检测出图像中的人脸信息传送至人脸识别模块；人脸识别模块对人脸信息进行识别，确定观看者的年龄、性别信息；同时人脸检测模块分别将人脸信息传送至人脸跟踪模块和人数统计模块，人脸跟踪模块对人脸信息进行实时跟踪，对人脸信息进行局部朝向和是否睡眠的分析；人数统计模块确定观看者的数量信息；人脸识别模块、人脸跟踪模块、人数统计模块分别将观看者的年龄、性别信息、跟踪信息、数量信息传送至数据分析处理模块进行分析处理，将处理后的信息通过无线传输模块传送至后台服务器，后台服务器统计出该时段观看者的统计数据。

3、  针对权利要求1或2所述的基于人脸检测的电视收视率统计装置的检测方法，该检测方法包括如下的步骤：
(1)开机，用户进行登录；
(2)启动双摄像头；若处于黑暗环境，则启动红外灯，红外灯光滤光器对红外光线进行滤光；
(3)双摄像头对人脸进行图像采集；
(4)获取的图像信息传送至机顶盒的人脸检测模块；
(5)人脸检测模块检测出图像中的人脸信息；
(6)人脸检测模块将人脸信息传送至人脸识别模块，见第(7)步；
同时，人脸检测模块将人脸信息传送至人脸跟踪模块，见第(8)步；
同时，人脸检测模块将人脸信息传送至人数统计模块，见第(9)步；
(7)人脸识别模块进行人脸识别，识别出观看者的年龄、性别信息，将此信息传送到数据分析处理模块；转第(10)步；
(8)人脸跟踪模块对检测到的人脸进行实时跟踪，分析出观看者的面部朝向，是否睡眠的信息，并将此信息传送到数据分析处理模块；转第(10)步；
(9)人数统计模块对检测到的人脸进行数量统计，并将结果传送到数据分析处理模块；
(10)数据分析处理模块将来自于人脸识别模块、人脸跟踪模块和人数统计模块的信息进行综合分析处理，将处理结果传送至无线传输模块；
(11)无线传输模块将分析结果发送给后台服务器；
(12)后台服务器根据处理结果得出该时段的观看者的统计数据。

基于人脸检测的电视收视率统计装置及检测方法
技术领域
本发明涉及一种收视率统计装置，特别涉及一种基于人脸检测的电视收视率统计装置，及该装置的检测方法。
背景技术
众所周知，广告投放的价值和效果直接影响着商家的利益。
报纸和杂志刊登广告是按照发行量支付费用，网络广告是按照浏览量来支付费用，针对这些投放广告的方式需通过技术手段进行数量统计。
电视广告是现在最有效的一种广告投放渠道，对于电视广告，通常广播公司不能预先精确的知道有多少观看者会看到特定的广告，更不能做到精确的统计观看特定广告的人的性别、年龄、生活水平等信息。因此大量的工作用来预测观看者的数量，并相应的设置价格。保证最小受众规模并不稀罕，如果不能保证，就会重新播放广告直到达到所需的数量。
通常电视广告分黄金时段和非黄金时段，黄金时段的定位是广播公司做了大量预测工作得到的估计，而非精确的统计。进行这些统计的方法往往是在有线电视线的中间加上一个统计数据盒，而这些得到的数据只是广告播放的次数，而真正有多少人在看这个广告是得不到统计的。一个广告的投放效果取决于观看它的数量，商家为了达到好的效果往往会选择重复播放同一个广告，这样不仅要承受巨大的广告费用，且不一定达到预期的效果。
收视率是衡量电视节目拥有观众人数的一种统计指标。是电视广告的共同交易货币，是评估观众数量的重要指标。作为深入分析电视收视市场提供的数据基础，不仅是节目编排、评估的重要指标，也是制定广告投放计划、评估广告效果的有力工具。收视率既为电视台服务，也为广告公司、广告主服务，同时也是广电管理部门的决策依据。
但问题在于：一、把收视率这种并不精确的数字用于精确度要求极高的广告成本计算中，据此判断电视台是否履行了合同中承诺的收视点，并确定补偿方案；二、确定要补播的广告量是如此精确，而为之提供补偿标准的数据却存在不精确性；三、由于计算方法和目标人群界定的差异，也经常导致电视台和广告公司对有效收视点的争议。
目前采用二种统计方法：1)日记卡方法：进行手工记录；2)测量仪方法：需要用户在开始和结束的时候按下按钮。
但是，日记卡纯手工方法，会发生错误甚至遗忘的可能性，主观性很大；而个人收视测量仪方法，是依赖每一个收视人员在收视前、后，主动按对应按钮的方式来确认收视者身份。这种“主动性”要求就不可避免的会引发“忘记按”的问题。尽管调查公司都声称这部分数据可以修正，但依然会引起数据准确性的质疑。
发明内容
本发明是要提供一种提高收视率统计精确度的基于人脸检测的电视收视率统计装置。
本发明还需要提供针对上述装置的检测方法。
为了解决以上的技术问题，本发明提供了一种基于人脸检测的电视收视率统计装置，该装置包括双摄像头、红外灯、红外灯光滤光器、机顶盒和后台服务器，其中，所述的双摄像头与红外灯、红外灯光滤光器并联，双摄像头另与机顶盒连接，机顶盒通过有线或无线方式与后台服务器连接，机顶盒还与电视机连接。
所述的机顶盒包括人脸检测模块、人脸识别模块、人脸跟踪模块、人数统计模块、数据分析处理模块和无线传输模块，所述的人脸检测模块分别与人脸识别模块、人脸跟踪模块、人数统计模块连接，人脸识别模块、人脸跟踪模块、人数统计模块分别与数据分析处理模块连接，数据分析处理模块通过无线传输模块与后台服务器连接；人脸检测模块接收由双摄像头获取的人脸图像信息，检测出图像中的人脸信息传送至人脸识别模块；人脸识别模块对人脸信息进行识别，确定观看者的年龄、性别信息；同时人脸检测模块分别将人脸信息传送至人脸跟踪模块和人数统计模块，人脸跟踪模块对人脸信息进行实时跟踪，对人脸信息进行局部朝向和是否睡眠的分析；人数统计模块确定观看者的数量信息；人脸识别模块、人脸跟踪模块、人数统计模块分别将观看者的年龄、性别信息、跟踪信息、数量信息传送至数据分析处理模块进行分析处理，将处理后的信息通过无线传输模块传送至后台服务器，后台服务器统计出该时段观看者的统计数据。
一种基于人脸检测的电视收视率统计装置的检测方法，该检测方法包括如下的步骤：
(1)开机，用户进行登录；
(2)启动双摄像头；若处于黑暗环境，则启动红外灯，红外灯光滤光器对红外光线进行滤光；
(3)双摄像头对人脸进行图像采集；
(4)获取的图像信息传送至机顶盒的人脸检测模块；
(5)人脸检测模块检测出图像中的人脸信息；
(6)人脸检测模块将人脸信息传送至人脸识别模块，见第(7)步；
同时，人脸检测模块将人脸信息传送至人脸跟踪模块，见第(8)步；
同时，人脸检测模块将人脸信息传送至人数统计模块，见第(9)步；
(7)人脸识别模块进行人脸识别，识别出观看者的年龄、性别信息，将此信息传送到数据分析处理模块；转第(10)步；
(8)人脸跟踪模块对检测到的人脸进行实时跟踪，分析出观看者的面部朝向，是否睡眠的信息，并将此信息传送到数据分析处理模块；转第(10)步；
(9)人数统计模块对检测到的人脸进行数量统计，并将结果传送到数据分析处理模块；
(10)数据分析处理模块将来自于人脸识别模块、人脸跟踪模块和人数统计模块的信息进行综合分析处理，将处理结果传送至无线传输模块；
(11)无线传输模块将分析结果发送给后台服务器；
(12)后台服务器根据处理结果得出该时段的观看者的统计数据。本发明的优越功效在于：
1)利用生物特征识别和确认身份及观看状态；能自动识别观众身份，无需与观众发生任何主动行为；能实时判断是否离开或回来；能判断观众是否入睡或醒来；
2)本发明通过对每个时间段观看特定广告的人数、偏好程度以及观看者的年龄性别生活水平进行统计，并对检测到的人脸进行实时跟踪，避免重复计算，广告公司能在当前时间段选择播放适合观看者的广告或者选择播放观看者偏好程度较高的广告；为广播广告公司带来了精确统计数据，为以后的广告发布时间和价格从新定位提供了精确依据；
3)本发明通过无线方式将机顶盒分析处理后的数据传输给后台服务器，被黑客通过有线网络攻击和获取数据的可能性大大降低，网络安全性能好，便于安装，不需要用户安装宽带设备；
4)本发明不保存和传输视频信号，只是将分析处理后的数据传输给后台服务器端，可以保证用户的隐私安全。
附图说明
图1为本发明的结构示意图；
图2为机顶盒的原理框图；
图3为本发明检测方法的流程图；
图中标号说明
1-双摄像头；              2-红外灯；
3-红外灯光滤光器；
4-机顶盒；
401-人脸检测模块；        402-人脸识别模块；
403-人脸跟踪模块；        404-人数统计模块；
405-数据分析处理模块；    406-无线传输模块；
5-电视机；                6-后台服务器；
7-观看者。
具体实施方式
请参阅附图所示，对本发明作进一步的描述。
如图1所示，本发明提供了一种基于人脸检测的电视收视率统计装置，该装置包括双摄像头1、红外灯2、红外灯光滤光器3、机顶盒4和后台服务器6，所述的双摄像头1与红外灯2、红外灯光滤光器3并联，双摄像头1另与机顶盒4连接，机顶盒4通过有线或无线方式与后台服务器6连接，机顶盒4还与电视机5连接。
双摄像头2可以对电视屏幕前180度广角范围进行人脸的图像采集，通过红外灯3对在黑暗环境下观看者7的人脸图像进行采集，红外灯光滤光器3对红外光线进行有效滤光，消除观看者7对红外灯光的不适感。
如图2所示，所述的机顶盒4包括人脸检测模块401、人脸识别模块402、人脸跟踪模块403、人数统计模块404、数据分析处理模块405和无线传输模块406，所述的人脸检测模块401分别与人脸识别模块402、人脸跟踪模块403、人数统计模块404连接，人脸识别模块402、人脸跟踪模块403、人数统计模块404分别与数据分析处理模块405连接，数据分析处理模块405通过无线传输模块406与后台服务器6连接；人脸检测模块403接收由双摄像头1获取的人脸图像信息，检测出图像中的人脸信息传送至人脸识别模块402；人脸识别模块402对人脸信息进行识别，确定观看者7的年龄、性别信息；同时人脸检测模块401分别将人脸信息传送至人脸跟踪模块403和人数统计模块404，人脸跟踪模块403对人脸信息进行实时跟踪，对人脸信息进行局部朝向和是否睡眠的分析；人数统计模块404确定观看者7的数量信息；人脸识别模块402、人脸跟踪模块403、人数统计模块404分别将观看者7的年龄、性别信息、跟踪信息、数量信息传送至数据分析处理模块405进行分析处理，将处理后的信息通过无线传输模块406传送至后台服务器6，后台服务器6统计出该时段观看者7的统计数据。
人脸检测模块401对双摄像头1采集到的图像进行人脸检测，主采用人脸检测技术中的眼睛定位算法。首先把采集到的图像处理为灰度图像，在对原灰度图像做边缘灰度加强；然后结合根据人脸几何特征先验知识建立的人眼位置判定准则，在分割阈值递增的过程中，寻找能分割出双眼眼块的最优分割阈值；最后用两维相关系数作为对称相似度来检验检测出的双眼的真实性，并利用找到的双眼图像垂直方向的灰度积分投影，精确定位瞳孔中心。人眼被精确定位后，则脸部其他特征，如眉、鼻、嘴等，可由潜在的分布关系比较准确地定位。对于采集到的图像，利用肤色在YCbCr颜色空间的分布特性建立肤色模型，粗略找出肤色区域，进行灰度变换后，再采用上述方法检测人脸。
人脸识别模块402采用基于局部特征分析与最优化匹配的人脸识别算法提取人脸特征值，利用神经网络的方法估计出在识别人脸中起重要作用的一些特征点，瞳孔、眼角、眉心、眉脚、嘴角、鼻尖，之后利用Gabor小波的局部多尺度分析特性提取特征点的多尺度特征。根据所获取的特征值，识别出所检测人脸的性别、年龄。
人脸跟踪模块403采用人脸局部特征跟踪法对采集到的人脸进行跟踪，利用眼睛、嘴、鼻子等器官特征信息进行跟踪定位。采用基于Gabor小波的人脸特征点跟踪方法，在采集到的视频序列的起始帧中，标定需要跟踪的人脸特征点，如眼角、鼻尖、眉毛等，提取这些点的一组小波系数(Jets)，将每一帧的特征点坐标作为下一帧的参考点，提取下一帧参考点的小波系数，对比新旧小波系数来估计特征点的新坐标。人脸跟踪模块403对所检测到的人脸进行跟踪，避免了重复计算，并对人脸信息进行面部朝向分析，从而进行观看者7的偏好分析。
人数统计模块404对检测到的人脸数目进行统计。
数据分析处理模块405对人脸识别模块402、人数统计模块404、人脸跟踪模块403所得结果进行统计分析，分析出当前采集到的人数、年龄、性别、对节目的偏好程度等等，将分析结果传送给无线传输模块406。
无线传输模块406采用无线方式(2.5G，3G或者4G)将数据传送给后台服务器6。
后台服务器6对接收到的数据进行统计分析。
如图3所示，一种基于人脸检测的电视收视率统计装置的检测方法，该检测方法包括如下的步骤：
(1)开机，用户进行登录；
(2)启动双摄像头1；若处于黑暗环境，则启动红外灯2，红外灯光滤光器3对红外光线进行滤光，消除观看者对红外灯光的不适感；
(3)双摄像头1对观看者7的人脸进行图像采集；
(4)获取的图像信息传送至机顶盒4的人脸检测模块401；
(5)人脸检测模块401检测出图像中的人脸信息；
(6)人脸检测模块401将人脸信息传送至人脸识别模块402，见第(7)步；同时，人脸检测模块401将人脸信息传送至人脸跟踪模块403，见第(8)步；
同时，人脸检测模块401将人脸信息传送至人数统计模块404，见第(9)步；
(7)人脸识别模块402进行人脸识别，识别出观看者7的年龄、性别信息，将此信息传送到数据分析处理模块405；转第(10)步；
(8)人脸跟踪模块403对检测到的人脸进行实时跟踪，分析出观看者7的面部朝向，是否睡眠的信息，并将此信息传送到数据分析处理模块405；转第(10)步；
(9)人数统计模块404对检测到的人脸进行数量统计，并将结果传送到数据分析处理模块405；
(10)数据分析处理模块405将来自于人脸识别模块402、人脸跟踪模块403和人数统计模块404的信息进行综合分析处理，将处理结果传送至无线传输模块406；
(11)无线传输模块406将分析结果发送给后台服务器6；
(12)后台服务器6根据处理结果得出该时段的观看者7的统计数据。
以某一个五口人的家庭为例。打开电视机5并进行登记以后，双摄像头1开始对电视屏幕前180度广角范围进行人脸的图像采集，人脸检测模块401检测到四张人脸，则认为有四个人在观看当前的电视节目。人脸跟踪模块403对检测到的人脸进行跟踪，确认观看者7的人数，并分析观众的偏好程度。例如，检测到的四个人中，有一个人从电视机5前离开了，则确认当前的观众人数为三人；检测到有一人在睡眠，二人的面部朝向并不是面向电视机，则认为观看者7对当前节目的偏好程度较低。人脸识别模块402分析观看者7的年龄、性别等信息，例如，若当前的观看者7有三名男性，一名女性，则认为当前节目比较吸引男性观众；或者当前观看者7有三名50岁以上的人，三名20岁左右的人，则认为当前节目比较吸引老年观看者7。数据分析处理模块405将以上所得数据进行统计分析，将分析结果通过无线传输模块406发送给后台服务器6，后台服务器6根据统计分析结果，精确地统计出当前电视节目的观看者7人数，以及观看者7的年龄范围、性别等。
本发明采用人脸检测、跟踪以及识别技术，不仅较为准确地统计出电视节目的观看者数目，而且还能统计出观看者的年龄、性别、对节目的偏好程度等信息。对于广播广告公司来说，可以对节目的安排有的放矢，在当前时间段选择播放适合观看者的广告或者是选择播放观看者偏好程度较高的广告。为广播广告公司带来了精确统计数据，为以后的广告发布时间和价格重新定位提供依据。对于广告刊登者来说，可以选择在适当的时段播放适当次数的广告，从而有效地节省广告费用。而且，本发明不保存和传输视频，仅将数据分析结果传输给后台服务器，不仅保障了商家的利益，也保障了用户的隐私。因此，本发明具有较高的社会效益和经济效益。