基于全方位视觉的消费者购买行为分析装置 技术领域 本发明属于全方位视觉、 计算机视觉技术和关系数据库等技术在消费者购买行为 分析方面的应用， 尤其是针对便利店等小型销售网点的消费者购买行为分析。
背景技术 销售是商品在市场运行过程中经历的最后环节， 也是商品经流通领域进人消费领 域的关键环节。消费者的购买行为通常是在一定的购物场所或环境中实现的。购物环境的 优劣对消费者购买过程中的心理感受具有多方面的影响。 因此， 适应消费者的心理特点， 提 供良好的购物环境， 是企业扩大商品销售必不可少的条件， 也是消费者心理与行为研究的 重要内容之一。
当前， 最有发展前途、 应用最为广泛的无人售货方式是自助式售货。 它可以充分发 挥消费者在购买过程中的自主性和主动性， 提高购物热情。此外， 消费者直接大量接触商 品， 简化了寻找和挑选商品的过程， 在很大程度上摆脱了对销售人员的依赖， 从而大大减少
了发生矛盾或冲突的机会。 但是， 自助式售货也有其负效应， 有关监测设施和规定容易给消 费者带来不信任感或不尊重感， 以致使消费者丧失购物热情。
零干扰服务是一种新兴的商业服务观念， 意指企业在提供销售服务的同时不对顾 客构成干扰和妨碍， 为消费者提供适时、 适度的服务。 便利店等销售服务属于零干扰服务的 范畴。
零干扰服务从消费者角度出发， 以消费者的需求、 兴趣、 心理等作为服务的基本出 发点。它强调充分发挥消费者在购买过程中的自主性、 主动性， 提高购物热情。此外， 消费 者直接面对商品， 自主进行选择， 从而在很大程度上摆脱了对销售人员的依赖， 大大减少了 相互之间产生矛盾和冲突的机会。 而且零干扰服务所体现出来的对消费者的信任感和尊重 感， 使整个购买过程更加人性化， 更富有人情味。所以在零干扰服务过程中， 消费者的心理 状态是放松的、 自由的， 能最大程度地得到自尊心理的满足， 这也是现代生活条件下顾客产 生购买行为的必要前提。
消费者在购买活动中， 通常经过注意和认知、 兴趣和情感、 联想和想像、 欲望和动 机、 思索评价、 信心和决定、 采取行动、 体验满足等心理过程或阶段。 消费者的购买动机主要 包括冲动性购买动机、 理性购买动机、 生理性购买动机、 心理性购买动机、 惠顾性购买动机 等。不同的购买动机会导致不同的购买行为。
进入商店的消费者， 购买意图存在着多种差异， 有的抱有明确的购买目标， 并已预 先拟订购买决策， 进店的目的是直接实现购买行为 ； 有的并无确定的购买目标， 进店的目的 在于观察比较， 若对某件商品产生兴趣好感， 则有可能诱发购买欲望 ； 还有的消费者不存在 购买意图， 他们进店的目的在于随意测览参观， 或仅仅是为了寻求某种感觉、 体验。 因此， 对 不同购买意图的消费者， 接触时机的早晚以及是否发生接触， 也应有明显区分。要对消费 者购买行为进行分析主要可以由以下几个情景来获取相关信息 ： (1) 当消费者长时间凝视 某商品时 ； (2) 当消费者从注意的商品上抬起头来时 ； (3) 当消费者突然止步盯看某一商品时； (4) 当消费者用手触摸商品时 ； (5) 当消费者在货架上寻找商品时。
研究结果表明 ： 卖场所提供的刺激与购物环境、 购买时的情景因素及消费者的冲 动性特质这三个维度是构成消费者冲动性购买主要形成因素。
在卖场所提供的购物气氛中， 产品摆放的位置、 让人舒适的音乐及卖场有序的布 置， 皆和冲动性购买有着正相关关系， 表示如果消费者在有良好购物气氛的情况下， 越容易 产生冲动性购买。也就是消费者冲动性购买会受到所提供的购物气氛影响。
在产品的差异化中， 卖场提供独有的产品或产品自身的独特性及产品的限量性， 皆和冲动性购买有着正相关关系， 表示如果产品越有差异化， 越容易硬气消费者的冲动性 购买。也就是消费者的冲动性购买受到在卖场提供独有的产品或者产品自身差异化的影 响。
在产品的形式中， 产品的体积、 便携性、 是否容易存储及品牌， 皆和冲动性购买有 着正相关关系。 也就是消费者如果在购物过程中碰到有体积小、 容易携带、 容易存储及有良 好品牌的产品的时候， 越容易产生冲动性购买。
在商场的促销中， 产品降价、 产品赠送和现金返现活动， 皆和冲动性购买有着正相 关关系， 表示消费者在商场有促销的情况下， 越容易产生冲动性购买。 也就是消费者的冲动 性受到了产品降价、 产品赠送和返现活动的影响。 在宣传活动中， 明星代言、 专家推荐、 销售人员的宣传及卖场现场宣传， 皆和冲动 性购买有着正相关关系。 也就当消费者在购物的过程中， 碰到有明星代言、 专家推荐的产品 或者有销售人员准确的说明与示范以及商场对该产品宣传越多， 越容易产生冲动性购买。 也就是消费者的冲动性购买受到宣传活动的影响。
时间压力一项， 购买时间充裕及反感催促皆和冲动性购买有着正相关关系。也就 是消费者在购物的过程中， 如果购物的时间越充裕， 或者身旁没有人催促， 能够让其在购物 过程中自由选购的话， 越容易产生冲动性购买。也就是消费者的冲动性购买受到购买时间 的影响。
根据消费者不同的购买动机和心理行为特征， 为他们提供恰当满意的服务， 从而 为消费者提供全方位的优质服务， 提高他们的满意度和忠诚度。
目前很多便利店为了调查消费者购买行为采用人工方式来进行观察确认， 为了实 现有效的观察往往需要店员跟着并观察消费者进行记录 ； 因此这种人工的调查方式存在着 几个问题 ： 1) 有悖于零干扰服务的观念 ； 2) 要花费较高的人工费用 ； 3) 调查的结果会受到 调查员介入的干扰。 为了不给消费者带来不信任感或不尊重感， 减少人工调查的费用， 采用 计算机视觉的方式来替代人工是一种有效的解决方案。 因此调查所采用的分析装置必须能 最大程度满足消费者自尊心理的、 环境友好型的、 智能化和自动化的， 其中摄像部分必须能 实时获取整个店面内的全景视频图像的， 全景图像分析部分必须是智能化和自动化的。
发明内容
为了克服已有人工方式来调查消费者购买行为的实施成本高、 对消费者购物有干 扰、 难以获得客观准确的调查数据等不足， 本发明提供一种实时成本低、 调查结果客观准 确、 智能化和自动化程度高的基于全方位视觉的消费者购买行为分析装置。
本发明解决其技术问题所采用的技术方案是 ：一种基于全方位视觉的消费者购买行为分析装置， 包括全方位摄像装置、 收款机 和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对消费者购买行为进行分 析处理的微处理器 ； 所述全方位摄像装置， 以下用 ODVS 表示， 放置在店铺内中间的上方， 使 得 ODVS 能捕获到整个店铺内的视频图像 ； 所述的全方位摄像装置与所述的微处理器进行 连接， 所述的收款机与所述的微处理器通过有线网络进行连接， 所述的微处理器包括 ： 视 频图像读取单元， 用于通过 USB 接口读取 ODVS 所拍摄的全景图像， 并将读取的全景图像提 交给视频图像展开单元和视频图像存储单元 ； 视频图像展开单元用于将全景图像进行柱 状展开， 展开后的全景柱状图像提交给前景对象检测单元 ； 前景对象检测单元用于检测在 全景柱状展开图像中存在的前景人体对象， 具体采用混合高斯模型来计算前景人体对象， 然后在柱状展开图像上用矩形框框住前景人体对象， 并将矩形框提交给多目标人体对象 跟踪单元 ； 多目标人体对象跟踪单元， 根据前景对象检测单元所提交的矩形框采用增强的 Camshift 算法对多目标人体对象进行跟踪 ； 在多目标人体对象跟踪单元中对人体对象进 行跟踪， 这里的人体对象指的是消费者， 当消费者进入店铺内时， 所述的前景对象检测单元 检测到有新的人体对象时就自动产生一个人体对象跟踪代码， 启动一个新的线程通过多目 标跟踪算法跟踪该人体对象， 当该人体对象离开店铺时该线程结束， 因此在店铺内有多少 个人体对象就有多少个线程在始终跟踪着， 通过人体对象的跟踪可以得到该人体对象在店 铺内的行走轨迹以及在某一个货架附近停留的时间， 得到空间位置与人体对象的关系表 ； 视频图像存储单元用于将所述的视频图像读取单元读取的全景图像保存在图像数据库中 ； 空间位置定制单元， 用于在全景图像上定制店铺内的空间位置信息， 如图 5 所示的货架的 空间位置信息是通过用户界面在 ODVS 所拍摄的全景图像上定制的， 用户根据如图 2 所示 的全景图像上所显示的货架所处的空间位置通过用户界面将其与空间位置编号建立映射 关系， 比如根据所显示的全景图像上 1 号货架处在空间位置编号为 001 的区域内， 就将该 信息写入商品位置与空间的关系数据库中的货架与空间位置的映射表中 ； 商品摆放位置输 入单元， 用于输入店铺内的商品所摆放的货架的相关信息， 在便利店中商品的摆放位置以 及货架上摆放的商品经常要发生变化， 需要建立货架与商品的动态关系表， 通过人机界面 动态的设定货架与商品的对应关系 ； 在设置了货架与商品的对应关系和货架与空间位置的 映射表后， 通过数据库的表相关运算可以进一步得到空间位置与商品的关系表， 将计算所 得到的空间位置与商品的关系表写入商品位置与空间的关系数据库 ； 商品属性输入单元， 用于输入店铺内所有销售商品的属性数据， 包括商品名、 价格、 促销价格、 形态、 品牌、 专家 推荐、 独有的产品等属性信息， 输入的商品属性数据保存在商品属性数据库中 ； 消费者在收 银台结算时， 每一笔交易都保存在收银台收款数据库中， 每一笔交易中至少包括交易 ID、 商 品 ID、 商品名、 价格、 收款时间等信息 ； 消费者购买行为分析单元， 主要用于分析消费者冲 动性购买行为， 通过所述的商品属性数据库、 所述的商品位置与空间的关系数据库、 所述的 收银台收款数据库和空间位置与人体对象的关系表中的等相关数据进行分析， 从而推断出 以下几个消费者重要情景， 即 (1) 当消费者长时间凝视某商品时 ； (2) 当消费者从注意的商 品上抬起头来时 ； (3) 当消费者突然止步盯看某一商品时 ； (4) 当消费者用手触摸商品时 ； (5) 当消费者在货架上寻找商品时 ； 这些情景从空间上来分析， 消费者与商品是近距离或 者是零距离的 ； 从时间上来分析， 消费者会有一个较长时间接触商品的过程 ； 从上述数据 中可以进一步分析获得构成消费者冲动性购买主要形成因素， 即卖场所提供的刺激与购物环境、 购买时的情景因素及消费者的冲动性特质这三个维度中的一些重要影响因素， 如图 1 中的斜体部分所示 ； 比如要调查产品摆放的位置和卖场的布置与消费者冲动性购买行为 时， 就可以通过商品位置与空间的关系数据库、 商品属性数据库、 收款数据库以及人体所处 空间位置及停留时间检测结果等信息进行分析， 利用关系数据库可以获得购物环境与消费 者购买行为的相关度、 某一商品形式与消费者购买行为的相关度、 某一时间段与消费者购 买行为的相关度、 某一种促销广告与消费者购买行为的相关度、 消费者在店铺内的停留时 间与消费者购买行为的相关度等商业调查信息， 这些调查信息写入消费者购买行为分析结 果数据库中， 然后将结果显示在人机界面上， 以便进一步改善购物环境， 为消费者提供全方 位的优质服务 ；
在上述的信息中， 商品和货架的空间位置是相对固定的， 可以通过货架与空间位 置的映射表和货架与商品的对应关系表得到， 本发明中将商品和货架作为静态对象 ； 店铺 内的人体对象数目以及人体对象的空间位置是不断变化的， 本发明中将人体对象作为动态 对象， 动态对象的空间和时间信息需要由所述的多目标人体对象跟踪单元来确定 ； 而动态 对象的购买行为又需要将动态对象的空间和时间信息结合静态对象的空间位置、 属性等信 息进行综合分析， 这样就可以通过空间位置与人体对象的关系表和空间位置与商品的关系 表得到人体对象与商品的关系表， 在人体对象与商品的关系表中包含着商品属性、 人体对 象 ID、 人体对象 ID 停留时刻和空间位置等信息， 通过该信息的分析基本上能构建出消费者 购买时的情景， 因此， 动态对象的空间和时间信息的准确获取是本发明中关键 ； 所述的多目标人体对象跟踪单元， 主要用于获得店铺内的人体对象数目以及人体 对象的空间位置和在某一个空间位置上停留时间， 其跟踪算法流程图如图 7 所示 ； 其中核 心的算法是基于 Bayesian 概率法则的改进 Camshift 跟踪算法， 关于 Camshift 跟踪算法 的实现方法参考文献 Shi Y， Eberhart R C.A Modified Particle Swarm Optimizer[c]， Proceedings of the IEEE Conference on Evolutionary Computation， Anchorage， AK， May 4-9， 1998 ： 69 ～ 73 ； 由于 Camshift 跟踪算法是一种搜索局部峰值的基于颜色概率密 度的跟踪算法， 因此无需在整幅全景图像上作全局搜索， 这里引入感兴趣区域， 简单表示为 ROI， 目标人体对象跟踪在目标可能出现的区域 -ROI 内完成， 这样既可以减少计算量， 又可 以消除 ROI 外部的干扰 ；
改进的 Camshifi 算法如下 ：
Step1 ： 以所述前景对象检测单元中检测出的人体对象目标为基础， 设定目标跟踪 的 ROI ；
Step2 ： 计算 ROI 内的目标颜色概率密度分布 ；
Step 3 ： 迭代 Mean Shift 直到收敛， 记录其位置 Step4 ： 对下一帧图像， 以和零阶矩 的函数确定搜索窗为搜索窗中心位置， 并根据大小， 根据人体对象目标外接矩形确定 ROI 大小， 转 Step 2 ；
在 Camshift 算法的 Step 2 中， 本发明采用 Bayesian 概率法则获得目标在图像中 的颜色概率密度分布， 计算方法如公式 (1) 所示 ：
式中 ： C 为像素点在 HSV 空间的颜色值， 即像素点的 (H， S) 值 ； O 为目标， B 为背景，P(O)+P(B) ＝ 1， P(O) 为目标对象面积和除目标对象外的背景面积的比值 ； P(C/O) 和 P(C/ B) 可分别从目标对象和背景的直方图获得 ； 按公式 (1) 获得目标对象在图像中的颜色概率 密度分布， 再按公式 (2) 把概率分布区间从 [0， max(P(O/C))] 归一化到 [0， 255] 区间中， 从 而获得最终进行 Mean Shift 迭代的颜色概率密度分布图像 P′ (O/C) ；
式中， P′ (O/C) 为归一化的目标对象颜色概率密度分布， P(O/C) 为目标对象颜色 概率密度分布 ； 在改进 Camshift 算法的 Step 4 中， 本发明根据上一帧跟踪结果的零阶矩 的
函数确定新的搜索窗的大小 s， 以适应目标在视频图像中的尺度变化， 如公式 (3) 所示 ；
式中， s 为搜索窗的大小， K 为常数， 本发明中选择 K ∈ [230， 240] ；
根据人体对象目标运动的空间连续性， 在人体对象目标实时跟踪中， 人体对象目 标在下一帧的位置位于前一帧中同一人体对象目标位置附近， 因此定义适当位置和适当大 小的 ROI， 人体对象目标跟踪在 ROI 内完成 ； 该 ROI 必须包含完整的人体对象目标， 以避免 人体对象目标的不完整甚至丢失 ； 同时避免 ROI 过大， 以避免 ROI 内包含过多背景形成干 扰； 同时降低计算量， 包括计算颜色概率密度分布的计算量和 Mean Shift 迭代次数 ；
本发明采用 Kalman 滤波器来估计人体对象运动目标在当前帧的位置， 作为 ROI 的 位置 ； Kalman 滤波器经过有限几次滤波后， 可以较稳定的预测人体对象目标在当前帧的大 致位置， 以此预测值作为 ROI 的位置， ROI 的大小设定为上一帧人体对象目标外接矩形的 1.5 倍 ； 本发明中采用对全景图像进行透视投影平面展开图区域作为 ROI， 在获得了 ROI 的 位置以及 ROI 的大小等数据后就可以得到以人体对象目标为中心的透视投影平面图 ；
为了对透视投影平面图有一个较好的理解， 首先对 ODVS 的工作原理作一个简单 介绍 ； ODVS 的工作原理是 ： 进入双曲面镜的中心的光， 根据双曲面的镜面特性向着其虚焦 点折射。实物图像经双曲面镜反射到聚光透镜中成像， 在该成像平面上的一个点 P(x， y) 对 应着实物在空间上的一个点的坐标 A(X， Y， Z) ；
图 3 中的 2- 双曲线面镜， 12- 入射光线， 13- 双曲面镜的实焦点 Om(0， 0， c)， 14- 双 曲面镜的虚焦点即摄像单元 6 的中心 Oc(0， 0， -c)， 15- 反射光线， 16- 成像平面， 17- 实物图 像的空间坐标 A(X， Y， Z)， 18- 入射到双曲面镜面上的图像的空间坐标， 19- 反射在成像平面 上的点 P(x， y) ；
图 3 中所示的双曲面镜构成的光学系统可以由下面 5 个等式表示 ；
((X2+Y2)/a2)-((Z-c)2/b2) ＝ -1 当Z＞0时 (4)
φ ＝ tan-1(Y/X) (6) -1 2 2 α ＝ tan [(b +c )sinγ-2bc]/(b2+c2)cosγ(7)式中 X、 Y、 Z 表示空间坐标， c 表示双曲面镜的焦点， 2c 表示两个焦点之间的距离，a， b 分别是双曲面镜的实轴和虚轴的长度， Φ 表示入射光线在 XY 平面上的夹角， 即方位角， α 表示入射光线在 XZ 平面上的夹角， 这里将 α 大于或等于 0 时称为俯角， 将 α 小于 0 时 称为仰角， f 表示成像平面到双曲面镜的虚焦点的距离， γ 表示折入射光线与 Z 轴的夹角 ；
图 4 是 ODVS 的结构图， ODVS 包括双曲面镜面、 上盖、 透明外罩、 下固定座、 摄像单元 固定座、 摄像单元、 连接单元和上罩， 所述的双曲面镜面固定在所述的上盖上， 所述的连接 单元将所述的下固定座和透明外罩连接成一体， 所述的透明外罩与所述的上盖以及所述的 上罩通过螺钉固定在一起， 所述的摄像单元用螺钉固定在所述的摄像单元固定座上， 所述 的摄像单元固定座用螺钉固定在所述的下固定座上， 所述的摄像单元的输出端口是 USB 接 口；
进一步， 对图 8 所示的全景图像透视展开原理说明， 这里从双曲面的实焦点 Om 到 透视投影坐标原点 G 引一条距离为 D 的直线 Om-G， 与这条 Om-G 相垂直的平面作为透视投影 平面， 从点 A(X， Y， Z) 向着焦点 O m 的光线在透视投影平面上有一个交点 P(X， Y， Z)， 如果将 该交点 P(X， Y， Z) 代入到公式 (7)、 (8) 中就能容易地求的在成像平面上的 P(x， y) 点， 因此 可以通过从上述关系求得在透视投影平面上的各个点 ；
如图 5 所示， 双曲面镜的光轴为 Z 轴， 摄像单元向着 Z 轴的正方向设置， 成像平面 是摄像单元的输入图像， 我们将双曲面镜的光轴与成像平面的交点 g 作为成像平面的原 点， 其坐标系为 x、 y， x 轴、 y 轴分别与摄像单元中的感光芯片的长短边相一致， 因此 Om-XYZ 坐标系的 X 轴与成像平面坐标系的 xy 平面平行 ；
透视投影平面是与 Om-G 连接线相垂直的平面， 将 G 点作为原点的二元平面坐标系 i， j， 其中 i 轴是与 XY 平面平行的横轴， j 轴是与 i 轴和 Om-G 轴直角相交的纵轴， 将从透视 投影平面到双曲面的焦点 Om 的距离作为 D， 定义透视投影平面的横幅为 W， 纵幅为 H ； 由于 i 轴是与 XY 平面平行， 又是与 Z 轴垂直的， 因此所得到的透视投影平面是以 G 点为坐标中心 与 XY 平面 ( 水平面 ) 上旋转一个角度， 该角度就是 Om-G 连接线与 Z 轴的夹角 ；
这里我们将 Om-G 作为变换中心轴， 点 G 作为变换中心点， 用 β( 入射光线在 XY 平 面上的夹角 - 方位角 )、 γ( 入射光线与双曲面焦点的水平面的夹角 ) 以及距离 D( 透视投 影平面到双曲面的焦点 Om 的距离 ) 来表示变换中心轴， β 角度在 0°～ 360°范围内， 用 公式 (11) 来表示 ：
β ＝ tan-1(Y/X) ＝ tan-1(y/x) (11)
这里 β 角度是入射光线在 XY 平面上投影的夹角， 以 Z 轴为原点 ( 极坐标系的原 点 ) 逆时针方向， 在 0°～ 360°范围内 ( 这是全方位视觉的水平视场范围 ) ； γ 角度是入 射光线与双曲面焦点的水平面的夹角， 由式 (8) 所示， 该角度与空间坐标与双曲面焦点位 置有关， 如果在双曲面焦点上作一个水平面的话， 那么就是给水平面与 Om-G 轴的夹角， 这 里将空间坐标 Z 点在双曲面焦点以上的作为 [+]， 称为仰角， Z 点在双曲面焦点以下的作为 [-]， 称为俯角 ； γ 角度范围在 -90°～ +90°之间， 根据不同的镜面设计就会有不同的 γ 角度范围 ( 这是全方位视觉的垂直视场范围 ) ；
距离 D 根据透视投影平面与双曲面焦点的直线距离来确定， 一般来说， 距离 D 越长 景物越小， 距离 D 越短景物越大 ； 透视投影平面的横幅 W、 纵幅 H 可以由需要来确定， 在确定 横幅 W、 纵幅 H 大小时首先要确定显示窗的横纵比， 由于在计算机中是用像素来表示横幅 W、 纵幅 H 的大小， 因此要确定横幅 W、 纵幅 H 的像素值 ； 本发明中将透视投影平面的横幅 W、 纵 幅 H 设置成与 ROI 的大小一致， ROI 位置的中心设置为透视投影平面的 G 点 ；
通过透视投影平面的坐标点 P(i， j) 求空间三坐标中的 A(X， Y， Z)， 这样就能得到 投影平面与空间三坐标的转换关系， 转换关系式用公式 (12) 来表示 ：
X ＝ R*cosβ-i*sinβ
Y ＝ R*sinβ+i*cosβ (12)
Z ＝ D*sinγ-j*cosγ
R ＝ D*cosγ+j*sinγ
式中 ： D 为透视投影平面到双曲面的焦点 Om 的距离， β 角度是入射光线在 XY 平面 上投影的夹角， γ 角度是入射光线与双曲面焦点的水平面的夹角， i 轴是与 XY 平面平行的 横轴， j 轴是与 i 轴和 Om-G 轴直角相交的纵轴， i 轴与 j 轴的方向由图 8 所示 ；
本发明的有益效果主要表现在 ： 1、 获取实时便利店内的全景视频图像， 可提供一 种远程商业调查的手段 ； 2、 结合全方位视觉、 计算机视觉和数据库等技术用于消费者购买 行为分析， 提高了商业调查的可信度， 降低了商业调查的成本 ； 3、 自动获取和收集便利店内 的所有商品属性、 商品的摆放、 消费者数目、 消费者停留时刻和空间位置等基本信息， 这些 信息可作为各种商业调查的基本数据 ； 4、 可以发现一些异常行为， 为便利店提供一种智能 化的监控装置 ； 5、 相关分析结果可以用于改善购物环境， 为消费者提供全方位的优质服务。 附图说明
图 1 为消费者购买行为的影响因素示意图 ；
图 2 为一种全景视频图像和空间位置定制方法说明图 ；
图 3 为一种 ODVS 成像原理图 ；
图 4 为一种 ODVS 的结构图 ；
图 5 为便利店内商品摆放与 ODVS 安置说明示意图 ；
图 6 为一种基于全方位视觉的消费者购买行为分析装置的软件构成框图 ；
图 7 为多目标人体对象跟踪算法流程图 ；
图 8 为单视点的全景视觉成像的透视展开说明图 ；
图 9 为一种基于全方位视觉的消费者购买行为分析装置的数据库关系图。 具体实施方式
下面结合附图对本发明作进一步描述。
参照图 1 ～ 9， 一种基于全方位视觉的消费者购买行为分析装置， 包括全方位摄像 装置、 收款机和用于对全方位摄像装置所拍摄的全景图像以及相关输入信息对消费者购买 行为进行分析处理的微处理器 ； 所述全方位摄像装置， 放置在店铺内中间的上方， 使得全方 位摄像装置能捕获到整个店铺内的视频图像 ； 所述的全方位摄像装置通过 USB 接口与所述 的微处理器进行连接， 所述的收款机与所述的微处理器通过有线网络进行连接， 所述的微处理器包括硬件和软件两个部分， 硬件部分采用一般市售的 PC 机 ；
软件部分包括 ： 视频图像读取单元， 用于通过 USB 接口读取全方位摄像装置所拍 摄的全景图像， 并将读取的全景图像提交给视频图像展开单元和视频图像存储单元 ；
视频图像展开单元， 用于将全景图像进行柱状展开， 展开后的全景柱状图像提交 给前景对象检测单元 ；
前景对象检测单元， 用于检测在全景柱状展开图像中存在的前景人体对象， 具体 采用混合高斯模型来计算前景人体对象， 然后在柱状展开图像上用矩形框框住前景人体对 象， 并将矩形框提交给多目标人体对象跟踪单元 ；
多目标人体对象跟踪单元， 根据前景对象检测单元所提交的矩形框采用增强的 Camshift 算法对多目标人体对象进行跟踪 ； 在多目标人体对象跟踪单元中对人体对象进 行跟踪， 这里的人体对象指的是消费者， 当消费者进入店铺内时， 所述的前景对象检测单元 检测到有新的人体对象时就自动产生一个人体对象 ID， 启动一个新的线程通过多目标跟踪 算法跟踪该人体对象， 当该人体对象离开店铺时该线程结束， 因此在店铺内有多少个人体 对象就有多少个线程在始终跟踪着， 通过人体对象的跟踪可以得到该人体对象在店铺内的 行走轨迹以及在某一个货架附近停留的时间， 得到空间位置与人体对象和人体对象停留时 刻的关系表， 如表 1 所示， 表 1 中的空间位置编号是由所述的空间位置定制单元所定制， 本 发明中将整个店铺空间定制为 128 个网格， 如图 2 所示， 每个网格都有相应的空间位置编 号， 空间位置编号采用 3 位数据格式 ； 当人体对象处在某一个空间时就会得到相应的空间 位置编号 ； 人体对象 ID 是由计算机以递增的方式自动产生的， 每个进入店铺的消费者都会 有一个惟一的人体对象 ID ； 人体对象停留时刻是根据微处理器内的时钟以年月日小时分 秒 14 位数据格式来设定的， 即 YYYYMMDDHHMMSS， 每隔 10 秒钟产生一条记录， 将该记录写入 空间位置与人体对象和人体对象停留时刻的关系表中 ；
空间位置编号 001 082 ...
人体对象 ID 345671 345673 ... 停留时刻 20110811132509 20110811132511 ...表1
视频图像存储单元， 用于将所述的视频图像读取单元读取的全景图像保存在图像 数据库中 ；
空间位置定制单元， 用于在全景图像上定制店铺内的空间位置信息， 如图 5 所示 的货架的空间位置信息是通过用户界面在 ODVS 所拍摄的全景图像上定制的， 用户根据如 图 2 所示的全景图像上所显示的货架所处的空间位置通过用户界面将其与空间位置编号 建立映射关系， 比如根据所显示的全景图像上 11 号货架处在空间位置编号为 001 的区域 内， 货架编号采用 2 位数据格式， 前面一位表示某一列货架， 后面一位表示某一列货架的不 同层， 其中 1 表示某货架的最低层， 这样货架编号为 11 的数据就表示 1 号货架的最低层 ； 通 过这样的约定， 商店的管理者通过用户界面将该信息写入商品位置与空间的关系数据库中的货架与空间位置的映射表中， 货架与空间位置的映射表的格式如表 2 所示 ；
空间位置编号 001 002 ...
货架编号 11 12 ...表2
商品摆放位置输入单元， 用于输入店铺内的商品所摆放的货架的相关信息， 在便 利店中商品的摆放位置以及货架上摆放的商品经常要发生变化， 需要建立货架与商品的动 态关系表， 通过人机界面动态的设定货架与商品的对应关系， 货架与商品的对应关系表如 表 3 所示， 表中商品编号采用世界上统一的商品条形码编号 ； 在变动商品摆放位置后要及 时更改货架与商品的对应关系表中的内容 ；
货架编号 11 12 ...
商品编号 10000011111 12222111333 ...表3
在设置了货架与商品的对应关系和货架与空间位置的映射表后， 通过数据库的表 相关运算可以进一步得到空间位置与商品的关系表， 将计算所得到的空间位置与商品的关 系表写入商品位置与空间的关系数据库 ；
商品属性输入单元， 用于输入店铺内所有销售商品的属性数据， 包括商品名、 价 格、 促销价格、 形态、 品牌、 专家推荐、 独有的产品等属性信息， 输入的商品属性数据保存在 商品属性数据库中， 商品属性表如表 4 所示 ；
商品编号 10000011111 12222111333 ...
商品名 数码相机 2G 存储卡 ... 价格 2100.00 120.00 ... ... 促销价格 1800.00 厂家 canon Lexar ... ... ... ... ...表4消费者在收银台结算时， 每一笔交易都保存在收银台收款机的收款数据库中， 每 一笔交易中至少包括交易 ID、 商品 ID、 商品名、 数量、 价格、 结算方式、 收款时间等信息， 收 款数据表的格式如表 5 所示 ；
交易 ID 3245891 3245891 ...
商品编号 10000011111 12222111333 ... 销售价 1800.00 120.00 ... 数量 ... 1 2 ... ... ... ... 收款时间 20110811132535 20110811132535 ... 付款方式 信用卡 信用卡 ... 收款人 李向阳 李向阳 ...表5
消费者购买行为分析单元， 主要用于分析消费者冲动性购买行为， 通过所述的商 品属性数据库、 所述的商品位置与空间的关系数据库、 所述的收银台收款数据库和空间位 置与人体对象的关系表中的等相关数据进行分析， 从而推断出以下几个消费者重要情景， 即 (1) 当消费者长时间凝视某商品时 ； (2) 当消费者从注意的商品上抬起头来时 ； (3) 当消 (5) 当消费者在货架上寻找 费者突然止步盯看某一商品时 ； (4) 当消费者用手触摸商品时 ； 商品时 ； 这些情景从空间上来分析， 消费者与商品是近距离或者是零距离的 ； 从时间上来 分析， 消费者会有一个较长时间接触商品的过程 ； 从上述数据中可以进一步分析获得构成 消费者冲动性购买主要形成因素， 即卖场所提供的刺激与购物环境、 购买时的情景因素及 消费者的冲动性特质这三个维度中的一些重要影响因素， 如图 1 中的斜体部分所示 ； 比如 要调查产品摆放的位置和卖场的布置与消费者冲动性购买行为时， 就可以通过商品位置与 空间的关系数据库、 商品属性数据库、 收款数据库以及人体所处空间位置及停留时间检测 结果等信息建立关系数据库， 然后进行分析， 利用关系数据库可以获得购物环境与消费者 购买行为的相关度、 某一商品形式与消费者购买行为的相关度、 某一时间段与消费者购买 行为的相关度、 某一种促销广告与消费者购买行为的相关度、 消费者在店铺内的停留时间 与消费者购买行为的相关度等商业调查信息， 如图 9 所示， 这些调查信息写入消费者购买 行为分析结果数据库中， 然后将结果显示在人机界面上， 以便进一步改善购物环境， 为消费 者提供全方位的优质服务 ；
在上述的信息中， 商品和货架的空间位置是相对固定的， 可以通过货架与空间位 置的映射表和货架与商品的对应关系表得到， 本发明中将商品和货架作为静态对象 ； 店铺 内的人体对象数目以及人体对象的空间位置是不断变化的， 本发明中将人体对象作为动态 对象， 动态对象的空间和时间信息需要由所述的多目标人体对象跟踪单元来确定 ； 而动态 对象的购买行为又需要将动态对象的空间和时间信息结合静态对象的空间位置、 属性等信 息进行综合分析， 这样就可以通过空间位置与人体对象的关系表和空间位置与商品的关系 表得到人体对象与商品的关系表， 在人体对象与商品的关系表中包含着商品属性、 人体对 象 ID、 人体对象 ID 停留时刻和空间位置等信息， 通过该信息的分析基本上能构建出消费者 购买时的情景， 因此， 动态对象的空间和时间信息的准确获取是本发明中关键 ；
所述的多目标人体对象跟踪单元， 主要用于获得店铺内的人体对象数目以及人体对象的空间位置和在某一个空间位置上停留时间， 其跟踪算法流程图如图 7 所示 ； 其中核 心的算法是基于 Bayesian 概率法则的改进 Camshift 跟踪算法， 关于 Camshift 跟踪算法 的实现方法参考文献 Shi Y， Eberhart R C.A Modified Particle Swarm Optimizer[c]， Proceedings of the IEEE Conference on Evolutionary Computation， Anchorage， AK， May 4-9， 1998 ： 69 ～ 73 ； 由于 Camshift 跟踪算法是一种搜索局部峰值的基于颜色概率密 度的跟踪算法， 因此无需在整幅全景图像上作全局搜索， 这里引入感兴趣区域， 简单表示为 ROI， 目标人体对象跟踪在目标可能出现的区域 -ROI 内完成， 这样既可以减少计算量， 又可 以消除 ROI 外部的干扰 ；
改进的 Camshifi 算法如下 ：
Step1 ： 以所述前景对象检测单元中检测出的人体对象目标为基础， 设定目标跟踪 的 ROI ；
Step2 ： 计算 ROI 内的目标颜色概率密度分布 ；
Step3 ： 迭代 Mean Shift 直到收敛， 记录其位置 Step4 ： 对下一帧图像， 以和零阶矩 的函数确定搜索窗为搜索窗中心位置， 并根据大小， 根据人体对象目标外接矩形确定 ROI 大小， 转 Step2 ；
在 Camshift 算法的 Step2 中， 本发明采用 Bayesian 概率法则获得目标在图像中 的颜色概率密度分布， 计算方法如公式 (1) 所示 ：
式中 ： C 为像素点在 HSV 空间的颜色值， 即像素点的 (H， S) 值 ； O 为目标， B 为背景， P(O)+P(B) ＝ 1， P(O) 为目标对象面积和除目标对象外的背景面积的比值 ； P(C/O) 和 P(C/ B) 可分别从目标对象和背景的直方图获得 ； 按公式 (1) 获得目标对象在图像中的颜色概率 密度分布， 再按公式 (2) 把概率分布区间从 [0， max(P(O/C))] 归一化到 [0， 255] 区间中， 从 而获得最终进行 Mean Shift 迭代的颜色概率密度分布图像 P′ (O/C) ；
式中， P′ (O/C) 为归一化的目标对象颜色概率密度分布， P(O/C) 为目标对象颜色 概率密度分布 ； 在改进 Camshift 算法的 Step4 中， 本发明根据上一帧跟踪结果的零阶矩 的函
数确定新的搜索窗的大小 s， 以适应目标在视频图像中的尺度变化， 如公式 (3) 所示 ；
式中， s 为搜索窗的大小， K 为常数， 本发明中选择 K ∈ [230， 240] ；
根据人体对象目标运动的空间连续性， 在人体对象目标实时跟踪中， 人体对象目 标在下一帧的位置位于前一帧中同一人体对象目标位置附近， 因此定义适当位置和适当大 小的 ROI， 人体对象目标跟踪在 ROI 内完成 ； 该 ROI 必须包含完整的人体对象目标， 以避免 人体对象目标的不完整甚至丢失 ； 同时避免 ROI 过大， 以避免 ROI 内包含过多背景形成干 扰； 同时降低计算量， 包括计算颜色概率密度分布的计算量和 Mean Shift 迭代次数 ；
本发明采用 Kalman 滤波器来估计人体对象运动目标在当前帧的位置， 作为 ROI 的
位置 ； Kalman 滤波器经过有限几次滤波后， 可以较稳定的预测人体对象目标在当前帧的大 致位置， 以此预测值作为 ROI 的位置， ROI 的大小设定为上一帧人体对象目标外接矩形的 1.5 倍 ； 本发明中采用对全景图像进行透视投影平面展开图区域作为 ROI， 在获得了 ROI 的 位置以及 ROI 的大小等数据后就可以得到以人体对象目标为中心的透视投影平面图 ；
为了对透视投影平面图有一个较好的理解， 首先对 ODVS 的工作原理作一个简单 介绍 ； ODVS 的工作原理是 ： 进入双曲面镜的中心的光， 根据双曲面的镜面特性向着其虚焦 点折射。实物图像经双曲面镜反射到聚光透镜中成像， 在该成像平面上的一个点 P(x， y) 对 应着实物在空间上的一个点的坐标 A(X， Y， Z) ；
图 3 中的 2- 双曲线面镜， 12- 入射光线， 13- 双曲面镜的实焦点 Om(0， 0， c)， 14- 双 曲面镜的虚焦点即摄像单元 6 的中心 Oc(0， 0， -c)， 15- 反射光线， 16- 成像平面， 17- 实物图 像的空间坐标 A(X， Y， Z)， 18- 入射到双曲面镜面上的图像的空间坐标， 19- 反射在成像平面 上的点 P(x， y) ；
图 3 中所示的双曲面镜构成的光学系统可以由下面 5 个等式表示 ；
((X2+Y2)/a2)-((Z-c)2/b2) ＝ -1 当Z＞0时 (4)
φ ＝ tan-1(Y/X) (6) -1 2 2 (7)α ＝ tan [(b +c )sinγ-2bc]/(b2+c2)cosγ式中 X、 Y、 Z 表示空间坐标， c 表示双曲面镜的焦点， 2c 表示两个焦点之间的距离， a， b 分别是双曲面镜的实轴和虚轴的长度， Φ 表示入射光线在 XY 平面上的夹角， 即方位角， α 表示入射光线在 XZ 平面上的夹角， 这里将 α 大于或等于 0 时称为俯角， 将 α 小于 0 时 称为仰角， f 表示成像平面到双曲面镜的虚焦点的距离， γ 表示折入射光线与 Z 轴的夹角 ；
图 4 是 ODVS 的结构图， ODVS 包括双曲面镜面 2、 上盖 1、 透明外罩 3、 下固定座 4、 摄 像单元固定座 5、 摄像单元 6、 连接单元 7、 上罩 8， 所述的双曲面镜面 2 固定在所述的上盖 1 上， 所述的连接单元 7 将所述的下固定座 4 和透明外罩 3 连接成一体， 所述的透明外罩 3 与 所述的上盖 1 以及所述的上罩 8 通过螺钉固定在一起， 所述的摄像单元 6 用螺钉固定在所 述的摄像单元固定座 5 上， 所述的摄像单元 6 固定座 5 用螺钉固定在所述的下固定座 4 上， 所述的摄像单元 6 的输出端口是 USB 接口 ；
对图 8 所示的全景图像透视展开原理说明， 这里从双曲面的实焦点 Om 到透视投影 坐标原点 G 引一条距离为 D 的直线 Om-G， 与这条 Om-G 相垂直的平面作为透视投影平面， 从 点 A(X， Y， Z) 向着焦点 Om 的光线在透视投影平面上有一个交点 P(X， Y， Z)， 如果将该交点 P(X， Y， Z) 代入到公式 (7)、 (8) 中就能容易地求的在成像平面上的 P(x， y) 点， 因此可以通 过从上述关系求得在透视投影平面上的各个点 ；
如图 5 所示， 双曲面镜的光轴为 Z 轴， 摄像单元向着 Z 轴的正方向设置， 成像平面是摄像单元的输入图像， 我们将双曲面镜的光轴与成像平面的交点 g 作为成像平面的原 点， 其坐标系为 x、 y， x 轴、 y 轴分别与摄像单元中的感光芯片的长短边相一致， 因此 Om-XYZ 坐标系的 X 轴与成像平面坐标系的 x y 平面平行 ；
透视投影平面是与 Om-G 连接线相垂直的平面， 将 G 点作为原点的二元平面坐标系 i， j， 其中 i 轴是与 XY 平面平行的横轴， j 轴是与 i 轴和 Om-G 轴直角相交的纵轴， 将从透视 投影平面到双曲面的焦点 Om 的距离作为 D， 定义透视投影平面的横幅为 W， 纵幅为 H ； 由于 i 轴是与 XY 平面平行， 又是与 Z 轴垂直的， 因此所得到的透视投影平面是以 G 点为坐标中心 与 XY 平面 ( 水平面 ) 上旋转一个角度， 该角度就是 Om-G 连接线与 Z 轴的夹角 ；
这里我们将 Om-G 作为变换中心轴， 点 G 作为变换中心点， 用 β( 入射光线在 XY 平 面上的夹角 - 方位角 )、 γ( 入射光线与双曲面焦点的水平面的夹角 ) 以及距离 D( 透视投 影平面到双曲面的焦点 O m 的距离 ) 来表示变换中心轴， β 角度在 0°～ 360°范围内， 可 以用公式 (11) 来表示 ：
β ＝ tan-1(Y/X) ＝ tan-1(y/x) (11)
这里 β 角度是入射光线在 XY 平面上投影的夹角， 以 Z 轴为原点 ( 极坐标系的原 点 ) 逆时针方向， 在 0°～ 360°范围内 ( 这是全方位视觉的水平视场范围 ) ； γ 角度是入 射光线与双曲面焦点的水平面的夹角， 由式 (8) 所示， 该角度与空间坐标与双曲面焦点位 置有关， 如果在双曲面焦点上作一个水平面的话， 那么就是给水平面与 Om-G 轴的夹角， 这 里将空间坐标 Z 点在双曲面焦点以上的作为 [+]， 称为仰角， Z 点在双曲面焦点以下的作为 [-]， 称为俯角 ； γ 角度范围在 -90°～ +90°之间， 根据不同的镜面设计就会有不同的 γ 角度范围 ( 这是全方位视觉的垂直视场范围 ) ；
距离 D 根据透视投影平面与双曲面焦点的直线距离来确定， 一般来说， 距离 D 越长 景物越小， 距离 D 越短景物越大 ； 透视投影平面的横幅 W、 纵幅 H 可以由需要来确定， 在确定 横幅 W、 纵幅 H 大小时首先要确定显示窗的横纵比， 由于在计算机中是用像素来表示横幅 W、 纵幅 H 的大小， 因此要确定横幅 W、 纵幅 H 的像素值 ； 本发明中将透视投影平面的横幅 W、 纵 幅 H 设置成与 ROI 的大小一致， ROI 位置的中心设置为透视投影平面的 G 点 ；
通过透视投影平面的坐标点 P(i， j) 求空间三坐标中的 A(X， Y， Z)， 这样就能得到 投影平面与空间三坐标的转换关系， 转换关系式用公式 (12) 来表示 ：
X ＝ R*cosβ-i*sinβ
Y ＝ R*sinβ+i*cosβ (12)
Z ＝ D*sinγ-j*cosγ
R ＝ D*cosγ+j*sinγ
式中 ： D 为透视投影平面到双曲面的焦点 Om 的距离， β 角度是入射光线在 XY 平面 上投影的夹角， γ 角度是入射光线与双曲面焦点的水平面的夹角， i 轴是与 XY 平面平行的 横轴， j 轴是与 i 轴和 Om-G 轴直角相交的纵轴， i 轴与 j 轴的方向由图 8 所示。