用于基于摄像机的对象分析的系统、 方法和程序产品 技术领域 本发明大体上涉及智能摄像机系统并且更具体地涉及可采用摄像机系统以改善 对象分析的系统、 方法和程序产品。
背景技术 摄像机监控系统日益变得更加 “智能” ， 其中从这些摄像机系统获得的图像和数据 越来越可以独立于 ( 至少部分地 ) 对摄像机获得的数据 ( 即， 视频 ) 的人工检查和分析的 需要而分析。
利用任何类型的自动化视频分析， 各种因素可以不利地影响有效识别、 检测和 / 或归类视频中的对象的能力。 可能影响准确和有效对象分析的因素中的仅仅一些包括场景 的照明、 场景的尺度和摄像机的旋转。
因此， 存在对摄像机系统和对象分析 ( 包括对象的识别、 检测和 / 或归类 ) 的 “智 能” 的改善的持续需要。
发明内容 本发明通过对摄像机系统的 “智能” 加以改善克服前述摄像机系统中的缺点中的 至少一些。 更具体地， 本发明针对用于提高包括对象识别、 对象检测和对象归类的对象分析 的系统、 方法和程序产品。
因此， 根据本发明的一个方面， 用于分析图像中的对象的计算机化方法， 其中该图 像从摄像机系统获得， 所述计算机化方法包括 ： 从该摄像机系统接收至少一个具有多个像 素的图像 ； 对该多个像素中的每个像素计算特征池 ； 导出下列中的一个 ： 来自该特征池的 特征的径向矩的池的和该至少一个图像的几何中心 ； 和来自该特征池的特征的中心矩池 ； 基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个， 计 算规范化描述子 (descriptor) ； 并且基于该规范化描述子， 计算机于是进行下列中的至少 一个 ： 识别在该至少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对 象； 以及将在该至少一个图像中的至少一个对象归类。
根据本发明的另一个方面， 用于分析图像中的对象的计算机化方法， 其中该图像 从摄像机系统获得， 所述计算机化方法包括 ： 从该摄像机系统接收至少一个具有多个像素 的图像 ； 对该多个像素中的每个像素计算特征池 ； 从该特征池导出特征的中心矩池 ； 基于 该特征中心矩池， 计算中心矩不变量池 ； 基于该至少一个图像的面积和该特征中心矩池， 计 算规范化描述子 ； 以及基于该规范化描述子， 计算机于是进行下列中的至少一个 ： 识别在 该至少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对象 ； 以及将在 该至少一个图像中的至少一个对象归类。
根据本发明的另一个方面， 具有提供用于分析图像中的对象的方法的计算机可执 行指令的计算机可读介质， 其中该图像从摄像机系统获得， 所述方法包括 ： 从该摄像机系统 接收至少一个具有多个像素的图像 ； 对该多个像素中的每个像素计算特征池 ； 导出下列中
的一个 ： 来自该特征池的特征的径向矩池的和该至少一个图像的几何中心 ； 和来自该特征 池的特征的中心矩池 ； 基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中 心矩池中的一个， 计算规范化描述子 ； 以及基于该规范化描述子， 进行下列中的至少一个 ： 识别在该至少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对象 ； 以 及将在该至少一个图像中的至少一个对象归类。
根据本发明的另一个方面， 用于分析在图像中的对象的系统， 其中该图像从摄像 机系统获得， 所述系统包括 ： 用于从该摄像机系统接收至少一个具有多个像素的图像的系 统； 用于对该多个像素中的每个像素计算特征池的系统 ； 用于导出下列中的一个的系统 ： 来自该特征池的特征的径向矩池的和该至少一个图像的几何中心 ； 和来自该特征池的特征 的中心矩池 ； 基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中 的一个， 用于计算规范化描述子的系统 ； 和基于该规范化描述子， 进行下列中的至少一个的 系统 ： 识别在该至少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对 象； 以及将在该至少一个图像中的至少一个对象归类。
通过下列详细说明和附图将使本发明的各种其他特征和优势明显。 附图说明
附图图示目前设想用于执行本发明的一个实施例。 图 1 是结合本发明的方面用于分析基于摄像机的对象的系统的示意图。 图 2A-2D 是可由根据本发明的实施例的系统采用的各种旋转角度的俯视图的图 图 3 是结合本发明的方面用于分析基于摄像机的对象的系统的示意图。像。
具体实施方式
本发明的方面提供关于采用摄像机系统的前述系统的优势。该系统、 方法和程序 产品能够更有效地分析在从摄像机系统获得的数据 ( 例如， 视频、 图像、 图像区域等 ) 中的 对象 ( 例如， 车辆、 人等 )。 根据本发明的方面的改善包括关于噪声和图像变换 ( 例如， 照明 变化、 摄像机旋转变化、 尺度变化等 ) 更容易地检测对象、 将对象归类和 / 或识别对象的能 力。采用本发明的方面的摄像机系统的 “智能” 有效地增加。
本发明的方面包括更高效地分析对象的能力， 其包括例如检测对象、 将对象归类 和 / 或识别对象。可根据实施例分析的对象实际上可以是从摄像机系统获得的任何事物， 其包括车辆、 人等。
对象检测包括确定在图像中存在的属于特定类别的对象的数量、 在该特定类别中 的对象在图像中的什么位置、 和 / 或在该图像中对象的近似大小的能力。例如， 给定单个图 像， 对象检测可包括检测属于给定类别 ( 例如， 所有可能车辆的类别 ) 的对象。
对象归类包括确定检测的对象属于 N 个对象类别中的哪个类别的能力。例如， 假 设存在 N 个可检测对象的类别 ( 例如， N ＝ 3， 其中一个类别是所有 SUV 的， 另一个类别是所 有轿车， 并且第三个类别是所有货车 )。 从而， 给定单个图像， 对象归类包括能够归类到检测 的对象所属的 N 个类别中的哪个类别。例如， 给定包含车辆的图像， 对象归类包括能够确定 该车辆是 SUV、 轿车还是货车。对象识别包括确定检测的对象是否是来自对象图像的收集库的相同特定对象的 能力。 例如， 给定包含对象的新图像， 对象识别包括识别包含在该图像中的对象是否描绘收 集库中先前存在的相同的特定对象。 例如， 在车辆背景中， 假设存在用户试图识别的特定所 有者的 SUV( 例如， 具有行李架的 2005 款深蓝色 Honda Element EX)。 对象识别包括能够基 于对象 ( 例如， 车辆 ) 图像的该收集库足够确定在接收的图像中特定所有者的 SUV 是否存 在于该图像 ( 或若干个图像 ) 中。该对象识别可以包括在该图像 ( 若干个图像 ) 中识别例 如该所有者的具有行李架的 2005 款深蓝色 Honda Element EX 的能力， 即使该图像库包括 例如具有相同属性 ( 例如， 2005 款 ； 深蓝色 ； SUV ； Honda 制造 ； Element 型 ； Element EX 型 ； 等 ) 的其他车辆的图像。对象识别包括识别该图像 ( 若干个图像 ) 包含 ( 或不包含 ) 收集 库中包含的特定对象， 不管该对象的类别或对象归类如何。
本发明的方面包括基于图像矩应用于图像特征池的想法的新的一类外观描述子。 通过仔细设计图像矩和图像特征， 可以使描述子为尺度和旋转不变的， 以及对于照明变化 是鲁棒的。方面包括它们的计算的快速程序， 其基于积分表示。它们的不变性性质使它们 例如适合于从空中视频的车辆检测的应用， 其中尺度和旋转不变性常常是关键的。
外观描述子的设计在过去的十年间受到相当大的注意。 这是因为许多实际应用要 求描述子的计算用于支持从图像特征匹配到对象匹配的范围或从对象检测到对象类别识 别的范围的任务。描述子的重要性质是它的独特性， 但另一个问题是它关于噪声和由于照 明和视角变换的图像变换的鲁棒性。描述子的计算复杂性也是主要性质。这在训练阶段 ( 例如， 特征选择 ) 期间以及在运行时间可能成为问题。实际上， 几乎每个任务必然需要从 对应于若干图像区域的数据的大量统计 ( 即， 外观描述子 ) 的计算。本发明的方面提出解 决计算效率、 尺度和旋转变换等的不变性的问题的一类新的描述子。
本发明的方面提出图像特征矩， 其实现从图像空间到其中每个像素指派给图像特 征向量 ( 包含该图像的期望局部说明 ) 的空间的映射的设计。本发明的方面解决旋转不变 性并且提供新的各向同性特征池。
本发明的实施例包括三个不同外观描述子的使用。该描述子都是尺度不变的， 并 且它们可以是旋转不变的， 取决于图像特征的各向同性性质。 在任何情况下， 第一外观描述 子计算给定区域的图像特征的中心矩。 第二外观描述子是在每个图像特征上计算的不变量 集。第三外观描述子计算图像特征的径向矩。
计算效率根据本发明的方面通过设计将积分图像表示应用到图像特征矩的计算 的程序来解决。对于给定图像， 这实现以许多参量的预先计算为模在固定时间中新描述子 的计算。
本发明的方面包括新的一类描述子， 其关注对于尺度和旋转的不变性问题， 为此 开发了新的图像特征集。方面还包括新的程序， 其实现在固定时间中描述子的计算。这在 预先计算相位后获得， 具有与图像特征的维度成线性关系而非二次关系定标的成本。
本发明的实施例解决从空中视频检测车辆的问题。描述子胜过现有技术方法， 因 为它们是最高效的， 同时与例如支持向量机 (SVM) 等分类器结合使用。
图像特征矩
图像特征和图像特征矩限定为本文公开的。
使 I 成为对于每个5限定的单色或 RGB 图像。Φ 是映射 I 和像素101996315 A CN 101996320说明书4/13 页(x， y) 到 d 维图像特征向量的总体滤波运算 (generic filtering operation)
图像 I 的旋转围绕像素 (x， y) 操作。如果 fi(x， y) 没有基于该旋转改变， 它是各 向同性特征。否则， fi 是各向异性的。例如， 是各向异性特征， 但是图像梯度
的大小是各向同性特征。所有矩的集是图像特征到具有两个变量的多项式空间上的投 影。 利用 mpq， 其中 p 和 q 是非负整数， 阶 (order)n ＝ p+q 的图像特征 f 的矩定义为 p q
mpq ＝∫ Ωx y f(x， y)dxdy (2)
注意在此之前矩的所有定义将图像特征认作概率密度。 然而， 根据本发明的方面， 图像特征不视为概率密度。只要 {fi} 是分段连续的， 并且具有有界支撑， 那么所有阶的矩 存在， 并且被唯一确定。在所有实际的情况下这些条件普遍满足。
本发明的方面还提出符号其指的是阶 n 的 n+1 个矩的有序堆栈 (ordered stack)。
相似地， μpq 是阶 n ＝ p+q ≥ 2 的图像特征 f 的中心矩， 其中具有分量 μpq， i 并且定义为
符号指的是阶 n 的 n+1 个中心矩的有序堆栈。 并且它们是具有如下定从 μ2 和 μ3， 提取七个不同的对于特征 f 的平移 (translation) 和旋转不变的统计数字 ( 称为 Hu 不变量 ) 是可能的。它们指示为义的分量的向量
τ1， i ＝ μ20， i+μ02， i， 2 2
τ2， i ＝ (μ20， i-μ02， i) +4(μ11， i) ， 2 2
τ3， i ＝ (μ30， i-3μ12， i) +(3μ21， i-μ03， i) ， 2 2
τ4， i ＝ (μ30， i+μ12， i) +(μ21， i+μ03， i) ，
τ5，i ＝ (μ30，i-3μ12，i)(μ30，i+μ12，i)[(μ30，i+μ12，i)2-3(μ21，i+μ03，i)2]+(3μ21， 2 2 i)(μ21， i+μ03， i)[3(μ30， i+μ12， i) -(μ21， i+μ03， i) ]， i+μ03， 2 2
τ6， i ＝ (μ20， i-μ02， i)[(μ30， i+μ12， i) -(μ21， i+μ03， i) ]+4μ11， i(μ30， i+μ12， i)(μ21， +μ03， i)，
τ7，i ＝ (3μ21，i-3μ03，i)(μ30，i+μ12，i)[(μ30，i+μ12，i)2-3(μ21，i+μ03，i)2]-(3μ30， 2 2 (4) i)(μ21， i+μ03， i)[3(μ30， i+μ12， i) -(μ21， i+μ03， i) ] i+μ12，
阶 n ≥ 1 的图像特征 f 的径向矩定义为i
其中代表域 Ω 的几何中心。这些矩具有对特征 f 的旋转不变的基本性质。
外观描述子
是单连通域， 其中 |D| 指示域的面积。 映射图像特征 {f(x， y)|(x， y) ∈ D} 到描述子向量 y ∈ RJ 的算子打算供外观描述子使用。根据本发明的方面， 基于本文论述的图像特征矩的三个外观描述子定义如下。
中心矩 (CM) 描述子 ：
从图像特征的中心矩集 {μi}， 在域 D 上计算， 阶 n ≥ 2 的中心矩描述子定义为向 量
其中具有个分量。中心矩不变量 (CMI) 描述子 ： 从图像特征的中心矩不变量集 {τi}， 在域 D 上计算， 中心矩不变量描述子定义为其是具有 JCMI ＝ 7d 个分量的向量。 径向矩 (RM) 描述子 ： 从图像特征的径向矩不变量集 {mi}， 在域 D 上计算， 阶 n ≥ 1 的径向矩描述子定义为
其是具有 JRM ＝ nd 个分量的向量。
区域协方差 (RC) 描述子 ：
在测试前述三个外观描述子的耐久性中， 下列区域协方差 (RC) 描述子用作比较。 区域 D 的图像特征 f 的协方差矩阵定义为
其中是在 D 上的平均图像特征向量。假定 kf 是对称正定矩阵， 区域协方差描述子由包含 kf 的 JRC ＝ (d2+d)/2 个独立项目的向量 yRC 给出。 外观描述子性质 ：
所有该四个描述子可以提供图像的有效并且非常低维的表征， 特别是 RM。 相反， 甚 2 至广泛使用的图像特征用联合直方图的表示将引起具有维度 O(d ) 的描述子， 其中 α ～ O。
在 CM、 CMI 和 RM 中， 图像特征视为概率分布， 并且该描述子概述特征如何在计算域 上分布。在 RC 中， 图像特征视为随机向量， 并且描述子是它的协方差。如果特征包含空间 信息， 然后 RC 将该信息与其他特征相关。
所有该描述子提供适合的方式以融合多个特征的信息。尽管 RC 通过本征计算每 对图像特征之间的相关性而如此进行， CM、 CMI 和 RM 通过设置一些图像特征成为其他的组 合而实现此。根据本发明的方面， 该三个新描述子 ( 即， CM、 CMI、 RM) 的维度与 d 成线性而 非像在 RC 中的二次那样定标。
假使在给定时刻， D 包含在均匀背景上的对象， 并且在随后的时刻， 对象已经平移 但仍然在 D 内。所有该描述子对于这样的平移是不变的， 其中 RM 例外， 其关于 D 的几何中
心计算。如此， RM 可是用于定位特定对象的更好的描述子。
假设在每个像素的特征编码尺度不变的信息， 在方程 6、 7、 8 和 9 上运算的关于 |D| 的规范化使所有该描述子尺度不变。 然而， 注意即使没有完全尺度不变的特征， 获得关于尺 度的极高度不变性是可能的。
如此， 下列事实导致 ： (a) 如果图像特征 {fi} 是各向同性的， CMI、 RM 和 RC 是旋转 不变的 ； (b) 如果 {fi} 中的一些是各向异性的， CMI、 RM 和 RC 不是旋转不变的 ； (c) 不管 {fi} 的性质如何， CM 不是旋转不变的。从而， 取决于应用， 旋转不变性 ( 变化性 ) 可或可以不是 要求。
所有该描述子委派照明不变性问题给图像特征的设计。 RC 对引起特征的附加变化 的照明变化也是不变的， 因为平均特征从描述子计算去除。
图像特征集 ：
根据本发明的方面， 滤波运算可用于产生图像特征集。例如， 可使用两个滤波器 集： ΦA 和 ΦI， 其中 ΦA 是各向异性特征集并且 ΦI 是各向同性特征集。
滤波器集 ΦA 使得图像特征计算为
其中 R、 G 和 B 是图像 I 的 RGB 颜色通道， 并且其他参量是图像强度一和二阶偏导 的大小。这既不是特征的照明不变集也不是特征的尺度不变集。最终， x 和 y 仅当 RC 描述 子计算时存在。
滤波器集 ΦI 这样定义成使得图像特征计算为
其中RGB 颜色通道， 和图像强度的梯度的大小。如之前，ρΩ 仅当 RC 描述子计算时存在。该最后三个特征是形状参数， 并且给出由图像强度生成的 3D 形状的局部描述， 即 κρ 和 κθ 是主曲率 κ1 和 κ2 在极坐标中的表示， 由此 s 是形状指数， 其也是尺度不变的。它们可以用如下限定的快 速程序计算
ΦI 不是照明不变的特征集。增加的照明鲁棒性通过用各个通道的对数拉普拉斯 算子代替 RGB 通道获得。在对数后的任意导数消去倍增的照明变化， 并且显著减小附加变 化。已经进行采用这些修正的成功实验。
通过积分表示的快速算法 ：
在 Ω 上限定的图像 I( 它的积分表示 ) 称为积分图像并且由给出。该表示允许采用 O(1) 数目个运算在任何矩形域 D 上计算图像的积分。注意 D ＝ [x′，x″ ]×[y′， y″ ] 的面积可以计算为 |D| ＝ A(x′， y′ )-A(x″， y′ )+A(x″， y″ )-A(x′， y″ )， 其中 其可以方便地预先计算。该表示可用于导出用于计算 CM、 CMI和 RM 描述子的快速算法。
CM 描述子 ：
为了计算 yCM， 可使用矩集 {μpq|p+q ＝ 2， ...， n}。二项式定理允许将矩与中心矩 如下联系起来
因此， 中心矩可以从矩集 {mpq|p+q ＝ 0， ...， n} 计算。进而， 该矩可以通过定义下 列函数而利用积分表示
并且该矩在 D 上可以计算如下 mpq ＝ Mpq(x′， y′ )-Mpq(x″， y′ )+Mpq(x″， y″ )-Mpq(x′， y″ ).(17) 注意在方程 (16) 中的参量 upvq 可以方便地预先计算。最终， 整个计算涉及方程 个积分表示的初始形成， 其中每个积分表示可以用在域 Ω 上的一遍来计(16) 的算， 然后每个描述子用 O(n2d) 个运算的恒定计算复杂性获得。 CMI 描述子 ：
为了计算 yCMI， 需要中心矩 μ2 和 μ3 并且其可用上文描述的程序计算， 人们可以 从其中计算不变量集 {τi}。整个计算涉及 10d 个积分图像的初始形成， 然后每个描述子用 O(d) 个运算的恒定计算复杂性获得。
RM 描述子 ：
为了计算 yRM， 我们需要 m1， ...， mn。二项式定理允许将矩与径向矩如下联系起来
其中并且因此， 径向矩可以从 {mpq|p+q ＝ 0， ...， 2n}计算， 其进而可以如上文说明那样计算。整个计算涉及对于方程 (16) 的 (2n2+2n+1)d 个积 分表示的初始形成， 然后每个描述子用 O(nd) 个运算的恒定计算复杂性获得。
表1：
表 1 提供描述子长度、 待计算的积分表示的数量 ( 遍数 ) 和每个描述子的运算数 量的阶的概述 ( 作为图像特征数量 d 和描述子阶 n 的函数 )。
表 1 总结该四个描述子的主要计算特性。注意到 n ＝ 2 或 3 可足以获得强大的描 述子。具有固定的 n， 待计算的积分表示的数量对于 RC 描述子是 O(d2)， 而对于其他三个描 述子是 O(d)。对用于在预先计算阶段后计算一个描述子的运算数量依然是这样， 运算数量 2 对于 RC 描述子是 O(d )， 而对于其他是 O(d)。还注意到， 具有非常小的 n， RM 描述子是非常 短的。
实验 ：
进行实验以结合各向异性 ΦA 和各向同性 ΦI 图像特征分析 RC 描述子、 阶 3 的 CM 描述子、 CMI 描述子和阶 2 的 RM 描述子的性能。测试台应用是从空中视频的车辆检测。采 用滑动窗方法， 其中在每个像素处， 描述子在方形图像面积上以 5 个不同尺度计算， 并且馈 给 SVM 分类器， 其输出得分。形态滤波和连通分量然后以裁定车辆尺度和建立检测为支持 在阈值得分上计算。
在使用 CM、 CMI 和 RM 描述子的所有实验中， 运用 SVM 分类器。在使用 RC 描述子的 2 所有实验中， 运用具有核心 (-γd(y， y′ ) ) 的 SVM， 其中 d(y， y′ ) 是正定协方差矩阵的 度量， 其考虑关联流形 (manifold) 的曲率。该实验还证明， 给定协方差矩阵的空间的已知 结构， 简单的线性 SVM 将是次优的。常数 γ 通过反复实验最优化。 使用从以各种旋转角度安装的摄像机采集的公路交通的以序列制作的数据集。 特 别地， 该序列采用以 0°、 20°、 35°、 65°和 90°的旋转摄像机采集。 参见例如图 2A-2D， 其 描绘在各种角度获得和旋转的俯视图的图像 ( 例如， 0°在图 2A 中、 45°在图 2B 中、 65°在 图 2C 中和 90°在图 2D 中 )。对于每个视频， 地面实况车辆位置和大小通过记录沿公路移 动的每个车辆周围的矩形感兴趣区 (ROI) 而人工注释， 产生总共大约 47000 个不同 ROI， 其 对应于 590 个不同的车辆。ROI 的大小从大约 30×20 到 120×40 个像素变化， 取决于车辆 的类型。
对于每个描述子， 提供分类器输出的接收器工作特性 (ROC) 曲线， 其对应于正和 负标记的样本 ( 即 ROI 分别包含或不包含车辆 )。因为对于每个样本， 摄像机旋转是已知 的， 画出对应于每个旋转角度的多个 ROC 曲线是可能的。对于每个选择的描述子， 提供在所 有摄像机旋转上评估的 ROC 曲线， 并且还增加一个标准差的上限和下限， 其表示由于旋转 可以期望多大变化。
使用来自在 0°旋转的序列的具有 5 倍交叉验证的正和负样本。 此外， 验证通过增 加合成旋转样本到测试组进行， 其中旋转以 20°的间隔在 0°和 180°之间的范围中均匀 取样。
不管特征如何， CM 描述子对旋转非常敏感， 其与它的理论性质一致。当 RC 描述子 使用各向异性特征时 RC 描述子对于旋转非常敏感， 并且对于各向同性特征变成不变的， 且 增加显著性能。再次， 这与它的性质一致。不管特征如何， CMI 和 RM 描述子是最好的执行 器。它们通过从 ΦA 切换到 ΦI 改善， 并且它们示出对旋转变化的有限敏感度 ( 即使当使用 ΦA 时它们不是旋转不变的 )。
分 析 了 对 于 下 列 特 征 池 的 CMI 描 述 子 的 性 能 ：
并且分析了ΦC 是各向同性的， 其使 CMI 和 RM 旋转不变， 并且其解释它们的良好性其解释较差的性能和对旋转更大的敏感度。当 ΦC 增加有 Φg 能。相反， Φg 是各向异性的， 以形成 ΦA 时， 既没有观察到显著的性能提高也没有观察到退化。这解释 CMI 和 RM 的相对 良好的性能， 其是由于 R、 G 和 B 图像特征的优势度。当 ΦI 分解时， 注意 Φs 是各向同性的， 从而 CMI 和 RM 是旋转不变的， 并且具有甚至超过 Φc 的情况的性能。因此， 当 Φc 增加有 Φs 以形成 ΦI 时， 获得最佳性能。该分析强调增加特征池 Φs 的重要性， 其已经证明比增加 Φg 更有效。
使用来自在 0° 旋转的序列的用于训练的正和负样本， 并且来自在 20°、 45°、 65°和 90°旋转的序列的样本用于测试。这是更富有挑战的场景， 因为验证用实际旋转图 像数据完成， 该数据包括将影响描述子计算的新的噪声源。
描述子一般完全如同它们对于合成旋转测试样本的情况所做的那样表现， 其中具 有对摄像机旋转的敏感度的增加。特别地， 存在 RC 描述子的平均性能的清楚的退化 ( 即使 在具有各向同性特征时 )。最终， 具有各向同性特征的 CMI 似乎仅经历轻微的性能下降， 而 RM 表现为对该合成的到实际数据的切换是最免疫的。
使用来自在 0°旋转的序列的用于训练的正和负样本， 连同正和负合成旋转样本 ( 用于训练 )， 并且来自在 20°、 45°、 65°和 90°旋转的序列的样本用于测试。 利用 ΦA， 每个描述子提高性能， 对于 RC 是明显的以及对于 CM 甚至更多。假定它 们对摄像机旋转的敏感度 ( 现在由更丰富的训练数据集而平滑 )， 这是预期的。 利用 ΦI， CM 显著改善。因为 RC、 CMI 和 RM 假定为旋转不变的， 它们的性能仅经历较小的变化。总的来 说， 即使利用包括每个可能旋转的训练， CM 和 RC 描述子被 CMI 描述子胜过， 并且甚至被 RM 描述子胜过更多。
表2
表 2 示出在 ROC 下的面积和 RC、 CM、 CMI 和 RM 描述子之间的比较。作为综合性能 参数， 表 2 提供具有由于摄像机旋转的对应的标准差 σAROC 的 ROC 曲线下的面积， AROC( 即 AROC±σAROC)。较高的 AROC 暗示以相同的假正率的较高的真正率， 并且因此暗示更好的性能。 该表证实具有各向同性特征的 CMI 和 ( 甚至还有 )RM 描述子是最好的执行器。
分类器仅用来自在 0°旋转的序列的样本训练。由于空间限制， 仅示出具有各向
同性特征的 RC、 CMI 和 RM 描述子的结果。图像表达 RM 描述子关于摄像机旋转的优良鲁棒 性。 注意仅检测在公路上的车辆， 并且这是因为在训练序列中， 在公路外面的面积用于产生 负样本。 注意如果与用于 RC 描述子的 SVM( 其要求协方差矩阵之间的测地距的计算 ) 比较， 线性 SVM 的使用在训练和测试期间提供 10 倍加速改进。
注意尽管图 2A-2D 示出来自静态摄像机的图像， 检测器不利用运动信息， 并且可 以当摄像机移动时使用， 而不需要视频配准。
最终， 在该工作中， 不变性采用两种方式处理 ： (a) 通过将它们纳入描述子设计， 和 (b) 通过产生人为变换的样本将它们纳入 SVM。发现 (a) 比 (b) 更有效。
它减小从不同视角采集训练数据的负荷， 减小数据处理量， 并且同时产生独立于 视角变化的鲁棒性能。
本发明的方面提出新的一类外观描述子， 其基于应用于图像特征的采集的图像矩 的想法。 通过仔细设计图像矩和图像特征， 设计尺度和旋转不变外观描述子是可能的， 还可 以使其对于照明变化是鲁棒的。利用积分表示以设计快速程序以计算这些描述子， 并且发 现它们具有吸引人的计算复杂性性质。就其本质而言， 描述子存在于欧几里得几何和线性 分类器足以有效利用它们用于分类目的的空间中。 进行大量的实验以确定哪个描述子对尺 度和旋转变化是最鲁棒的， 并且发现基于径向矩的最好的那个显著胜过用于在空中视频中 车辆检测的流行的区域协方差描述子。 根据本发明的方面的那类描述子可以在例如实时人 检测和对象类别识别等许多其他应用中成为有效的构造块。 参照图 1， 示出根据本发明的实施例的用于分析对象的系统或系统 10 的高空示意 图。系统 10 包括与摄像机系统 110 互相配合并且从其接收多个图像的计算机 20。在实施 例中， 该摄像机系统 110 可包括至少一个空中摄像机 ( 例如， 固定到直升机等 )102， 至少一 个固定或静止摄像机 104 和至少一个云台变焦 (PTZ) 摄像机 106。在该摄像机系统 110 中 描绘的摄像机的数量和类型在本发明下不意味限制。显然， 可根据本发明的方面采用其他 数量、 类型、 位置。
参照图 1 和 3， 系统 10 和它的计算机 20 能够最终分析从摄像机系统 100 接收的图 像中的对象。图像中的每个包括多个像素。图像可包括一个或多个图像区域。
计算机 20 包括用于识别、 检测和 / 或归类一个或多个在接收的图像或图像区域中 的对象的对象分析器 22。该对象分析器 22 可包括特征池模块 24、 矩池计算器 30 和规范化 描述子模块 40。
如在图 3 中示出的， 在计算机 20 中的对象分析器 22 从摄像机系统 110 接收至少 一个具有多个像素的图像。该对象分析器 22 将在进入分析在图像中的对象时最终找到或 计算 RM、 CMI 和 / 或 CM 中的至少一个。
如果对象分析器 22 在从摄像机系统 110 接收图像后计算 RM， 特征池模块 24 然后 对图像中的多个像素中的每个像素计算特征池。 对象分析器 22 也计算图像的几何中心。 矩 池计算器 30 从特征池和计算的几何中心导出特征的径向矩池。规范化描述子模块 40 然后 基于导出的特征径向矩池计算规范化描述子， 如在方程 8 中示出的。
如果对象分析器 22 在从摄像机系统 110 接收图像后计算 CMI， 特征池模块 24 然后 对图像中的多个像素中的每个像素计算特征池。矩池计算器 30 从特征池导出特征的中心 矩池。规范化描述子模块 40 然后基于导出的特征中心矩池计算规范化描述子， 如在方程 7
中示出的。
如果对象分析器 22 在从摄像机系统 110 接收图像后计算 CM， 特征池模块 24 然后 对图像中的多个像素中的每个像素计算特征池。对象分析器 22 也计算图像的面积。矩池 计算器 30 从特征池和计算的面积导出特征的中心矩池。规范化描述子模块 40 然后基于导 出的特征中心矩池和图像的面积计算规范化描述子。
取决于计算规范化描述子 ( 例如， RM、 CMI、 CM) 中的哪个， 已经进一步确定在计算 RM 的情况下， 当特征池是各向同性时， 那么导出的特征径向矩池是旋转不变的 ； 并且特征 的径向矩池的导出可以是用户可选择的顺序。相似地， 在计算 CMI 的情况下， 当特征池是各 向同性时， 那么导出的特征中心矩池也是旋转不变的 ； 并且特征的中心矩池的导出具有固 定的顺序。 同样， 在计算 CM 的情况下， 特征池是各向同性的 ； 并且特征的中心矩池的导出可 是用户可选择的顺序。
在任何情况下， 一旦规范化描述子由规范化描述子模块 40 计算， 那么计算机 20 能 够比较规范化描述子与图像和数据的库以便使用现在已知或以后开发的方法在接收的图 像、 多个图像、 图像区域和 / 或多个图像区域中进行下面其中之一 ： 识别、 检测和 / 或归类对 象。
计算机科学领域内技术人员将能够结合如描述创建的软件与适当的通用或专用 计算机硬件， 例如微处理器， 以创建实施本发明的实施例的计算机系统或计算机子系统。 根 据本发明的实施例的设备或系统可是一个或多个处理系统， 其包括但不限于中央处理单元 (CPRU)、 存储器、 存储装置、 通信链路和装置、 服务器、 I/O 装置， 或是一个或多个处理系统 ( 其包括本发明的实施例 ) 的任何子部件， 包括软件、 固件、 硬件或其的子集的任何组合。
本发明的实施例的计算机程序产品在计算机系统上是可执行的， 用于使计算机系 统执行发现社会网络的方法， 其包括本发明的发现方法。 计算机系统包括微处理器、 输入装 置、 显示单元和到互联网或例如以太网和内联网等网络的接口。 微处理器连接到通信总线。 计算机还包括存储器。该存储器可包括随机存取存储器 (RAM) 和只读存储器 (ROM)。计算 机系统进一步包括存储装置。该存储装置可以是硬盘驱动器或例如软盘驱动器、 光盘驱动 器等可拆卸存储驱动器。 该存储装置还可以是用于装载计算机程序或其他指令进入计算机 系统的其他相似工具。计算机系统还包括通信单元。该通信单元允许计算机通过 I/O 接口 连接到其他数据库和互联网。该通信单元允许数据从其他数据库的传送以及接收。该通信 单元可包括调制解调器、 以太网卡或任何相似的装置， 其使计算机系统能够连接到数据库 和例如 LAN、 MAN、 WAN 和互联网等的网络。计算机系统便于通过输入装置 ( 通过 I/O 接口可 访问系统 ) 来自用户的输入。各种模块也可采用硬件单元的形式。
计算机系统执行存储在一个或多个存储元件中的指令集以处理输入数据。 该指令 集可是程序指令工具。该存储元件还可按期望容纳数据或其他信息。该存储元件可采用在 处理机中存在的信息源或物理存储器的形式。
指令集可包括指示处理机执行例如构建本发明的方法的实施例的步骤等特定任 务的各种命令。指令集可采用软件程序的形式。此外， 软件可采用独立程序的集合、 具有较 大程序的程序模块或程序模块的一部分的形式。 软件还可包括采用面向对象程序设计形式 的模块化程序设计。由处理机对输入数据的处理可响应于用户命令、 之前处理的结果或由 另一个处理机做出的请求。因此， 根据本发明的一个实施例， 用于分析图像中的对象的计算机化方法， 其中该 图像从摄像机系统获得， 所述计算机化方法包括 ： 从该摄像机系统接收至少一个具有多个 像素的图像 ； 对该多个像素中的每个像素计算特征池 ； 导出下列中的一个 ： 来自该特征池 的特征的径向矩池的和该至少一个图像的几何中心 ； 和来自该特征池的特征的中心矩池 ； 基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中的一个， 计算 规范化描述子 ； 并且基于该规范化描述子， 计算机则进行下列中的至少一个 ： 识别在该至 少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对象 ； 以及将在该至 少一个图像中的至少一个对象归类。
根据本发明的另一个实施例， 用于分析图像中的对象的计算机化方法， 其中该图 像从摄像机系统获得， 所述计算机化方法包括 ： 从该摄像机系统接收至少一个具有多个像 素的图像 ； 对该多个像素中的每个像素计算特征池 ； 从该特征池导出特征的中心矩池 ； 基 于该特征中心矩池， 计算中心矩不变量池 ； 基于该至少一个图像的面积和该特征中心矩池， 计算规范化描述子 ； 并且基于该规范化描述子， 计算机则进行下列中的至少一个 ： 识别在 该至少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对象 ； 以及将在 该至少一个图像中的至少一个对象归类。
根据本发明的另一个实施例， 具有提供用于分析图像中的对象的方法的计算机可 执行指令的计算机可读介质， 其中该图像从摄像机系统获得， 所述方法包括 ： 从该摄像机系 统接收至少一个具有多个像素的图像 ； 对该多个像素中的每个像素计算特征池 ； 导出下列 中的一个 ： 来自该特征池的特征的径向矩池的和该至少一个图像的几何中心 ； 和来自该特 征池的特征的中心矩池 ； 基于该至少一个图像的面积和导出的特征径向矩池和导出的特 征中心矩池中的一个， 计算规范化描述子 ； 并且基于该规范化描述子， 进行下列中的至少 一个 ： 识别在该至少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对 象； 以及将在该至少一个图像中的至少一个对象归类。
根据本发明的另一个实施例， 用于分析在图像中的对象系统， 其中该图像从摄像 机系统获得， 所述系统包括 ： 用于从该摄像机系统接收至少一个具有多个像素的图像的系 统； 用于对该多个像素中的每个像素计算特征池的系统 ； 用于导出下列中的一个的系统 ： 来自该特征池的特征的径向矩池的和该至少一个图像的几何中心 ； 和来自该特征池的特征 的中心矩池 ； 基于该至少一个图像的面积和导出的特征径向矩池和导出的特征中心矩池中 的一个， 用于计算规范化描述子的系统 ； 和基于该规范化描述子， 进行下列中的至少一个的 系统 ： 识别在该至少一个图像中的至少一个对象 ； 检测在该至少一个图像中的至少一个对 象； 以及将在该至少一个图像中的至少一个对象归类。
本发明已经在优选实施例方面描述， 并且认识到除明确说明的那些之外的等同 物、 备选项和修改是可能的并且在附上的权利要求的范围内。
部件列表
22 对象分析器 24 特征池模块
30 矩池计算器 40 规范化描述子模块
50 景观 52 桥 / 障碍
54 路 / 公路 60 拖拉机挂车
62 汽车 64 SUV14101996315 A CN 101996320
说明书72 第一对象 110 摄像机系统 104 固定摄像机 20 计算机13/13 页70 74 102 106 10图像 / 空中图像 第二对象 空中摄像机 PTZ 摄像机 基于摄像机的对象分析系统