一种基于纹理与几何属性联合模型的室内对象解析方法.pdf

本发明涉及一种基于纹理与几何属性联合模型的室内对象解析方法，首先估计图像中的静态区域，然后采用滑动窗口，在静态区域，计算联合模型的纹理属性和滑动窗口内的图像纹理属性的相似度，从而得到测试图像中对象的概率图，图像每个像素的数值表示该点属于对象的概率；利用过分割算法得到图像的超像素集，结合上一步得到的概率图就能够提取图像中对象的语义分割；最后，方法结合联合模型的几何属性、语义标记和图像中的线分割，利用能量最小化方式估计图像中对象的有向包围面，即对象的几何属性。本发明可以广泛应用于机器人、监控等计算机视觉系统的室内场景对象解析、场景理解和三维重建。

权利要求书
1.   一种基于纹理与几何属性联合模型的室内对象解析方法，其特征在于该方法包括以下步骤：
步骤（1）构造联合模型，所述联合模型由多个包含纹理和几何属性的模板组成；
步骤（2）对图像进行预处理，得到图像的过分割结果、图像的纹理地图、场景空间布局和场景中的线分割；
步骤（3）利用滑动窗口，求解图像中对象的概率图，概率图中每个像素点的值表示该像素点属于对象的概率；
步骤（4）针对当前的联合模型，选出图像中对象属于联合模型中哪一种模板中的对象，结合图像预处理得到的过分割结果，从概率图得到对象在图像中的语义分割结果，语义分割结果为一张二值图像，像素点为1表示该点是对象，否则为0表示背景区域；
步骤（5）图像中，相邻接且具有相同斜率、两侧纹理相似的两条线段首尾相连构成长线段，而同斜率且端点位置相近的两条线段能合并为一条线段，根据以上规则，定义一种线段合并算法，处理图像预处理得到的线分割，并根据语义分割结果选出有效线分割集；
步骤（6）对象的几何属性由有向包围面的顶点表示，因此每个有向包围面的属性可以由构成该面的顶点坐标计算，构成每个面的四条边的属性可以由该边的两个顶点表示；这样，方法能够利用对象有向包围面的顶点坐标公式化对象的各种几何属性；
步骤（7）由于对象的几何属性都是由有向包围面的顶点表示，因而，能量最小化公式中的变量都由这些顶点坐标表示，则能量最小化公式中的未知量仅为对象有向包围面的顶点坐标，这样，当得到解时，解就是有向包围面顶点的坐标解，即得到图像有向包围面估计。

2.   根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（1）中所述的联合模型是由多个该对象的模板组成的整体模型，每个模板分为纹理和几何属性两部分；对于一个对象，首先将对象按照几何形态分类，即分为多种模板；每个模板又是由多张图像的纹理和几何属性构建而成，纹理属性通过对图像边界地图进行滤波器处理得到，几何属性由对象的有向包围面表示。

3.   根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（2）中的对图像进行过分割得到图像的超像素集，每个超像素里所包含的像素认为属于同一个语义；纹理地图的得到要首先提取图像中的边界，再用一定尺度的方格划分边界图，最后对边界图中每个方格进行滤波处理得到图像的纹理地图；场景空间布局即定义地面、墙、天花板、对象几种空间类型，利用分类器求解出图像每个像素属于那种空间类型；线分割即对图像求出存在的所有线段，存储方式为线段的两个端点和线段所在的直线方程。

4.   根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（3）中如果滑动窗口区域的纹理属性与模板纹理属性相似则认为该窗口包含对象的可能性就较大，即概率值就较大，将整个窗口比较得到的概率值叠加到窗口包含的所有像素上，当滑动窗口扫过整张图像后，就得到在该模板下，每个像素是该模板中的对象的概率值。

5.   根据权利要求3所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（4）中首先利用一种投票策略选出图像中的对象最接近哪个模板中的对象；由于认为每个超像素集包含的像素点应该属于同种语义，即要么整个超像素为对象，要么为背景，针对选出的模板下得到的概率图，取平均概率大的超像素块为对象其余为背景就得到整张图像的对象语义分割结果。

6.   根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（5）中定义一种线段合并算法，一方面，针对首尾相连且具有相同斜率、两侧图像纹理相似的两条线段，算法分别取两条线段距另一条线段最远的端点，连接这两个端点即合并两条线段为一条更长的线段；另一方面，对于两条不属于上一种情况，但具有同斜率且存在至少一个对端点位置相近时，认为两条线段中较长的线段可以包含较短线段在图像中所要表达的属性，即较短的线段为无效线段，因此去掉较短的线段；这样就完成了图像中线段的合并，再选出语义分割区域中出现的线段，这些线段是能够指导对象有向包围面估计的有效线段集。

7.   根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（6）中对象的几何属性由有向包围面的顶点表示，一方面，每个有向包围面的属性包括位置和面积，位置直接由该面的四个顶点表示，面积通过四个顶点的坐标利用数学公式求解；另一方面，有向包围面的每条边的属性为该边的斜率、长度和端点位置，同样通过构成该边的两个顶点坐标求解。

8.   根据权利要求1所述的基于纹理与几何属性联合模型的室内对象解析方法，其特征在于：步骤（7）中的能量最小化求解，一方面，通过世界坐标和图像坐标间的转换关系得到，图像场景的对象上的点坐标等于联合模型中对象上的点坐标乘以一个变换矩阵，另一方面，能量最小化的公式中所有的未知量都可以由对象有向包围面的顶点坐标表示，则顶点坐标就是能量最小化公式中唯一的变量；因此使用联合模型中对象有向包围面的顶点坐标作为能量最小化求解过程中的初始解，就能够快速推导出测试图像中对象几何属性，即其有向包围面的顶点坐标。

说明书一种基于纹理与几何属性联合模型的室内对象解析方法 
技术领域
本发明涉及计算机视觉和图像场景理解领域，具体地说是基于纹理与几何属性联合模型的室内对象解析方法。 
背景技术
场景理解包含场景语义分割和几何属性估计，该问题是计算机视觉领域中一个基本且重要的研究问题。过去的科研成果多关注与室外场景的处理，而室内场景由于其多变性、对象的杂乱性及对象间缺少能够互相区分的特征等原因，使得室内场景理解得到较少的关注。目前对于室内场景理解主要借助于Kinect捕获二维图像和场景深度图像。通过深度信息使得问题变得更容易解决。此外，还有利用模型或者数据驱动的方法对室内场景进行场景语义分割和对象识别，其中先验知识对结果求解起到了很重要的作用。 
目前，有一些学者提出了利用语法解析和图形解析的方法进行图像场景理解，他们提出一些具有代表性的单元辅助研究，如利用几何块、平面或者线分割来推断形状和几何属性。2010年，Gupta等人将场景解析为由语义分割、深度顺序、几何估计和支撑关系组成三维图结构。但是该方法仍然关注室外场景而不是室内场景。2010年Hedau等人提出一种用三维的立方体表示室内场景中对象的方法。他们假设包含对象的立方体应有一个方向的面是平行于墙面的，基于这种假设他们估计整个房间场景的朝向。2010年Lee等人利用具有体积的正方体生成整张图像的场景和对象的几何假设。他们不识别对象的语义但是估计出对象的空间布局并用正方体堆出大约的三维立方体。2012年，Hedau等人对沙发、椅子等对象的三维立方体结构扩展靠背这一几何面，因此能够检测特定的对象，并使用向量机分类器思想从多个对象假设中提取正确结果。 
以上这些研究现状表明，尽管该领域的学者关注室内场景的理解，但只关注于场景中几何属性的推导，不能识别出对象的语义分割，且仅能用几种普遍的单元表示对象，限制了方法在单元变化较大时的场景理解能力。从以上研究发展趋势可以看出，利用场景中的线分割信息能够有效的指导场景中对象的面估计，且室内对象大都能转化为由面组成的结构体。因此，本发明的工作是构造纹理和几何属性联合的联合模型，再利用联合模型解析室内场景对象的语义分割和有向包围面估计。 
发明内容
根据上述需求，为了克服现有技术的不足，本发明的目的在于：提供基于纹理与几何属性联合模型的室内对象解析方法，该方法能够得到室内图像场景中对象的语义分割结果和有向包围面估计。为完成发明目的，本发明采用的技术方案是：基于纹理与几何属性联合模型的室内对象解析方法，该方法包含以下步骤： 
步骤（1）构造联合模型，所述联合模型由多个包含纹理和几何属性的模板组成； 
步骤（2）对图像进行预处理，得到图像的过分割结果、图像的纹理地图、场景空间布局和场景中的线分割； 
步骤（3）利用滑动窗口，求解图像中对象的概率图，概率图中每个像素点的值表示该像素点属于对象的概率； 
步骤（4）针对当前的联合模型，选出图像中对象属于联合模型中哪一种模板中的对象，结合图像预处理得到的过分割结果，从概率图得到对象在图像中的语义分割结果，语义分割结果为一张二值图像，像素点为1表示该点是对象，否则为0表示背景区域； 
步骤（5）图像中，相邻接且具有相同斜率、两侧纹理相似的两条线段首尾相连构成长线段，而同斜率且端点位置相近的两条线段能合并为一条线段，根据以上规则，定义一种线段合并算法，处理图像预处理得到的线分割，并根据语义分割结果选出有效线分割集； 
步骤（6）对象的几何属性由有向包围面的顶点表示，因此每个有向包围面的属性可以由构成该面的顶点坐标计算，构成每个面的四条边的属性可以由该边的两个顶点表示；这样，方法能够利用对象有向包围面的顶点坐标公式化对象的各种几何属性； 
步骤（7）由于对象的几何属性都是由有向包围面的顶点表示，因而，能量最小化公式中的变量都由这些顶点坐标表示，则能量最小化公式中的未知量仅为对象有向包围面的顶点坐标，这样，当得到解时，解就是有向包围面顶点的坐标解，即得到图像有向包围面估计。 
进一步的，本发明首先构造由多个模板组成的联合模型，每个模板分为纹理和几何属性两部分，每个模板由多张训练图像构成。对于一张用于构建模板的图像，提取图像的边界图，并将该图分为由多个尺度的格子构成的块结构，对每个格子内的边界信息进行Gabor滤波，将滤波结果作为每个格子的纹理特征，对一种尺度，有序排列该尺度下的所有格子的纹理特征作为该尺度下的纹理地图，存储所有尺度下的纹理地图即为该图像的纹理属性；再对测试图像中对象标记各个有向包围面的顶点，并记录每个有向包围面的四个顶点顺序，以此作为图像中对象的几何属性；模板的纹理和几何属性包括属于该模板的所有图像的纹理与几何属性，联合模型即所有模板的并集。 
本发明对需要检测的测试图像进行过预处理，利用现在已成熟的过分割算法得到测试图 像的超像素集，超像素数量级在500个左右；利用Canny边缘检测算法提取测试图像中所有可能的边界，然后将测试图像切分为由固定边长的格子组成的块结构，对每个格子内的边界信息进行Gabor滤波，滤波结果作为该格子的纹理特征，所有格子纹理特征依次排列存储作为本发明中测试图像的纹理地图；利用一种已有的室内场景空间布局方法对测试图像每个像素点分类求出该像素属于天花板、地面、墙和对象四种布局中的哪种布局；用Canny方法检测测试图像中存在的所有线分割并记录下每条线分割的端点及其所在直线的方程作为方法预处理得到的线分割集。在方法后面的求解过程中，过分割得到的超像素集限制同一个超像素中所有的像素点应该有一样的语义分割结果，和纹理地图、空间布局同时应用于语义分割求解过程中，而线分割集用于对象有向包围面的估计。 
本发明采用滑动窗口思想，根据当前模板的纹理地图的长宽比设置当前窗口的大小，既保证当前窗口和模板的纹理地图包含相同尺寸的纹理属性块结构，这样比较时只需要计算对应块之间的纹理特征相似度，由于纹理特征相似度此时为一个向量，因此用向量的平方和作为该窗口的纹理地图和模板的纹理地图的相似度，当相似度高时说明该窗口出现对象的概率高，相反则概率较低，因此方法用归一化的纹理相似度作为窗口中包含对象的概率大小，每次比较后将当前窗口的平均概率叠加到窗口内的每个像素点上。当窗口从图像由左到右则上而下扫过后，每个像素点的值就是该点是否为对象的概率值。叠加测试图像跟模板下所有纹理地图的比较结果再归一化，就得到图像为该模板中对象的概率图。 
投票策略首先求解图像在所有模板下的概率图的平均概率图，然后计算每张模板概率图与平均概率图的差异，取差异最小的模板为目标模板，即认为对象呈现的几何属性与该目标模板中对象的几何属性最为相似，如针对床来说，当选出的模板为左朝向时，认为测试图像中的床也是左朝向的。然后结合预处理已经得到的超像素集，对整张图计算每个超像素集内的平均概率，设定一个阈值，一个超像素的平均概率值大于这个阈值时则该超像素认为属于对象，否则为背景区域，将该超像素的属性赋给其内的每个像素点，如此得到图像的语义分割结果，结果为一张二值图像，像素点为1表示该点为对象，否则为0表示背景。 
一方面由于图像纹理过于复杂导致的将长直线段拆散为短线段的情况，即当两条线段首尾相邻且同斜率时，认为两条线段应该将其首尾连接起来合并成更长的直线段。另一方面，由于室内场景纹理过于杂乱，因此图像进行边缘检测时，对象内部纹理常常会检测成直线线段，因此合并算法对每条线段求解其线段两侧小块区域的颜色差异，当差异较小时认为直线线段是同一对象内部的纹理线，则舍去这条线段。经过以上筛选，能够得到比较可靠的直线线段结果，再利用已经求得的语义分割，提取至少有一个端点出现在语义分割中对象区域的线段，因为只有这些线段才有可能是对象有向包围面的线段，这样就得到了方法认为的有效 线段集。 
图像对象坐标等于真实坐标系下对象坐标乘以变换矩阵，则图像间对象坐标关系为：对象B的坐标等于对象A的坐标乘以其变换矩阵的逆再乘上对象B的变换矩阵。这样我们认为图像间对象坐标可以通过一个新的变换矩阵乘以模板中对象的坐标表示。能量定义为面积属性能量项和直线属性能量项，面积属性能量项驱动有向包围面包含的像素点尽可能匹配语义分割包含的像素点，直线属性能量项使得有向包围面的边尽可能符合图像中相应位置的有效线段，由于已经有了对象有向包围面的每个顶点坐标，所以能够公式化有向包围面包含的区域和各边所在的直线表达式，因此能量计算可以通过有向包围面的顶点得到，这样，以有向包围面的顶点为未知变量，能量最小化问题的解就是对象有向包围面的顶点坐标，也就能够估计出对象有向包围面，得到其几何属性。 
与现有的技术相比，本发明有益的特点是： 
1、本发明首次提出纹理与几何属性结合的联合模型。 
2、本发明首次利用模板对象的坐标乘以变化矩阵的方式求解图像场景中对象的坐标。 
3、本发明不需要对图像估计其照相机参数不需要进行世界坐标系到图像坐标系的转换。 
4、本发明不需要消耗长时间来做分类器的训练，每个模板中一个对象的构建只是对单张图像处理。 
附图说明
图1是算法流程示意图； 
图2是纹理属性示意图； 
图3是联合模型示意图； 
图4是预处理结果示意图； 
图5是语义分割流程图； 
图6静态区域计算示意图； 
图7是有向包围面估计流程示意图。 
图8是有线分割合并算法流程示意图。 
具体实施方式
下面结合附图对本发明作详细说明。 
本发明提供基于纹理与几何属性联合模型的室内对象解析方法，方法最终求解出对象的语义分割和对象的有向包围面估计，有向包围面即构成对象的具有方向的面。联合模型是通过已有的数据集构造的纹理和几何属性结合的联合模型。方法的总体流程如下：对一张测试图像，方法首先估计图像中的静态区域，然后采用滑动窗口的思想，在静态区域，方法计算 联合模型的纹理属性和滑动窗口内图像纹理属性的相似度，从而得到测试图像中对象的概率图，每个像素的数值表示该点属于对象的概率；利用过分割得到图像的超像素集，结合上一步得到的概率图就能够提取图像中对象的语义分割；最后，方法结合联合模型的几何属性、语义标记和图像中的线分割，利用能量最小化方式估计图像中对象的有向包围面，即对象的几何属性。 
根据上述总体流程，本发明需要建立纹理和几何属性结合的联合模型。其中本发明中用纹理地图表示纹理属性，纹理地图求解如图2所示，先对图像应用Canny边缘检测方法提取图像边缘，参考特征包裹思想，方法用尺度为s的块将图像划分为H*W*s大小的块结构，然后方法对每个块用Gabor滤波器滤波，这样每个块的纹理特征就用滤波结果表示，一张块结构的滤波结果图就为一个纹理地图。由于对象的轮廓信息随着对象的朝向变化而变化，因此本发明中将每个联合模型分成多种不同方向对象构成的模板。例如，床的模型有三个模板，即左朝向、正向、右朝向，本发明中对训练集中的图像以这三种类别进行聚类，然后对每张图像,方法取五种尺度的块，分别为s={5*5|7*7|9*9|11*11|13*13}，用这五种尺度的块分别划分边缘图像得到五种块结构，再分别提取其纹理地图，这样，对每个模板而言，其纹理属性就由多个纹理地图组成。再说联合模型的几何属性，本发明假设对象是由不同朝向的面组成的。在训练集中，本发明用多个四边形表示对象的几何信息，每个四边形代表了一个面，并且方法中记录四边形的每个点并依次编号。这样对象的几何属性描述符就由这些编号的顶点表示。每个对象的每个模板包的几何属性就被聚类到该种模板下的所有图像中对象的几何属性描述符，联合模型如图3所示。 
本发明首先对测试图像进行预处理，结果如图4所示，其中包括纹理地图、过分割、空间布局和线分割，本发明中划分每张测试图像的块的尺度为9*9，不同于训练图像，这里只用一种尺度划分测试图像；测试图像过分割得到的超像素数目大约在500个左右；空间布局是通过已有的研究对图像每个像素点分类，类别包括墙、天花板、地面和室内对象；线分割是用Canny进行图像中直线线段提取，提取结果表示为线段端点和所在直线方程{<x1，y1>，<x2，y2>，<a，b，c>|ax+by+c＝0}。 
之后本发明对图像先求解其语义分割结果，流程如图5，语义分割主要采用了滑动窗口的思想，即检测时仅比较当前窗口内的图像纹理地图和当前使用的模板的纹理地图。针对当前模板中的对象，当前使用的纹理地图大小为H*W，则在测试图像的块结构上也同样选取H*W大小的滑动窗口，此时滑动窗口位置定义为其中心块的位置(h，w)。 
语义分割中对象的比较只在静态区域进行处理，静态区域的求解如图6所示。为了求解测试图像的静态区域，首先定义两个基本的概念分别为有效位置和有效区域： 
基于已经得到的图像空间布局结果，本方法首先在训练集上统计每种对象在不同空间布局出现的概率，得到的统计数据显示对象床经常出现在对象区域，而柜子往往出现在对象或者墙的区域等等。此外，本方法不考虑对象跨越图像边界的情况，即当对象仅有一部分在图像内部时本发明中的方法认为这样会致使对象的特征不足以描述对象，因此认为此时滑动窗口所在位置不为有效位置，由以上，本方法定义area_spt表示滑动窗口内空间布局i所占滑动窗口总面积的百分比,ρi表示在训练集上统计对象内部空间布局i所占的百分比，即先验知识，area表示窗口在图像内部的面积占总窗口面积的百分比，则有效位置为： 

如图6中计算有效位置后图像上黑色点阵表示所有有效的位置，半透明的白色区域表示所有有效位置的窗口覆盖的区域。之后方法需要求解在每个有效位置的有效区域，如图6所示，一个在有效位置的滑动窗口内，并不是每个块都能只属于对象或者只属于背景区域，好比床和床头柜由于相邻而出现在同一个块中，这种块我们认为掺杂了噪声，这种会干扰对象检测的块需要剔除。由于方法对测试图像进行了过分割，而普遍认为过分割得到的每个超像素内的像素应该属于同种语义，因此当超像素大部分区域并不包含在滑动窗口内时方法认为该超像素并不属于当前窗口内的对象，因此方法在这里剔除以上情况的超像素。之后，对于滑动窗口内的每个块，当块内的像素点非常少时，方法认为这些块不再具备纹理属性，因而需要去除这些块。这样，最后滑动窗口内剩余的块就是当前滑动窗口的有效区域。到此为止，所有有效位置上的有效区域就是本发明中使用的静态区域，方法只在静态区域进行对象的检测。 
本发明利用当前滑动窗口内有效区域的纹理地图和模板的纹理地图之间的相似度表示对象在该滑动窗口出现的概率。假设当前的模板的纹理地图尺寸是H*W，那么当前滑动窗也取尺寸为H*W。之后计算对象在当前滑动窗口内的概率：