一种基于凸优化的多核学习新算法.pdf

多核学习(MKL)的最优化问题由经验风险、正则项两部分组成，其解的稀疏性取决于正则项中的权值范数。多核学习(MKL)通过多种核函数的组合，实现了对多种特征集合的表示，有利于对多源数据的处理。本发明提出的非稀疏多核学习，采用凸优化学习算法，在组内的核函数采用l1范数，相当于仅选择最重要的核函数进行组合，以提升稀疏性；在组间采用l2范数，相当于平等地选择处于不同子空间的核函数，以提高学习和预测的精度。这种非稀疏多核学习问题采用，Mirro-Descent(MD)方法求解，达到了既提高学习精度，又提高学习速度的目的。

权利要求书
1.  发明的一种基于凸优化的多核学习新算法，采用一种凸优化方法，这种方法既能提高多核 学习的精度，又能提高多核学习的速度。

2.  权利要求1所述的一种基于凸优化的多核学习新算法，其特征在于：利用Mirro-Descent(MD) 方法来求解。

3.  权利要求1所述的一种基于凸优化的多核学习新算法，其特征还在于：在辅助优化问题的 每一步迭代中，利用Bregman距离函数，取代欧几里德(Euclidean)距离函数。

说明书一种基于凸优化的多核学习新算法
一、技术领域
本发明属于智能控制与建模领域，涉及多核学习(Multiple Kernel Learning，MKL)、 最优化算法等方法。
二、背景技术
多核学习是一类灵活性更强的基于核的学习方法。近来的理论和应用已经证明，利用 多核代替单核能增强决策函数的可解释性，并能获得比单核模型更优的性能。在多核框架 下，样本在特征空间中的表示问题，就转化成为基本核与权系数的选择问题。这里首要的 问题就是如何得到这个组合的特征空间，也就是如何学习得到权系数。确定了核函数及其 组合系数，MKL就转化成标准的支持向量机问题。因此，MKL的研究内容主要包括，确定 核函数及其组合系数的最优化问题，以及最优化问题的求解算法两部分。
多核学习(MKL)通常可以转化为半定规划问题来求解。对于一些规模较小的数据集， MKL不会遇到太大的障碍。但对于一些大规模问题，由于涉及到多核矩阵的快速求解、高 维多核矩阵的分解等，半定规划求解算法效率非常低。Bregman在设计、分析可行性和优 化问题的算法的过程中，通过使用Bregman距离函数，首创了优美而有效的Bregman优化 方法。Bregman优化方法是当前算法理论中重要的研究课题。
三、专利内容：
1、专利目的
发明一种基于Bregman距离的非稀疏多核学习方法，这种方法既能提高多核学习的精 度，又能提高多核学习的速度。
2、技术解决方案
本发明提出的非稀疏多核学习，在组内的核函数采用l1范数，相当于仅选择最重要的 核函数进行组合，以提升稀疏性；在组间采用l2范数，相当于平等地选择处于不同子空间 的核函数，以提高学习和预测的精度。这种最优化问题，是一种非光滑的凸优化问题，本 发明提出利用Mirro-Descent(MD)方法来求解。
四、具体实施方式
Mirro-Descent(MD)方法类似于最速下降算法，但是关键之处是，在辅助优化问题的 每一步迭代中，利用Bregman距离函数，取代欧几里德(Euclidean)距离函数。Bregman 距离函数利用单纯形的几何性质，导致MD方法在单纯形直积(Product of Simplices) 上进行优化，因此，相比简单多核(SimpleMKL)等方法，具有非常高的运算效率。因此， 对于弹性多核学习的算法研究，关键是构造能作为Bregman距离的具体函数。
MKL的最优化问题由两部分组成：Remp(w)为经验风险，用 以拟合样本数据。Ω(w)为正则项，用以限制决策函数的复杂度。具体来说，假设给定的 N个样本其中xi属于输入空间，yi属于输出空间。对于回归问题yi∈R。对 于核函数km的Gram矩阵为Km＝(km(xi，yi))i，j，Hm为相应的再生核希尔伯特空间，并假 设Km正定。首先考虑固定核权值的学习问题。对于M个非负核权d1，d2，L dM，组合核 的核矩阵则决策函数的l2范数的形式为

则固定核权值的MKL问题归结为

其中b是决策函数的阈值。对回归问题的损失函数l(yi，f)为max(|y-f|，0)。此最优化 问题的目标函数与核权值dm成反比，因为核权值dm相应于决策函数第个m个分量fm的复 杂度。所以需要对核权值dm进行正则限制，否则会产生过拟合。因此在优化问题的目标 函数上加一个对dm的惩罚项，则上式第二项变为
C 2 Σ m = 1 M ( | | f m | | H m 2 d m + d m ) - - - ( 3 ) ]]>
上式可对dm求最小值，进行化简后，则上述最优化问题变为

此最优化问题具有块l1范数的形式，解具有稀疏性。为了得到非稀疏性的解，考虑对dm进 行单纯形约束，即

在此基础上，为了取得正则项为l1范数与lp范数混合形式，考虑最优化问题

其中这种混合范数的最优化问题，就是弹性MKL的一般框架。l1范数MKL和lp范数MKL都可以由它来表示，从而更有利于借鉴已有的算法进行求解，也可在此框架下 构建效率更高的求解算法。当取
| | f | | p = τ | | f | | l 1 + ( 1 - τ ) | | f | | l 2 - - - ( 7 ) ]]>
时，正则项就是l1范数和l2范数的混合，因为
| | f | | p = τ Σ m = 1 M | | f m | | H m + ( 1 - τ ) ( Σ m = 1 M | | f m | | H m 2 ) 1 2 - - - ( 8 ) ]]>
只要选择不同的τ，就可以在稀疏性和精度之间做不同的折衷。一般来说τ根据实际应 用的需要进行选取。但更重要的寻求数据依赖的自动选取的方法，以达到稀疏性和精度 之间的最优。
利用MD方法的关键之处是构造Bregman距离函数。考虑如下的最优化问题：
minf(x)  x∈X      (9)
其中X∈Rn是具有非空内点的凸闭集，目标函数f：X→R具有Lipschitz连续性，即 满足|f(x)-f(y)|≤L||x-y||。f对于给定的任意x∈X存在能够计算f(x)和f′(x) 的预报。这个优化问题，经典的次梯度投影算法(SPA)采用迭代的方式求解：
xt+1＝πX(xt+1-stf(xt))      (10)
其中st是步长， π X ( y ) = arg min x ∈ X { | | x - y | | 2 } ]]>是x在X上的投影。这个迭代公式经过变 形可以等价地表示为
x t + 1 = arg min x &Element; X { < x , s t f ′ ( x t ) > + | | x - x t | | 2 2 2 } ]]>
MD方法的主要思想是把欧几里德距离范数用更一般的距离函数D(x，xt) 来代替。替代之后迭代公式变为
x t + 1 = arg min x &Element; X { < x , s t f ′ ( x t ) > + D ( x , x t ) } - - - ( 12 ) ]]>
一个D(x，xt)可能的构造方法是，令映射Φ：X→R，对于任意参数σ＞0满足
< &dtri; Φ ( x ) - &dtri; Φ ( y ) , x - y > &GreaterEqual; σ | | x - y | | 2 , &ForAll; x , y &Element; X - - - ( 13 ) ]]>
则 B Φ ( x , y ) = Φ ( x ) - Φ ( y ) - < x - y , &dtri; Φ ( t ) > - - - ( 14 ) ]]>
迭代公式变为
x t &LeftArrow; &dtri; Φ * ( y t ) y t + 1 &LeftArrow; &dtri; Φ ( x t ) - s t f ′ ( x t ) x t + 1 &LeftArrow; &dtri; Φ * ( y t + 1 ) = &dtri; Φ * ( &dtri; Φ ( x t ) - s t f ′ ( x t ) ) - - - ( 15 ) ]]>
使用这个迭代公式可以有效的求解最优化问题(1)。同时也需要满足一定的使用条件。例 如，对于用于回归的ε-不敏感损失函数，首先要把MKL优化问题转化为其对偶问题，即 Mirro-Descent(MD)是在对偶问题中求解的。应用该公式还必须满足优化函数是凸函数， 并且具有Lipschitz连续性。对弹性MKL的优化问题，可以转换成满足这些条件的等价 公式。