小球大间隔模型存在的对偶问题

软间隔

在上文当中我们说了，在实际的场景当中，数据不可能是百分百线性可分的，即使真的能硬生生地找到这样的一个分隔平面区分开样本，那么也很有可能陷入过拟合当中，也是不值得追求的。

因此，我们需要对分类器的标准稍稍放松，允许部分样本出错。但是这就带来了一个问题，在硬间隔的场景当中，间隔就等于距离分隔平面最近的支持向量到分隔平面的距离。那么，在允许出错的情况下，这个间隔又该怎么算呢？

为了解决这个问题，我们需要对原本的公式进行变形，引入一个新的变量叫做松弛变量。松弛变量我们用希腊字母U0001d709

ξ

来表示，这个松弛变量允许我们适当放松$y_i(omega^T x_i + b) ge 1 这个限制条件，我们将它变成

这

个

限

制

条

件

，

我

们

将

它

变

成

y_i(omega^T x_i + b) ge 1-xi_i $。

也就是说对于每一条样本我们都会有一个对应的松弛变量U0001d709U0001d456

ξ

i

，它一共有几种情况。

U0001d709=0

ξ

=

0

，表示样本能够正确分类

0<U0001d709<1

0

<

ξ

<

1

，表示样本在分割平面和支持向量之间

U0001d709=1

ξ

=

1

，表示样本在分割平面上

U0001d709≥1

ξ

≥

1

，表示样本异常

我们可以结合下面这张图来理解一下，会容易一些：

松弛变量虽然可以让我们表示那些被错误分类的样本，但是我们当然不希望它随意松弛，这样模型的效果就不能保证了。所以我们把它加入损失函数当中，希望在松弛得尽量少的前提下保证模型尽可能划分正确。这样我们可以重写模型的学习条件：

min12||U0001d714||2+U0001d436∑U0001d456=1U0001d45aU0001d709U0001d456U0001d460.U0001d461.U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f)≥1u2212U0001d709U0001d456,U0001d709U0001d456≥0,U0001d456=1,2,3…,U0001d45bU0001d456=1,2,3…,U0001d45b

min

1

2

|

|

ω

|

|

2

+C

∑

i

=

1

m

ξ

i

s.t.

y

i

(

ω

T

x

i

+b)≥1u2212

ξ

i

, i=1,2,3…,n

ξ

i

≥0, i=1,2,3…,n

这里的C是一个常数，可以理解成惩罚参数。我们希望||U0001d714||2

|

|

ω

|

|

2

尽量小，也希望∑U0001d709U0001d456

∑

ξ

i

尽量小，这个参数C就是用来协调两者的。C越大代表我们对模型的分类要求越严格，越不希望出现错误分类的情况，C越小代表我们对松弛变量的要求越低。

从形式上来看模型的学习目标函数和之前的硬间隔差别并不大，只是多了一个变量而已。这也是我们希望的，在改动尽量小的前提下让模型支持分隔错误的情况。

模型推导

对于上面的式子我们同样使用拉格朗日公式进行化简，将它转化成没有约束的问题。

首先，我们确定几个值。第一个是我们要优化的目标：U0001d453(U0001d465)=minU0001d714,U0001d44f,U0001d70912||U0001d714||2+U0001d436∑U0001d45aU0001d456=1U0001d709U0001d456

f

(

x

)

=

min

ω

,

b

,

ξ

1

2

|

|

ω

|

|

2

+

C

∑

i

=

1

m

ξ

i

第二个是不等式约束，拉格朗日乘子法当中限定不等式必须都是小于等于0的形式，所以我们要将原式中的式子做一个简单的转化：

U0001d454(U0001d465)=1u2212U0001d709U0001d456u2212U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f)≤0u210e(U0001d465)=u2212U0001d709U0001d456≤0

g(x)=1u2212

ξ

i

u2212

y

i

(

ω

T

x

i

+b)≤0 h(x)=u2212

ξ

i

≤0

最后是引入拉格朗日乘子: U0001d6fc=(U0001d6fc1,U0001d6fc2,u22ef,U0001d6fcU0001d45a),U0001d6fd=(U0001d6fd1,U0001d6fd2,u22ef,U0001d6fdU0001d45a)

α

=

(

α

1

,

α

2

,

u22ef

,

α

m

)

,

β

=

(

β

1

,

β

2

,

u22ef

,

β

m

)

我们写出广义拉格朗日函数：U0001d43f(U0001d714,U0001d44f,U0001d709,U0001d6fc,U0001d6fd)=12||U0001d714||2+U0001d436∑U0001d45aU0001d456=1U0001d709U0001d456,+∑U0001d45aU0001d456=1U0001d6fcU0001d456(1u2212U0001d709U0001d456u2212U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f))u2212∑U0001d45aU0001d456=1U0001d6fdU0001d456U0001d709U0001d456

L

(

ω

,

b

,

ξ

,

α

,

β

)

=

1

2

|

|

ω

|

|

2

+

C

∑

i

=

1

m

ξ

i

,

+

∑

i

=

1

m

α

i

(

1

u2212

ξ

i

u2212

y

i

(

ω

T

x

i

+

b

)

)

u2212

∑

i

=

1

m

β

i

ξ

i

我们要求的是这个函数的最值，也就是minU0001d714,U0001d44f,U0001d709maxU0001d6fc≥0,U0001d6fd≥0U0001d43f(U0001d714,U0001d44f,U0001d709,U0001d6fc,U0001d6fd)

min

ω

,

b

,

ξ

max

α

≥

0

,

β

≥

0

L

(

ω

,

b

,

ξ

,

α

,

β

)

。

在处理硬间隔的时候，我们讲过对偶问题，对于软间隔也是一样。我们求L函数的对偶函数的极值。

对偶问题

原函数的对偶问题是maxU0001d6fc≥0,U0001d6fd≥0minU0001d714,U0001d44f,U0001d709U0001d43f(U0001d714,U0001d44f,U0001d709,U0001d6fc,U0001d6fd)

max

α

≥

0

,

β

≥

0

min

ω

,

b

,

ξ

L

(

ω

,

b

,

ξ

,

α

,

β

)

，这个对偶问题要成立需要满足KKT条件。

我们先把这个KKT条件放一放，先来看一下对偶问题当中的内部的极小值。这个极小值没有任何约束条件，所以我们可以放心大胆地通过求导来来计算极值。这个同样是高中数学的内容，我们分别计算u2202U0001d43fu2202U0001d714

u2202

L

u2202

ω

，u2202U0001d43fu2202U0001d44f

u2202

L

u2202

b

和u2202U0001d43fu2202U0001d709

u2202

L

u2202

ξ

。

求导之后，我们可以得到：

u2202U0001d43fu2202U0001d714=0u2202U0001d43fu2202U0001d44f=0u2202U0001d43fu2202U0001d709=0→U0001d714=∑U0001d456=1U0001d45aU0001d6fcU0001d456U0001d466U0001d456U0001d465U0001d456→∑U0001d456=1U0001d45aU0001d6fcU0001d456U0001d466U0001d456=0→U0001d6fdU0001d456=U0001d436u2212U0001d6fcU0001d456

u2202

L

u2202

ω

=0 →ω=

∑

i

=

1

m

α

i

y

i

x

i

u2202

L

u2202

b

=0 →

∑

i

=

1

m

α

i

y

i

=0

u2202

L

u2202

ξ

=0 →

β

i

=Cu2212

α

i

我们把这三个式子带入对偶函数可以得到：

U0001d43f(U0001d714,U0001d44f,U0001d709,U0001d6fc,U0001d6fd)=12∑U0001d456=1U0001d45a∑U0001d457=1U0001d45aU0001d6fcU0001d456U0001d6fcU0001d457U0001d466U0001d456U0001d466U0001d457U0001d465U0001d447U0001d456U0001d465U0001d457+U0001d436∑U0001d456=1U0001d45aU0001d709U0001d456+∑U0001d456=1U0001d45aU0001d6fcU0001d456(1u2212U0001d709U0001d456)u2212∑U0001d456=1U0001d45a(U0001d436u2212U0001d6fcU0001d456)U0001d709U0001d456=∑U0001d456=1U0001d45aU0001d6fcU0001d456u221212∑U0001d456=1U0001d45a∑U0001d457=1U0001d45aU0001d6fcU0001d456U0001d6fcU0001d457U0001d466U0001d456U0001d466U0001d457U0001d465U0001d447U0001d456U0001d465U0001d457

L(ω,b,ξ,α,β) =

1

2

∑

i

=

1

m

∑

j

=

1

m

α

i

α

j

y

i

y

j

x

i

T

x

j

+C

∑

i

=

1

m

ξ

i

+

∑

i

=

1

m

α

i

(1u2212

ξ

i

)u2212

∑

i

=

1

m

(Cu2212

α

i

)

ξ

i

=

∑

i

=

1

m

α

i

u2212

1

2

∑

i

=

1

m

∑

j

=

1

m

α

i

α

j

y

i

y

j

x

i

T

x

j

由于U0001d6fdU0001d456≥0

β

i

≥

0

，所以我们可以得到0≤U0001d6fcU0001d456≤U0001d436

0

≤

α

i

≤

C

，所以最后我们可以把式子化简成：

maxU0001d6fc∑U0001d456=1U0001d45aU0001d6fcU0001d456u221212∑U0001d456=1U0001d45a∑U0001d457=1U0001d45aU0001d6fcU0001d456U0001d6fcU0001d457U0001d466U0001d456U0001d466U0001d457U0001d465U0001d447U0001d456U0001d465U0001d457U0001d460.U0001d461.∑U0001d45aU0001d456=1U0001d6fcU0001d456U0001d466U0001d456=00≤U0001d6fcU0001d456≤U0001d436,U0001d456=1,2,3…,U0001d45a

max

α

∑

i

=

1

m

α

i

u2212

1

2

∑

i

=

1

m

∑

j

=

1

m

α

i

α

j

y

i

y

j

x

i

T

x

j

s.t.

∑

i

=

1

m

α

i

y

i

=0 0≤

α

i

≤C, i=1,2,3…,m

将原始化简了之后，我们再回过头来看KKT条件。KKT条件单独理解看起来有点乱，其实我们可以分成三个部分，分别是原始问题可行：

1u2212U0001d709U0001d456u2212U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f)≤0u2212U0001d709U0001d456≤0

1u2212

ξ

i

u2212

y

i

(

ω

T

x

i

+b)≤0 u2212

ξ

i

≤0

对偶问题可行：

U0001d6fcU0001d456≥0U0001d6fdU0001d456=U0001d436u2212U0001d6fcU0001d456

α

i

≥0

β

i

=Cu2212

α

i

以及松弛可行：

U0001d6fcU0001d456(1u2212U0001d709u2212U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f))=0U0001d6fdU0001d456U0001d709U0001d456=0

α

i

(1u2212ξu2212

y

i

(

ω

T

x

i

+b))=0

β

i

ξ

i

=0

我们观察一下倒数第二个条件：U0001d6fcU0001d456(1u2212U0001d709u2212U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f))=0

α

i

(

1

u2212

ξ

u2212

y

i

(

ω

T

x

i

+

b

)

)

=

0

。

这是两个式子相乘并且等于0，无非两种情况，要么U0001d6fcU0001d456=0

α

i

=

0

，要么后面那串等于0。我们分情况讨论。

如果U0001d6fcU0001d456=0

α

i

=

0

，那么U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f)u22121≥0

y

i

(

ω

T

x

i

+

b

)

u2212

1

≥

0

，样本分类正确，不会对模型产生影响。

如果U0001d6fcU0001d456>0

α

i

>

0

，那么U0001d466U0001d456(U0001d714U0001d447U0001d465U0001d456+U0001d44f)=1u2212U0001d709U0001d456

y

i

(

ω

T

x

i

+

b

)

=

1

u2212

ξ

i

，则样本是支持向量。由于U0001d436=U0001d6fcU0001d456+U0001d6fdU0001d456

C

=

α

i

+

β

i

，并且U0001d6fdU0001d456U0001d709U0001d456=0

β

i

ξ

i

=

0

。我们又可以分情况：

U0001d6fcU0001d456<U0001d436

α

i

<

C

，那么U0001d6fdU0001d456>0

β

i

>

0

，所以U0001d709U0001d456=0

ξ

i

=

0

，那么样本在边界上

如果U0001d6fcU0001d456=U0001d436

α

i

=

C

，那么U0001d6fdU0001d456=0

β

i

=

0

，如果此时U0001d709≤1

ξ

≤

1

，那么样本被正确分类，否则样本被错误分类

经过了化简之后，式子当中只剩下了变量U0001d6fc

α

，我们要做的就是找到满足约束条件并且使得式子取极值时的U0001d6fc

α

，这个U0001d6fc

α

要怎么求呢？我们这里先放一放，将在下一篇文章当中详解讲解。

1）概念

对偶一般来说是以一对一的方式，常常通过某个对合算子，把一种概念、公理或数学结构转化为另一种概念、公理或数学结构：如果A的对偶是B，那么B的对偶是A。在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界，对偶问题是凸优化问题，可以进行较好的求解。

（2）SVM中的对偶算法

原始最大间隔最优化问题，先转为拉格朗日函数问题，再将拉格朗日函数转为求其对偶问题，即将朗格朗日优化问题中的 min(max) 求解顺序对调，变为max(min)。

原朗格朗日最优化目标函数

m i n ( m a x ( L ( x , α , β ) ) ) min(max(L(x,alpha,eta))) min(max(L(x,α,β)))

对偶最优化目标函数

m a x ( m i n ( L ( x , α , β ) ) ) max(min(L(x,alpha,eta))) max(min(L(x,α,β)))

原始问题外层的优化目标参数直接是 x ，无法直接去优化得到这个参数，因为还存在着其他未知的拉格朗日参数。所以，对偶问题外层的优化目标参数是拉格朗日参数，然后通过求得的拉格朗日参数，间接得到最终要求的超平面的参数 x 。这样就可以通过求解对偶问题得到原始问题的最优解。

机器学习 SVM

由于人类对宇宙的认识有限,因此,如何通过对光谱数据分析发现一些新的、特殊的天体成为天文学家面临的重要课题。目前,常见特殊天体发现方法的基本思想是利用智能分类算法对离群数据进行分析。然而,当前主流分类算法大多对离群数据不敏感,分类性能甚至受离群点影响较大,因而无法完成特殊天体发现任务。鉴于此,提出基于模糊大间隔最小球分类模型的离群数据挖掘方法,该方法利用部分一般样本和离群样本建立最小球模型,并在此基础上引入模糊技术,通过降低噪声的权重,尽量减少噪声的影响。与C-SVM,SVDD,KNN等传统分类方法在SDSS恒星光谱数据集上的比较实验表明所提方法的有效性

展开专栏

登录

汪毅雄

14 篇文章

关注

原创

机器学习之SVM原理

2019-10-14 22:40:15阅读 5070

相信了解机器学习的同学都知道，SVM的“完美强迫症”使得其在各大模型中，几乎是一个“统治性”的地位。但是也不是那么绝对啦，SVM比较耗时，因此不适合那些超大样本。

认识SVM

性质：首先一般情况，它主要解决的是分类问题（当然，回归也是可以做）。

解决的2个主要问题：

1、最大间隔问题

先看一组图片 （图片出处）

假设有一堆球，想用一根棍子把它们分开，怎么做？

有人这么做，确实分开了，那就可以下班了吗？显然不行

SVM看到后，强行把棍子扭一扭才舒服，扭完后棍子离两边的球都比较远了。

由于人类对宇宙的认识有限,因此,如何通过对光谱数据分析发现一些新的、特殊的天体成为天文学家面临的重要课题。目前,常见特殊天体发现方法的基本思想是利用智能分类算法对离群数据进行分析。然而,当前主流分类算法大多对离群数据不敏感,分类性能甚至受离群点影响较大,因而无法完成特殊天体发现任务。鉴于此,提出基于模糊大间隔最小球分类模型的离群数据挖掘方法,该方法利用部分一般样本和离群样本建立最小球模型,并在此基础上引入模糊技术,通过降低噪声的权重,尽量减少噪声的影响。与C-SVM,SVDD,KNN等传统分类方法在SDSS恒星光谱数据集上的比较实验表明所提方法的有效性

由于人类对宇宙的认识有限,因此,如何通过对光谱数据分析发现一些新的、特殊的天体成为天文学家面临的重要课题。目前,常见特殊天体发现方法的基本思想是利用智能分类算法对离群数据进行分析。然而,当前主流分类算法大多对离群数据不敏感,分类性能甚至受离群点影响较大,因而无法完成特殊天体发现任务。鉴于此,提出基于模糊大间隔最小球分类模型的离群数据挖掘方法,该方法利用部分一般样本和离群样本建立最小球模型,并在此基础上引入模糊技术,通过降低噪声的权重,尽量减少噪声的影响。与C-SVM,SVDD,KNN等传统分类方法在SDSS恒星光谱数据集上的比较实验表明所提方法的有效性。

基于模糊大间隔最小球分类模型的离群数据挖掘方法,该方法利用部分一般样本和离群样本建立最小球模型,并在此基础上引入模糊技术,通过降低噪声的权重,尽量减少噪声的影响。与C-SVM,SVDD,KNN等传统分类方法在SDSS恒星光谱数据集上的比较实验表明所提方法的有效性