• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

3.SVM支持向量机

互联网 diligentman 7天前 8次浏览

思想:找一条曲线,使得所有样本点到这条曲线的距离的最小值最大

点x到直线的距离:

$$
l = frac{1}{{left| w right|}}({w^T}x + b)
$$

对于二分类,y取值只有-1和1,那么同号表示分类正确,异号表示分类错误。在感知算法中,这样的超平面会有多个要找到最好的一个。

几何间隔:$widehat {{y_i}} = {y_i}({w^T}{x_i} + b)$
函数间隔:$widehat {{y_i}} = {y_i}frac{1}{{left| w right|}}({w^T}{x_i} + b)$
可以看到说w,b同时扩大超平面是不变的,有:

$$
mathop {max }limits_{w,b} widehat y& & {y_i}({w^T}{x_i} + b) ge widehat y,i = 1,2,…,m
$$

由于$widehat y$取值不会影响w,b,因此取$widehat y=1$,引入松弛变量:

$$
begin{array}{l}
mathop {min }limits_{w,b,xi } left| w right| + csumlimits_{i = 1}^m {{xi _i}} \
s.t.{y_i}({w^T}{x_i} + b) ge 1 – {xi _i},i = 1,2,…,m
end{array}
$$

然后用拉格朗日乘数法,转换成无约束问题,用SMO进行求解。


喜欢 (0)