吃瓜学习|Task 05第六章|终未落江南

[Jiangnan]

第六章 支持向量机

6.1 间隔与支持向量
在样本空间中，划分超平面可通过如下线性方程来描述：

• 距离超平面最近的这几个训练样本点使式的等号成立，它们被称为“支持向量”，两个异类支持向量到超平面的距离之和为：
  
  它被称为“间隔”。
  

6.2 对偶问题
求解（6.6）来得到最大间隔划分平面所对应的模型：

其中w和b是模型参数。

• 求解方法：SOM
  
  
  
  

6.3 核函数

• 将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。
  
  
  
  

• 只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用。

几种常用的核函数

6.4 间隔软化
缓解该问题的一个办法是允许支持向量机在一些样本上出错。因此，引入“软间隔”。

• 硬间隔：所有样本都必须划分正确。
• 允许某些样本不满足。
  
  
  
  
  
  
  
  
  

6.5 支持向量回归
6.6 核方法

• 人们发展出一系列基于核函数的学习方法，统称为“核方法”。
• 通过核化来将线性学习器拓展为非线性学习器。