吃瓜Task02-线性模型

[x333]

线性模型冲冲冲！

1. 基本形式

w 对feature做线性组合，可理解为各个feature的重要性。

2. 线性回归

以一元线性回归为例

• 数据预处理
  离散型feature，若属性有“序”关系，则转化为连续值，否则做 one-hot 编码。

• 目标
  

  

确定 w,b 思路：

• 最小二乘估计
  
  
• 极大似然估计
  【精准空降到 20:43】
  
  

求解 w, b：

1. 证明 f(x) 的 Hessian 半正定 -> 得证凸函数
   
   
2. 半正定矩阵判定定理：实对称矩阵的所有顺序主子式均为非负。（ 顺序主子式是取n阶方阵的部分元素化为行列式形式。）
3. 求解 w, b
   
   

背景知识补充：

1. 凸集
   
   
2. 梯度: 多元函数的一阶导数
3. Hessian 矩阵
   
   

线性模型继续拓展

机器学习三要素

精炼！建模过程便是如此、

[x333]

对数几率回归

处理分类问题

• 形式
  

• 极大似然估计角度推导

• 信息论角度分析

• 相对熵、交叉熵关系 【精准空降到 27:46】

即我们训练时优化交叉熵，本质是为了优化相对熵(KL散度)。KL散度越小，意味着我们的模型越接近数据分布。
又因为KL散度展开后的第一项（理想分布p(x)）为常量，无法优化，故只优化第二项，即交叉熵。

以对数几率回归为例分析：

• 总结
  
  

[x333]

LDA 线性判别分析

算法原理：