Task03 误差和梯度下降

20220617周五task03参考开源文档,观看视频P5-8:误差和梯度下降(不到两个小时视频)

学习方式:看网课的同时看文档
——————————————————————————————————————————————
P5 误差从哪来
1、模型越复杂效果越好,但不用特别地追求模型复杂度,因为更复杂的模型其实并不能带来更好的效果,可能效果改变只好一点点。
2、average error随着模型复杂度呈指数上升趋势。error(误差)主要有两个来源:bias(偏差) 和 variance(方差)。
f^ 真实模型,f* 理想模型(通过调参得到的最佳模型),偏差和方差导致差距|f^-f*|。
3、评估变量x的偏差。
假设 x的平均值是μ,方差为σ 2
(1)无偏估计
一组样本N个数,求平均值m,多组样本的m求期望E(m)=μ,即
image
(2)m分布对于μ的离散程度(方差):
image
结论:N越小,越离散。
4、估测变量x的方差(暂无)
5、为什么会有很多模型?
因为,同一个模型,训练集不同,f*不同。
6、比对不同复杂度模型的方差
(1)一次模型,方差较小,比较集中(离散程度小);
(2)高次模型(如5次),方差较大,散布较广(离散程度较大)。
总结:低次(简单)模型方差小,高次(复杂)模型方差大。
原因分析:简单模型受到不同训练集的影响较小。
7、比对不同复杂度模型的偏差
(1)一次模型,偏差较大;
(2)高次模型(如5次),偏差较大。
原因分析:关键是模型函数集的space,简单模型space小,复杂的大。
8、欠拟合和过拟合及判断
(1)简单模型,偏差较大,欠拟合;复杂模型,方差较大,过拟合。
(2)判断(特点)
欠拟合:训练集不好,偏差过大;
过拟合:训练集好(在训练集上很少的错误),测试集测试错误较大(意味着方差较大)。
9、解决方式
(1)偏差大——欠拟合
解决方法:重新设计模型。
原因:原来设计的函数集不好。
(2)方差大——过拟合
解决方法:增加训练集。
如果原训练集不能收集足够多,可以通过变换原训练集角度等一变多,从而增加训练集。

1赞

继续保持

浙ICP备19012682号