如何训练神经网络

组队学习 李宏毅机器学习
#1

1.梯度下降和动量
梯度下降，迭代最小值
初始值和学习率是关键，计算初始点的速度
动量计算梯度的指数平均数，用该值更新参数值，与原始梯度下降，动量梯度下降趋势更加平滑

Screenshot_20220521_221547_tv.danmaku.bili
Screenshot_20220521_221547_tv.danmaku.bili2376×1080 235 KB

2.batch大小
不过大，不过小
Screenshot_20220521_220829_tv.danmaku.bili
Screenshot_20220521_220829_tv.danmaku.bili2376×1080 171 KB

Screenshot_20220521_221121_tv.danmaku.bili
Screenshot_20220521_221121_tv.danmaku.bili2376×1080 240 KB

3.pooling
池化，只关注最大部分maxpooling
Screenshot_20220524_170253_tv.danmaku.bili
Screenshot_20220524_170253_tv.danmaku.bili2376×1080 367 KB

Screenshot_20220524_170314_tv.danmaku.bili
Screenshot_20220524_170314_tv.danmaku.bili2376×1080 219 KB

4.CNN训练阿尔法go
棋局部棋盘不一致用CNN
Screenshot_20220524_171405_tv.danmaku.bili
Screenshot_20220524_171405_tv.danmaku.bili2376×1080 618 KB

5.NLP的例子
不同特征的特性用不同的模型
Screenshot_20220524_171448_tv.danmaku.bili
Screenshot_20220524_171448_tv.danmaku.bili2376×1080 339 KB

浙ICP备19012682号