如何训练神经网络

1.梯度下降和动量
梯度下降,迭代最小值
初始值和学习率是关键,计算初始点的速度
动量计算梯度的指数平均数,用该值更新参数值,与原始梯度下降,动量梯度下降趋势更加平滑


2.batch大小
不过大,不过小


3.pooling
池化,只关注最大部分maxpooling


4.CNN训练阿尔法go
棋局部棋盘不一致用CNN

5.NLP的例子
不同特征的特性用不同的模型

浙ICP备19012682号