神经网络梯度优化

神经网络梯度优化

神经网络的训练往往和梯度的变化息息相关，梯度较大的时候学习速度更快，但是也意味着随时有可能出出现梯度暴涨的情况，而梯度较小的时候，学习速度往往过慢，当梯度小到一定程度，会出现梯度弥散的问题，也成为梯度消失。

无论是梯度爆炸还是梯度弥散，都不利于神经网络模型的训练，在训练过程中对梯度不断的优化，保障梯度在一定的范围之内是模型训练时需要重点考虑的问题，本课程主要是针对于模型训练过程中出现的各种梯度问题提出的分析和解决方法。

内容版权声明：除非注明，否则皆为本站转载文章。文章及图片版权归原作者所有，如有侵权请联系我们，我们立刻删除。