汇商网 科技与电子产品领域信息大全

梯度消失是什么意思

什么梯度消失

梯度消失(Gradient Vanishing)是神经网络训练中常见的一个问题,特别是在深层神经网络中。它指的是在网络的反向传播过程中,用于更新网络权重的梯度变得非常小,以至于几乎不对权重产生任何显著的更新。这种现象通常发生在深层网络的较低层(靠近输入层的层)。

版权说明:文章均为账号作者发布,不代表本网站观点与立场,如有侵权请联系我们删除