激活函数对神经网络的重要性自不必多言，机器之心也曾发布过一些相关的介绍文章，比如《一文概览深度学习中的激活函数》。本文同样关注的是激活函数。来自丹麦技术大学的 Casper Hansen 通过公式、图表和代码实验介绍了 sigmoid、ReLU、ELU 以及更新的 Leaky ReLU、SELU、GELU 这些激活函数，并比较了它们的优势和短板。 选自mlfromscratch，作者：Casper Hansen，机器之心编译，参与：熊猫、杜伟。 在计算每一层的激活值时，我们要用到激活函数，之后才能确定这些激活值究竟是多少。根据每一层前面的激活、权重和偏置，我们要为下一层的每个激活计算一个值。但在将该值发送给下一层之前，我们要使用一个激活函数对这个输出进行缩放。本文将介绍不同的激活函数。 目录 1.概述 2.sigmoid 函数是什么？ 3.梯度问题：反向传播 梯度消失问题 梯度爆炸问题 梯度爆炸的极端案例 避免梯度爆炸：梯度裁剪/范数 4.整流线性单元（ReLU） 死亡 ReLU：优势和缺点 5.指数线性单元（ELU） 6.渗漏型整流线性单元（Leaky ReLU） 7. ...