激活函数（Activation Function） 为了让神经网络能够学习复杂的决策边界（decision boundary），我们在其一些层应用一个非线性激活函数。最常用的函数包括 sigmoid、tanh、ReLU（Rectified Linear Unit 线性修正单元） 以及这些函数的变体。 Adadelta Adadelta 是一个基于梯度下降的学习算法，可以随时间调整适应每个参数的学习率。它是作为 Adagrad 的改进版提出的，它比超参数（hyperparameter）更敏感而且可能会太过严重地降低学习率。Adadelta 类似于 rmsprop，而且可被用来替代 vanilla SGD。 论文：Adadelta：一种自适应学习率方法（ADADELTA: An Adaptive Learning Rate Method） 技术博客：斯坦福 CS231n：优化算法（http://cs231n.github.io/neural-networks-3/） 技术博客：梯度下降优化算法概述（http://sebastianruder.com/optimizing-gradient- ...