在 LSTM 中使用 tanh 的直觉是什么？ [关闭]

Sigmoid 特别是在 LSTM 中用作三个门（输入、输出和忘记）的门控函数，因为它输出一个介于 0 和 1 之间的值，并且它可以不让任何流动或整个大门的完整信息流。

另一方面，为了克服梯度消失问题，我们需要一个二阶导数可以在很长一段时间内保持为零的函数。 Tanh 是具有上述属性的好函数。

一个好的神经元单元应该是有界的、易于微分的、单调的（有利于凸优化）并且易于处理。如果您考虑到这些品质，那么我相信您可以使用 ReLU 代替 tanh 函数，因为它们是彼此非常好的替代品。

但是在选择激活函数之前，你必须知道你的选择相对于其他人的优点和缺点是什么。我将简要介绍一些激活函数及其优势。

乙状结肠

数学表达式：sigmoid(z) = 1 / (1 + exp(-z))

一阶导数：sigmoid'(z) = -exp(-z) / 1 + exp(-z)^2

优点：

(1) The sigmoid function has all the fundamental properties of a good activation function.

谭

数学表达式：tanh(z) = [exp(z) - exp(-z)] / [exp(z) + exp(-z)]

一阶导数：tanh'(z) = 1 - ([exp(z) - exp(-z)] / [exp(z) + exp(-z)])^2 = 1 - tanh^2(z)

优点：

(1) Often found to converge faster in practice
(2) Gradient computation is less expensive

硬谭

数学表达式：hardtanh(z) = -1 if z < -1; z if -1 <= z <= 1; 1 if z > 1

一阶导数：hardtanh'(z) = 1 if -1 <= z <= 1; 0 otherwise

优点：

(1) Computationally cheaper than Tanh
(2) Saturate for magnitudes of z greater than 1

ReLU

数学表达式：relu(z) = max(z, 0)

一阶导数：relu'(z) = 1 if z > 0; 0 otherwise

优点：

(1) Does not saturate even for large values of z
(2) Found much success in computer vision applications

泄漏的 ReLU

数学表达式：leaky(z) = max(z, k dot z) where 0 < k < 1

一阶导数：relu'(z) = 1 if z > 0; k otherwise

优点：

(1) Allows propagation of error for non-positive z which ReLU doesn't

This paper 解释了一些有趣的激活函数。你可以考虑读一读。

---

LSTM 管理一个内部状态向量，当我们添加某个函数的输出时，其值应该能够增加或减少。 Sigmoid 输出总是非负的；该州的价值只会增加。 tanh 的输出可以是正数或负数，允许状态的增加和减少。

这就是为什么使用 tanh 来确定要添加到内部状态的候选值。 LSTM 的 GRU 表亲没有第二个 tanh，所以从某种意义上说，第二个不是必需的。查看 Chris Olah 的 Understanding LSTM Networks 中的图表和解释了解更多信息。

相关的问题，“为什么在 LSTM 中使用 sigmoid？”也根据函数的可能输出来回答：“门控”是通过乘以 0 到 1 之间的数字来实现的，这就是 sigmoids 的输出。

sigmoid 和 tanh 的导数之间没有真正有意义的区别； tanh 只是一个重新缩放和移位的 sigmoid：参见 Richard Socher 的 Neural Tips and Tricks。如果二阶导数是相关的，我想知道如何。

---