Activation Methods

Sigmoid (logistic)#

主要用於 Binary classification, 輸出範圍為 $(0,1)$

\text{Sigmoid}(x) = \frac{1}{(1 + e^{-x})}

也是用於 binary classification, 輸出範圍為 $(-1, 1)$

\text{tanh}(x) = \frac{2}{(1 + e^{-2x})} - 1 = 2 * \text{Sigmoid}(2x) - 1

前兩者的輸出使其侷限在二分類問題, 且計算成本太大, ReLU 可以加速收斂但是當 LR 過大時會導致很多死神經

\text{ReLU}(x) = max(0, x)

結合 ReLU 跟 Sigmoid, 在解決死神經的問題時加快收斂速度

\text{GELU}(x) = x\,\Phi(x)

其中 $\Phi$ 可以使用標準常態分佈的 CDF 來加速計算

\Phi(x) = \int_{-\infty}^{x} \frac{e^{-t^{2}/2}}{\sqrt{2\pi}}\,dt = \frac{1}{2}\left[\,1 + \operatorname{erf}\!\left(\frac{x}{\sqrt{2}}\right)\right]

\text{GELU}(x) = x\,P(X \le x) = x\,\Phi(x) = x \cdot \frac{1}{2}\left[1 + \operatorname{erf}\!\left(x/\sqrt{2}\right)\right]

類似 GELU 但是計算成本更低一點 (用 Sigmoid 當門控)

$\text{Swish}(x) = x \cdot \sigma(\beta x) = \frac{x}{1 + e^{-\beta x}}$

$\beta$ 是常數或可學習參數, $\beta=1$ 時為 SiLU, $\beta=1.702$ 時就是 GELU 的一種近似

在 FFN 的時候使用 ReLU 的話會導致每個神經元的激活狀態只取決於自己的值, GLU 讓門本身也是學出來的

$\text{GLU}(x) = \sigma(xW) \otimes (xV)$

新的 FFN 大多使用 SwiGLU

$\text{FFN}_{\text{SwiGLU}}(x) = \big(\text{Swish}_1(xW_1) \otimes xV\big)\,W_2$