激活函数-SwiGLU

SwiGLU

SiLU 函数是一种神经网络中的激活函数，全称是 Sigmoid Linear Unit, 也被称为 Swish 函数。它由 Google Brain 在 2017 年提出，是一种非线性激活函数，能够有效地对神经网络的输入进行非线性变换。

定义

$f(x)=x?\sigma (x)$

其中：$\sigma (x)=\frac{1}{1+e^{?x}}$

SiLU 函数的特点如下：

• 正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。
• 在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。
• SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。
• SiLU函数不是单调递增的，而是在x≈?1.28时达到全局最小值?0.28，这可以起到一个隐式正则化的作用，抑制过大的权重

图形如下

pytorch SILU用示例

m = nn.SiLU()
input = torch.randn(2)
output = m(input)