> 教育经验 > 什么是指数线性单元介绍

什么是指数线性单元介绍

什么是指数线性单元介绍

指数线性单元,该激活函数由Djork等人提出,被证实有较高的噪声鲁棒性,同时能够使得使得神经元的平均激活均值趋近为 0,同时对噪声更具有鲁棒性。由于需要计算指数,计算量较大。

指数线性单元定义

表达式

与其他激励函数对比图像

图1为ELU、LReLU、ReLU和SReLU的对比图。

指数线性单元类似激活函数

神经网络中使用激活函数来加入非线性因素,提高模型的表达能力。Leaky ReLU、ELU及SELU均为ReLU的变种函数。

ReLU

Rectified Linear Unit,修正线性单元,形式如下:

RELU公式近似推导:

其中。

softplus函数

与ReLU函数接近,但比较平滑,同ReLU一样是单边抑制,有宽广的接受域(0,+inf), 但是由于指数运算,对数运算计算量大的原因,而不太被人使用。

ReLU的缺点:

1、坏死: ReLU 强制的稀疏处理会减少模型的有效容量(即特征屏蔽太多,导致模型无法学习到有效特征)。由于ReLU在x < 0时梯度为0,这样就导致负的梯度在这个ReLU被置零,而且这个神经元有可能再也不会被任何数据激活,称为神经元“坏死”。

2、无负值: ReLU和sigmoid的一个相同点是结果是正值,没有负值。

Leaky ReLU

时,

,其中

非常小,这样可以避免在

时,不能够学习的情况:

称为Parametric Rectifier(PReLU),将

作为可学习的参数。

从高斯分布中随机产生时称为Random Rectifier(RReLU);

时,称为Leaky ReLU。

优点:

1、不会过拟合;

2、计算简单有效;

3、收敛更快。

SELU

SELU是给ELU乘上系数

,即: