线性整流函数

在输入值 ${\displaystyle x}$ 为负的时候，带泄露线性整流函数（Leaky ReLU）的梯度为一个常数 ${\displaystyle \lambda \in (0,1)}$，而不是0。在输入值为正的时候，带泄露线性整流函数和普通斜坡函数保持一致。换言之，

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\\lambda x&{\mbox{if }}x\leq 0\end{cases}}}$

在深度学习中，如果设定 ${\displaystyle \lambda }$ 为一个可通过反向传播算法（Backpropagation）学习的变量，那么带泄露线性整流又被称为参数线性整流（Parametric ReLU）[5]。

带泄露随机线性整流（Randomized Leaky ReLU, RReLU）最早是在Kaggle全美数据科学大赛（NDSB）中被首先提出并使用的。相比于普通带泄露线性整流函数，带泄露随机线性整流在负输入值段的函数梯度 ${\displaystyle \lambda }$ 是一个取自连续性均匀分布 ${\displaystyle U(l,u)}$ 概率模型的随机变量，即

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\\lambda x&{\mbox{if }}x\leq 0\end{cases}}}$

其中 ${\displaystyle \lambda \sim U(l,u),l<u}$ 且 ${\displaystyle l,u\in [0,1)}$。

噪声线性整流（Noisy ReLU）是修正线性单元在考虑高斯噪声的基础上进行改进的变种激活函数。对于神经元的输入值 ${\displaystyle x}$，噪声线性整流加上了一定程度的正态分布的不确定性，即

${\displaystyle f(x)=\max(0,x+Y)}$

其中随机变量 ${\displaystyle Y\sim {\mathcal {N}}(0,\sigma (x))}$。目前，噪声线性整流函数在受限玻尔兹曼机（Restricted Boltzmann Machine）在计算机图形学的应用中取得了比较好的成果[4]。