引用：https://baike.baidu.com/item/线性整流函数/20263760?fr=aladdin 线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。
通常意义下，线性整流函数指代数学中的斜坡函数，即
而在神经网络中，线性整流函数作为神经元的激活函数，定义了该神经元在线性变换 之后的的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量 ，使用线性整流激活函数的神经元会输出至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。
线性整流函数在基于斜坡函数的基础上有其他同样被广泛应用于深度学习的变种，譬如带泄露线性整流(Leaky ReLU)， 带泄露随机线性整流(Randomized Leaky ReLU)，以及噪声线性整流(Noisy ReLU).
带泄露线性整流
在输入值 为负的时候，带泄露线性整流函数（Leaky ReLU）的梯度为一个常数 ，而不是0。在输入值为正的时候，带泄露线性整流函数和普通斜坡函数保持一致。换言之，
在深度学习中，如果设定 为一个可通过反向传播算法（Backpropagation）学习的变量，那么带泄露线性整流又被称为参数线性整流（Parametric ReLU）。
带泄露随机线性整流
带泄露随机线性整流（Randomized Leaky ReLU,RReLU）最早是在Kaggle全美数据科学大赛（NDSB）中被首先提出并使用的。相比于普通带泄露线性整流函数，带泄露随机线性整流在负输入值段的函数梯度 是一个取自连续性均匀分布概率模型的随机变量，即
其中 且 。
噪声线性整流
噪声线性整流（Noisy ReLU）是修正线性单元在考虑高斯噪声的基础上进行改进的变种激活函数。对于神经元的输入值{\displaystyle x}，噪声线性整流加上了一定程度的正态分布的不确定性，即
其中随机变量 。当前噪声线性整流函数在受限玻尔兹曼机（Restricted Boltzmann Machine）在计算机图形学的应用中取得了比较好的成果。
