relu

ReLU（Rectified Linear Unit）是一种常用的激活函数，它的主要作用是将输入的负值变为0，而正值保持不变。这种非线性变换可以增加神经网络的表达能力，使得网络能够学习更复杂的模式。ReLU函数的定义非常简单，当输入大于0时，输出等于输入本身；当输入小于等于0时，输出等于0。由于其计算简单且高效，ReLU已经成为了深度学习中最常用的激活函数之一。然而，ReLU也存在一些问题，例如“死神经元”问题，即某些神经元可能永远都不会激活。为了解决这个问题，研究人员提出了一些改进的ReLU变体，如Leaky ReLU和Parametric ReLU等。