PreLU

PreLU（Parametric Linear Unit）是一种参数化线性单元，是深度学习中的一种激活函数。相比于传统的ReLU激活函数，PreLU在处理负值时更加灵活，能够更好地适应数据分布。PreLU的工作原理是在输入小于0时，输出一个固定的负数，而在输入大于等于0时，输出与ReLU相同的结果。这种特性使得PreLU在处理稀疏数据时具有更好的性能。此外，PreLU还可以通过学习参数来调整负值的输出，进一步提高模型的性能。总之，PreLU是一种强大的激活函数，能够在各种深度学习任务中取得优秀的效果。