LaTeX 中的ReLU 激活函数（\text{ReLU}）

用途

线性整流单元激活函数的名称，输出 max(0, x)，将负输入置零。

ReLU 定义为 \text{ReLU}(x) = \max(0, x)，正输入处导数为 1，负输入处导数为 0。它是现代神经网络隐藏层的默认激活函数；变体包括 Leaky ReLU \max(\alpha x, x) 和 GELU。写 \text{ReLU} 可以，但它会跟随周围文本的样式，在斜体环境中会倾斜；\operatorname{ReLU} 或 \mathrm{ReLU} 保持正体，而且 \operatorname 还会处理参数前的间距。作用于向量时，要说明它是逐元素作用的，如 \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b})。

最小可编译示例

将其粘贴到空白 .tex 文件中，用 pdfLaTeX、XeLaTeX 或 LuaLaTeX 编译。

\documentclass{article}
\usepackage{amsmath}
\begin{document}
ReLU: $\text{ReLU}$

\[ \mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}) \]
\end{document}

相关符号

• Nabla 算子\nabla
• 希腊字母 σ（sigma）\sigma
• 损失函数 L 的梯度\nabla_{\theta} \mathcal{L}
• softmax 函数\text{softmax}
• 偏导数\frac{\partial \mathcal{L}}{\partial \theta}
• 圆圈点\odot

常见问题

如何在 LaTeX 中输入ReLU 激活函数？

在数学模式中输入 \text{ReLU}，例如 $\mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b})$。请先用 \usepackage{amsmath} 加载 amsmath。

\text{ReLU} 需要哪个宏包？

\text{ReLU} 需要 amsmath：在文档开始前把 \usepackage{amsmath} 加入导言区。

\text{ReLU} 能在文本模式中使用，还是只能用于数学模式？

两者皆可。\text{ReLU} 在正文和 $...$ 中都能编译；在公式中请保持数学模式，以获得数学字体和间距。