LaTeX 中的softmax 函数（\text{softmax}）

用途

softmax 函数名：通过取指数并归一化，把 logits 向量映射为概率分布。

softmax 按分量定义为 \text{softmax}(z)_i = e^{z_i} / \sum_j e^{z_j}，几乎每个分类器的最后一层以及注意力机制都会用到它，后者写作 \text{softmax}(QK^\top/\sqrt{d_k})V。由于 \text{} 使用周围文本的字体，在定理或强调环境中它会变成斜体。\operatorname{softmax} 通常是更好的选择：它始终为正体，并像 \sin 一样在括号前添加算子间距。温度参数写作 \text{softmax}(z/T)。当参数中含有分式时，请使用 \left( \right)。在侧重代码的论文中，要说明 softmax 沿哪个维度归一化，例如类别维度。

最小可编译示例

将其粘贴到空白 .tex 文件中，用 pdfLaTeX、XeLaTeX 或 LuaLaTeX 编译。

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Softmax: $\text{softmax}$

\[ \text{softmax}(z)_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} \]
\end{document}

相关符号

• 希腊字母 σ（sigma）\sigma
• 圆圈点\odot
• ReLU 激活函数\text{ReLU}
• 张量积符号\otimes
• Nabla 算子\nabla
• 带下标的 argmin\arg\min_{\theta}

常见问题

如何在 LaTeX 中输入softmax 函数？

在数学模式中输入 \text{softmax}，例如 $\text{softmax}(z)_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$。请先用 \usepackage{amsmath} 加载 amsmath。

\text{softmax} 需要哪个宏包？

\text{softmax} 需要 amsmath：在文档开始前把 \usepackage{amsmath} 加入导言区。

\text{softmax} 能在文本模式中使用，还是只能用于数学模式？

两者皆可。\text{softmax} 在正文和 $...$ 中都能编译；在公式中请保持数学模式，以获得数学字体和间距。