LaTeX 中的交叉熵（H(p, q)）

用途

真实分布 p 与模型 q 之间的交叉熵：用 q 对 p 编码时的期望码长。

交叉熵为 H(p, q) = -\sum_x p(x) \log q(x)，是分类问题的损失函数：使用 one-hot 标签时它化简为 -\log q(y)。它可以分解为 H(p, q) = H(p) + D_{\text{KL}}(p \| q)，这解释了为什么关于 q 最小化交叉熵也就最小化了 KL 散度。注意记号冲突：以随机变量为参数的 H(X, Y) 通常表示联合熵，因此有些作者写 H_\times(p, q) 或 \mathrm{CE}(p, q) 以示区分。逗号带有正常的标点间距，无需手动调整。

最小可编译示例

将其粘贴到空白 .tex 文件中，用 pdfLaTeX、XeLaTeX 或 LuaLaTeX 编译。

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

相关符号

• 信息熵H(X)
• 偏置向量\mathbf{b}
• 互信息I(X; Y)
• 权重矩阵\mathbf{W}
• 对数似然\log p(x | \theta)
• 最优参数 θ*\theta^*

常见问题

如何在 LaTeX 中输入交叉熵？

在数学模式中输入 H(p, q)，例如 $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$。无需加载任何宏包即可在标准 LaTeX 中使用。

H(p, q) 需要哪个宏包？

不需要。H(p, q) 是标准 LaTeX 的一部分，导言区只需文档类即可编译。

H(p, q) 能在文本模式中使用，还是只能用于数学模式？

两者皆可。H(p, q) 在正文和 $...$ 中都能编译；在公式中请保持数学模式，以获得数学字体和间距。