LaTeX 中的KL 散度（D_{\text{KL}}(P \| Q)）

用途

Q 相对于 P 的 Kullback-Leibler 散度：用 Q 代替真实分布 P 时多出的期望对数损失。

KL 散度为 D_{\text{KL}}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}，是变分推断、ELBO（证据下界）以及强化学习中策略正则化的核心。它不对称，因此 P 和 Q 的顺序很重要，二者之间用双竖线分隔。\| 是普通符号，两侧没有间距，看起来可能拥挤；许多作者改写 \parallel，它带有关系符间距，或者在两侧加 \,。下标中的 \text{KL} 会继承周围的字体，因此在斜体的定理文本中用 \mathrm{KL} 更稳妥。若其中含有较大的分式，请使用 \left( \right)。

最小可编译示例

将其粘贴到空白 .tex 文件中，用 pdfLaTeX、XeLaTeX 或 LuaLaTeX 编译。

\documentclass{article}
\usepackage{amsmath}
\begin{document}
KL Divergence: $D_{\text{KL}}(P \| Q)$

\[ D_{\text{KL}}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} \]
\end{document}

相关符号

• KL 散度（简写形式）\text{KL}(P \| Q)
• 期望\mathbb{E}[X]
• 最大值点（argmax）\arg\max
• 数学期望\mathbb{E}
• 最小值点（argmin）\arg\min
• 花体 L（拉格朗日量）\mathcal{L}

常见问题

如何在 LaTeX 中输入KL 散度？

在数学模式中输入 D_{\text{KL}}(P \| Q)，例如 $D_{\text{KL}}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)}$。请先用 \usepackage{amsmath} 加载 amsmath。

D_{\text{KL}}(P \| Q) 需要哪个宏包？

D_{\text{KL}}(P \| Q) 需要 amsmath：在文档开始前把 \usepackage{amsmath} 加入导言区。

D_{\text{KL}}(P \| Q) 能在文本模式中使用，还是只能用于数学模式？

只能用于数学模式。在 $...$ 之外，LaTeX 会报错 "Missing $ inserted"，所以在正文中请写 $D_{\text{KL}}(P \| Q)$。