LaTeX 中的KL 散度（简写形式）（\text{KL}(P \| Q)）

用途

分布 P 与 Q 之间 Kullback-Leibler 散度的简写记号，省略了前缀 D。

许多机器学习论文省去 D，直接写 \text{KL}(P \| Q)，在损失函数中尤其常见，例如 VAE 目标函数中的 \text{KL}(q_\phi(z|x) \| p(z)) 项。它与 D_{\text{KL}}(P \| Q) 含义完全相同，同样不对称：前向 KL 倾向于覆盖全部概率质量，反向 KL 倾向于寻找众数。由于 \text{} 会沿用周围文本的字体，在定理环境中 KL 可能变成斜体；\operatorname{KL} 或 \mathrm{KL} 可以解决这个问题，而且 \operatorname 还会在括号前加上合适的间距。可以考虑使用 \,\|\, 或 \parallel，让双竖线周围更宽松。

最小可编译示例

将其粘贴到空白 .tex 文件中，用 pdfLaTeX、XeLaTeX 或 LuaLaTeX 编译。

\documentclass{article}
\usepackage{amssymb,amsmath}
\begin{document}
KL divergence (short form): $\text{KL}(P \| Q)$

\[ \mathcal{L} = -\mathbb{E}_{q}[\log p(x|z)] + \text{KL}(q(z|x) \| p(z)) \]
\end{document}

相关符号

• 最大值点（argmax）\arg\max
• KL 散度D_{\text{KL}}(P \| Q)
• 最小值点（argmin）\arg\min
• 期望\mathbb{E}[X]
• 带下标的 argmax\arg\max_{\theta}
• 数学期望\mathbb{E}

常见问题

如何在 LaTeX 中输入KL 散度（简写形式）？

在数学模式中输入 \text{KL}(P \| Q)，例如 $\mathcal{L} = -\mathbb{E}_{q}[\log p(x|z)] + \text{KL}(q(z|x) \| p(z))$。请先用 \usepackage{amsmath} 加载 amsmath。

\text{KL}(P \| Q) 需要哪个宏包？

\text{KL}(P \| Q) 需要 amsmath：在文档开始前把 \usepackage{amsmath} 加入导言区。

\text{KL}(P \| Q) 能在文本模式中使用，还是只能用于数学模式？

只能用于数学模式。在 $...$ 之外，LaTeX 会报错 "Missing $ inserted"，所以在正文中请写 $\text{KL}(P \| Q)$。