LaTeX 中的互信息（I(X; Y)）

用途

X 与 Y 之间的互信息：知道其中一个随机变量后，对另一个的不确定性减少了多少。

互信息为 I(X; Y) = H(X) - H(X \mid Y) = D_{\text{KL}}(p(x,y) \| p(x)p(y))，当且仅当 X 与 Y 独立时它等于零。分号是惯用写法，用于分隔两个参数，而参数本身可能是列表，如 I(X_1, X_2; Y)；用逗号会产生歧义。TeX 把 ; 视为标点，会自动在其后加一个细空格。条件互信息写作 I(X; Y \mid Z)。它是信息瓶颈、InfoNCE 对比损失以及特征选择的理论基础。

最小可编译示例

将其粘贴到空白 .tex 文件中，用 pdfLaTeX、XeLaTeX 或 LuaLaTeX 编译。

\documentclass{article}
\begin{document}
Mutual Information: $I(X; Y)$

\[ I(X; Y) = H(X) - H(X \mid Y) \]
\end{document}

相关符号

• 对数似然\log p(x | \theta)
• 信息熵H(X)
• 概率分布p(x)
• 交叉熵H(p, q)
• 条件概率p(y | x)
• 偏置向量\mathbf{b}

常见问题

如何在 LaTeX 中输入互信息？

在数学模式中输入 I(X; Y)，例如 $I(X; Y) = H(X) - H(X \mid Y)$。无需加载任何宏包即可在标准 LaTeX 中使用。

I(X; Y) 需要哪个宏包？

不需要。I(X; Y) 是标准 LaTeX 的一部分，导言区只需文档类即可编译。

I(X; Y) 能在文本模式中使用，还是只能用于数学模式？

两者皆可。I(X; Y) 在正文和 $...$ 中都能编译；在公式中请保持数学模式，以获得数学字体和间距。