LaTeX 中的信息熵（H(X)）

用途

随机变量 X 的香农熵：其取值的平均不确定性，即平均信息量。

熵为 H(X) = -\sum_x p(x) \log p(x)，用 \log_2 时单位为比特，用 \ln 时单位为奈特。均匀分布使熵最大，此时 H(X) = \log |\mathcal{X}|；它出现在决策树通过信息增益进行划分以及最大熵强化学习中。相关的量使用同一个字母：条件熵 H(Y|X)、联合熵 H(X, Y)，以及连续变量的微分熵 h(X)，后者通常用小写。有些论文写 \mathbb{H}[X]，以免与黑塞矩阵 H 或假设类混淆。

最小可编译示例

将其粘贴到空白 .tex 文件中，用 pdfLaTeX、XeLaTeX 或 LuaLaTeX 编译。

\documentclass{article}
\begin{document}
Entropy: $H(X)$

\[ H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x) \]
\end{document}

相关符号

• 互信息I(X; Y)
• 交叉熵H(p, q)
• 对数似然\log p(x | \theta)
• 偏置向量\mathbf{b}
• 概率分布p(x)
• 权重矩阵\mathbf{W}

常见问题

如何在 LaTeX 中输入信息熵？

在数学模式中输入 H(X)，例如 $H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$。无需加载任何宏包即可在标准 LaTeX 中使用。

H(X) 需要哪个宏包？

不需要。H(X) 是标准 LaTeX 的一部分，导言区只需文档类即可编译。

H(X) 能在文本模式中使用，还是只能用于数学模式？

两者皆可。H(X) 在正文和 $...$ 中都能编译；在公式中请保持数学模式，以获得数学字体和间距。