Entropie in LaTeX (H(X))

Verwendung

Shannon-Entropie einer Zufallsvariablen X: die mittlere Unsicherheit bzw. der mittlere Informationsgehalt ihrer Ausprägungen.

Die Entropie ist H(X) = -\sum_x p(x) \log p(x), gemessen in Bit mit \log_2 und in Nat mit \ln. Sie wird von der Gleichverteilung maximiert, wo H(X) = \log |\mathcal{X}| gilt, und erscheint beim Aufteilen von Entscheidungsbäumen über den Informationsgewinn sowie im bestärkenden Lernen mit maximaler Entropie. Verwandte Größen teilen sich den Buchstaben: bedingte Entropie H(Y|X), gemeinsame Entropie H(X, Y) und differentielle Entropie h(X) für stetige Variablen, meist in Kleinschreibung. Manche Arbeiten schreiben \mathbb{H}[X], um Verwechslungen mit einer Hesse-Matrix H oder einer Hypothesenklasse zu vermeiden.

Minimales kompilierbares Beispiel

Fügen Sie dies in eine leere .tex-Datei ein und kompilieren Sie mit pdfLaTeX, XeLaTeX oder LuaLaTeX.

\documentclass{article}
\begin{document}
Entropy: $H(X)$

\[ H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x) \]
\end{document}

Verwandte Symbole

• TransinformationI(X; Y)
• KreuzentropieH(p, q)
• Log-Likelihood\log p(x | \theta)
• Bias-Vektor\mathbf{b}
• Wahrscheinlichkeitsverteilungp(x)
• Gewichtsmatrix\mathbf{W}

Häufige Fragen

Wie schreibe ich Entropie in LaTeX?

Schreiben Sie H(X) im Mathematikmodus, zum Beispiel $H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$. Es funktioniert in Standard-LaTeX, ohne ein Paket zu laden.

Welches Paket brauche ich für H(X)?

Keines. H(X) gehört zum Standardumfang von LaTeX und kompiliert ohne weitere Angaben in der Präambel außer der Dokumentklasse.

Kann ich H(X) im Textmodus verwenden oder nur im Mathematikmodus?

Beides. H(X) kompiliert im Fließtext ebenso wie innerhalb von $...$; in einer Formel bleibt es im Mathematikmodus, damit es mathematische Schriften und Abstände erhält.