Kreuzentropie in LaTeX (H(p, q))

Verwendung

Kreuzentropie zwischen einer wahren Verteilung p und einem Modell q: die erwartete Codelänge, wenn p mit q codiert wird.

Die Kreuzentropie ist H(p, q) = -\sum_x p(x) \log q(x) und die Verlustfunktion der Klassifikation: Bei One-Hot-Labels reduziert sie sich auf -\log q(y). Sie zerfällt in H(p, q) = H(p) + D_{\text{KL}}(p \| q), was erklärt, warum ihre Minimierung über q auch die KL-Divergenz minimiert. Achten Sie auf einen Notationskonflikt: H(X, Y) mit Zufallsvariablen bezeichnet meist die gemeinsame Entropie, daher schreiben manche Autoren zur Klarheit H_\times(p, q) oder \mathrm{CE}(p, q). Das Komma erhält normale Interpunktionsabstände, eine manuelle Anpassung ist also nicht nötig.

Minimales kompilierbares Beispiel

Fügen Sie dies in eine leere .tex-Datei ein und kompilieren Sie mit pdfLaTeX, XeLaTeX oder LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

Verwandte Symbole

• EntropieH(X)
• Bias-Vektor\mathbf{b}
• TransinformationI(X; Y)
• Gewichtsmatrix\mathbf{W}
• Log-Likelihood\log p(x | \theta)
• Theta-Stern\theta^*

Häufige Fragen

Wie schreibe ich Kreuzentropie in LaTeX?

Schreiben Sie H(p, q) im Mathematikmodus, zum Beispiel $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$. Es funktioniert in Standard-LaTeX, ohne ein Paket zu laden.

Welches Paket brauche ich für H(p, q)?

Keines. H(p, q) gehört zum Standardumfang von LaTeX und kompiliert ohne weitere Angaben in der Präambel außer der Dokumentklasse.

Kann ich H(p, q) im Textmodus verwenden oder nur im Mathematikmodus?

Beides. H(p, q) kompiliert im Fließtext ebenso wie innerhalb von $...$; in einer Formel bleibt es im Mathematikmodus, damit es mathematische Schriften und Abstände erhält.