Entropia incrociata in LaTeX (H(p, q))

Dove si usa

Entropia incrociata tra una distribuzione vera p e un modello q: la lunghezza attesa del codice quando si codifica p usando q.

L'entropia incrociata è H(p, q) = -\sum_x p(x) \log q(x), ed è la perdita della classificazione: con etichette one-hot si riduce a -\log q(y). Si scompone come H(p, q) = H(p) + D_{\text{KL}}(p \| q), il che spiega perché minimizzarla rispetto a q minimizza anche la divergenza KL. Attenzione al conflitto di notazione: H(X, Y) con variabili aleatorie indica di solito l'entropia congiunta, quindi alcuni autori scrivono H_\times(p, q) o \mathrm{CE}(p, q) per chiarezza. La virgola ha la normale spaziatura da punteggiatura, quindi non serve alcun aggiustamento manuale.

Esempio minimo compilabile

Incollalo in un file .tex vuoto e compilalo con pdfLaTeX, XeLaTeX o LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

Simboli correlati

• EntropiaH(X)
• Vettore di bias\mathbf{b}
• Informazione mutuaI(X; Y)
• Matrice dei pesi\mathbf{W}
• Log-verosimiglianza\log p(x | \theta)
• Theta ottimo\theta^*

Domande frequenti

Come si scrive Entropia incrociata in LaTeX?

Scrivi H(p, q) in modalità matematica, per esempio $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$. Funziona in LaTeX standard senza caricare alcun pacchetto.

Quale pacchetto serve per H(p, q)?

Nessuno. H(p, q) fa parte di LaTeX standard, quindi compila con la sola classe del documento nel preambolo.

Posso usare H(p, q) in modalità testo o solo in modalità matematica?

Entrambe. H(p, q) compila nel testo e dentro $...$; in una formula lascialo in modalità matematica, così usa i font e la spaziatura matematici.