Entropia in LaTeX (H(X))

Dove si usa

Entropia di Shannon di una variabile aleatoria X: l'incertezza media, o contenuto informativo, dei suoi esiti.

L'entropia è H(X) = -\sum_x p(x) \log p(x), misurata in bit con \log_2 e in nat con \ln. È massima per la distribuzione uniforme, dove H(X) = \log |\mathcal{X}|, e compare nella suddivisione degli alberi di decisione tramite il guadagno di informazione e nell'apprendimento per rinforzo a massima entropia. Le grandezze correlate condividono la lettera: entropia condizionata H(Y|X), entropia congiunta H(X, Y) ed entropia differenziale h(X) per le variabili continue, di solito in minuscolo. Alcuni articoli scrivono \mathbb{H}[X] per evitare confusione con una matrice hessiana H o con una classe di ipotesi.

Esempio minimo compilabile

Incollalo in un file .tex vuoto e compilalo con pdfLaTeX, XeLaTeX o LuaLaTeX.

\documentclass{article}
\begin{document}
Entropy: $H(X)$

\[ H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x) \]
\end{document}

Simboli correlati

• Informazione mutuaI(X; Y)
• Entropia incrociataH(p, q)
• Log-verosimiglianza\log p(x | \theta)
• Vettore di bias\mathbf{b}
• Distribuzione di probabilitàp(x)
• Matrice dei pesi\mathbf{W}

Domande frequenti

Come si scrive Entropia in LaTeX?

Scrivi H(X) in modalità matematica, per esempio $H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$. Funziona in LaTeX standard senza caricare alcun pacchetto.

Quale pacchetto serve per H(X)?

Nessuno. H(X) fa parte di LaTeX standard, quindi compila con la sola classe del documento nel preambolo.

Posso usare H(X) in modalità testo o solo in modalità matematica?

Entrambe. H(X) compila nel testo e dentro $...$; in una formula lascialo in modalità matematica, così usa i font e la spaziatura matematici.