Entropie en LaTeX (H(X))

Où il est utilisé

Entropie de Shannon d'une variable aléatoire X : l'incertitude moyenne, ou quantité d'information, de ses issues.

L'entropie vaut H(X) = -\sum_x p(x) \log p(x), mesurée en bits avec \log_2 et en nats avec \ln. Elle est maximale pour la distribution uniforme, où H(X) = \log |\mathcal{X}|, et elle intervient dans la construction des arbres de décision via le gain d'information ainsi qu'en apprentissage par renforcement à entropie maximale. Les grandeurs apparentées partagent la lettre : entropie conditionnelle H(Y|X), entropie conjointe H(X, Y) et entropie différentielle h(X) pour les variables continues, généralement en minuscule. Certains articles écrivent \mathbb{H}[X] pour éviter la confusion avec une hessienne H ou une classe d'hypothèses.

Exemple minimal compilable

Collez-le dans un fichier .tex vide et compilez avec pdfLaTeX, XeLaTeX ou LuaLaTeX.

\documentclass{article}
\begin{document}
Entropy: $H(X)$

\[ H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x) \]
\end{document}

Symboles associés

• Information mutuelleI(X; Y)
• Entropie croiséeH(p, q)
• Log-vraisemblance\log p(x | \theta)
• Vecteur de biais\mathbf{b}
• Distribution de probabilitép(x)
• Matrice de poids\mathbf{W}

Questions fréquentes

Comment écrire Entropie en LaTeX ?

Tapez H(X) en mode mathématique, par exemple $H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$. La commande fonctionne en LaTeX standard sans charger de paquet.

Quel paquet faut-il pour H(X) ?

Aucun. H(X) fait partie de LaTeX standard : le préambule n’a besoin que de la classe de document.

Peut-on utiliser H(X) en mode texte, ou seulement en mode mathématique ?

Les deux. H(X) compile dans le texte comme dans $...$ ; dans une formule, gardez le mode mathématique pour les polices et l’espacement mathématiques.