Entropie croisée en LaTeX (H(p, q))

Où il est utilisé

Entropie croisée entre une distribution réelle p et un modèle q : la longueur de code moyenne lorsqu'on code p à l'aide de q.

L'entropie croisée vaut H(p, q) = -\sum_x p(x) \log q(x), et c'est la fonction de perte de la classification : avec des étiquettes one-hot, elle se réduit à -\log q(y). Elle se décompose en H(p, q) = H(p) + D_{\text{KL}}(p \| q), ce qui explique pourquoi la minimiser en q minimise aussi la divergence KL. Attention au conflit de notation : avec des variables aléatoires, H(X, Y) désigne généralement l'entropie conjointe, si bien que certains auteurs écrivent H_\times(p, q) ou \mathrm{CE}(p, q) pour plus de clarté. La virgule reçoit l'espacement normal d'une ponctuation : aucun ajustement manuel n'est nécessaire.

Exemple minimal compilable

Collez-le dans un fichier .tex vide et compilez avec pdfLaTeX, XeLaTeX ou LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

Symboles associés

• EntropieH(X)
• Vecteur de biais\mathbf{b}
• Information mutuelleI(X; Y)
• Matrice de poids\mathbf{W}
• Log-vraisemblance\log p(x | \theta)
• Thêta étoile\theta^*

Questions fréquentes

Comment écrire Entropie croisée en LaTeX ?

Tapez H(p, q) en mode mathématique, par exemple $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$. La commande fonctionne en LaTeX standard sans charger de paquet.

Quel paquet faut-il pour H(p, q) ?

Aucun. H(p, q) fait partie de LaTeX standard : le préambule n’a besoin que de la classe de document.

Peut-on utiliser H(p, q) en mode texte, ou seulement en mode mathématique ?

Les deux. H(p, q) compile dans le texte comme dans $...$ ; dans une formule, gardez le mode mathématique pour les polices et l’espacement mathématiques.