Information mutuelle en LaTeX (I(X; Y))

Où il est utilisé

Information mutuelle entre X et Y : de combien la connaissance d'une variable aléatoire réduit l'incertitude sur l'autre.

L'information mutuelle vaut I(X; Y) = H(X) - H(X \mid Y) = D_{\text{KL}}(p(x,y) \| p(x)p(y)), et elle est nulle exactement lorsque X et Y sont indépendantes. Le point-virgule est conventionnel et sépare les deux arguments, qui peuvent eux-mêmes être des listes, comme dans I(X_1, X_2; Y) ; une virgule serait ambiguë. TeX traite ; comme une ponctuation et ajoute automatiquement une espace fine après. L'information mutuelle conditionnelle s'écrit I(X; Y \mid Z). Elle sous-tend le goulot d'étranglement de l'information (information bottleneck), les pertes contrastives InfoNCE et la sélection de variables.

Exemple minimal compilable

Collez-le dans un fichier .tex vide et compilez avec pdfLaTeX, XeLaTeX ou LuaLaTeX.

\documentclass{article}
\begin{document}
Mutual Information: $I(X; Y)$

\[ I(X; Y) = H(X) - H(X \mid Y) \]
\end{document}

Symboles associés

• Log-vraisemblance\log p(x | \theta)
• EntropieH(X)
• Distribution de probabilitép(x)
• Entropie croiséeH(p, q)
• Probabilité conditionnellep(y | x)
• Vecteur de biais\mathbf{b}

Questions fréquentes

Comment écrire Information mutuelle en LaTeX ?

Tapez I(X; Y) en mode mathématique, par exemple $I(X; Y) = H(X) - H(X \mid Y)$. La commande fonctionne en LaTeX standard sans charger de paquet.

Quel paquet faut-il pour I(X; Y) ?

Aucun. I(X; Y) fait partie de LaTeX standard : le préambule n’a besoin que de la classe de document.

Peut-on utiliser I(X; Y) en mode texte, ou seulement en mode mathématique ?

Les deux. I(X; Y) compile dans le texte comme dans $...$ ; dans une formule, gardez le mode mathématique pour les polices et l’espacement mathématiques.