Взаимная информация в LaTeX (I(X; Y))

Где используется

Взаимная информация X и Y: насколько знание одной случайной величины уменьшает неопределённость другой.

Взаимная информация равна I(X; Y) = H(X) - H(X \mid Y) = D_{\text{KL}}(p(x,y) \| p(x)p(y)) и обращается в ноль ровно тогда, когда X и Y независимы. Точка с запятой общепринята и разделяет два аргумента, которые сами могут быть списками, как в I(X_1, X_2; Y); запятая была бы неоднозначной. TeX считает ; знаком препинания и автоматически добавляет после неё узкий пробел. Условная взаимная информация записывается как I(X; Y \mid Z). Она лежит в основе информационного бутылочного горлышка, контрастивных функций потерь InfoNCE и отбора признаков.

Минимальный компилируемый пример

Вставьте это в пустой файл .tex и скомпилируйте с pdfLaTeX, XeLaTeX или LuaLaTeX.

\documentclass{article}
\begin{document}
Mutual Information: $I(X; Y)$

\[ I(X; Y) = H(X) - H(X \mid Y) \]
\end{document}

Похожие символы

• Логарифм правдоподобия\log p(x | \theta)
• ЭнтропияH(X)
• Распределение вероятностейp(x)
• Перекрёстная энтропияH(p, q)
• Условная вероятностьp(y | x)
• Вектор смещений\mathbf{b}

Частые вопросы

Как написать «Взаимная информация» в LaTeX?

Наберите I(X; Y) в математическом режиме, например $I(X; Y) = H(X) - H(X \mid Y)$. Команда работает в обычном LaTeX без подключения пакетов.

Какой пакет нужен для I(X; Y)?

Никакой. I(X; Y) входит в стандартный LaTeX, поэтому в преамбуле достаточно класса документа.

Можно ли использовать I(X; Y) в текстовом режиме или только в математическом?

В обоих. I(X; Y) компилируется и в тексте, и внутри $...$; в формуле оставляйте её в математическом режиме ради математических шрифтов и интервалов.