Энтропия в LaTeX (H(X))

Где используется

Энтропия Шеннона случайной величины X: средняя неопределённость, или информативность, её исходов.

Энтропия равна H(X) = -\sum_x p(x) \log p(x) и измеряется в битах при \log_2 и в натах при \ln. Максимум достигается на равномерном распределении, где H(X) = \log |\mathcal{X}|; энтропия появляется при разбиении в деревьях решений через прирост информации и в обучении с подкреплением с максимальной энтропией. Родственные величины используют ту же букву: условная энтропия H(Y|X), совместная энтропия H(X, Y) и дифференциальная энтропия h(X) для непрерывных величин, обычно строчной буквой. Некоторые статьи пишут \mathbb{H}[X], чтобы избежать путаницы с гессианом H или классом гипотез.

Минимальный компилируемый пример

Вставьте это в пустой файл .tex и скомпилируйте с pdfLaTeX, XeLaTeX или LuaLaTeX.

\documentclass{article}
\begin{document}
Entropy: $H(X)$

\[ H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x) \]
\end{document}

Похожие символы

• Взаимная информацияI(X; Y)
• Перекрёстная энтропияH(p, q)
• Логарифм правдоподобия\log p(x | \theta)
• Вектор смещений\mathbf{b}
• Распределение вероятностейp(x)
• Матрица весов\mathbf{W}

Частые вопросы

Как написать «Энтропия» в LaTeX?

Наберите H(X) в математическом режиме, например $H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$. Команда работает в обычном LaTeX без подключения пакетов.

Какой пакет нужен для H(X)?

Никакой. H(X) входит в стандартный LaTeX, поэтому в преамбуле достаточно класса документа.

Можно ли использовать H(X) в текстовом режиме или только в математическом?

В обоих. H(X) компилируется и в тексте, и внутри $...$; в формуле оставляйте её в математическом режиме ради математических шрифтов и интервалов.