Перекрёстная энтропия в LaTeX (H(p, q))

Где используется

Перекрёстная энтропия между истинным распределением p и моделью q: ожидаемая длина кода при кодировании p с помощью q.

Перекрёстная энтропия равна H(p, q) = -\sum_x p(x) \log q(x) и служит функцией потерь в классификации: при one-hot метках она сводится к -\log q(y). Она раскладывается как H(p, q) = H(p) + D_{\text{KL}}(p \| q), что объясняет, почему её минимизация по q минимизирует и KL-дивергенцию. Остерегайтесь конфликта обозначений: H(X, Y) для случайных величин обычно означает совместную энтропию, поэтому некоторые авторы для ясности пишут H_\times(p, q) или \mathrm{CE}(p, q). Запятая получает обычный пунктуационный интервал, так что ручная корректировка не нужна.

Минимальный компилируемый пример

Вставьте это в пустой файл .tex и скомпилируйте с pdfLaTeX, XeLaTeX или LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

Похожие символы

• ЭнтропияH(X)
• Вектор смещений\mathbf{b}
• Взаимная информацияI(X; Y)
• Матрица весов\mathbf{W}
• Логарифм правдоподобия\log p(x | \theta)
• Тета со звёздочкой\theta^*

Частые вопросы

Как написать «Перекрёстная энтропия» в LaTeX?

Наберите H(p, q) в математическом режиме, например $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$. Команда работает в обычном LaTeX без подключения пакетов.

Какой пакет нужен для H(p, q)?

Никакой. H(p, q) входит в стандартный LaTeX, поэтому в преамбуле достаточно класса документа.

Можно ли использовать H(p, q) в текстовом режиме или только в математическом?

В обоих. H(p, q) компилируется и в тексте, и внутри $...$; в формуле оставляйте её в математическом режиме ради математических шрифтов и интервалов.