Entropia cruzada em LaTeX (H(p, q))

Onde é usado

Entropia cruzada entre uma distribuição verdadeira p e um modelo q: o comprimento de código esperado ao codificar p com q.

A entropia cruzada é H(p, q) = -\sum_x p(x) \log q(x), e é a perda de classificação: com rótulos one-hot ela se reduz a -\log q(y). Ela se decompõe como H(p, q) = H(p) + D_{\text{KL}}(p \| q), o que explica por que minimizá-la em q também minimiza a divergência KL. Cuidado com o conflito de notação: H(X, Y) com variáveis aleatórias costuma significar entropia conjunta, por isso alguns autores escrevem H_\times(p, q) ou \mathrm{CE}(p, q) para maior clareza. A vírgula tem o espaçamento normal de pontuação, então nenhum ajuste manual é necessário.

Exemplo mínimo compilável

Cole isto em um arquivo .tex vazio e compile com pdfLaTeX, XeLaTeX ou LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

Símbolos relacionados

• EntropiaH(X)
• Vetor de viés\mathbf{b}
• Informação mútuaI(X; Y)
• Matriz de pesos\mathbf{W}
• Log-verossimilhança\log p(x | \theta)
• Teta com asterisco\theta^*

Perguntas frequentes

Como escrever Entropia cruzada em LaTeX?

Digite H(p, q) no modo matemático, por exemplo $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$. Funciona no LaTeX padrão sem carregar nenhum pacote.

Qual pacote é necessário para H(p, q)?

Nenhum. H(p, q) faz parte do LaTeX padrão, então compila só com a classe do documento no preâmbulo.

Posso usar H(p, q) no modo texto ou só no modo matemático?

Nos dois. H(p, q) compila no texto corrido e dentro de $...$; em uma fórmula, mantenha-o no modo matemático para que use as fontes e o espaçamento matemáticos.