Entropía cruzada en LaTeX (H(p, q))

Dónde se usa

Entropía cruzada entre una distribución verdadera p y un modelo q: la longitud de código esperada al codificar p con q.

La entropía cruzada es H(p, q) = -\sum_x p(x) \log q(x), y es la pérdida de clasificación: con etiquetas one-hot se reduce a -\log q(y). Se descompone como H(p, q) = H(p) + D_{\text{KL}}(p \| q), lo que explica por qué minimizarla respecto de q también minimiza la divergencia KL. Cuidado con el choque de notación: H(X, Y) con variables aleatorias suele significar entropía conjunta, así que algunos autores escriben H_\times(p, q) o \mathrm{CE}(p, q) para mayor claridad. La coma tiene el espaciado normal de puntuación, así que no hace falta ningún ajuste manual.

Ejemplo mínimo compilable

Pégalo en un archivo .tex vacío y compílalo con pdfLaTeX, XeLaTeX o LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

Símbolos relacionados

• EntropíaH(X)
• Vector de sesgo\mathbf{b}
• Información mutuaI(X; Y)
• Matriz de pesos\mathbf{W}
• Log-verosimilitud\log p(x | \theta)
• Theta con asterisco\theta^*

Preguntas frecuentes

¿Cómo escribo Entropía cruzada en LaTeX?

Escribe H(p, q) en modo matemático, por ejemplo $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$. Funciona en LaTeX estándar sin cargar ningún paquete.

¿Qué paquete necesito para H(p, q)?

Ninguno. H(p, q) forma parte de LaTeX estándar, así que compila solo con la clase de documento en el preámbulo.

¿Puedo usar H(p, q) en modo texto o solo en modo matemático?

En ambos. H(p, q) compila en el texto y dentro de $...$; en una fórmula déjalo en modo matemático para que use fuentes y espaciado matemáticos.