Entropy chéo trong LaTeX (H(p, q))

Dùng ở đâu

Entropy chéo giữa phân phối thực p và mô hình q: độ dài mã kỳ vọng khi mã hóa p bằng q.

Entropy chéo là H(p, q) = -\sum_x p(x) \log q(x), và nó chính là hàm mất mát cho bài toán phân loại: với nhãn one-hot, nó rút gọn thành -\log q(y). Nó phân tách thành H(p, q) = H(p) + D_{\text{KL}}(p \| q), điều này giải thích vì sao cực tiểu hóa nó theo q cũng cực tiểu hóa độ phân kỳ KL. Hãy cẩn thận với xung đột ký hiệu: H(X, Y) với biến ngẫu nhiên thường có nghĩa là entropy đồng thời, nên một số tác giả viết H_\times(p, q) hoặc \mathrm{CE}(p, q) cho rõ ràng. Dấu phẩy có khoảng cách dấu câu bình thường, nên không cần chỉnh tay.

Ví dụ tối giản biên dịch được

Dán đoạn này vào một tệp .tex trống rồi biên dịch bằng pdfLaTeX, XeLaTeX hoặc LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
Cross Entropy: $H(p, q)$

\[ H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q) \]
\end{document}

Ký hiệu liên quan

• EntropyH(X)
• Vectơ độ lệch\mathbf{b}
• Thông tin tương hỗI(X; Y)
• Ma trận trọng số\mathbf{W}
• Log hợp lý\log p(x | \theta)
• Tham số tối ưu theta sao\theta^*

Câu hỏi thường gặp

Làm thế nào để viết Entropy chéo trong LaTeX?

Gõ H(p, q) trong chế độ toán, ví dụ $H(p, q) = -\sum_{x} p(x) \log q(x) = H(p) + D_{\text{KL}}(p \| q)$. Lệnh dùng được trong LaTeX chuẩn mà không cần nạp gói nào.

Cần gói nào để dùng H(p, q)?

Không cần gói nào. H(p, q) thuộc LaTeX chuẩn, nên chỉ cần lớp tài liệu trong phần mở đầu là biên dịch được.

Có thể dùng H(p, q) trong chế độ văn bản không, hay chỉ trong chế độ toán?

Cả hai. H(p, q) biên dịch được trong văn bản lẫn bên trong $...$; trong công thức hãy để nó ở chế độ toán để dùng phông chữ và khoảng cách toán học.