Hàm ReLU trong LaTeX (\text{ReLU})

Dùng ở đâu

Tên hàm kích hoạt đơn vị tuyến tính chỉnh lưu, cho đầu ra max(0, x) và triệt tiêu các đầu vào âm.

ReLU được định nghĩa là \text{ReLU}(x) = \max(0, x), với đạo hàm bằng 1 cho đầu vào dương và 0 cho đầu vào âm. Đây là hàm kích hoạt mặc định cho các lớp ẩn trong mạng hiện đại; các biến thể gồm Leaky ReLU, \max(\alpha x, x), và GELU. Viết \text{ReLU} vẫn được, nhưng nó theo kiểu văn bản xung quanh, nên trong môi trường in nghiêng nó sẽ bị nghiêng; \operatorname{ReLU} hoặc \mathrm{ReLU} luôn đứng thẳng, và \operatorname còn xử lý khoảng cách trước đối số. Khi áp dụng cho một vectơ, hãy nói rõ nó tác động theo từng phần tử, như trong \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}).

Ví dụ tối giản biên dịch được

Dán đoạn này vào một tệp .tex trống rồi biên dịch bằng pdfLaTeX, XeLaTeX hoặc LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
ReLU: $\text{ReLU}$

\[ \mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}) \]
\end{document}

Ký hiệu liên quan

• Nabla\nabla
• Sigma\sigma
• Gradient của hàm mất mát\nabla_{\theta} \mathcal{L}
• Hàm softmax\text{softmax}
• Đạo hàm riêng\frac{\partial \mathcal{L}}{\partial \theta}
• Dấu chấm trong vòng tròn\odot

Câu hỏi thường gặp

Làm thế nào để viết Hàm ReLU trong LaTeX?

Gõ \text{ReLU} trong chế độ toán, ví dụ $\mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b})$. Trước hết hãy nạp amsmath bằng \usepackage{amsmath}.

Cần gói nào để dùng \text{ReLU}?

\text{ReLU} cần amsmath: thêm \usepackage{amsmath} vào phần mở đầu, trước khi tài liệu bắt đầu.

Có thể dùng \text{ReLU} trong chế độ văn bản không, hay chỉ trong chế độ toán?

Cả hai. \text{ReLU} biên dịch được trong văn bản lẫn bên trong $...$; trong công thức hãy để nó ở chế độ toán để dùng phông chữ và khoảng cách toán học.