ReLU in LaTeX (\text{ReLU})

Verwendung

Name der Aktivierungsfunktion Rectified Linear Unit, die max(0, x) ausgibt und negative Eingaben auf null setzt.

ReLU ist definiert als \text{ReLU}(x) = \max(0, x), mit Ableitung 1 für positive und 0 für negative Eingaben. Sie ist die Standardaktivierung verdeckter Schichten in modernen Netzen; Varianten sind Leaky ReLU, \max(\alpha x, x), und GELU. \text{ReLU} funktioniert, folgt aber dem umgebenden Textstil und wird in einer kursiven Umgebung schräg; \operatorname{ReLU} oder \mathrm{ReLU} bleiben aufrecht, und \operatorname regelt zusätzlich den Abstand vor dem Argument. Wird die Funktion auf einen Vektor angewendet, geben Sie an, dass sie elementweise wirkt, etwa \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}).

Minimales kompilierbares Beispiel

Fügen Sie dies in eine leere .tex-Datei ein und kompilieren Sie mit pdfLaTeX, XeLaTeX oder LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
ReLU: $\text{ReLU}$

\[ \mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}) \]
\end{document}

Verwandte Symbole

• Nabla\nabla
• Sigma\sigma
• Gradient der Verlustfunktion\nabla_{\theta} \mathcal{L}
• Softmax-Funktion\text{softmax}
• Partielle Ableitung\frac{\partial \mathcal{L}}{\partial \theta}
• Eingekreister Punkt\odot

Häufige Fragen

Wie schreibe ich ReLU in LaTeX?

Schreiben Sie \text{ReLU} im Mathematikmodus, zum Beispiel $\mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b})$. Laden Sie zuerst amsmath mit \usepackage{amsmath}.

Welches Paket brauche ich für \text{ReLU}?

\text{ReLU} benötigt amsmath: Fügen Sie \usepackage{amsmath} in die Präambel ein, bevor das Dokument beginnt.

Kann ich \text{ReLU} im Textmodus verwenden oder nur im Mathematikmodus?

Beides. \text{ReLU} kompiliert im Fließtext ebenso wie innerhalb von $...$; in einer Formel bleibt es im Mathematikmodus, damit es mathematische Schriften und Abstände erhält.