ReLU en LaTeX (\text{ReLU})

Où il est utilisé

Nom de la fonction d'activation unité linéaire rectifiée (ReLU), qui renvoie max(0, x) et annule les entrées négatives.

La ReLU est définie par \text{ReLU}(x) = \max(0, x), de dérivée 1 pour les entrées positives et 0 pour les négatives. C'est l'activation par défaut des couches cachées dans les réseaux modernes ; parmi ses variantes figurent la Leaky ReLU, \max(\alpha x, x), et la GELU. Écrire \text{ReLU} fonctionne, mais suit le style du texte environnant et penche donc dans un environnement en italique ; \operatorname{ReLU} ou \mathrm{ReLU} reste droit, et \operatorname gère aussi l'espacement avant l'argument. Appliquée à un vecteur, précisez qu'elle agit composante par composante, comme dans \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}).

Exemple minimal compilable

Collez-le dans un fichier .tex vide et compilez avec pdfLaTeX, XeLaTeX ou LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
ReLU: $\text{ReLU}$

\[ \mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}) \]
\end{document}

Symboles associés

• Nabla\nabla
• Sigma\sigma
• Gradient de la perte L\nabla_{\theta} \mathcal{L}
• Fonction softmax\text{softmax}
• Dérivée partielle\frac{\partial \mathcal{L}}{\partial \theta}
• Point cerclé\odot

Questions fréquentes

Comment écrire ReLU en LaTeX ?

Tapez \text{ReLU} en mode mathématique, par exemple $\mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b})$. Chargez d’abord amsmath avec \usepackage{amsmath}.

Quel paquet faut-il pour \text{ReLU} ?

\text{ReLU} nécessite amsmath : ajoutez \usepackage{amsmath} au préambule avant le début du document.

Peut-on utiliser \text{ReLU} en mode texte, ou seulement en mode mathématique ?

Les deux. \text{ReLU} compile dans le texte comme dans $...$ ; dans une formule, gardez le mode mathématique pour les polices et l’espacement mathématiques.