Функция ReLU в LaTeX (\text{ReLU})

Где используется

Название функции активации «выпрямленный линейный элемент» (ReLU), которая возвращает max(0, x) и обнуляет отрицательные входы.

ReLU определяется как \text{ReLU}(x) = \max(0, x), её производная равна 1 для положительных входов и 0 для отрицательных. Это функция активации скрытых слоёв по умолчанию в современных сетях; её варианты — Leaky ReLU, \max(\alpha x, x), и GELU. Запись \text{ReLU} работает, но следует стилю окружающего текста, поэтому в курсивном окружении наклоняется; \operatorname{ReLU} или \mathrm{ReLU} остаются прямыми, а \operatorname к тому же расставляет пробел перед аргументом. При применении к вектору укажите, что функция действует поэлементно, как в \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}).

Минимальный компилируемый пример

Вставьте это в пустой файл .tex и скомпилируйте с pdfLaTeX, XeLaTeX или LuaLaTeX.

\documentclass{article}
\usepackage{amsmath}
\begin{document}
ReLU: $\text{ReLU}$

\[ \mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b}) \]
\end{document}

Похожие символы

• Набла\nabla
• Сигма\sigma
• Градиент функции потерь\nabla_{\theta} \mathcal{L}
• Функция softmax\text{softmax}
• Частная производная\frac{\partial \mathcal{L}}{\partial \theta}
• Точка в круге\odot

Частые вопросы

Как написать «Функция ReLU» в LaTeX?

Наберите \text{ReLU} в математическом режиме, например $\mathbf{h} = \text{ReLU}(\mathbf{W}\mathbf{x} + \mathbf{b})$. Сначала подключите amsmath: \usepackage{amsmath}.

Какой пакет нужен для \text{ReLU}?

Для \text{ReLU} нужен amsmath: добавьте \usepackage{amsmath} в преамбулу до начала документа.

Можно ли использовать \text{ReLU} в текстовом режиме или только в математическом?

В обоих. \text{ReLU} компилируется и в тексте, и внутри $...$; в формуле оставляйте её в математическом режиме ради математических шрифтов и интервалов.