Описание

Sigmoid (aka logistic) function — функция активации, отображает число из $\huge \mathbb R$ в интервал $\huge(0, 1)$ используется в логистической регрессии, в NN применяется редко, обычно только в явной или неявной бинарной классификации, или если нужны ограничения на область значений.
$$
\huge\sigma(z)=\frac{1}{1+\exp(-z)}
$$

Свойства

Symmetric property:
$$
\huge1-\sigma(z)=\sigma(-z)
$$
Derivative:
$$
\huge\sigma(z)'=\sigma(z)(1-\sigma(z))
$$

Проблемы

• дорогое вычисление экспоненты
• область значений смещенная относительно нуля (для линейных моделей нужна нормировка, если сигмоиду применить к сигмоиде, то окажемся почти в линейной части, из-за чего сигмоида без нормировки не очень хорошо подходит для NN)

Вывод