ReLU

Мы хотим, чтобы наши данные примерно равномерно оказались слева и справа от нуля.
Плюсы:

• легко вычислять
• производную считать легко (если 0, то производная 0, если нет, то производная 1)
  Минусы:
• выход не центрированный (справа от нуля всего ноль, а слева положительное число)
• если градиент 0, то дальше градиенты в обратном направлении не проходят, все зануляются

Очень часто применяется.

для решения проблемы с нулевым градиентом предложили Leaky ReLU