softplus
$$\huge\text{Softplus}(x) = \ln(1 + \exp(x))$$
- При больших значениях x : \text{Softplus}(x) \approx x, как у ReLU
- При малых значениях x : \text{Softplus}(x) \approx 0, но без резкого обнуления, как у ReLU
$$\huge\text{Softplus}(x) = \ln(1 + \exp(x))$$