ML Vault
All notes

L2 регуляризация

tags

(Ridge)
$$
\huge L(X,Y,\omega)=(Y-X\omega)^T(Y-X\omega)=||Y-X\omega||_2^2
$$
В случае вырожденной матрицы (это и есть регуляризация):
$$
\huge L(\omega)=||Y-X\omega||_2^2 + \lambda||\omega||^2_2
$$
where
$$
\huge X=[x^{(1)},\dots,x^{(n)}]^T, \space x^ {(i)} \in \mathbb{R}
$$
сигма - строка (в случае линейной модели)

Все веса стараются быть одинаково маленькими