Nonlinear SVM
tags
Мы можем применять разные функции для выражения скалярного произведения.
Возьмем другое скалярное произведение какого-то другого пространства для подсчета margin. Введем функцию ядра, которую будем использовать вместо скалярного произведения
Мы неявно преобразовали наше признаковое пространство сделав его нелинейным относительно исходных признаков.
В чем минусы?
- в общем случае мы не знаем какое ядро нам подходит, нужно его подбирать.
- новое ядро может быть дорогим вычислительно (проблемы начинаются, когда много фичей)
На практике применяют редко, применяют, если очень нравится svm, или есть какое-то явное предположение о том, какое спрямляющее пространство (Hilbert) может подходить (например такое бывает в различных биржевых задачах).
Как можно подобрать ядро?
- Научно — исследовать зависимости в данных, пытаться наложить их на какие-то поверхности
- Практически — взять набор ядер и пройтись по ним кросс валидацией