Deep Learning

Классический пайплайн построения модели:
Хочется автоматически получать фичи:
и хочется, чтобы оба параметрических метода были дифференцируемы.
Для этого подойдет Blanding, но в таком случае наш Feture extractor будет фиксированным, как предыдущий ансамбль а бустинге, а хочется, чтобы все вместе обучалось. Тогда предложили такую схему:
линейное преобразование -> нелинейное преобразование над выходом линейного (Activation function) — Feature extractor
DL Thesaurus

Итого, получается, что нейронная сеть — это последовательность дифференцирумых преобразований (на самом деле нам нужные не непрерывно диференцирумые функции, а функции с возможностью посчитать производную в каждой точке, например точку разрыва можно определить каким-то значением производной и тогда функция с разрывом будет подходить), где от слоя к слою мы переходим из одного признакового пространства в другое, а при обучении, обучаются одновременно все элементы NN.