Blanding

Blanding — линейная комбинация каких-то обученных моделей.
Обучили K моделей, потом на отдельной маленькой выборке подбираем веса, с которыми нужно сложить значения K моделей и получить хороший результат. Обычно используются сильные модели.
Ограничения:

• веса должны быть в [0; 1]
• сумма весов должна быть равна 1
  Ограничения нужны для того, чтобы не сместить ответ.
  Свойства:
• Простой и интуитивный ансамбль
• Поиск оптимальных весов может быть не тривиальным
• Линейной комбинации не всегда достаточно

Подобрать веса может быть не тривиально, потому что может не быть возможности использовать градиентную оптимизацию (из-за входящих в ансамбль моделей), веса, как правило, ищут методами численной оптимизации.

Отличие от Stacking с одним слоем и выходной линейной регрессией — в блендинге мы обычно не учим итоговую модель на другой выборке, мы просто подбираем веса, а для этого можно взять выборку поменьше.