Gradient Boosting

Частный случай — AdaBoost
Работает на с любой дифференцируемой функцией потерь.
Ленивое определение Gradient Boosting — каждая следующая модель ансамбля обучается на анти-градиенте функции потерь по предсказаниям предыдущего ансамбля.

Есть ли смысл применять Gradient Boosting над Linear Regression и Logistic Regression

Нет смысла делать бустинг над Linear Regression, потому что бустинг — это линейная комбинация моделей, а линейная комбинация линейных моделей не даст ничего нового, получится тоже линейная модель, схожая с той, что получилась бы просто при обучении обычной линейной регрессии. В случае с Logistic Regression есть смысл применять бустинг, потому что, хотя логистическая регрессия и строит линейную разделяющую поверхность, она не является линейным отображением объектов, взвешенная сумма сигмоид не будет равна сигмоиде от взвешенной суммы линейных моделей.