Лекция 12: Ансамбли II. Градиентный Бустинг (Gradient Boosting)

Цели лекции

1. Понять фундаментальную разницу между Bagging (Random Forest) и Boosting.
2. Разобраться, как можно обучаться на собственных ошибках (идея градиента).
3. Сделать обзор “Большой тройки” библиотек: XGBoost, LightGBM, CatBoost.
4. Освоить критически важные гиперпараметры: Learning Rate и Early Stopping.

---

Часть 1: Философия Бустинга. Последовательность против Параллелизма

1.1. Bagging vs Boosting

• Принцип: “Параллелизм”. Мы строим 100 независимых деревьев одновременно. Каждое дерево учится на всем датасете (с бутстрэпом).
• Цель: Снизить разброс (Variance). Усреднить шум.

• Принцип: “Последовательность”. Мы строим деревья по очереди. Дерево №2 создается не для того, чтобы предсказать целевую переменную, а чтобы исправить ошибки Дерева №1.
• Цель: Снизить смещение (Bias). Сделать модель умнее и сложнее.

1.2. Аналогия: Студент и Экзамен

---

Часть 2: Механика Градиентного Бустинга

Как математически “исправить ошибку”?

2.1. Обучение на остатках (Residuals)

Пусть мы предсказываем Цену квартиры ($y$).

1. Шаг 0: Модель $F_0(x)$ предсказывает среднюю цену: 5 млн.
2. Оценка: Реальная цена первой квартиры 7 млн. Ошибка (остаток) = $+2$ млн.
3. Шаг 1: Мы строим Дерево №1 ($h_1$), которое учится предсказывать не цену (7 млн), а ошибку (+2 млн).
   • Пусть Дерево №1 предсказало +1.8 млн.
4. Обновление: Новая модель $F_1(x) = F_0(x) + h_1(x) = 5 + 1.8 = 6.8$ млн.
5. Шаг 2: Новая ошибка = $7 - 6.8 = +0.2$ млн. Строим Дерево №2, чтобы предсказать 0.2.

Суть: Каждое следующее дерево — это “заплатка”, закрывающая дыры предыдущих моделей.

2.2. Почему “Градиентный”?

Если функция потерь — MSE (квадратичная), то её производная (градиент) — это как раз разница $(y - \hat{y})$. Предсказывая остатки (ошибки), мы фактически движемся в сторону анти-градиента функции потерь. Мы спускаемся с горы ошибок к минимуму.

---

Часть 3: “Большая Тройка” библиотек

В Python стандартный sklearn.ensemble.GradientBoostingClassifier используется редко (он медленный). Индустрия использует три оптимизированные библиотеки.

eXtreme Gradient Boosting

• Статус: Легенда. Появился в 2014 и выиграл все соревнования Kaggle.
• Фишки:
  • Параллельные вычисления (несмотря на последовательную суть алгоритма, построение узлов распараллелено).
  • Работает с пропусками (сам решает, в какую ветку пустить NaN).
  • Регуляризация (L1/L2) включена в целевую функцию.
• Когда брать: Классический выбор, “золотой стандарт”.

Light Gradient Boosting Machine (Разработчик: Microsoft)

• Фишки:
  • Скорость: В разы быстрее XGBoost на огромных данных.
  • Leaf-wise growth: Растит дерево не по уровням (симметрично), а туда, где ошибка падает сильнее всего (может получиться глубокая “ветка”). Это точнее, но выше риск переобучения на малых данных.
• Когда брать: Когда данных очень много (> 1 млн строк) и нужно быстро.

Categorical Boosting (Разработчик: Яндекс)

• Фишки:
  • Работа с категориями: Не нужно делать One-Hot Encoding руками. Можно просто сказать: “Колонка 5 — это текст”. CatBoost использует хитрые статистики (Target Encoding) внутри.
  • Symmetric Trees: Строит сбалансированные деревья. Это делает предсказание (Inference) очень быстрым и надежным.
• Когда брать: Если в данных много категорий (города, ID, типы), и лень возиться с предобработкой. Лучший выбор для новичка (“работает из коробки”).

---

Часть 4: Гиперпараметры Бустинга

У бустинга десятки настроек, но важных всего 3-4.

4.1. Learning Rate (Скорость обучения, $\eta$)

Это коэффициент, с которым мы добавляем новое дерево: $F_{new} = F_{old} + \eta \cdot Tree_{new}$

• Обычно $\eta$ маленькая (0.01 - 0.1).
• Смысл: Мы не доверяем новому дереву на 100%, а берем от него лишь малую часть совета. Это делает обучение плавным и устойчивым.
• Trade-off: Чем меньше Learning Rate, тем больше деревьев (n_estimators) нужно построить.

4.2. Number of Estimators (Количество деревьев)

4.3. Early Stopping (Ранняя остановка)

Как узнать, сколько деревьев нужно? 100? 1000? Мы не гадаем.

1. Откладываем валидационную выборку.
2. После добавления каждого дерева проверяем ошибку на валидации.
3. Если ошибка не падает (или растет) в течение $N$ раундов (patience) — стоп машина. Обучение прекращается.

---

Часть 5: Когда использовать Бустинг?

• Табличные данные: Бустинг — король. Нейросети пока не могут его победить на задачах типа “Скоринг”, “Продажи”, “Рекомендации”.
• Неструктурированные данные (Картинки, Звук, Текст): Бустинг слаб. Здесь правят Нейросети (Deep Learning).

---

🧠 Проверка знаний

В чем заключается фундаментальная архитектурная разница между ансамблями Bagging (например, Random Forest) и Boosting?

Bagging используется исключительно для задач классификации, а Boosting — только для регрессии.В Bagging используются только линейные модели, а в Boosting — только деревья решений.Bagging строит независимые деревья параллельно для снижения дисперсии (усреднения шума), а Boosting строит деревья последовательно, где каждое новое дерево исправляет ошибки предыдущих.Bagging всегда требует масштабирования данных с помощью StandardScaler, в то время как Boosting не зависит от масштаба.

Проверить ответ

Какой механизм позволяет алгоритму Градиентного Бустинга автоматически находить оптимальное количество деревьев и избегать переобучения?

One-Hot EncodingEarly Stopping (Ранняя остановка)Увеличение параметра Learning Rate (Скорости обучения)Метод случайных подпространств (Random Subspace Method)

Проверить ответ