Лекция 13: Кластеризация. K-Means и Иерархический анализ

Цели лекции

1. Сменить парадигму: научиться работать без целевой переменной ($y$).
2. Разобрать K-Means — самый популярный алгоритм группировки данных.
3. Изучить Иерархическую кластеризацию и дендрограммы.
4. Понять, как оценивать качество, когда правильных ответов нет (Silhouette Score).

---

Часть 1: Философия Unsupervised Learning

В Supervised Learning (Регрессия, Классификация) у нас был “Учитель”, который говорил: “Это кошка, а это собака”. Модель минимизировала ошибку между прогнозом и учителем. В Unsupervised Learning (обучении без учителя) правильных ответов нет.

1.2. Примеры из жизни

Где это применяется на практике?

Сегментация клиентов: Группировка на “Экономных”, “Транжир” и “Охотников за скидками”. Мы не знаем этих названий заранее, алгоритм сам находит эти скрытые группы на основе поведения.

Сжатие изображений: Уменьшение палитры цветов до 16 основных оттенков путем кластеризации похожих пикселей.

Детекция аномалий: Всё, что не попало ни в один нормальный кластер, считается подозрительным (например, банковский фрод).

---

Часть 2: K-Means (К-Средних) — Рабочая лошадка

Это итеративный алгоритм, который пытается найти $K$ центров сгустков данных.

2.1. Алгоритм в 4 шага

1. Init (Инициализация): Выбираем $K$ случайных точек в пространстве и называем их Центроидами.
2. Assignment (Назначение): Для каждой точки данных ищем ближайший центроид и красим точку в его цвет.
3. Update (Обновление): Перемещаем центроид в геометрический центр всех точек его цвета (берем среднее арифметическое координат).
4. Repeat (Повторение): Повторяем шаги 2 и 3, пока центроиды не перестанут двигаться.

2.2. Проблема выбора K (Elbow Method)

Алгоритм не знает, сколько кластеров в данных изначально. Вы должны сказать ему, например, $K=3$. А если их 5?

2.3. Нюансы инженера

---

Часть 3: Иерархическая кластеризация (Hierarchical)

Используется, если мы не хотим задавать $K$ заранее и хотим видеть структуру вложенности данных.

3.1. Агломеративный подход (Bottom-Up)

1. В начале каждая точка — это отдельный независимый кластер.
2. Находим два самых близких кластера и объединяем их в один.
3. Повторяем процесс, пока все точки не сольются в один гигантский кластер.

3.2. Дендрограмма

Это дерево, которое визуально показывает историю объединений.

• Ось Y показывает расстояние, на котором произошло слияние.
• Проведя горизонтальную линию на любой высоте, мы получим нужное число кластеров.

Визуально понятно устройство данных и легко интерпретируется человеком.

Очень медленно работает на больших данных (сложность $O(N^2)$ или $O(N^3)$).

---

Часть 4: Оценка качества (Evaluation)

Как понять, что разбиение хорошее, если у нас нет правильных ответов для проверки?

4.1. Внутренние метрики

Хороший кластер должен обладать двумя свойствами:

1. Компактным (Cohesion): Точки плотно прижаты к своему центру.
2. Изолированным (Separation): Кластеры находятся далеко друг от друга.

4.2. Silhouette Score (Силуэт)

Это самая надежная метрика, которая считается для каждой отдельной точки. $s = \frac{b - a}{\max(a, b)}$

• $a$: Среднее расстояние до точек своего кластера (мы хотим, чтобы оно было меньше).
• $b$: Среднее расстояние до точек ближайшего чужого кластера (мы хотим, чтобы оно было больше).

---

🧠 Проверка знаний

Почему при использовании алгоритма K-Means крайне важно предварительно применять масштабирование данных (например, StandardScaler)?

Алгоритм рассчитывает расстояния между точками, поэтому признаки с большими числовыми значениями (например, зарплата) будут полностью доминировать над признаками с малыми значениями (например, возраст).Без масштабирования алгоритм K-Means не сможет автоматически определить правильное количество кластеров (K).Масштабирование позволяет алгоритму находить кластеры сложной формы (например, полумесяцы), а не только сферические.Это ускоряет построение дендрограммы в иерархическом анализе.

Проверить ответ

Что означает значение Silhouette Score равное нулю (0) для конкретной точки данных?

Точка идеально отнесена к своему кластеру и находится в самом его центре.Точка является выбросом (аномалией) и не принадлежит ни одному кластеру.Точка находится на границе между своим и соседним кластером.Алгоритм допустил грубую ошибку и приписал точку к совершенно неверному кластеру.

Проверить ответ