Модуль 3: Классические алгоритмы. От простого к сложному
Задача модуля: Понять логику работы «интерпретируемых» моделей, чтобы потом сравнить с «чёрным ящиком» нейросетей.
Линейная регрессия и её механика
Уравнение прямой y = kx + b в многомерном мире: y = w₁x₁ + w₂x₂ + … + w₀ (свободный член). Обучение — подбор весов (коэффициентов) методом наименьших квадратов (МНК) или градиентного спуска. Интерпретация: если признак xᵢ вырос на 1 (при остальных неизменных), предсказание изменится на wᵢ.
Логистическая регрессия (основа классификации)
Для классификации нельзя просто провести прямую: нужна вероятность класса. Сигмоида (S-образная функция) «сжимает» линейную комбинацию весов и признаков в число от 0 до 1 — вероятность положительного класса. Граница принятия решения — обычно 0,5: выше — один класс, ниже — другой.
Метрические методы (KNN)
Ленивое обучение — модель по сути запоминает данные; ответ для нового объекта даётся по k ближайшим соседям (голосование по классам или среднее по целевой переменной). Меры расстояния: евклидово, манхэттенское. Важно масштабировать признаки, иначе признак с большей дисперсией будет доминировать. Влияние шума снижают выбором k и весами соседей.
Решающие деревья (Decision Trees)
Данные разбиваются по условиям (if-else) по признакам. Энтропия и неопределённость — мера «размазанности» классов в узле. Дерево выбирает, по какому признаку и порогу делить, чтобы информация стала «чище» (снижение энтропии или прирост информации). Проблема переобучения: глубокое дерево запоминает шум; решается ограничением глубины, минимального числа объектов в листе и ансамблями (следующий модуль).