Введение в AI

Теория курса — от математики и линейной регрессии до трансформеров и LLM — находит воплощение в конкретных библиотеках и практиках развёртывания. В реальных проектах данные готовят в Python с помощью Pandas и NumPy, классические модели обучают в Scikit-learn, нейросети — в PyTorch или TensorFlow, а вывод моделей в продакшен и их поддержку обеспечивают практики MLOps. Этот модуль даёт обзор ключевых инструментов и этапов жизненного цикла ML-системы.

Задача модуля: интегрировать всё изученное в контекст реальных инструментов: какие библиотеки использовать для данных и визуализации, как устроен единый интерфейс Scikit-learn и пайплайны, чем отличаются PyTorch и TensorFlow и как модели живут в продакшене (обучение, версионирование, инференс, мониторинг). После модуля вы сможете осознанно выбирать стек и ориентироваться в типичном пайплайне ML-проекта.

Практически любой ML-проект начинается с загрузки и разведки данных. Pandas — стандарт для табличных данных: объект DataFrame (строки и столбцы), загрузка из CSV, Excel, баз данных, фильтрация, группировки, слияние таблиц, обработка пропусков и типов. Умение быстро отфильтровать выборку, посчитать агрегаты и соединить таблицы по ключу экономит часы при подготовке признаков и отладке пайплайна.

NumPy — основа численных вычислений: многомерные массивы, векторизованные операции без явных циклов, линейная алгебра (матрицы, скалярные произведения). На NumPy построены и Scikit-learn, и внутренности PyTorch/TensorFlow; понимание формы массивов и операций по осям необходимо при отладке и при переходе от таблиц к тензорам нейросетей.

Matplotlib и Seaborn — визуализация: графики зависимостей, распределения признаков, тепловые карты корреляций, бокс-платы. Визуальная разведка (EDA) помогает выявлять выбросы, дисбаланс классов и связи между признаками до обучения модели; без неё легко пропустить ошибки в данных или неудачный выбор признаков.

Scikit-learn — главная библиотека для классических алгоритмов ML в Python. Все модели и препроцессоры следуют единому интерфейсу: fit — обучить на данных (или подогнать преобразование, например нормализацию), predict — предсказать по новым данным, transform — применить преобразование (для нормализаторов, кодировщиков, PCA). Это позволяет собирать цепочки «нормализация → кодирование категорий → модель» в один объект Pipeline, который обучается и применяется как единое целое и исключает утечку информации между train и test при кросс-валидации.

В Scikit-learn реализованы линейная и логистическая регрессия, KNN, решающие деревья, случайный лес, градиентный бустинг (GradientBoostingClassifier/Regressor), кластеризация (K-means, DBSCAN), снижение размерности (PCA, t-SNE), метрики и разбиения для кросс-валидации. Подбор гиперпараметров через GridSearchCV или RandomizedSearchCV автоматизирует перебор комбинаций и выбор лучшей модели по выбранной метрике. Для табличных данных и быстрого прототипирования Scikit-learn остаётся стандартом выбора; для глубокого обучения подключают PyTorch или TensorFlow.

Для нейросетей нужны эффективные вычисления на GPU и автоматическое вычисление градиентов. Тензоры — многомерные массивы (как в NumPy), которые могут храниться и считаться на видеокарте; операции над ними векторизованы и параллельны. Автоматическое дифференцирование (autograd) записывает граф вычислений при прямом проходе и при вызове backward() вычисляет градиенты по всем параметрам по цепному правилу. Пользователь описывает только forward; backpropagation фреймворк делает сам.

Модели собирают из готовых слоёв: Linear, Conv2d, LSTM, MultiheadAttention и т.д. PyTorch использует динамический граф: граф строится на лету при каждом проходе, что удобно для отладки и для моделей с переменной длиной последовательности. TensorFlow (и высокоуровневый Keras) исторически опирался на статический граф и сильнее заточен под продакшен-деплой и распределённое обучение; в последних версиях также поддерживается eager mode, близкий к PyTorch. Для трансформеров и NLP часто используют библиотеку Hugging Face Transformers: готовые конфигурации и веса моделей (BERT, GPT, LLaMA и др.), единый API для загрузки, дообучения и инференса.

Выбор между PyTorch и TensorFlow часто сводится к экосистеме проекта и предпочтениям команды; оба позволяют реализовать любую архитектуру из курса и масштабировать обучение на кластерах с GPU.

MLOps — практики разработки и эксплуатации ML-систем: как переходить от обученной модели к стабильному сервису, как версионировать данные и модели, как следить за качеством в бою. Это «DevOps для ML» плюс специфика данных и воспроизводимости экспериментов.

Обучение больших моделей часто ведут на кластерах с GPU (один узел или распределённо); код и конфигурации хранят в репозитории, эксперименты логируют (метрики, гиперпараметры, артефакты). Версионирование моделей и датасетов позволяет воспроизводить результаты и откатываться к предыдущей версии при регрессии. Инструменты вроде MLflow (логирование запусков, артефакты, регистр моделей) и DVC (версионирование больших файлов и датасетов) решают эти задачи.

Инференс — сервирование модели: обёртка в REST API или батч-обработка по расписанию. Для ускорения используют конвертацию в форматы вроде ONNX и движки TensorRT, Triton и др. Мониторинг в продакшене включает отслеживание дрейфа данных (распределение входов изменилось), падения метрик качества (например, точности на отложенной выборке или A/B тесте), задержек и сбоев сервиса. CI/CD для ML расширяет классический пайплайн: помимо сборки и тестов кода добавляются переобучение модели при изменении данных или кода, валидация качества и деплой новой версии модели. Всё вместе даёт цикл: данные → обучение → версионирование → деплой → мониторинг → обратная связь и итерация.