Введение в AI

Задача модуля: Объяснить, как устроен «кирпичик» глубокого обучения.

Математическая модель: взвешенная сумма входов (как в линейной регрессии) плюс функция активации (нелинейность). Выход = activation(w₁x₁ + w₂x₂ + … + b). Сравнение с биологическим нейроном: дендриты — входы, синапсы — веса, тело нейрона — сумма и порог, аксон — выход.

Сигмоид — выход от 0 до 1, удобен для вероятностей; насыщение на краях ведёт к затуханию градиента. Tanh — от −1 до 1, центрированный. ReLU (выпрямитель) — max(0, x): обнуляет отрицательные значения, не насыщается при x > 0, ускоряет сходимость. Зачем нелинейность: без неё много слоёв эквивалентны одному линейному преобразованию; с нелинейностью сеть описывает сложные зависимости, а не только прямые/плоскости.

Входной слой — признаки (каждый нейрон = один признак или один пиксель). Скрытые слои — обучаются промежуточным представлениям (абстракциям). Выходной слой — один нейрон для регрессии, несколько для многоклассовой классификации (часто с softmax). Полносвязность: каждый нейрон слоя связан со всеми нейронами предыдущего.

Данные проходят от входа к выходу: на каждом слое применяется линейное преобразование (матрица весов × вектор входа + сдвиг) и функция активации. Выход предыдущего слоя становится входом следующего. В конце получаем предсказание модели. Все промежуточные значения сохраняются — они понадобятся для обратного распространения при обучении.