Обучение нейросетей

ReLU — дешёвый выбор по умолчанию для скрытых слоёв; sigmoid и tanh насыщаются и уместны на выходах и в гейтах. LeakyReLU и GELU держат ненулевой наклон для отрицательных входов, а GELU — стандарт трансформеров. Умирающий ReLU застрял на отрицательном входе: ноль на выходе, нулевой градиент.

Adam хранит для каждого веса скользящие оценки первого и второго моментов градиента и делит шаг на корень из второго, так что у каждого веса свой эффективный шаг плюс momentum. Это быстро сходится почти без настройки, но тянет в более острые минимумы, а настроенный SGD с momentum — в пологие.

Прямой проход сохраняет активации каждого слоя, затем градиент лосса идёт назад и каждый слой домножает его на свой локальный якобиан. Градиент раннего слоя — длинное произведение якобианов: нормы ниже или выше единицы дают экспоненциальное затухание или взрыв по глубине.

При обучении BatchNorm нормирует каждый мини-батч его средним/дисперсией и обновляет бегущие статистики; на инференсе использует эти сохранённые статистики, поэтому выход детерминирован. LayerNorm нормирует объект по признакам, без статистик батча, и одинаков в обеих фазах.

Следят за метрикой на валидации, а не за обучающим лоссом, и встают, когда она перестала улучшаться, возвращая веса лучшей эпохи. Patience — сколько эпох без улучшения вы терпите до остановки, чтобы шумная просадка не оборвала прогон. Это регуляризация: ёмкость модели ограничивается.

Батч — группа примеров под один шаг градиента, итерация — сам этот шаг, а эпоха — полный проход по обучающей выборке, поэтому итераций в эпохе столько, сколько размер выборки делить на размер батча. Удвоение батча вдвое сокращает итерации и снижает шум, поэтому learning rate поднимают, с warmup.

Слишком большой — лосс скачет, колеблется или уходит в NaN и не устаканивается. Слишком малый — падает плавно, но чересчур медленно и выходит на полку выше достижимого. Range-тест найдёт значение за один прогон: экспоненциально поднимайте скорость и берите точку чуть раньше разворота лосса вверх.

Основные — dropout (случайное обнуление нейронов при обучении) и L2 weight decay. Семейство нормализаций — Batch/Layer/Instance/Group Norm — стабилизирует и слегка регуляризует обучение. Аугментация данных и ранняя остановка тоже регуляризуют.

Затухание — градиент по пути назад стремится к нулю, ранние слои почти не обновляются и лосс застревает. Взрыв — он растёт неограниченно, давая огромные скачки весов и лосс, который подскакивает или уходит в NaN. Сильнее страдают глубокие обычные стеки и RNN без residual-связей.

Обрезают, когда градиенты изредка взрываются: глубокие рекуррентные сети, трансформеры, RL. Обрезание по норме перемасштабирует весь вектор при превышении глобальной нормы, поэтому направление сохраняется и падает лишь длина шага. Обрезание по значению урезает каждую координату отдельно и меняет направление.

Больший батч даёт менее шумный градиент, а этот шум — часть того, что регуляризует SGD. Без него оптимизатор оседает в острых минимумах, где лосс круто растёт при малых сдвигах весов или данных, а пологие такие сдвиги терпят и лучше переносятся. Масштабирование скорости с warmup закрывает часть разрыва.

Идите от дешёвого: попробуйте переобучиться на одном батче — не вышло, значит баг в коде, а не в данных. Затем проверьте соответствие меток входам, подходит ли лосс задаче, отнормированы ли входы и не абсурдна ли скорость. В конце ищите мёртвые ReLU и параметры без оптимизатора.

Step роняет скорость в несколько раз на заданных эпохах; cosine плавно снижает её к нулю; one-cycle сначала поднимает, затем опускает, часто меняя momentum в противофазе. Warmup поднимает скорость почти от нуля за первые шаги: вторые моменты Adam ещё шумны, и полный шаг расшатал бы residual-стек.

Взрыв градиентов — обрезайте по глобальной норме. Переполнение fp16 — loss scaler или bf16. Самописный log(0) — слитый лосс по логитам или эпсилон. Слишком большая скорость — снизьте или добавьте warmup. NaN уже в батче — проверяйте входы. Ищите первый плохой шаг по нормам градиентов.

Сначала убедитесь, что разрыв настоящий: валидация достаточно велика, из того же распределения и без утечки, льстившей ранним эпохам. Затем взвесьте ёмкость модели против размера выборки и перечитайте расписание скорости. И лишь потом регуляризация: сперва early stopping, затем dropout и weight decay.

При нулевых весах все нейроны слоя считают одно и то же и получают одинаковый градиент, поэтому остаются одинаковыми и симметрия не нарушается. Xavier масштабирует дисперсию по fan-in и fan-out, удерживая дисперсию сигнала на tanh и sigmoid; He удваивает её для ReLU, обнуляющего половину входов.

На инференсе нейроны НЕ выкидываются — работает вся сеть. Чтобы соответствовать величине активаций при обучении, стандартный dropout домножает активации на (1−p) на инференсе (p — вероятность выкинуть нейрон). Частый вариант, inverted dropout, масштабирует оставленные активации на 1/(1−p) ВО ВРЕМЯ обучения, а на инференсе — ничего.

Используйте накопление градиентов (gradient accumulation). Делайте forward + loss.backward() на каждом микро-батче из 32, давая градиентам суммироваться в буферах .grad, и вызывайте optimizer.step() + optimizer.zero_grad() лишь раз в 2048/32 = 64 микро-батча. При усреднённых лоссах делите лосс на 64.

Моделируйте окружение как неупорядоченное МНОЖЕСТВО (или граф) и берите перестановочно-инвариантную архитектуру: Deep Sets, attention pooling или Graph Attention Network (GAT). Кодируйте каждого соседа, затем агрегируйте симметрично (сумма/среднее или attention) — это делает выход инвариантным к порядку и принимает любое число соседей.

С ростом ёмкости тестовая ошибка идёт по классической U до порога интерполяции, где модель едва подгоняется под обучение и ошибка пикует. За порогом она снова падает: среди решений с нулевой обучающей ошибкой оптимизатор берёт гладкие, с меньшей нормой. U описывает лишь недопараметризованный режим.

Основное занимают веса, состояние оптимизатора (Adam хранит два момента), градиенты и активации для обратного прохода; активации растут как батч на глубину. Ранжируйте по цене: mixed precision, накопление градиентов, activation checkpointing, шардирование ZeRO, offload на CPU.