Линейные модели и оптимизация

Линейность по параметрам, независимость ошибок, постоянная дисперсия, нормальные остатки. Гетероскедастичность или коррелированные ошибки не смещают коэффициенты, но ломают формулу стандартных ошибок, и p-значения неверны.

Коэффициент это ожидаемое изменение цели при росте признака на единицу при фиксированных остальных. Коррелированные признаки делают оговорку ненаблюдаемой и расшатывают знаки, а разные шкалы делают величины несравнимыми, нужна стандартизация.

Линейная подгонка не ограничена, поэтому даёт вероятности меньше нуля или больше единицы и перекашивается далёкими точками. Логистическая регрессия сжимает счёт через sigmoid в модель логарифма шансов и учится на выпуклой log-loss.

Варианты: SGD с momentum (накапливает прошлые градиенты), AdaGrad (свой шаг на параметр), RMSProp (AdaGrad со скользящим средним против затухания шага), Adam (momentum + RMSProp) и Adan. Различаются способом адаптации шага и сглаживания направления градиента.

Градиентными методами, а не аналитической матричной формулой. Основные варианты — полный градиентный спуск (GD), берущий все объекты на шаге, и стохастический (SGD), берущий один объект или мини-батч. SGD масштабируется на большие данные и стоит по умолчанию.

Он предполагает условную независимость признаков при известном классе, чего у слов нет. Он выживает потому, что классификации нужен лишь верный argmax, а не откалиброванные вероятности — коррелированные слова похоже поднимают счёт всех классов.

Регуляризация борется с переобучением, добавляя в функционал штраф за норму весов. Для линейных моделей это L1 (сумма модулей весов), L2 (сумма квадратов) и Elastic Net (комбинация L1 и L2). Штраф не даёт весам расти слишком большими.

Остатки строят против предсказанных значений — здоровая картина это бесформенная полоса вокруг нуля. Воронка означает рост дисперсии ошибки с прогнозом, тогда преобразуют цель или берут робастные ошибки. Изгиб означает неверную форму.

Порождающая модель учит совместное распределение — априор класса и признаки в классе — и выводит апостериор. Различающая подгоняет границу напрямую. Наивный байес раньше достигает своей асимптотической ошибки и лидирует на малых данных.

Минимизация квадрата ошибки даёт w = (XᵀX)⁻¹Xᵀy. Её избегают, потому что обращение XᵀX дорого при многих признаках, а XᵀX бывает вырожденной или плохо обусловленной — инверсия невозможна или неустойчива. Добавление λI чинит обусловленность; предпочитают градиентные методы.

Симптом переобучения — очень большие веса. При огромных весах два почти одинаковых объекта, отличающихся на эпсилон, могут давать сильно разные предсказания — функция неустойчива. Штраф за норму уменьшает веса к нулю, делая функцию более гладкой и устойчивой, и она лучше обобщает.

Momentum хранит экспоненциально взвешенную сумму последних градиентов и шагает вдоль неё, гася колебания. Сильнее всего помогает на вытянутых (плохо обусловленных) линиях уровня: градиент направлен поперёк узкого оврага, обычный SGD зигзагует, а momentum усредняет боковые колебания и идёт вдоль дна оврага.

Геометрически ограничение L1 — ромб с углами на осях; линия уровня ошибки обычно касается его именно в углу, где вес равен 0. Ограничение L2 — круг без углов. По градиенту: у L1 |∂R/∂w| постоянна, и спуск доходит до 0; у L2 она убывает при w→0, и вес не доходит до нуля.

Зазор это полоса между гиперплоскостью и ближайшими точками, обучение максимизирует её ширину. Опорные векторы это точки на ней или нарушающие её — только они определяют решение. Большое C сужает зазор, малое расширяет.

Часть L1 обнуляет веса ради отбора, часть L2 сглаженно сжимает и держит задачу корректно поставленной. На коррелированных признаках чистый Lasso произвольно оставляет один и выбрасывает остальные, а член L2 распределяет вес по всей группе.

При идеальной разделимости оптимум максимального правдоподобия не существует: рост весов толкает log-loss к нулю, не достигая его, поэтому коэффициенты расходятся, а солвер встаёт лишь по лимиту итераций. Штраф фиксирует конечное решение.

Нет. Свободный член лишь сдвигает гиперплоскость туда, где лежат данные; это не вес признака. Штраф тянет сдвиг к нулю и мешает верно расположить гиперплоскость, из-за чего качество падает. По соглашению bias из штрафа исключают.

Стандартный алгоритм (Гаусс–Жордан / LU) кубический, O(n³). Быстрое умножение по Штрассену снижает до примерно O(n^2.81), есть и асимптотически более быстрые алгоритмы, но с огромными константами и практическими ограничениями, поэтому их почти не применяют. Эта кубическая стоимость — причина избегать формулы МНК.