Метод опорных векторов
Классификаторы и регрессоры с максимальным зазором: опорные векторы, мягкий зазор C, ядровой трюк, gamma у RBF и ε-трубка SVR.
5 вопросов
JuniorТеорияЧастоЧто выведет эта программа?
Что выведет эта программа?
3 6
Открыть задачу →Типичные ошибки
- ✗Ждать
6 3: большоеCделает нарушения дорогими и сужает полосу, поэтому её касаются немногие точки; малоеCрасширяет полосу, пока внутри не окажутся все точки. - ✗Ждать
3 3: опорные векторы — не только точки на краю полосы, но и все точки внутри неё или за ней, а малоеCпускает туда больше точек.
Уточняющие вопросы
- →Как меняется ширина полосы между
hardиsoft? - →Какое значение
Cвы попробуете первым на шумных данных и почему?
JuniorТеорияЧастоЧто выведет эта программа?
Что выведет эта программа?
2 1
Открыть задачу →Типичные ошибки
- ✗Ждать
1 1: точка[2, 1]лежит на самой прямой, её значениеmarginsравно0, а это меньше1, так что зазор она тоже нарушает. - ✗Ждать
4 1: точки[1, 1]и[1, 3]дают ровно1, то есть лежат на краю полосы, иmargins < 1их не считает.
Уточняющие вопросы
- →Какие из этих шести точек — опорные векторы этой прямой?
- →Какова ширина полосы у этой прямой и как она изменится, если удвоить
wиb?
JuniorТеорияЧастоЧто ядровой трюк позволяет методу опорных векторов (SVM) и чего он позволяет не вычислять?
Что ядровой трюк позволяет методу опорных векторов (SVM) и чего он позволяет не вычислять?
Ядро возвращает скалярное произведение двух точек после отображения в пространство большей размерности, не строя сами эти признаки. SVM нужны лишь такие попарные произведения, поэтому RBF или полиномиальное ядро дёшево даёт нелинейную границу.
Типичные ошибки
- ✗Представлять, что ядро строит и хранит отображённые признаки, — оно возвращает лишь их скалярное произведение, поэтому бесконечномерное пространство RBF-ядра применимо.
- ✗Считать, что ядровой SVM в исходном пространстве проводит прямую, — граница линейна лишь в неявном пространстве признаков, а во входном может изгибаться.
Уточняющие вопросы
- →Почему стоимость ядрового SVM растёт с числом обучающих объектов?
- →Какое ядро вы попробуете первым на данных, о которых мало известно?
JuniorТеорияЧастоКак gamma RBF-ядра (радиальной базисной функции) формирует границу SVM и важен ли масштаб признаков?
Как gamma RBF-ядра (радиальной базисной функции) формирует границу SVM и важен ли масштаб признаков?
Большое gamma у RBF сжимает влияние каждого опорного вектора до малой окрестности, и граница становится извилистой и переобучается; малое gamma расширяет влияние и сглаживает её. Без масштабирования в RBF доминирует один признак.
Типичные ошибки
- ✗Считать
gammaшириной зазора — оно задаёт, как быстро влияние точки падает с расстоянием, и большое значение заставляет границу огибать отдельные точки. - ✗Не масштабировать признаки для RBF-SVM — ядро использует евклидово расстояние, и признак в тысячах заглушает признак в единицах.
Уточняющие вопросы
- →Как подбирать
gammaвместе с C? - →Что предсказывает RBF-SVM вдали от всех опорных векторов при большом
gamma?
JuniorТеорияЧастоКак ε-трубка в регрессии опорных векторов (SVR) влияет на модель и на число опорных векторов?
Как ε-трубка в регрессии опорных векторов (SVR) влияет на модель и на число опорных векторов?
SVR не штрафует точки, чья ошибка остаётся внутри ε-трубки. Опорными векторами становятся только точки на границе трубки или вне её — лишь они формируют модель, поэтому при большем ε опорных векторов меньше, а функция более пологая.
Типичные ошибки
- ✗Считать ε скоростью обучения — это полуширина трубки без штрафа, и от неё зависит, какие точки станут опорными и насколько пологой будет функция.
- ✗Ждать, что каждая обучающая точка влияет на SVR, — точки строго внутри трубки не дают потерь и выпадают из решения.
Уточняющие вопросы
- →Как выбрать ε относительно уровня шума в целевой переменной?
- →Что происходит с числом опорных векторов, когда ε стремится к нулю?
