Все темы
Метод k ближайших соседей
Предсказание по расстоянию: выбор k, метрики расстояния, почему масштабирование признаков обязательно и чем платит ленивый алгоритм.
Сортировка:
4 вопроса
JuniorТеорияЧастоКак выбор k в методе k ближайших соседей (k-NN) влияет на переобучение и как его подбирать?
JuniorТеорияЧасто
Как выбор k в методе k ближайших соседей (k-NN) влияет на переобучение и как его подбирать?
При k = 1 каждая обучающая точка — сама себе ближайший сосед, и модель запоминает обучающую выборку: это переобучение. Большое k сглаживает предсказания к классу большинства и недообучается. k подбирают кросс-валидацией.
Типичные ошибки
- ✗Считать, что больше соседей — всегда выше доля верных ответов, — с какого-то k голос сдвигается к классу большинства и модель недообучается.
- ✗Выбирать k по доле верных ответов на обучении — она всегда выбирает k = 1, которое запоминает данные; сравнивать k нужно на валидационной выборке.
Уточняющие вопросы
- →Почему для бинарной классификации часто берут нечётное k?
- →Как взвешивание по расстоянию меняет эффект большого k?
JuniorТеорияЧастоЗачем методу k ближайших соседей (k-NN) масштабирование признаков и нужно ли оно дереву решений?
JuniorТеорияЧасто
Зачем методу k ближайших соседей (k-NN) масштабирование признаков и нужно ли оно дереву решений?
k-NN ранжирует соседей по расстоянию, и в нём доминирует признак с наибольшим размахом — доход в рублях заглушает возраст в годах. Признаки масштабируют заранее. Дерево решений делит по порогу одного признака за раз, ему масштабирование не нужно.
Типичные ошибки
- ✗Считать k-NN инвариантным к масштабу, как дерево, — расстояние суммирует все признаки, и соседей определяет признак с наибольшим размахом.
- ✗Ждать, что масштабирование изменит дерево решений, — разбиение сравнивает один признак с порогом, и линейное масштабирование не меняет предсказаний.
Уточняющие вопросы
- →Какой масштабатор вы выберете, если у признака сильные выбросы?
- →Почему масштабатор обучают только на обучающей выборке?
JuniorТеорияЧастоЧто выведет эта программа?
JuniorТеорияЧасто
Что выведет эта программа?
0 1
Открыть задачу →Типичные ошибки
- ✗Ждать
0 0: масштабирование меняет расстояния, после него разница в 35 лет весит больше разницы в 6000, и ближайшей становится[27, 46000]класса1. - ✗Ждать
1без масштабирования: разности дохода исчисляются тысячами, а возраста — десятками, поэтому соседа выбирает доход:[60, 40500]класса0.
Уточняющие вопросы
- →Почему масштабатор обучают только на обучающей выборке, а к новой точке лишь применяют?
- →Изменится ли после такого же масштабирования предсказание дерева решений и почему?
JuniorТеорияЧастоЧто выведет эта программа?
JuniorТеорияЧасто
Что выведет эта программа?
1 0
Открыть задачу →Типичные ошибки
- ✗Ждать
1 1: ближайшая точка[3, 3]— класса1, но следующие две,[3, 0]и[1, 3], — класса0, и трое соседей голосуют за0. - ✗Ждать
0для одного соседа, раз точек класса0больше: при одном соседе важна только ближайшая точка, а[3, 3]на расстоянии1.0— класса1.
Уточняющие вопросы
- →Какую метку вернёт этот код, если соседями взять все пять точек, и почему?
- →Как изменится ответ для трёх соседей, если взвешивать голос обратно расстоянию?
