Все темы
Снижение размерности: LDA и kernel PCA
Снижение размерности помимо обычного PCA: LDA с учителем и предел числа компонент, kernel PCA для нелинейной структуры.
Сортировка:
3 вопроса
JuniorТеорияЧастоЧто умеет kernel PCA (ядровой метод главных компонент), чего не умеет линейный PCA, и что теряется?
JuniorТеорияЧасто
Что умеет kernel PCA (ядровой метод главных компонент), чего не умеет линейный PCA, и что теряется?
Kernel PCA выполняет PCA в неявном пространстве признаков ядра, поэтому может развернуть нелинейную структуру — например, две концентрические окружности, которые линейный PCA не разделит. Его компоненты уже не линейные комбинации исходных признаков.
Типичные ошибки
- ✗Считать kernel PCA ускоренным линейным PCA — нелинейное ядро даёт другие компоненты, а матрица ядра растёт как квадрат числа объектов.
- ✗Читать компоненты kernel PCA как нагрузки PCA — они живут в неявном пространстве ядра, и веса для каждого входного признака у них нет.
Уточняющие вопросы
- →Почему kernel PCA нужен отдельный шаг, чтобы вернуть точки во входное пространство?
- →Как выбрать
gammaRBF-ядра для kernel PCA?
JuniorТеорияЧастоВ данных iris 150 цветков, 4 признака и 3 класса — что выведет эта программа?
JuniorТеорияЧасто
В данных iris 150 цветков, 4 признака и 3 класса — что выведет эта программа?
(150, 2)
Открыть задачу →Типичные ошибки
- ✗Ждать
(150, 4), как уPCA: LDA даёт не больше C − 1 компонент для C классов, поэтому при 3 классах оставляет 2. - ✗Ждать по компоненте на класс,
(150, 3): центры 3 классов лежат в одной плоскости, поэтому LDA находит только 2 разделяющих направления.
Уточняющие вопросы
- →Что сделает
LinearDiscriminantAnalysis(n_components=3)на тех же данных? - →Сколько компонент может дать LDA в задаче бинарной классификации?
JuniorТеорияЧастоЧем линейный дискриминантный анализ (LDA) отличается от метода главных компонент (PCA)?
JuniorТеорияЧасто
Чем линейный дискриминантный анализ (LDA) отличается от метода главных компонент (PCA)?
LDA — метод с учителем: он использует метки классов, чтобы найти направления, лучше всего разделяющие классы, и даёт не больше C − 1 компонент для C классов. PCA игнорирует метки и сохраняет направления максимальной дисперсии признаков.
Типичные ошибки
- ✗Считать LDA вариантом PCA без учителя — LDA нужны метки, и он оптимизирует разделение классов, а не дисперсию признаков.
- ✗Запрашивать у LDA больше компонент, чем допускают классы, — при C классах их не больше C − 1, и бинарная задача даёт одну ось.
Уточняющие вопросы
- →Почему PCA может отбросить то единственное направление, что разделяет два класса?
- →Когда стоит запускать PCA перед LDA?
