Все темы
Наивный Байес
Вероятностные классификаторы на теореме Байеса: допущение о независимости, гауссов и мультиномиальный варианты, сглаживание Лапласа.
Сортировка:
3 вопроса
JuniorТеорияЧастоЧто выведет эта программа?
JuniorТеорияЧасто
Что выведет эта программа?
0.31
Открыть задачу →Типичные ошибки
- ✗Ждать
0.8: этоP(слово | спам), а код считаетP(спам | слово); спам — лишь 10 % почты, поэтому большинство писем со словом обычные. - ✗Ждать
0.08: это числительP(слово | спам) · P(спам); вероятностью его делает деление наspam + ham, то есть наP(слово) = 0.26.
Уточняющие вопросы
- →Как изменится ответ, если спам составит половину всей почты?
- →Почему классификатор может не делить на
P(слово), когда ему нужен только выбор класса?
JuniorТеорияЧастоКогда в scikit-learn применяют GaussianNB, а когда MultinomialNB?
JuniorТеорияЧасто
Когда в scikit-learn применяют GaussianNB, а когда MultinomialNB?
GaussianNB моделирует каждый непрерывный признак нормальным распределением внутри класса — для входов вроде измерений. MultinomialNB моделирует неотрицательные счётчики, например числа слов, и потому служит обычным базовым решением для текста.
Типичные ошибки
- ✗Считать варианты наивного Байеса взаимозаменяемыми — у каждого своё правдоподобие, и гауссов на счётчиках слов или мультиномиальный на ценах моделируют данные неверно.
- ✗Читать «multinomial» как «многоклассовый» — это распределение счётчиков признаков, а оба варианта работают с любым числом классов.
Уточняющие вопросы
- →Какой вариант наивного Байеса подходит для бинарных признаков наличия слова?
- →Почему
MultinomialNBне принимает отрицательные значения признаков?
JuniorТеорияЧастоЧто ломается в мультиномиальном наивном Байесе без аддитивного сглаживания и как это чинит alpha?
JuniorТеорияЧасто
Что ломается в мультиномиальном наивном Байесе без аддитивного сглаживания и как это чинит alpha?
Если слово из словаря ни разу не встречалось в обучающих документах класса, его правдоподобие для класса равно нулю, и произведение обнуляет этот класс для любого документа с этим словом. Сглаживание прибавляет alpha к счётчикам, и они больше нуля.
Типичные ошибки
- ✗Считать, что слово, не встречавшееся с классом, пропускается, — слово из словаря с нулевым счётчиком даёт нулевое правдоподобие и обнуляет всю оценку класса.
- ✗Путать слово, невиданное с классом, и слово вне словаря — обученный векторизатор отбрасывает второе, а сглаживание нужно для нулей внутри словаря.
Уточняющие вопросы
- →Что происходит с предсказаниями, когда
alphaстановится очень большим? - →Почему реализации складывают логарифмы вероятностей, а не перемножают вероятности?
