JuniorТеорияЧасто

Что выведет эта программа?

Python

from sklearn.feature_extraction.text import CountVectorizer

vec = CountVectorizer()
vec.fit(["red apple", "green apple"])
X = vec.transform(["Red red pear!"])
print(X.shape[1], X.sum())

3 2

Ждать 4 3: transform сохраняет словарь, выученный в fit, поэтому у pear нет столбца и слово отбрасывается.
Ждать 3 1: CountVectorizer по умолчанию переводит текст в нижний регистр, поэтому и Red, и red попадают в столбец red.

Что сломается, если для новых текстов вызвать fit_transform вместо transform?
Почему CountVectorizer возвращает разреженную матрицу, а не массив numpy?

Назад к вопросам Открыть тему в роадмапе →Ответь сам — Quiz

Назад к вопросам

JuniorТеорияЧасто

Что выведет эта программа?

Python

from sklearn.feature_extraction.text import CountVectorizer

vec = CountVectorizer()
vec.fit(["red apple", "green apple"])
X = vec.transform(["Red red pear!"])
print(X.shape[1], X.sum())

3 2

Ждать 4 3: transform сохраняет словарь, выученный в fit, поэтому у pear нет столбца и слово отбрасывается.
Ждать 3 1: CountVectorizer по умолчанию переводит текст в нижний регистр, поэтому и Red, и red попадают в столбец red.

Что сломается, если для новых текстов вызвать fit_transform вместо transform?
Почему CountVectorizer возвращает разреженную матрицу, а не массив numpy?

Назад к вопросам Открыть тему в роадмапе →Ответь сам — Quiz