JuniorТеорияЧасто

Что выведет эта программа?

Python

text = "Good film. Good, good cast!"
tokens = text.lower().split()
print(len(tokens), len(set(tokens)))

5 4

Ждать 5 3: split() режет только по пробелам, поэтому film. и good, сохраняют знаки препинания и не совпадают с good.
Ждать 5 5: lower() вызывается до split(), поэтому первое Good становится good и совпадает с другим good.

Как очистить текст, чтобы все формы good стали одним токеном?
Почему удаление знаков препинания вместо замены пробелом может склеить два слова?

JuniorТеорияЧасто

Python

text = "Good film. Good, good cast!"
tokens = text.lower().split()
print(len(tokens), len(set(tokens)))

5 4

Ждать 5 3: split() режет только по пробелам, поэтому film. и good, сохраняют знаки препинания и не совпадают с good.
Ждать 5 5: lower() вызывается до split(), поэтому первое Good становится good и совпадает с другим good.

Как очистить текст, чтобы все формы good стали одним токеном?
Почему удаление знаков препинания вместо замены пробелом может склеить два слова?