Прикладной ML

Рекомендательные системы, прогнозирование временных рядов и A/B-тесты выглядят как три несвязанные темы, но на собеседовании их бьют одним вопросом: откуда вы знаете, что ваше число настоящее? В каждой из них модель сравнительно проста, а опасность живёт в оценке — потому что естественный, очевидный способ измерить качество тихо подсматривает именно то, что вы пытаетесь оценить.

Рекомендатель, оценённый на собственном логе показов, лишь награждает повтор вчерашнего ранжирования. Прогноз, проверенный случайным k-fold, обучился на будущем. A/B-тест, в который заглядывают каждое утро, пересекает порог значимости по случайности задолго до того, как эффект станет реальным. Каждый слой ниже сначала объясняет модель мышления, а затем называет ловушку, которая превращает уверенную офлайн-победу в плоский — или отрицательный — результат в проде.

• Рекомендательные системы — коллаборативная и контентная фильтрация, матричная факторизация, двухстадийная схема «генерация кандидатов + ранжирование», неявная обратная связь, cold start и почему офлайн-метрики ранжирования расходятся с онлайн-тестами.
• Временные ряды — стационарность и дифференцирование, почему случайный k-fold подсматривает будущее, rolling-origin бэктест, сезонность, классические модели против GBDT, многошаговые стратегии и метрики, которые выживают у нуля.
• A/B-тестирование — гипотезы и мощность, размер выборки и MDE, p-value против доверительных интервалов, почему подглядывание раздувает ложные срабатывания, снижение дисперсии CUPED и проверки валидности вроде SRM.