ML-инженерия и MLOps

Модель, хорошо считающая в ноутбуке, — ещё не продукт. Расстояние между ними — это инженерия: превратить сырые столбцы в стабильные признаки, выкатить обученный артефакт так, чтобы он отвечал в рамках латентности, и наблюдать его в проде, чтобы заметить, когда мир уходит из-под ног. Эта тема — про дисциплины вокруг модели, а не внутри неё.

Самое цитируемое число здесь — модель, показавшая 0.91 офлайн и 0.68 в проде. Причина почти никогда не алгоритм: это признак, посчитанный при обучении и обслуживании по-разному (train/serve skew), столбец, протёкший информацией из будущего, или распределение, дрейфнувшее, пока никто не смотрел. Всё ниже существует, чтобы это предотвращать, обнаруживать или про это рассуждать.

Карта темы

• Инженерия признаков — кодирование (one-hot / target / embedding), масштабирование, пропуски, feature store и два продовых убийцы: leakage и train/serve skew.
• MLOps и ML в продакшене — трекинг экспериментов, реестры моделей, безопасный выкат (shadow / canary / A/B), мониторинг дрейфа и триггеры переобучения.
• Дизайн ML-систем — постановка, выбор метрики, генерация кандидатов и ранжирование, бюджеты латентности, холодный старт, петли обратной связи и A/B-валидация.

Что проверяют на собеседовании

После junior именно здесь живут интервью: умеете ли вы поставить задачу и назвать её метрику, отличить data drift (сдвиг распределения входа) от concept drift (сдвиг правила таргета) и ответить на каждый правильно, и удержаться от вывода по офлайн-выигрышу до того, как A/B подтвердит его онлайн.