Retention подскочил в ту неделю, когда вы переопределили 'активного пользователя' — реальный прирост или артефакт определения?
Retention (и DAU) резко вырос в ту же неделю, когда команда сменила определение "активного пользователя" в запросе метрики. Больше в ту неделю ничего не выкатывали. Старое и новое определения:
-- OLD: active = совершил ключевое действие
WHERE event_type = 'core_action'
-- NEW: active = открыл приложение (любое событие)
WHERE event_type IS NOT NULLОпределите, реальное это улучшение или артефакт смены определения, и что бы вы проверили, чтобы отличить одно от другого. Найдите причину.
Почти наверняка это артефакт определения: расширение 'активного' с ключевого действия до любого открытия раздувает retention, поэтому он растёт без изменения поведения. Пересчитайте обе недели на одном определении — у артефакта скачок исчезнет, а реальный прирост виден и на старом.
- ✗Приписывать заслугу скачку метрики, попавшему ровно на смену определения
- ✗Сравнивать с внешним бенчмарком вместо пересчёта на одном определении
- ✗Считать более широкое определение автоматически более верным
- →Как версионирование определений метрик предотвратило бы эту путаницу?
- →Какой бэкфилл позволил бы честно сравнить обе недели?
Смена определения расширяет числитель, поэтому важно пересчитать обе недели на одном определении:
-- Пересчитайте ОБА периода на ОДНОМ фиксированном определении, затем сравните
SELECT week,
COUNT(DISTINCT user_id) FILTER (WHERE event_type = 'core_action') AS active_old_def,
COUNT(DISTINCT user_id) FILTER (WHERE event_type IS NOT NULL) AS active_new_def
FROM events
GROUP BY week
ORDER BY week;Если скачок retention виден в столбце active_new_def, но не в active_old_def, прирост — артефакт определения: расширение 'активного' с ключевого действия до любого открытия просто впустило больше пользователей и в числитель, и в знаменатель. Реальное улучшение проявилось бы и на active_old_def и нарастало бы плавно, а не ступенькой ровно в неделю смены запроса.
