Чтение difference-in-differences показывает большой эффект, но дозапусковые тренды уже расходились — поставьте диагноз.
Вы прогнали анализ difference-in-differences по запуску цен в одном городе. Оценка большая и значимая, но перед доверием вы строите дозапусковые недели — тестовый город уже отрывался от контроля до недели 0.
Ограничение: судите только по показанному дотренду; не считайте, что запуск сработал.
Недельная выручка на пользователя (₽), запуск на неделе 0
неделя тест контроль
-4 100 100
-3 104 99
-2 109 98
-1 114 97
1 128 96
2 133 95Определите, что сломано, и скажите, что вы бы доложили.
Параллельные тренды нарушены — тест уже расходился вверх с контролем до недели 0. Diff-in-diff относит разрыв на счёт запуска, так что большая часть «эффекта» — смещение, не влияние. Доложите, что оценка недостоверна — нужен контроль с совпадающими дотрендами, прежде чем заявлять эффект.
- ✗Читать расходящийся дотренд как импульс воздействия
- ✗Верить, что больше контролей чинит нарушение параллельных трендов
- ✗Докладывать оценку diff-in-diff вопреки проваленной проверке дотренда
- →Какой метод всё же восстановит эффект, когда дотренды не параллельны?
- →Как event-study график количественно оценил бы нарушение дотренда?
Разложите разрыв на две части. До запуска (недели −4…−1) тест растёт 100 → 114, а контроль падает 100 → 97 — они уже расходятся примерно на 4–5 ₽ за неделю. Значит, до всякого воздействия ряды двигались не параллельно. Diff-in-diff берёт разность разностей и приписывает весь послезапусковый разрыв воздействию, но часть этого разрыва — просто продолжение уже идущего тренда, то есть смещение от ненаблюдаемого фактора, отличающего города.
Вклад в «эффект» (тест − контроль):
неделя −4: 0 ← стартовали ровно
неделя −1: 17 ← разрыв уже до запуска (это НЕ эффект)
неделя 2: 38 ← naive DiD засчитает почти всё это как эффектЧто доложить: оценка недостоверна — нарушено допущение параллельных трендов. Не рапортуйте число как причинный эффект. Нужен контроль с совпадающим дотрендом (сопоставленные города или синтетический контроль), либо event-study, показывающий, что разрыв стартует именно на неделе 0, а не раньше.
