Коммуникация со стейкхолдерами
Донесение результатов — нулевые результаты, возражения, приоритизация, этика экспериментов и приватность данных.
7 вопросов
JuniorТеорияОчень частоПрезентуете результат нетехническому руководителю — что должно быть в первом предложении, а чего там быть не должно?
Презентуете результат нетехническому руководителю — что должно быть в первом предложении, а чего там быть не должно?
Начинают с решения, а не с метода. Первое предложение даёт ответ на бизнес-вопрос и вытекающее действие — «отток вырос на 3 пункта, стоит чинить онбординг». Метод, размеры выборки и оговорки — позже и только по запросу.
Типичные ошибки
- ✗Начинать с методологии вместо ответа и действия
- ✗Сообщать числа нейтрально и не называть рекомендацию
- ✗Выносить вперёд оговорки и знаки после запятой вместо сути
Уточняющие вопросы
- →Что делать, если руководитель спросит, как посчитано число?
- →Как меняется первое предложение, если новость плохая?
JuniorТеорияЧастоВы уверены в результате примерно на 70% — как сказать это, не скатываясь ни в бесполезные оговорки, ни в переоценку?
Вы уверены в результате примерно на 70% — как сказать это, не скатываясь ни в бесполезные оговорки, ни в переоценку?
Дают направление с явной уверенностью и диапазоном, затем называют, что это изменит: «скорее вверх, ~70%, правдоподобно +2%…+8%». Количественная вилка позволяет взвесить риск, а расплывчатое «может быть» лишь прячет неопределённость.
Типичные ошибки
- ✗Подавать результат с уверенностью 70% как твёрдый факт без диапазона
- ✗Хеджировать так сильно, что ни направление, ни решение невозможны
- ✗Сообщать только p-value вместо понятной словесной вероятности
Уточняющие вопросы
- →Как выразить неопределённость тому, кто не любит проценты?
- →Когда 70% уверенности хватает, чтобы действовать, а когда нет?
MiddleТеорияЧастоЭксперимент вышел плоским — как подать нулевой результат, чтобы команда училась, а не просто перезапускала его?
Эксперимент вышел плоским — как подать нулевой результат, чтобы команда училась, а не просто перезапускала его?
Плоский результат — информация, а не провал. Доверительный интервал ограничивает, насколько велик реальный эффект. Если вилка исключает всё, что стоит катить, это уже решение, а не тупик. Отличают истинный ноль от недостаточной мощности.
Типичные ошибки
- ✗Считать ноль проваленным тестом, который надо перезапустить крупнее
- ✗Читать незначимость как доказательство ровно нулевого эффекта
- ✗Резать данные до значимой подгруппы, чтобы спасти историю
Уточняющие вопросы
- →Как отличить истинный ноль от недостаточно мощного теста?
- →Какая ширина CI позволит уверенно «не катить ничего»?
MiddleТеорияЧастоСтейкхолдер хочет сырой выгруз на уровне пользователей «проверить самому» — что дать, в чём отказать и почему?
Стейкхолдер хочет сырой выгруз на уровне пользователей «проверить самому» — что дать, в чём отказать и почему?
Дают агрегат или обезличенный срез под вопрос и запрос для проверки. В выгрузе с PII отказывают: он нарушает минимизацию данных и правила доступа и переидентифицирует людей. Обычно достаточно сверить определение или фильтр без персональных данных.
Типичные ошибки
- ✗Отдавать сырые PII, потому что запросил внутренний коллега
- ✗Отказывать во всех деталях вместо обезличенного среза
- ✗Считать, что удаление колонки с именем обезличивает строки
Уточняющие вопросы
- →Почему «удалить колонку с именем» — ложное ощущение анонимности?
- →Как дать деталь для проверки, не раскрывая PII?
MiddleТеорияЧастоМенеджер просит «посмотреть ещё раз», пока число не поддержит запуск — что вы скажете и что запишете?
Менеджер просит «посмотреть ещё раз», пока число не поддержит запуск — что вы скажете и что запишете?
Проверка на реальную ошибку нормальна; перезапуск, пока число не перевернётся, — это p-hacking, и я вежливо это назову. Результат, неопределённость и метод фиксирую письменно. Запустить они вправе, но переклеивать ярлык на вывод не стану.
Типичные ошибки
- ✗Резать по-новому, пока версия не пройдёт планку, и подать её
- ✗Считать любую просьбу пересмотреть мошенничеством для эскалации
- ✗Отдавать выгодную цифру с убранными оговорками
Уточняющие вопросы
- →Почему важно зафиксировать результат и метод письменно?
- →Где граница между честной перепроверкой и p-hacking?
MiddleТеорияЧастоСтейкхолдер отвергает ваше число, потому что оно противоречит его интуиции — как отработать возражение?
Стейкхолдер отвергает ваше число, потому что оно противоречит его интуиции — как отработать возражение?
Не капитулируют и не упираются. Разрыв берут как гипотезу: показывают, как построено число, и спрашивают, на чём интуиция. Часто стороны мерят разное: определение, диапазон дат, сегмент. Реальную ошибку исправляют, расхождение объясняют.
Типичные ошибки
- ✗Менять число под интуицию старшего человека
- ✗Повторять цифру, не пересматривая, как она построена
- ✗Эскалировать к власти вместо сверки определений
Уточняющие вопросы
- →Что если сверка покажет, что оба числа верны для разных срезов?
- →Как приглашать возражения, не выглядя неуверенным в работе?
SeniorТеорияИногдаВы нашли незапрошенное, что убивает уже анонсированный вице-президентом проект — как это донести?
Вы нашли незапрошенное, что убивает уже анонсированный вице-президентом проект — как это донести?
Проверяют находку холодно: дорогой вывод должен пережить вашу жёсткую проверку до выхода наружу. Приносят её приватно: ведут с решения, отделяют достоверное от предполагаемого, предлагают варианты, а не вердикт. Оставляют VP место сменить курс.
Типичные ошибки
- ✗Публиковать находку и застигать VP врасплох публично
- ✗Молчать, потому что это не было вашей задачей
- ✗Выдавать сырой анализ без оформления и вариантов
Уточняющие вопросы
- →Как отделить достоверное от предполагаемого при подаче?
- →Что если VP отвергнет находку, спасая лицо?
