Продуктовая аналитика
Дизайн и выбор метрик, юнит-экономика, приоритизация и структурный разбор проблем.
16 вопросов
JuniorДизайнОчень частоОцените количество домов в Москве — дайте верхнюю и нижнюю границу. Придумайте метод оценки, дающий верхний порог и нижний порог числа жилых зданий в Москве.
Оцените количество домов в Москве — дайте верхнюю и нижнюю границу. Придумайте метод оценки, дающий верхний порог и нижний порог числа жилых зданий в Москве.
Опираются на население (и/или площадь) и рассуждают через границы. Нижняя граница: все живут в самых больших правдоподобных высотках — население, делённое на максимум людей в здании, даёт наименьшее число зданий.
Типичные ошибки
- ✗Давать одно число без метода и допущений
- ✗Не разделять верхнюю и нижнюю границу
- ✗Не опираться на цифру населения или площади
Уточняющие вопросы
- →Какая опора — население или площадь — даёт более узкую границу?
- →Как проверить две границы на согласованность между собой?
JuniorДизайнОчень частоКлючевая метрика просела на 30% за ночь. Как вы построите поиск первопричины? Конверсия или другая ключевая метрика внезапно упала примерно на 30%. Разберите по упорядоченным блокам, что могло случиться и как вы локализуете причину.
Ключевая метрика просела на 30% за ночь. Как вы построите поиск первопричины? Конверсия или другая ключевая метрика внезапно упала примерно на 30%. Разберите по упорядоченным блокам, что могло случиться и как вы локализуете причину.
Работают по блокам. Сначала сами данные: сезонность/праздники, сломанные счётчики или логирование, пропуски хранилища/недогрузы; проверяют абсолюты числителя и знаменателя. Затем локализуют сегмент: источник трафика, устройство/браузер/регион, конкретный шаг воронки.
Типичные ошибки
- ✗Прыгать к фиксу до проверки качества данных
- ✗Пропускать локализацию сегмента, где именно упало
- ✗Игнорировать внешние факторы и параллельные эксперименты
Уточняющие вопросы
- →Как отличить сломанный счётчик от реального падения?
- →Какой срез сегмента проверите первым и почему?
MiddleДизайнОчень частоВы пришли в продукт без понятных метрик. Как выбрать их с нуля? Новый продуктовый аналитик застаёт метрики в хаосе. Опишите подход к выбору связного набора метрик.
Вы пришли в продукт без понятных метрик. Как выбрать их с нуля? Новый продуктовый аналитик застаёт метрики в хаосе. Опишите подход к выбору связного набора метрик.
Идут от целей, а не от данных: бизнес-модель → основные метрики → метрики, на которые реально влияете → цели по ним. Структурируют это фреймворком (AARRR, HEART или иерархия/пирамида метрик) и разделяют метрики продукта и метрики роста.
Типичные ошибки
- ✗Начинать с доступных данных, а не с бизнес-целей
- ✗Отслеживать множество избыточных метрик без иерархии
- ✗Смешивать метрики продукта и роста, не различая их
Уточняющие вопросы
- →Чем AARRR отличается от пирамиды метрик здесь?
- →Зачем отделять метрики, на которые влияете, от остальных?
JuniorТеорияЧастоУчастники программы лояльности покупают на 30% больше; подключена половина. Что если подключить всех автоматически?
Участники программы лояльности покупают на 30% больше; подключена половина. Что если подключить всех автоматически?
Прирост 30% обещать нельзя — связь корреляционная, а не доказанная причинно-следственная. Частые, мотивированные покупатели могут просто сами выбирать программу лояльности, так что программа отражает их поведение, а не вызывает его. Автоподключение всех может вовсе не поднять траты.
Типичные ошибки
- ✗Читать корреляцию как доказанную причинность
- ✗Игнорировать самоотбор частых покупателей в программу
- ✗Пропускать A/B тест для выделения реального эффекта программы
Уточняющие вопросы
- →Какая общая причина могла бы двигать и подключение, и траты?
- →Как бы вы спроектировали A/B тест для замера прироста?
JuniorДизайнЧастоНовая фича вышла без метрик. Назовите ОДНУ метрику, которую отследите первой, и обоснуйте, почему именно она — а не vanity-счётчик — правильный первый выбор для оценки фичи.
Новая фича вышла без метрик. Назовите ОДНУ метрику, которую отследите первой, и обоснуйте, почему именно она — а не vanity-счётчик — правильный первый выбор для оценки фичи.
Выбирают метрику, отражающую суть успеха фичи — обычно adoption или её целевой исход, как долю по подходящей аудитории, а не сырой счёт. Обосновывают связью с тем, зачем фичу делали: она должна двигаться, когда фича работает, и стоять, когда пользователи не получают от неё ценности.
Типичные ошибки
- ✗Отслеживать сырой счёт, который только растёт
- ✗Брать метрику, не связанную с целью фичи
- ✗Выбирать несколько метрик вместо одной главной
Уточняющие вопросы
- →Почему здесь лучше доля, а не сырой счёт использования?
- →Какую guardrail-метрику смотрели бы рядом с этой одной?
MiddleДизайнЧастоКак вы приоритизируете продуктовый бэклог как аналитик? Дан бэклог: выделите вызовы компании, предложите идеи и решите, что делать первым, а что отбросить.
Как вы приоритизируете продуктовый бэклог как аналитик? Дан бэклог: выделите вызовы компании, предложите идеи и решите, что делать первым, а что отбросить.
Сначала называют реальные вызовы компании и кандидатные решения, затем выбирают North Star метрику для оценки. Оценивают влияние каждой фичи в деньгах или в этой целевой метрике, взвешивают против стоимости разработки (рамка усилия-против-влияния вроде RICE/ICE) и ранжируют.
Типичные ошибки
- ✗Приоритизировать по порядку запросов или громкости стейкхолдера
- ✗Ранжировать только по стоимости разработки, игнорируя влияние
- ✗Отказываться отбрасывать низковлияющие пункты из бэклога
Уточняющие вопросы
- →Как RICE изменит ранжирование против сырого влияния?
- →Как оценить влияние фичи до её сборки?
MiddleДизайнЧастоCEO спрашивает «у нас всё хорошо?» и хочет ответ на одном слайде. Какие три числа вы поставите и почему именно эти три? Считайте, что продукт подписочный и слайд только один.
CEO спрашивает «у нас всё хорошо?» и хочет ответ на одном слайде. Какие три числа вы поставите и почему именно эти три? Считайте, что продукт подписочный и слайд только один.
Ставят по одному числу на слой истории: рост (активные или новые пользователи), retention (удержанные пользователи или revenue retention) и деньги (выручка или маржа). Вместе они отвечают: растём ли, удерживаем ли людей и окупается ли — и каждое стережёт другие, вскрывая рост, оплаченный оттоком.
Типичные ошибки
- ✗Забивать слайд множеством метрик вместо трёх
- ✗Показывать только рост, пряча retention и выручку
- ✗Брать три числа, говорящих об одном и том же
Уточняющие вопросы
- →Зачем ставить retention прямо рядом с числом роста?
- →Как три скоррелированные метрики могут ввести CEO в заблуждение?
MiddleДизайнЧастоДва дашборда показывают разный DAU за один день. Как выяснить, какой из них верный? Оба заявляют дневных активных пользователей за вчера и расходятся примерно на 8%. Разберите, как вы их сверите.
Два дашборда показывают разный DAU за один день. Как выяснить, какой из них верный? Оба заявляют дневных активных пользователей за вчера и расходятся примерно на 8%. Разберите, как вы их сверите.
Сверяют определения, а не значения. Сравнивают, как каждый дашборд определяет active (событие или login), таймзону и границу суток, дедупликацию пользователей и фильтрацию ботов, затем источник данных. Воспроизводят счёт из сырых событий; верное число — то, чьё определение совпадает с задуманной метрикой.
Типичные ошибки
- ✗Считать большее (или меньшее) число автоматически верным
- ✗Сравнивать значения до сравнения определений метрики
- ✗Игнорировать таймзону и дедуп как источники разрыва
Уточняющие вопросы
- →Как одна граница таймзоны создаёт разрыв в 8%?
- →С каким единым источником истины вы сверитесь?
MiddleТеорияЧастоМенеджер предложил «среднее время на сайте» — как понять, насколько это хорошая метрика?
Менеджер предложил «среднее время на сайте» — как понять, насколько это хорошая метрика?
Оценивают по критериям качества: метрика должна быть связана с бизнес-целью, быть actionable (понятно, хорошо ли движение ±5% и что делать), измеримой (учитывать анонимов, сопоставлять user↔account), чувствительной (реагирует на реальные изменения выше шума) и декомпозируемой.
Типичные ошибки
- ✗Принимать метрику без проверки связи с целью
- ✗Считать, что больше времени на сайте всегда хорошо
- ✗Игнорировать критерии actionability и чувствительности
Уточняющие вопросы
- →Для какого продукта «время на сайте» — плохая метрика?
- →Что на практике делает метрику actionable?
MiddleДизайнЧастоКомпания запустила платное привлечение. Стоит ли оставлять рекламу? Решите, держать ли платное привлечение, и объясните, что бы вы сделали, если бы его ещё не запустили.
Компания запустила платное привлечение. Стоит ли оставлять рекламу? Решите, держать ли платное привлечение, и объясните, что бы вы сделали, если бы его ещё не запустили.
Сравнивают CAC с LTV привлечённых пользователей (или ROI с бенчмарками). LTV считают от прибыли, а не выручки, и дисконтируют будущие потоки. CAC > LTV не всегда фатально — ранние стадии могут платить за рост. Учитывают и каннибализацию органики.
Типичные ошибки
- ✗Считать LTV от выручки, а не от прибыли
- ✗Считать CAC > LTV всегда сигналом к остановке
- ✗Игнорировать каннибализацию органических пользователей
Уточняющие вопросы
- →Как geo-тест выделит инкрементальный эффект платного привлечения?
- →Зачем дисконтировать будущие потоки при расчёте LTV?
JuniorДизайнИногдаДля маркетплейса, где хороший поиск значит «пользователь быстро нашёл», как измерить, хорош ли поиск? Спроектируйте метрики успеха, взяв «быстро нашёл» за рабочее определение хорошего.
Для маркетплейса, где хороший поиск значит «пользователь быстро нашёл», как измерить, хорош ли поиск? Спроектируйте метрики успеха, взяв «быстро нашёл» за рабочее определение хорошего.
Превращают «быстро нашёл» в измеримые прокси: search success rate (сессия с кликом или покупкой), время до первого значимого клика и долю нулевых выдач или переформулировок. Выбирают главную — success rate — а остальные держат как guardrail, чтобы скорость не покупалась худшей релевантностью.
Типичные ошибки
- ✗Мерить сырой объём поиска, будто больше — лучше
- ✗Брать одну метрику без guardrail на релевантность
- ✗Сводить «быстро» к задержке, забыв про нахождение
Уточняющие вопросы
- →Почему высокое число запросов — сигнал провала, а не вовлечения?
- →Как отличить быстрый успех от быстрой сдачи?
JuniorТеорияИногдаПочему «всего зарегистрированных пользователей» — vanity-метрика, и что отслеживать вместо неё?
Почему «всего зарегистрированных пользователей» — vanity-метрика, и что отслеживать вместо неё?
Она только растёт и не может упасть, поэтому никогда не говорит, лучше или хуже продукт сегодня — она не actionable. Отслеживают метрики, которые движутся в обе стороны и отражают текущую ценность: активных пользователей (DAU/WAU), retention и конверсию, реагирующие на изменения.
Типичные ошибки
- ✗Судить метрику по тому, как внушительно её число
- ✗Считать монотонно растущее число признаком здоровья
- ✗Отчитываться накопительным итогом вместо текущей активности
Уточняющие вопросы
- →Назовите ещё один накопительный итог — vanity-метрику.
- →Как retention раскрывает то, что скрывают регистрации?
JuniorДизайнИногдаКоманда следит за показателем двумя отдельными столбчатыми сериями. Как улучшить этот график? Компания смотрит ключевой показатель, рисуя две столбчатые серии рядом. Что не так с таким способом отображения и что бы вы изменили?
Команда следит за показателем двумя отдельными столбчатыми сериями. Как улучшить этот график? Компания смотрит ключевой показатель, рисуя две столбчатые серии рядом. Что не так с таким способом отображения и что бы вы изменили?
На графике нет самой метрики — две сырые столбчатые серии заставляют читателя считать конверсию в уме. Их заменяют единой посчитанной метрикой (самой конверсией), показанной линией или одним столбиком во времени, чтобы тренд читался мгновенно.
Типичные ошибки
- ✗Оставлять читателю расчёт метрики из сырых столбиков
- ✗Добавлять украшения графика вместо показа метрики
- ✗Убирать ось времени, нужную ключевой метрике для тренда
Уточняющие вопросы
- →Когда линейный график лучше столбиков для этой метрики?
- →Как бы вы аннотировали известную причину провала?
MiddleДизайнИногдаДва лифта работают на разных неизвестных алгоритмах — как измерить, какой лучше? В здании два лифта с двумя разными непрозрачными алгоритмами диспетчеризации. Нужно выбрать один как единый. Как измерить и сравнить, насколько хорошо работает каждый?
Два лифта работают на разных неизвестных алгоритмах — как измерить, какой лучше? В здании два лифта с двумя разными непрозрачными алгоритмами диспетчеризации. Нужно выбрать один как единый. Как измерить и сравнить, насколько хорошо работает каждый?
Сначала определяют метрики успеха: среднее и 95-й перцентиль времени ожидания, время поездки, пропускную способность в пик, энергопотребление и справедливость по этажам. Выбирают главную метрику. Инструментируют оба лифта при сопоставимых нагрузках, в идеале сравнением в духе A/B, и сравнивают распределения метрики, а не только средние.
Типичные ошибки
- ✗Сравнивать по субъективному ощущению, а не измеренным метрикам
- ✗Не контролировать время суток и нагрузку между лифтами
- ✗Сравнивать только средние, игнорируя распределение и перцентили
Уточняющие вопросы
- →Зачем отчитываться о 95-м перцентиле ожидания, а не среднем?
- →Как контролировать различия трафика по этажам?
SeniorДизайнИногдаСтейкхолдер спрашивает «стоит ли делать мобильное приложение?». Оформите как аналитик: какие данные изменят ваш ответ и что вы откажетесь обещать? Назовите решение, данные, которые соберёте, и исходы, которые не станете гарантировать по одним данным.
Стейкхолдер спрашивает «стоит ли делать мобильное приложение?». Оформите как аналитик: какие данные изменят ваш ответ и что вы откажетесь обещать? Назовите решение, данные, которые соберёте, и исходы, которые не станете гарантировать по одним данным.
Считают это решением, а не «да или нет». Данные, меняющие ответ: доля mobile-web и её разрыв в retention, сигналы спроса и юнит-экономика когорты против стоимости разработки. Не обещают конкретный прирост выручки или retention — причинное утверждение, которое данные не подтвердят без эксперимента.
Типичные ошибки
- ✗Отвечать «да» или «нет» без указания данных
- ✗Обещать прирост выручки по корреляционным данным использования
- ✗Игнорировать стоимость разработки и поддержки против отдачи
Уточняющие вопросы
- →Как поэтапное раскатывание превратит корреляцию в причинную оценку?
- →Какую стоимость взвесите против прогнозного мобильного LTV?
JuniorДизайнРедкоОцените, сколько пицц доставляют в Москве вечером пятницы — и назовите, какое допущение доминирует в ошибке. Дайте метод, а не одно число, и укажите вход, чья неопределённость сильнее всего влияет на оценку.
Оцените, сколько пицц доставляют в Москве вечером пятницы — и назовите, какое допущение доминирует в ошибке. Дайте метод, а не одно число, и укажите вход, чья неопределённость сильнее всего влияет на оценку.
Опираются на население: ~12 млн человек → домохозяйства → доля, заказывающая доставку пиццы вечером пятницы → пицц на заказ. Перемножают, называя каждое допущение. Затем указывают доминирующий член ошибки — обычно долю заказывающих, догадку в пределах порядка, а не хорошо известное население.
Типичные ошибки
- ✗Давать одно число без разбиения и допущений
- ✗Считать все допущения одинаково неопределёнными
- ✗Опираться на цифру, которую нельзя обосновать
Уточняющие вопросы
- →Как сузить долю заказывающих быстрой проверкой?
- →Что здесь известно лучше — население или пиццы на заказ?
