ChatGPT для аналитика: как проверить выводы по таблице

Руководитель спрашивает, почему снизилась конверсия в регистрацию. По одной общей доле нельзя обвинить редизайн или мобильную форму: сначала нужно проверить, что именно посчитано и как изменился состав трафика. В этой задаче продуктового аналитика ChatGPT помогает уточнить метрику, сравнить сегменты и подготовить короткую записку с проверяемыми числами.

Сначала уточните, что именно сравнивается

Запрос «проверь падение регистрации» неполный. Сначала зафиксируйте метрику и знаменатель: конверсия в регистрацию — это registrations / sessions, причём регистрация относится к сессии того же периода и устройства. Сравнивайте полные сопоставимые периоды одинаковой длины.

В рабочей выгрузке до расчёта стоит проверить фильтры, пропуски и исходные строки: например, не исчезли ли сессии одного устройства после фильтрации. Здесь используем учебный пример из четырёх агрегированных строк:

period	device	sessions	registrations
before	mobile	100	10
before	desktop	900	270
after	mobile	900	180
after	desktop	100	40

Здесь mobile и desktop взаимно исключаются, других устройств нет. Таблицу можно вставить текстом: обычный текстовый чат ChatGPT доступен бесплатно, и для разбора этих четырёх строк подписка не требуется.

Если для регулярной работы с запросами и короткими отчётами вы выбираете Plus, Amber Market помогает оплатить зарубежные сервисы из России. Через менеджера можно оформить месячный ChatGPT Plus на своём аккаунте с доступом на 30 дней и оплатить заказ через СБП. Перед активацией на аккаунте должен быть Free без активной подписки; продление оформляют после окончания текущего доступа. Проверка исходных дробей остаётся той же при любом тарифе.

Первый запрос к модели должен звучать примерно так: «Сначала уточни определение конверсии: здесь это регистрации, делённые на сессии? Затем посчитай суммы сессий и регистраций, конверсию отдельно по каждому устройству и за весь период. Покажи исходные числители и знаменатели. Не усредняй две сегментные доли простым средним».

Это отделяет проверяемую арифметику от объяснений. Для периода before получаем:

• всего сессий: 100 + 900 = 1000;
• регистраций: 10 + 270 = 280;
• общая конверсия: 280 / 1000 = 28%;
• mobile: 10 / 100 = 10%;
• desktop: 270 / 900 = 30%.

Для периода after расчёт такой:

• всего сессий: 900 + 100 = 1000;
• регистраций: 180 + 40 = 220;
• общая конверсия: 220 / 1000 = 22%;
• mobile: 180 / 900 = 20%;
• desktop: 40 / 100 = 40%.

Общая конверсия снизилась с 28 до 22%, то есть на 6 процентных пунктов. При этом mobile вырос с 10 до 20%, а desktop — с 30 до 40%, каждый на 10 процентных пунктов. Простое среднее (10% + 30%) / 2 = 20% не даёт общую конверсию первого периода: в сегментах разное число сессий. Для итога складывают регистрации и делят на сумму сессий.

Проверьте состав выборки

Доля мобильных сессий изменилась с 100 / 1000 = 10% до 900 / 1000 = 90%, а доля desktop — с 900 / 1000 = 90% до 100 / 1000 = 10%. Во втором периоде на mobile приходится гораздо больше сессий, а его конверсия всё ещё ниже, чем у desktop: 20% против 40%. Поэтому общая доля упала при улучшении обеих сегментных конверсий. Почему изменился состав трафика, по этим строкам неизвестно.

Для наглядности оставим прежнюю структуру — 10% mobile и 90% desktop — и подставим новые сегментные значения. Получится 0,1 × 20% + 0,9 × 40% = 38%. Это пересчёт для сравнения структуры, не наблюдаемая конверсия и не прогноз. При прежних долях устройств итог вырос бы с 28 до 38%; наблюдаемые 22% получены уже при другом составе сессий.

После этого аналитическая записка может быть короткой:

В сопоставимых периодах число сессий одинаково — 1000, а регистрации снизились с 280 до 220. Общая конверсия изменилась с 28 до 22% (−6 п.п.). Внутри обоих устройств конверсия выросла на 10 п.п.: mobile — с 10 до 20%, desktop — с 30 до 40%. Одновременно доля mobile увеличилась с 10 до 90%, поэтому снижение общей доли объясняется изменением состава этой выборки. Причину смены трафика по четырём строкам установить нельзя. Следует собрать разбивку по каналу и кампании, проверить изменения в учёте событий и сравнить другие сопоставимые периоды.

Данные по каналам, кампаниям и событиям регистрации нужно запросить у источника данных. Если после изменения системы поменялся способ отправки события, одинаковые названия «сессия» и «регистрация» ещё не гарантируют одинаковый подсчёт. Объявлять редизайн виноватым по одной общей доле преждевременно.

Когда определения и расчёты проверены, можно оформить показатели в дашборд для регулярного просмотра. Сохраняйте рядом общую конверсию, конверсии по устройствам и доли устройств: тогда изменение состава сессий будет видно вместе с итогом.

Как составить рабочий запрос к ChatGPT

Дайте модели контекст, определение метрики, таблицу и формат ответа. Конкретная задача, нужный тон и уточнение запроса после просмотра ответа входят в рекомендации OpenAI по формулировке запросов. Для этой проверки запрос можно записать так:

Ты помогаешь продуктовому аналитику разобрать снижение конверсии в регистрацию.

Сначала проверь определение метрики: registrations / sessions.
Регистрация относится к сессии того же периода и устройства.
Если для расчёта нужно уточнение, задай вопрос до вычислений.

Периоды before и after полные, сопоставимые и одинаковой длины.
mobile и desktop взаимно исключаются, других устройств нет.

1. Посчитай суммы сессий и регистраций за каждый период.
2. Рассчитай конверсию по устройствам и за весь период.
   Покажи числители, знаменатели и формулы.
   Не усредняй сегментные доли простым средним.
3. Сравни конверсии в процентных пунктах.
4. Посчитай доли устройств в сессиях каждого периода.
5. Раздели проверяемые расчёты и возможные объяснения.
6. Напиши короткую записку для руководителя: наблюдаемое изменение,
   проверка по сегментам, предел причинного вывода и следующие данные.

Тон — деловой, с числами. Не объявляй редизайн, канал или устройство
причиной без подтверждающих данных.

period,device,sessions,registrations
before,mobile,100,10
before,desktop,900,270
after,mobile,900,180
after,desktop,100,40

Если модель напишет, что «оба устройства стали конвертировать хуже», исправьте именно этот вывод:

Замени объяснение про ухудшение на обоих устройствах фактическим разбором. Mobile: 10 / 100 = 10% до и 180 / 900 = 20% после. Desktop: 270 / 900 = 30% до и 40 / 100 = 40% после. Обе конверсии выросли на 10 п.п. Общая снизилась с 280 / 1000 = 28% до 220 / 1000 = 22% при росте доли mobile с 10 до 90%. Объясни это изменение состава сессий и отдельно укажи, что причина смены трафика неизвестна.

Полученный ответ сверяйте с исходной таблицей: гладкая формулировка не исправляет неверную дробь.

Перед отправкой рабочих данных оставьте только period, device, sessions и registrations; имена клиентов, идентификаторы и токены для этого расчёта не нужны.