Текст площадки «Stepik». Упомянутые цены и обещанные результаты могут быть неактуальны; условия покупки проверяйте у продавца.
Курс для продуктовых и бизнес-аналитиков, менеджеров продукта и технических руководителей. На данных ShopFlow вы проверите качество событий, рассчитаете метрики, воронки и удержание с помощью SQL и PostgreSQL, построите отчёты в Metabase. Настроите A/B-тест в GrowthBook, проанализируете результаты в Python и подготовит
Читать полное описание
🧭 Отправная точка
В ShopFlow число событий об успешной оплате может отличаться от числа покупателей. Одно событие payment_succeeded иногда доставляется повторно, а соединение товарных позиций с несколькими попытками оплаты увеличивает количество строк. Если считать конверсию или выручку по таким данным без проверки, результат окажется неверным.
У удержания и A/B-тестов свои ограничения. Для расчёта D7 нужен завершённый семидневный период наблюдения. В эксперименте важно сопоставить назначенные варианты оформления заказа с фактически зарегистрированными показами. Если часть записей о показах потеряна, оценка конверсии может оказаться смещённой.
В локальной лаборатории ShopFlow вы запустите HTTP-приложение магазина и получите данные о действиях пользователей, заказах и платежах в PostgreSQL. На этих данных будете писать SQL, строить отчёты в Metabase и проводить эксперименты с GrowthBook. Научитесь заранее определять правила расчёта метрик и проверять результаты по исходным записям.
🎯 Цель курса — научиться рассчитывать продуктовые метрики, находить ошибки в данных, анализировать A/B-тесты и готовить обоснованные рекомендации по изменениям продукта.
⚙️ Что вы будете делать
📊 Рассчитывать продуктовые метрики. С помощью SQL посчитаете конверсию, выручку и возвраты, DAU/WAU/MAU, последовательные воронки и удержание D1/D7/D30. Определите, что считать: пользователей, заказы или события, как выбирать знаменатель и задавать временное окно. На практике проверите размножение строк после JOIN и расчёт удержания по когортам с завершённым периодом наблюдения.
🔎 Проверять качество данных и отчётов. Сверите события с заказами и платежами, найдёте дубли, пропуски и задержки доставки. Проследите действия пользователя в разных сеансах, сравните конверсию сегментов и каналов привлечения, разберёте парадокс Симпсона. Построите отчёты в Metabase и сопоставите их с SQL-расчётами.
🧪 Проводить A/B-тесты. Сформулируете гипотезу о новой форме заказа, определите основную и защитные метрики, размер выборки и правило остановки. Настроите GrowthBook и Python SDK, проверите назначения вариантов и регистрацию показов. Проведёте A/A- и A/B-тесты, оцените эффект и доверительный интервал, исследуете нарушение пропорций распределения (SRM), преждевременный анализ и множественные проверки.
📝 Обосновывать продуктовые решения. Сопоставите эффект на конверсию с практической пользой, ошибками оплаты, отменами и возвратами. Исследуете различия между сегментами и метод CUPED для снижения разброса оценок. В итоговой работе объедините результаты расследования метрик и отдельного эксперимента в аргументированную рекомендацию.
🔥 Чем отличается курс
ShopFlow позволяет проследить каждую метрику до действий пользователя и записей в PostgreSQL. Вы сможете сравнить данные HTTP-приложения с аналитическими событиями и выяснить, на каком этапе появились расхождения.
Ошибки расчётов проверяются на конкретных данных. Например, соединение двух товарных позиций с тремя попытками оплаты создаёт шесть строк и завышает сумму товаров. В другом задании общие количества событий и оплат совпадают, хотя относятся к разным заказам. Поэтому вы будете сверять бизнес-ключи и рассчитывать денежные показатели по платёжным записям.
Конверсия среди зарегистрированных пользователей отличается от конверсии среди тех, кто начал оформление заказа. Для воронки важны последовательность действий и конкретная корзина, для удержания — день первого действия и полнота периода наблюдения. Вы будете формулировать правила расчёта заранее и проверять их на пограничных случаях.
В Metabase соберёте дашборд с показателями активности, конверсии и воронки, проверите его SQL-запросами и исследуете расхождения. В GrowthBook настроите варианты оформления заказа и сопоставите результаты с PostgreSQL. Особое внимание уделите полноте записей о назначениях и показах.
В практиках по экспериментам исследуете случаи, когда видимый рост конверсии сопровождается потерей записей о показах или ухудшением защитных метрик. Проверите полноту семидневных и четырнадцатидневных окон, а затем оцените качество данных, доверительные интервалы и практическую пользу изменения.
📚 Дополнительные бесплатные материалы
📄 A/B-тестирование: что это, как провести и рассчитать результат
📄 SQL JOIN удвоил сумму заказа: разбираем ошибку агрегации
📄 SQL JOIN: INNER, LEFT, RIGHT и FULL JOIN с примерами
📄 Retry, Rerun и Backfill: почему повторная загрузка может испортить данные
📄 ETL и ELT: что это, в чём разница и что выбрать
🎯 Итоговый кейс
В итоговом кейсе вы получите запрос о расхождении числа покупателей и количества оплат в ShopFlow. Уточните определения показателей и временные границы, затем сопоставите пользователей, заказы, платежи и события по идентификаторам. Проверите возможные ошибки соединений, пропуски и задержки данных. Если расхождение не воспроизведётся, зафиксируете этот результат и границы проведённой проверки.
После расследования запустите независимый A/B-тест новой формы заказа. Проверите назначение вариантов, полноту записей о показах и распределение пользователей по группам. Для основной метрики, ошибок оплаты и отмен используете завершённое семидневное окно, для возвратов — четырнадцатидневное.
В результате подготовите SQL-запросы, проверяемые расчёты и короткие отчёты по расследованию и эксперименту. Обоснуете решение: продолжить исследование, отказаться от изменения или предложить ограниченный выпуск. Для выпуска укажете ответственного, показатели контроля и порядок отката. В учебном задании фактическое переключение варианта не выполняется.
🧪 Поддержка
🤝 Подробные ответы преподавателя. В комментариях Stepik можно задать вопрос по материалам курса, практическому заданию или своему решению. Преподаватель поможет разобраться в сложном моменте, объяснит причину ошибки и при необходимости приведёт пример.
✅ Ручная проверка практических работ. Каждое отправленное на проверку задание разбирает преподаватель. Вы получаете не просто отметку «зачтено» или «не зачтено», а конкретную обратную связь: что сделано правильно, где есть ошибки и как улучшить решение.
🚀 О XNova
XNova — практические курсы и учебные проекты для разработчиков, тестировщиков и инженеров. Мы разбираем технологии на работающих примерах: с кодом, наблюдаемым результатом и объяснением инженерных решений.
🔗 xnova.dev — другие курсы и материалы XNova.
📬 Контакты и сообщество
Продолжить знакомство с XNova, следить за новыми материалами или задать организационный вопрос можно здесь:
📣 Telegram-канал: @xnova_dev — анонсы курсов, статьи и новости проекта.
💬 Написать XNova: @xnova_contact — контакт для вопросов о курсах и проекте.
✉️ Почта: contact@xnova.dev — если удобнее написать письмом.
💻 GitHub: xnova-tech — открытые учебные проекты и примеры.
🔒 Доступ к разделам
⚠️ Важно! Модули курса открываются постепенно. Чтобы перейти к следующему модулю, необходимо набрать определённое
количество баллов в текущем. Это вынужденная мера. Выполнять все задания не требуется, достаточно выполнить основную
часть.