Симулятор A/B-тестов (2026) [karpov.courses] [Александр Давыдов]

Научитесь проводить A/B-тесты, приносящие пользу бизнесу, на тренажере с практическими заданиями Обновленная программа! Новые темы и автор! Зачем нужны А/В-тесты /?/ Проведение A/B тестов помогает оптимизировать маркетинговые кампании, сайты и приложения для достижения максимальных успеховС их помощью вы можете сравнивать два варианта контента, дизайна или функционала и выбрать тот, который приносит лучшие результаты. Это позволяет улучшить конверсию, повысить пользовательский опыт и принимать решения на основе данных, а не догадок Чему научитесь Поймёте, как проводить множество экспериментов параллельно Сможете применить современные методы повышения чувствительности A/B-тестов Разберётесь, как проверять гипотезы со сложными метриками, для которых стандартные тесты не работают Научитесь разрабатывать оптимальный дизайн онлайн и офлайн экспериментов Освоите полный пайплайн (цикл) A/B-тестирования Программа курса: 1. От роста CTR до границ эксперимента Сможете распознавать ситуации, когда рост сводной метрики обманчив. Выстраивать порядок рассуждения при интерпретации дельты CTR в условиях колебаний. И на основе этого разграничивать корректные и некорректные объяснения смены лидера в A/B‑тесте 2. Метрики экспериментов Будете подбирать набор метрик под продуктовую гипотезу, разрешать конфликты между ними и проверять защитные метрики. А затем сможете аргументированно принять решение о «выкате» 3. Статистическая неопределённость: язык для шума Сможете определять соотношение сигнал/шум по готовым числам. Выявлять случаи, когда наблюдаемая разница объясняется случайной нестабильностью среднего. И объяснять, как размер выборки и окно агрегации влияют на стандартную ошибку 4. Причинность: почему A/B работает По описанию продуктовой задачи сможете выбрать корректную единицу рандомизации, распознать в типовых кейсах spillover и сетевые эффекты. А также освоите отличие причинного вопроса от корреляционного 5. Проверка гипотез: H0, p‑value, ошибки Корректно сформулируете нулевую и альтернативную гипотезы до запуска теста. Сможете интерпретировать p‑value без типичных ошибок и оценивать риски ошибок I и II рода в контексте конкретной бизнес‑задачи 6. Мощность теста, размер выборки и peeking Сможете рассчитать необходимый размер выборки и длительность теста под заданный минимальный эффект (MDE). Применять sequential‑подход для легитимного промежуточного анализа и предотвращать подглядывание (peeking). И определять ситуации, когда A/B‑тест неприменим 7. Статистические критерии на практике По типу метрики и характеристикам распределения выберите подходящий критерий: t‑test, Welch, z‑test, χ², Манна-Уитни или bootstrap. Сможете применять дерево решений для выбора теста в типовых кейсах и выявлять ситуации, в которых выбранный критерий даст некорректный результат 8. Виды метрик и анализ ratio Сможете классифицировать метрику по типу: доля, поюзерная, ratio. Корректно рассчитывать дисперсию для ratio‑метрик через delta‑метод. И применять линеаризацию для CTR и аналогичных метрик 9. Дизайн эксперимента и смещения Проверите баланс групп и SRM до начала анализа. Попробуете выявить смещение при распределении (assignment bias) в структуре эксперимента. А также заполните чек‑лист дизайна эксперимента перед его запуском 10. Диагностика и доверительные интервалы Сможете интерпретировать результаты A/A‑теста и распределение p‑value под нулевой гипотезой. Формулировать корректную интерпретацию доверительного интервала для размера эффекта. И разграничивать статистическую и бизнес‑значимость при принятии решения о «выкате» 11. Снижение дисперсии: стратификация и CUPED Примените стратификацию и пост‑стратификацию, реализуете метод CUPED с историческими ковариатами и попробуете скомбинировать его со стратификацией. Потренируетесь в очистке данные от выбросов перед анализом 12. Параллельные эксперименты и масштаб Сможете по числу одновременных тестов выбирать корректную поправку на множественные сравнения: Бонферрони или Бенджамини-Хохберга. Определять ситуации, требующие switchback или geo‑эксперимента. И выявлять нарушения ортогональности слотов 13. Байесовский подход и многорукие бандиты (new) По описанию продуктовой задачи попробуете выбрать между классическим A/B‑тестом и многоруким бандитом. Сможете интерпретировать апостериорное распределение (P (B>A)) для принятия решений и распознавать паттерны поведения Thompson sampling и UCB на графиках распределения трафика 14. Когда A/B недостаточно: квазиэксперименты (new) Сможете подобрать метод квазиэксперимента под задачу: Diff‑in‑Diff, Causal Impact или PSM. А затем применить их к реальным данным. Сможете оценивать пределы достоверности полученного причинного вывода 15. Сквозной пайплайн: от данных до решения о выкате (new) Проведете эксперимент end‑to‑end: проверите SRM и баланс, выберите метрики и критерий, рассчитаете эффект и доверительные интервалы для ratio‑метрик. Будете интерпретировать результаты с учётом защитных метрик и аргументированно обосновывать решение о «выкате». Защитите финальный проект — полный пайплайн A/B-теста в Jupyter Notebook 16. Проектирование автоматизированной системы оценки A/B‑тестов с ИИ (new) Познакомитесь с архитектурой автоматизированной системы оценки A/B‑тестов. Узнаете, как с помощью ИИ-инструмента генерировать аналитический пайплайн под типовые шаги анализа. Сможете проектировать прототип системы от загрузки данных до отчёта Автор и преподаватель курса: Александр Давыдов Лид аналитики с 9+ годами опыта от продуктовой аналитики до руководства командой в Дзене (VK), inDrive, Ситидрайве, Самокате и Мегамаркете Специализируется на A/B-тестировании, монетизации рекламы и принятии управленческих решений на данных — от методологии экспериментов до операционных систем аналитики