Проверяем сведения о курсе и предложения площадок…
Как мы оцениваем и что входит в доступ
Звёзды — наша оценка, не отзывы покупателей. Удобство: 2 базовых балла, по одному за занятия без обязательного скачивания, навигацию по курсу и встроенного помощника. Оценка описывает формат сервиса, а не проверку каждого урока.
Цена сравнивается только при подтверждённых одинаковых тарифе, сроке и виде оплаты. Разница с минимальной ценой до 10% — 5 звёзд, до 30% — 4, до 60% — 3, до 100% — 2, больше — 1. Устаревшие и неизвестные цены не оцениваются. Прочерк означает, что данных недостаточно, а не что функции нет.
В Курсе
Зарегистрируйтесь, чтобы уточнить возможность доступа к этому материалу
Складчик
Условия оплаты- Взнос за участие на площадке: 954 ₽. Доступность материала зависит от стадии сбора.
- На странице площадки указано: Взнос 954 р.. Тип платежа, актуальность и соответствие полной цене курса требуют проверки.
Условия проверены 24.09.2026. Перед оплатой проверьте состав предложения у продавца. Складчина.biz
Условия оплаты- Взнос за участие на площадке: 830 ₽. Доступность материала зависит от стадии сбора.
- Получайте обратную связь от практикующих специалистов
Условия проверены 01.11.2026. Перед оплатой проверьте состав предложения у продавца. Sharewood
Курс доступен по подписке- Путник: 990 ₽ за 1 месяц.
- Разбойник: 1790 ₽ за бессрочный доступ.
- Просветленный: 2390 ₽ за бессрочный доступ.
Условия и состав тарифов ↗︎Если ваша подписка уже включает этот курс, отдельная покупка не нужна.
Тарифы проверены 20.11.2026
Условия проверены 17.11.2026. Перед оплатой проверьте состав предложения у продавца. Симулятор A/B тестов продвинутая практика [2022]
karpov.courses
Александр Сахнов, Валерий Бабушкин, Николай Назаров
Расскажем всё о проведении экспериментов в компаниях.
На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
Пройдите путь начинающего аналитика
Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
Получайте обратную связь от практикующих специалистов
2. Работайте с реальной инфраструктурой
Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
Разрабатывайте дизайн экспериментов и анализируйте результаты
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Модуль 1 - Основы статистики
Изучим основы статистики, которых будет достаточно для прохождения курса.
Модуль 2 - Знакомство с платформой A/B-тестирования
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
Выдвинем гипотезы, оценим результаты первого эксперимента.
Модуль 3 - Проверка гипотез
Узнаем, как появилась идея проверять гипотезы.
Создадим собственный критерий принятия решений.
Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Модуль 4 - Дизайн эксперимента
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
Модуль 5 - Доверительные интервалы
Познакомимся с методом бутстрэп.
Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Модуль 6 - Повышение чувствительности тестов
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Модуль 7 - Выбор метрик
Выбрать метрику для эксперимента не всегда просто.
Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Модуль 8 - Cuped и стратификация
Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Модуль 9 - Множественное тестирование
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
Модуль 10 - Анализ метрик отношения
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Примечание: версия симулятора Продвинутая (Подойдёт всем, кто знаком с основами Python и математической статистикой и хочет разобраться с технической реализацией A/B-тестов)
СкладчикСимулятор A/B тестов [karpov.courses] [Александр Сахнов, Валерий Бабушкин, Николай Назаров]
Указаны на площадке: Александр Сахнов, Валерий Бабушкин, Николай Назаров
Симулятор A/B тестов [karpov.courses]
ПРИНИМАЙТЕ ОПТИМАЛЬНЫЕ РЕШЕНИЯ НА ОСНОВЕ ДАННЫХ
ДЛЯ КОГО ЭТОТ КУРС:
1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
ПРОГРАММА КУРСА ://
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
Модуль 1 - Основы статистики
Изучим основы статистики, которых будет достаточно для прохождения курса.
Модуль 2 - Знакомство с платформой A/B-тестирования
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
Выдвинем гипотезы, оценим результаты первого эксперимента.
Модуль 3 - Проверка гипотез
Узнаем, как появилась идея проверять гипотезы.
Создадим собственный критерий принятия решений.
Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Модуль 4 - Дизайн эксперимента
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
Модуль 5 - Доверительные интервалы
Познакомимся с методом бутстрэп.
Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Модуль 6 - Повышение чувствительности тестов
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Модуль 7 - Выбор метрик
Выбрать метрику для эксперимента не всегда просто.
Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Модуль 8 - Cuped и стратификация
Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Модуль 9 - Множественное тестирование
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
Модуль 10 - Анализ метрик отношения
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
базовая версия
Получено 24.09.2026СкладчикСимулятор Machine Learning Engineer продвинутая практика [2022] [karpov.courses] [Валерий Бабушкин, Станислав Гафаров, Богдан Печёнкин]
Указаны на площадке: Валерий Бабушкин, Станислав Гафаров, Богдан Печёнкин
Симулятор Machine Learning Engineer ML продвинутая практика [2022] arpov.courses
Работа над реальными задачами под руководством ведущих ML-специалистов.
Для кого эта программа:
1. Хотите отработать знания на практике
Уже умеете обучать и деплоить ML-модели, писать SQL-запросы к базам данных, проводить A/B-тесты и строить BI-дашборды, но хотите закрепить свои знания.
2. Никогда не работали в индустрии
Хорошо разбираетесь в теории машинного обучения, но никогда не работали в индустрии и хотите получить опыт решения реальных бизнес-задач.
Как проходит обучение:
1. Используйте нашу инфраструктуру
Работайте со всеми необходимыми инструментами на выделенном сервере.
Практикуйтесь на данных из реальных задач.
Отправляйте свои решения на автоматическую проверку нашей системой.
2. Практикуйтесь
Решайте актуальные задачи ML-инженера.
Занимайтесь практикой без скучной теории.
Главное — это работающее решение.
3. Выбирайте подходящую сложность
Решайте задачи разных уровней: от Intern до Senior
Пишите несложный код или создавайте полноценные ML-сервисы
Чему Вы научитесь:
1. Строить дашборды и писать SQL запросы.
2. Оценивать влияние моделей на показатели бизнеса с помощью A/B-тестов.
3. Деплоить модели и создавать свои микросервисы для ML
Задачи, которые будем решать:
ДИНАМИЧЕСКОЕ ЦЕНООБРАЗОВАНИЕ
Компания X6 управляет тысячами магазинов по всей стране. Перед ней стоит задача устанавливать цены товаров так, чтобы получать стабильную прибыль, при этом удерживая покупателей. Вы разработаете алгоритм, которые максимизирует выручку для целевой маржи.
#optimization #python #oop #matrix_algebra
ПРОГНОЗ ОТТОКА
Karpov.Courses хочет понимать, какие студенты стали реже заходить в Симулятор. Решите задачу-квест разработки модели оттока, пройдя несколько этапов: от пошагового написания SQL-запроса с оконными функциями для построения датасета — до постройте доверительных интервалов для предсказаний модели и её деплоя.
#sql #linear_models #python #etl #stats #ab_testing #math
УВЕРЕННОСТЬ МОДЕЛИ
Мы прогнозируем объемы продаж маркетплейса для миллионов товаров с помощью градиентного бустинга. Стейкхолдеры обращаются с вопросом: насколько мы уверены в предсказаниях модели? Ваша задача оценить надежность её предсказаний для данных в будущем.
#tree_based_models #sql #stats #time_series #etl
ЭМБЕДДИНГИ ТОВАРОВ
ML-команде маркетплейса потребовались векторные представления товаров, чтобы находить похожие товары. Постройте эмбеддинги товаров на основе паттернов поведения покупателей, используя методы коллаборативной фильтрации.
#matrix_factorization #sql #embeddings #recsys #knn #matching
ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА ДАННЫХ
Ваш коллега занимается обработкой естественного языка. Однако алгоритм в текущей реализации работает медленно. Вооружившись новыми знаниями о параллельных вычислениях, любезно согласились ему помочь.
#optimization #python
UPLIFT-ДЕРЕВО
Отдел маркетинга запускает SMS-рассылки, чтобы привлечь внимание клиентов компании. Вам предстоит оценить их эффективность, решая задачу Uplift моделирования. Вы поймете как работать с этой задачей изнутри, написав свою версию uplift-дерева с нуля.
#oop #python #tree_based_models #metrics #math
И ЕЩЕ 30+ ЗАДАЧ РАЗНОГО УРОВНЯ СЛОЖНОСТИ
На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.
Получено 24.09.2026Складчина.biz[karpov.courses] Симулятор A/B тестов, продвинутая практика (Александр Сахнов, Валерий Бабушкин)
Указаны на площадке: Александр Сахнов, Валерий Бабушкин
Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
Пройдите путь начинающего аналитика
Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
Получайте обратную связь от практикующих специалистов
2. Работайте с реальной инфраструктурой
Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
Разрабатывайте дизайн экспериментов и анализируйте результаты
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Получено 01.11.2026Складчина.biz[karpov.courses] Симулятор A/B тестов, продвинутая практика (Александр Сахнов, Валерий Бабушкин)
Указаны на площадке: Александр Сахнов, Валерий Бабушкин
Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
Пройдите путь начинающего аналитика
Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
Получайте обратную связь от практикующих специалистов
2. Работайте с реальной инфраструктурой
Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
Разрабатывайте дизайн экспериментов и анализируйте результаты
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Получено 09.10.2026Складчина.biz[karpov.courses] Симулятор A/B тестов. Базовая версия (Валерий Бабушкин, Николай Назаров)
Указаны на площадке: Валерий Бабушкин, Николай Назаров
Базовая версия
ДЛЯ КОГО ЭТОТ КУРС:
1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
Модуль 1 - Основы статистики
Изучим основы статистики, которых будет достаточно для прохождения курса.
Модуль 2 - Знакомство с платформой A/B-тестирования
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
Выдвинем гипотезы, оценим результаты первого эксперимента.
Модуль 3 - Проверка гипотез
Узнаем, как появилась идея проверять гипотезы.
Создадим собственный критерий принятия решений.
Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Модуль 4 - Дизайн эксперимента
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
Модуль 5 - Доверительные интервалы
Познакомимся с методом бутстрэп.
Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Модуль 6 - Повышение чувствительности тестов
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Модуль 7 - Выбор метрик
Выбрать метрику для эксперимента не всегда просто.
Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Модуль 8 - Cuped и стратификация
Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Модуль 9 - Множественное тестирование
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
Модуль 10 - Анализ метрик отношения
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Получено 03.10.2026Складчина.biz[karpov.courses] Симулятор Machine Learning Engineer, продвинутая практика (Валерий Бабушкин)
Указаны на площадке: Валерий Бабушкин
Работа над реальными задачами под руководством ведущих ML-специалистов.
На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.
Для кого эта программа:
Хотите отработать знания на практике. Уже умеете обучать и деплоить ML-модели, писать SQL-запросы к базам данных, проводить A/B-тесты и строить BI-дашборды, но хотите закрепить свои знания.
Никогда не работали в индустрии. Хорошо разбираетесь в теории машинного обучения, но никогда не работали в индустрии и хотите получить опыт решения реальных бизнес-задач.
Как проходит обучение:
1. Используйте нашу инфраструктуру
Работайте со всеми необходимыми инструментами на выделенном сервере.
Практикуйтесь на данных из реальных задач.
Отправляйте свои решения на автоматическую проверку нашей системой.
2. Практикуйтесь
Решайте актуальные задачи ML-инженера.
Занимайтесь практикой без скучной теории.
Главное — это работающее решение.
3. Выбирайте подходящую сложность
Решайте задачи разных уровней: от Intern до Senior
Пишите несложный код или создавайте полноценные ML-сервисы
Чему Вы научитесь:
1. Строить дашборды и писать SQL запросы.
2. Оценивать влияние моделей на показатели бизнеса с помощью A/B-тестов.
3. Деплоить модели и создавать свои микросервисы для ML
ДИНАМИЧЕСКОЕ ЦЕНООБРАЗОВАНИЕ
Компания X6 управляет тысячами магазинов по всей стране. Перед ней стоит задача устанавливать цены товаров так, чтобы получать стабильную прибыль, при этом удерживая покупателей. Вы разработаете алгоритм, которые максимизирует выручку для целевой маржи.
#optimization #python #oop #matrix_algebra
ПРОГНОЗ ОТТОКА
Karpov.Courses хочет понимать, какие студенты стали реже заходить в Симулятор. Решите задачу-квест разработки модели оттока, пройдя несколько этапов: от пошагового написания SQL-запроса с оконными функциями для построения датасета — до постройте доверительных интервалов для предсказаний модели и её деплоя.
#sql #linear_models #python #etl #stats #ab_testing #math
УВЕРЕННОСТЬ МОДЕЛИ
Мы прогнозируем объемы продаж маркетплейса для миллионов товаров с помощью градиентного бустинга. Стейкхолдеры обращаются с вопросом: насколько мы уверены в предсказаниях модели? Ваша задача оценить надежность её предсказаний для данных в будущем.
#tree_based_models #sql #stats #time_series #etl
ЭМБЕДДИНГИ ТОВАРОВ
ML-команде маркетплейса потребовались векторные представления товаров, чтобы находить похожие товары. Постройте эмбеддинги товаров на основе паттернов поведения покупателей, используя методы коллаборативной фильтрации.
#matrix_factorization #sql #embeddings #recsys #knn #matching
ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА ДАННЫХ
Ваш коллега занимается обработкой естественного языка. Однако алгоритм в текущей реализации работает медленно. Вооружившись новыми знаниями о параллельных вычислениях, любезно согласились ему помочь.
#optimization #python
UPLIFT-ДЕРЕВО
Отдел маркетинга запускает SMS-рассылки, чтобы привлечь внимание клиентов компании. Вам предстоит оценить их эффективность, решая задачу Uplift моделирования. Вы поймете как работать с этой задачей изнутри, написав свою версию uplift-дерева с нуля.
#oop #python #tree_based_models #metrics #math
На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.
Получено 04.10.2026Складчина.biz[karpov.courses] Симулятор A/B тестов, продвинутая практика (Александр Сахнов, Валерий Бабушкин)
Указаны на площадке: Александр Сахнов, Валерий Бабушкин
Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
Пройдите путь начинающего аналитика
Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
Получайте обратную связь от практикующих специалистов
2. Работайте с реальной инфраструктурой
Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
Разрабатывайте дизайн экспериментов и анализируйте результаты
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Получено 05.10.2026Складчина.biz[karpov.courses] Симулятор A/B тестов. Базовая версия (Валерий Бабушкин, Николай Назаров)
Указаны на площадке: Валерий Бабушкин, Николай Назаров
Базовая версия
ДЛЯ КОГО ЭТОТ КУРС:
1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
Модуль 1 - Основы статистики
Изучим основы статистики, которых будет достаточно для прохождения курса.
Модуль 2 - Знакомство с платформой A/B-тестирования
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
Выдвинем гипотезы, оценим результаты первого эксперимента.
Модуль 3 - Проверка гипотез
Узнаем, как появилась идея проверять гипотезы.
Создадим собственный критерий принятия решений.
Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Модуль 4 - Дизайн эксперимента
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
Модуль 5 - Доверительные интервалы
Познакомимся с методом бутстрэп.
Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Модуль 6 - Повышение чувствительности тестов
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Модуль 7 - Выбор метрик
Выбрать метрику для эксперимента не всегда просто.
Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Модуль 8 - Cuped и стратификация
Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Модуль 9 - Множественное тестирование
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
Модуль 10 - Анализ метрик отношения
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Получено 09.10.2026Складчина.biz[karpov.courses] Симулятор Machine Learning Engineer, продвинутая практика (Валерий Бабушкин)
Указаны на площадке: Валерий Бабушкин
Работа над реальными задачами под руководством ведущих ML-специалистов.
На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.
Для кого эта программа:
Хотите отработать знания на практике. Уже умеете обучать и деплоить ML-модели, писать SQL-запросы к базам данных, проводить A/B-тесты и строить BI-дашборды, но хотите закрепить свои знания.
Никогда не работали в индустрии. Хорошо разбираетесь в теории машинного обучения, но никогда не работали в индустрии и хотите получить опыт решения реальных бизнес-задач.
Как проходит обучение:
1. Используйте нашу инфраструктуру
Работайте со всеми необходимыми инструментами на выделенном сервере.
Практикуйтесь на данных из реальных задач.
Отправляйте свои решения на автоматическую проверку нашей системой.
2. Практикуйтесь
Решайте актуальные задачи ML-инженера.
Занимайтесь практикой без скучной теории.
Главное — это работающее решение.
3. Выбирайте подходящую сложность
Решайте задачи разных уровней: от Intern до Senior
Пишите несложный код или создавайте полноценные ML-сервисы
Чему Вы научитесь:
1. Строить дашборды и писать SQL запросы.
2. Оценивать влияние моделей на показатели бизнеса с помощью A/B-тестов.
3. Деплоить модели и создавать свои микросервисы для ML
ДИНАМИЧЕСКОЕ ЦЕНООБРАЗОВАНИЕ
Компания X6 управляет тысячами магазинов по всей стране. Перед ней стоит задача устанавливать цены товаров так, чтобы получать стабильную прибыль, при этом удерживая покупателей. Вы разработаете алгоритм, которые максимизирует выручку для целевой маржи.
#optimization #python #oop #matrix_algebra
ПРОГНОЗ ОТТОКА
Karpov.Courses хочет понимать, какие студенты стали реже заходить в Симулятор. Решите задачу-квест разработки модели оттока, пройдя несколько этапов: от пошагового написания SQL-запроса с оконными функциями для построения датасета — до постройте доверительных интервалов для предсказаний модели и её деплоя.
#sql #linear_models #python #etl #stats #ab_testing #math
УВЕРЕННОСТЬ МОДЕЛИ
Мы прогнозируем объемы продаж маркетплейса для миллионов товаров с помощью градиентного бустинга. Стейкхолдеры обращаются с вопросом: насколько мы уверены в предсказаниях модели? Ваша задача оценить надежность её предсказаний для данных в будущем.
#tree_based_models #sql #stats #time_series #etl
ЭМБЕДДИНГИ ТОВАРОВ
ML-команде маркетплейса потребовались векторные представления товаров, чтобы находить похожие товары. Постройте эмбеддинги товаров на основе паттернов поведения покупателей, используя методы коллаборативной фильтрации.
#matrix_factorization #sql #embeddings #recsys #knn #matching
ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА ДАННЫХ
Ваш коллега занимается обработкой естественного языка. Однако алгоритм в текущей реализации работает медленно. Вооружившись новыми знаниями о параллельных вычислениях, любезно согласились ему помочь.
#optimization #python
UPLIFT-ДЕРЕВО
Отдел маркетинга запускает SMS-рассылки, чтобы привлечь внимание клиентов компании. Вам предстоит оценить их эффективность, решая задачу Uplift моделирования. Вы поймете как работать с этой задачей изнутри, написав свою версию uplift-дерева с нуля.
#oop #python #tree_based_models #metrics #math
На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.
Получено 08.10.2026Складчина.biz[karpov.courses] Симулятор Machine Learning Engineer, продвинутая практика (Валерий Бабушкин)
Указаны на площадке: Валерий Бабушкин
Работа над реальными задачами под руководством ведущих ML-специалистов.
На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.
Для кого эта программа:
Хотите отработать знания на практике. Уже умеете обучать и деплоить ML-модели, писать SQL-запросы к базам данных, проводить A/B-тесты и строить BI-дашборды, но хотите закрепить свои знания.
Никогда не работали в индустрии. Хорошо разбираетесь в теории машинного обучения, но никогда не работали в индустрии и хотите получить опыт решения реальных бизнес-задач.
Как проходит обучение:
1. Используйте нашу инфраструктуру
Работайте со всеми необходимыми инструментами на выделенном сервере.
Практикуйтесь на данных из реальных задач.
Отправляйте свои решения на автоматическую проверку нашей системой.
2. Практикуйтесь
Решайте актуальные задачи ML-инженера.
Занимайтесь практикой без скучной теории.
Главное — это работающее решение.
3. Выбирайте подходящую сложность
Решайте задачи разных уровней: от Intern до Senior
Пишите несложный код или создавайте полноценные ML-сервисы
Чему Вы научитесь:
1. Строить дашборды и писать SQL запросы.
2. Оценивать влияние моделей на показатели бизнеса с помощью A/B-тестов.
3. Деплоить модели и создавать свои микросервисы для ML
ДИНАМИЧЕСКОЕ ЦЕНООБРАЗОВАНИЕ
Компания X6 управляет тысячами магазинов по всей стране. Перед ней стоит задача устанавливать цены товаров так, чтобы получать стабильную прибыль, при этом удерживая покупателей. Вы разработаете алгоритм, которые максимизирует выручку для целевой маржи.
#optimization #python #oop #matrix_algebra
ПРОГНОЗ ОТТОКА
Karpov.Courses хочет понимать, какие студенты стали реже заходить в Симулятор. Решите задачу-квест разработки модели оттока, пройдя несколько этапов: от пошагового написания SQL-запроса с оконными функциями для построения датасета — до постройте доверительных интервалов для предсказаний модели и её деплоя.
#sql #linear_models #python #etl #stats #ab_testing #math
УВЕРЕННОСТЬ МОДЕЛИ
Мы прогнозируем объемы продаж маркетплейса для миллионов товаров с помощью градиентного бустинга. Стейкхолдеры обращаются с вопросом: насколько мы уверены в предсказаниях модели? Ваша задача оценить надежность её предсказаний для данных в будущем.
#tree_based_models #sql #stats #time_series #etl
ЭМБЕДДИНГИ ТОВАРОВ
ML-команде маркетплейса потребовались векторные представления товаров, чтобы находить похожие товары. Постройте эмбеддинги товаров на основе паттернов поведения покупателей, используя методы коллаборативной фильтрации.
#matrix_factorization #sql #embeddings #recsys #knn #matching
ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА ДАННЫХ
Ваш коллега занимается обработкой естественного языка. Однако алгоритм в текущей реализации работает медленно. Вооружившись новыми знаниями о параллельных вычислениях, любезно согласились ему помочь.
#optimization #python
UPLIFT-ДЕРЕВО
Отдел маркетинга запускает SMS-рассылки, чтобы привлечь внимание клиентов компании. Вам предстоит оценить их эффективность, решая задачу Uplift моделирования. Вы поймете как работать с этой задачей изнутри, написав свою версию uplift-дерева с нуля.
#oop #python #tree_based_models #metrics #math
На симуляторе вы получите доступ к инфраструктуре и задачам разного уровня, которые подготовили ML-инженеры с опытом работы в ритейле, e-commerce и BigTech-компаниях.
Здесь вас ждёт практика на задачах, максимально приближенных к реальным, и в окружении, максимально похожем на рабочее. Вы сможете начать с комфортного для вас уровня сложности и повышать его по мере развития ваших навыков. Закрепив знания на кейсах из индустрии, вы подготовите себя к решению аналогичных задач на работе.
Получено 01.11.2026Складчина.biz[karpov.courses] Симулятор A/B тестов. Базовая версия (Валерий Бабушкин, Николай Назаров)
Указаны на площадке: Валерий Бабушкин, Николай Назаров
Базовая версия
ДЛЯ КОГО ЭТОТ КУРС:
1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
Модуль 1 - Основы статистики
Изучим основы статистики, которых будет достаточно для прохождения курса.
Модуль 2 - Знакомство с платформой A/B-тестирования
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
Выдвинем гипотезы, оценим результаты первого эксперимента.
Модуль 3 - Проверка гипотез
Узнаем, как появилась идея проверять гипотезы.
Создадим собственный критерий принятия решений.
Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Модуль 4 - Дизайн эксперимента
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
Модуль 5 - Доверительные интервалы
Познакомимся с методом бутстрэп.
Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Модуль 6 - Повышение чувствительности тестов
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Модуль 7 - Выбор метрик
Выбрать метрику для эксперимента не всегда просто.
Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Модуль 8 - Cuped и стратификация
Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Модуль 9 - Множественное тестирование
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
Модуль 10 - Анализ метрик отношения
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Получено 01.11.2026Sharewood«Симулятор A - B тестов, продвинутая практика» [Karpov.Courses]
Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
Пройдите путь начинающего аналитика
Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
Получайте обратную связь от практикующих специалистов
2. Работайте с реальной инфраструктурой
Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
Разрабатывайте дизайн экспериментов и анализируйте результаты
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Получено 20.11.2026Sharewood«Симулятор A - B тестов» [karpov.courses, Александр Сахнов, Валерий Бабушкин, Николай Назаров]
Указаны на площадке: Александр Сахнов, Валерий Бабушкин, Николай Назаров
ДЛЯ КОГО ЭТОТ КУРС:
1. Продакт-менеджер - Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик - Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Подойдёт всем, кто хочет разобраться в A/B-тестировании без погружения в программирование и математическую статистику.
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
ПРОГРАММА КУРСА ://
Представьте, что вы устроились аналитиком в пиццерию, которая активно переходит в онлайн и проводит эксперименты для повышения качества сервиса. Вам предстоит определить, какая версия сайта работает лучше, что изменилось после рефакторинга бэкенда и удалось ли отделу логистики ускорить доставку.
Модуль 1 - Основы статистики
Изучим основы статистики, которых будет достаточно для прохождения курса.
Модуль 2 - Знакомство с платформой A/B-тестирования
В первый рабочий день в новой компании познакомимся с данными и платформой А/B-тестирования.
Выдвинем гипотезы, оценим результаты первого эксперимента.
Модуль 3 - Проверка гипотез
Узнаем, как появилась идея проверять гипотезы.
Создадим собственный критерий принятия решений.
Рассмотрим популярные критерии для типичных метрик и поговорим об их ограничениях.
Модуль 4 - Дизайн эксперимента
Научимся подбирать оптимальные параметры для запуска эксперимента: продолжительность, размер выборки и минимальный эффект, который возможно обнаружить.
Узнаем, зачем нужно проводить синтетические A/A- и A/B-эксперименты на исторических данных.
Модуль 5 - Доверительные интервалы
Познакомимся с методом бутстрэп.
Научимся строить доверительные интервалы для произвольных метрик и узнаем, как принимать решения на основе доверительных интервалов.
Модуль 6 - Повышение чувствительности тестов
Рассмотрим актуальные способы повышения чувствительности A/B-тестов и применим их на практике.
Научимся сокращать размер выборки, необходимый для проведения эксперимента.
Модуль 7 - Выбор метрик
Выбрать метрику для эксперимента не всегда просто.
Разберёмся, какие бывают метрики, научимся выбирать наиболее подходящие для эксперимента и узнаем, как отслеживать «здоровье» A/B-теста.
Модуль 8 - Cuped и стратификация
Научимся применять Cuped и стратификацию — продвинутые методы повышения чувствительности A/B-тестов, основанные на использовании дополнительной информации.
Модуль 9 - Множественное тестирование
Когда гипотез слишком много, нам может не хватить наблюдений, чтобы проверить их все одновременно.
Познакомимся с техниками множественного тестирования и одновременным проведением большого числа экспериментов.
Модуль 10 - Анализ метрик отношения
При проверке гипотез о равенстве метрик отношения (например, CTR) обычные тесты применять некорректно, так как наблюдения не являются независимыми.
Изучим подходы для проверки таких гипотез и закрепим новые знания на практике.
Получено 17.11.2026