«Разработка LLM с нуля [Stepik]» [Вячеслав Колосков]

Этот практический курс погрузит студентов в создание современных языковых моделей (LLM) на примере GPT-архитектуры. Участники с нуля реализуют все основные компоненты Трансформера: от токенизации (BPE) до механизмов Внимания и генерации текста. Для разработки будем использовать только Python и низкоуровневый PyTorch, не полагаясь на какие-либо сторонние библиотеки. Чему вы научитесь Научитесь читать схемы архитектур основанных на Трансформерах. Изучите принципы проектирования современных LLM. Понимать алгоритм токенизации текста. Реализовывать ключевые компоненты GPT. Управлять креативностью модели. Собирать и подготавливать данные для обучения. Настраивать Pre-train цикл обучения LLM. Для кого этот курс Курс предназначен для разработчиков, инженеров машинного обучения и исследователей, желающих глубоко разобраться в архитектуре современных языковых моделей (LLM). Начальные требования Базовые знания Python, минимальный ООП (классы, функции). Понимание основ машинного обучения (train/test, таргет, фичи, градиент, функции потерь, метрики и т.д.). Базовые знания по PyTorch: линейные слои, активации, нормализация, дропаут, обратное распространение ошибки. Желателен опыт реализации простой полносвязнной сети для задачи много-классовой классификации. Преподаватель: Вячеслав Колосков Machine Learning Engineer (в телекоме) В IT работаю более 15 лет. Последние 5 лет работаю Machine Learning Engineer (в телекоме). Много занимался большими табличками (Spark, Hadoop и пр.). В последнее время в основном работаю с NLP и в частности разрабатываю RAG-систему на работе. LLM Собираем GPT Сэмплирование Обучение Датасет Train/Eval Применение Другие модели GPT-2 LLama Mistral Mixtral Gemma