Reinforcement Learning для LLM

«Reinforcement Learning для LLM» — инженерный курс о современном обучении с подкреплением для языковых моделей и систем с агентами: от классического аппарата RL до post-training, RLVR, поиска, инфраструктуры и безопасного evaluation. Курс построен не как каталог алгоритмов. Его цель — научить выбирать метод по контракту данных и обратной связи, точно определять оптимизируемую политику, проверять оценки и маски, видеть цену роллаутов и отличать обучение от отбора кандидатов во время инференса. Программа состоит из 13 модулей. Первые пять дают самостоятельный маршрут по MDP/POMDP, ценностям, бандитам, policy gradients и offline RL. Затем LLM рассматривается как токеновая политика: модели награды и предпочтения, RLHF и DPO, RLVR/GRPO, test-time search и agentic RL. Завершают курс инфраструктура роллаутов и обучения, статистическое оценивание, reward hacking, contamination и безопасность. Формулы связываются с проверяемым кодом. Небольшие NumPy-эталоны, тесты и ноутбуки помогают проверять цели, оцениватели, KL, маски, численную устойчивость и воспроизводимость. Это инженерно аккуратный учебный маршрут, а не обещание production-ready реализации: распределённые роллауты, специализированные GPU-ядра и промышленный serving требуют отдельной оптимизации. Версия на Stepik включает структурированный маршрут, автопроверяемые вопросы, аналитические и вычислительные задания, подробные решения и notebook-практику. Лекционные тексты и иллюстрации без тестов, заданий, решений и практического notebook-маршрута будут опубликованы открыто на GitHub и, возможно, на отдельном сайте. Русская и английская версии курса являются самостоятельными синхронизированными изданиями. «Reinforcement Learning для LLM» входит в развивающуюся серию самостоятельных курсов об ML и LLM. Сейчас вместе с ним в серию входят «Теория информации для машинного обучения от NLP и LLM до CV и RL» и «Современные LLM». Серия может пополняться новыми курсами; каждый из них можно проходить отдельно, а перекрёстные ссылки предлагают дополнительное углубление, а не задают обязательные зависимости.