«Научитесь создавать и деплоить DL-сервисы за 4 месяца [DeepSchool]» [Денис Солдатов, Дмитрий Раков]

Наведите порядок в репозиториях, внедрите лучшие практики и повысьте свою ценность на рынке После курса Деплой DL-сервисов Можете сами обернуть сеть в сервис и задеплоить веб-приложение Знаете лучшие практики от опытных инженеров и можете им научить коллег Пишите понятный код в скриптах и версионируете проекты в git Храните версии датасетов и экспериментов, видите результаты в удобном UI Автоматизируете рутину в CI, решаете больше любимых и сложных задач Сделаем репозиторий обучения модели «по фэншую»: сделаем Makefile и подключим линтеры и пре-коммит, разберёмся, как конфигурировать эксперименты. Тренировать модель будем при помощи Pytorch Lightning, а логировать эксперименты — в ClearMLЗависимости в python • Линтеры/форматтеры, pre-commit хуки • PyTorch Lightning. Основные компоненты • ClearML • Конфигурация. Omegaconf, Pydantic 02. Настройка репозитория с моделингом, 2/3 Продолжим работу с репозиторием из первой лекции. Научимся версионировать данные при помощи clearml-data (и, как альтернатива, dvc). Покажем, как можно дебажить на разных уровнях: в IDE, в Ligtning’е, в ClearML. Напишем тесты на код обучения и сделаем, чтобы они прогонялись на каждом коммите при помощи Gitlab CIРабота с данными: dvc, clearml-data • Дебаггинг: в IDE, в PyTorch Ligtning, в ClearML • Тестирование кода обучения, pytest • Автоматизируем проверки в CI 03. Настройка репозитория с моделингом, 3/3 В первых лекциях мы пользовались Lightning, а в этой сделаем бо́льший фокус на NLP и расскажем, как обучать модели с transformers. Также разберёмся, как учить, логгировать, дебажить и тестироватьtransformers: основные компоненты • как «подружить» со всем, что мы изучили до этого 04. Сериализация моделей Разберёмся, как устроены чекпоинты в PyTorch. Поймём, чем нас не устраивают чекпоинты «из коробки» и покажем типичные ошибки при работе с ними. Рассмотрим torch jit: script/trace и поймём, в каком случае какой подход нужно использовать. Перейдём к ONNX, научимся в него конвертировать, анализировать и упрощать граф. Затем расскажем про onnx-runtimeКак устроены чекпоинты в torch и какие с этим есть проблемы • Torch jit: script/trace • ONNX. Конвертация, анализ и упрощение графа • onnx-runtime 05. Сервис Расскажем, что такое веб-сервисы, обсудим REST. Научимся писать свои веб-сервисы на FastAPI и конфигурировать их при помощи OmegaConf. Расскажем про внедрение зависимостей и научим применять DI-контейнерыВеб-сервисы, http, REST • FastAPI • DI-контейнеры 06. Тесты и линтеры Научимся проверять наш код: писать юнит и интеграционные тесты при помощи pytest, а также пропускать его через линтеры. Расскажем про хорошие практики и типичные ошибки при написании тестовЛинтеры, pre-commit • Pytest • Виды тестов • Фикстуры • Хорошие практики и типичные ошибки в тестах 07. Docker, 1/2 Поговорим про важность изоляции, скорости развёртывания и масштабирования. Расскажем про отличие виртуализации и контейнеризации. Рассмотрим основные компоненты и команды dockerВиртуализация, контейнеризация • Docker: основные компоненты • Docker{file, image, container, hub} • Основные команды • Docker volumes 08. Docker, 2/2 Продолжим изучать docker. Научимся ускорять сборку образа и уменьшать его вес. Поговорим про multistage-сборки. Научимся работать с docker compose и использовать docker для локальной разработки и тестирования.Ускорение сборки образов и уменьшение веса образа • Multistage • Docker Compose • Docker для разработки и тестирования локально 09. Serving Научимся сервить модели при помощи Nvidia Triton. Научимся им пользоваться и разберём основные компоненты. Интегрируем модель из Triton в наше приложение.Конкурентная обработка, latency vs throughput • Как реализовать батчинг • Nvidia Triton: компоненты, API: HTTP/gRPC, как запустить и засервить модель, ансамблирование моделей, тюнинг производительности, метрики, поддерживаемые форматы 10. CI/CD Научимся использовать Gitlab CI в своих проектах. Будем тестировать и прогонять через линтеры каждый коммит. Научимся деплоить наше приложение из Gitlab при помощи Ansible.CI/CD: что это и зачем нужно • Основные концепты Gitlab CI: pipeline, stage, job, etc. • Сборка образа в CI •anchors, include, triggers, artifacts • Ansible 11. Мониторинг Покажем, как мониторить задеплоенное приложение. Научимся узнавать об ошибках при помощи Sentry, а также собирать и отслеживать метрики нам помогут Prometheus и GrafanaSentry • Prometheus • Grafana Курс «Деплой DL-сервисов» длится 4 месяца и включает 16 недель обучения. Программа состоит из 11 лекций, 11 домашних заданий с фидбэком и одного проекта. Курс подходит для DL-инженеров всех уровней, включая тех, кто хочет перейти в DL. Необходимые навыки и знания Знание базовой теории нейросетей, CV- и NLP-фреймворков. Опыт в DL на уровне написания train loop на PyTorch. Базовое знание Python. Кто будет преподавать Опытные инженеры будут вести Zoom-лекции и семинары, отвечать на ваши вопросы и ревьюить код Денис Солдатов. Backend-разработчик. Расскажет как создавать, деплоить и поддерживать сервисы Дмитрий Раков. Руководит командой ML, которая занимается разработкой беспилотных поездов в AO НИИАС Егор Осинкин. Руководит CV командой в EPAM. Выстраивает инженерные практики в ML-командах Константин Носорев. Senior backend developer. Научит работать с Docker. Катерина Антонова. Senior NLP инженер, ML lead. Работает с поисковыми системами, advanced RAG и тд.