Проверяем сведения о курсе и предложения площадок…
«Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi, DLT [Инжеренка.Тех] [Д. Володин, Б. Житников, И. Матвеев]» [Основательный подход] — Курсолёт
«Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi, DLT [Инжеренка.Тех] [Д. Володин, Б. Житников, И. Матвеев]» [Основательный подход]
Текст площадки «Sharewood». Упомянутые цены и обещанные результаты могут быть неактуальны; условия покупки проверяйте у продавца.
Научитесь строить
- надежные ETL-пайплайны на базе Dagster и Apache NiFi,
- применяя Software Defined Assets и кастомные IOManager для сбора и записи данных в PostgreSQL.
Вы освоите автоматизацию обработки информации через внешние API и развертывание оркестратора в контейнерах Docker.
Попробовать бесплатно
Один курс · разные способы доступа
Где удобнее учиться?
Сравните цену и то, как будете заниматься.
Выбирайте не только по цене
ЦенаСумма и выгодность предложения
Удобство интерфейсаОценка формата занятий
Встроенный просмотрБез скачивания всего курса
Занятия с телефонаБез работы с архивами
Без рекламыПри работе с материалами
Найти нужный моментНе пересматривая весь урок
Разобраться в темеПомощь по содержанию, не куратор
Продавцы могут по-разному указать название, автора и программу. Ниже приведены отдельные описания источников.
СкладчикКурс по ETL-разработке и оркестрации на Dagster и Apache Nifi, DLT [Тариф Основательный подход] [Д. Володин, Б. Житников, И. Матвеев]
Указаны на площадке: Д. Володин, Б. Житников, И. Матвеев
Научитесь строить:
надежные ETL-пайплайны на базе Dagster и Apache NiFi,
применяя Software Defined Assets и кастомные IOManager для сбора и записи данных в PostgreSQL.
Вы освоите автоматизацию обработки информации через внешние API и развертывание оркестратора в контейнерах Docker.
Модуль 1
Dagster
ETL, оркестрация и активы данных
От теории ETL до production-деплоя Dagster: учимся проектировать пайплайны, работать с Software Defined Assets, ресурсами, партициями, расписаниями и интеграцией с dbt.
0 Теория ETL — доступно в бесплатной части
Теоретический фундамент инженерии данных: как сырая информация превращается в бизнес-ценность через ETL-процессы. Разбираем OLTP и OLAP, batch и stream обработку.
Чему вы научитесь:
Выбирать ETL, ELT или EtLT под требования бизнеса к скорости и качеству данных.
Извлекать и нормализовать данные на Python.
Готовить первый пайплайн к загрузке в аналитическое хранилище.
1 Введение в Dagster — доступно в бесплатной части
Погружаемся в экосистему Dagster и переход от выполнения задач к управлению активами данных через Software Defined Assets. Разбираем декларативный подход, ресурсы и проверки качества.
Чему вы научитесь:
Проектировать устойчивые пайплайны данных.
Разделять бизнес-логику и инфраструктуру через IOManagers и Resources.
Запускать локальный проект Dagster и настраивать Asset Checks.
2 SDA в Dagster — доступно в бесплатной части
Практика работы с Software Defined Assets: пишем первый ассет, настраиваем зависимости, добавляем метаданные и смотрим граф данных в UI.
Чему вы научитесь:
Проектировать связанные цепочки ассетов.
Управлять контекстом выполнения и логированием.
Внедрять Asset Checks, которые блокируют обработку данных при ошибках.
3 Configurable Resource
Цель урока: Научиться создавать собственные ресурсы для работы с внешними системами.
Практика на уроке: Создадим подключение к внешнему API.
4 IOManager
Цель урока: Научиться создавать инструменты для сохранения и последующего использования данных из SDA.
Практика на уроке: Создадим IOManager для записи сырых данных в PostgreSQL.
5 Partitions
Цель урока: Научиться разбивать SDA на более мелкие логические и физические части.
Практика на уроке: Разделим данные по дате, напишем методы для ресурса и менеджера.
6 Автоматизация
Цель урока: Научиться создавать правила для автоматического получения и обработки данных.
Практика на уроке: Напишем несколько расписаний и зададим правила для автоматической материализации ассета.
7 Ops, Jobs, Hooks
Цель урока: Научиться управлять задачами, которые не связаны напрямую с данными.
Практика на уроке: Создадим утилитарные задачи для запуска из UI, добавим алертинг и юнит-тесты.
8 Интеграция с dbt
Цель урока: Запустить dbt-проект в Dagster.
Практика на уроке: Познакомимся с подходами к интеграции, добавим расписание и настройку партиционирования.
9 Деплой
Цель урока: Запустить Dagster в Docker.
Практика на уроке: Запустим все, что сделали ранее, отдельно, и подготовим к релизу в production.
Модуль 2 NiFi
Потоки данных и визуальная обработка
Учимся собирать data flow: получать данные из внешних источников, обрабатывать, разделять, маршрутизировать и сохранять их в PostgreSQL.
10 Введение в NiFi
Получите понимание, какие задачи может решать NiFi, а для каких лучше выбрать другой инструмент.
11 Получение и обработка данных
Цель урока: Научиться создавать потоки NiFi, получать данные и выполнять простейшие операции обработки.
Практика на уроке: Создадим подключение к внешнему API.
12 Сохранение данных
Цель урока: Научиться обрабатывать структурированные данные и сохранять их в системы.
Практика на уроке: Создадим поток для записи сырых данных в PostgreSQL.
13 Сложная обработка
Цель урока: Разобраться со сложными механизмами обработки и управления данными.
Практика на уроке: Будем делить данные, управлять обработкой и распределением данных в кластере.
Модуль 3 DLT
Пайплайны, API, файлы и end-to-end проект
Собираем практический стек DLT: ресурсы и источники, REST API, файловые источники, S3, интеграцию с Dagster и финальный пайплайн.
14 Знакомство с DLT и создание первого пайплайна
Установка DLT и настройка рабочего окружения.
Работа с демонстрационными данными о шахматных партиях.
Загрузка данных в DuckDB и анализ через SQL-клиент.
15 Ресурсы и источники данных в DLT
Понятия @dlt.resource и @dlt.source, их назначение и различия.
Создание ресурсов для работы с CSV-файлами.
Подключение к ClickHouse как источнику данных.
16 Работа с REST API и конфигурацией
Подключение к GitHub API для получения issues и данных о контрибьюторах.
Использование встроенного источника rest_api_source.
Настройка пагинации для обработки больших объемов данных.
17 Загрузка файлов из различных источников
Работа с локальными и облачными файлами.
Обработка Parquet-файлов на примере данных о поездках самокатов.
Подключение и загрузка данных из Amazon S3.
Анализ загруженных данных: подсчет записей в таблице events.
18 Интеграция с Dagster
Создание проекта Dagster с помощью scaffold.
Работа с @dlt_assets для управления активами данных.
Кастомизация пайплайнов через DagsterDltTranslator.
Безопасное хранение токенов и конфигурации через .env файлы.
19 Практический проект: end-to-end пайплайн
Создание единого пайплайна с интеграцией API, ClickHouse и файловых источников.
Настройка ассетов и мониторинг через интерфейс Dagster.
Валидация результатов: консолидация всех данных в едином хранилище.
Стек, который вы освоите на курсе: Dagster, SDA (Software Defined Asset), IOManager, dbt, Docker, PostgreSQL, API Integration, NiFi, DLT
Почему на базе Dagster и NiFi?
Dagster – ключевой инструмент Modern Data Stack. Он дает инженерам гибкость и контроль, недоступные в старых решениях, позволяя строить сложные и надежные пайплайны.
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.
Вас ждет более 60 задач из разных бизнес-сфер, которые вы возьмете в портфолио
Тариф Основательный подход
Содержание обучения
Что в программе
01Программа93 урока
Модуль 1Время не указано
DagsterВремя не указано
ETL, оркестрация и активы данныхВремя не указано
От теории ETL до production-деплоя Dagster: учимся проектировать пайплайны, работать с Software Defined Assets, ресурсами, партициями, расписаниями и интеграцией с dbt.Время не указано
0 Теория ETL — доступно в бесплатной частиВремя не указано
Теоретический фундамент инженерии данных: как сырая информация превращается в бизнес-ценность через ETL-процессы. Разбираем OLTP и OLAP, batch и stream обработку.Время не указано
Чему вы научитесь:Время не указано
Выбирать ETL, ELT или EtLT под требования бизнеса к скорости и качеству данных.Время не указано
Извлекать и нормализовать данные на Python.Время не указано
Готовить первый пайплайн к загрузке в аналитическое хранилище.Время не указано
1 Введение в Dagster — доступно в бесплатной частиВремя не указано
Погружаемся в экосистему Dagster и переход от выполнения задач к управлению активами данных через Software Defined Assets. Разбираем декларативный подход, ресурсы и проверки качества.Время не указано
Чему вы научитесь:Время не указано
Проектировать устойчивые пайплайны данных.Время не указано
Разделять бизнес-логику и инфраструктуру через IOManagers и Resources.Время не указано
Запускать локальный проект Dagster и настраивать Asset Checks.Время не указано
2 SDA в Dagster — доступно в бесплатной частиВремя не указано
Практика работы с Software Defined Assets: пишем первый ассет, настраиваем зависимости, добавляем метаданные и смотрим граф данных в UI.
«В Курсе» — наш основной вариант для перехода. В таблице — возможности сервисов; состав конкретного курса уточняйте перед оплатой.
Как мы оцениваем и что входит в доступ
Звёзды — наша оценка, не отзывы покупателей. Удобство: 2 базовых балла, по одному за занятия без обязательного скачивания, навигацию по курсу и встроенного помощника. Оценка описывает формат сервиса, а не проверку каждого урока.
Цена сравнивается только при подтверждённых одинаковых тарифе, сроке и виде оплаты. Разница с минимальной ценой до 10% — 5 звёзд, до 30% — 4, до 60% — 3, до 100% — 2, больше — 1. Устаревшие и неизвестные цены не оцениваются. Прочерк означает, что данных недостаточно, а не что функции нет.
В Курсе
Зарегистрируйтесь, чтобы уточнить возможность доступа к этому материалу
Складчик
Условия оплаты
Взнос за участие на площадке: 6 580 ₽. Доступность материала зависит от стадии сбора.
На странице площадки указано: Цена 39000 руб.; Взнос 6 580 р.. Тип платежа, актуальность и соответствие полной цене курса требуют проверки.
Условия проверены 10.11.2026. Перед оплатой проверьте состав предложения у продавца.
Если ваша подписка уже включает этот курс, отдельная покупка не нужна.
Тарифы проверены 17.11.2026
Условия проверены 02.11.2026. Перед оплатой проверьте состав предложения у продавца.
Получено 10.11.2026
Sharewood«Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi, DLT [Тариф Основательный подход]» [Д. Володин, Б. Житников, И. Матвеев]
Указаны на площадке: Д. Володин, Б. Житников, И. Матвеев
Научитесь строить:
надежные ETL-пайплайны на базе Dagster и Apache NiFi,
применяя Software Defined Assets и кастомные IOManager для сбора и записи данных в PostgreSQL.
Вы освоите автоматизацию обработки информации через внешние API и развертывание оркестратора в контейнерах Docker.
Тариф Основательный подход
Программа этой площадки
Программа
Получено 18.11.2026
Sharewood«Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi, DLT [Инжеренка.Тех] [Д. Володин, Б. Житников, И. Матвеев]» [Основательный подход]
Указаны на площадке: Д. Володин, Б. Житников, И. Матвеев
Научитесь строить
- надежные ETL-пайплайны на базе Dagster и Apache NiFi,
- применяя Software Defined Assets и кастомные IOManager для сбора и записи данных в PostgreSQL.
Вы освоите автоматизацию обработки информации через внешние API и развертывание оркестратора в контейнерах Docker.
Попробовать бесплатно
Программа этой площадки
Программа
Получено 02.11.2026
Время не указано
Чему вы научитесь:Время не указано
Проектировать связанные цепочки ассетов.Время не указано
Управлять контекстом выполнения и логированием.Время не указано
Внедрять Asset Checks, которые блокируют обработку данных при ошибках.Время не указано
3 Configurable ResourceВремя не указано
Цель урока: Научиться создавать собственные ресурсы для работы с внешними системами.Время не указано
Практика на уроке: Создадим подключение к внешнему API.Время не указано
4 IOManagerВремя не указано
Цель урока: Научиться создавать инструменты для сохранения и последующего использования данных из SDA.Время не указано
Практика на уроке: Создадим IOManager для записи сырых данных в PostgreSQL.Время не указано
5 PartitionsВремя не указано
Цель урока: Научиться разбивать SDA на более мелкие логические и физические части.Время не указано
Практика на уроке: Разделим данные по дате, напишем методы для ресурса и менеджера.Время не указано
6 АвтоматизацияВремя не указано
Цель урока: Научиться создавать правила для автоматического получения и обработки данных.Время не указано
Практика на уроке: Напишем несколько расписаний и зададим правила для автоматической материализации ассета.Время не указано
7 Ops, Jobs, HooksВремя не указано
Цель урока: Научиться управлять задачами, которые не связаны напрямую с данными.Время не указано
Практика на уроке: Создадим утилитарные задачи для запуска из UI, добавим алертинг и юнит-тесты.Время не указано
8 Интеграция с dbtВремя не указано
Цель урока: Запустить dbt-проект в Dagster.Время не указано
Практика на уроке: Познакомимся с подходами к интеграции, добавим расписание и настройку партиционирования.Время не указано
9 ДеплойВремя не указано
Цель урока: Запустить Dagster в Docker.Время не указано
Практика на уроке: Запустим все, что сделали ранее, отдельно, и подготовим к релизу в production.Время не указано
Модуль 2 NiFiВремя не указано
Потоки данных и визуальная обработкаВремя не указано
Учимся собирать data flow: получать данные из внешних источников, обрабатывать, разделять, маршрутизировать и сохранять их в PostgreSQL.Время не указано
10 Введение в NiFiВремя не указано
Получите понимание, какие задачи может решать NiFi, а для каких лучше выбрать другой инструмент.Время не указано
11 Получение и обработка данныхВремя не указано
Цель урока: Научиться создавать потоки NiFi, получать данные и выполнять простейшие операции обработки.Время не указано
Практика на уроке: Создадим подключение к внешнему API.Время не указано
12 Сохранение данныхВремя не указано
Цель урока: Научиться обрабатывать структурированные данные и сохранять их в системы.Время не указано
Практика на уроке: Создадим поток для записи сырых данных в PostgreSQL.Время не указано
13 Сложная обработкаВремя не указано
Цель урока: Разобраться со сложными механизмами обработки и управления данными.Время не указано
Практика на уроке: Будем делить данные, управлять обработкой и распределением данных в кластере.Время не указано
Модуль 3 DLTВремя не указано
Пайплайны, API, файлы и end-to-end проектВремя не указано
Собираем практический стек DLT: ресурсы и источники, REST API, файловые источники, S3, интеграцию с Dagster и финальный пайплайн.Время не указано
14 Знакомство с DLT и создание первого пайплайнаВремя не указано
Установка DLT и настройка рабочего окружения.Время не указано
Работа с демонстрационными данными о шахматных партиях.Время не указано
Загрузка данных в DuckDB и анализ через SQL-клиент.Время не указано
15 Ресурсы и источники данных в DLTВремя не указано
Понятия @dlt.resource и @dlt.source, их назначение и различия.Время не указано
Создание ресурсов для работы с CSV-файлами.Время не указано
Подключение к ClickHouse как источнику данных.Время не указано
16 Работа с REST API и конфигурациейВремя не указано
Подключение к GitHub API для получения issues и данных о контрибьюторах.Время не указано
Использование встроенного источника rest_api_source.Время не указано
Настройка пагинации для обработки больших объемов данных.Время не указано
17 Загрузка файлов из различных источниковВремя не указано
Работа с локальными и облачными файлами.Время не указано
Обработка Parquet-файлов на примере данных о поездках самокатов.Время не указано
Подключение и загрузка данных из Amazon S3.Время не указано
Анализ загруженных данных: подсчет записей в таблице events.Время не указано
18 Интеграция с DagsterВремя не указано
Создание проекта Dagster с помощью scaffold.Время не указано
Работа с @dlt_assets для управления активами данных.Время не указано
Кастомизация пайплайнов через DagsterDltTranslator.Время не указано
Безопасное хранение токенов и конфигурации через .env файлы.Время не указано
19 Практический проект: end-to-end пайплайнВремя не указано
Создание единого пайплайна с интеграцией API, ClickHouse и файловых источников.Время не указано
Настройка ассетов и мониторинг через интерфейс Dagster.Время не указано
Валидация результатов: консолидация всех данных в едином хранилище.Время не указано
Стек, который вы освоите на курсе: Dagster, SDA (Software Defined Asset), IOManager, dbt, Docker, PostgreSQL, API Integration, NiFi, DLTВремя не указано
Почему на базе Dagster и NiFi?Время не указано
Dagster – ключевой инструмент Modern Data Stack. Он дает инженерам гибкость и контроль, недоступные в старых решениях, позволяя строить сложные и надежные пайплайны.Время не указано
Как проходит обучение?Время не указано
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.Время не указано
Вас ждет более 60 задач из разных бизнес-сфер, которые вы возьмете в портфолиоВремя не указано
39000 рубВремя не указано
Похожие курсы и совпадения: данные сейчас недоступны. Повторить загрузку