«Clickhouse для аналитиков и инженеров данных [devhands]» [Алексей Белозерский]

Научитесь эффективно использовать Clickhouse: возможности, архитектурные компромиссы и ограничения. Изучить Clickhouse - популярную колоночную СУБД для аналитики данных и разработки приложений и прнять, для каких задач эффективно применять Clickhouse. Обрабатывать миллиарды строк за секунды. Выполнять за доли секунды аналитические запросы, которые в PostgreSQL или Spark занимали минуты. Познакомиться с внутренней архитектурой одиночных и кластерных инсталляций. Разобраться со многими особенностями ClickHouse и с типичными ошибками. Грамотно хранить терабайты аналитических данных с минимальными затратами. Кому подойдет курс: Аналитикам данных Инженерам данных Архитекторам данных Разработчикам

Lakehouse для аналитиков и инженеров данных [Devhands] [Алексей Белозерский] Lakehouse для аналитиков и инженеров данных Научитесь эффективно использовать Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino. Познакомиться с архитектурой LakeHouse, последним поколением аналитических систем с разделенными слоями хранения (Iceberg/S3) и вычисления (Trino/k8s). На практике научиться использовать кластер Trino over k8s, который будет обращаться к данным на S3 в формате Iceberg. Научиться строить гибридные пайплайны обработки данных с использованием SQL, Python, Spark. Освоить масштабирование до х100 раз без смены парадигм и технологий.

Lakehouse для аналитиков и инженеров данных Научитесь эффективно использовать Data Lakehouse c разделенным Compute и Storage на основе Iceberg и Trino. Познакомиться с архитектурой LakeHouse, последним поколением аналитических систем с разделенными слоями хранения (Iceberg/S3) и вычисления (Trino/k8s). На практике научиться использовать кластер Trino over k8s, который будет обращаться к данным на S3 в формате Iceberg. Научиться строить гибридные пайплайны обработки данных с использованием SQL, Python, Spark. Освоить масштабирование до х100 раз без смены парадигм и технологий. Практический курс по современной архитектуре аналитических систем — Data Lakehouse. Вы научитесь работать с разделёнными слоями хранения и вычислений, используя стек Iceberg + Trino + S3 + Kubernetes. Кому подойдет курс: Аналитикам данных Инженерам данных ML-инженерам Занятие 2. Структура формата Iceberg. Формат Parquet Как управлять большим объемом данных. Что будет если накопить 100K и больше файлов за много лет? Что если со временем схема данных меняется, а часть строк вдруг надо удалить? Под капотом у формата Iceberg: Delta, Manifest, Snapshot, метаданные. Iceberg Catalog. Для чего нужен отдельный сервер метаданных. Какие реализации каталога бывают: HMS, JDBC, REST. Практика. Выгрузить из S3 таблицу в формате Iceberg. Изучить данные и метаданные. Занятие 3. Практика Поднимаем Iceberg Catalog JDBC, настраиваем хранение данных в S3. Поднимаем кластер Trino. Настраиваем на работу с Iceberg Catalog. Подключаемся к Trino как к БД с помощью DBeaver. Делаем первыве датасеты. Читаем данные записанные из Trino с помощью Python с библиотекой PyIceberg. Изменяем данные с помощью PyIceberg, читаем результаты из Trino. Занятие 4. Метрики запросов в Trino Работаем с Trino + Iceberg как с БД. Пример датасета TPC-DS, пишем сложные ad- hoc запросы. Изучаем метрики тяжелых запросов с помощью Trino UI. Подключаем DBT для работы над пайплайнами. Краткий обзор фреймворка DBT. Подключение к работе с Trino. Настройка коннекта к Трино, старт проекта. DBT Models, Tests, Snapshots, Docs. DBT Selectors - для управления задачами в проекте. Подключаем Airflow для работы над пайплайнами. Знакомство с инструментом AIrflow. Airflow DAG + DBT - совместный репо. Занятие 5. Еще раз о формате Iceberg Занятие 6. Пайплайны и финальная Q&A-сессия Pipeline 1 - Airflow + DBT + PyIceberg over S3+Iceberg. Моделирование данных в SQL на DBT. Добавляем Pytnon - предикты ML. Pipeline 2 - Поддержка Iceberg Table. Собираем информацию для мониторинга. Запускаем процедуры поддержки по триггеру или порогу.Q&A. Вопросы и ответы по курсу и кейсам участников. Возможные дополнительные темы: другие реализации Lakehouse -- Duck Lake, Paimon, Apache Doris, движки DLH Compute: StarRocks, Clickhouse 25.x Iceberg Engine. Публичные примеры построения крупных Лейкхаусов в российских компаниях. Стриминг данных в Iceberg - Kafka. Spark, Spark Streaming. Формат Paimon - оптимизированный для стриминга. Time Travel в Iceberg. Какие бывают каталоги Iceberg и какой функционал они добавляют. Старт 16 апреля Повтор складчины