Trino и Presto для дата-инженеров

Как стать Senior Data Engineer за 3 года и не сойти с ума? Меня зовут Дима. Я Senior Data Engineer в Сбере. Мой путь включает шесть лет фундаментального образования на ПМИ в НИЯУ МИФИ, стажировку в «Гринатоме» и рост от начинающего инженера до работы с архитектурой высоконагруженных платформ данных. Курс входит в образовательную линейку Telegram-канала «Логово Дата-Инженера». В канале выходят hard-skill материалы, live-собеседования, архитектурные разборы и практические карты роста от junior до senior. О курсе Trino и Presto для дата-инженеров — Курс учит строить и эксплуатировать платформу интерактивной аналитики поверх разнородных источников. SQL связывается с физическим планом, обменами данных, стоимостью JOIN, ресурсами кластера и устройством lakehouse. Технологическая база: Trino 482 (основная платформа), PrestoDB 0.298 (сравнение), Java 23, Docker Compose. Кому подойдёт дата-инженеры, строящие lakehouse и федеративную аналитику SQL- и BI-разработчики, которым нужно понимать распределённое выполнение запросов платформенные инженеры, отвечающие за Trino, Presto, S3 и Kubernetes архитекторы данных, выбирающие движок для cloud или on-prem аналитики Чему вы научитесь писать Trino SQL для структурных и полуструктурированных данных подключать PostgreSQL, Hive, S3, Iceberg и Delta Lake через коннекторы читать distributed query plan, stages, tasks, splits и exchanges оптимизировать JOIN, dynamic filtering, статистику, spill, skew и compaction настраивать безопасность, resource groups, мониторинг и отказоустойчивость проектировать production-кластер и обосновывать выбор Trino или PrestoDB Как построена программа SQL и модель Trino: CLI, каталоги, схемы, типы, JSON, агрегации и соединения. Федерация и lakehouse: PostgreSQL, S3, Hive, Parquet, Iceberg и Delta Lake. Внутреннее устройство: coordinator, workers, stages, tasks, splits и exchanges. Production-эксплуатация: оптимизация, observability, security, resource groups и Kubernetes. System Design и проект: PrestoDB, мультикластер, SLO, DR и защита аналитической платформы. Формат обучения В курсе 22 модуля и 155 уроков. Каждый урок содержит подробное объяснение, небольшие нарастающие примеры, проверку понимания и практические задачи. Решения практики доступны для разбора после самостоятельной попытки. Всего внутри 666 тестовых вопросов и 468 практических задач. Ориентировочная нагрузка: 110-170 часов. Курс рассчитан на самостоятельный темп без обязательных дедлайнов. Итоговый проект Production-платформа Trino: федеративные источники, Iceberg-слой в object storage, оптимизированные запросы, разграничение доступа, resource groups, метрики, SLO и сценарий восстановления. Что потребуется на старте уверенное владение базовым SQL: SELECT, JOIN, GROUP BY и оконные функции Docker Compose, терминал и базовое понимание баз данных и object storage Java и Kubernetes полезны для production-модулей, но обязательного опыта не требуется Как получить максимум пользы Запускайте примеры и меняйте входные данные, а не ограничивайтесь чтением. Сначала отвечайте на тест и решайте задачу самостоятельно, затем сверяйтесь с разбором. Ведите журнал ошибок, решений и технических компромиссов. Собирайте упражнения в отдельный репозиторий и регулярно возвращайтесь к старым задачам. Связывайте каждый инструмент с проблемой, которую он решает в реальной системе. Результат прохождения Вы сможете развернуть и сопровождать Trino-кластер, диагностировать дорогие запросы и проектировать аналитическую платформу с проверяемыми SLO. Telegram: Логово Дата-Инженера В Telegram-канале автора публикуются материалы по Rust, Java, Python, Go, SQL, pandas, Polars, Scala, Spark, Flink, Kafka, Hadoop, Airflow, DWH, Trino, ClickHouse, S3, файловым форматам, Docker/Kubernetes, разборы собеседований и архитектура Enterprise-проектов. Подписка поможет дополнять последовательную программу курса живыми кейсами из профессии.