Data-инженер [2022] [Слёрм] [Анастасия Сафонова]

Data-инженер [2022] Слёрм Slurm Анастасия Сафонова Научитесь собирать и обрабатывать данные. Сможете претендовать на позицию Data-инженера. Получите навыки проектирования хранилищ и работы с инфраструктурой. Кому подойдёт курс: 1. Системным и сетевым администраторам Научитесь проектировать, разрабатывать и поддерживать архитектуру для работы с большими данными. Освоите основные инструменты Data-инженеров и сможете внедрять принятые решения в production.​ 2. Backend-разработчикам Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников и выполнять интересные задачи. Сможете увеличить доход и повысить свою ценность для компании.​ Пройдя курс, вы: 1. Научитесь проектировать архитектуру хранилищ данных под разные задачи и условия. Узнаете основные принципы построения систем потоковой аналитики. Получите представление о существующих облачных и on-premise решениях. 2. Научитесь проводить обследование перед стартом нового проекта и определять «информационную зрелость» заказчика. Поймёте, что нужно знать перед проектированием архитектуры хранилища данных в новом проекте. 3. Получите базовые знания Apache Spark для Data-инженера. Научитесь использовать DataFrame API и Spark Streaming API для исследования, извлечения, преобразования и хранения данных. 4. Научитесь создавать пайплайны обработки данных с использованием opensource ETL-инструментов. Научитесь работать с основными инструментами Data-инженера. 5. Узнаете принцип работы технологий, упрощающих жизнь DE при работе с RDBMS. Научитесь оптимизировать запросы под нужды дата-инженера. 6. Узнаете принципы работы и применимость разных видов NOSQL БД. Научитесь работать с колоночными БД на примере HDFS. 7. Научитесь проектировать хранилища данных в условиях изменчивости первичных данных. 8. Научитесь оценивать качество данных и узнаете способы устранения проблем с data quality. 9. Научитесь работать с базовыми инструментами получения данных от граничных устройств в облако. Модуль 1 - Инженерия данных Научим проектировать архитектуру хранилищ данных, поможем освоить инструменты Data-инженера, расскажем о принципах подготовки проекта к запуску и не только. Урок: Экосистема и роль инженерии данных Что такое инженерия данных, кто такой дата инженер. Какие проблемы решает, роль в команде, почему DSов часто недостаточно для успешного проекта. Обязанности и навыки дата инженера Обзор экосистемы инженерии данных: типы и структуры данных, форматы файлов, источники данных, используемые языки Урок: Архитектура хранилищ данных Традиционная архитектура хранилищ данных Облачные хранилища Озёра данных, витрины данных, хранилища данных - что это и чем отличаются Что такое ETL, ELT. Обзор ETL-инструментов. Загрузчики данных, шины обмена данными Урок: Реляционные базы данных Реляционная модель данных Принципы ACID SQL. Оптимизация запросов для нужд data engineer'а Индексирование Партицирование, шардирование. Что это и зачем нужно Доступ к данным с помощью ORM Хранимые процедуры, триггеры Транзакционное логирование: что это и зачем нужно. Механизмы CDC Способы и инструменты исследования БД Урок: NOSQL базы данных Колоночные хранилища Графовые базы данных Документоориентированные хранилища Хранилища ключ-значения Time-Series DB" Урок: Распределенные файловые системы Hadoop - обзор Технология Map-Reduce Урок: Загрузчики данных NiFi - знакомство и практические задачи Урок: Оркестраторы данных Airflow - знакомство и практические задачи Урок: Шины данных Kafka - знакомство и практические задачи Урок: Принципы построения систем потоковой аналитики Батчинг, стриминг Урок: Spark for Data Engineering Что такое Spark и зачем он нужен DE DataFrames: Spark SQL, Reader & Writer, DataFrame & Column Преобразования: Aggregations, Datetime, Strings & Collections, Non-Aggregate & Na Functions, UDF Партицирование, репартицирование Spark Streaming Урок: Предпроектное обследование Как провести предпроектное обследование Типовые вопросы для оценки «информационной зрелости» заказчика ​ Модуль 2 - Аналитический модуль Научим проектировать хранилища данных и оценивать data quality. Урок: Изменчивые данные и как с этим жить Поддержка консистентности данных. Жизненный цикл данных Урок: Оценка качества данных Типы проблем КД, их причины и способы решения Урок: «Тёмные» данные О том, как данные врут и что с этим делать ​ Модуль 3 - DE & IoT модуль Научим организовывать передачу данных от устройств в облако. Урок: Data Engineering и IoT MQTT и другие IoT-протоколы передачи данных от граничного устройства в облако Инструменты сбора данных от IoT-устройств: RabbitMQ, mosquitto ​