[МФТИ] Профессия Data Engineer (Гайк Инанц, Олег Ивченко)

​ Почему Data Engineering? Спрос Спрос на квалифицированных инженеров по обработке данных намного превышает предложение Работа удаленно Возможно работать как в офисе, так и удаленно Математический барьер Сильно ниже, чем в data science Data engineering – фундамент любой data-driven компании Зарплаты Одна из самых высоких заработных плат Востребованность в будущем Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством Чем занимается Data Engineer: собирает информацию о продукте и/или клиентах из разных источников сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше организовывает безопасное хранение данных, на основании которых принимаются взвешенные бизнес-решения и создаются конкурентоспособные продукты Для кого программа? Для аналитиков Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу Для начинающих IT-специалистов Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста Для практикующих разработчиков Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше Какие компетенции вы получите: Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере Пользоваться распределенной файловой системой Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать Курс: "Старт в Data Engineering" (3 месяца, 8 часов в неделю) Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL) Освоите инструменты: Git, SQL, базовый Python Научитесь работать с хранилищами данных (DWH) Курс: "Python: основы языка" (1 месяц, 8 часов в неделю) Освоите стартовые навыки программирования на языке Python Далее сможете изучать необходимые вам библиотеки Python в зависимости от выбранной области Курс: "Инструменты работы с большими данными" (2,5 месяца, 8 часов в неделю) Освоите самые популярные инструменты для работы с большими данными Apache Hadoop (HDFS, MapReduce, YARN) Apache Hive Apache Spark (в том числе технологии Streaming) Apache Kafka NoSQL в больших данных (Apache Cassandra, Apache HBase) В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда. Гайк Инанц 7 лет опыта работы в Big Data и разработки в веб на различных проектах (ВТБ, Райффайзен, Альфа). На данный момент работает над проектом Ингосстраха, Лаборатории Инноватики и школы Феникс по подготовке middle fullstack разработчиков. Преподает в МФТИ и израильской школе программирования HackerU Илья Склонин Преподаватель курса "Python: основы языка". МФТИ, аспирант кафедры информатики и вычислительной математики работал в команде компьютерного зрения TCS Group, преподаватель курсов "Программирование на Python" , "Основные алгоритмы" и "Алгебра логики, комбинаторики и теория графов" в МФТИ Олег Ивченко Преподаватель курса "Инструменты работы с большими данными" Разработчик системы HJudge - системы автоматизирванного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space Кто такой Data Engineer?​ Скрытый текст. Открывается зарегистрированным пользователям. ​