«PRAR: Практическая архитектура данных [bigdataschool]» [Школа больших данных]

PRAR: Практическая архитектура данных [bigdataschool] [Школа больших данных] Классические методы, современные подходы и лучшие практики архитектуры и интеграции данных для проектных команд. На примерах платформенных решений, корпоративных фабрик данных, микросервисов и веб-приложений. О продукте: Архитектура данных (Data Architecture) — это совокупность моделей и стандартов для всех систем данных, а также правил взаимодействия между ними. Архитектура данных определяет данные вместе со схемами, интеграцией, преобразованиями, хранением и рабочими процессами, необходимыми для решения бизнес-задач. Надежная архитектура данных полностью отвечает требованиям компании и соответствует ее бизнес-стратегиями. Она определяет, как данные появляются, собираются, интегрируются, улучшаются, хранятся и доставляются пользователям для принятия бизнес-решений и выполнения операционных задач. Архитектура данных является одним из доменов архитектуры предприятия и необходима для реализации data-driven управления. Наличие продуманной, сбалансированной и эффективной для конкретно вашей компании архитектуры данных необходимо для проектов цифровизации и внедрения технологий Big Data. Как спроектировать и реализовать такую надежную дата-архитектуру, используя лучшие практики российских и зарубежных коллег, вы узнаете на нашем курсе PRAR «Практическая архитектура данных». Аудитория: Практический курс по архитектуре данных предназначен для ИТ-архитекторов, участников Е2Е команд, разработчиков фронтальных систем и микросервисов, дата-инженеров и SQL-программистов, а также корпоративных, системных и бизнес-архитекторов, архитекторов решений и данных, владельцев продуктов, менеджеров проектов и Q&A-инженеров. О курсе: Цель курса: формирование высокоэффективных производственных процессов через практическое применение кросс-доменных концепций на современном технологическом стеке, повышение качества и увеличение производственного потенциала, как решающих факторов интенсивного развития и удовлетворения потребностей бизнеса в целом. Программа курса «Практическая архитектура данных» 1. Обзор классической и современной корпоративной архитектуры, исторические предпосылки развития инструментов разработки Теория – основные проблемы вертикального масштабирования систем (EJB, Ц(К)ХД, λ) Теория – развитие подходов и тенденций разработки (modern, rapid, reactive) 2. Хранилища. Обзор, проблемы, перспективы Теория – обзор по проблемам и оптимизации РСУБД, реверс и интеграция данных, работа с ORM и без NoSQL. Современные решения Scylla, Cassandra, Aerospike, Snowflake Теория – обзор по проблемам и оптимизации NoSQL, основные принципы проектирования, избыточность, рэнджи, надгробия, ограничения open-source решений Поисковые системы. ES, Solr, Lucene. Теория – обзор по проблемам и оптимизации, проектирование коллекций различных типов, словари, аналайзеры, токенайзеры Хранилища неструктурированных данных HDFS, S3 Теория – основные проблемы и стратегии использования Интеграция данных на системном уровне Теория – хэндлеры импортаэкспорта, вторичные индексы, дампы и координированные репликаты, первичные заливки, валидация, датафлоу Интеграция данных на прикладном уровне Теория – классические ETL-инструменты и кодогенерация (DataStage, SAS DI, Talend, Informatica), потоковая обработка на Spark (Streaming)Kafka 3. Введение в архитектуру данных Трехуровневая архитектура данных Проектирование от БД Проектирование от UI Проектирование от API Low-codeZero-code и проектирование в ширину Рефакторинг моделей данных Интеграционное тестирование данных Платформенная архитектура данных Введение в основные модули Базовые стратегии развития платформ обработки данных Рефакторинг платформенных компонентов МДМ системы Классические МДМ системы (прямыеобратные потоки, смежные системы, событияНСИ, корректировки) Интеграция МДМ системы (Очереди, БД, пакетные интерфейсы обработки) Миграция МДМ систем (разбор проблем и задач) МДМ, как основа платформы данных Комбинированные типы хранилищ и базовые интерфейсы интеграции Технологии кодогенерации Платформенные, базовые и прикладные сервисы Актуальные проблемы и задачи Практика – анализ схем БД, разбор архитектуры данных в разрезе планов запросов и гибкости расширения моделей 4. Экспериментальная архитектура данных Всё — граф. Кросс-доменная архитектура данных События и деконцептуализация времени Дискретная геометрия и реентерабельность данных кода 5. Проектирование, худшие практики БД (Очереди, вложенность, триггеры, реорги, кубы) Спагетти-сервисы (топологии, парсинг событий, параметризация) Моки и покрытие тестами (производственные конвейеры, CICD) Диффузия моделей и кода Масштабирование производства (экосистема, платформа-сервисы, ядро-приклад) Практика – Заполнение карт лабораторного анализа для выявления и регистрации значений показателей качества текущей проектной деятельности и архитектурных решений, для проведения ретроспективного анализа с целью сравнения планового достигнутого результата реализации и актуализации методических рекомендаций по дорожной карте проекта. (грумминг проектов участников курса). Чему Вы научитесь: приобретете базовые знания, необходимые для реструктуризации и рефакторинга кодовой базы, хранилищ, моделей и интерфейсов интеграции данных; сможете определять пути, средства и методы оздоровления и контроля в условиях нестабильного функционирования отставания крупных систем; научитесь выбирать и использовать инструменты, способствующие ускорению бизнеса и внедрению инструментов повышения качества продуктов, технологий, производства, логистики и персонала. Что Вы получите: Окончив курс «Практическая архитектура данных» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите удостоверение установленного образца, которое может засчитываться в качестве свидетельства о повышении квалификации. Кто проводит курс Королев Михаил МГУ им. М.В. Ломоносова (Москва, 1992) Профессиональные компетенции: Сертифицированный разработчик Spark и Hadoop (CCA Cloudera) Сертифицированный разработчик (Cloudera Certified Professional Data Engineer) Построение корпоративных хранилищ и озер данных (Cloudera CDH, Hadoop) Организация ETL-конвейеров (ApacheAirflow, Spark, Apache Livy) Поддержка инфраструктуры больших данных (Apache Hive,HBase, Kafka,Elasticsearch) Руководитель проектов с корпоративными данными Ведущий Data Engineer АО “Альфастрахование”, Москва