«Мини-практикум KAFKA [Rebrain]» [А. Калакин, Н. Макаров, М. Сухов]

Мини-практикум KAFKA [Rebrain] [А. Калакин, Н. Макаров, М. Сухов]​ Apache Kafka представляет собой распределенный программный брокер сообщений, который используется для управления очередями и отслеживания больших потоков данных. Сегодня Kafka служит стандартом индустрии в качестве брокера сообщений, с более чем 80% компаний из списка Fortune 100, которые его используют. Модуль 1. Обзор инфраструктуры: Понятия "очередь сообщений" и "журнал сообщений" Значение брокера сообщений Альтернативы и дистрибутивы Kafka Архитектура Kafka Установка Kafka и основные настройки Интерфейс WebUI и документация Работа с ZooKeeper и KRaft Настройка аутентификации и авторизации с использованием GSSAPI и Kerberos Мониторинг Kafka: ключевые метрики Настройка мониторинга Kafka с использованием Prometheus & JMX Exporter Обеспечение отказоустойчивости Kafka Сценарии поведения при сбоях broker/consumer/producer Управление железом в защищенном кластере: расчет необходимых ресурсов (CPU, Network, HDD, RAM) для кластера Модуль 2. Разработка: Конфигурирование Producer Producer API Методы send(), ack и callback-отправки Синхронная и асинхронная отправка сообщений Введение в сериализаторы Настройка Consumer Consumer API Настройка аутентификации и авторизации с помощью GSSAPI и Kerberos Использование Apache Avro Schema Registry для проверки структуры сообщений Эвент-драйвенная архитектура и ее применение Репликация в Kafka Партицирование данных Контроллеры и лидеры в Kafka Работа с несколькими consumer/producer на одном топике Гарантия доставки в Kafka и способы ее обеспечения Время хранения данных (Retention) Понятие Kafka Connect и его применение Примеры использования Connect Типы коннекторов Kafka Streams: назначение и польза для архитектуры Что такое Processor и как его применять Обзор KSQL и KSQLdb, основы работы с ними Программа обучения охватывает все ключевые зоны работы с Kafka и нацелена на следующее: Установка и настройка Apache Kafka Выбор и настройка интерфейса WebUI для достижения желаемых результатов Настройка мониторинга с помощью prometheus & jmx exporter Настройка безопасного, отказоустойчивого multi-broker кластера Создание и настройка продюсеров и консьюмеров Проверка структуры данных через Schema registry Обеспечение доставки данных Настройка и использование Kafka connect и Kafka streams Курс разработан для начинающих и средних разработчиков, желающих освоить Apache Kafka и углубить свои знания в нем. Для успешного обучения необходимо: Владеть хотя бы одним программным языком (желательно Java или Python) Понимать основы асинхронных вычислений и общие форматы данных Иметь базовые знания о сетях Ссылка на регистрацию приложена.