Мини-практикум Kafka [Rebrain] [Алексей Калакин, Николай Макаров, Матвей Сухов]

Apache Kafka – распределенный программный брокер сообщений для организации очередей в целях отслеживания больших потоков входных данных. На сегодняшний день Apache Kafka является стандартом индустрии в качестве брокера сообщений. Более 80 % компаний из Fortune 100 используют Kafka. Кому подходит: Разработчики Системные аналитики Архитекторы SRE

Apache Kafka – это программный брокер сообщений, обеспечивающий распределение в целях управления большими данными. В настоящее время Apache Kafka служит отраслевым стандартом в роли брокера сообщений. Примерно 80 % компаний из списка Fortune 100 применяют Kafka. Целевая аудитория: Разработчики Системные аналитики Архитекторы SRE Курс Модуль 1. Инфраструктура: Основы очереди сообщений и журнала сообщений Назначение брокера сообщений Обзор альтернатив Kafka и версий Kafka Структура Kafka Установка Kafka Основная конфигурация Обзор WebUI Просмотр документации Настройка с помощью ZooKeeper Настройка с использованием KRaft Введение в аутентификацию и авторизацию через GSSAPI + Kerberos Мониторинг Kafka: показатели Реализация мониторинга Kafka на основе Prometheus & JMX Exporter Обеспечение отказоустойчивости Kafka Поведение при сбое: брокер, потребитель, производитель Защита кластера: как расчет необходимой мощности (CPU, Network, HDD, RAM) для кластера Модуль 2. Разработка: Настройка Producer Обзор API продюсера send(), ack и callback-отправки Синхронная и асинхронная отправка Процесс транзакций Producer Введение в сериализаторы Конфигурация Consumer Offset и Commit Разделы API Консьюмера Аутентификация и авторизация через GSSAPI + Kerberos Apache Avro Schema Registry: валидация структуры сообщений Пример Event-driven архитектуры Репликация в Kafka Партицирование Контроллеры и лидеры Работа с множественными consumer/producer на одном топике Гарантии доставки в Kafka и их выполнение Retention Описание Kafka Connect и его назначение Примеры использования Connect Виды коннекторов Kafka Streams: необходимость и упрощение архитектуры Processor: введение и подключение KSQL и KSQLdb: основы работы Курс охватывает все ключевые аспекты работы с Kafka. Вы научитесь: Устанавливать и настраивать Apache Kafka Выбирать и адаптировать WebUI интерфейс для нужных результатов Мониторить данные с помощью prometheus & jmx exporter Настроить защищенный отказоустойчивый кластер с несколькими брокерами Создавать и конфигурировать продюсеры и консьюмеры Валидировать структуру данных через Schema registry Обеспечивать доставку данных с гарантией Настроить и использовать Kafka connect и Kafka streams Практический курс предназначен для разработчиков среднего и начинающего уровня, желающих ознакомиться и углубить свои знания в работе с инструментом Apache Kafka. Требования к слушателям: Уверенное владение любым языком программирования (желательно Java, Python) Базовые знания об асинхронных вычислениях, распространенных форматах данных Начальное понимание сетей Купить по скрытой ссылке