[Школа Больших Данных] KAFKA: Курс Администрирование кластера Kafka

​ Программа курса Администрирование кластера Kafka 1. Введение в Kafka Что такое Apache Kafka? Сценарии использования Kafka Компоненты Kafka и Kafka экосистемы Архитектура Kafka Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500) 2. Основные концепции Kafka Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных. Брокеры (Brokers): Развертывание. Конфигурация Multibroker Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers. Потребители данных (Consumers): Очереди Consumers. 3. Установка кластера Apache Kafka Требования по установке кластера Kafka Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка кластера Kafka без использования Zookeeper KIP-500 Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka. Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka. Конфигурация Listeners. Отказоустойчивость кластера Kafka. Установка кластера Kafka на Yandex Cloud 4. Базовые операции в Apache Kafka Операции с Топиками (Topic) Публикация данных с консольного Producer Получение данных с консольного Consumer Пользовательские интерфейсы для работы с Kafka 5. Оптимизация кластера Apache Kafka Оптимизация производительности компонент кластера Масштабирование кластера Балансировка разделов(partition) и использование Partition Reassignment Tools Best Practices Kafka/Confluent Мониторинг кластера Kafka Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana 6. Интеграция с Apache Kafka (обзорно) Использование Apache NiFi Интеграция Apache Hadoop с Kafka Сценарии интеграции с Apache Kafka 7. Расширенная конфигурация кластера Kafka Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков. Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах. Confluent REST Proxy. Confluent Schema Registry (обзорно) Репликация кластера с использованием Mirror Maker 2 8. Безопасность в Kafka Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и клиентов Аутентификация SSL/SASL Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos Авторизация в Kafka Управление списками управления доступом (ACL) Продолжительность: 3 дня, 24 академических часа. Соотношение теории к практике 50/50 Курс предназначен для специалистов, которые хотят изучить: методы администрирования и настройки кластера Apache Kafka; настройку безопасности Kafka с SSL и Kerberos; примеры интеграции; мониторинг и оптимизацию кластера Apache Kafka с использованием практических примеров; практику развертывания кластера Kafka в облаке Yandex; особенности использования Yandex Manager Service для Apache Kafka Предварительная подготовка Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)