«Apache Kafka База (обновленный) [Слёрм]» [Всеволод Севостьянов, Александр Миронов, Анатолий Солдатов]

​ Преимущества курса: ✓ Методология Слёрм Мы расскажем об Apache Kafka в простой и последовательной форме, вам не придется изучать сложную документацию. ✓ Работа на результат Техподдержка поможет каждому студенту справиться с практическими заданиями и добиться поставленных целей. ✓ Курс на русском языке Практический курс по Apache Kafka на русском языке, вам будет проще усвоить материал, задавать вопросы и общаться с коллегами. ✓ Практикующие эксперты Вы будете учиться у специалистов, которые уже несколько лет работают с Apache Kafka, знают о важных нюансах и будут делиться своим опытом с вами. Необходимые знания: а) Базовые знания и навыки работы с Git и Docker - клонирование репозитория, добавление в него файла, commit, push. - сборка docker-образов и запуск контейнеров из них. б) Хорошее знание Linux - умение работать с systemd, sudo, ip, ifconfig, cron; - знание bash на уровне написания (минимум чтения) скриптов; - умение работать с консолью (автокомплит, хистори и т.д.); - знание основных утилит в линукс (ps, grep, cat, free и т.д.). Курс состоит из бесплатной части (вводная, для ознакомления) и платной (основная часть)!!! Бесплатный блок (Курс будет доступен в личном кабинете EDU.SLURM.IO после регистрации): 1. Введение Немного истории: почему лог и стриминг важны, и занимают значительное место в бизнес процессах компаний. 2. Базовые основы технологии Место Кафки в жизни корпорации. Сравнения с подобными технологиями. Базовые примитивы: брокеры, топики, партиции, оффсеты, retention - обзор экосистемы (коннекторы, фреймворки). 3. Installation & single broker cluster Создание и конфигурация топиков - первая запись и первое чтение (из консоли и клиентом). Zookeeper (basic knowledge). Программа основного/платного курса: №1: Distributed Cluster Конфигурационные параметры кластера. Отказоустойчивость (replication, RF, ISR, leader election). Контроллер - multi-DC setup: rack-awareness (MirrorMaker 2.0, uReplicator) - примеры архитектур. №2: Клиенты Producer (lingering, batching, acks). Consumer (standalone, consumer group). Как (не) потерять данные: strong consistency vs. availability (acks, jepsen). Idempotence & transactions. №3: Мониторинг Key metrics. Key alerts. SLI & SLO for streaming infrastructure. №4: Performance analysis & tuning Benchmarking. Изменение конфигурационных параметров и их оптимизация. №5: Обслуживание сервера и траблшутинг Балансировщик: partition assignment & repartitioning (hotspots, throttling, tools). Upgrades & downgrades. Чтение логов. Продвинутые инструменты (decoding __consumer_offsets, dumping binary blobs, forcing controller re-election, zookeeper data). Примеры из практики, real-life кейсы.