Kafka Advanced [IBS] [Вадим Заигрин]

Этот тренинг будет полезен слушателям, которые работают с Apache Kafka и хотят углубить свои знания и навыки в этой области. В рамках данного тренинга вы изучите различные аспекты Kafka, начиная с архитектуры и основных компонентов, таких как кластеры, брокеры и клиенты. Вы освоите концепцию топиков и разделов, а также настройку параметры производительности Kafka. Тренинг также включает модуль, посвященный устройству Producer и Consumer. Вы освоите внутреннее устройство Kafka Producer и Consumer, включая потоки, буферы и таймауты, а также узнаете о смещениях, группах получателей и методах сохранения смещений. Вы изучите Kafka Connect, инструмент для создания конвейеров данных, рассмотрите внутреннее устройство Kafka Connect, настройку и преобразованиях данных, примеры коннекторов. Другой важный модуль тренинга посвящен Kafka Streams – библиотеке для обработки и анализа данных в реальном времени. Вы изучите такие концепции, как сериализация, окна, агрегирование и сохранение состояния, познакомитесь с Processor API и научитесь использовать Kafka Streams для создания потоковых приложений. Тренинг завершается изучением ksqlDB – расширения Kafka, предоставляющего SQL-подобный интерфейс для работы с данными. В рамках данного модуля вы узнаете о потоках, таблицах, преобразованиях и непрерывных запросах в ksqlDB, а также ознакомитесь с методами развертывания кластера ksqlDB. В каждом модуле тренинга предусмотрено выполнение практических заданий, которые помогут освоить знания и решать реальные задачи, связанные с обработкой данных в реальном времени. Практика: запуск кластера, запись в и чтение сообщений из тем, работа с темами (вывод списка и описаний), работа с разделами (увеличиваем количество), изменение параметров тем, работа с сегментами (просмотр информации о сегментах, смещениях, записях), работа с репликами (проверка поведения при отказе брокера), тестирование производительности кластера. Модуль 2. Устройство Producer и Consumer (1,5 часа теории, 1,5 часа практики) Внутреннее устройство: потоки, буферы, таймауты Смещения, группы получателей Автоматическое и ручное сохранение смещений Перебалансировка группы Практика:изучение влияния параметров производителя на производительность при отправке сообщений, проверяем влияние параметров потребителя на производительность при чтении сообщений. Модуль 3. Надежная доставка (1,5 часа теории, 1,5 часа практики) Гарантии порядка сообщений Гарантии доставки at least once, exactly once Обработка ошибок и повторная передача Сбои сети, брокеров и клиентов Модуль 4. Kafka Connect (4 часа теории, 4 часа практики) Конвейеры данных Обзор Kafka Connect Внутреннее устройство Преобразования Запуск Kafka Connect Примеры коннекторов Разработка коннекторов Практика: работа с Kafka Connect — запуск разных сценариев интеграции с внешними системами. Модуль 5. Kafka Streams (4 часа теории, 4 часа практики) Источники и приемники Сериализация, SerDe, схемы сообщений Окна Преобразования Агрегирование Сохранение состояния Processor API Практика: разработка приложений Kafka Streams с использованием разных API. Модуль 6. ksqlDB (2 часа теории, 2 часа практики) Источники и приемники Потоки и таблицы Преобразования Непрерывные запросы Окна Агрегирование Развертывание кластера ksqlDB Практика: работа с ksqlDB — интеграция с Kafka Connect, преобразования сообщений, непрерывные запросы.