«Observability: мониторинг, логирование, трейсинг [2024] [OTUS]» [Сергей Бывшев, Владимир Дроздецкий, Виталий Куценко, Евгений Павлов]

Observability: мониторинг, логирование, трейсинг [2024] OTUS Сергей Бывшев, Владимир Дроздецкий, Виталий Куценко, Евгений Павлов Best Practice по мониторингу инфраструктуры и отдельных её компонентов: приложения, баз данных, etc. Никакого хаоса и бессвязных метрик. После курса вы сможете правильно строить системы мониторинга и логирования, что позволит более точно понимать текущее состояние всех систем и быстрее реагировать на инциденты. Для кого этот курс: Вам подойдет курс, если вы Администратор Linux, DevOps-инженер, разработчик и вам необходимо настроить мониторинг, логирование и трейсинг с помощью Prometheus, Grafana, ELK, Tempo. Вы научитесь: 1. Строить сложные эффективные системы мониторинга и логирования инфраструктуры и приложений; 2. Следить за работой большого количества серверов и работать в связке c Prometheus, Grafana, ELK, etc; 3. Обеспечивать визуализацию метрик и настраивать оповещения о критически важных событиях; ​ Модуль 2 - GAP-stack (Grafana, Prometheus, Alertmanager) Рассмотрим основу Gap-стека. Поговорим об устройстве и принципах работы Prometheus, о том как он собирает метрики и хранит их. Разберем основы работы с PromQl. Рассмотрим Alertmanager, обсудим его устройство и то как он работает с алертами. Научимся визуализировать метрики с помощью дашбордов в Grafana Тема 1: Prometheus - как новый виток развития систем мониторинга // ДЗ Тема 2: Prometheus - Exporters, Service Discovery // ДЗ #1 Тема 3: Grafana - основной инструмент визуализациии данных Тема 4: Отказоустойчивость Prometheus, хранилища метрик для Prometheus (Thanos, VictoriaMetrics, Mimir) // ДЗ #2 Тема 5: Prometheus, Alertmanager - работа с метриками (PromQL), написание алертов и их ротация // ДЗ #3 Тема 6: Grafana - продвинутое использование // ДЗ #4 Тема 7: Kube-prometheus-stack - мониторинг Kubernetes при помощи Prometheus operator Тема 8: Q&A сессия по разбору домашних заданий ​ Модуль 3 - Zabbix В данном модуле рассмотрим работу с Zabbix. Его устройство, как собираются и хранятся метрики. Рассмотрим как создаются алерты и графики по метрикам Тема 1: Установка и конфигурация Тема 2: Мониторинг порталов и баз данных Тема 3: Настройка алертинга // ДЗ #5 Тема 4: Discovery Trapper Тема 5: Графики и комплексные экраны. Q&A по модулю zabbix ​ Модуль 4 - Система перехвата ошибок Sentry В данном модуле рассмотрим способы применения, разберем как устроена система и научимся отправлять события в Sentry, а также работать с ними Тема 1: Sentry ​ Модуль 5 - TICK стек В данном модуле мы рассмотрим набор open source инструментов которые являются составными частями системы сбора, хранения и визуализации временных рядом Тема 1: Telegraf Тема 2: Хранение временных рядов с InfluxDB Тема 3: Chronograf как инструмент визуализации метрик Тема 4: Алертинг с Kapacitor ​ Модуль 6 - Логирование В данном модуле разберем какие способы логирования существуют Тема 1: Классическое логирование в Linux Тема 2: Централизованные системы логирования ​ Модуль 7 - Elastic stack В данном модуле: - Рассморим устройство стека и его задачи - подробно рассмотрим компоненты стека по отдельности. Тема 1: Построение системы централизованного логирования на основе Elasticsearch, Logstash, Kibana, Beats. Введение в Elasticsearch Тема 2: Elasticsearch Тема 3: Beats - инструменты доставки данных // ДЗ #6 Тема 4: Logstash Тема 5: Vector как альтернатива Logstash // ДЗ #7 Тема 6: Kibana как инструмент визуализации логов Тема 7: Q&A сессия по разбору домашних заданий ​ Модуль 8 - Системы централизованного логирования Бесплатный форк Elastic stack от Amazon - Opensource систему централизованного локирования Graylog. Рассмотрим роль Apache Kafka как очереди сообщений в схемах систем логирования Тема 1: Grafana Loki - управление логами и доставка // ДЗ #8 Тема 2: Opensearch // ДЗ #9 Тема 3: Graylog Тема 4: Apache Kafka в логировании ​ Модуль 9 - Системы распределенного трейсинга Разберем систему хранения трейсов Tempo - Подробно рассмотрим систему распределенного трейсинга Zipkin Тема 1: Tempo(Jaeger) - построение систем распределенного трейсинга Тема 2: Zipkin ​ Модуль 10 - Бизнес процессы в observability Разберем процессы связанные с observability в компаниях. Реагирование на инциденты, on-call, написание постмортемов и т.д. Тема 1: Incident management ​ Модуль 11 - Итоговый проект Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей. Тема 1: Консультация по проектам и домашним заданиям Тема 2: Итоговый проект​