Курс Python: Промышленная разработка [2022] [bigdata team] [Алексей Драль]

Курс Python: Промышленная разработка [2022] bigdata team Алексей Драль Авторский курс Python от Алексея Драля для IT-специалистов. С нами вы научитесь писать чистый и поддерживаемый код как в лучших технологических компания. Почему мы сделали этот курс? Монолитный, неподдерживаемый код сложно тестировать, изменять, дебажить. Когда вы почти все свое время тратите на поддержку, а до релиза в прод проходит бесконечность ─ это признаки неподдерживаемого кода. Когда вы не можете воспроизвести результаты исследований своих коллег ─ это признаки неподдерживаемого кода. Когда вы не можете быстро проверить правильность факторов для модели машинного обучения ─ это признаки неподдерживаемого кода. Цель курса ─ научить вас писать код, который легко читать, тестировать, отлаживать, поддерживать и расширять. В этом смысл слов "промышленная разработка". Для кого этот курс 1. Разработчики Освоите лучшие практики разработки ПО, научитесь писать поддерживаемый код, прокачаете знания Python. Подойдет Junior и Middle разработчикам. 2. Аналитики Научитесь писать код, который позволяет воспроизводить результаты исследований и эффективно проверять гипотезы. 3. Data Scientists Научитесь писать код, готовый к интеграции в продукт или сервис. Часть 1 - Тестирование приложений, консольные приложения, юникод и кодировки Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive. 1.1 Тестирование приложений Что такое TDD и как правильно делать рефакторинг. Пишем юнит-тесты с помощью pytest и PDB. Что такое DevOps и как помогает жизни CI/CD. 1.2 Консольные приложения (argparse) Изменяем аргументы командной строки (CLI), а не код. Разбираем аргументы консольного приложения с помощью argparse. Следим за качеством кода с помощью pylint, покрытием кода тестами pytest-cov и скоростью выполнения тестов. Как правильно создать логику callback-вызовов в зависимости от аргументов командной строки и причем здесь open-closed principle. 1.3 Юникод, введение в логирование Что такое Unicode, character и code point. Познаем разницу между bytes и Unicode. Расширяем консольное приложение для работы с кодировками UTF-8, koi8-r. Учим изменять кодировку стандартных потоков входа (STDIN) и выхода (STDOUT). ​ Часть 2 - Логирование, Mock внешних зависимостей, автоматизация работы с Web Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц. 2.1 Логирование в Python, YAML Знакомимся с особенностями реализации logging в Python. Настраиваем логирование с помощью YAML-конфига. Изучаем поведение различных уровней логирования. Тестируем реализацию с помощью caplog fixture в pytest. 2.2 Mock внешних зависимостей Изучаем patch и Mock. Изменяем поведение тяжеловесных функций или внешних вызовов на примере sleep в тестах. Познаем контекст вызова для правильной реализации patch / mock. 2.3 Автоматизация работы с Web Знакомимся (или вспоминаем) Web под капотом (HTTP, HTML, OSI Model). Автоматизируем поиск / мониторинг внешних сервисов с помощью библиотеки requests. Вычленяем нужную информацию из HTML с помощью lxml, XPath и BeautifulSoup. ​ Часть 3 - Паттерны проектирования, Web-сервис, мониторинг приложений Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать. 3.1 Паттерны проектирования Введение в паттерны проектирования (Design Patterns). Порождающие паттерны (Creational) на примере Factory Method и Abstract Factory. Поведенческие паттерны (Behavioral) на примере Strategy. Структурные паттерны (Structural) на примере Composite. Задание на декоратор (Decorator). 3.2 Пишем Web-сервис с нуля Flask, werkzeug и Jinja2. Познаем что такое wsgi, почему Flask в чистом виде не катит для production. Тестирование и разработка Flask-приложений через TDD-парадигму. Flask json API, templates и static. 3.3 Мониторинг приложений Масштабируем приложение на примере gunicorn и Nginx. Создаем поддерживаемые Web-сервисы и настраиваем мониторинг на примере Graphite и Grafana. ​