[Udemy] Парсинг и анализ данных на Python: от азов до автоматизации

​ Парсинг и анализ данных на Python: от азов до автоматизации. Научимся работать с pandas, импортировать и майнить данные из Сети, строить графики и картограммы, создавать отчеты. Язык: Русский Лекций: 48 Продолжительность: 8 часов Чему вы научитесь Работа с данными с помощью pandas и numpy Получение наборов данных из множества источников Преобразование данных и предсказание последовательностей Работа с HTTP, JSON, API, SOAP Парсинг и скрепинг HTML сайтов Визуализация данных: тренды и зависимости Гео-данные м фоновые картограммы Генерация PDF отчетов HTML документы и шаблонизация Отправка email и автоматизация работы Центр digital-профессий ITtensive предлагает персонализированные программы с индивидуальными наставниками для освоения актуальных профессий будущего: аналитик данных на Python и программист больших данных. Курс состоит из 4 больших частей. Вы сможете самостоятельно загружать данные в формате CSV, TSV, Excel, извлекать из них значения, находить взаимосвязи между разными наборами данных, преобразовывать и усекать наборы данных. В заключении вы освоите математический аппарат линейной регрессии для поиска линейной связи между данными и эффективно примените его для предсказания значений в будущем. 2. Парсинг данных Вы изучите получение данных в Python, используя библиотеку requests API и форматы JSON и XML (включая SOAP). Научитесь работать с неструктурированными данными в HTML, собирать их и преобразовывать в фреймы данных. Научитесь собирать данные целиком с сайта в несколько потоков: создадим мультипроцессного робота-паука. В завершении установите SQLite и загрузите все собранные данные в базу, а также научитесь выбирать из базы данных непосредственно в фреймы данных. 3. Визуализация данных Вы изучите анатомию matplotlib и типы визуализации различных данных: линии, области, столбцы, круговые диаграммы. Научитесь визуализировать зависимости между данными и линейную регрессию с помощью seaborn: построите ящичковые и парные диаграммы, диаграммы распределения. Изучите визуализацию временных (хронологических) данных: ряды, скользящие средние, отклонения и "японские свечи". В завершении разберете работу с гео-данными и построение фоновых картограмм по нескольким наборам данных, используя geopandas. 4. Генерация отчетов и автоматизация В этом курсе вы научитесь создавать и преобразовывать PDF документы, генерировать их из HTML кода, используя шаблонизатор, отправлять отчеты по e-mail и автоматизировать работу. В курсе используются библиотеки reportlab, pypdf2, pdfkit, jinja2, smtplib, email, binascii, io, а также бинарный файл wkhtmltopdf. Решаем задачи по созданию PDF документа через холст, разбору PDF документа, объединению PDF документов, созданию HTML и PDF документов из HTML, шаблонизации HTML через jinja2, преобразованию бинарных данных в base64-кодировку. В заключении разберем отправку e-mail, включая HTML-письма и вложенные PDF отчеты. Для кого этот курс: Начинающие разработчики Python с интересом к анализу данных Веб-программисты, изучающие Python для получения и разбора данных Менеджеры, планирующие использовать Python для автоматизации работы Содержание складчины (файлы и папки) 01 numpy и pandas 001 Работа с numpy.mp4 [24m 905k 187] 002 Фреймы данных.mp4 [44m 219k 187] 003 Получение данных из Excel.mp4 [36m 927k 983] 02 Индексы и объединение фреймов 004 Индексы данных.mp4 [50m 675k 560] 005 Мультиндексы.mp4 [77m 706k 421] 006 Объединение фреймов.mp4 [30m 290k 248] 03 Фильтрация и изменение данных 007 Фильтрация данных.mp4 [68m 945k 191] 008 Изменение фреймов.mp4 [59m 394k 177] 009 Лямбда-функции.mp4 [77m 499k 475] 04 Линейная регрессия 010 Группировка данных.mp4 [67m 38k 550] 011 Очистка и фильтрация групп.mp4 [78m 881k 499] 012 Линейная регрессия.mp4 [78m 487k 221] 05 Импорт данных 013 HTTP запросы_ JSON и API.mp4 [30m 127k 915] 014 HTTP запросы с параметрами.mp4 [48m 827k 652] 015 Работа с SOAP.mp4 [45m 240k 606] 06 Парсинг данных 016 Получение данных из HTML.mp4 [107m 711k 694] 017 Получение табличных данных.mp4 [65m 148k 643] 018 Парсинг данных.mp4 [46m 715k 800] 07 Веб-скрепинг 019 Обход сайта по страницам.mp4 [105m 389k 178] 020 Мультипроцессность.mp4 [81m 345k 246] 021 Этика парсинга.mp4 [57m 555k 251] 08 Работа с SQL 022 Установка SQLite и создание базы.mp4 [25m 969k 420] 023 Создание таблиц и загрузка данных.mp4 [57m 516k 922] 024 Сохранение результатов.mp4 [85m 669k 728] 09 Основы Matplotlib 025 Анатомия Matplotlib.mp4 [58m 25k 451] 026 Базовые типы визуализации.mp4 [115m 772k 728] 027 Продвинутая визуализация.mp4 [69m 626k 486] 10 Визуализация зависимостей 028 Ящичковые диаграммы.mp4 [48m 329k 676] 029 Графики регрессии.mp4 [71m 747k 429] 030 Корреляционные диаграммы.mp4 [47m 763k 920] 11 Временные ряды 031 Серии данных.mp4 [36m 624k 423] 032 Скользящие средние и отклонения.mp4 [48m 976k 445] 033 Свечные графики.mp4 [36m 582k 491] 12 Гео-данные и картограммы 034 Использование карт.mp4 [31m 96k 100] 035 Картограмма с подписями.mp4 [53m 304k 89] 036 Фоновая картограмма.mp4 [66m 279k 483] 13 Работа с PDF 037 Базовый PDF документ.mp4 [36m 53k 883] 038 Добавление информации в PDF.mp4 [37m 492k 820] 039 Преобразование PDF.mp4 [57m 995k 750] 14 Базовые отчеты 040 Структура HTML документа.mp4 [28m 681k 612] 041 Оформление отчета в HTML.mp4 [25m 748k 893] 042 Страницы и колонтитулы.mp4 [47m 621k 635] 15 Генерация отчетов 043 HTML шаблоны с jinja.mp4 [45m 898k 24] 044 Циклы и условия в шаблонах.mp4 [48m 512k 434] 045 Вывод таблиц и изображений.mp4 [67m 244k 492] 16 Отправка email и интеграция 046 Работа с почтой.mp4 [21m 444k 662] 047 Отправка вложений.mp4 [39m 368k 2] 048 Запуск по расписанию в Windows.mp4 [25m 281k 977] Объем: 2.43ГБ