«Python для работы с данными» от Нетологии

Задачи по работе с данными востребованы во всех областях:от банковской сферы и ИТ до тяжелой промышленности и сельского хозяйства. Python — простой и универсальный инструмент для решения любых аналитических задач. 1. Автоматизируйте свою рутинную работу с помощью Python 2. Обрабатывайте большие объемы информации без администрирования и баз данных 3. Освойте ключевой инструмент в мире аналитики и машинного обучения Возможности после обучения: 1. Больше автономности Перестанете зависеть от разработчиков в работе с данными и научитесь понимать программистов. 2. Автоматизация рутинных задач С Python вы почувствуете вкус к оптимизации процессов и освободите время для новых задач. 3. Широкий доступ к данным Умение быстро парсить сайты — бесценно. Вы начнете видеть и получать данные там, где раньше не замечали их 4. Легкий переход в data science Python для аналитики — отличная база и возможность начать карьеру в data science. 5. Готовить данные для алгоритмов Умение использовать готовые решения для придания смысла сырой информации. 6. Поиск новых инсайтов Нахождение новых взаимосвязей в данных и их интерпретация для улучшения показателей бизнеса. Достигнутые результаты и ключевые навыки после обучения: Достигнутые результаты 1. Работа с реальными дата-сетами 2. Работа с логами и рекомендательными системами 3. Получение минимального портфолио для старта в профессии Ключевые навыки 1. Работа с сырыми данными и их подготовка для анализа 2. Работа с аналитическими библиотеками numpy, scipy и pandas 3. Визуализация данных с помощью библиотек seaborn, plotly, matplotlib 4. Статистический анализ данных 5. Применение математических моделей 6. Выбор и создание фич 7. Применение основных алгоритмов для обработки данных 8. Парсинг данных с сайтов и внешних источников 9. Автоматизация процессов получения данных для отчетов Содержание Модуль 1 - Основы Python для работы с данными Вы научитесь пользоваться базовыми инструментами Python. Для студентов без опыта в программировании модуль предполагает интенсивную самостоятельную работу. По ходу занятия преподаватель даст много полезных дополнительных библиотек и методов, которые ускорят работу с кодом, оставив больше времени на аналитические задачи. 1. Вводные видео-уроки по установке, синтаксису и функциям Python 2. Основы Python и Git 3. Базовые типы данных и циклы 4. Функции и классы 5. Продвинутые типы данных: массивы, множества, словари Навыки, которые вы получите 1. Научитесь работать в Jupyter-ноутбуке 2. Освоите чтение файлов и запись данных в файлы 3. Сможете делать первичную проверку данных на корректность и обработку ошибок 4. Научитесь работать с датами с библиотекой DateTime 5. Освоите работу с JSON-форматом 6. Научитесь импортировать данные в Excel 7. Познакомитесь с библиотекой DateTime Содержание Модуль 2 - Знакомство с основными библиотеками для анализа данных Вы научитесь работать с главными аналитическими библиотеками, а визуализации помогут быстро находить зависимости и корреляции. Одно из больших преимуществ языка Python — это большое и сильное сообщество, которое ежедневно пополняет язык простыми готовыми решениями. 1. numpy и scipy 2. pandas 3. Визуализация данных: seaborn, plotly, matplotlib 4. Получение данных с внешних сайтов и API 5. Data mining и парсинг Навыки, которые вы получите 1. Сможете подготовить визуальные отчёты 2. Освоите эксплоративный анализ данных 3. Научитесь работать с матрицами и векторами в Python 4. Научитесь работать с pandas в таблицах 5. Освоите работу с элементами массива разных размерностей в numpy 6. Автоматизация получения данных из внешних источников 7. Автоматизация парсинга с сайтов Содержание Модуль 3 - Статистика в Python В этом модуле вы познакомитесь со статистикой: именно она помогает закопаться глубже в данные, чтобы найти интересные связи и эффективно генерировать гипотезы. Вас ждут не только среднее, медиана и квартили, но и одномерный и многомерный анализ, коллинеарность. Вы научитесь рассчитывать необходимую выборку и доверительный интервал для стат. значимости теста и проектировать дизайн A/B-тестов. 1. Основы описательной статистики, виды распределений в Python 2. Центральная предельная теорема и статистический анализ данных в Python 3. Основные статистические тесты и проверка гипотез 4. Кейс-стади. Статистические показатели в Python Навыки, которые вы получите 1. Поймёте основы описательной статистики 2. Научитесь проводить основные статистические тесты (z-test, f-test, chi-2 test) 3. Освоите проектирование экспериментов 4. Научитесь проводить анализ A/B-тестов 5. Научитесь интерпретировать исходные данные для нахождения зависимостей 6. Применение математических моделей Содержание Модуль 4 - Feature engineering и предобработка данных Вы изучите инструменты выбора и оценки фичей, научитесь оптимизировать их количество. Новые знания помогут плотнее общаться с разработкой в продукте и быстро вычленять ошибки в их логике. Также вы приобщитесь к главной библиотеке data scientists — sklearn для feature selection. 1. Проверка и очистка данных с помощью pandas и numpy 2. Проведение анализа и рекурсивного feature selection и на базе моделей 3. Методы оценки значимости и отбора признаков и их использование 4. «Проклятие размерности», основные алгоритмы и принципы их работы 5. Использование алгоритмов sklearn Навыки, которые вы получите 1. Освоите описание основных проблем данных 2. Научитесь проверке данных на полноту, целостность, валидность, наличие шумов, ошибок и пропусков 3. Сможете очистить данные с помощью numpy и pandas 4. Разберётесь с сокращением размерности данных алгоритмами PCA, LDA, NMF с помощью sklearn 5. Научитесь выбору и оценке фич Содержание Модуль 5 - Лабораторные работы Кроме домашних заданий, в которых вы отрабатываете отдельные навыки, в курсе будет две проверочные точки. Они помогут вам оценить свои силы в комплексных задачах. 1. С помощью статистики изучите данные небольшого датасета на 200+ автомобилей по 26 параметрам, с помощью визуализаций выведете закономерности и протестируете несколько статистических гипотез. 2. Вместе с преподавателем подготовите датасет на 1500 строк к анализу, оцените и выберете из 80 признаков нужные и спрогнозируете стоимостную категорию дома. Содержание Модуль 6 - Диплом В рамках дипломного проекта вы будете работать с датасетом на медицинскую тематику. Вы не только самостоятельно подготовите данные для анализа в Python, но и напишете алгоритм, который предсказывает вероятность болезни у пациента по разным признакам. Дипломная работа выполняется самостоятельно под руководством экспертов курса и позволяет закрепить весь спектр знаний и навыков, полученных на программе.