PySpark на практике: 1,6 млн авиарейсов, задачи с автопроверкой

Что внутри Весь курс — на одном наборе данных: 1 598 468 рейсов авиакомпаний США за первый квартал 2022 года (Bureau of Transportation Statistics, общественное достояние), плюс справочник аэропортов и миллион метеосводок. Вы скачиваете файлы Parquet и работаете с ними в локальном Spark — никаких учебных таблиц на десять строк. Как устроены задачи Каждая задача — вопрос о данных. Вы пишете код PySpark у себя и вводите ответ — число или строку, проверка автоматическая. Каждый числовой ответ в курсе получен кодом на Spark и перепроверяется при каждом обновлении курса двумя разными решениями. Каждый пример кода в теории выполняется — нерабочего кода в курсе нет. Разборы объясняют, почему Spark так устроен: ленивые вычисления, план, shuffle, партиции, broadcast. Честно об инструментах Курс подготовлен с помощью ИИ-ассистента. Каждый пример и каждая задача выполнены на Spark 4.2, ответы получены запуском кода, а не написаны от руки. Если найдёте неточность — напишите в комментариях к шагу, она будет исправлена и перепроверена.