[Специалист] Курс 20773А: Анализ больших данных (Big Data) с помощью Microsoft R (2018) [Михаил Соколов]

20773А: Анализ больших данных (Big Data) с помощью Microsoft R. Михаил Соколов ​ Этот курс предназначен для специалистов, анализирующих огромные наборы данных, а также разработчиков, использующих R в своих проектах. Цель курса – предоставить слушателям знания и навыки, необходимые для создания и запуска сценариев анализа больших данных на сервере Microsoft R. Также в курсе описано как работать с Microsoft R в средах обработки больших данных как Hadoop, кластер Spark или база SQL Server. По окончании курса Вы будете уметь: описывать работу Microsoft R; использовать клиента R и Server R для обработки больших данных из разных хранилищ; визуализировать данные с помощью графиков и схем; преобразовывать и очищать наборы больших данных; использовать способы разделения аналитических задач на параллельные задачи; строить и оценивать регрессионные модели, генерируемые на основе больших данных; создавать, оценивать и разворачивать партиционированные модели на основе больших данных; использовать язык R в средах SQL Server и Hadoop. Специалисты, обладающие этими знаниями и навыками, в настоящее время крайне востребованы. Большинство выпускников наших курсов делают успешную карьеру и пользуются уважением работодателей. Модуль 1. Сервер и клиент Microsoft R Обзор сервера Microsoft R Использование клиента Microsoft R Функции ScaleR Лабораторная работа: Обзор сервера и клиента Microsoft R Использование клиента R в VSTR и RStudio Обзор функций ScaleR Подключение к удалённому серверу Модуль 2. Обзор больших данных Источники данных ScaleR Чтение данных в XDF-объекте Обобщение данных в XDF-объекте Лабораторная работа: Обзор больших данных Чтение локального CSV-файла и передача данных в XDF-файл Преобразование данных на входе Чтение данных из SQL Server и передача в XDF-файл Подведение итогов в XDF-файле Модуль 3. Визуализация больших данных Визуализация данных в памяти Визуализации больших данных Лабораторная работа: Визуализация данных Использование ggplot для создания многогранной диаграммы с наложением Использование rxlinePlot и rxHistogram Модуль 4. Обработка больших данных Преобразование больших данных Управление наборами данных Лабораторная работа: Обработка больших данных Преобразование больших данных Сортировка и слияние больших данных Подключение к удаленному серверу Модуль 5. Распараллеливание операций анализа Использование вычислительного контекста RxLocalParallel с функцией rxExec Использование пакета revoPemaR Лабораторная работа: Использование rxExec и revoPemaR для распараллеливания операций Использование rxExec для оптимизации использования ресурсов Создание и применение класса PEMA Модуль 6. Создание и оценка регрессионной модели Кластеризации больших данных Создание регрессионных моделей и подготовка прогнозов Лабораторная работа: Создание линейной регрессионной модели Создание кластера Создание регрессионной модели Генерация данных для составления прогнозов Использование модели для составления прогнозов и сравнение результатов Модуль 7. Создание и оценка партиционированных моделей (Partitioning Model) Создание партиционированных моделей на основе дерева решений. Тестирование прогнозов партиционированных моделей Лабораторная работа: Создание и оценка партиционированных моделей Разбиение набора данных Построение моделей Подготовка прогноза и тестирование результатов Сравнение результатов Модуль 8. Обработка больших данных в SQL Server и Hadoop Использование R в SQL Server Использование Map/Reduce в Hadoop Использование Hadoop Spark Лабораторная работа: Обработка больших данных в SQL Server и Hadoop Создание модели и прогнозирования результатов в SQL Server Анализ и вывод результата с помощью Map/Reduce в Hadoop Интеграция скрипта sparklyr в рабочий процесс ScaleR