Школа анализа данных Data Science [Яндекс] [ШАД]

или Компьютерное зрение Курс посвящен методам и алгоритмам компьютерного зрения, т.е. извлечения информации из изображений и видео. Рассмотрим основы обработки изображений, классификацию изображений, поиск изображений по содержанию, распознавание лиц, сегментацию изображений. Затем поговорим про алгоритмы обработки и анализа видео. Последняя часть курса посвящена трёхмерной реконструкции. Для большинства задач будем обсуждать существующие нейросетевые модели. В курсе мы стараемся уделять внимание только наиболее современным методам, которые используются в настоящее время при решении практических и исследовательских задач. Курс в большей степени является практическим, а не теоретическим. Поэтому все лекции снабжены лабораторными и домашними работами, которые позволяют попробовать на практике большинство из рассматриваемых методов. Работы выполняются на языке Python, с использованием различных библиотек. 01 Цифровое изображение и тональная коррекция. 02 Основы обработки изображений. 03 Совмещение изображений. 04 Классификация изображений и поиск похожих. 05 Сверточные нейросети для классификации и поиска похожих изображений. 06 Детектирование объектов. 07 Семантическая сегментация. 08 Перенос стиля и синтез изображений. 09 Распознавание видео. 10 Разреженная трёхмерная реконструкция. 11 Плотная трёхмерная реконструкция. 12 Реконструкция по одному кадру и облакам точек, параметрические модели. Четвёртый семестр Рекомендуемые спецкурсы Глубинное обучение 01 Материал курса Обучение с подкреплением 01 Материал курса Self Driving Cars В курсе рассматриваются основные компоненты беспилотных технологий: локализация, перцепция, предсказание, уровень поведения и планирование движения. Для каждой из компонент будут описаны основные подходы. Кроме того, студенты познакомятся с текущим состоянием рынка и технологическими вызовами. 01 Обзор основных компонент и сенсоров беспилотного автомобиля. Уровни автономности. Drive by Wire. Беспилотные автомобили как бизнес-продукт. Способы оценки прогресса в создании беспилотников. Основы локализации: gnss, колесная одометрия, байесовские фильтры. 02 Методы лидарной локализации: ICP, NDT, LOAM. Введение в визуальный SLAM на примере ORB-SLAM. Постановка задачи GraphSLAM. Сведение задачи GraphSLAM к нелинейному МНК. Выбор правильной параметризации. Системы с особой структурой в GraphSLAM. Архитектурный подход: frontend и backend. 03 Задача распознавания в беспилотном автомобиле. Статические и динамические препятствия. Сенсоры для системы распознавания. Представление статических препятствий. Детекция статических препятствий по лидару (VSCAN, нейросетевые методы). Использование лидара совместно с изображениями для детекции статики (семантическая сегментация изображений, depth completion). Стерео камера и получение глубины из картинки. Stixel World. 04 Представление динамических препятствий в беспилотном автомобиле. Нейросетевые методы детекции объектов в 2D. Детекция на основе Bird-eye view представления лидарного облака. Использование лидара совместно с изображениями для детекции динамических препятствий. Детекция автомобилей в 3D на основе картинок (3D boxes fitting, CAD models). Детекция динамических препятствий на основе радара. Трекинг объектов. 05 Модели движения автомобиля: rear wheel, front wheel. Планирование траекторий. Понятие конфигурационного пространства. Графовые методы построения траекторий. Траектории, минимизирующие рывок. Оптимизационные методы построения траекторий. 06 Планирование скорости в динамическом окружении. ST-планирование. Предсказание поведения других участников дорожного движения.