Computer Vision [2021] [robot dreams] [Ян Колода]

Computer Vision [2021] robot dreams Ян Колода Практический курс о том, как применять классические методы machine learning и deep learning для решения задач компьютерного зрения: от баланса цвета на изображении — до тренировки сверточных нейронных сетей для распознавания объектов в видео. Описание курса: Задача специалиста по компьютерному зрению ― научить алгоритмы уверенно ориентироваться в окружающем мире и свести к минимуму системные баги. Задача robot_dreams ― помочь разобраться в инструментах и подходах, которые применяют для реализации CV-проектов. Мы начнем с пиксельных операций и создания программ для обработки цифровых фото. Затем научимся проводить базовые манипуляции с изображением и видео: фильтрация и выделение границ, кодировка и компрессия, классификация, детекция, трекинг и сегментация. А после ― будем строить и тренировать нейронные сети. Курс подойдет: 1. Data Scientist После курса вы систематизируете знания в области machine learning и deep learning. Разберетесь в современных подходах к детекции объектов, получите опыт в решении задач классификации и сегментации, научитесь строить и тренировать нейросети.​ 2. Developer Курс даст overview задач computer vision и основных инструментов, которые необходимы для их решения. Вы научитесь обрабатывать изображения и видео, разрабатывать и запускать модели с помощью TensorFlow.​ Модуль 1 - Введение в Computer Vision Ознакомьтесь с задачами, которые помогает решить Computer Vision. Получите общую информацию о том, как работает зрительная система. Узнайте, какие цветовые пространства существуют. Установите библиотеки NymPy, Matplotlib и OpenCV. Научитесь выполнять простые операции, используя эти библиотеки. Модуль 2 - Пиксельные операции Узнайте, что такое операции на уровне пикселей, и научитесь читать гистограммы. Создайте простейшую программу для обработки цифровых изображений, например, программу для баланса белого цвета. Модуль 3 - Линейная фильтрация Изучите принцип работы свертки. Научитесь имплементировать фильтрацию и манипулировать изображением, используя разные типы фильтрации. Модуль 4 - Фильтры выделения границ Узнайте, в чем смысл градиентов изображений. Научитесь имплементировать фильтры выделения границ. Освойте алгоритм выделения контуров и фильтры в Canny. Модуль 5 - Кодировка и компрессия изображений Изучите разницу между форматами изображений [raw, png, jpeg]. Разберите разницу между форматами H264 и H265. Узнайте, как работает сжатие с потерями, и научитесь работать с изображениями в преобразованной форме. Попробуйте улучшить качество изображения с помощью интеллектуального квантования. Модуль 6 - Image features [визуальные признаки] Узнайте, что такое визуальные признаки, и ознакомьтесь с типовыми задачами, которые можно решить с их помощью. Научитесь выделять углы с помощью детектора Харриса. Изучите алгоритмы обнаружения и описания признаков. Научитесь применять масштабно-инвариантную трансформацию признаков (SIFT). Модуль 7 - Image matching [подстройка изображений] Ознакомьтесь с задачами, которые решает image matching. Изучите принцип аффинного преобразования и однородных координат. Научитесь применять гомографию для изображений. Разработайте ректификатор фотографий документов. Модуль 8 - Machine Learning [машинное обучение] Ознакомьтесь с базовыми принципами работы с моделями данных. Разберите разницу между классической обработкой данных и машинным обучением. Научитесь строить простые модели с нуля и проводить их оптимизацию. Определите разницу между machine learning и deep learning. Модуль 9 - Детекция лиц Определите, чем визуальные признаки для детекции лиц отличаются от признаков других объектов. Ознакомьтесь с методом детекции Виолы-Джонса и методом бустинга. Научитесь работать с изображениями, которые содержат лица, и осуществлять детекцию с помощью OpenCV. Модуль 10 - Трекинг Изучите основы работы трекинга и принципы работы с цифровым видео. Разберите разницу между трекингом и детекцией на практике, реализовывая реальную рабочую задачу. Модуль 11 - Нейронные сети: part 1 Изучите принципы работы нейронных сетей. Получите overview открытых библиотек TensorFlow и Keras. Научитесь строить и тренировать простые нейронные сети. Попробуйте улучшить модель нейронной сети для классической проблемы house pricing. Модуль 12 - Нейронные сети: part 2 Узнайте, как ускорить тренировку нейронных сетей в несколько раз с помощью GPU, и ознакомьтесь с другими преимуществами графического процессора. Ознакомьтесь с облачным сервисом Google Colaboratory и научитесь строить и тренировать модели в нем. Узнайте, зачем проводить инспекцию баз данных. Модуль 13 - Сверточные нейронные сети: part 1 Изучите принципы работы сверточных нейронных сетей. Изучите операции свертки и пулинга. Научитесь строить и тренировать сверточные нейронные сети. Модуль 14 - Сверточные нейронные сети: part 2 Ознакомьтесь с проблемой переобучения [overfitting]. Научитесь распознавать проблемы в процессе обучения и применять data augmentation в процессе тренировки. Модуль 15 - Сверточные нейронные сети: part 3 Научитесь решать задачу сегментации цифровых изображений. Изучите принцип bottleneck. Постройте простой автоматический энкодер для очищения изображений от шума. Модуль 16 - Детекция объектов Изучите концепт детекции и bounding box. Научитесь распознавать объекты в режиме реального времени, используя принцип YOLO [You Only Look Once]. Ознакомьтесь с алгоритмом NMS [Non-Maximum Suppression] и другими архитектурами сетей для распознавания объектов [SSD, TinyYOLO, SqueezeDet]. Примените YOLO для распознавания объектов на собственном видео. Модуль 17 - Сверточные нейронные сети: что дальше? Ознакомьтесь с популярными моделями сверточных нейронных сетей. Изучите процесс fine tuning и научитесь работать с model zoo. Узнайте, какие проблемы возникают при тренировке сверточных нейронных сетей. Получите рецепт успешного решения проблем с использованием нейронных сетей. Модуль 18 - Презентация курсового проекта Постройте сегментатор для детекции дорожных линий [видео], сверточную нейронную сеть, чтобы сделать super-resolution [изображения], или реализуйте авторский проект на ваш выбор. Примечание: на момент создания темы актуальная цена не известна.