Продвинутые методы машинного обучения [2021] [МФТИ] [Олег Ивченко]

Продвинутые методы машинного обучения [2021] МФТИ (ФПМИ МФТИ Физтех-школа прикладной математики и информатики) Олег Ивченко Программа профессиональной переподготовки. Программа профессиональной переподготовке включает три курса: 1. Анализ изображений 2. Анализ текстов 3. Машинное обучение на больших объемах данных. Блок 1 - Анализ изображений Модуль 1 - Введение в анализ изображений. Основы обработки изображений 1.1. Введение в анализ изображений. Задачи компьютерного зрения – метрическое и семантическое зрение. Возникающие трудности и визуальные подсказки. Примеры современных систем и алгоритмов компьютерного зрения. Устройство камеры и оптической системы человека. Модели цвета. 1.2 Основы обработки изображений (часть 1) Основные задачи обработки изображений. Цветокоррекция изображений. Гистограммы, линейная и нелинейная коррекции яркости. Модели камеры и цветокоррекции. Виды шума. Операция свертки. Фильтр гаусса, медианный фильтр, повышение резкости. Выравнивание освещенности – алгоритм Retinex. Метрика PSNR. Выделение краев, алгоритм Canny. 1.3. Основы обработки изображений (часть 2) Частотное представление изображений, частотная фильтрация изображений, алгоритм JPEG. Простая сегментация изображений - бинаризация, выделение связанных компонент, математическая морфология. Понятие текстуры. Эвристические методы распознавания с помощью признаков сегментов. ​ Модуль 2 - Выделение базовых объектов на изображениях. Геометрические модели сопоставления изображений 2.1. Локальные особенности изображений Задача сопоставления изображений. Понятие локальной особенности. Детекторы Харриса, LoG, DOG, Harris-Laplacian. Сопоставление особенностей по дескрипторам - метод SIFT, аффинная адаптация. 2.2. Оценка параметров моделей Задачи оценки параметров геометрических моделей. DLT-метод для линий и преобразований. Робастные алгоритмы - М-оценки, стохастические алгоритмы, схемы голосования. Применение для построения панорам и поиска объектов. ​ Модуль 3 - Основы машинного обучения. Обнаружение объектов 3.1. Категоризация изображений Понятие категории. Распознавание категорий человеком. Общая схема категоризации изображений. Признаки. Гистограммы признаков, пирамиды. Визуальные слова и "мешок слов". 3.2. Выделение категорий на изображениях Задача выделения категорий объектов на изображении. Скользящее окно. Применение "мешка слов" для выделения объектов. Метод HOG + SVM, размножение выборки и бутстраппинг. Методы на основе слабых классификаторов. Алгоритм поиска лиц Viola-Jones, признаки Хоара, интегральные изображения. Пути развития детекторов и современное состояние 3.3. Поиск изображений по содержанию Варианты постановки задачи - поиск полудубликатов, поиск похожих, поиск по классам. Поиск на основе цветовых гистограмм (QBIC). Дескриптор GIST. Поиск полудубликатов - приближенные методы ближайшего соседа, инвертированный индекс, хэширование. Поиск на основе "Мешка слов", обратный индекс, использование пространственной информации для повышения точности. ​ Модуль 4 - Нейросетевые подходы к анализу изображений. Основные задачи и алгоритмы 4.1. Интернет-зрение Большие коллекции изображений и методы их составления. Дополнение изображений (Image completion) с помощью больших коллекций. Классификация изображений с помощью больших коллекций. Фотоколлажи. Shape context. Объектные фильтры. 4.2.. Оптический поток и вычитание фона Введение в обработку и анализ видео. Понятие оптического потока. Глобальные и локальные (Lucas-Kanade) методы оценки оптического потока. Вычитание фона (BS - background subtraction). Алгоритмы BS: одна гауссиана, смесь гауссиан, поблочные методы, объединение локальных и глобальных цветовых моделей. 4.3. Сопровождение объектов и распознавание событий в видео Задача сопровождения объектов в видео, постановки, критерии качества и проблемы. Сопровождение одного объекта - сопоставления шаблонов, на основе Chamfer-метрики, MeanShift, Flock of features, комбинации методов. Сопровождение множества объектов - сопровождение через сопоставление. Распознавание событий в видео, тестовые базы, автоматическая разметка видео. Методы распознавания - дескрипторы на основе оптического потока, локальные особенности, классификация, прицеливание. 4.4. Компьютерное зрение реального времени Алгоритмы дополненной реальности, требования к ним. Решающий лес как один из базовых методов для дополненной реальности. Регистрация изображений в реальном времени. Система Kinect и оценка позы человека в реальном времени. ​ Блок 2 - Анализ текстов Модуль 1 Intro to NLP Модуль 2 Lecture: Word embeddings Distributional semantics. Count-based (pre-neural) methods. Word2Vec: learn vectors. GloVe: count, then learn. N-gram (collocations) RusVectores. t-SNE. Practical: word2vec, fasttext Модуль 3 Lecture: RNN + CNN, Text classification Neural Language Models: Recurrent Models, Convolutional Models. Text classification (architectures) Practical: Classification with LSTM, CNN Модуль 4 Lecture: Language modelling and NER Task description, methods (Markov Model, RNNs), evaluation (perplexity), Sequence Labelling (NER, pos-tagging, chunking etc.) N-gram language models, HMM, MEMM, CRF Practical: NER Модуль 5 Lecture: Machine translation, Seq2seq, Attention, Transformers Basics: Encoder-Decoder framework, Inference (e.g., beam search), Eval (bleu). Attention: general, score functions, models. Bahdanau and Luong models. Transformer: self-attention, masked self-attention, multi-head attention. Модуль 6 Lecture: Transfer learning in NLP Bertology (BERT, GPT-s, t5, etc.), Subword Segmentation (BPE), Evaluation of big LMs. Practical: transformers models for classification task, Practical: Transfer learning Модуль 7 Lecture & Practical: How to train big models? Part1. Distributed training, Part2. RuGPT3 Training Training Multi-Billion Parameter Language Models. Model Parallelism. Data Parallelism. Practical: DDP example Модуль 8 Lecture: Syntax parsing Practical: Syntax Модуль 9 Lecture: Question answering Practical: seminar QA, seminar chatbots Squads (one-hop, multi-hop), architectures, retrieval and search, chat-bots Модуль 10 Lecture: Summarization, simplification, paraphrasing Practical: summarization seminar Модуль 11 Lecture: Knowledge Distillation in NLP ​ Блок 3 - Машинное обучение на больших объемах данных Модуль 1 - Методы оптимизации и линейные модели Машинное обучение с учителем на больших данных. Закон Ципфа. Тематическое моделирование. Метод стохастического градиента. Постановка задачи. Оптимизации обучения на больших данных: градиентный спуск, стохастический градиент. Признаки. Пространства признаков, веса признаков, нормализация признаков. Генерация и хеширование признаков. Онлайн обучение линейных моделей. Метод стохастического градиента: выбор функции потерь. Оценка качества метода стохастического градиента. Алгоритм Бутстрап. Хеширование, чувствительное к расстоянию (LSH). Меры сходства: расстояние Жаккара, Хемминга, косинусное расстояние, Евклидово расстояние. Оптимизация и тестирование гиперпараметров. Симплекс-метод. Модуль 2 - Алгоритмы работы с графами большого размера Графы, их виды. Стохастический граф. Представление графа: матрицы смежности, инцидентности, достижимости. Списки смежности. Алгоритмы перевода из одного представления в другое. Социальный граф. Задача поиска общих друзей в социальном графе. Язык DSL. Граф пользовательских предпочтений. Использование подхода BigData в анализе графов. Модуль 3 - Информационный поиск Постановка ранжирования. Основные подходы к решению задачи ранжирования. Метрики измерения точности ранжирования. Кликовые модели. Тематическое моделирование и его связь с ранжированием. Проблемы тематического моделирования при больших данных. AD-LDA, его недостатки, Y!LDA, Mr. LDA. ARTM. Архитектура библиотеки BigARTM. Online LDA и его применение в Vowpal Wabbit. Модуль 4 - Рекомендательные системы Рекомендательные системы, постановка задачи предсказания / рекомендации. Классификация рекомендательных систем. Неперсонализированные рекомендательные системы, content-based рекомендательные системы. Задачи коллаборативной фильтрации, транзакционные данные и матрица субъекты—объекты. Корреляционные методы, методы сходства (neighbourhood) - user-based, item-based. Латентные методы на основе матричных разложений. Методы ALS и iALS. Современные рекомендательные системы: рекомендательные системы, основанные на учете контекста (context aware); аспектные рекомендательные системы (aspect-aware), рекомендательные системы на основе тензорных разложений. ​