Машинное обучение: метрики качества классификации и регрессии [stepik] [Сергей Спирёв]

Одним из основных требований к датасаентисту является – хорошее знание метрик качества оценки моделей машинного обучения. Обучить модель и сделать предсказания – это важный момент, но не менее важным является способность правильно оценить качество этих предсказаний, используя именно те метрики оценки, которые наиболее точно соответствуют вашим данным и целям конкретной задачи. В курсе рассмотрены метрики качества для задач классификации и регрессии с использованием библиотеки Scikit-learn. О курсе Когда я только начинал свой путь в изучении машинного обучения, тема метрик качества была для меня какой-то «головоломной». Вроде бы и нет в ней какого-то совсем уж сложного математического аппарата, но когда в неё углубляешься, то в голове каша и винегрет из понятий, формул, терминов. А когда её ещё и преподносят в академической форме, то тут уж совсем тоска зелёная. Но тема метрик качества является одной из основополагающих в машинном обучении. Это фундамент, на котором строится всё машинное обучение с точки зрения применимости и полезности моделей на практике. И хорошо разбираться в этом вопросе – это важный момент. Как понять, ваша модель «умная» или «глупая»? Понять это можно, только посмотрев на её ошибки и оценки качества. Хорошо, посмотрели на оценки качества – результат получился супер. Отлично! Но подходит ли та метрика качества, которую вы применили к вашей модели, или она не учитывает важные особенности ваших данных? На эти вопросы специалист по машинному обучению должен уметь отвечать. Скажу также, что по своей натуре я не являюсь теоретиком. Я предпочитаю, когда теория соединяется с практикой. Через практику я могу понять больше, чем из сухих формул. Этот же подход я применяю в подготовке обучающего материала. Я не теоретизирую много, стараюсь не углубляться туда, куда не нужно углубляться с точки зрения здравого смысла и практической применимости. А также пытаюсь сложные понятия перевести на простой человеческий язык. Материала, предоставленного в курсе будет достаточно, чтобы приобрести надёжную базу, на которую впоследствии вы можете наслаивать новые знания в такой интересной области, какой является машинное обучение. Для кого этот курс Курс для тех, кто уже делает первые шаги в изучении машинного обучения, но желает глубже изучить вопросы оценки качества моделей с использованием инструментов библиотеки Scikit-learn. Наши преподаватели. Сергей Спирёв. Имею двадцатилетний опыт работы в банковской, страховой и лизинговой сферах, где занимался финансовым анализом, моделированием, управлением активами. Анализирую инструменты фондового рынка с 2008 года. Имею большой профессиональный опыт работы с операциями на биржевом и внебиржевом рынках с ценными бумагами, валютами, драгоценными металлами, операциями РЕПО, своп, межбанковским кредитованием. Метрики классификации 1.Введение 2.accuracy_score() 3.confusion_matrix() 4.multilabel_confusion_matrix() 5.ConfusionMatrixDisplay 6.precision_score() 7.recall_score() 8.precision_recall_curve() 9.PrecisionRecallDisplay 10.roc_curve() 11.RocCurveDisplay 12.roc_auc_score(), auc() 13f1_score(), fbeta_score() 14.precision_recall_fscore_support() 15.classification_report() 16.det_curve() 17.DetCurveDisplay 18.cohen_kappa_score() 19.top_k_accuracy_score() 19.dcg_score(), ndcg_score() Метрики для измерения потерь 1..log_loss() 2.brier_score_loss() 3.hamming_loss() Метрики регрессии 1.mean_absolute_error() 2.mean_absolute_percentage_error() 3.mean_squared_error(), root_mean_squared_error() 4.mean_squared_log_error(), root_mean_squared_log_error() 6.median_absolute_error(), max_error() 5.r2_score() 7.explained_variance_score() 8.d2_absolute_error_score() 9.mean_pinball_loss() 10.make_scorer() 11.PredictionErrorDisplay В курс входят 34 урока 90 тестов 101 интерактивная задача Последнее обновление 02.05.2025