Метрики классификации в ML: как интерпретировать ROC-AUC, Precision-Recall и не запутаться

📌 Заполни анкету прямо сейчас и получи чек-лист «15 самых популярных вопросов с собеседований и ответы на них» Анкета предзаписи: https://vk.cc/cO375f
Курс «База ML»: https://clck.ru/3Nmo7q
Курс «ML в бизнесе»: https://clck.ru/3NmoBT
Telegram MLinside: https://t.me/+xPCRRLylQh5lMmI6
У модели ROC-AUC = 0.97. Звучит круто? На деле это может не значить ничего, если у вас дисбаланс классов или задача ранжирования. Большинство джунов и даже мидлов в ML путаются в метриках классификации и делают неправильные выводы о качестве модели. В итоге — фейл на собеседовании или провал модели в продакшене. Александр Дубейковский — ML-эксперт (3 года в Яндекс, сейчас Авито) — разбирает, как правильно интерпретировать ROC-AUC, Precision, Recall, F1-score и PR-кривые. Без воды, на практических примерах: от запуска ракет до детекции мошенников и рекомендаций. В этом видео: • Что такое Confusion Matrix и как она помогает «читать» метрики • Ошибки первого и второго рода: где важен Precision, а где Recall • ROC-AUC: почему 0.99 может быть обманчивым • PR-кривая: когда она важнее ROC и как её читать • F1 и Fβ-метрики: как подстраивать оценку под бизнес-задачу • Как метрики классификации связаны с реальной ценностью модели для бизнеса Подходит тем, кто: • готовится к собеседованию в Data Science / ML • работает с классификационными моделями и хочет понимать их глубже • устал использовать Accuracy «по умолчанию» и хочет научиться выбирать метрики под задачу Это часть серии MLinside — честно, по делу и без лишней воды. Таймкоды: 00:00 — Почему метрики могут ввести в заблуждение 00:50 — Что такое Confusion Matrix и как её читать 02:30 — Ошибки первого и второго рода: примеры из практики 04:30 — Precision и Recall: что важнее в разных задачах 06:53 — Accuracy: метрики под задачу 07:58 — ROC-кривая: как строится и что значит площадь под ней 11:55 — Когда применять ROC-AUC 15:07 — PR кривая 21:25 — F1 и Fβ-метрики