Антон Багин. Опасный дрифт: как вовремя увидеть важные изменения в данных и не пропустить поворот

В мониторинге ML-моделей часто используют метрики, которые оценивают изменения в распределении данных. Эти метрики действительно могут показать, что данные изменились, но это не всегда означает, что модель стала работать хуже. В докладе разберёмся, почему не каждый дрифт — это катастрофа, и какие дрифты действительно влияют на производительность модели. ML үлгілерін мониторингтеуде деректерді таратудағы өзгерістерді бағалайтын метрикалар жиі пайдаланылады. Бұл метрикалар шын мәнінде деректердің өзгергенін көрсетуі мүмкін, бірақ үлгі әрқашан нашар жұмыс істейді деген сөз емес. Бұл баяндамада біз әр дрифттің неліктен үлкен мәселе емес екенін және қандай дрифттер үлгінің тиімділігіне әсер ететінін қарастырамыз.