SQA Days 36 — Виталий Ефимов, Меняем тикетсы на шмикетсы: как мы тестируем ML-бота в Postgres Pro

Как понять, что ваша любимая нейросеть вдруг «сломалась» и стала в 10 раз глупее? Почему один невинный запрос заставил её потратить в 25 раз больше токенов? И как тестировщик ML-продукта становится почти ML-инженером? Недавно Postgres Pro представила ML-бота для работы с базами данных — и мы его хорошенько протестировали! В программе: • Что особенного в тестировании LLM. • Как заглянуть внутрь «чёрного ящика» с помощью Langfuse. • Как вычислить, что новая версия модели стала хуже. • Как мы тестируем одну нейросеть другой нейросетью. • Когда негативные тест-кейсы важнее позитивных. Доклад будет интересен всем, от новичков до "бывалых"!