ODS Breakfast @NN: 2025.08.10 | Обзор A/B тестирования: применения, процесс, вызовы и решения
🌐 Нижегородское сообщество ODS завтраков: https://t.me/nnodsbreakfast
⚡️ Доклад 10 августа 2025: "Обзор тематики A/B тестирования" 👤 Докладчик: Моисеев Игорь, Lead Technical Product Manager ( / %d0%b8%d0%b3%d0%be%d1%80%d1%8c-%d0%bc%d0%b... ) в Trisigma, A/B-платформе Авито. Занимается продуктовым развитием платформы и внутренними процессами принятия решений по экспериментам. До этого работал в Ozon Tech Team Lead команды DS и Research аналитиков отвечающей за развитие внутренней A/B-платформы. Также Игорь иногда пишет статьи на Хабре ( https://habr.com/ru/users/Eth_Moses/a...
). О чём доклад: 📍 Кратко что такое A/B-тесты и зачем они нужны 📍 Про то как устроен процесс принятия продуктовых решений через эксперименты в BigTech компаниях 📍 Про вызовы которые стоят перед A/B-тестированием и как их можно решать Ссылка на слайды: https://t.me/nnodsbreakfast/1/8363
Ссылки из Zoom-чата: 📍 Python пакет, чтобы попробовать A/B тестирование в своих задачах: https://github.com/MobileTeleSystems/...
Дополнительные источники знаний на тему A/B тестов: 📍 ссылки на статьи в конце презентации 📍 https://habr.com/ru/companies/X5Tech/...
📍 https://t.me/trisigma_avito
Тайм-коды: 00:00:00 - Об авторе 00:01:52 - Зачем нужны A/B-тесты 00:08:00 - Статистическая значимость 00:11:26 - Проверка статистической значимости на примере бустрапа 00:17:01 - Ошибка первого рода 00:22:17 - Ошибка второго рода 00:24:33 - Как контролируются уровни ошибок 00:27:12 - Случай теста с плацебо 00:28:50 - Как конкретно считается распределение p-value 00:31:36 - Пайплайн эксперимента 00:34:21 - Два подхода к принятию решений в BigTech 00:37:17 - Из чего состоит платформа A/B-тестов 00:38:22 - Проблемы при A/B-тестировании 00:41:50 - Проблема подглядывания 00:43:52 - Ссылки на дополнительные материалы 00:44:15 - Вопросы (open source инструменты, какие тесты и проверки в проде, проблема зависимых данных, размер команды, мониторинг, каннибализация эффектов)
