Алексей Стыценко — Каждый байт на вес золота. Опыт построения DMP в рекламе Яндекса

Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— — Скачать презентацию с сайта SmartData — https://jrg.su/zmh3Oq
Спикер рассказал про платформу управления данными Logos. Она была создана в Рекламных технологиях Яндекса для построения надежных пайплайнов обработки данных с помощью YTsaurus. В дальнейшем обрела популярность за пределами рекламы, и сегодня под управлением Logos находятся данные многих сервисов Яндекса, включая Маркет, Алису, Плюс, Кинопоиск, Музыку и другие. Алексей рассказал про основные компоненты платформы. Как описывают данные и ETL-процессы их обработки, как устроено тестирование, приемка и релизный цикл, как мониторят продакшен-процессы и качество данных, организуют пересчеты данных в прошлое для разных сценариев, документируют данные и процессы. И еще много интересного. Будет полезно дата-инженерам, разработчикам ETL-фреймворков и дата-платформ, дата-архитекторам и всем остальным, кто интересуется большими данными.