DAY 2 - Источники данных реального времени с использованием Spark Streaming (EN) - Юлия Столина
У Юлии 15-летний практический опыт в архитектуре программного обеспечения, специализация в построении больших объемов, масштабируемых, высокопроизводительных распределенных систем данных. Опыт работы с большими данными, NoSQL, архитектурой и разработкой. Она работает в Outbrain в качестве архитектора группы рекомендаций. В компании Outbrain мы обслуживаем миллиарды персонализированных рекомендаций. Наши модели обслуживания ML построены на пакетных потоках ELT. Однако, для нашего бизнеса чрезвычайно важно получать исходные данные в почти реальном времени. В ходе этой сессии я расскажу о том, как мы перешли от аналитики на основе пакетов к аналитике реального времени. Мы реализовали конвейер данных, используя потоковую передачу Spark на Kafka для принятия точных решений в режиме реального времени. Я представлю основные компоненты нашей архитектуры, управления данными, а также выводы, сделанные в ходе работы. Наконец, мы рассмотрим два разных случая использования: (1) Создание и запуск прогностической аналитики в режиме реального времени с использованием контекстуальных моделей многоруких бандитов для оптимизации A/B-тестирования пользовательского интерфейса. (2) Выполнение прогнозной оценки кликабельности на основе данных в реальном времени с использованием взвешенной линейной регрессии. В конце занятия вы ознакомитесь с концепциями лямбда-архитектуры и потоковой передачи данных. Вы также узнаете как использовать SPARK для объединения аналитики в реальном времени и по пакетам, а также лучше узнаете о возможностях SPARK. Big Data Days Онсайт и онлайн 22-25 ноября, 2022 Узнать больше о конференции: https://bit.ly/30YNt99
Присоединяйтесь к нашей следующей конференции Big Data Days 22-25 ноября в 2022 г. Здесь вы сможете получить знания от мировых экспертов, выступающих с техническими докладами и практическими мастер-классами в области Big Data, High Load, Data Science, Machine Learning и AI. В этом году конференция будет проходить в гибридной форме, это позволит вам послушать доклады и посетить мастер-классы онсайт и онлайн.
