Потоковая обработка BigData для МТС / Евгений Ненахов (МТС Digital)

Приглашаем на конференцию HighLoad++ 2025, которая пройдет 6 и 7 ноября в Москве! Программа, подробности и билеты по ссылке: https://highload.ru/moscow/2025
________ HighLoad++ Foundation 2022 Презентация и тезисы: https://highload.ru/foundation/2022/a...
В докладе я расскажу, как мы в МТС собрали инструмент для потоковой обработки 10 миллионов событий в секунду, используя Scala(Java), Apache Spark Streaming и PostgreSQL. Почему выбрали Apache Spark Streaming, какие были проблемы на разных этапах разработки. Дам проверенные в бою рекомендации в части тюнинга Spark (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажу, как мы подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает. Нашли ошибку в видео? Пишите нам на support@ontico.ru