Валентина Предтеченская — Apache Flink под капотом: distributed, stateful, realtime

Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— — Скачать презентацию с сайта SmartData — https://jrg.su/rDYWGB
Apache Flink — фреймворк и движок для распределенной stateful-обработки потоков данных. В Авито его используют для realtime-обработки потока событий. Поскольку у них довольно высокая нагрузка, производительность очень важна. За время работы с ним они столкнулись с неявными сложностями Flink и осознали, насколько важно понимать устройство фреймворка под капотом. Валентина рассказывает, что значит каждая из фич Apache Flink и как правильно с ними работать: — Distributed: как распределяются и передаются данные? — Stateful: как хранится состояние и что может пойти не так? — Realtime: что такое время и как с ним правильно работать? По каждому из аспектов спикер рассказывает о проблемах, с которыми они сталкивались — почему они происходят и как их решать.