beeline meetup: data engineering tools. О митапе, команде инженеров и разработчиков и о чаптере

20 декабря в билайне прошел первый митап по инженерии данных. В этом видео Михаил Благов, лидер чаптера инженеров данных и разработчиков расскажет об устройстве команды и почему мы решили провести это мероприятие. Не пропустите наши следующие ролики: — Сергей Евсеев — «Как настроить ETL с JSON'ами в Apache NiFi». Сергей расскажет, как в Apache NiFi настроить пайплайн трансформации и сохранения JSON в хранилище данных и как с помощью Jolt и Avro уменьшить время и трудозатраты на его построение. — Никита Хилов — «Система сквозного логирования с передачей единого идентификатора процесса между независимыми задачами Airflow». Организовать систему пользовательских логов для периодических процессов несложно. Сложнее, когда ключ прекращает быть однозначным идентификатором процесса расчета. Никита расскажет, почему так бывает и как в команде создавали сквозные пользовательские логи в продукте. — Александр Булатов — «Apache Flink: Flink Table API & SQL». Александр расскажет, что такое Table API в Apache Flink, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.