Бронислав Житников — Инициирующая загрузка в NiFi

Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— — Apache NiFi хорош в потоковой загрузке небольших порций данных, но многие процессы подразумевают, что данные появились в источнике не одновременно с релизом потока в NiFi, а задолго до него. И в источнике есть накопленный объем данных, который сложно назвать небольшим. Кроме того, иногда возникает необходимость перегрузить данные из источника в связи с изменениями, произошедшими при процедуре обработки. Брониславу хочется поделиться набором практик и рекомендаций по выполнению задач инициирующей загрузки и повторной загрузки данных, а также рассказать о проблемах, которые возникают при выполнении инициирующей загрузки.