Airflow: Взаимодействие с S3 #9
Это девятое видео из серии про Airflow, посвященное работе с S3 с объектным облачным хранилищем. В этом видео: Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!) Подключаем его к Airflow, как настоящих друзей Тестируем S3KeySensor — и смотрим, что он делает, когда файла по пути всё ещё нет (spoiler: он очень-очень надеется) Сколько раз он проверит? Когда сдастся? И будет ли нервничать, как я, когда жду доставку еды? Идеально для тех, кто только втягивается в мир Data Pipelines. Приятного просмотра и да пребудет с вами сила (и working DAG)! Подписывайтесь на телеграмм: Telegram https://t.me/marat_notes
Материалы по видео (Установка и настройка MinIO с Docker): https://github.com/MaratNotes/marat_n...
Видео из цикла - Как работают данные: практические кейсы. Если Вы когда-нибудь задумывались или хотите узнать как данные перемещаются внутри реальных продуктов, как строятся пайплайны, отслеживается их состояние и обеспечивается надёжная передача информации между системами - то этот цикл видео для Вас! Этот курс — гид в мир современных data-технологий. Я не буду просто теоретизировать, в результате мы вместе построим настоящую инфраструктуру обработки данных с нуля. 00:00 Приветственное слово 00:12 Airflow и S3 04:53 Установка и настройка MinIO с Docker 7:51 Реализация dag'а, ожидающего появления файла в хранилище 11:30 Заключительное слово #DataEngineering #ApacheAirflow #ETL #TechTutorial #DataInfrastructure #HandsOnTutorial #YoutubeEducation
