Основы Airflow (Как работают данные: практические кейсы) #2

Видео посвящено основам Airflow. Второе видео из цикла - Как работают данные: практические кейсы. Здесь рассматриваются понятия dag, task и operator для Airflow. Также затрагиваются вопросы расписания Airflow, и Variables и Connections. Если Вы когда-нибудь задумывались или хотите узнать как данные перемещаются внутри реальных продуктов, как строятся пайплайны, отслеживается их состояние и обеспечивается надёжная передача информации между системами - то этот цикл видео для Вас! Этот курс — гид в мир современных data-технологий. Я не буду просто теоретизировать, в результате мы вместе построим настоящую инфраструктуру обработки данных с нуля. Ссылка на материалы из видео: https://github.com/MaratNotes/marat_n....
- - Telegram https://t.me/marat_notes
00:00:00 Приветственное слово 00:00:21 Общее про Airflow 00:02:24 План рассказа видео 00:02:44 Dag и что это в Airflow 00:04:56 Понятие Task в Airflow 00:05:41 Task и Operator 00:07:17 Типы Operator'ов 00:09:46 Параметры задания расписания в Airflow 00:09:46 Variables and Connections 00:12:12 Заключение 00:12:46 До скорых встреч #DataEngineering #ApacheAirflow #ETL #TechTutorial #DataInfrastructure #HandsOnTutorial #VkEducation