DATALEARN | DE - 101 | МОДУЛЬ 4-4 ETL Компоненты

Мы уже должны понимать основные компоненты любого аналитического решения для больших и маленьких данных - это BI/DW/ETL. Понимать концептуально. В этом уроки мы поговорим про ETL решения и про требования и рекомендации, которые неплохо продумать перед началом создания data pipelines или data integration. Так же мы узнаем основные элементы open-source решения - Pentaho DI и потренируемся выполнять упражнения 2го модуля с помощью UI ETL инструмента. В этом видео вы узнаете: 📌 История Pentaho DI 📌 Основные компоненты Pentaho DI 📌 Требования к ETL приложению 📌 Data Profiling 📌 Change Data Capture 📌 Design for Failure 📌 Logging and Auditing ETL решения 📌 Testing и Debugging ETL решения 📌 На практике увидите, кам можно загружать данные в базу данных и трансформировать их В 4-ом модуле нашего курса вы узнаете про интеграцию и трансформацию данных - ETL и ELT. Это ключевой элемент в аналитическом решении, с помощью которого мы наполняем данными хранилище данных и автоматизируем загрузку и трансформацию данных. Мы рассмотрим примеры популярных on-premise batch решений. Узнаете в чем отличие ETL от ELT, для чего нужны такие решения, что значит batch и on-premise, как с помощью ETL/ELT можно создавать модели данных, на примере dimensional modeling, рассмотрим рынок ETL/ELT. Потренируюмся на классическом open-source ETL решении Pentaho DI и рассмотрим настольный инструмент от Tableau - Tableau Prep. В этом модуле, мы не будем затрагивать облачные ETL/ELT инструменты и решения Big Data, для этого у нас будут отдельные модули. 🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки! 💸Поддержать проект (а вдруг?):   / dmitryanoshin   или https://paypal.me/dmitryanoshin
📕 Записывайтесь и проходите курс Инженера Данных. ⚠️ КУРС БЕСПЛАТНЫЙ! 🔗 Записаться вы можете на нашем портале https://datalearn.ru/
👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания, отдавать их на проверку и получить сертификат прохождения курса. 📚Книги по аналитике Дмитрия Аношина - https://www.amazon.com/Dmitry-Anoshin...