Арсений Бирюков — CI/CD для большого хранилища данных

Подробнее о конференции SmartData: https://jrg.su/aTWU2K
— — Скачать презентацию с сайта SmartData — https://jrg.su/H6uPJS
Разработка хранилища данных — сложная задача, причем не с технической, а с операционной точки зрения. Любое хранилище постоянно приходится дорабатывать — изменять ETL-процессы, переделывать таблицы, оптимизировать производительность. Например, в Т-Банке работает около 100 дата-инженеров, и мы релизим изменения в хранилище почти каждый день. Постоянная параллельная разработка порождает целый ворох специфических проблем, для решения которых просто не существует готовых решений. Поэтому им пришлось разработать свой инструмент для CI/CD в хранилище данных. Арсений рассказал, зачем это сделали, какие проблемы решили и почему в команде думают, что их система самая лучшая и прогрессивная на земле.