Мок-собеседование на senior? Data Engineer S1E7 | rzv_de | Oct 2024

Погружаемся в роли интервьюера и кандидата на час, плотная 45-минутная обратная связь уже выложена на бусти. https://boosty.to/rzv_de
Послушал про опыт кандидата, в этот раз 100% теории, без задач. Делись с заинтересованными, если понравилось и хочешь ещё. Пиши, если чего-то не хватило и что-то нужно доработать. Если хочешь больше контента по инжинирингу данных от сеньора из индустрии -- подписывайся на авторский канал: https://t.me/rzv_de
Для записи на интервью пиши в телеграмм: https://t.me/razvodov_de_mentor
00:06 Приветствие 00:30 Формат 01:10 Про опыт 05:31 Про хранилище, слои 08:35 Microbatch vs Streaming 09:35 Презентационный слой, DA, DS 10:35 Трансформ на Kafka 12:22 Джойны стриминговых данных 12:50 Формат хранения на S3, почему 13:14 Альтернативы паркету 14:13 Что используете в Iceberg 17:15 Масштабирование Kafka 18:15 Кастомные операторы Airflow 19:39 Работа с Airflow в k8s 25:02 Инкрементальные загрузки в S3 27:16 Партицирование 29:20 Self serivce аналитика 31:07 BigQuery 31:22 Kafka vs RabbitMQ 32:48 Доставка сообщений в распределённых системах 36:41 PostgreSQL vs MSSQL 38:39 Индексы в OLAP, что вместо 47:35 BigQuery part 2 50:22 Индексы в OLAP, что вместо part 2 52:10 Greenplum 54:08 Spark оптимизации 56:40 Spark физические join'ы 1:00:20 Вопросы интервьюеру по проекту -- Music license -- Haru by Roa | https://roa-music.com
Music promoted by https://www.chosic.com/free-music/all/
Creative Commons CC BY 3.0 https://creativecommons.org/licenses/...