Дата с Димой | Новости из мира BigTech | Эпизод 5
💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции. 🎯 Ключевые темы выпуска: 🧠 Черный юмор и интеллект — связь между чувством юмора и уровнем интеллекта. 💻 История COBOL — обсуждение языка программирования COBOL и его актуальности. ☁️ Snowflake и Trino — закрытие Snowflake и переход на альтернативные решения. 📊 Оптимизация Apache Spark — методы повышения производительности и эффективного использования ресурсов. 🤖 Внедрение Generative AI — как компании используют генеративный искусственный интеллект для повышения продуктивности. 📉 Сокращения в дата-командах — влияние сокращений на качество работы и аналитику. 🎓 Образование и карьера — советы по обучению и развитию карьеры в условиях снижения количества вакансий. 🛠️ Инструменты для работы с данными — использование DBT, Azure Data Factory и других инструментов в проектах. 📈 Инвестиции в AI — обсуждение инвестиций в искусственный интеллект и его влияние на рынок. ⚡ Будущее профессий — замена профессий AI и перспективы для специалистов в разных областях. 🎥 Хронометраж: 00:00 Введение 00:30 Черный юмор и интеллект 01:26 Языки программирования для не технических пользователей 03:18 Инструменты и вендоры 06:08 DuckDB и ее возможности 07:59 Сравнение компрессии данных 10:49 Оптимизация в Apache Spark 15:31 Будущее DataBricks и возможные приобретения 17:26 Проблемы в дата-командах и их влияние 19:20 Покупка Neon (managed Postgres) 20:16 Библиотека DBT для Snowflake 23:07 Проблемы с Iceberg Catalog и DuckDB 24:03 Эволюция инжиниринга-данных 25:01 Инкрементальная загрузка в dbt 26:54 Проекты и инфраструктура для Azure Data Engineer 27:51 Использование Azure Data Factory 28:49 BI инструменты и их стоимость 31:35 Обновление Power BI Dashboards через ETL 33:31 Инвестиции в AI 39:06 IDE для работы с данными 40:02 Инвестиции в AI и стартапы 42:50 Поиск работы и увольнения 49:24 Влияние AI на профессии 50:22 Будущее аналитики и нехватка электриков 52:15 Карьера Principle инженера 56:06 Бизнес-скилы и их важность 59:55 Увольнения в Microsoft 01:00:50 Анализ рынка вакансий 01:01:47 Использование Generative AI в кол-центрах 01:02:42 Новые сервисы и инструменты 01:03:38 Анализ вакансий и внедрение ИИ в школы 01:05:30 Курсы и покупки в области ИИ 01:07:24 Технологический стек и карьерные перспективы 01:08:18 Проблемы с контентом и использование ИИ 01:10:11 Советы по резюме и поиск работы ⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢 💡 Источники: 1. https://arturastutkus.substack.com/p/...
2. https://select.dev/docs/dbt-snowflake...
3. https://github.com/surfalytics/data-p...
4. https://www.databricks.com/blog/best-...
5. https://blog.alexewerlof.com/p/princi...
6. / alexander-varlamov-8359054a_auiaugauqaugau... 7. • Визуализация данных в Metabase | Обзор на ... 8. https://yandex.cloud/ru/training/prom...
9. https://www.reuters.com/sustainabilit...
Ссылки: 🛠️ Телеграм Канал: https://t.me/rockyourdata
🛠️ Сайт: dataengineer.ru 🛠️ Валютная удаленка: surfalytics.com
