Динтаблицы YTsaurus — и ещё одна СУБД от Яндекса | Руслан Савченко
Подписывайтесь на наш канал здесь и в телеграм https://t.me/meetups_evrone
, чтобы быть в курсе будущих митапов и не пропускать полезные доклады! Публичное представление уникальной распределённой СУБД, разработанной в Яндексе для работы с большими данными и высокими нагрузками. В этом докладе впервые подробно рассказывается, что такое динтаблицы YTsaurus: как и зачем они появились, какие задачи решают, как эволюционировали с 2013 года и где применяются внутри компании. Зрители узнают о ключевых фичах системы, архитектурных решениях и реальных сценариях использования — от антифрода до поискового робота и поведенческой рекламы. https://ytsaurus.tech/
00:00 - Введение 00:32 - YTsaurus в 2013 году 01:27 - Баннерная крутилка 02:13 - Проблемы шардированного MySQL 03:15 - Добавляем распределенный Write Ahead Log 04:12 - Распределенная OLTP БД в YTsaurus 05:03 - Read-Modify-Write 05:57 - Агрегирущие колонки 06:45 - 2015 г. Динтаблицы YTsaurus 07:09 - Отчеты, бэкапы, аналитика 09:03 - У нас же есть MapReduce 11:07 - 2017 г. Динтаблицы YTsaurus 11:44 - Batch Processing 12:42 - Поисковый робот 14:20 - Изоляция динтаблиц и MapReduce 15:12 - Data node lookup 16:28 - Антифрод 19:09 - Изоляция между пользователями 20:28 - Большие кластеры 21:36 - 2018 г. Динтаблицы YTsaurus 21:56 - Поведенческая реклама 22:22 - Рекламные профили 23:00 - Потоковая обработка данных 23:49 - Exactly-once-обработка данных 25:03 - Добавляем быстрые чтения 26:05 - 2020 г. Динтаблицы YTsaurus 26:41 - От чтений из памяти к SSD 27:19 - I/O Scheduler 27:57 - NVMe SSD 29:14 - Log-structured merge-tree (LSM) 30:27 - Проблемы LSM 30:53 - Блобы на SSD 32:39 - 2023 г. Динтаблицы YTsaurus 32:57 - Поколоночное хранение 34:27 - SQL 35:43 - Доступность: репликация через кросс-дц-кластер 37:16 - Постоянная доступность 38:14 - 2024 г. Динтаблицы YTsaurus 00:00 - Введение 00:32 - YTsaurus в 2013 году 01:27 - Баннерная крутилка 02:13 - Проблемы шардированного MySQL 03:15 - Добавляем распределенный Write Ahead Log 04:12 - Распределенная OLTP БД в YTsaurus 05:03 - Read-Modify-Write 05:57 - Агрегирущие колонки 06:45 - 2015 г. Динтаблицы YTsaurus 07:09 - Отчеты, бэкапы, аналитика 09:03 - У нас же есть MapReduce 11:07 - 2017 г. Динтаблицы YTsaurus 11:44 - Batch Processing 12:42 - Поисковый робот 14:20 - Изоляция динтаблиц и MapReduce 15:12 - Data node lookup 16:28 - Антифрод 19:09 - Изоляция между пользователями 20:28 - Большие кластеры 21:36 - 2018 г. Динтаблицы YTsaurus 21:56 - Поведенческая реклама 22:22 - Рекламные профили 23:00 - Потоковая обработка данных 23:49 - Exactly-once-обработка данных 25:03 - Добавляем быстрые чтения 26:05 - 2020 г. Динтаблицы YTsaurus 26:41 - От чтений из памяти к SSD 27:19 - I/O Scheduler 27:57 - NVMe SSD 29:14 - Log-structured merge-tree (LSM) 30:27 - Проблемы LSM 30:53 - Блобы на SSD 32:39 - 2023 г. Динтаблицы YTsaurus 32:57 - Поколоночное хранение 34:27 - SQL 35:43 - Доступность: репликация через кросс-дц-кластер 37:16 - Постоянная доступность 38:14 - 2024 г. Динтаблицы YTsaurus
