Вебинар YTsaurus - планировщик и распределение вычислительных ресурсов

В очередном вебинаре о YTsaurus старший разработчик Егор Щербин рассказывает о работе планировщика и запуске операций в кластере. На вебинаре мы рассмотрим понятие дерева вычислительных пулов, а также научимся настраивать его для эффективного управления ресурсами в рамках одного кластера. А еще расскажем, как планировщик учитывает несколько типов ресурсов (CPU, RAM, GPU) и какую пользу это приносит пользователям системы. Сайт YTsaurus: https://ytsaurus.tech
GitHub: https://github.com/ytsaurus/ytsaurus
Чат в Телеграме: https://t.me/ytsaurus_ru
Jupyter notebook с примерами из вебинара: https://github.com/ytsaurus/ytsaurus/...
YTsaurus Terraform provider: https://github.com/ytsaurus/terraform...
«00:00 — Введение» «00:52 — Обзор compute подсистемы YTsaurus» «03:20 — Запуск простой операции» «06:49 — Распределение ресурсов и понятие Fair Share» «10:56 — Дерево пулов и алгоритм распределения ресурсов» «13:27 — Администрирование дерева пулов» «20:53 — Гарантии и лимиты на ресурсы» «26:49 — Учет нескольких типов ресурсов» «35:39 — Вытеснение» «39:23 — FIFO пулы» «42:39 — Несколько деревьев пулов» «46:07 — Спекулятивные джобы» «47:23 — Интегральные гарантии» «50:28 — Бонус: Terraform провайдер»