Llama 3.1: разбор статьи. Часть 1.Intro & Data mix

Разбираем статью "The Llama 3 Herd of Models" (2024) со слушателями нашей AI-школы. Следующий поток онлайн-школы по AI: с 18 ноября 2024. Информация здесь: https://t.me/razinkov_ai/653
Как это было и как будет: https://youtube.com/live/v1TRbW0AizI
Таймкоды: 00:00 Приветствие 03:07 Abstract 06:50 1 Introduction 20:30 2 General Overview 32:12 3 Pre-Training 33:07 3.1 Pre-Training Data 35:33 3.1.1 Web Data Curation 49:29 3.1.2 Determining the Data Mix 54:51 3.1.3 Annealing Data Все видео плейлиста: 1. Intro & Data mix:    • Llama 3.1: разбор статьи. Часть 1.Intro & ...   2. Model Architecture & Scaling laws:    • Llama 3.1: разбор статьи. Часть 2. Archite...   3. Pre-training:    • Llama 3.1: разбор статьи. Часть 3. Pre-tra...   4. Reward modeling & Supervised Fine-tuning:    • Llama 3.1: разбор статьи. Часть 4. Reward ...   5. DPO:    • Llama 3.1: разбор статьи. Часть 5. DPO.   6. Post-training data:    • Llama 3.1: разбор статьи. Часть 6. Post-tr...   Плейлист с разбором Llama 3.1:    • Llama 3.1:  разбор статьи   Телеграм-канал: https://t.me/razinkov_ai
Список моих открытых курсов по AI на YouTube: https://t.me/razinkov_ai/622
Предварительная регистрация в следующий поток AI-школы: https://razinkov.ai/school