LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры
Как большие языковые модели работают под капотом. Ранний доступ к видео для участников Patrion: https://3b1b.co/early-attention
Отдельное спасибо следующим участникам: https://3b1b.co/lessons/gpt#thanks
Звуковая дорожка на русском языке: Влад Бурмистров. Другие рекомендуемые ресурсы по теме. Введение Ричарда Тёрнера - одна из лучших отправных точек: https://arxiv.org/pdf/2304.10557.pdf
Кодирование GPT с Андреем Карпатым • Let's build GPT: from scratch, in code, sp... Введение в "self-attention" от Джона Хьюитта https://web.stanford.edu/class/cs224n...
История языковых моделей от Брит Круз: • The Origin of ChatGPT Статья с такими примерами, как “woman - man”: https://arxiv.org/pdf/1301.3781.pdf
------------------ Таймкоды 0:00 - Predict, sample, repeat 3:03 - Inside a transformer 6:36 - Chapter layout 7:20 - The premise of Deep Learning 12:27 - Word embeddings 18:25 - Embeddings beyond words 20:22 - Unembedding 22:22 - Softmax with temperature 26:03 - Up next ------------------ Эти анимации в основном были созданы с помощью собственной библиотеки Python под названием manim. Частые вопросы доступны здесь: https://3b1b.co/faq#manim
https://github.com/3b1b/manim
https://github.com/ManimCommunity/manim/
Весь код для отдельных видео доступен здесь: https://github.com/3b1b/videos/
Музыка Винцента Рубинетти. https://www.vincentrubinetti.com
https://vincerubinetti.bandcamp.com/a...
https://open.spotify.com/album/1dVyjw...
------------------ 3blue1brown - это канал про анимацию математики, во всех смыслах слова анимация. Если Вы прочитали это описание до конца, то наверное Вы интересуетесь этими уроками больше, чем средне-статистический зритель. Мне будет очень приятно, если Вы будете следить на новостями, либо подписавшись на этот канал YouTube, либо на любой из указанных ниже платформ. Mailing list: https://3blue1brown.substack.com
Twitter: / 3blue1brown Instagram: / 3blue1brown Reddit: / 3blue1brown Facebook: / 3blue1brown Patreon: / 3blue1brown Website: https://www.3blue1brown.com
