Архитектура LLM | BERT, трансформеры, attentions | Podlodka Podcast #444

Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части. Полезные ссылки: — Illustrated Transformer https://jalammar.github.io/illustrate...
— Attention is all you need https://arxiv.org/abs/1706.03762
— Illustrated BERT https://jalammar.github.io/illustrate...
— GPT-family models overview https://towardsdatascience.com/meet-g...
— A bit of overview of tokenization https://huggingface.co/learn/llm-cour...
❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: https://t.me/podlodka
📰 Не любишь чаты, но хочешь оставаться в курсе дел и прокачивать свой IT кругозор? Подписывайся на наш Telegram-канал: там публикуются анонсы новых выпусков, а в комментах идут ценные и горячие обсуждения! 5 тысяч опытных IT-специалистов уже с нами: https://t.me/podlodkanews
👉Предложить себя в подкаст https://forms.gle/NtmaZmeDAa3MHSra7
Тайм-коды: 00:00 О чем выпуск 09:45 Принципы работы машинное обучение 30:22 Декодерные модели и их применение 38:57 Физический смысл эмбедингов 42:00 Выбор размерности 47:29 Трансформеры 01:02:27 Токенизация и её влияние 01:12:22 Большие языковые модели 01:24:26 Сравнение моделей 01:27:13 Качество данных и масштабирование моделей 01:30:55 Заключение