Имплементация Трансформера from scratch (на PyTorch)

Код из видео: https://t.me/LLMCourseBot?start=bert_...
Больше материалов по NLP: https://t.me/+Ml16EbQoepcwMGNi
00:00 - gelu, эмбеддинги, layer norm 00:39 - self attention 02:36 - residual connection, layer norm 04:03 - encoder 04:20 - pooling 04:45 - модель трансформер (BERT)