BERT – универсальный инструмент NLP. Лекция 6 по обработке естественного языка.

Лекция посвящена архитектуре BERT, позволяющей решать широкий спектр задач обработки естественного языка. 00:00 Вступление 01:30 Быстро вспоминаем архитектуру Transformer 02:51 Как используется векторное представление языка в NLP? 05:26 Метод ELMo 08:30 BERT: Bidirectional Encoder Representations from Transformers 11:56 BERT: Pre-training 12:51 Masked Language Model 13:39 Next Sentence Prediction 15:20 Архитектура BERT 18:14 BERT: детали 18:24 BERT: параметры архитектуры 19:39 Masked Language Model: параметры 23:36 WordPiece Model: пример 25:26 BERT: Token, Segment, Positional Embeddings 27:48 Приложения BERT в режиме Fine-tuning 28:07 Приложения BERT: Sentence Pair Classification Task 33:34 Приложения BERT: Question Answering 39:41 Результаты на разных задачах 40:16 Приложения BERT в режиме Feature Based 41:53 BERT: Ablation Study Евгений Разинков -- к.ф.-м.н., руководитель отдела машинного обучения и компьютерного зрения Группы компаний FIX, преподаватель Казанского федерального университета, кофаундер и директор по науке компании Pr3vision Technologies, CEO парфюмерного AI-проекта http://scented.ai
Информация о лекциях: http://razinkov.ai
Телеграм-канал с анонсами лекций и материалами по машинному обучению: https://t.me/razinkov_ai