Полупараметрические методы извлечения и представления знаний из текста

Спикер: Юрий Землянский, Южно-Калифорнийский университет, Лос-Анджелес, Калифорния, США. Некоторые задачи обработки естественного языка требуют использования информации из разрозненных мест в тексте. Современные методы на основе модели Transformer могут одновременно обрабатывать ввод только ограниченного размера. Это затрудняет их использование в задачах с большим объемом ввода, такие как ответы на вопросы по книгам или Википедии. Мы решаем эту проблему с помощью полупараметрического метода извлечения и представления информации из текста. Наш метод представляет знания с помощью «Таблицы Упоминаний», которая содержит многомерную кодировку для каждого упоминания именованной сущности в тексте. Мы интегрируем таблицу упоминаний в Transformer модель, что позволяет нам комбинировать и использовать информация из по множества разрозненных источников в тексте. Мы применяем нашу модель на задачах с вопросами по целым книгам (https://aclanthology.org/2021.naacl-m...)
или с вопросами по всей Википедии (https://arxiv.org/abs/2110.06176
) Статьи по докладу — ReadTwice (https://aclanthology.org/2021.naacl-m...)
и MentionMemory (https://arxiv.org/abs/2110.06176).