Цепочка рассуждений в больших языковых моделях (Chain-of-Thought prompting)
Выдержки из исследовательской статьи, посвященной методу подсказок "цепочки рассуждений" (Chain-of-Thought prompting) для улучшения способности больших языковых моделей (БЯМ) к сложному рассуждению. Авторы демонстрируют, что, предоставляя БЯМ примеры с серией промежуточных шагов рассуждения в запросе, можно значительно повысить производительность моделей в задачах, требующих логики, таких как арифметические задачи, задачи на здравый смысл и символические манипуляции. Результаты показывают, что эта способность возникает естественным образом при достаточно большом масштабе модели (около 100 миллиардов параметров и более), существенно превосходя стандартный метод подсказок, где модель сразу выдает ответ. В частности, использование этого подхода с моделью PaLM 540B достигает передового уровня на нескольких эталонных тестах математических текстовых задач. В статье также обсуждается надежность метода при использовании различных аннотаторов и примеров, а также его преимущества в интерпретируемости процесса рассуждения модели. 00:00 — Цепочка мыслей: Рассуждения ИИ 00:37 — Почему модели, пишущие стихи, не могут решить школьную задачу? 01:04 — Крупные языковые модели были сильны в языке, но терпели неудачу 01:45 — Цепочка мыслей: Решение, изменившее всё 02:38 — Преимущества CoT 04:01 — Эмерджентное свойство 04:48 — Абляционное исследование Сайт: https://systems-analysis.ru
Wiki: https://systems-analysis.ru/wiki
X (Twitter): https://x.com/system_ru
Telegram: https://t.me/systems_analysis_ru
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou https://arxiv.org/abs/2201.11903
#ИИ #искусственныйинтеллект #LLM #большиеязыковыемодели #CoT #ChainofThought #цепочкамыслей #промптинг #промпт #промт #машинноеобучение #нейронныесети #рассужденияИИ #GoogleAI
