Покоряя недетерминизм LLM: решение от Thinking Machines

   • Ex-OpenAI CTO Reveals Plan to Fix LLMs Big...   Источником является расшифровка видео с YouTube-канала "Matthew Berman", в котором обсуждается, как бывший технический директор OpenAI, работающий теперь в Thinking Machines, предложил решение проблемы недетерминированности в больших языковых моделях (LLM). Эта проблема проявляется в том, что один и тот же входной запрос может привести к разным ответам от модели, даже если для контроля случайности параметр "температура" установлен на ноль. В тексте объясняется, что одной из главных причин такого поведения, по мнению Thinking Machines, является изменение размера "пакета" (batch size) запросов, что нарушает порядок внутренних математических вычислений. Предложенное решение, заключающееся в сохранении постоянного размера пакета и порядка обработки данных, демонстрирует успешное достижение полной воспроизводимости результатов LLM в экспериментах. Видео также включает рекламу сервиса под названием Lindy.