Решение галлюцинаций ИИ: прорывные инсайты OpenAI

   • Did OpenAI just solve hallucinations?   В данном видеоролике обсуждается недавняя статья OpenAI, которая определяет основную причину галлюцинаций в больших языковых моделях. Проблема заключается не только в неточных обучающих данных, но и в методах оптимизации, используемых при обучении моделей. Моделям труднее генерировать правильные ответы, чем проверять их, а системы вознаграждения в существующих бенчмарках поощряют "блеф" и предоставление уверенных, но неверных ответов вместо того, чтобы признавать незнание. Решение заключается в пересмотре методов оценки, вознаграждении моделей за признание неуверенности и применении пороговых значений уверенности для ответов, чтобы уменьшить склонность к галлюцинациям. Это позволит моделям вести себя более калибровочно и давать надежные ответы.