Абылайхан Турласов. LLM Антипсихотики или Guided decoding

Просите LLM: "Сгенерируй JSON без лишних слов", — а получаете "Here is your json..."? Хочется одно слово, а в ответ прилетает 4 тома Абай Жолы? В докладе разберёмся, как можно влиять на результаты генерации LLM без prompt engineering'а. Покажем, как делать ответы компактными и структурированными. "LLM-нен «JSON-ды артық сөзсіз жаса» деп сұрасаңыз, ал жауапта «Here is your json...» деп келіп тұр ма? Бір сөз керек, ал жауапта «Абай жолының» 4 томы секілді мәтін пайда бола ма? Баяндамамызда prompt engineering-ті қолданбай LLM генерациясының нәтижелеріне қалай әсер етуге болатынын қарастырамыз. Жауаптарды ықшам және құрылымдалған етіп жасаудың жолдарын көрсетеміз.