Новый метод сжатия больших языковых моделей с помощью структурированных матричных разложений

Семинар BayesGroup «Новый метод сжатия больших языковых моделей с помощью структурированных матричных разложений» от 24.03.2025. Докладчик: Екатерина Гришина (НИУ ВШЭ) В докладе представлен метод для сжатия больших языковых моделей без использования файнтьюнинга и обратного распространения ошибки. Мы рассмотрим подход для эффективного сжатия линейных слоев с помощью структурированных матричных разложений, таких как кронекерово произведение и монархические (GS) матрицы.