Ридж и LASSO регрессия

Второй способ борьбы с мультиколлинеарностью – это включение штрафа в сумму наименьших квадратов. Соответственно, мы минимизируем непросто сумму квадратов остатков, а мы минимизируем сумму квадратов остатков плюс штраф за слишком большие коэффициенты. Мы штрафуем нашу модель за то, что коэффициенты β с крышкой оказываются слишком далеко от 0.Соответственно, наиболее распространенными являются 3 формы штрафа. Первая форма штрафа, где мы добавляем с некоторым весом λ сумму квадратов оцененных коэффициентов, этот метод называется ридж-регрессия. Второй алгоритм называется LASSO, где мы штрафуем нашу сумму квадратов остатков на сумму модулей оцененных коэффициентов, опять же с весом λ. И третий компромиссный вариант– метод эластичной сети, где мы штрафуем нашу сумму квадратов остатков и на сумму модулей оценок коэффициентов, и на сумму квадратов оценок коэффициентов ========================= Подписаться на канал -    / @Основыанализаданных   Курс программирования на R -    • Основы программирования на R   Курс основы эконометрики в R -    • Основы эконометрики в R