Регрессия пик-плато

Дополним нашу модель априорным распределением, которое называется регрессия пик-плато. Суть состоит в следующем: мы будем предполагать, что коэффициенты β либо точно 0 с вероятностью 1/2, либо «непонятно что» с вероятностью 1/2. Соответственно, это распределение можно формально математически записать следующим образом: что β_j, j-тый коэффициент модели, имеет нормальное распределение с математическим ожиданием 0 и некоторой дисперсией — дисперсия γ_j * τ_j в квадрате, где γ_j либо 1 с вероятностью 1/2, либо 0 с вероятностью 1/2. Соответственно, если вот этот множитель γ_j оказывается равным 0, то получается, что β_j имеет нормальное распределение с математическим ожиданием 0 и дисперсией 0, а что такое случайная величина с дисперсией 0? Это константа. То есть если γ_j принимает значение 0, получается, что β_j-тое в точности равно 0 с вероятностью 1/2. Получается как бы такой острый пик, мы с вероятностью 1/2 β_j равно 0, а с вероятностью 1/2 γ_j окажется равным 1 и дисперсия β_j, то есть наше априорное мнение будет состоять в том, что дисперсия β_j равна τ_j в квадрате. И τ_j в квадрате предполагается случайной величиной, имеющей обратное гамма-распределение. Для тех, кто не знает, что такое обратное гамма-распределение,можно просто заметить, что это некое распределение, которое гарантирует неотрицательность величины τ_j в квадрате. Ну, поскольку, дисперсия не бывает отрицательной, то от обратного гамма-распределения требуется, чтобы оно было неотрицательным, и, соответственно, a_1 и a_2 — это какие-то параметры, которые определяют форму обратного гамма-распределения. И, соответственно, мы выберем форму гамма-распределения так, чтобы τ_j в квадрате принимало довольно большие значения. Тогда получится, что с вероятностью 1/2 дисперсия β_j равна 0, то есть мы точно уверены, что β_j равно 0, и с вероятностью 1/2 дисперсия β_j, τj в квадрате принимает огромное значение, и это означает, что мы абсолютно не уверенны в том, какое же значение принимает β_j. Вот получается у нас такая смесь пика (мы точно уверены, что коэффициент равен 0) и плато (мы не знаем, где коэффициент лежит). Поэтому эта регрессия называется регрессия пик-плато ========================= Подписаться на канал -    / @Основыанализаданных   Курс программирования на R -    • Основы программирования на R   Курс основы эконометрики в R -    • Основы эконометрики в R