BAGGING, СЛУЧАЙНЫЙ ЛЕС, РАЗЛОЖЕНИЕ ОШИБКИ НА СМЕЩЕНИЕ (BIAS) И РАЗБРОС (VARIANCE). полная лекция
Композиции моделей в машинном обучении позволяют решать более сложные задачи, на этой лекции рассматривается темы: 1. Почему композиции моделей работают с точки зрения математики (разложение ошибки на смещение и дисперсию) 2. Общее устройство композиции под названием бэггинг (bagging) 3. Как можно реализовать случайный лес с деревьями решений, реализованными через рекурсию. Курсы на платформе Stepik: 1. Библиотеки Python для Data Science https://stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) https://stepik.org/a/127274
Для более осмысленного понимания, советую ознакомится с теорией построения дерева решений • Как обучается дерево решений для регрессии... 0:00 Введение 0:31 Общая концепция бэггинга 1:11 Разложение ошибки на шум, смещение и дисперсию 3:50 Модель с низким смещением (bias) и высоким разбросом (variance) 6:41 Модель с высоким смещением (bias) и низким разбросом (variance) 8:25 Резюме по смещению и разбросу 9:42 Математика объединения моделей в композицию 10:53 Корреляция между базовыми алгоритмами 11:28 Метод бэггинг (на бустрап выборках) 13:34 Метод случайных подпространств 14:26 Резюме по усреднению алгоритмов 16:20 Случайный лес 17:48 Количество признаков в случайном лесу для классификации и регрессии 18:20 Реализация случайного леса 19:38 Функция для генерации бустрапированных данных 21:15 Функция для генерации случайных признаков 23:06 Класс узла для дерева решений 23:57 Класс листа для дерева решений 25:04 Функция для критерия информативности Джини 26:11 Функция для прироста информации (information gain) 27:28 Функция для разбиения по вопросу 28:24 Функция для поиска наилучшего разбиения 31:15 Функция для построения дерева решений через рекурсию 32:52 Функция для построения случайного леса 33:34 Функция для классификации одного объекта деревом 34:51 Функция для классификации всей выборке 35:37 Функция для предсказания всем случайным лесом 37:45 Разбиение данных на обучение и тест 37:53 Функция для accuracy 38:40 Обучение случайных лесов 42:56 Резюме лекции 44:44 Вопрос про параметры случайного леса 47:16 Вопрос про вероятности при предсказании случайном лесом 49:01 Вопрос про разницу случайного леса и бустинга 50:10 Бэггинг бустингов 51:58 Вопрос про разные бустинги 53:30 Вопрос про масштабирования данных для деревьев 54:27 Вопрос про предобработку данных 57:35 Вопрос про балансировку классов (библиотека imblearn)
