Мне было трудно найти материалы для улучшения методов машинного обучения. Поэтому я резюмирую их все здесь. Если вам это нравится, пожалуйста, дайте большой палец или оставьте комментарий.
Спасибо!
У нас есть 3 технологии бустинга, и каждая из них достаточно сложна. Я решил разделить их на 4 статьи. Подпишитесь и сохраните все эти заметки, если вы не можете изучить их все за один день.
- AdaBoost (Адаптивный бустинг)
- Усиление градиента для регрессии и классификации
- XGBoost для регрессии и классификации
- Оптимизация XGBoost и настройка гиперпараметров
Эта статья для AdaBoost.
Обобщить:
1. AdaBoost Объединяет множество пней для классификации/регрессии.
2. Некоторые культи получают больший вес в классификации/регрессии, чем другие.
3. Пень обновляет ошибку предыдущего пня.
Процедуры AdaBoost
1. Инициализация
- Приложите вес к весу образца, в начале это 1/N (N - количество наблюдений)
- Первый пень. Посмотрите, насколько хорошо каждый предиктор предсказывает, вычислив остатки.
- Рассчитайте индекс Джини. Самый маленький будет первым пеньком.
- Определите количество слов для веса первого предиктора.
Общая ошибка для культи — это сумма весов, связанных с неправильно классифицированными выборками. Количество слов зависит от этой ошибки:
Сумма say будет равна 0 в случайной ситуации. И если пень классифицировал его неправильно, отрицательное количество слов перевернет его, и в следующий раз он будет правильным.
2. Измените веса на основе предыдущих ошибок.
Если количество слов велико (предыдущий пень отлично справился), мы придаем ему большой масштаб. Мы увеличим веса выборки этого и уменьшим остальные.
Затем мы нормализуем веса выборки и делаем их в сумме равными 1.
Взвешенный индекс Джини можно выбрать. Новая коллекция выборок (Новый набор данных) на основе весов выборок также работает.
3. Делайте прогнозы
Например. для проблемы классификации полов. Мы разделяем культи на 1 и 0 и складываем все количество слов вместе.
Пол Мужской Сумма количества высказываний = 3
Пол Мужской Сумма количества высказываний = 2
Затем мы сделаем прогноз, что пол мужской.