Ансамбль в переводе с английского означает «группа слов». Обычно он используется в контексте группы «Музыканты». В контексте машин обучающие ансамбли означают группу моделей, используемых вместе.

Предположим, у нас есть несколько простых моделей, таких как M1, M2, M3….Mk, эти модели можно построить с использованием таких методов, как KNN, логистическая регрессия, SVM, деревья решений. Мы пытаемся использовать преимущества всех этих простых моделей и объединить их и сделать более мощную модель. Это основная идея ансамблей в машинном обучении.

Существует четыре типа ансамблевых методов, которые в основном используются: 1). Бэггинг (самозагрузочная агрегация) 2) Бустирование 3) Штабелирование 4) Каскадирование. Используя эти методы, мы можем создавать высокопроизводительные и мощные модели машинного обучения. Большинство победителей Kaggle используют эти методы для победы в соревнованиях Kaggle. Различные компании Amazon, Google, Facebook широко используют эти модели в производственной среде.

Ключевым аспектом этих ансамблей является то, что "чем более разные эти образцы моделей, тем лучше вы можете их комбинировать".

В общем, мы можем относиться к каждому образцу модели как к эксперту в определенной области, и с помощью всех этих моделей мы можем найти одно мощное решение поставленной реальной проблемы.

сейчас мы обсудим каждый из этих ансамблевых методов, давайте сначала начнем с бэгинга.

  1. Бэггинг (агрегация начальной загрузки): популярная модель бэггинга — случайный лес. Бэггинг — это комбинация начальной загрузки и агрегации. В начальной загрузке мы делим весь набор обучающих данных на K небольших наборов обучающих данных, используя метод выборки с заменой. Каждый из этих небольших обучающих наборов данных мы называем образцами Bootstrap. Используя эти образцы, мы создадим M образцов моделей, теперь, используя технику агрегирования, мы объединили результаты всех этих моделей и получили окончательный результат. Например, если это проблема классификации, мы выберем большинство голосов для всех образцов моделей, и в зависимости от того, какой класс имеет наибольшее количество голосов, мы классифицируем новую точку данных запроса для этого класса. тогда как в случае регрессии мы будем использовать среднее медианное значение, чтобы узнать результат точки данных запроса.

Интуиция модели ансамбля для проблемы классификации:

Для проблемы регрессии:

"Как мы знаем, если данные обучения изменятся, модель изменится, и мы называем это дисперсией. В методах ансамбля, даже если мы изменили обучающие данные, влияние этого на конечный результат очень меньше, потому что, поскольку мы создали модели K, используя выборку с заменой, даже если небольшой набор данных, который изменился в наборе обучающих данных влияет только на несколько моделей . Поскольку мы внедряем методы агрегирования (голосование большинством (классификация), среднее или медиана (регрессия)) влияние этих изменений на конечный результат очень мало, поэтому наша окончательная модель будет моделью с низкой дисперсией в мешках (дисперсия уменьшена с помощью мешков) и это не влияет на смещение модели».

Например, если мы можем рассмотреть модели с низким смещением и высокой дисперсией (обычно это деревья решений с максимальной глубиной), используя метод бэгинга, мы можем создать мощную модель с низким смещением и сниженной дисперсией. мы называем эту модель случайным лесом.

Вывод о бэггинге. Используя бэггинг, мы можем уменьшить дисперсию выборочных моделей и создать мощную модель с уменьшенной дисперсией, не влияя на систематическую ошибку модели.