AutoML экономит время и упрощает жизнь

Здравствуйте, мои друзья, работающие с данными. Поскольку это моя первая статья на носителе, я хотел бы поделиться некоторыми важными библиотеками AutoML в python, которые вам необходимо знать для автоматизации машинного обучения. и наверняка облегчит вашу экспериментирующую жизнь. Мне нужна ваша поддержка, чтобы написать больше статей в ближайшие дни.

Как мы все знаем, проекты машинного обучения действительно отнимают много времени, и эти библиотеки могут облегчить жизнь. AutoML относится к автоматическому поиску наилучшего сочетания подготовки данных, модели и гиперпараметров модели для задачи прогнозного моделирования. Как сказано, он выполняет следующие задачи:

  • Предварительно обработайте и очистите данные.
  • Выберите и постройте соответствующие функции.
  • Выберите подходящее семейство моделей.
  • Оптимизация гиперпараметров модели.
  • Разработайте топологию нейронных сетей (если используется глубокое обучение).
  • Модели постпроцессного машинного обучения.
  • Критически проанализировать полученные результаты.

В этой статье мы обсудим 5 библиотек или фреймворков autoML с открытым исходным кодом:

  1. Автоматическое обучение
  2. ТПОТ
  3. Hyperopt Sklearn
  4. Auto-Keras
  5. H2O AutoML

1. Автоматическое обучение:

Auto-sklearnпредоставляет готовую библиотеку автоматизированного машинного обучения. Созданный на основе библиотеки машинного обучения scikit-learn, auto-sklearn автоматически ищет правильный алгоритм обучения и оптимизирует его гиперпараметры. Поиск оптимального конвейера с помощью метаобучения, байесовской оптимизации и ансамблевого обучения.

Таким образом, инженеры по машинному обучению могут сосредоточиться на реальной проблеме, поскольку они могут выполнять большую часть утомительной работы, такой как предварительная обработка и методы разработки функций, такие как кодирование One-Hot, нормализация функций, уменьшение размерности.

Монтаж:

точка

Используйте pip для установки библиотеки Auto-Sklearn следующим образом:

pip install auto-sklearn

конда-кузница

Чтобы установить Auto-Sklearn и его основные зависимости, вы можете использовать:

conda install -c conda-forge auto-sklearn

Пример кода:

Auto-sklearn Github и Документация для получения дополнительной информации.

2. ТПОТ:

TPOT (Tree-based Pipeline Optimization Tool) — это инструмент автоматизированного машинного обучения Python, который оптимизирует конвейеры машинного обучения с использованием генетического программирования. процедура глобального поиска для эффективного обнаружения наиболее производительного конвейера модели для заданного набора данных.

Монтаж:

точка

Используйте pip для установки библиотеки TPOT следующим образом:

pip insall tpot

конда-кузница

Чтобы установить tpot и его основные зависимости, вы можете использовать:

conda install -c conda-forge tpot

Образец кода:

TPOTGitHub и Документация для получения дополнительной информации.

3. HyperOpt-Sklearn:

HyperOpt-Sklearn — это оболочка для HyperOpt, которая поддерживает AutoML с HyperOpt для популярной библиотеки машинного обучения Scikit-Learn, включая набор преобразований подготовки данных, а также алгоритмы классификации и регрессии. Он предназначен для крупномасштабной оптимизации моделей с сотнями параметров. и позволяет масштабировать процедуру оптимизации на несколько ядер и несколько машин.

Монтаж:

точка

Используйте pip для установки библиотеки HyperOpt следующим образом:

pip install hyperopt

git клон

мы можем выполнить эту операцию вручную, клонировав репозиторий и запустив установку из локальных файлов:

git clone https://github.com/hyperopt/hyperopt-sklearn.git
cd hyperopt
pip install .

Образец кода:

HyperOpt-SklearnGithub и Документация для получения дополнительной информации.

4. Auto-Keras

AutoKeras — это система AutoML, основанная на Keras и использующая возможности поиска нейронной архитектуры с помощью нескольких строк кода. Он разработан DATA Lab Техасского университета A&M. AutoKeras — это библиотека с открытым исходным кодом для выполнения AutoML для моделей глубокого обучения. Поиск осуществляется с использованием так называемых моделей Keras через API TensorFlow tf.keras.

AutoKeras предоставляет простой в использовании интерфейс для различных задач, таких как классификация изображений, классификация структурированных данных или регрессия и многое другое.

Монтаж:

точка

Используйте pip для установки библиотеки AutoKeras следующим образом:

pip install autokeras

Образец кода:

AutoKerasРепозиторий GitHub и документация для получения дополнительной информации.

5. H2O AutoML:

AutoML от H2O можно использовать для автоматизации рабочего процесса машинного обучения, который включает в себя автоматическое обучение и настройку многих моделей в течение заданного пользователем срока.

H2O предлагает ряд методов объяснимости модели, которые применяются к объектам AutoML (группам моделей), а также к отдельным моделям (например, модель лидера). Пояснения могут создаваться автоматически с помощью одного вызова функции, предоставляя простой интерфейс для изучения и объяснения моделей AutoML.

Монтаж:

Предпосылки:

! apt-get install default-jre
!java -versi

точка

Используйте pip для установки библиотеки H2O AutoML следующим образом:

pip insall h2o

конда-кузница

Чтобы установить H2O и его основные зависимости, вы можете использовать:

conda install -c anaconda h2o

Образец кода:

Заключение:

В этой статье мы рассказали о библиотеке AutoML 5 и о том, как она исследовала задачи автоматизации в конвейере машинного обучения, такие как предварительная обработка данных, настройка гиперпараметров, выбор и оценка модели. Существуют также некоторые другие библиотеки AutoML, такие как AutoGluon, MLBoX, TransmogrifAI, Auto-WEKA, AdaNet, MLjar, TransmogrifAI, Azure Machine Learning, Ludwig.

Использованная литература:

[1] Библиотеки автоматизированного машинного обучения (AutoML) для Python (сентябрь 2020 г.): https://machinelearningmastery.com/automl-libraries-for-python/

[2] 8 библиотек AutoML для автоматизации конвейера машинного обучения (декабрь 2020 г.): https://medium.com/swlh/8-automl-libraries-to-automate-machine-learning-pipeline-3da0af08f636

Спасибо за прочтение