AutoML экономит время и упрощает жизнь
Здравствуйте, мои друзья, работающие с данными. Поскольку это моя первая статья на носителе, я хотел бы поделиться некоторыми важными библиотеками AutoML в python, которые вам необходимо знать для автоматизации машинного обучения. и наверняка облегчит вашу экспериментирующую жизнь. Мне нужна ваша поддержка, чтобы написать больше статей в ближайшие дни.
Как мы все знаем, проекты машинного обучения действительно отнимают много времени, и эти библиотеки могут облегчить жизнь. AutoML относится к автоматическому поиску наилучшего сочетания подготовки данных, модели и гиперпараметров модели для задачи прогнозного моделирования. Как сказано, он выполняет следующие задачи:
- Предварительно обработайте и очистите данные.
- Выберите и постройте соответствующие функции.
- Выберите подходящее семейство моделей.
- Оптимизация гиперпараметров модели.
- Разработайте топологию нейронных сетей (если используется глубокое обучение).
- Модели постпроцессного машинного обучения.
- Критически проанализировать полученные результаты.
В этой статье мы обсудим 5 библиотек или фреймворков autoML с открытым исходным кодом:
- Автоматическое обучение
- ТПОТ
- Hyperopt Sklearn
- Auto-Keras
- H2O AutoML
1. Автоматическое обучение:
Auto-sklearnпредоставляет готовую библиотеку автоматизированного машинного обучения. Созданный на основе библиотеки машинного обучения scikit-learn, auto-sklearn автоматически ищет правильный алгоритм обучения и оптимизирует его гиперпараметры. Поиск оптимального конвейера с помощью метаобучения, байесовской оптимизации и ансамблевого обучения.
Таким образом, инженеры по машинному обучению могут сосредоточиться на реальной проблеме, поскольку они могут выполнять большую часть утомительной работы, такой как предварительная обработка и методы разработки функций, такие как кодирование One-Hot, нормализация функций, уменьшение размерности.
Монтаж:
точка
Используйте pip для установки библиотеки Auto-Sklearn следующим образом:
pip install auto-sklearn
конда-кузница
Чтобы установить Auto-Sklearn и его основные зависимости, вы можете использовать:
conda install -c conda-forge auto-sklearn
Пример кода:
Auto-sklearn Github и Документация для получения дополнительной информации.
2. ТПОТ:
TPOT (Tree-based Pipeline Optimization Tool) — это инструмент автоматизированного машинного обучения Python, который оптимизирует конвейеры машинного обучения с использованием генетического программирования. процедура глобального поиска для эффективного обнаружения наиболее производительного конвейера модели для заданного набора данных.
Монтаж:
точка
Используйте pip для установки библиотеки TPOT следующим образом:
pip insall tpot
конда-кузница
Чтобы установить tpot и его основные зависимости, вы можете использовать:
conda install -c conda-forge tpot
Образец кода:
TPOTGitHub и Документация для получения дополнительной информации.
3. HyperOpt-Sklearn:
HyperOpt-Sklearn — это оболочка для HyperOpt, которая поддерживает AutoML с HyperOpt для популярной библиотеки машинного обучения Scikit-Learn, включая набор преобразований подготовки данных, а также алгоритмы классификации и регрессии. Он предназначен для крупномасштабной оптимизации моделей с сотнями параметров. и позволяет масштабировать процедуру оптимизации на несколько ядер и несколько машин.
Монтаж:
точка
Используйте pip для установки библиотеки HyperOpt следующим образом:
pip install hyperopt
git клон
мы можем выполнить эту операцию вручную, клонировав репозиторий и запустив установку из локальных файлов:
git clone https://github.com/hyperopt/hyperopt-sklearn.git
cd hyperopt
pip install .
Образец кода:
HyperOpt-SklearnGithub и Документация для получения дополнительной информации.
4. Auto-Keras
AutoKeras — это система AutoML, основанная на Keras и использующая возможности поиска нейронной архитектуры с помощью нескольких строк кода. Он разработан DATA Lab Техасского университета A&M. AutoKeras — это библиотека с открытым исходным кодом для выполнения AutoML для моделей глубокого обучения. Поиск осуществляется с использованием так называемых моделей Keras через API TensorFlow tf.keras.
AutoKeras предоставляет простой в использовании интерфейс для различных задач, таких как классификация изображений, классификация структурированных данных или регрессия и многое другое.
Монтаж:
точка
Используйте pip для установки библиотеки AutoKeras следующим образом:
pip install autokeras
Образец кода:
AutoKerasРепозиторий GitHub и документация для получения дополнительной информации.
5. H2O AutoML:
AutoML от H2O можно использовать для автоматизации рабочего процесса машинного обучения, который включает в себя автоматическое обучение и настройку многих моделей в течение заданного пользователем срока.
H2O предлагает ряд методов объяснимости модели, которые применяются к объектам AutoML (группам моделей), а также к отдельным моделям (например, модель лидера). Пояснения могут создаваться автоматически с помощью одного вызова функции, предоставляя простой интерфейс для изучения и объяснения моделей AutoML.
Монтаж:
Предпосылки:
! apt-get install default-jre !java -versi
точка
Используйте pip для установки библиотеки H2O AutoML следующим образом:
pip insall h2o
конда-кузница
Чтобы установить H2O и его основные зависимости, вы можете использовать:
conda install -c anaconda h2o
Образец кода:
Заключение:
В этой статье мы рассказали о библиотеке AutoML 5 и о том, как она исследовала задачи автоматизации в конвейере машинного обучения, такие как предварительная обработка данных, настройка гиперпараметров, выбор и оценка модели. Существуют также некоторые другие библиотеки AutoML, такие как AutoGluon, MLBoX, TransmogrifAI, Auto-WEKA, AdaNet, MLjar, TransmogrifAI, Azure Machine Learning, Ludwig.
Использованная литература:
[1] Библиотеки автоматизированного машинного обучения (AutoML) для Python (сентябрь 2020 г.): https://machinelearningmastery.com/automl-libraries-for-python/
[2] 8 библиотек AutoML для автоматизации конвейера машинного обучения (декабрь 2020 г.): https://medium.com/swlh/8-automl-libraries-to-automate-machine-learning-pipeline-3da0af08f636
Спасибо за прочтение