В нашем последнем посте мы указали, что Auger превосходит новый Microsoft AutoML и другие инструменты AutoML, такие как H2O и TPOT. В частности, мы взяли наборы данных OpenML, которые Microsoft использовала для сравнения своего AutoML с другими инструментами, время ограничено одним часом, и сравнили прогнозные модели Оже (алгоритмы плюс гиперпараметры). Точность Auger в среднем на 3,6% выше, чем у Microsoft AutoML (а Auger и Microsoft значительно превзошли H20 и TPOT).
Большой вопрос, который мы получили по этому поводу, - «как это возможно иметь такую значительно более высокую точность?». Для этого есть несколько основных причин. Давайте обсудим каждый из них.
Auger выбирает подходящий оптимизатор на основе набора данных
Большинство инструментов AutoML даже не выполняют интеллектуального поиска, а вместо этого полагаются на поиск по сетке (или случайный поиск, который на самом деле является просто поиском по случайной сетке). Некоторые продукты AutoML используют один и тот же оптимизатор (который выбирает, какой алгоритм и гиперпараметры обучать следующим) для каждого набора данных, с которым они представлены. В отличие от этого, Auger использует несколько готовых алгоритмов оптимизации (например, Tree Parzen Estimators, Partical Swarm и Nelder Mead) и соответствующим образом выбирает, какой оптимизатор использовать на основе характеристик набора данных. А для некоторых наборов данных Auger использует собственные оптимизаторы, о которых стоит поговорить отдельно.
Auger использует собственные оптимизаторы, которые превосходят другие известные открытые оптимизаторы
У Auger есть несколько проприетарных оптимизаторов, которые по некоторым наборам данных превосходят более широко известные открытые алгоритмы, упомянутые выше. Мы не будем здесь углубляться в эти вопросы. Есть несколько идей, которыми мы можем поделиться. Во-первых, большинство подходов к байесовской оптимизации (например, HyperOpt и HyperBand) полагаются исключительно на оценки точности обученного алгоритма. Оже понимает, что, поскольку исследование пространства возможных алгоритмов и гиперпараметров на самом деле представляет собой проблему с бесконечным временем, нам нужно определить проблему как поиск лучшей модели в ограниченном временном интервале. Оже использует оценки как точности, так и времени для обучения, чтобы выбрать модель с наилучшими шансами на наивысшую точность в выбранные временные рамки (и у нас есть патенты на это).
Не используйте только ансамблевые модели, а ансамблевые оптимизаторы
Подобно тому, как Auger объединяет ведущие дополнительные модели в ансамбли для достижения максимальной точности, Auger в некоторых случаях объединяет подходы оптимизаторов, чтобы быстрее находить лучшие предлагаемые модели. Собственные оптимизаторы Auger хорошо сочетаются с более широко известными подходами. Намного лучше, чем два похожих известных оптимизатора (таких как HyperOpt и HyperBand).
Оже выбирает, с какой модели начать, на основе набора данных
Будь то стандартные оптимизаторы или собственные оптимизаторы Auger, чтобы ускорить процесс получения приемлемой точности модели как можно скорее, Auger выбирает исходную модель (алгоритм плюс гиперпараметры) на основе анализа характеристик набора данных по сравнению с другими наборами данных. он тренировался против в прошлом. В качестве размещенной службы у нас есть довольно большая коллекция, на которой можно учиться. Обратите внимание, что мы используем только метаданные таких наборов данных (количество функций, количество строк или событий, распределение данных по функциям), а не сами данные. Мы называем такой подход «теплым стартом». Это одна из причин, почему Auger так быстро начинает предлагать достаточно точные обученные модели вскоре после начала эксперимента.
Но самые важные данные - ваши собственные
Каков был ваш опыт работы с Auger.AI на ваших собственных наборах данных? Какова точность других AutoML? Что ты получил с Аугером? Сколько времени вы уделили тренировочному процессу? Особенно, если вы один из немногих контрпримеров, где Оже не смог быстрее найти более точную модель, мы хотим услышать от вас.
