Автоматизированная разработка функций

Разработка функций — это процесс создания новых функций или изменения существующих функций для повышения производительности модели машинного обучения. Этот процесс обычно выполняется вручную и требует знаний предметной области, что может занимать много времени и быть сложным.

Автоматизированная разработка признаков направлена ​​на автоматизацию этого процесса. Это делается с помощью алгоритмов машинного обучения для выявления закономерностей и взаимосвязей в данных, которые могут быть полезны для создания новых функций. Например, инструмент автоматизированного проектирования функций может определить, что перемножение двух функций вместе улучшает производительность модели, и создать новую функцию на основе этого.

Интуиция. Представьте, что у вас есть набор инструментов, и каждый инструмент представляет собой функцию вашего набора данных. В традиционном машинном обучении вы выбираете и уточняете эти инструменты вручную, чтобы решить проблему. Автоматизированная разработка функций похожа на наличие интеллектуального набора инструментов, который может создавать новые инструменты или изменять существующие самостоятельно, чтобы лучше решить проблему.

Автоматическая предварительная обработка данных

Предварительная обработка данных включает в себя очистку и преобразование необработанных данных в формат, подходящий для модели машинного обучения. Этот процесс может включать обработку пропущенных значений, кодирование категориальных переменных, масштабирование числовых признаков и т. д.

Автоматизированная предварительная обработка данных направлена ​​на автоматизацию этих задач. Система может использовать сложные методы, например, для определения наилучшего способа обработки отсутствующих данных или принятия решения о том, когда и как применять масштабирование признаков.

Интуиция. Думайте об этом как о самоочищающейся и самоорганизующейся кухне. Вы просто приносите ингредиенты (необработанные данные), а кухня (автоматизированная система предварительной обработки данных) очищает, нарезает и готовит их для вас (обучает вашу модель) без вашего вмешательства.

Эталонные параметры и ограничения AutoML

Контрольные показатели необходимы для оценки производительности систем AutoML. Они обеспечивают объективные показатели для сравнения различных систем AutoML и отслеживания их прогресса с течением времени.

Несмотря на свои преимущества, AutoML также имеет ограничения. Например, это не всегда может быть лучшим выбором для задач, требующих специальных знаний в предметной области. Кроме того, хотя он может ускорить процесс разработки модели, он не всегда может создать модель, которая так же хороша, как модель, созданная опытным специалистом по данным, который глубоко понимает данные и проблему.

Интуиция. AutoML подобен универсальному повару, который может достаточно хорошо приготовить различные блюда (решить различные задачи) за короткое время, основываясь на книге рецептов (заранее определенные стратегии). Однако для некоторых конкретных или сложных блюд (задач) шеф-повар (специалист по данным), который глубоко разбирается в ингредиентах и ​​процессе приготовления, может приготовить блюдо лучше, если у него будет достаточно времени.