Да, вы правильно прочитали !!! Если вы специалист по обработке данных, ЭТО ОБЯЗАТЕЛЬНО ПРОЧИТАЙТЕ.
Я пишу этот пост как для технических, так и для нетехнических специалистов. Таким образом, сообщение будет на простом английском языке [а техническое слово будет заключено в фигурные скобки], а технический раздел будет упомянут перед его началом.
Прежде чем я расскажу, как можно воплотить свою идею в жизнь, а также поэкспериментировать бесплатно. Давайте разберемся в предпосылках.
Предпосылка:
Ноутбук / компьютер или даже телефон с доступом в Интернет.
Нет необходимости в тяжелых компьютерах или графических картах.
Нет необходимости в знаниях программирования или глубокого машинного обучения. [Если да, это дополнительное преимущество]
Достаточно поговорить, давайте перейдем к
Если вы еще не догадались, это новая функция AutoAI, предлагаемая в IBM Watson Studio от IBM Cloud.
Мы будем рассматривать инструкции, технические аспекты и обзор не отдельными разделами, а все в одном.
Что такое AutoAI?
AutoAI - это облачный инструмент IBM, используемый для получения наилучшей модели машинного обучения (ML) для определенного набора данных. Кроме того, мы можем выбрать конкретный столбец для прогнозирования. Пусть это будет число (int) или выражение (char).
После подготовки данных первым делом нужно выбрать алгоритм машинного обучения для обучения. И поверьте мне, AutoAI очень хорош в этом. Он обучает наш набор данных на различных моделях и дает нам наилучший возможный результат.
Самое главное - это использование всех алгоритмов для лучшего прогноза. Бьюсь об заклад, вы бы не работали над всем. Даже если вы старший разработчик машинного обучения с 10-летним опытом.
Кроме того, мы можем получить код ML, сгенерированный для всех обученных моделей на python, в виде записной книжки.
[Технические]
Кроме того, он автоматически вычисляет все меры ошибок, такие как Среднеквадратичная ошибка, средняя абсолютная ошибка и другие (для всех моделей).
[Техническое закрытие]
Вы можете подумать, что обучение всем видам алгоритмов займет несколько часов или даже день или два. Если да, извините, что вы ошиблись. Я провел 3 эксперимента с AutoAI, и все они заняли менее 30 минут с большими наборами данных.
Запустим Watson Studio
Чтобы поэкспериментировать, вы можете создать учетную запись уровня бесплатного пользования, если у вас ее еще нет в IBM Cloud. А позднее обновление в соответствии с вашими потребностями.
После создания учетной записи перейдите в каталог, затем в Watson studio.
После этого вы попадете на эту страницу, выберите ближайшее место и нажмите создать
А на следующей странице просто нажмите «Начать».
тогда вы попадете на страницу ниже, заполните свои данные.
Затем вы попадаете в красивую студию Watson, оформленную в черном цвете.
Создайте пустой «Новый проект», дайте ему имя и описание по вашему выбору. Также не забудьте добавить запоминающее устройство. Все шаги просты, поэтому я не буду повторять каждый щелчок. Это было бы так глупо.
Тогда после всего этого вы окажетесь на этой странице.
А теперь пришло время добавить данные в облако. Мы можем просто перетащить данные / просмотреть компьютер (это может быть xlsx, CSV или любой другой принятый формат)
Еще одна вещь, когда мы загружаем набор данных, Watson автоматически назначает тип для отдельных столбцов, да, довольно круто, правда.
Хорошо, теперь вы загрузили файл размером 10 ГБ, но не очистили его. Перестаньте винить себя или перестаньте удалять файл. Расслабьтесь, мы можем почистить это в Watson Studio.
Просто нажмите «Данные» и выберите Уточнить. Где вы можете выполнить преобразование типа (строка на дату или любое другое) или переименовать или удалить операции со столбцами.
Прежде чем мы начнем, позвольте мне рассказать вам о своих экспериментах с AutoAI. Я провел 3 разных типа
- Лучшие способы преодоления насилия в отношении женщин (женщин, а не карен) - Dataset
- Прогнозирование видео на Youtube - Набор данных
- На основе данных о предотвращении комаров - собрано из многих источников, а также из некоторых источников в Интернете.
В демонстрационных целях я буду использовать часть предсказания видео Youtube, а кое-где еще две. Так что можете повесить скриншоты.
Итак, здесь она приняла trending_date как строку, потому что она не соответствует стандартному формату, указанному IBM. Итак, это было идентифицировано как строка. Просто посмотрите вариант, который я дал слева.
Кроме того, мы можем сделать некоторые визу. здесь это показывает, что видео из музыкальной категории имеют больше просмотров, чем видео из любой другой категории. НАРУШЕНИЯ НЕ ПРЕДНАЗНАЧЕНЫ. Мы любим Pewdiepie💖
И это не заканчивается на гистограммах старой школы. Есть еще 33, чтобы повеселиться, и если серьезно, я не видел их ВСЕХ в одном месте.
И еще несколько операций, которые мы можем выполнить, и многое другое
Хорошо, теперь, когда данные загружены, давайте установим наш AutoAI. Нажмите «Добавить в проект», а затем добавьте эксперимент AutoAI.
Как обычно, дайте вашему эксперименту имя, описание, при необходимости свяжите службу машинного обучения, а затем загрузите в набор данных. Подробную видеоинструкцию вы можете посмотреть в официальном руководстве по IBM AutoAI.
После всего этого мы должны выбрать переменную для прогнозирования, в моем случае это представления.
Поскольку мы знаем, что views - это целочисленный тип, мы используем модели регрессионного типа. Так что он выбирает это автоматически. Затем запускаем эксперимент.
Здесь происходит волшебство
После щелкаем ВЫПОЛНИТЬ. мы получаем карту отношений и карту прогресса.
Как указано на карте прогресса, он начинается с чтения набора данных, разделения для обучения и тестирования (также вы можете изменить его, если хотите), предварительной обработки, выбора моделей для тестирования.
Кроме того, он выполняет Разработка функций [Разработка функций - это процесс использования знаний предметной области для извлечения функций из необработанных данных. Эти функции можно использовать для повышения производительности алгоритмов машинного обучения. Функциональную инженерию можно рассматривать как прикладное машинное обучение.]
Настройка / оптимизация гиперпараметров [Выбор лучших параметров для обучения предварительно выбранных моделей машинного обучения.] подробнее здесь…
Позвольте мне показать мой случай, он выбрал регрессор дополнительного дерева и регрессор случайного леса. И это было завершено за 19 минут.
И лучшей моделью оказался регрессор дополнительного дерева с HPO и FE, оптимизацией гиперпараметров и проектированием функций.
сравнение конвейеров / сравнение всех созданных моделей.
Замечательно, не правда ли. Он выбирает модели, а также выбирает лучшие параметры, а также рассчитывает все меры ошибок, такие как среднеквадратичная ошибка, средняя абсолютная ошибка и многие другие.
Хорошо, теперь модель обучена, что дальше?
У нас есть два способа: развернуть модель в облаке или загрузить исходный код модели. да, исходный код. Я знаю, что вы этого не ожидали😁, или мы можем выполнить развертывание и записную книжку.
Посмотрим, что у нас получилось с записной книжкой, после нажатия создать мы получаем эту страницу.
Как видите, мы можем опубликовать блокнот на Github, Gist или в Каталоге или сделать все, если вы сделаете все, я могу четко сказать, что вы более сумасшедший, чем шутник.
Теперь модель Развертывание.
Просто создайте развертывание модели, а затем мы должны продвинуть ее в космос, чтобы использовать. Мы можем использовать его как веб-сервис или как пакетный сервис.
Мы можем использовать веб-сервис через curl, Java, Javascript, Python и Scala. А для их использования нам понадобится API. Так что создайте его.
Так что это все, что я обещал вначале. Все, что я здесь сделал, бесплатно, конечно, за экстремальное использование придется платить.
Итак, Почему бы не исследовать себя?
Бонус
Немного информации о другой моей модели «Лучшие способы преодоления насилия в отношении женщин», которую я обучил за 18 минут.
Я не хочу утомлять тебя словами, увидь себя
Если вы зашли так далеко, у меня есть для вас две вещи: Спасибо и чашка кофе☕
