Машинное обучение/глубокое обучение в AWS. Я собираюсь объяснять с абсолютных основ, чтобы весь процесс казался простым. Но, во-первых, почему AWS?
AWS или Amazon Web Services предоставляет нам ряд инструментов на основе машинного обучения, которые помогают нам получать результаты за доли секунды. второй. Они также предоставляют нам услуги, которые могут быть встроены в наше приложение для обеспечения безопасности или любого другого процесса.

Начнем с объяснения тесной связи между AI, ML и DL. Давайте взглянем на общую схему иерархии.

Просто из диаграммы видно, что под подкатегорией AI подпадают ML и DL. DL использует свои сложные нейронные сети, предварительно обученные на AWS. Компании могут использовать данные, которые они получают от пользователей в зависимости от их активности, и использовать их для принятия решений для бизнеса.

К сведению: одним из моих первых проектов на AWS было создание проекта распознавания лиц на AWS, и мне потребовалось около 45 минут, чтобы сделать это и интегрировать его с моим собственным сервером. Вот насколько мощен AWS. AWS делает большинство своих инструментов на основе ИИ открытыми для рынка, чтобы их можно было интегрировать со своими сервисами. Сервисы AWS можно интегрировать с помощью API. 3 ключевых услуги, которые они предлагают:
1. На основе зрения: Amazon Rekognition
2. На основе речи: Amazon Polly
3. На основе чат-бота: Amazon Lex

В AWS при использовании сервисов на основе машинного обучения есть 3 основных шага, о которых нам нужно помнить. К ним относятся:
1. Обучение модели
2. Оценка и оптимизация
3. Получение прогнозов.

«В то время как традиционное машинное обучение фокусируется на разработке функций, глубокое обучение фокусируется на сквозном обучении на основе необработанных функций. Каждый слой отвечает за анализ дополнительных сложных функций в данных».

Какие ресурсы вы используете в AWS?
В AWS доступно несколько ресурсов, но вычислительная мощность очень важна для AWS. К счастью, AWS помогает вам инициализировать ЦП типа P (очень мощный), чтобы помочь делать прогнозы и другие базовые вычисления, или также добавить графический процессор в экземпляр (экземпляр EC2), чтобы обеспечить большую вычислительную мощность. Все эти ресурсы можно легко запустить одним щелчком мыши и легко развернуть.

Еще одним важным преимуществом AWS является его высокая экономичность. Для NN с более чем 100 внутренними уровнями требования к оборудованию будут очень высокими, а AWS предоставляет нам все ресурсы, которые можно запустить одним щелчком мыши.

Конвейер машинного обучения для бизнес-решений
Самое важное, что нужно сделать при планировании использования модели машинного обучения для вашего веб-приложения или для вашего бизнеса, — это понять, подходит ли модель машинного обучения для ваш конкретный вариант использования. Давайте перейдем к маршрутам.
ML использует данные, которые используются для обучения модели, которая затем используется для прогнозирования. Возьмем, к примеру, колл-центр, там может быть несколько мошеннических звонков, и чтобы доставить пользователя к нужному руководителю службы поддержки клиентов, может быть утомительным процессом, поскольку существует так много отделов. Именно здесь нам нужно понять модель наших клиентов и попытаться перенаправить их к нужному руководителю, чтобы улучшить процесс для них. Хотя это всего лишь пример. Сейчас существует несколько алгоритмов. Итак, какой из них мы должны использовать? Поскольку мы ищем не значения, а классы, мы можем назвать это проблемой мультиклассов.

Теперь давайте перейдем к конвейеру ML:

  1. Сбор данных и интеграция. Существует ряд источников данных, связанных с нашей проблемой, и их полезно использовать, но проблема заключается в предварительной обработке и определении функций, которые важны для проблемы и которые следует использовать для обучения нашей модели. Одно из важных правил, которое необходимо соблюдать:
    У вас должно быть как минимум в 10 раз больше точек данных/наблюдений, чем количество объектов. Например: если у вас есть 5 объектов, в наборе данных должно быть не менее 50 наблюдений.
  2. Подготовка данных. Специалисту по данным важно знать, каких данных вам не хватает, что необходимо для повышения точности модели и соответствует ли она нашим ожиданиям. Основная задача заключается в критическом изучении ваших данных вручную, а также в заполнении аномалий или отсутствующих данных. Мы также должны проверить, тесно ли связаны метки с нашей моделью машинного обучения.
  3. Визуализация и анализ данных. Это очень важный шаг в понимании огромного объема данных, с которыми мы работаем. Это помогает нам лучше понять выбросы и способ распределения данных, а также разделить данные в виде гистограмм и диаграмм рассеяния. График рассеяния помогает нам найти связь с нашими функциями. Нам нужно определить зашумленные наблюдения и устранить их, потому что они повлияют на производительность модели.
  4. Выбор функций и проектирование: включает в себя выбор функций из нашего набора данных. Здесь появляется еще одна концепция, называемая Разработка функций, в соответствии с которой данная функция преобразуется в спроектированную функцию, которая будет более полезной. Это одна из самых трудоемких частей конвейера машинного обучения.
  5. Обучение модели. Это самая важная часть. Здесь нам нужно разделить наши данные на 3 раздела:
     – Данные для обучения: сюда входят функции и метки, и мы передаем их для обучения модели.
     – Данные тестирования: они содержат только функции, чьи метки должны быть предсказаны
    - Данные проверки
    Обязательно рандомизируйте данные, чтобы убедиться, что модель правильно обучена, иначе модель адаптируется к фиксированному набору значений.
    Низкая дисперсия и низкое смещение — это то, что нам обычно нужно. Я постараюсь рассказать об этом в другом блоге.
  6. Оценка модели. После завершения начального этапа обучения модель необходимо оценить с использованием данных, которые были разделены и получены.
  7. Однако нам нужно убедиться, что мы не переоснащаем или занижаем данные. Это можно определить с помощью матрицы путаницы модели, которую также можно распечатать с помощью sklearn. Мы также можем распечатать точность и точность, чтобы оценить модель.
  8. Предсказание. Последний этап, на котором мы сопоставляем входные данные с выходными и сравниваем их оба.

В AWS Amazon Sagemaker сочетает в себе все эти функции и является одним из самых мощных инструментов, которые были разработаны.

Теперь, чтобы начать работу с наиболее известными инструментами машинного обучения на базе AWS, давайте начнем с Amazon Rekognition.

  • Amazon Rekognition – это полностью управляемый инструмент глубокого обучения на базе AWS, который помогает нам выполнять задачи, основанные на распознавании лиц, с помощью простого API, который также можно использовать для аутентификации. С его помощью можно идентифицировать лица, пейзажи и даже настроение человека. Его можно использовать с 0 опытом в ML. Его также можно использовать для модерации изображений путем запуска лямбда-функции. На самом деле, у него есть несколько вариантов использования.

  • AWS DeepLens – это видеоинструмент для разработчиков, основанный на глубоком обучении. DeepLens — это, по сути, беспроводная камера и платформа для разработки, интегрированная с облаком AWS и помогающая разработчикам с приложениями компьютерного зрения. Проект с использованием DeepLens выполняется с помощью AWS lambda, AWS Sagemaker и AWS green grass. Возможно, вы не знакомы с этими службами, поэтому я предлагаю прочитать о них, так как они могут пригодиться для ряда приложений. Но суть в том, что Sagemaker используется для создания модели или импорта предварительно обученной модели, лямбда создает функцию проекта, чтобы делать выводы. С другой стороны, DeepLens используется, чтобы помочь с загрузкой функции и для создания прогноза. Затем Greengrass используется для развертывания проекта приложения. Базовую архитектуру можно увидеть на диаграмме, приведенной ниже:

Функция: Rekognition также можно использовать для создания видео, беря сэмплы из хранилища S3 и редактируя их путем создания нескольких фрагментов по времени.
Один из известных способов Примеры использования были замечены на Королевской свадьбе в Англии: каждый входящий человек был помечен и идентифицирован с помощью AWS. Представление показано ниже:

Помимо этого, у нас есть ряд вариантов использования, таких как Amazon Deep Composer и Amazon SageMaker, о которых я буду упоминать в будущих блогах. Продолжай учиться.

Ваше здоровье.