SageMaker
Amazon SageMaker - это комплексное решение Amazon для разработки машинного обучения, которое позволяет разработчикам и специалистам по обработке данных собирать данные, создавать, обучать и развертывать модели машинного обучения с помощью AWS. Идея Amazon SageMaker заключалась в том, чтобы предоставить разработчикам и специалистам по обработке данных инструмент, который позволил бы им быстрее вводить свои модели в производство, одновременно экономя как усилия, так и трудозатраты.
Чтобы сделать процесс разработки и развертывания машинного обучения еще более быстрым и оптимизированным, Amazon сегодня на Amazon Re: Invent анонсировала Amazon SageMaker Data Wrangler.
Data Wrangler - одна из девяти новых возможностей SageMaker, которые были представлены сегодня, и одна из них, несомненно, вызовет наибольший интерес у специалистов по данным. Мы более подробно рассмотрим Data Wrangler ниже, поэтому, пожалуйста, отправьте мне сообщение и дайте мне знать, работает ли это для вас или как вы измените его для моих статей в будущем!
SageMaker Data Wrangler
Любой, кто когда-либо работал с машинным обучением (сокращенно ML), знает, что настоящий подъем наступает, когда приходит время агрегировать и готовить данные. Фактически, команда AWS поговорила с группами специалистов по данным и спросила, сколько времени фактически тратится на изучение проблем машинного обучения по сравнению с подготовкой данных, и, согласно их сообщению в блоге Data Wrangler, до 80 (!!!)% специалистов по данным » время тратится на подготовку данных. Из-за этого в Amazon осознали необходимость упростить для специалистов по обработке данных агрегирование своих данных, и, таким образом, родился Data Wrangler.
Новые проекты машинного обучения, как правило, изобилуют ручными процессами, требующими узкоспециализированных и опытных специалистов по данным и разработчиков, чтобы запустить проекты с нуля, используя такие инструменты, как PySpark для работы с преобразованиями данных, которые затем используются для обработки наборов данных и создания обучения. модели. Этот процесс чрезвычайно утомителен, поскольку требует от специалистов по обработке данных постоянно переделывать процесс обучения, прогнозировать результаты, а затем анализировать свои прогнозы в постоянной итерации. Эта постоянная итерация позволяет специалистам по обработке данных в конечном итоге достичь определенного уровня точности в прогнозировании и, таким образом, Машинное обучение!
Зная все это, Amazon работал над созданием SageMaker Data Wrangler, чтобы специалисты по данным могли лучше оптимизировать свое время. Согласно сообщению в блоге Data Wrangler, Data Wrangler напрямую интегрирован с SageMaker Studio, полностью управляемой интегрированной средой разработки AWS для машинного обучения. В этой IDE разработчики и специалисты по обработке данных обнаружат, что теперь у них есть возможность подключать источники данных одним щелчком мыши.
Согласно исследованиям Amazon, одной из наиболее трудоемких частей подготовки данных был фактический поиск данных и предоставление к ним доступа для ваших команд машинного обучения. Благодаря этому Data Wrangler позволяет вашей команде машинного обучения получать доступ ко многим наиболее распространенным сервисам AWS, основанным на данных, без дополнительных настроек, таким как S3, Redshift и Lake Formation. Data Wrangler также включает более 300 встроенных преобразований данных, которые помогут специалистам по обработке данных сократить время, затрачиваемое на подготовку данных.
Вывод
Машинное обучение - это очень увлекательный сектор технологий, и, похоже, мы все больше и больше склоняемся к нему. Amazon предоставил своей пользовательской базе несколько вариантов для создания и использования наборов данных машинного обучения и доказал на Re: Invent 2020, что они глубоко привержены тому, чтобы сделать этот опыт более оптимизированным.
Если вас интересует дополнительная информация об Amazon SageMaker, обязательно ознакомьтесь с публикацией в блоге Amazon на Data Wrangler, а также просмотрите страницу продукта SageMaker.
Если вам понравилось читать эту статью, не стесняйтесь ознакомиться с другими моими статьями о Medium и посетить мой LinkedIn, где я активен и всегда готов поболтать обо всем, что связано с AWS.
👋 Присоединяйтесь к FAUN сегодня и получайте похожие истории каждую неделю на свой почтовый ящик! ️ Получите еженедельную дозу обязательных к прочтению технических статей, новостей и руководств.
Подписывайтесь на нас в Twitter 🐦 и Facebook 👥 и Instagram 📷 и присоединяйтесь к нашим Facebook и Linkedin Группы 💬
