Каждый год на Amazon re: Invent мы слышим о новых услугах, предлагаемых Amazon Web Services (AWS), которые обычно направлены на решение проблем, стоящих перед бизнесом и разработчиками, причем одной из горячих тем является машинное обучение и искусственный интеллект.
Напомним, еще в сентябре 2016 года Amazon объявила о добавлении инстансов P2 к своему сервису Elastic Compute Cloud (EC2), который был направлен на ускорение глубокого обучения и других приложений [1]. Одной из этих проблем была стоимость глубокого обучения в облаке. Например, модели TensorFlow могут стать большими и потребовать больших вычислительных мощностей для обучения. Это напрямую ведет к высоким затратам, особенно при использовании этих типов инстансов P2, где цена начинается от 3,06 доллара США в час. [2]
Когда дело доходит до приложений глубокого обучения, мы делаем прогнозы, используя обученную модель, которая называется «вывод». Это может привести к большей части ваших затрат на вычисления из-за необходимости автономных экземпляров графического процессора, хотя для сравнения он использует гораздо меньше вычислительной мощности, чем обучение модели с начальным набором данных. Даже при пиковой нагрузке вычислительная мощность графического процессора может использоваться не полностью при выполнении логического вывода.
В этом году на ежегодной конференции re: Invent мы услышали, как генеральный директор AWS Энди Ясси во время своего основного выступления анонсировал новую услугу под названием Amazon Elastic Inference, предназначенную для снижения затрат на логические выводы глубокого обучения до 75%. [3]
Amazon Elastic Inference позволяет легко подключать недорогие средства ускорения на базе графического процессора к существующим инстансам EC2 и Amazon SageMaker без изменения кода. На момент выпуска сервис поддерживает типы моделей TensorFlow, MXNet и ONNX - позже будет добавлена дополнительная поддержка фреймворка.
С помощью Amazon Elastic Inference вы сможете выбрать тип инстанса, подходящий для вашего приложения, в зависимости от требований к процессору и памяти, а затем отдельно настроить требуемую степень ускорения логического вывода.
В REDspace мы являемся партнером-консультантом AWS и имеем большой опыт разработки всевозможных приложений с использованием сервисов AWS. Свяжитесь с нами, чтобы узнать, как мы можем сократить ваши расходы на глубокое обучение с помощью Amazon Elastic Inference. www.redspace.com
[1] «https://aws.amazon.com/about-aws/whats-new/2016/09/introduction-amazon-ec2-p2-instances-the-largest-gpu-powered-virtual-machine-in- облако/"
[2] https://aws.amazon.com/ec2/pricing/on-demand/
[3] https://aws.amazon.com/about-aws/whats-new/2018/11/introduction-amazon-elastic-inference/
