Облако или локально: где развернуть ваши приложения ИИ
Я собираюсь предоставить вам информацию, необходимую для того, чтобы сделать прибыльную оценку с низким уровнем риска, чтобы выбрать облачный или локальный ИИ.
В APAC AI наше партнерство с AWS и Nvidia предоставило нам беспрецедентный доступ к самым мощным в мире графическим процессорам, и мы также работаем рука об руку с локальными центрами обработки данных для обучения любой из наших сотен различных мультимодальных моделей.
Мы совершили тысячи ошибок и хотим избавить вас от боли.
Если вы хотите узнать больше об APAC AI, The Automated Public Assistance Company и о том, как мы можем помочь вам снизить стоимость обслуживания вашего приложения AI, нажмите ниже или напишите мне по адресу [email protected].
Приложения ИИ больше не являются эксклюзивными для технологических гигантов, таких как Facebook или Google.
Повышение доступности технологий хранения и графических процессоров позволяет массам получить доступ к возможностям искусственного интеллекта, таким как машинное обучение и роботизированная автоматизация процессов, одним движением кредитной карты.
Но где именно ваша организация должна хранить огромные объемы данных, часто необходимых для инициатив в области ИИ?
По мере того, как организации всех размеров начинают осваивать приложения ИИ, выбор между облачным и локальным развертыванием станет ключевым вопросом для поставщиков ИТ-услуг и других торговых партнеров.
Вопрос, который должна задать себе каждая компания при работе с ИИ: «Где мы находимся в континууме ИИ?»
Ответ на этот вопрос может помочь вам определить, потребуется ли вам локальная инфраструктура центра обработки данных для поддержки потребностей ИИ или использование готовых моделей в облаке может помочь вам в достижении вашей цели.
Когда дело доходит до выбора между облачным и локальным ИИ, очень важно понимать риски.
Согласно отчету 451 Research, 90% компаний используют облачные сервисы в той или иной форме.
Однако тот же отчет показал, что 60% рабочих нагрузок по-прежнему выполняются локально, что указывает на баланс между ними.
С точки зрения затрат облачные услуги могут варьироваться от нескольких сотен долларов в месяц для небольших проектов до десятков тысяч долларов в месяц для крупномасштабных проектов.
С другой стороны, локальные решения могут иметь первоначальную стоимость в несколько тысяч долларов за необходимое оборудование с дополнительными текущими затратами на обслуживание и обновления.
Кластеры GPU для ИИ
Когда дело доходит до ИИ, выбор графического процессора может существенно повлиять на производительность и эффективность ваших моделей.
Графические процессоры NVIDIA A100, H100, T4 и V100 являются одними из лучших вариантов для рабочих нагрузок ИИ благодаря их высокой вычислительной мощности и эффективности.
Графический процессор NVIDIA A100 с тензорным ядром
Графический процессор NVIDIA A100 с тензорными ядрами предназначен для ресурсоемких задач искусственного интеллекта и высокопроизводительных вычислений.
Его можно эффективно масштабировать до тысяч графических процессоров или разделить на семь экземпляров графических процессоров для ускорения рабочих нагрузок любого масштаба.
Стоимость графического процессора A100 может варьироваться от 10 000 до 20 000 долларов США в зависимости от конфигурации оперативной памяти графического процессора.
Графический процессор NVIDIA H100 с тензорным ядром
Графический процессор NVIDIA H100 с тензорными ядрами — это самый мощный в мире графический процессор для центров обработки данных, предназначенный для ИИ, высокопроизводительных вычислений и анализа данных.
Он обеспечивает гигантский скачок в производительности приложений и предназначен для обработки широкого спектра ресурсоемких рабочих нагрузок в центрах обработки данных.
Стоимость графического процессора H100 составляет более 40 000 долларов за единицу.
Графические процессоры NVIDIA T4 и V100
Для небольших кластерных установок отличным выбором станут графические процессоры NVIDIA T4 и V100.
NVIDIA T4 — это универсальный ускоритель глубокого обучения, идеально подходящий для распределенных вычислительных сред и стоящий около 2000 долларов.
Между тем, NVIDIA V100 является одним из самых передовых графических процессоров для центров обработки данных, когда-либо созданных для ускорения искусственного интеллекта, высокопроизводительных вычислений и графики, с ценой от 8000 до 10 000 долларов.
Облачный и локальный хостинг для приложений ИИ
Различия между облачным и локальным хостингом часто сравнивают с арендой и покупкой дома.
Облачный хостинг очень похож на аренду; Срок действия приложений ИИ определяется условиями контракта.
Кроме того, обслуживание оборудования является обязанностью хостинг-провайдера.
С другой стороны, локальный хостинг похож на покупку дома; приложение может оставаться на оборудовании до тех пор, пока этого требует бизнес. Но выбор между ними зависит от нескольких факторов:
Облачный и локальный хостинг для приложений ИИ
Локальное развертывание приложений ИИ устранит необходимость продления условий контракта, что снизит затраты на использование.
Однако в результате могут возрасти расходы на обслуживание собственного центра обработки данных.
Во время экспериментов с ИИ выбор вариантов оплаты по мере использования позволит сократить расходы.
Однако со временем затраты на техническое обслуживание могут возрасти.
Масштабируемость
Локальный хостинг предлагает полный контроль над оборудованием, а это означает, что администраторы компании могут жестко контролировать обновления.
Но локальный хостинг требует расширенного планирования для масштабирования оборудования.
Это связано с тем, что для сбора необходимых данных для его обновления требуется время.
Облачные ресурсы можно быстро настроить в соответствии с конкретными требованиями и повысить масштабируемость оборудования.
В облачных сервисах слишком много программного беспорядка в аппаратных стеках, что снижает масштабируемость.
Безопасность
Полный контроль над данными, хранящимися на территории предприятия; никакая третья сторона не имеет доступа к данным, если они не взломаны. Хостинг-провайдеры должны обновлять свои системы и шифровать данные, чтобы избежать нарушений.
Тем не менее, ваша компания не может быть уверена, где хранятся ваши данные и как часто выполняется их резервное копирование; данные также доступны третьим лицам.
Гравитация данных
Учитывая затраты на обучение нейронных сетей с помощью массивных наборов данных для передачи данных, компании могут захотеть развернуть свои приложения ИИ локально, если данные там доступны.
Если данные, необходимые для создания приложений ИИ, находятся в облаке, то лучше развертывать приложения там.
- Расположение самого крупного источника данных для предприятия определяет расположение его наиболее важных приложений, что объясняется концепцией «гравитации данных».
- Гравитация данных — это способность данных притягивать к себе приложения, сервисы и другие данные. Это один из наиболее важных факторов, которые следует учитывать при выборе между облачными и локальными платформами.
Пример использования облачных приложений ИИ
Облачные сервисы искусственного интеллекта — идеальное решение для многих организаций. Вместо создания огромного центра обработки данных для доступа к вычислительным ресурсам вы можете использовать инфраструктуру, которую уже поддерживает кто-то другой.
На самом деле, одной из причин, по которой ИИ стал настолько распространенным, являются облачные провайдеры, предлагающие облачные сервисы ИИ по принципу plug-and-play, а также доступ к достаточной вычислительной мощности и предварительно обученным моделям для запуска приложений ИИ.
Это значительно снижает барьеры для входа.
Но имейте в виду, что во многих случаях предварительно обученные модели или требования к хранилищу в облаке могут быть непомерно дорогими; большее количество графических процессоров быстро становится дорогим, а обучение больших наборов данных в общедоступном облаке может быть слишком медленным.
Тем не менее, облако часто может быть лучшим вариантом с точки зрения «проверки воды» ИИ и экспериментов с тем, какие инициативы ИИ лучше всего подходят для организации.
Кейс для локального ИИ
Итак, что же движет клиентами в локальной среде?
Существует целая экосистема инструментов, созданных для локальной инфраструктуры, которые могут работать с огромными вычислительными мощностями, которые могут быть очень дорогими в облаке.
Таким образом, некоторые ИТ-директора считают более экономичным делать это локально или предпочитают модель операционных расходов с капитальными затратами.
Кроме того, если ваша организация решит, что она хочет принять более активное участие в этом или развернуть ИИ в масштабе, то может иметь смысл инвестировать в локальную инфраструктуру вместо использования облачных сервисов.
Проблемы внедрения ИИ
Когда вы оцениваете, как реализовать инициативы в области ИИ, важно помнить, что большая часть данных, управляющих ИИ, на самом деле изолирована в устаревшей инфраструктуре и не обязательно имеет правильный формат и не является легкодоступной.
Более того, необходимо обработать огромное количество неструктурированных данных!
И во многих случаях эти данные выходят за пределы инфраструктуры компании.
Работа с гораздо большими наборами данных требует более сложных вычислений и алгоритмов; правда в том, что большая часть вашего времени может быть потрачена на очистку данных, их деидентификацию и доведение их до уровня, когда их можно будет использовать для сбора информации.
И как только вы определитесь с местом для развертывания приложений ИИ, также может возникнуть проблема с предоставлением инженерам и специалистам по данным доступа к этим данным.
Однако если в чем и можно быть уверенным, так это в том, что ИИ будет стимулировать инновации и конкурентное преимущество на долгие годы.
Таким образом, решение о расположении инфраструктуры для обучения и запуска нейронной сети для ИИ — это очень важное решение, которое следует принимать с целостным взглядом на требования и экономику.
Облако или локально?
«Все знают», что облако — это самый дешевый способ размещения разработки и производства ИИ, верно?
Что ж, оказывается, наилучшее решение может зависеть от того, где вы находитесь в своем путешествии с ИИ, насколько интенсивно вы будете развивать свои возможности ИИ и как выглядит ваша конечная игра.
Локальные и облачные затраты
При рассмотрении локальных и облачных затрат важно учитывать не только первоначальные затраты на оборудование, но и текущие расходы на питание, охлаждение, техническое обслуживание и обновления.
Например, один графический процессор NVIDIA A100 может стоить до 20 000 долларов, а сервер с восемью графическими процессорами A100 может стоить более 200 000 долларов.
Кроме того, существуют текущие расходы на электроэнергию и охлаждение, которые могут составлять до нескольких тысяч долларов в год.
Напротив, облачные провайдеры, такие как AWS, Google Cloud и Azure, предлагают экземпляры GPU с оплатой по мере использования.
Например, инстанс AWS p3.16xlarge с восемью графическими процессорами NVIDIA V100 стоит около 24,48 долларов США в час, что соответствует примерно 214 000 долларов США в год при непрерывной работе.
Однако в эту стоимость входит не только использование графических процессоров, но и связанное с ними хранилище, сеть, питание, охлаждение и обслуживание.
Таким образом, несмотря на то, что первоначальные затраты на локальные графические процессоры могут быть выше, в долгосрочной перспективе они могут быть более рентабельными, особенно для организаций с тяжелыми непрерывными рабочими нагрузками ИИ.
С другой стороны, облачные графические процессоры могут обеспечить большую гибкость и идеально подходят для организаций с переменными рабочими нагрузками или для тех, кто хочет поэкспериментировать с ИИ без больших первоначальных вложений.
Почему облачные вычисления так привлекательны для ИИ
Поставщики облачных услуг (CSP) имеют обширный портфель инструментов разработки и предварительно обученных глубоких нейронных сетей для обработки голоса, текста, изображений и перевода.
Большая часть этой работы связана с внутренней разработкой ИИ для внутренних приложений, поэтому она довольно надежна.
Microsoft Azure, например, предлагает около 30 предварительно обученных сетей и инструментов, к которым ваше облачное приложение может получить доступ в виде API.
Многие модели можно даже настроить с использованием собственных данных пользователей, таких как конкретный словарь или изображения.
Amazon SageMaker предоставляет инструменты разработки искусственного интеллекта от начала до конца, а AWS предлагает простой чат-бот, распознавание изображений и расширения для перевода приложений, размещенных на AWS.
У Google также есть довольно удивительный набор инструментов.
Наиболее примечательным, пожалуй, является его AutoML, который автоматически строит нейронные сети глубокого обучения, экономя недели или месяцы труда в некоторых случаях.
У всех этих инструментов есть несколько общих черт.
Во-первых, они делают создание приложений ИИ заманчиво простым.
Поскольку большинство компаний изо всех сил пытаются найти нужные навыки для проекта ИИ, это очень привлекательно.
Во-вторых, они предлагают простоту использования, обещая простоту «нажми и работай» в области, полной относительно малоизвестных технологий.
Наконец, у всех этих сервисов есть одна загвоздка — по большей части они требуют, чтобы приложение, которое вы разрабатываете в их облаке, работало в их облаке.
Меховая ловушка
Таким образом, эти услуги чрезвычайно липкие.
Например, если вы используете Amazon Poly для разработки чат-ботов, вы никогда не сможете перенести это приложение за пределы AWS.
Если вы используете предварительно обученные DNN Microsoft для обработки изображений, вы не сможете легко запустить полученное приложение на своих собственных серверах.
Вы, вероятно, никогда не увидите Google TPU в центре обработки данных, отличном от Google, и не сможете использовать инструмент Google AutoML, если позже решите самостоятельно разместить процесс разработки.
Теперь липкость сама по себе не обязательно плохая вещь, верно?
В конце концов, эластичные облачные сервисы могут предложить гибкую аппаратную инфраструктуру для ИИ в комплекте с самыми современными графическими процессорами или ПЛИС для ускорения процесса обучения и обработки потока логических выводов, которые вы надеетесь привлечь к своему новому ИИ (где обученная нейронная сеть фактически используется для реальной работы или игры).
Вам не нужно иметь дело со сложной конфигурацией оборудования и принятием решений о покупке, а программные стеки ИИ и среды разработки уже готовы к работе.
По этим причинам многие ИИ-стартапы начинают свою разработку в облаке, а затем переходят на собственную инфраструктуру для производства.
Вот в чем загвоздка: большая часть разработки ИИ, особенно обучение глубоких нейронных сетей, в конечном итоге требует огромных вычислений.
Кроме того, вы не прекращаете тренировать (полезную) сеть; вам нужно обновлять его новыми данными и функциями или, возможно, построить совершенно новую сеть, чтобы повысить точность, используя новые алгоритмы по мере их появления.
Исходя из моего личного опыта обучения тысяч моделей, в облаке это может стать довольно дорого, в 2–3 раза дороже, чем создание собственного частного облака для обучения и запуска нейронных сетей.
Обратите внимание, что можно резервировать выделенные графические процессоры в облаке на более длительные периоды времени, что значительно снижает затраты, но, судя по тому, что я видел, владение собственным оборудованием остается самой низкой стоимостью для текущих рабочих нагрузок с большим объемом графических процессоров, но опять же это сопряжено с накладными расходами на обслуживание. .
Как я рассмотрю в следующем разделе, есть и другие дополнительные причины для облачного или самостоятельного хостинга.
Заключение
Расположение инфраструктуры для обучения и запуска нейронной сети для искусственного интеллекта — очень важное решение, которое следует принимать с учетом требований и экономики.
Затратная часть уравнения может потребовать тщательного анализа совокупной стоимости владения.
У многих поставщиков оборудования и облачных сервисов есть модели совокупной стоимости владения, которыми они могут поделиться, но, конечно же, у них у всех есть цель — будьте готовы выполнить домашнюю работу самостоятельно.
Проблема здесь в том, что сложно оценить необходимую инфраструктуру (количество серверов, количество графических процессоров, тип хранилища и т. д.), пока вы не продвинетесь довольно далеко по пути разработки.
Хороший поставщик оборудования может помочь здесь с услугами, некоторые из которых могут быть вполне доступными, если вы потенциально планируете значительные инвестиции.
Обычный вариант — начать эксперименты с моделью и раннюю разработку в общедоступном облаке с планом выхода с предопределенными триггерами, которые сообщат вам, следует ли и когда вам переместить работу домой.
Это включает в себя понимание преимуществ сервисов машинного обучения CSP и того, как вы замените их, если решите перенести все на свое собственное оборудование.
Рекомендации
- Обслуживание оборудования Park Place
- Мурские взгляды и стратегия
- Делл ЭМС
- 451 Исследования
- Графический процессор NVIDIA A100 с тензорным ядром
- Графический процессор NVIDIA H100 с тензорным ядром
- Нвидиа Т4
- Нвидиа В100
Снижение стоимости обслуживания модели на 40%
Искусственный интеллект APAC может помочь снизить ваши затраты на обслуживание ваших моделей более чем на 40% с помощью таких методов, как квантизация и дистилляция. Мы помогли десяткам предприятий радикально снизить затраты на модели в производстве, и этот процесс стал плавным и плавным, чтобы снизить ваши затраты прямо сейчас. запланируйте звонок для обнаружения со мной ниже:
