Поскольку более 85% проектов AI / ML заканчиваются как PoC, облако - единственный способ вернуть их к жизни
В последние годы крупные организации вложили миллиарды в инвестиции в искусственный интеллект / машинное обучение (AI / ML). Согласно CIO Magazine, розничный и банковский секторы подсчитали, что их расходы на AI / ML в 2019 году в совокупности превысят 11,6 миллиардов долларов. Сектор здравоохранения оценивал инвестиции в размере около 36 миллиардов долларов к 2025 году (окончательные итоги еще не получены).
Даже с этими огромными финансовыми обязательствами некоторые аналитики прогнозируют, что 87% проектов AI / ML не будут реализованы в соответствии с обещаниями или никогда не будут запущены в производство.
Особо следует отметить, что сегодня подавляющее большинство проектов AI / ML нацелены на развертывание внутреннего центра обработки данных. Это наследие, метафора «внутри корпоративной структуры», накладывает ряд ограничений, и эти ограничения являются основной причиной неудачных проектов:
1) Организации не могут удовлетворить потребности инфраструктуры AI / ML. Спрос на AI / ML на вычисления и хранение огромен и продолжает расти. Но, к сожалению, наручники, накладываемые корпоративными центрами обработки данных, в частности, отсутствие гибкой масштабируемости и своевременного доступа к подходящей инфраструктуре, а также постоянная потребность в постоянно обновляющейся инфраструктуре и повышении квалификации персонала, делают инфраструктурные требования AI / ML несостоятельными.
2) Спрос на AI / ML на данные, в частности конфиденциальные данные, ограничивает возможности корпоративной безопасности. Неспособность решить на практике ограничения безопасности, необходимые для доступа к конфиденциальным данным, делает доступность данных в лучшем случае обременительной, а чаще - непомерно высокой.
3) Корпоративные процессы, и в частности недостаточная зрелость процессов DEVOPS, серьезно препятствуют быстрому итеративному развертыванию моделей, необходимых для поддержания ценности бизнеса, требуемой AI / ML.
Однако кое-что мы знаем наверняка. Потребность в вычислениях и хранении будет продолжать расти. Потребность в конфиденциальных данных возрастет. И потребность в скорости и гибкости в реализации проектов AI / ML - и бизнес-результатов - будет по-прежнему неуклонной.
К сожалению, существующие (и, вероятно, проприетарные) возможности AI / ML центра обработки данных безнадежно устарели для всех, кроме самых простых задач. Это не масштабируется. Он более хрупкий, чем маневренный. Он может работать сегодня, но не может развиваться, чтобы удовлетворить потребности завтрашнего дня.
Итак, большинство практиков AI / ML сталкиваются с простым решением. Стоит ли продолжать инвестировать в инструменты и процессы AI / ML, которые используются в настоящее время? Или пришло время переосмыслить корпоративный подход AI / ML и рассмотреть масштабируемую, устойчивую и постоянно обновляющуюся платформу: облачный AI / ML?
Мы твердо поставили свою судьбу с последним. Облако чешется. Облако в значительной степени самообслуживаемое и гибкое. Кроме того, облако будет расти и плавно развиваться, чтобы удовлетворить потребности бизнеса завтрашнего дня.
Необходимость масштабирования
В отличие от Google, Microsoft, Amazon и других облачных титанов, основной бизнес предприятия, вероятно, не связан с ИТ. Не менее важно для всех организаций, что спрос на инфраструктуру, создаваемый искусственным интеллектом / машинным обучением, часто может привести к тому, что предприятия окажутся в ситуации, когда крупные инвестиции в инфраструктуру останутся незамеченными в периоды меньшего спроса. Поэтому неудивительно, что организации часто не могут обеспечить масштабируемость, требуемую AI / ML.
Проблемы масштабируемости усугубляются тем, что технологический прогресс в инфраструктуре продолжает опережать циклы закупок. Еще больше усугубляет эту проблему невозможность постоянно повышать квалификацию сотрудников для создания и поддержки новых платформ AI / ML. Короче говоря, компании не могут угнаться за ними, и, как правило, организации, пытающиеся «наверстать упущенное», несут больше затрат, теряют конкурентное преимущество и в спешке преодолеть технологические пробелы часто совершают ошибки, которые могут повлиять на их бренды и лояльность клиентов. Им необходимо выйти из ИТ-бизнеса и сосредоточиться на продуктах и услугах, которые они предоставляют своим клиентам.
Чтобы исправить эту ситуацию, мы наблюдаем, как все больше и больше организаций переносят свою рабочую нагрузку AI / ML в облако, тем самым используя экономию масштаба, техническую компетентность и экономическую эффективность облачных поставщиков, которых не хватает внутренним ИТ-группам организаций.
Рентабельность важна
Еще одним следствием ненасытного спроса на масштабируемую инфраструктуру и связанных с ней затрат является создание среды, в которой специалисты по обработке данных и инженеры по данным (обычно ресурсы, ориентированные на бизнес) пытаются запустить AI / ML «вне операционной структуры». Они разрабатывают, обучают и запускают модели в локализованных средах (настольных компьютерах, небольших серверах или даже ноутбуках), которые часто не поддерживаются предприятием. Как правило, в этих средах можно разместить только ограниченные данные и, с точки зрения нормативных требований, обычно можно использовать только общедоступные данные. Ограниченная масштабируемость этих сред в сочетании с относительно небольшими наборами данных приводит к снижению эффективности моделей и, как следствие, снижению ценности для бизнеса.
Еще больше усугубляет эту проблему, поскольку среды находятся за пределами структуры оперативного мониторинга, данные, находящиеся в этих средах, подвергаются более высокому риску компрометации.
Инфраструктуры общедоступного облака позволяют снизить затраты на инфраструктуру, защитить данные и повысить эффективность моделей. Такие провайдеры, как Microsoft, Google, Amazon и IBM, предоставляют облачные возможности, которые обеспечивают гибкую масштабируемость при действительно готовой к эксплуатации емкости. Возможность хранить большие наборы данных и вычислительные мощности для их проектирования и обучения моделей являются ключевым отличием локальных инфраструктур.
Безопасность и защита данных
Миграция в облако для предприятий AI / ML сопряжена со своими проблемами. Безопасность данных должна иметь первостепенное значение, и часто миграция любого проекта к провайдеру общедоступного облака встречает сопротивление со стороны тех, кому поручена защита данных. В последнее время утечки данных, такие как CapitalOne и Desjardins, справедливо усилили эти опасения. Это особенно верно в отношении данных, которые классифицируются как данные PII (личная информация). В сфере финансовых услуг, хотя такие вещи, как обработка кредитных карт и паевых инвестиционных фондов, часто требуют перемещения данных PII за пределы корпоративной структуры, облако по-прежнему рассматривается как новая технология и часто воспринимается организациями по информационной безопасности как рискованная.
Учитывая такое восприятие, неудивительно, что безопасность данных находится в центре внимания групп информационной безопасности и управления данными. Устранение реальных и предполагаемых пробелов в безопасности имеет важное значение для любой инициативы AI / ML на основе облачных вычислений.
Это правда, что продавцы щедро тратят на безопасность. Одна только Microsoft тратит более 1 миллиарда долларов на кибербезопасность и ежедневно отражает примерно 7 триллионов киберугроз (источник). Кроме того, эти облачные поставщики предоставляют надежный набор API-интерфейсов для обратной интеграции с программным обеспечением безопасности предприятия и мониторинга окружающей среды любой организации. Это позволяет компаниям быть в курсе событий и изменений на платформе. Тем не менее, чтобы защитить организацию, компании, переходящие в облако, должны предпринять определенные шаги для защиты себя и своих клиентов.
Такие элементы, как шифрование данных в состоянии покоя и в движении, физическая безопасность, сетевая безопасность, виртуальные публичные облака (VPC), мониторинг конфигурации инфраструктуры и сети - вот основные ставки. Однако контроль доступа к удостоверениям, вероятно, является наиболее важным аспектом безопасности в облачной экосистеме AI / ML.
Identity Access Control позволяет специалистам по обработке данных и инженерам по обработке данных работать над проектом за проектом и может ограничивать доступ для чтения к данным определенными ролями, так что доступ к данным действительно осуществляется по принципу «необходимость знать». Что еще более важно, Identity Access Control может ограничить доступ на запись к данным, которыми можно управлять только через приложения. Хотя это не исключает полностью возможности для «злоумышленников», у которых есть авторизованный доступ, оно позволяет контролировать большинство проблем хакеров. По сути, это в значительной степени контролирует «радиус взрыва» любой потенциальной угрозы.
Также рекомендуется реализовать, по крайней мере, для обучающих сред, односторонние потоки данных, в которых данные могут быть перемещены и сохранены на платформе, но доступны и визуализированы только с помощью инструментов, подобных Citrix.
В случае, если данные должны перемещаться из среды обучения, необходимо предоставить несколько разрешений руководства, и это перемещение должно быть выполнено только программно с несколькими людьми, участвующими в каждом этапе процесса. Это осложнит любые планы гнусных актеров.
Гибкая культура - критический фактор успеха
В то время как технологии и процессы помогут в безопасности AI / ML во время стабильной работы. Создание среды в первую очередь требует, чтобы «строительная команда» была структурирована для достижения успеха. Принятие новых технологий и облачных технологий связано с культурными проблемами (как и при любых изменениях), и важно заручиться поддержкой организации. Это особенно верно в отношении информационной безопасности.
Чтобы преодолеть культурные проблемы, задействуя информационную безопасность и конфиденциальность, сделав их частью группы внедрения AI / ML и позволив им определять контрольные показатели, которые определяют, когда предприятие должным образом защищено, облегчает участие и привлекает к работе настоящих экспертов. Ключевым моментом является обеспечение того, чтобы ресурс информационной безопасности в команде был достаточно старшим и наделен соответствующими полномочиями для принятия необходимых решений.
Необходимость воспроизводимости, прослеживаемости, проверяемости и объяснимости
Потребность предприятия в модели воспроизводимость, прослеживаемость, проверяемость и объяснимость приводит к изменениям в традиционном жизненном цикле доставки ИИ / машинного обучения, и теперь стала фундаментальным требованием для науки о данных на крупных предприятиях.
Почему эти требования важны? В финансовых услугах воспроизводимость, отслеживаемость и проверяемость четко регулируются (например, в Европейском союзе, США и Канаде), и их нельзя игнорировать. Но аналогичные требования встречаются и во многих других отраслях, от здравоохранения и биотехнологий до государственной безопасности. Фактически, теперь даже предприятия в умеренно регулируемых отраслях обнаруживают, что преимущества воспроизводимости, отслеживаемости и проверяемости намного перевешивают их затраты.
Необходимый уровень уверенности обычно может быть достигнут с помощью документированного и автоматизированного жизненного цикла модели (также известного как MLOps или ModelOps), который постоянно подвергает сомнению эффективность моделей, обучает новые и, по запросу пользователя, развертывает новые модели в среде вывода / времени выполнения. одним щелчком мыши.
Как облако решает эту проблему? По нескольким причинам: во-первых, облако - единственный рентабельный способ хранения больших файлов данных (и их нескольких версий и происхождения), используемых в AI / ML. Во-вторых, только облако предлагает масштаб, необходимый для решения интенсивно повторяющегося жизненного цикла AI / ML, необходимого для поддержки повторной проверки и тестирования объяснимости. Только облако предлагает возможности самообслуживания, которые обеспечивают гибкую культуру и автоматизированную инфраструктуру.
Поскольку AI / ML становится все более важной услугой для любой организации. Такой уровень автоматизации потребуется для масштабирования развертываний и фактического сокращения времени цикла итераций модели для удовлетворения растущего спроса. Организации, которые не смогут реализовать подходящую автоматизацию, сделают AI / ML жертвой собственного успеха.
Это не то, что дальше… Это то, что сейчас
Перенос экосистемы AI / ML в облако - это не шаг в будущее. Это шаг на сегодня. Чтобы действительно сделать AI / ML сервисом производственного уровня, который является ключевым компонентом принятия решений, управления, решения проблем и повышения прибыльности организаций, необходимо выйти за рамки стадии PoC и сделать следующий шаг в развитии этого многообещающего технология.
Облако обещает не только вывести AI / ML из-под столов специалистов по обработке данных и инженеров по данным. Масштабируемость платформ и надежный производственный характер этих сред позволит промышленности ускорить реализацию других преимуществ, связанных с этой захватывающей технологией. Упрощенный характер многих «под столом» сред AI / ML будет иметь возможность использовать такие сложности, как хранилища функций, глубокое обучение и более надежная обработка естественного языка. В конечном итоге это приведет к более выгодному предложению для технологии.