Ускорение инициатив в области искусственного интеллекта
В мире есть 2 места с наибольшим временем ожидания
- Аэропорт, где люди транзитом или ждут своих близких
- Организации, в которых специалист по данным ожидает завершения обучения модели
Исследователь данных обычно должен пройти 100 итераций обучения для каждой гипотезы, чтобы сузить выбор функций и моделей, конфигурацию гиперпараметров среди прочего. Данные во многих случаях выходят далеко за рамки того, что может вместить один узел или графический процессор. Для больших наборов данных каждая итерация может длиться несколько дней.
Предприятия, нанимающие экспертов по искусственному интеллекту и машинному обучению без надлежащей инфраструктуры и инструментов, похожи на
Найм космонавтов для вождения повозки
Наращивание возможностей обработки данных в рамках предприятия должно осуществляться с самого начала, начиная с выбора кремниевого чипа.
Ниже приведена минимальная потребность в организации, управляемой ИИ, для ускорения цикла от Гипотезы до производства.
- Инфраструктура с подходящим оборудованием (GPU, CPU, HPC и т. д.), технологиями (Hadoop, Kubernetes и т. д.) и инструментами (Spark ML, Tensorflow, scikit и т. д.), которые могут распределять конвейеры ML/DL.
- Централизуйте данные, создавайте ключевые предварительно спроектированные функции и предоставляйте функции для совместного использования функций в разных сценариях использования.
Будьте сначала данными, прежде чем думать об искусственном интеллекте
- Повышение гибкости благодаря самостоятельному доступу к данным и инструментам, обеспечивающим беспрепятственный анализ и подготовку данных.
- Возможности, которые могут быстро вводить модели в действие, автоматизировать разработку данных (насколько это возможно), отслеживать модели и выявлять дрейфы данных.
Первоначально опубликовано на моем LinkedIn — https://www.linkedin.com/pulse/accelerating-artificial-intelligence-initiatives-srivatsan-srinivasan/
