Скорее всего, ваша компания - не Google или Baidu, с машинным обучением, глубоко укоренившимся в ДНК вашего бизнеса с первого дня, и ресурсами для проведения исследований в этой области. Однако вы, вероятно, заметили, что наука о данных трансформирует почти все рынки, включая ваш. Так как же эффективно использовать потенциал ИИ в своей организации?

Как главный специалист по анализу данных компании Consultivate, специализирующейся на решении сложных проблем с использованием комбинации бизнес-стратегии и машинного обучения, я проведу вас через процесс начала работы с машинным обучением. в своей компании, избегая при этом основных ошибок.

Путь к искусственному интеллекту

ИИ может принести пользу предприятиям любого размера. Однако освоить машинное обучение на большом предприятии, как правило, намного сложнее, чем в небольшом стартапе, где процессы и продукты часто с нуля строятся на основе ИИ. При наличии нескольких параллельных проектов и задач в каждом подразделении крупные корпорации обычно медленнее внедряют машинное обучение из-за противоречивых приоритетов и ожиданий и отсутствия ключевых лиц, выполняющих центральную коммуникационную роль между бизнесом и отделом обработки данных.

Вкратце, путь к ИИ выглядит следующим образом:

  1. Получите доступ к экспертам в предметной области и экспертам по науке о данных.
  2. Определите ключевые процессы в вашей организации, которые можно улучшить с помощью ИИ.
  3. Убедитесь, что у вас есть правильные данные
  4. Определите соответствующие ключевые показатели эффективности, создайте необходимую систему отчетности и информационные панели и управляйте ожиданиями
  5. Используйте компактную команду, чтобы быстро создать доказательство концепции с помощью машинного обучения и сравнить его с вашими ключевыми показателями.
  6. В случае успеха повторите процесс, добавив больше данных и улучшив архитектуру, чтобы повысить базовую эффективность.

Найдите нужного специалиста

Попытка внедрить ИИ без привлечения экспертов неизбежно приведет к потере ресурсов и не приведет к достижению каких-либо действенных результатов. Помимо менеджера, ориентированного на бизнес, вам понадобится эксперт в предметной области с глубокими знаниями данных вашей организации и ведущий специалист по данным. Этот опыт не из дешевых, и его нельзя сравнивать с общим развитием ИТ.

Одна из наиболее распространенных трудностей, с которыми сталкиваются менеджеры, - отличить опытных специалистов по обработке данных от разработчиков, которые сталкивались с машинным обучением. Один из лучших способов найти талантливого эксперта - это изучить его послужной список. Не ограничивайтесь докторской степенью и сосредоточьтесь на его публикациях или опыте в области промышленного машинного обучения, основанном на зашумленных реальных данных.

В кадровом резерве машинного обучения есть три основные группы специалистов (консультантов):

a. Разработчики, которые развернули несколько существующих кодов машинного обучения, но не до конца понимали, как они работают (обычно от 30 до 300 долларов в час).

b. инженеры по обработке данных, имеющие математический опыт, необходимый для понимания внутренней работы архитектуры машинного обучения (обычно от 300 до 500 долларов в час).

c. Ведущие исследователи, разрабатывающие и исследующие новые алгоритмы, 80% из них работают в Google, Microsoft и т. д. В мире всего несколько тысяч таких людей (обычно более 500 долларов в час).

Лучшими экспертами для вас, скорее всего, будут тип «b», и в идеале эти эксперты также будут обладать хорошей деловой хваткой. Эксперт типа «а» будет полезен, когда архитектура построена и требуется только обслуживание.

Анекдот: клиент связался с нами после нескольких месяцев работы с командой специалистов по анализу данных, чтобы получить «симпатичного, похожего на человека» чат-бота для своего приложения примерно за четверть рыночной цены. Спустя несколько месяцев разработки он оказался без рабочего прототипа.

Установите правильные приоритеты и реалистичные цели

С появлением глубокого обучения машинное обучение уже выходит за рамки человеческого уровня в некоторых областях, таких как игра в го или распознавание фотографий. Однако мы все еще относительно далеки от достижения общего машинного интеллекта. Кроме того, не все проблемы вашей компании можно решить с помощью машинного обучения. Создаваемые вами модели позволяют выполнять точные прогнозы только на основе данных, аналогичных образцам входных и выходных данных, которые машина видит во время обучения.

Прежде чем приступить к машинному обучению, вы должны спросить себя: «Чего я пытаюсь достичь? Как я могу достичь этого с максимальной эффективностью? » Работайте с экспертами, чтобы понять, что ИИ может сделать, чтобы помочь вашему бизнесу, поставить реалистичные цели и определить главные приоритеты. , а также оценить стоимость и потенциальную возможность нарушения всех потенциальных решений машинного обучения в каждом бизнес-подразделении. Неспособность сделать это - неизменно верный путь к катастрофе.

Итог: хороший способ установить правильные ожидания от машинного обучения - попросить экспертов в вашей предметной области попытаться выполнить процесс вручную, используя существующие данные. Если они не добьются успеха, вероятно, не удастся и машинное обучение.
Соберите команду, которая понимает вашу бизнес-стратегию и может определить ключевые шаги, необходимые для ее реализации.

У вас есть нужные данные?

Вам нужны данные , которые представляют реальный мир, в котором вы хотите делать прогнозы. Если вы хотите увеличить продажи, дать рекомендации, классифицировать фотографии или обнаружить аномалии, вы можете быть уверены, что вам потребуется большой аннотированный набор данных. Концепция аннотации или маркировки важна, потому что машины учатся на примерах, а не на правилах. Следовательно, вам часто понадобится миллионы образцов, аннотированных с «правильным» результатом, чтобы правильно обучить любую современную модель машинного обучения.

Данные - краеугольный камень любого приложения ИИ. Однако данные реального мира чрезвычайно беспорядочные. Это требует непрерывного процесса агрегирования и анализа. Как показывает опыт, вы можете ожидать, что это займет около 70% времени вашей команды машинного обучения, что противоречит интуиции, поскольку можно подумать, что архитектура и конвейер будут наиболее трудоемкими. задания.

Анекдоты:
- розничный клиент обратился к нам с намерением спрогнозировать следующую покупку пользователя на основе исторических данных. Количество записанных данных было впечатляющим, но отсутствовал один ключевой элемент: активность пользователя не регистрировалась с течением времени. Продажи происходили только на основе сеанса за сеансом, и тот же покупатель, вернувшийся через несколько дней, рассматривался как новый покупатель.
- При сопоставлении транслитерированных имен на разных алфавитах для клиента наиболее значимого улучшения не происходило. исходят из настройки нейронной архитектуры, но с очисткой данных, которые часто вводили в заблуждение.

Итог: независимо от того, какой организацией вы управляете, вполне вероятно, что вам придется улучшить или даже переосмыслить свои данные, прежде чем применять к ним какое-либо машинное обучение. В 80% наших проектов нам приходилось маркировать данные для наших клиентов.

Важность показателей

Эффективность машинного обучения, как и любого человеческого процесса, необходимо оценивать с помощью дополнительного набора показателей. Очень важно оценивать эффективность под разными углами и в разных масштабах, иначе вы поймете только одну часть истории.

Когда ваши показатели будут четко определены, следующим ключевым шагом будет создание контрольного показателя с вашими «реальными» данными. Контрольные показатели важны, и их часто упускают из виду. Они позволят специалистам по бизнесу и анализу данных оценивать исследования в области машинного обучения в течение длительного периода времени в соответствии с неизменной базой.

Аналогия: если бы вы хотели купить новую машину, выбрали бы вы ее исключительно по цвету? Само собой разумеется, что вы также будете заботиться о его цене, бренде и нескольких других факторах. То же самое и с машинным обучением. Используя показатели, которые рассматривают проблему с разных сторон, вы получите более полное представление о проблеме.

Итог: вместе со своим экспертом по машинному обучению и бизнес-командой определите ключевые показатели эффективности, которые предоставят вам полную картину и будут служить «ориентирами» при обучении машины.

Не ждите появления идеального ИИ

Строительные блоки и инструменты, используемые командами по анализу данных, развиваются очень быстрыми темпами. Например, способность правильно отвечать на вопросы о документах увеличилась более чем на 10% за последний год и достигла человеческого уровня в начале 2018 года благодаря международным командам, использующим новые методы глубокого обучения. Поскольку все меняется так быстро, заманчиво подождать и надеяться, что будет выпущен универсальный API. Однако обычно это неправильный подход. Машинное обучение - это непрерывный процесс, который развивается по мере открытия новых исследований и новых подходов. Несмотря на то, что важно использовать существующие API-интерфейсы, чтобы не изобретать колесо заново, опыт показывает, что большинство общих моделей не соответствуют специфике реальных проектов компании.

Анекдот: Мы начали сотрудничать с фирмой, в которой работают тысячи юридических экспертов по всему миру. В течение нескольких недель разработки наше доказательство концепции достигло 80% точности при выделении соответствующих юридических положений, тогда как для достижения показателя 90% потребовались годы исследований и разработок.

Итог: с помощью финансового анализа вы можете обнаружить, что имеет больше смысла достичь хорошего уровня точности сегодня, чем ждать год, чтобы получить немного лучший результат.