Дайте нам знать, что вы думаете, похлопайте нас ниже, если вам нравится то, что вы читаете, и подписывайтесь на @InfiniaML и @RobbieAllen в Твиттере, чтобы быть в курсе последних обновлений!

Несмотря на то, что машинное обучение дает значительные возможности для повышения эффективности бизнеса, существует также ряд проблем. Многие из этих проблем связаны с внезапным и резким ростом осведомленности о машинном обучении. В этой статье я расскажу о некоторых из этих проблем и о том, как их преодолеть.

Ожидания превышают реальность

Независимо от того, насколько многого вы можете достичь с помощью машинного обучения, вы, вероятно, не дойдете до чьих-то научно-фантастических идей о том, что должно быть возможным. Эти ожидания относительно новы. По опыту мы знаем, как быстро возросли ожидания в отношении искусственного интеллекта.

Прежде чем стать генеральным директором Infinia ML, я основал и возглавил компанию под названием Automated Insights, где мы создали продукт под названием Wordsmith. С помощью Wordsmith вы можете создавать повествования, звучащие по-человечески, на основе базовых данных - например, превращая отчетную финансовую статистику в публикуемые статьи для Associated Press или данные бизнес-аналитики с таких платформ, как Tableau, в удобочитаемые отчеты, которые могут использовать руководители. Хотя мы не особо использовали машинное обучение, мы первыми начали коммерческое использование генерации естественного языка и считались поставщиком искусственного интеллекта.

Когда мы продавали наше решение в 2010 году, нам было трудно убедить людей попробовать его из-за негативной коннотации, связанной с искусственным интеллектом.

В 2010 году самым простым способом досрочно закончить интервью с журналистом было упомянуть «искусственный интеллект».

Потенциальные клиенты не считали искусственный интеллект применимым к бизнесу, и большинство людей не могли об этом разобраться. Они считали наше «письмо-робот» невозможным волшебством.

Перенесемся в 2014 год, после нескольких лет растущей известности ИИ (включая победу Уотсона в Jeopardy!), И теперь у нашей компании возникла противоположная проблема. Потенциальные клиенты недоумевали, почему наши решения даже не были более волшебными. Они возражали бы против того, чтобы им приходилось вносить какие-либо свои собственные вклады и знания для настройки системы - в конце концов, не должен ли искусственный интеллект делать за них всю работу?

Всего за четыре года мы перешли от полного неверия в то, что было возможно, к разочарованию, что мы не можем сделать то, что им.

Сегодняшняя шумиха вокруг машинного обучения и искусственного интеллекта хороша и плоха. С одной стороны, сейчас проще, чем когда-либо, говорить о развертывании решений внутри компании. Руководители обычно отзывчивы. С другой стороны, ожидания некоторых людей относительно того, что машинное обучение может делать на практике, могут намного превосходить то, что возможно или даже разумно.

Например, были достигнуты многочисленные успехи в области анализа изображений и обнаружения объектов. Люди слышат о способности Facebook распознавать лица или о способности Google распознавать определенных собак и кошек. Прогресс в этой области был ошеломляющим и очевидным.

Между тем, работа над текстом идет медленнее. Достижения в области визуализации, возможно, породили ожидание, что все должно было развиваться быстрее, чем в таких областях, как генерация естественного языка. Сегодня полностью автоматизированная генерация текста не дает ничего даже близкого к человеческому качеству. Создание текста находится на внешних границах того, что возможно сегодня, и это одна из самых сложных проблем, которую решить, потому что текст гораздо менее структурирован, чем изображения. Есть много языков, каждый со своими правилами. Многие из этих правил невозможно измерить количественно. Есть хорошие приемы для изучения правил, но в целом это трудная задача.

Цикл хайпа Gartner показал, что машинное обучение набирает обороты вот уже пару лет. К 2017 году он был на пике ожиданий, а это означало, что он должен был упасть в пучину разочарования. Последние три года я думал, что мы находимся на пике ИИ. Конечно, я по-прежнему ошибаюсь, но я ожидаю, что в не столь отдаленном будущем появится негативная реакция бизнеса на ИИ. Отчасти такая негативная реакция будет вызвана неудачными проектами, такими как неспособность IBM Watson выполнить поставку для Онкологического центра доктора медицины Андерсона. Такие инциденты, как беспилотный автомобиль Uber, убивающий пешехода, также начинают подпитывать негативную реакцию.

По крайней мере, согласно Gartner, циклы ажиотажа имеют стандартную схему: люди покупаются на ажиотаж, они воодушевляются, но объем внимания человека ограничен. Через некоторое время, когда они не увидят полностью автономные автомобили или обещанное им взаимодействие с компьютером в стиле Star Trek, они начинают сомневаться. Неудачные проекты усиливают их скептицизм, и люди неизбежно полагают, что этот искусственный интеллект - это еще не все, чем его придумывали.

Как предприниматель в области искусственного интеллекта и машинного обучения я приветствую негативную реакцию. Это не только поможет вывести ожидания на более рациональный уровень. Это также поможет снизить инфляцию заработной платы, которая идет как сумасшедшая для сотрудников в области искусственного интеллекта. Такая инфляция заработной платы - основная проблема следующего вызова.

Разрыв в талантах

Одна из основных задач машинного обучения - найти людей, обладающих техническими способностями понимать и внедрять его. Эта постоянная проблема приводит к отставанию в машинном обучении на предприятии. Машинное обучение сейчас находится на той стадии, когда оно может предоставить значительные возможности, но если у вас нет людей, которые могли бы его реализовать, все возможности останутся нереализованными. Фактически, у крупных компаний есть как минимум десять лет невыполненных проектов машинного обучения, ожидающих освобождения. С каждым годом, когда эти проекты накапливаются, отставание становится все хуже.

Одним из следствий высокого спроса и низкого предложения на рынке хороших специалистов по данным является взрывной рост зарплат в этой сфере. То, что вы могли бы заплатить за специалиста по обработке данных четыре или пять лет назад, могло бы вырасти на 50 процентов всего несколько лет спустя.

Безусловно, не так уж сложно найти кого-то, в резюме которого есть слово «специалист по данным». Вопрос в том, используют ли они базовое машинное обучение, не говоря уже о более продвинутом машинном обучении и глубоком обучении, которые требуются для решения самых сложных проблем с данными.

К сожалению для менеджеров по найму, термин специалист по данным - очень гибкий термин, и, если у специалистов по данным действительно есть Самая сексуальная работа 21 века, у кандидатов будет много стимулов использовать его в названии своей должности.

Специалисты по обработке данных могут быть хорошо известными докторами наук, только что окончившими магистратуру или просто любым, кто в свободное время проходил онлайн-курсы по машинному обучению или интеллектуальному анализу данных.

Более упрощенные методы машинного обучения могут быть легко освоены быстро. Более сложные версии машинного обучения, особенно глубокого обучения, требуют значительно большего обучения. Я считаю, что девяносто процентов специалистов по данным не смогли пройти тест на реализацию алгоритма глубокого обучения.

Более того, поскольку для внедрения машинного обучения на практике часто требуется, чтобы инженеры-программисты создавали надежные, воспроизводимые системы, специалистам по обработке данных также необходимы по крайней мере некоторые знания в области программирования, чтобы оказывать влияние на бизнес. Это еще более редкая находка. Многим специалистам по данным, имеющим академическую подготовку в области машинного обучения, может не хватать опыта работы в среде разработки программного обеспечения, которая требует от людей совместной работы. Вы можете найти кандидатов, которые разбираются в науке о данных, а не в программировании, или которые хорошо разбираются в программировании, но знают лишь немного о науке о данных.

Дорогие вычислительные потребности

Чтобы добиться любого вида крупномасштабной обработки данных, вам нужны графические процессоры, которые также страдают от проблемы спроса и предложения. Даже крупные компании не обязательно имеют графические процессоры, доступные для сотрудников, которые в них нуждаются - и если их команды пытаются выполнять машинное обучение без использования процессоров, то обучение их моделей займет больше времени.

Даже с графическими процессорами есть много ситуаций, когда обучение модели может занять дни или недели, поэтому время обработки все еще может быть ограничением. Это отличается от традиционной разработки программного обеспечения, где выполнение программ может занимать минуты или несколько часов, но не дней.

Некоторым моделям нормально время на обучение, если результаты быстро передаются в производственной среде. Более сложная задача возникает, если вам нужно часто переобучать или обновлять модель. Допустим, вы каждый день получаете новые данные, которые хотите включить в свою модель. Но что, если полностью обученная модель займет неделю? Модель не может быть в курсе последних поступающих данных. Это не редкость - скорость поступления данных выше, чем скорость, с которой они могут переобучить модель.

Черный ящик ответы

Некоторые люди хотят знать, почему модели машинного обучения принимают определенные решения. Почему пользователь показал определенное объявление? Почему договор интерпретировался определенным образом? Почему машина двигалась именно так?

Существует основное убеждение, что люди должны уметь объяснять, почему алгоритмы машинного обучения и другое программное обеспечение предпринимают определенные действия. Теоретически это прекрасная цель, но она устанавливает для программного обеспечения гораздо более высокую планку, чем та, которую мы для себя установили. Это потому, что люди тоже не поддаются интерпретации.

Достаточно взглянуть на исследования ложных воспоминаний и неспособности людей объяснить, почему они приняли определенные решения. Или подумайте, как люди принимают решения, прежде чем осознавать, что они сделали выбор. На решения людей влияют факторы, о которых они просто не подозревают. Это касается финансовых услуг, где некоторые хотят знать, почему была совершена алгоритмическая сделка. Кажется, предполагается, что люди объективно могли сделать те же самые звонки - я не думаю, что они могут.

Эта относительно недавняя обратная реакция состоит в том, что если мы не можем объяснить, почему система приняла решение, значит, мы не должны его использовать. Возьмем крайний и трагический пример: беспилотный автомобиль сбивает пешехода. Но если бы у вас был человек в таком же положении, могут ли они действительно объяснить, почему они это сделали? Они могут сообщать, что потерялись, ошеломлены или отвлечены. Это настоящая причина? Знает ли водитель в уме настоящую причину?

Возможно, с людьми дела обстоят еще хуже - по крайней мере, нам не нужно беспокоиться о том, что программы намеренно вводят в заблуждение.

Тем не менее, некоторых людей беспокоит тот факт, что мы не можем объяснить, почему алгоритмы принимают определенные решения. Это в значительной степени проблема глубокого обучения: поступают входные данные, к ним применяются различные веса, но вы не знаете, что привело к определенному результату.

В случае неудачи руководители и политики хотели бы знать, в какую глотку подавиться, понимая, какое физическое или юридическое лицо в конечном итоге несет ответственность за проблему. Например, кто несет юридическую ответственность за наезд на пешехода беспилотным автомобилем? Человек на водительском месте, который не контролировал ситуацию, но, возможно, должен был взять на себя управление в тот момент? Это автомобильная компания, которая сделала автомобиль, производитель программного обеспечения, который создал программное обеспечение, которое использовалось в машине, или это служба совместного использования автомобилей?

Нет никаких сомнений в том, что это сложная моральная и юридическая проблема, которую нужно распутать, но я не так настроен к этому вызову, как другие. В прошлом общество успешно находило способы распределять ответственность. Например, существует четкая юридическая ответственность, если в вашей машине возникла проблема с электропроводкой, машина взорвалась и кто-то погиб. Кто-то придумал на это ответ. Идея распределения ответственности - не новая проблема.

Жажда данных

Обучение с учителем - преобладающий метод машинного обучения. Для этого нужны не просто данные, а маркированные данные. То есть данные, дающие ответ на множество входных данных, чтобы можно было предсказать, какими должны быть будущие результаты. Доступность помеченных данных является серьезной проблемой для некоторых проектов машинного обучения. Фактически, это немного ограничивает проблемное пространство. Феномен больших данных за последние 10–12 лет, возможно, заставил компании лучше собирать данные, но они не обязательно маркируют эти данные.

Одна из проблем заключается в том, что помеченные данные по большей части не встречаются в природе. Немного проще создать с помощью количественных данных, когда ответы можно вычислить или вывести из самих данных. Это не относится, например, к данным изображения - группе пикселей нет ничего, что могло бы сказать алгоритму, что это кошка. Обучение алгоритму требует, чтобы человек сначала наклеил на кошку ярлык.

Между тем, у неконтролируемого обучения есть свои проблемы с данными. В этом случае в наборе обучающих данных нет ответов, и алгоритмы должны находить ответы самостоятельно. Это требует значительно большего количества данных, чем контролируемое обучение, а проблемы неконтролируемого обучения, как правило, все сложнее и труднее решить с помощью машинного обучения. Эти методы не так просты, как обучение с учителем. Таким образом, в бизнес-контексте он не нашел широкого применения.

Также ведутся многочисленные дискуссии о методах, для которых не требуется столько данных. Машинное обучение - и особенно глубокое обучение - часто называют «требовательным к данным», то есть для того, чтобы решения работали, требуется много данных. Исследователи пытаются выяснить, как мы можем обойти или свести к минимуму этот голод или, по крайней мере, более эффективно его утолить. Один из подходов заключался в использовании небольшого набора данных и автоматическом создании новых похожих данных.

Хорошие новости: это решаемые проблемы

Многие проблемы машинного обучения преподносятся как новые проблемы для человечества. Но в большинстве случаев это не совсем так. Проблемы машинного обучения можно преодолеть:

  • Шумиха вокруг машинного обучения со временем утихнет рыночными силами.
  • Проблема нехватки талантов будет решена рыночными силами и растущей автоматизацией.
  • Технологические разработки повысят скорость обработки.
  • Люди в конечном итоге согласятся с тем, что они не могут полностью понять каждое решение, которое принимает алгоритм машинного обучения, так же как они не могут полностью понять решения, принимаемые людьми.
  • Новые технологии и методы помогут компаниям создавать больше данных, которые им нужны, и / или сокращать объем требуемых данных.