Что такое алгоритмы? Насколько они разные? И как узнать, какие из них действительно ценные?

проф. Фалес С. Тейшейра

Алгоритмические технологии - машинное обучение (ML), искусственный интеллект (AI) и большие данные (BD) - стали очень популярными инструментами для бизнес-инноваций. Начинающие предприниматели пришли к выводу, что простое добавление машинного обучения или искусственного интеллекта к описанию своего бизнеса без необходимости объяснять основные принципы его работы вызывает немедленный интерес потенциальных инвесторов.

Последние три года я был судьей в ежегодном конкурсе CNBC Disruptor 50, цель которого - выявить самые прорывные стартапы. Глядя на приложения стартапов за последний год, я заметил резкое увеличение количества описаний, основанных на этих алгоритмических технологиях. Расплывчатые фразы, такие как интеллектуальная платформа, сложное компьютерное зрение, алгоритмы глубокого обучения и высокоинновационные BD и AI, стали обычным языком в мире стартапов. Добавьте к этому тот факт, что большинство людей понятия не имеют, что на самом деле означают эти термины, вы получите волну, которую все пытаются поймать. Это мало чем отличается от рынка пиццы. Любой, кто побывал в Нью-Йорке, может подтвердить, что все пиццерии рекламируют, что у них лучшая пицца в городе.

Итак, что же такое алгоритм?

Алгоритмы - это правила

Подавляющее большинство алгоритмов машинного обучения, искусственного интеллекта и BD, используемых сегодня цифровыми стартапами и технологическими компаниями, ориентированными на потребителей, на самом деле имеют много общих элементов. Их можно разделить на один из трех классов в зависимости от их назначения: алгоритмы классификации, прогнозирования и автоматизации.

Классификация предназначена для использования данных о различных объектах, таких как объекты, люди или компании, для классификации каждой сущности по типу. Например, Affectiva использует записи выражений лица человека с веб-камеры, чтобы классифицировать его эмоциональное состояние по одной из семи так называемых универсальных эмоций (счастье, грусть, злость, удивление, отвращение, страх или нейтральность).

Моя первая попытка создать инструмент машинного обучения была предпринята в начале 2000-х, после окончания колледжа. Меня наняла одна из компаний по подбору персонала, чтобы я изучил более 100 000 опросов руководителей и нашел корреляцию между личностными тестами и рыночной стоимостью, измеряемой годовой заработной платой (Вывод: больше амбиций, конкурентоспособные и доминирующие руководители зарабатывают больше денег ). В то время технические термины для этих инструментов были другими. Однако цель и лежащие в основе методы были очень похожи. Фактически, недавний опрос специалистов по данным показал, что три основных метода, используемых сегодня для машинного обучения, существуют уже много десятилетий. Многомерный регрессионный анализ существует по крайней мере 200 лет. Кластерному анализу 80 лет. Нейронным сетям около 70 лет.

Алгоритмы прогнозирования - это алгоритмы, которые берут данные об объектах и ​​контекстных факторах, чтобы предсказать будущее поведение и затем повлиять на него. StitchFix, стартап по производству одежды, основанный на подписке, использует данные о прошлых покупках, симпатиях и антипатиях, размерах и опросах людей, чтобы определить, какие предметы одежды каждый покупатель с большей вероятностью купит.

Во время учебы в докторантуре Мичиганского университета я создал новый алгоритм прогнозирования. Я использовал технологию айтрекинга, чтобы измерять движения глаз людей, когда они смотрят рекламу, и снимал их лица, используя так называемые алгоритмы компьютерного зрения, чтобы определять эмоциональные реакции по мимике. Я построил сложные алгоритмы, которые обнаруживали, когда люди теряли интерес к рекламе и могли пропустить ее или щелкнуть мышью. Обработка видео в реальном времени требует гораздо большего объема данных, чем опросы личности, но в ней используется тот же основной принцип: определение характеристик, которые коррелируют с желаемым результатом. Отсюда и началась моя работа в области Экономики внимания. С тех пор поток новых стартапов заявляет, что они используют машинное обучение или искусственный интеллект только для определения эмоций на лицах людей. На самом деле все алгоритмы очень похожи по своей природе.

Алгоритмы автоматизации используют контекстные данные не только для прогнозирования, но и для независимого воздействия на них. Например, беспилотные автомобили используют контекстные данные, полученные с помощью радаров и лидаров (световых радаров), чтобы определить, где находится автомобиль, куда он движется, и препятствия, используя все эти данные для калибровки и корректировки его положения, траектории и скорости. . Компании Goggle Waymo, Uber и Tesla в настоящее время экспериментируют с этими алгоритмами. Первоначально эти алгоритмы начинаются как поддержка человеческих решений, например, являются полуавтономными. В конце концов, самые лучшие становятся настолько устойчивыми, что достигают автономного статуса и полностью заменяют людей. Но беспилотные автомобили и роботы - не единственные области, в которых используется автоматизация.

В одном недавнем применении алгоритмов искусственного интеллекта я и мои коллеги показали серию коротких видеороликов для измерения эмоциональных реакций участников с помощью их веб-камер. Узнав, какие сцены в трейлерах к фильмам вызывают радость, если использовать просторечие Мари Кондо, мы помогли нам выбрать несколько сцен, которые мы поместили в пяти- или 10-секундный клип, чтобы показать на веб-сайте Netflix в качестве инструмента рекомендации. Короче говоря, если зрители улыбались при просмотре сцены, мы показываем это другим в коротких автоматически воспроизводимых клипах, чтобы повысить шансы того, что новый человек посмотрит фильм. Ничего страшного, если подумать. Но поскольку это происходит быстро и автоматически, взаимодействие с новым контентом значительно улучшилось для пользователей Netflix.

Понимание ценности алгоритма

Поскольку алгоритмам свойственна частота ошибок - алгоритм классификации может ошибочно классифицировать, прогноз может давать неверные прогнозы, а автоматизация может принимать неправильное решение - основной способ их тщательной оценки - это измерение их частоты ошибок в полевых условиях, затрат, связанных с ошибок и уменьшение ошибки по мере роста данных. Это довольно сложно и должно выполняться специалистами.

Но что, если вы не технический специалист? Один из приемов состоит в том, чтобы люди, разработавшие алгоритм, преобразовали его в простые утверждения «ЕСЛИ-ТО». Независимо от того, насколько сложен алгоритм, его всегда можно разбить на несколько (потенциально бесконечных) функций ввода и вывода как таковых:

Если {это наблюдается} ТО {классифицируйте / прогнозируйте / делайте} то.

Алгоритм классификации, например, может сказать, ЕСЛИ уголки губ человека увеличиваются, ТОГДА он классифицируется как испытывающий радость (потому что он может улыбаться). Алгоритм прогнозирования может сказать, что ЕСЛИ человек купил красный кардиган, ТОГДА он, скорее всего, купит белый верх, чтобы пойти под ним. Алгоритм автоматизации для беспилотного автомобиля может определить, что ЕСЛИ лидар определяет красный шестиугольный знак, ЗАТЕМ он должен замедлиться и задействовать тормоза для остановки.

Любой алгоритм можно преобразовать в от сотен до миллиардов таких операторов IF-THEN. Поэтому пройти их все было бы невыполнимой задачей. Идея состоит не в том, чтобы оценивать все возможные сценарии, а в том, чтобы судить о разумности результатов - предложений THEN - путем анализа вероятных ситуаций. Здесь важно оценивать как наиболее вероятные сценарии (нормы), так и экстремальные, но все же возможные сценарии.

Но будь осторожен. Не позволяйте разработчикам этих алгоритмов единолично контролировать все сценарии, которые вы оцениваете. Когда руководители GM отправились в Кремниевую долину, чтобы увидеть и оценить беспилотный автомобиль, запрограммированный Cruise Automation, трехлетним стартапом из 40 человек, всем им снова показали беспилотные автомобили, едущие на том же участке шоссе 101. и снова и снова. В 2016 году GM заплатила 1 миллиард долларов за компанию, которая еще не выпустила функционирующий коммерческий продукт.

Разделение хорошего, плохого и уродливого

Ценные алгоритмы являются «умными» в том смысле, что у них есть две определяющие характеристики: (1) они собирают высококачественные входные данные для предложений IF и (2) они предлагают «разумные» предложения THEN. Таким образом, быстрая проверка реальности состоит в том, чтобы посмотреть на тип, количество и качество данных, а также на выборку операторов IF-THEN, на которых основан алгоритм, чтобы оценить его разумность. Загляните под капот. Делает ли алгоритм вещи (классифицирует, предсказывает или автоматизирует), которые вы считаете разумными или необоснованными? Если бы разумный человек столкнулся с теми же данными, поступил бы так же?

Плохие алгоритмы делают слишком много ошибок и бесполезны. Одна из причин заключается в том, что эти алгоритмы работают с очень ограниченными или ненадежными данными в предложении IF. Например, использование поиска Google inognito часто дает гораздо худшие результаты при поиске ресторана, чем если вы вошли в систему и ваше местоположение можно определить. Другой способ, которым алгоритмы терпят неудачу, - это когда они предлагают очень необоснованные предложения THEN, такие как предложение иранского фильма кому-то, кто никогда не смотрел иностранный фильм, или поворот автономного автомобиля в направлении, противоположном улице с односторонним движением.

Некоторые полезные алгоритмы имеют правильные данные и предлагают делать именно то, что сделал бы кто-то с такими же данными. В каком-то смысле они не умнее людей - просто быстрее, дешевле или без усилий. В то время как пресса много говорит об Amazon и Google, большинство инновационных стартапов, которые я вижу сегодня, принимают простые решения быстрее и экономичнее тысячи раз в день. Примеры включают Blue River, которая оценивает здоровье растения и решает, следует ли опрыскивать его гербицидом, и Weathfront, который инвестирует деньги своего клиента, чтобы минимизировать его налоговое бремя. Ничего умопомрачительного, но тем не менее ценного.

С другой стороны, наиболее ценные алгоритмы выходят за рамки и делают то, о чем кто-то даже не подумал бы, но, посмотрев дальше на данные и шаблоны, они поймут, почему алгоритм предлагает эти действия. Примером этого является алгоритм машинного обучения Google, который управляет энергией, используемой для охлаждения серверов в центрах обработки данных. Позволяя ему свободно исследовать комбинации температуры, мощности и использования водяного насоса, алгоритм ML смог снизить относительное потребление электроэнергии на 40 процентов по ​​сравнению с решениями, принимаемыми человеком. Farmers Business Network, Rent the Runway, The Good Face Project и TVision Insights - одни из моих любимых примеров алгоритмов, выходящих за рамки возможностей.

Эти «интеллектуальные» алгоритмы учатся, экстраполируя имеющуюся дату или обнаруживая новые комбинации операторов IF-THEN, которые изначально не были изобретены программистом. Вкратце, экстраполяция означает, что если алгоритм обнаружит ситуацию, которую раньше не видел, скажем, пользователь Netflix, который смотрел The Crown, Glee и Little Baby Bum, он все равно даст разумную рекомендацию относительно того, что это человек может захотеть посмотреть следующий. Что касается обнаружения новых комбинаций, алгоритм Stitchfix может начать изучать - отчасти случайно - новые комбинации между определенными ботинками, шортами и топами, которые начинают хорошо продаваться вместе, даже если они формально не были запрограммированы в система и данные об этой комбинации предметов одежды отсутствовали. В отличие от экстраполяции, для обнаружения требуется цикл обратной связи, который сообщает алгоритму, насколько успешны его правила, то есть покупают ли люди эти наряды.

Главный вывод

ML, AI и BD основаны на очень сложных технических алгоритмах. Поэтому отделение действительно ценных от остального - тоже сложное испытание. Чтобы было ясно, нет реальной замены использованию строгих статистических методов для оценки их ценности. Даже в этом случае очень возможно обмануть (см. Как лгать со статистикой). Помимо разработчиков алгоритмов, их пользователи-менеджеры и венчурные инвесторы могут применить более практичный подход к оценке их стоимости. Альтернативный способ для людей, обученных бизнесу, - это выполнить первоначальный нюхательный тест этих алгоритмических технологий, просмотрев инструкции IF-THEN. Чтобы определить, являются ли алгоритмы бесполезными, полезными или уникально ценными, сделайте то же, что и в пиццерии в Нью-Йорке. Не ешьте пиццу целиком. Просто попробуйте несколько вкусов. И, пожалуйста, не позволяйте продавцу решать, какие именно. Если она невкусная, то и вся пицца тоже не будет вкусной.

Фалес Тейшейра был профессором Гарвардской школы бизнеса в течение 10 лет. Он является автором книги Разблокирование цепочки создания стоимости для клиентов, опубликованной Currency, и соучредителем Decoupling.co, консультационной фирмы по вопросам цифровых технологий.