Машинное обучение для руководителей
Что каждый руководитель должен знать о проектах машинного обучения, прежде чем что-либо узнать о машинном обучении
Достижения в области машинного обучения определяют прорывы в области искусственного интеллекта. Машинное обучение — это технология, которая позволяет компьютерам настраивать и расширять свои знания без явного программирования.
Благодаря значительным прорывам во всех вариантах машинного обучения становится все более очевидным, что передовой опыт применения машинного обучения для решения конкретных проблем предприятия создает ценность. Машинное обучение и новые человеко-машинные интерфейсы, такие как помощники, понимающие естественный язык и личный контекст, способны повысить производительность человека. Подобно тому, как группа велосипедистов, работающих вместе над драфтом, может все больше и больше опережать отставших, новым конкурентным преимуществом станет умелое внедрение машинного обучения и ИИ.
Хотя машинное обучение, и в частности глубокое обучение, является горячей темой, руководителю высшего звена жизненно важно понимать, что эффективное использование машинного обучения в основном по-прежнему связано с людьми, а не с технологиями. Ключевым преимуществом машинного обучения является скорость и масштаб. Главный риск заключается в том, что никто, даже эксперты, полностью не понимают, как это работает. Большинство сложных моделей машинного обучения в какой-то степени являются черными ящиками.
Я работаю над учебником по машинному обучению для руководителей бизнеса, но прежде чем углубляться в сорняки, вот три момента для руководителей высшего звена о том, что нужно знать о проектах машинного обучения, прежде чем узнать о машинном обучении.
# 1 Хорошие данные › Большие данные, по-прежнему
С прогрессом, достигнутым в глубоком обучении (ветвь машинного обучения, которая по сути состоит из глубоких нейронных сетей + вычислительной мощности + огромных данных), возродился разговор о больших данных. Это часто доводило до того, что подразумевалось, что качество данных больше не имеет значения, что, пока они большие, это хорошо. Хотя эти алгоритмы, безусловно, лучше работают с большими наборами данных, что характерно для глубокого обучения в его нынешнем виде, они все равно должны быть хорошими данными. Глубокое обучение — это не процесс очистки данных.
Несколько омрачает это сообщение появление новых терминов, таких как темные данные, неструктурированные данные и неконтролируемое обучение.
Неструктурированные данные — это не уродливые данные, украшенные галстуком-бабочкой. Неструктурированные данные — это просто данные без меток, они не организованы или не имеют предопределенной модели данных для их описания. Неструктурированные данные часто представляют собой текст; текст в электронных письмах организации, текст в комментариях в социальных сетях и текст в таких документах, как контракты. Он также может содержать такие данные, как даты и числа. Справляться с неструктурированными данными — это то, с чем машины справляются очень хорошо. Будь то автоматическая подготовка и интерпретация отчетов на естественном языке или целенаправленный прогнозный маркетинг, существуют как традиционные поставщики, так и специализированные стартапы с действительно новыми продуктами и приложениями.
Темные данные — это рабочие данные, которые не используются. По оценкам, темные данные могут составлять 80–90% данных, собранных в компаниях. Многие темные данные неструктурированы. Многие исследования проводятся в области когнитивных вычислений в расчете на то, что машины смогут автоматизировать обнаружение скрытых данных и в то же время разобраться в них. Как и любая проблема такого рода, это, вероятно, возможно, но какова цена или выгода? Поскольку данные скрыты, экономическое обоснование туманно и становится особенно непрозрачным, если в то же время идет технологический риск. Стоит с подозрением относиться к волшебной палочке технологий, применяемой к черному ящику темных данных. Хранение темных данных исключительно в надежде, что они пригодятся в будущем, является корпоративным эквивалентом криогенной подвески всего тела.
Неконтролируемое обучение — это процесс создания новых знаний из неразмеченных данных. Это современный уровень BI для обнаружения скрытых шаблонов или ассоциаций в данных. Еще в 2008 году большие данные стали средством отказа от причинно-следственной связи в пользу корреляции, научный метод фактически устарел. Но с алгоритмами машинного обучения, способными обрабатывать чрезвычайно большие объемы данных, чем больше данные, тем больше они могут быть зашумлены и тем больше алгоритмы могут найти ассоциации, которых не существует. При обучении с учителем некоторые из них могут быть обнаружены на этапе обучения и называются «переобучением». При неконтролируемом обучении его труднее обнаружить и протестировать. Некоторые из них являются просто ложными корреляциями. Сохранение здорового скептицизма и продолжение поиска причинно-следственной связи (чем меньше возможных объяснений корреляции, тем более вероятно, что события связаны) остается золотым стандартом. Корреляция является достаточно хорошей только тогда, когда существует частая корреляция в сочетании с четкой причинно-следственной гипотезой, а преимущества действия в соответствии с прогнозом перевешивают риски. Научное понимание «почему» может быть не модным, но оно все же лучше, чем слепое действие, основанное на простом «что».
Многие компании изо всех сил пытались оправдать окупаемость инвестиций и другие неосязаемые ожидания от своих проектов больших данных. Будь то нехватка специалистов по данным, реальные трудности управления озерами данных или сложности управления несколькими поставщиками, консультантами и поставщиками услуг, управлять данными сложно. Некоторые эксперты представляют машинное обучение как панацею от неоправданных ожиданий больших данных, как будто ИИ — это спасательный жилет, сброшенный с плота профессиональных услуг ИТ-директору, тонущему в озере данных. Но есть важная и логичная причина, по которой машинное обучение и большие данные не находятся в идеальных долгосрочных отношениях.
В машинном обучении и больших данных есть еще одна тонкость — нестационарные данные и адаптивные модели. После того, как модели построены, они, как правило, хорошо работают только с данными (миром), на которых они обучались. Если мир изменится, они могут перестать работать и давать неточные результаты. Если действительные большие данные размываются изменяющимся миром, по сути, это снова просто маленькие данные. И очень трудно понять, это просто взлеты и падения нормального мира или мир изменился. На самом деле, есть много исследователей и стартапов, активно работающих над этим (так называемые разреженные данные), потому что экономика больших нестационарных данных в машинном обучении будет ограничивать прогресс в некоторых важных областях.
Вопрос, заданный Мэттом Терком в статье «Большие данные все еще актуальны?» что ИИ сделает для работы с большими данными? Ближайшая и наиболее многообещающая связь между большими данными и ИИ заключается в том, чтобы помочь самому дефицитному ресурсу — «специалисту по данным» — работать с данными гораздо, гораздо более продуктивно, чем это было до сих пор. В мире недостаточно специалистов по данным, чтобы справиться со всеми проблемами науки о данных, а специалисты по данным не хотят тратить свое время на объяснение науки о данных. Есть надежда, что это сделает ИИ.
# 2 Это больше наука, чем программное обеспечение
Исследовательская группа Facebook по машинному обучению рассказывает об «экспериментах». К середине 2016 года Хоакин Кандела, директор по прикладному машинному обучению в Facebook, заявил, что 25% инженеров Facebook проводят эксперименты по машинному обучению. Это очень преднамеренный язык — машинное обучение — это метод проб и ошибок, разработка особенностей предметной области и множество экспериментальных разработок. Он не следует стандартным процессам разработки программного обеспечения и не дает удобного ответа в булевой логике, отражающей его создателя, инженера-программиста. Проекты машинного обучения требуют еще более точного определения проблемы, чем проекты программного обеспечения, потому что эффект прогнозирования и вклада в среду изменяют саму проблему. Это теория игр в большом масштабе.
Питер Норвиг, директор по исследованиям искусственного интеллекта в Google, описал пробелы, существующие между старыми программными моделями с программистами и отслеживаемой логикой и новым кодированием машинного интеллекта и статистики. Нет контроля версий, нет конкретных релизов, нет тестирования. По мере того, как машинное обучение распространяется по системам, компании должны понять, что значит устранять ошибки в чем-то, что не является модульным, постоянно меняется и может иметь предвзятость, основанную на характере статистических алгоритмов и обучающих данных. Я уже писал об этом ранее — предвзятость — это ошибка, и пока мы не узнаем, как ее отлаживать, руководители должны быть особенно бдительными. Новая политика должна явно контролировать и контролировать эксперименты по машинному обучению в сравнении с ценностями компании.
Машинное обучение не является аккуратным, поэтапным или определенным. Это процесс прототипирования, оценки, тестирования и масштабирования. Точно так же, как фармацевтические компании не могут позволить себе тратить все свои ресурсы на этапе доклинических испытаний, компании не могут тратить весь свой бюджет машинного обучения на первую итерацию. Требуется много экспериментов, а техническое обслуживание остается неизвестной величиной. Многие проблемы необходимо переформулировать в менее чем абсолютных терминах, скажем, путем установления показателей приемлемости для точности или ложноположительных/отрицательных результатов. Этот мир неопределенности не подходит для компаний, мыслящих абсолютными понятиями.
Стоит привыкнуть к вероятностному мышлению.
# 3 Это больше мудрости, чем Hack-Dom
Есть причина, по которой многие знаменитости в ИИ имеют свою долю седых волос. Мастерство машинного обучения занимает годы и, как правило, степень доктора философии или два. За последние двадцать-тридцать лет, когда основы современного машинного обучения были заложены в прикладной математике и статистическом ИИ, у людей, которые не сдавались, было время опробовать множество подходов. Сегодня, когда новое поколение специалистов по данным и инженеров создает современный ИИ, прежний опыт играет важную и активную роль. Основы, от которых во многом зависит развитие современной компьютерной науки, имеют долгую историю. Все крупные игроки в области искусственного интеллекта и машинного обучения имеют исследовательские группы, поскольку исследования и разработки являются важной инвестиционной стратегией — «Facebook, Google, Baidu, Microsoft, IBM, Uber, Toyota.
Facebook был вынужден исследовать собственную систему перевода на естественный язык, потому что язык Facebook совершенно другой — полный разговорных выражений, аббревиатур и локализаций. R&D был единственным решением. Миссия OpenAI — создать безопасный ИИ. Они наняли ведущих специалистов для этого дела и хотят, чтобы ИИ был доступен каждому. Прямо сейчас многие ученые в области ИИ создают свои собственные стартапы. Это способ получить работу и увидеть результаты исследований.
Опять же, процесс коммерциализации принципиально отличается от предыдущего развития информационных технологий. Современные ИТ-инструменты создали хакерский менталитет. За последние полвека венчурные капиталисты были среди многих, кто призывал к созданию компании в мире приложений. После бума и спада чистых технологий и раннего интернета было глотком свежего воздуха иметь возможность посадить студента из колледжа с 10 000 долларов и предположить, что он вернется с клиентской базой и задатками единорога. В компаниях халтурные разработки и разработки скунсовой работы кажутся почти издевательством над ИТ-архитектурой. Некоторые из этих настроений существуют в машинном обучении. TensorFlow от Google и машинное обучение AWS, а также множество библиотек машинного обучения с открытым исходным кодом создают впечатление, что это просто простое дополнение, которое может освоить любой порядочный инженер-программист. Еще лучше, это бесплатно. Есть второстепенный совет: «Найдите самого молодого человека в вашем ИТ-отделе и назначьте его ответственным за машинное обучение». Ну, если честно, это так же разумно, как поставить Большую Голову во главе лаборатории Хули. Суть в том, что если хорошее ИИ-решение, основанное на машинном обучении, может увеличить доход на 30% в компании с оборотом в 1 миллиард долларов, если 300 миллионов долларов будут доверены тому, кто, хотя и может быть отличным программистом, не знает математика? Машинное обучение — это математика. Много этого.
Этот процесс является одним из научных — основанных на гипотезах, надежного экспериментального плана, глубокого понимания принципов, поверхностного знания тонкостей статистического многомерного анализа и врожденных навыков для творческих способов проверки результатов по сравнению с контролем. Разработка признаков может решить, сможет ли алгоритм найти закономерности в данных, а разработка признаков — это та область, в которой решающее значение имеет знание предметной области. Это не так просто, как провести соревнование на Kaggle. Не ожидайте, что что-то полезное или точное получится из эксперимента, который не поддерживается опытным специалистом по данным, а управляется кем-то с глубоким знанием предметной области и четким видением проблемы, которую необходимо решить. Компании, приступающие к машинному обучению с заявленной целью использования технологий для получения конкурентного преимущества, но не имеющие четкого представления о проблеме, которую они пытаются решить, будут потеряны в пустыне градиентного спуска, как и их алгоритмы.
Есть много отличных стартапов, а также крупных компаний со специальными приложениями на основе машинного обучения. Многие могут продемонстрировать превосходную производительность в конкретных случаях использования с проприетарными алгоритмами или с алгоритмами с открытым исходным кодом и отличным ноу-хау. Есть возможность трансформировать бизнес — интерпретировать данные и объяснять их интуитивно понятным способом, автоматизировать и упростить каталогизацию текста или изображений, резко снизить риски в области кибербезопасности, создать новые методы микротаргетинга клиентов и заполнения социальных сетей. , чтобы обеспечить инновационные приложения устройств IoT и трансформационную операционную эффективность , но, как и во всех новых стратегических начинаниях, понимание руководства, спонсорство и участие являются наиболее важными факторами успеха.
