Как неинформированный рынок сделал ставку на науку о данных, чтобы помочь бороться с появлением новаторских технологий. Почему это не удалось и как это наконец окупается.

Прорыв и рост науки о данных

Финансовые кризисы действуют как ускорители созидательного разрушения и технологического накопления. В годы, последовавшие за финансовым кризисом 2008 года, широкомасштабные сбои, связанные с технологиями, привели к метаморфозам в установленном порядке американских мегакорпораций. Непревзойденная способность технологических компаний к дешевому масштабированию позволила им сместить устоявшихся конкурентов-динозавров и определить дух времени для нового поколения; подумайте о Uber, Airbnb, WhatsApp, Dropbox, Instagram и т. д.

Руководители справедливо боятся разрушителей, потому что - как правило, хотя и не всегда - их крупный размер, устоявшаяся бизнес-модель, низкий аппетит к риску и непропорциональное внимание к наиболее прибыльному клиентскому сегменту порождают вялую неподвижность, а также нежелание и кажущуюся неспособность инвестировать в новые инновационные технологии и процессы.

Это резко контрастирует с естественной способностью участника рынка применять новаторские решения на нишевом рынке, нуждающемся в продукте, соответствующем их потребностям.

Постфикс tech к усеченному слову обозначает синтаксическую структуру недавно нарушенного поля - FinTech, EdTech, RegTech, InsureTech и т. Д. Почти во всех случаях «технология» просто относится к более продвинутой технологии обработки информации. это создает относительное увеличение стоимости по сравнению с действующими игроками, которым мешают архаичные процессы и системы с высокими накладными расходами.

Итак, почему эти устоявшиеся предприятия постоянно изо всех сил пытаются перестроить существующие платформы с нуля, чтобы помешать претендентам на рынок? Потому что это долгое и дорогостоящее мероприятие, которое не гарантирует окупаемости инвестиций, не говоря уже о более широкой прибыли, и с учетом уровня риска обычно считается расточительным и рискованным мероприятием.

концептуально более простой подход к достижению аналогичных целей, который гораздо более приемлем для широко раскрытого руководителя, открытого для экономических шансов, - это нанять команду специалистов по анализу данных. На протяжении большей части последнего десятилетия этот подход терпел неудачу.

Комедия ошибок

Создание функции науки о данных с нуля в небрежной манере обречено на провал и носит эндемический характер. Стандартное повествование гласит, что вложения в дополнительные стратегии, системы и роли были несогласованными, а ожидания относительно способности типичного специалиста по обработке данных повышать ценность в каждой точке конвейера данных были завышены.

В этом отношении неопытные специалисты по анализу данных идут по тонкой веревке. Университетские курсы по науке о данных слишком сосредоточены на теоретической стороне науки о данных: моделях, алгоритмах, математике, статистике. Компании и менеджеры по найму превосходят их ожидания от специалистов по обработке данных с практической точки зрения: внедрение систем, поддерживающих модели науки о данных.

Но такие зарождающиеся проблемы, как эти, требуют времени, чтобы их сформулировать, особенно в медленно развивающихся организациях. Тем временем наука о данных взлетела, как ракета на стероидах.

Но почему это взлетело, когда это произошло? Причин несколько: усовершенствованные технологии сбора данных, вызванные продолжающейся миграцией в онлайн-мир; более доступная вычислительная мощность благодаря облачным предложениям; реализация алгоритмов машинного обучения в постоянно расширяющейся экосистеме Python в виде пакетов с открытым исходным кодом; сетевые эффекты виральности и FOMO (этот момент не является причинным, а наоборот, постоянным).

Пузыри, качели и перекрестки с круговым движением

Давайте поговорим о рыночных пузырях.

Спекулятивные пузыри возникают, когда оптимистические ожидания относительно будущих условий вплетаются в воспринимаемую стоимость какого-либо актива на каком-либо рынке. Завышенное восприятие актива проявляется как реальная надбавка к его стоимости, по крайней мере, временно.

Все мы знаем эту историю. Сначала он увеличивается вдвое, затем в пять, затем раскачивается, спотыкается и рассыпается в щебень, а затем классифицируется как пузырь.

В последующие годы ученые и говорящие головы будут наблюдать набор знакомых характеристик, которые предопределили и развили пузырь - знакомые, потому что мы видели их раньше в аналогичных умозрительных проявлениях.

Но спекуляция сама по себе не обязательно плохая вещь, это естественная часть инноваций, и при правильных условиях спекулятивные пузыри могут нести ответственность за развитие процветания в долгосрочной перспективе. беги, это то, что называется продуктивным пузырем. Широкая рыночная спекуляция может сконцентрировать капитал до такой степени, что побочные эффекты от этого обеспечат производственную мощность, которая может сохраниться надолго в будущем.

Возьмем, к примеру, пузырь доткомов. В то время как он отвечал за ликвидацию триллионов стоимости акций и бросовых облигаций, недооцененным побочным эффектом стала прокладка оптоволоконных кабелей на миллионы миль - основы современной цифровой экономики.

Точно так же биржевой пузырь на Уолл-стрит в конце 1920-х годов повлиял на спекуляции среди зарождающихся отраслей, таких как самолеты, коммунальные услуги, телефонная и телеграфная связь, электрооборудование и радио. Требования к капиталу для повсеместного внедрения таких продуктов требовали огромных инвестиций в физическую инфраструктуру и нового спроса на специализированную рабочую силу, которую частные инвесторы охотно предоставляли.

В обоих случаях спекуляции вызвали огромные страдания, но также заложили основы, которые сделали необходимым появление более развитой экономики.

DSaaB - Наука о данных в виде пузыря

Это знакомая история: новый технологический прорыв дает начало, а интерес средств массовой информации подогревает ажиотаж, хотя практических продуктов не существует. Преждевременная огласка порождает истории успеха, которые становятся популярными, а множество неудач остаются незамеченными и незарегистрированными.

Наука о данных стала модным, новым ребенком на рынке примерно в то время, когда AlexNet был выпущен еще в 2012 году, и его рост, как и экономические пузыри, был обусловлен волной спекуляций и FOMO высшего руководства.

В последующие годы резко выросло количество вакансий для специалистов по обработке данных, в сети и в университетах появилась целая индустрия, посвященная буткемпам и курсам, родились конференции, посвященные этой теме, онлайн-демонстрации поразили мир, а барьеры для входа упали с демократизацией машин. обучающие платформы с помощью решений plug-and-play.

И хотя некоторые компании добились успеха в своей работе с данными, многие, к сожалению, этого не сделали. Руководители предполагали, что все, что им понадобится, - это элитная команда ученых-единорогов, способных обеспечить непрерывный конвейер данных. Неудивительно, что эта мечта не удалась, и компании, которые ее использовали, не увидели, что наука о данных дала те результаты, которых они ожидали.

Медленно, медленно компании выходят из отчаянной спекулятивной позиции по умолчанию, согласно которой наем опытной команды специалистов по анализу данных откроет более широкую прибыль и обеспечит процветание. Руководители начинают понимать, каковы базовые требования для поддержки эффективной работы по обработке и анализу данных. Раньше их ранило видение обетованной земли моделей и статистики, а также огромные успехи в метрике то-то-то, и теперь следует быть более ожесточенными и скептичными. стратегии поверхностных данных.

Одним из важных побочных эффектов раздуваемых капиталовложений и интеллектуальных инвестиций в науку о данных за последнее десятилетие или около того является то, что инфраструктура данных, необходимая для поддержки ее восхождения, была собрана в строках кода, классных комнатах академических учреждений и в свободном пространстве руководителей. . Об этом свидетельствует всплеск найма инженеров по обработке данных по сравнению со специалистами по данным, несмотря на избыток молодых специалистов по данным, выходящих на рынок труда по сравнению со спросом.

Спекулятивный пузырь, связанный с революционной технологией, основан на игре на то, что однажды она станет доминирующей на рынке. Что обычно упускается из виду, так это то, что инновации в одной области часто зависят от инноваций в поддерживающей отрасли. Для электромобилей это батарейки. Феноменальное улучшение качества камер смартфонов было вызвано, что неудивительно, распространением смартфонов.

Для науки о данных партнерские инновации - это конгломерат элементов, составляющих хорошо продуманную стратегию данных. Это должно включать: четко определенные права собственности на данные с личной ответственностью; текущие обзоры существующей модели данных и качества данных; централизованный процесс управления данными; глубокий упор на архитектуру данных; продвижение культуры, основанной на данных, через форумы, рабочие группы и обсуждения; автоматизированное тестирование конвейера данных; четко определенные процессы для развертывания модели машинного обучения с постоянным мониторингом, обслуживанием и владением.

После того, как стратегия будет принята и почитается как евангелие, только тогда специалисты по данным смогут год за годом производить полезную работу. А пока ожидайте POC и хрупкие реализации.

Пузырь науки о данных оказался удручающе непродуктивным по сравнению с намеченными целями, но на своем пути он помог создать новую эру культуры, основанной на данных, и более совершенной стратегии работы с данными.

Итак, какой урок здесь? Это должно быть ясно. Предварительным условием для любой организации, стремящейся к созданию ценности с помощью науки о данных, является заблаговременная компенсация технического долга, накопленного во время разработки и развертывания модели. Вы не можете выбежать и нанять команду по анализу данных без герметичного конвейера обработки информации и культуры прежде всего данных.

Что нас ждет в будущем?

Если мы можем чему-то научиться из цикла шумихи, так это то, что то, что испытала область науки о данных, является естественной частью многих новых и захватывающих технологий. Когда шумиха больше всего, она самая бедная, но потом она становится полезной.

Наука о данных продолжит развиваться как профессия, аналогичная тому, как это произошло с программной инженерией. Его непродуктивные корни, как свободный для всех Дикий Запад, останутся в тени, поскольку процессы, поддерживающие эту область, продолжают развиваться.

tl;dr:

  1. Наука о данных обрушилась на сцену из-за захватывающих демонстраций. Он обещал руководителям с широко открытыми глазами легкий путь к увеличению прибыли, повышению эффективности и получению новой прибыли.
  2. Вскоре последовал колоссальный приток инвестиций, и возникла надомная промышленность, открывшая учебные курсы, университетские курсы и конференции. Новое модное название должности вызвало избыток молодых талантов.
  3. К сожалению, поле было молодым и плохо определенным. Последовавшее за этим десятилетие было непродуктивным для коммерческих предприятий в области науки о данных из-за шокирующей неадекватности цифровой сантехники и ошибочных ожиданий относительно разнообразия ролей, необходимых для конвейеров производственной модели уровня.
  4. Перенесемся на несколько лет вперед, и компании начинают осознавать, что наука о данных не работает без более широкой стратегии обработки данных. Наука о данных, наконец, может стать полезной.

Спасибо за прочтение. Пожалуйста, обращайтесь с любыми комментариями или вопросами.