С 2016 года алгоритмы стали синонимом тайной черной магии компаний с программным обеспечением для прогнозирования, эзотерической жизненной силой всепоглощающего искусственного интеллекта. Современные репортеры рассматривают алгоритмы как своего рода герметическое знание, чьи совершенно блестящие посвященные и адепты отделены от остальных благодаря космическому знанию их тайны. Это сделало алгоритмы излюбленной мишенью людей, ищущих козла отпущения (почему бы не обвинить то, что вы считаете магией? Это сработало в 1692 году!) почти во всем.

И я согласен — во многом виноваты алгоритмы. Но не потому, что это сложное волшебство и технический гений, а потому, что это абсолютно простые статистические процессы, применяемые всеобъемлющим и бесстыдно контролирующим образом. Эти жуткие «алгоритмы» вызывают проблемы, потому что они глупы, а не умны.

Давайте на мгновение погрузимся в математику. Обещаю, это будет не так сложно. Напомним, что на координатной плоскости точка — это пара двух значений (x, y). Примером точки является (1, 3). Эти числа называются координатами. Теперь эта точка существует в двух измерениях, потому что она определяет уникальное место в двумерной координатной плоскости. Но что, если мы хотим определить точку в пространстве, а не точку на плоской поверхности? Мы могли бы использовать трехмерную точку, например (1, 3, 10). Если бы мы хотели определить точку в произвольном количестве измерений (не пытайтесь думать о том, как это будет выглядеть физически!), нам просто нужен список чисел, равный количеству измерений. Мы называем этот список вектором.

Теперь мы можем отойти к другой теме. Предположим, у меня есть куча новостных статей, и я хочу кратко и последовательно описать их для тех, кто не хочет их читать. Я хочу убедиться, что способ описания статей упрощает их сравнение, чтобы потенциальный читатель моего дайджеста мог выбрать, какие из них они хотят просмотреть полностью. Один из способов приблизиться к этому — выбрать несколько атрибутов этих статей и дать каждой статье оценку от 1 до 10 для каждого атрибута, представляющего, насколько хорошо этот атрибут описывает эту статью. Например: предположим, что мои атрибуты «о кошках», «о животных», «о машинах» и «длина». В этой системе статья из 200 слов о кошках, предназначенных для усыновления, может получить такие оценки, как (10, 9, 1, 1), поскольку она очень много о кошках и животных, но не имеет ничего общего с автомобилями и очень короткая. Точно так же обзор нового внедорожника из 5000 слов, в котором в одном абзаце рассказывается о некоторых функциях, удобных для собак, может получить оценку, близкую к (1, 3, 10, 8). Обратите внимание на сходство списков чисел, которые я использую в качестве оценок, с векторами, описанными выше.

Теперь мы можем описать магический «алгоритм».

  1. Определите множество атрибутов, которые теперь называются features, для описания статей. Это количество объектов равно n.
  2. Прочитайте много статей и дайте каждой рейтинг для каждой функции. Сохраните эти векторы где-нибудь — вместе они составляют набор, называемый тестовыми данными.
  3. Подождите, пока человек прочитает некоторые статьи (они называются обучающими данными), затем возьмите особенности этих статей и подгоните к ним кривую, используя математическую формулу, называемую регрессия. Обычно используемый тип называется логистическая регрессия. Здесь можно использовать и другие, несколько более сложные формулы, но люди редко выбирают одну из них обдуманно.
  4. Найдите вектор в обучающих данных, который находится ближе всего к кривой. Я пропущу здесь математику, но вы можете сделать это, минимизировав евклидово расстояние — метод, который вы можете изучить в учебнике по математическому анализу для средней школы или многомерном исчислении на уровне колледжа для самых сложных случаев. Как только вы нашли этот вектор, порекомендуйте человеку соответствующую статью. Если они читают статью, она становится частью обучающих данных.

Это волшебство Facebook, Twitter и той компании, которую я постоянно получаю от рекламы, которая «создала алгоритм для вина». В конечном счете, все мы, скорее всего, формируем свои эхо-камеры в результате вариации этого математического процесса.

Когда этот подход и подобные ему были впервые изобретены, это было откровением. Это вызвало десятилетия прогресса в области исследований в области компьютерных наук. Я не хочу умалять того, насколько умным и полезным является машинное обучение.

Но невероятная простота создания этих систем теперь позволяет безответственно развертывать их. Это легко увидеть в таких системах, как Netflix и Hulu. Когда вы впервые открываете аккаунт, рекомендации просто берутся из того, что популярно, потому что данных о тренировках конкретно по вам нет. Но посмотрите одно шоу, скажем, Бродчерч, и сразу же вам порекомендуют только британские полицейские драмы. Затем, чем больше британских полицейских драм вы смотрите, тем меньше вероятность того, что вам когда-либо порекомендуют что-то еще, потому что вы ужесточаете эту кривую. Чем точнее кривая соответствует данным, тем меньше вам будут рекомендовать вещи, далекие от нее.

То же самое происходит с политическими постами в Facebook. Прочтите одну статью Breitbart, и если у вас нет длинного и устоявшегося обучающего набора данных по понравившимся статьям, очень высокие баллы за положительное «настроение президента Трампа», обсуждение преступлений чернокожими людьми, и негативные настроения иммигрантов могут доминировать в соответствии с моделью и склонить ваши очевидные предпочтения в сторону альтернативных правых.

Ключевая проблема здесь заключается в шаге номер 4. Когда вы читаете статью, даже ту, которая была вам рекомендована, эта статья становится частью обучающих данных и включается в подгонку вашей модели. Когда это сочетается с тем фактом, что рекомендуемые статьи обильно разбросаны по вашей ленте Facebook, а также по вашей рекламе, единственный выброс в стабильном потоке данных может внезапно стать доминирующим в модели, превратив истинные данные в «выбросы». . В этот момент эхо-камера затвердевает и в ней нет дверей.

Я не в состоянии обсуждать технические решения этой проблемы, по крайней мере, не так подготовлен, как многие люди, аспиранты и студенты, занимающиеся машинным обучением, которые стоят за реальной реализацией этих систем. Но я хочу найти решение. Я хочу иметь возможность сказать: «Мы можем категорически ранжировать «надежность» статьи от 1 до 10 и использовать это в нашем векторе характеристик!» И я думаю, что проблема именно в этом — до недавнего времени у людей было крайне прохладное отношение к решению этой проблемы. Это не приносит денег; это не сексуальная, известная область исследований; меня не опубликуют; это просто вызовет споры; руководству это не нравится; Я могу потерять работу. Он просто не был достаточно настойчивым, чтобы заслуживать внимания.

Многие люди начали активизироваться и заняться реальным решением этой проблемы, и это здорово. Но, слушая, как Марк Цукерберг кричит о прекрасном совершенстве открытого, объективного интернета (который не такой уж открытый или объективный), а также о великолепной платформе для дружбы и любви, которую построила его команда, я не могу не чувствовать себя совершенно скептически. на его фальшивую наивность. Представление о том, что иностранные шпионы, вмешивающиеся в избирательный процесс другой страны через Facebook, являются неизбежным следствием совершенно непогрешимой магии алгоритмов, гармонирует с ошибочным утверждением Уэйна Лапьера о том, что смерть ваших детей насильственной смертью неизбежна. риск оказаться свободолюбивым американцем.

Алгоритмы не так безошибочны. Если Цук не откроет глаза на эту реальность, кто-то его заменит. Или он заменит нас. Я надеюсь, что это бывший.