Недавно я наткнулся на два доклада, критикующих то, как плохие алгоритмы делают жизнь многих людей невыносимой.
Первое — это выступление Джой Буоламвини на TED, а второе — Google Tech Talk Кэти О’Нил, основанное на ее книге «Оружие математического разрушения».
В докладе О’Нила было несколько примеров, показывающих, насколько проблематичным является алгоритмическое принятие решений. От выставления оценок учителям до отправки полиции в черные кварталы — ее данные и критика в порядке, пока она не утверждает, что у алгоритмов есть какое-то собственное мнение.
Но она опровергла позицию, заявив, что «алгоритмы улавливают прошлые модели и повторяют их». Да, это точное описание того, для чего такие люди, как я, пишут алгоритмы. Выясните шаблоны в данных, примените обнаруженные шаблоны к входящим данным, чтобы показать результаты.
Итак, алгоритм как математическая модель не может иметь собственных мнений. Тогда как это становится Оружием Разрушения?
Позвольте мне перечислить еще одно утверждение, которое она сделала в разговоре.
1. Алгоритмы систематизируют прошлые практики.
2. Алгоритмы как лица, принимающие решения, сложны как ничто в мире.
3. Алгоритмы очень и очень контекстуальны, поэтому, не зная контекстного использования, невозможно утверждать влияние
Приведенный пример: если врач использует алгоритм для выявления болезни у пациента, которую нужно лечить заранее, это хорошо. Но если компании используют его, отказывают в работе, потому что им приходится тратить деньги на медицинское страхование, это плохо.
Это юридический вопрос, потому что нож, изготовленный для нарезки овощей, может быть использован для причинения вреда людям. Можно ли утверждать, что производители ножей вложили в ножи предвзятость?
Мало того, есть и другие вопросы.
Какой код смещения в алгоритме?
Как можно написать уравнение для смещения в алгоритме?
Могут ли математические уравнения иметь мнения?
Обратите внимание, что на самом деле в методах машинного обучения существует код для смещения, однако он предназначен для разницы между ожидаемыми и выходными значениями.
Ответ на вышеуказанные вопросы - нет. Как очень элегантно выразилась сама О’Нил, алгоритм работает на основе данных.
Если данные будут изменены, либо исчезнет предвзятость к другим ситуациям, либо модель будет нарушена, что потребует перезаписи алгоритма.
Имея это в виду, нам нужно задаться вопросом, заставит ли алгоритм работать привлечение разных людей к созданию алгоритма?
Это основной вопрос о сфере ML/AI. Если человек сможет найти закономерности в данных, то нам вообще не понадобится ML/AI. Поскольку мы не можем писать программы «если-иначе», чтобы выполнять эту работу, мы должны изобретать алгоритмы, которые могут находить закономерности в данных. До тех пор, пока алгоритмическая модель не подвергнется другому контексту, изъян в модели никогда не обнаруживается.
Есть старый анекдот о CV, используемом в армии. вы можете прочитать это здесь https://neil.fraser.name/writing/tank/. Это объяснило бы, что такое контекст.
Когда данные неверны, алгоритмическая модель тоже будет неправильной.
Если уголовное правосудие США является расистским или полиция арестовывает только афроамериканцев за злоупотребление наркотиками, что может сделать алгоритмическая модель?
Если министерство образования США не будет упиваться, как оценивали учителя, какой смысл иметь разных людей в создании алгоритма?
Я думаю, что эта проблема является злой проблемой. https://en.wikipedia.org/wiki/Wicked_problem
Нестандартная проблема – это проблема, которую трудно или невозможно решить из-за неполных, противоречивых и изменяющихся требований, которые часто трудно распознать. Использование термина злой здесь стало обозначать сопротивление решению, а не зло. [1] Более того, из-за сложных взаимозависимостей попытка решить один аспект серьезной проблемы может выявить или создать другие проблемы.
Попытка решить реальную или воображаемую алгоритмическую предвзятость может создать или не создать проблемы в других местах.
Это должно быть обработано на политическом/политическом/юридическом уровне, вместо того, чтобы обвинять разработчиков алгоритма в каких-то недобросовестных намерениях, закодировав алгоритм таким образом.
Первоначально опубликовано на https://www.linkedin.com 13 марта 2017 г.
