… ключевое преимущество алгоритмов заключается в том, что они бесшумны: в отличие от людей, формула всегда будет возвращать один и тот же результат для любых заданных входных данных.
— Harvard Business Review (https://hbr.org/2016/ 10/шум)
Человеческие суждения шумны. Быть счастливым или грустным влияет на ваше восприятие всего вокруг вас, включая любую задачу, которой вы можете заниматься, и вы можете делать положительные или отрицательные суждения в зависимости от своего настроения.
Небольшое забавное поведенческое исследование (ссылка здесь): при поступлении в колледжи в пасмурные дни предпочтение отдавалось учащимся с хорошей успеваемостью, а в солнечные дни предпочтение отдавалось студентам с хорошей успеваемостью!!
Так что же нам делать с этим шумом? В статье, процитированной выше, предполагается, что краткосрочное решение состоит в том, чтобы улучшить человеческое суждение с помощью таких уловок, как аудит шума, но долгосрочное решение — переключиться на алгоритмы.
Они предполагают, что мы можем полагаться на искусственный интеллект для принятия сложных решений, которые якобы «бесшумны». Хотя я не возражаю против оптимизма авторов относительно того, что ИИ когда-нибудь заменит людей, принимающих решения, у меня есть возражения против заявления о том, что эти решения будут «бесшумными».
Почему люди думают, что ИИ будет бесшумным?
Искусственный интеллект или машинное обучение — это просто очень сложная математическая формула, полученная из данных. После изучения эти формулы не меняются, и поэтому выходные данные фиксируются для заданных входных данных. Таким образом, если заявка в колледж будет отклонена ИИ сегодня, она будет отклонена ИИ и завтра. Такое детерминированное поведение алгоритмов ИИ создает иллюзию бесшумного принятия решений.
Но тогда почему я все время говорю, что он не бесшумный? Чтобы понять это, нам нужно вернуться к тому, как обучаются модели машинного обучения. Давайте поиграем в простую игру. Правила: (i) Дайте мне наилучшую оценку числа, о котором я думаю, и (ii) Каждый раз, когда я даю вам новую информацию о числе, делайте только минимально необходимое изменить свое предположение.
И Алисе, и Бобу дали одну и ту же информацию, и они даже следовали одному и тому же алгоритму обучения, но все же получили разные ответы. Почему? Из-за случайности их начального предположения. Искусственный интеллект созрел для различных форм случайности, которые могут изменить путь обучения и повлиять на окончательную математическую формулу, усвоенную моделью. Таким образом, хотя конечная система ИИ может быть детерминированной, путь обучения полон шума, который становится предсказуемым компонентом системы ИИ.
Это ли не «предвзятость»?
Дискуссия о предвзятости и шуме действительно очень интересна. Предвзятость — это систематическая ошибка, которая поощряет одни результаты по сравнению с другими, например, социальные предрассудки, индивидуальный темперамент и т. д. Шум, с другой стороны, — это любой бессмысленный сигнал, мешающий желаемому результату. Постоянная разница в суждениях между двумя людьми обычно приписывается предубеждению, поэтому отсюда следует, что разница из-за случайности в поведении двух систем ИИ также должна подпадать под эту категорию.
Однако различия в человеческом поведении объяснимы, или, другими словами, «систематичны», но случайность в процессе обучения совершенно бессмысленна!! Вот почему я настаиваю на том, чтобы называть такое поведение «шумным», а не «шумным». «предвзятый», хотя я мог бы использовать эти два термина взаимозаменяемо, и лично я не возражаю против того, чтобы читатель поступал так же.
Чем плох этот «предсказуемый шум» или «бессмысленная предвзятость»?
Чтобы понять проблему с шумом, который может укорениться в системе ИИ во время обучения, нам нужно сначала вернуться к человеческому суждению о шуме и понять, почему иногда шум может быть полезен.
Ни один человек, принимающий решения, не может быть идеальным, будь то человек или искусственный интеллект. При ограниченных данных и отсутствии предсказуемости будущего принятие решений по своей сути лишено возможности идеального оракула. Например, хотя оценки и внеклассные занятия могут быть надежным индикатором будущего учащегося в колледже. , они не только являются неполными данными, чтобы по-настоящему судить о любом студенте, но даже полная история любого студента не может дать точных прогнозов карьеры студента в колледже. Исключительные случаи могут возникать в любой крайности, то есть студент с отличными оценками и внеклассными занятиями может все же отклониться от своего пути в колледже, в то время как студент с плохими оценками и неудовлетворительной успеваемостью может довольно быстро собраться и добиться успеха в колледже.
Я допускаю, что в ближайшем будущем системы ИИ станут способны принимать более статистически точные решения, чем любой человек, как они уже показали в нескольких конкретных случаях, но это ничего не говорит о надежность их предсказаний для любого отдельного человека. Например, если все приемы в колледжи будут переданы ИИ, мы столкнемся с двумя серьезными проблемами. Во-первых, все похожие колледжи отправят документы о приеме одному и тому же набору студентов, и в итоге останется много свободных мест. Во-вторых, учащиеся будут строго оцениваться по их предыдущим показателям и приниматься только в колледжи, которые соответствуют их текущим показателям, без возможности улучшения.
Именно здесь шумное принятие решений людьми может принести пользу. В сезон приема студенты, как правило, подают документы в несколько колледжей из-за шумного характера приема. Частично это связано с тем, что хорошие студенты не поступают в колледжи, которых они заслуживают, и имеют разумную резервную копию, которую можно было бы улучшить с помощью систем искусственного интеллекта. Но другая часть этого – это сильное стремление и надежда студентов поступить в колледжи, которые могут помочь им изменить свой нынешний статус и бросить им вызов, чтобы стать лучше во взрослом возрасте. Без шумного характера решений о зачислении у большинства студентов не было бы надежды на удачу или урвать «шанс на успех».
В приведенной выше игре в угадайку Боб всегда будет делать прогноз 7, даже если он неправильный. Не лучше ли было бы, если бы Боб понял ограничения своего алгоритма обучения, усомнился в собственном результате, а также попробовал бы другие числа, которые также могут быть правильными? Точно так же, даже несмотря на то, что эти системы ИИ будут лучше принимать статистические решения для всей толпы, они все равно будут «предвзято» относиться к определенным людям без какой-либо объяснимой причины, ожидающей случайности в процессе обучения. Хуже того, эти «предвзятости» останутся в системе навсегда!!
Примечание: люди, против которых эти машины будут «предвзяты», на самом деле не совсем случайны. Больше данных позволяет системе ИИ быть не только точной, но и более уверенной в своих прогнозах. К сожалению, сбор данных сопряжен со своим набором предубеждений, и мы можем получить небольшое количество данных от определенных меньшинств. Это может сделать модели ИИ менее уверенными в своих прогнозах относительно этих меньшинств, что, в свою очередь, означает, что на прогнозы этих меньшинств сильнее влияет случайность в процессе обучения. Другими словами, его лица из этих меньшинств, которые с большей вероятностью будут подвергаться постоянной дискриминации из-за этих бессмысленных предубеждений!
Можем ли мы создать «комитет» машин?
Отличная идея! Да, ансамбль систем ИИ, все из которых обучены с разной случайностью в их настройках обучения, действительно может в некоторой степени помочь устранить случайные предубеждения против отдельных лиц.
К сожалению, сегодняшний курс развития ИИ свидетельствует о том, что несколько компаний и моделей берут верх и устанавливают господство. Существует только один chatGPT, только один DALLE 2 и только одна Galactica. Обучение этих моделей может занять до миллиарда долларов, и, таким образом, создание реплик путем повторения процесса обучения делать по сути одна и та же задача не является приоритетной для этих компаний.
Еще одно интересное направление работы — прогнозирование неопределенности в системах ИИ. Удивительно, но системы ИИ при правильной настройке действительно способны оценивать, насколько они «уверены» или уверены в своих прогнозах. Высокая неопределенность может помочь нам изолировать решения, на которые может повлиять случайность в процессе обучения, и одна из возможностей состоит в том, чтобы вовлечь людей в цикл принятия решений для решения таких граничных случаев.
Выводы
Машинное суждение всегда возводилось на пьедестал за то, что оно «бесшумно» и, следовательно, более надежно, чем человеческое суждение. Хотя системы ИИ не издают шум так, как это делают люди, они все же издают шум, который на самом деле может быть гораздо более опасным!
С несколькими избранными организациями и моделями, которые возглавят будущее ИИ, мы можем в конечном итоге получить системы ИИ, которые берут на себя принятие важных решений в нашей повседневной жизни, предвзято настроенные против определенных людей без каких-либо объяснений, кроме случайности. Важно понимать неопределенность решений, принимаемых этими системами ИИ, и сделать это главной задачей безопасности при их развертывании в реальном мире.
Подтверждение
Я хотел бы поблагодарить Мартина Стробеля за то, что он познакомил меня с книгой «Шум: изъян в человеческом суждении» и дал интересный взгляд на проблему предсказуемого шума.
