Скрепки и конец света

Идея этого поста была вдохновлена ​​двумя недавними событиями: знакомством с игрой Universal Paperclips и посещением Flatiron School Presents, на котором были представлены две презентации, связанные с искусственным интеллектом, в частности, с распознаванием изображений и программой Google AlphaGo. Комбинация этих двух моментов пробудила во мне любопытство узнать больше об искусственном интеллекте, о чем-то, что менее чем актуально для начинающего программиста.

Universal Paperclips — это игра об искусственном интеллекте, созданная одноименной компанией и ответственная за создание скрепок. Когда ИИ достигает определенных производственных целей, он получает доступ к дополнительной вычислительной мощности, что позволяет ему добавлять новые функции, и все это для того, чтобы сделать больше скрепок. Вскоре область применения ИИ распространяется на установление цен, управление маркетингом компании, разработку более совершенных технологий скрепок, анализ человеческого поведения и многое другое (я настоятельно рекомендую поиграть в нее самому). Так почему это важно?

Идея игры исходит (насколько я могу судить) из концепции инструментальной конвергенции. Это теория о том, что достаточно мощный ИИ, которому поставлена, казалось бы, безобидная цель, может причинить вред при достижении этой цели, если ему не будут даны другие уроки или побуждения, которые он должен выполнять. В одном из распространенных примеров, связанных с теорией, ИИ, поставленный перед задачей решить сложную математическую теорему, как это предложил Марвин Мински, предположительно мог бы, при наличии способности, преобразовать большую часть или всю Землю в огромный компьютер за короткое время. чтобы иметь вычислительную мощность, необходимую для завершения теоремы (или, чтобы сделать скрепки, как предложил Ник Бостром). Показательная цитата по этому поводу принадлежит Элиэзеру Юдковски, соучредителю Исследовательского института машинного интеллекта: ИИ не ненавидит вас и не любит, но вы сделаны из атомов, которые он может использовать для чего-то другого.

Это повышает важность разработки искусственного интеллекта с конечными значениями, а также с инструментальными значениями. В приведенном выше примере инструментальной ценностью будет желание ИИ собрать больше ресурсов (т. е. всю планету) в погоне за изготовлением большего количества скрепок. Инструментальные ценности важны только как средство для достижения цели. Окончательная ценность, однако, заменяет инструментальную ценность. В приведенном выше примере конечной ценностью может быть сохранение природных пространств или человеческой жизни (однако включение этого в ИИ может оказаться сложным).

Так насколько реальна эта забота? Многие очень умные люди, включая Стивена Хокинга, Билла Гейтса и Илона Маска, говорили о важности учета подобных и других концепций при разработке искусственного интеллекта. Машинная этика описывает, как по мере развития технологий, какие аспекты человеческой морали и этики должны быть включены в их конструкции (самый распространенный пример — Три закона робототехники Айзека Азимова). Дружественный ИИ, смежная область, связана с реализацией этических норм, которые, по нашему мнению, должны быть важны для машин (т. е. как не дать нашему ИИ-скрепке превратить нас всех в скрепки).

Дружественный ИИ — интересная тема, о которой я рекомендую узнать больше, если вы интересуетесь искусственным интеллектом. Одним из наиболее интересных примеров, который мне запомнился, была когерентная экстраполированная воля — термин, который случайно появился в Универсальных скрепках, с помощью которого можно было бы разработать ИИ, который будет изучать человечество и предсказывать, чего захочет идеализированная версия нас самих. ИИ, который лучше всего подходил бы нам, если бы если бы мы знали больше, думали быстрее, были бы больше людьми, которыми мы хотели бы быть, выросли вместе. Этого можно было бы добиться, если бы одному ИИ было поручено изучить нас, а затем разработать новый ИИ на основе того, что первый ИИ узнал от нас (что-то вроде Deep Mind!).

Итак, вы можете спросить, насколько это важно для программистов, не работающих с ИИ? Помимо того, что это новая интересная тема теперь, когда у меня есть точка опоры в компьютерном мире, я думаю, что эта идея преднамеренности при разработке программного обеспечения важна, даже если искусственный интеллект не задействован. В моем исследовании я выделил концепцию мышления о безопасности, предложенную Брюсом Шайером, то есть размышления о том, как программное обеспечение может дать сбой, а не о том, как оно может добиться успеха. На данный момент кажется, что возможности, полученные с помощью технологий, расширяются гораздо быстрее, чем способность людей понимать, как следует использовать технологии.

Например, каковы обязанности Facebook и Twitter по отслеживанию и контролю контента, размещаемого на их платформах? Являются ли они по-прежнему случайной социальной сетью или мощным инструментом пропаганды, который можно использовать для распространения информации, имеющей последствия в реальном мире. Я подумал, что интересным примером этого являются чат-боты Tay и Zo, разработанные Microsoft, — оба чат-бота с искусственным интеллектом, которые были разработаны, чтобы учиться взаимодействовать с людьми, изучая речевые модели пользователей Twitter и используя эту модель для ответов и твитов. Оба бота были отключены после того, как они начали публиковать в Твиттере оскорбительные комментарии, которые были им навязаны технологически. Черт возьми, даже IBM Watson начал ругаться после того, как получил доступ ко всей базе данных Urban Dictionary.

Использованная литература: