ПОДКАСТ

Указывая ИИ в правильном направлении

Переходный эпизод с подкастом Banana Data!

Примечание редактора. Этот выпуск является частью нашей серии подкастов о возникающих проблемах в науке о данных и машинном обучении, которую ведет Джереми Харрис. Помимо размещения подкаста, Джереми помогает запустить стартап по наставничеству в области науки о данных под названием SharpestMinds.

Этот специальный выпуск подкаста «На пути к науке о данных» представляет собой пересечение с нашими друзьями из подкаста «Банановые данные». Мы уменьшим масштаб и поговорим о некоторых из наиболее важных текущих проблем, которые ИИ создает для человечества, а также о некоторых возможных направлениях развития этой технологии в будущем.

Вот некоторые из моих любимых приемов:

  • Люди перекладывают все большую часть своего мышления и принятия решений на машины, и мы делаем это все быстрее и быстрее по мере расширения возможностей систем искусственного интеллекта. Но с принятием решений приходит ответственность: если система ИИ отвечает за принятие критически важных решений, которые идут не так, как надо, кто виноват? Вопрос об ответственности в контексте принятия решений с помощью ИИ (или под его руководством) - это вопрос, который мы как общество еще не продумали.
  • Подотчетность в контексте принятия решений на основе искусственного интеллекта также является подвижной целью. Мы не можем придумать набор статических правил о том, кто несет ответственность за неудачные решения с использованием ИИ, потому что возможности систем ИИ постоянно расширяются, а ИИ все время применяются к новым классам проблем. Возможно, имеет смысл рассматривать подотчетность не как набор правил, а как динамический процесс и набор принципов, которые могут быть более устойчивыми к изменениям в сфере принятия решений ИИ.
  • Дроны являются прекрасным текущим примером проблемы подотчетности ИИ: первая в мире полностью автоматизированная атака дронов недавно произошла в Ливии, и, хотя детали все еще скудны, похоже, что дрон определил свои цели и принял решение поразить их без вмешательства человека. , в нарушение парадигмы «человек в петле», которую поддержали многие международные правительства. Если дрон атакует не ту цель, кто виноват? Производитель дронов? Разработчик алгоритма? В какой стране развернули дрон? Или даже сам дрон? Эти вопросы непросто продумать.
  • В основе проблемы безопасной разработки систем искусственного интеллекта лежит принцип, называемый законом Гудхарта. Закон Гудхарта гласит, что как только вы определите метрику, которую хотите использовать для измерения производительности системы, люди (и, возможно, ИИ!) Начнут использовать эту метрику, и она перестанет быть надежным индикатором производительности. системы, которую вы пытаетесь оптимизировать.
  • Например: еще в 1920-х годах фондовый рынок США был довольно надежным индикатором общего экономического здоровья США. Но по мере того, как этой метрике уделялось все больше внимания, правительства и центральные банки нашли способы ее подстроить - например, печатая деньги, которые в конечном итоге повышают цены на акции, отделяя их от экономики в целом. Компании все время сталкиваются с законом Гудхарта: если они определяют метрику, которую хотят оптимизировать, и не заботятся о том, чтобы иметь в виду общую картину, цель этой метрики, они могут в конечном итоге близоруко сосредоточиться на этой метрике, что будет контрпродуктивно. .
  • Мы уже много говорили о согласовании ИИ в подкасте: это удивительно сложная проблема согласования ИИ с человеческими ценностями. Большинство людей думают о проблеме выравнивания как о чем-то, что станет важным только тогда, когда мы построим машины, которые в целом будут более умными, чем мы, но на самом деле мы, возможно, уже сталкиваемся с этим. Например, система рекомендаций Twitter номинально предназначена для оптимизации взаимодействия с пользователем, но некоторые задаются вопросом, научился ли он взламывать эту метрику, скармливая пользователям контент, более политически поляризующий.

Вы можете посмотреть подкаст Banana Data здесь или подписаться на меня в Twitter здесь.

Главы:

  • 0:00 Вступление
  • 3:40 Подотчетность в эпоху искусственного интеллекта
  • 9:00 Закон Гудхарта
  • 12:35 Проблемы безопасности искусственного интеллекта
  • 18:05 Разница между безопасностью и прозрачностью
  • 24:45 Концепция глобального выравнивания
  • 29:00 Автоматизация в разных отраслях
  • 33:10 Безопасность искусственного интеллекта и кризисное управление
  • 34:20 Подведение итогов