Справедливость, Мнение
Может ли проверяемый ИИ повысить справедливость моделей?
Не уникальный, но очень полезный
Я читал статью в Wired о необходимости аудируемого ИИ. Это будет стороннее программное обеспечение, оценивающее предвзятость в системах ИИ. Хотя это звучало как хорошая идея. Но я не мог не думать, что это уже было сделано раньше. С помощью инструмента Google что если.
Автор пояснил, что данные можно проверить. Проверяя, как ИИ реагирует, изменяя некоторые переменные. Например, если ИИ судит, следует ли кому-то брать ссуду. Тогда что сделает аудит. Это проверка, которая влияет на получение ссуды. Или пол и т.д. Так, если человек с одинаковым доходом, но разного пола. Отказано в ссуде. Тогда мы знаем, что ИИ имеет некоторую предвзятость.
Но автор заявляет, что это очень уникально или никогда раньше не делалось. Но в инструментах машинного обучения Google уже есть нечто подобное. Так что создатель ИИ уже может сам проверять ИИ.
Но есть сила с помощью третьей стороны. Эта третья сторона может опубликовать отчет публично. А также не будет скрывать данные, неблагоприятные для ИИ. Таким образом, третья сторона может привлечь к ответственности создателя ИИ. Затем проведите аудит самостоятельно.
Практически как это будет работать?
Третьи стороны с проверяемым ИИ
Мы знаем, что не весь ИИ нужно будет проверять. Ваша кошка против собак не нуждается в аудите.
Автор сказал, что это будет для искусственного интеллекта с высокими ставками. Как медицинские решения. Или справедливость и преступность. Наем. И т.д. В этом есть смысл.
Но для того, чтобы это сработало, компаниям, похоже, нужно будет заручиться поддержкой. Например, если компания, занимающаяся ИИ, решит провести аудит и обнаружит, что ее ИИ имеет серьезные недостатки. И никто из-за этого не хочет их продукт. Тогда у компаний меньше шансов сделать это.
Может быть, сначала у технологических компаний должен быть какой-то отраслевой регулятор. Это устанавливает стандарты аудита ИИ. И цели, которых нужно достичь. Инициатива правительства будет приятной. Но я не знаю, есть ли у правительства ноу-хау на данный момент. Чтобы создать такое регулирование.
Аудит ИИ. Потребуются знания предметной области.
Переменные, которые необходимо изменить в кредитной заявке. Иначе обстоит дело с ИИ, который решает, следует ли пациенту принимать лекарство. Человек или команда, проводящие одитинг. Нужно будет знать, что они тестируют. AI может быть проверен на предмет расизма или сексизма. Лекарственный ИИ можно проверить на предмет определенных симптомов или предыдущих заболеваний. Но знание предметной области крайне необходимо.
Для примера с медициной. Врач, скорее всего, станет частью команды аудиторов.
С технической стороны вы можете попросить создателей добавить дополнительный код, чтобы упростить аудит. Как какой-то тип API, который отправляет результаты проверяемому ИИ. Создание проверяемого ИИ для каждого отдельного проекта. Быстро увязнет. Чтобы облегчить жизнь одитору и создателю ИИ, потребуется некий формальный стандарт.
Эта идея поддающегося аудиту ИИ звучит немного как тестирование на проникновение в мире кибербезопасности. Как ваше стресс-тестирование (этично) системы. В этом контексте мы проводим стресс-тестирование того, как ИИ принимает решение. Технически вы можете использовать ту же идею. Для тестирования состязательных атак на ИИ. Но это отдельная тема.
Оттуда можно будет создать стандартную структуру. О том, как тестировать ИИ. Но это зависит от области применения ИИ. Как я сказал выше. Из-за этого он также может не масштабироваться. Или, скорее всего, стандарты нужно будет ограничить. Таким образом, он может охватывать большинство проверяемых ситуаций с искусственным интеллектом.
Общие вопросы при аудите одного ИИ:
Как определить важные особенности, относящиеся к решению?
Какие черты могут быть классифицированы как дискриминация, если на них основано решение?
т.е. пол, раса, возраст
Как убедиться, что ИИ не содержит скрытых предубеждений?
И так далее.
Возможно, что проверяемый AI. Может быть выполнено с помощью какой-нибудь промышленной доски. Таким образом, он может действовать как его регулятор. Таким образом, они могут установить свои рамки для создания проверяемого ИИ. С людьми со знанием предметной области. И люди, которые создают проверенный ИИ. Чтобы иметь в виду эти идеи и показатели. При разработке ИИ в первую очередь.
Звуковой ИИ сторонней группы. Может работать как своего рода надзорный совет. Или регулятор. До того, как важный ИИ станет доступен публике.
Это хорошая идея - проводить регулярные аудиты ИИ. После выпуска. Поскольку новые данные были бы включены в ИИ. Что может повлиять на честность ИИ.
Auditable AI - хороший шаг, но не единственный.
Я думаю, что большая часть ценности связана с новыми фреймворками, контролирующими, как мы внедряем ИИ. Во многих важных областях. Поддающийся аудиту ИИ - это просто инструмент. Чтобы помочь с этой проблемой.
В некоторых местах инструменты искусственного интеллекта, подлежащие аудиту, скорее всего, будут внутренними. Я не могу представить, чтобы военные открыли свои инструменты искусственного интеллекта. Публике. Но для армии будет полезно, чтобы ИИ мог принимать правильные решения. Например, выяснить, что запускает дрон, чтобы пометить объект и цель врага.
Поддающийся аудиту ИИ может быть просто инструментом для отладки ИИ. Это здорово, поймите меня правильно. То, что нам всем нужно. Но не может быть потрясающим.
И то, что узнают многие. О работе с крупными корпорациями или организациями, такими как правительства. Что они могут уронить ваш отчет. И все равно продолжайте то, что они делали. Компания заявляет, что открывает свой ИИ. Для проверки третьей стороной отлично. PR мудрый. Но будут ли они готовы принимать трудные решения? Когда проверяемый AI скажет вам. У вашего ИИ есть серьезная предвзятость. И исправление этого вызовет серьезное падение доходов.
Будет ли компания действовать?
Auditable AI - отличный инструмент, который мы должны разработать и изучить. Но это не решит всех наших этических проблем с ИИ.
Если вы хотите узнать больше о пересечении общества и технологий. Ознакомьтесь с моим списком рассылки.
