Потенциал предвзятости, связанной с искусственным интеллектом, и что мы можем с этим сделать.
Автор: Джон Кэмерон
TL;DR
Goldman Sachs расследуется на предмет потенциальной предвзятости в его алгоритмах кредитного лимита после того, как пары выяснили, что супружеские пары утверждали, что мужья получили кредитные лимиты, которые были на порядок больше, чем их жен, несмотря на минимальное неравенство в владении активами и банковской деятельности. В этот список входят Стив Возняк, один из первых соучредителей Apple Computer, и его жена Джанет Хилл.
Разрушение
- С продолжающимся ростом популярности искусственного интеллекта (AI) и машинного обучения (ML) традиционные кредиторы продолжают расширять использование алгоритмов для определения кредита как средства снижения общих затрат, увеличения количества заявок на получение кредитов и общего улучшения точность
- Многие крупные технологические компании (Amazon, Apple, Facebook и Google) уже начали проникать в сектор финансовых услуг, предлагая различные кредиты и варианты оплаты напрямую своим пользователям.
- Одним из конкретных примеров этого является Apple Card, кредитная карта совместного предприятия Apple и Goldman Sachs, выпущенная в начале 2019 года и предназначенная в первую очередь для использования с Apple Pay через экосистему устройств Apple (iPhone, iPad, Apple Watch и Mac).
- Первоначально руководство обеих компаний считало один из самых успешных запусков в истории, ряд недавних дел с участием видных деятелей в сфере технологий выявили потенциальную предвзятость, заложенную в алгоритмы кредитного лимита, используемые для установить максимальную сумму кредита, предоставляемого пользователям
- Дэвид Хайнемайер Ханссон (создатель Ruby on Rails и соучредитель в Basecamp) еще в ноябре 2019 года опубликовал серию твитов, в которых подробно рассказывалось о сногсшибательном 20-кратном неравенстве предоставленных кредитов. ему по сравнению с женой, несмотря на то, что подали совместные налоговые декларации, указывающие, что именно его жена имела лучший кредитный рейтинг
- Его комментарии были поддержаны Стивом Возняком (одним из первых создателей Apple Computer вместе со Стивом Джобсом), который обнаружил 10-кратную разницу в кредитном лимите, несмотря на отсутствие отдельных активов. ни банковские, ни кредитные счета между ним и его женой
- Следовательно, регулирующий орган с Уолл-стрит начал расследование в отношении практики кредитных карт Goldman Sachs Group Inc., проводя расследование, чтобы определить, было ли нарушено законодательство Нью-Йорка в результате дискриминации защищенного класса.
Значение
- Еще одно аналогичное дело было возбуждено в конце 2019 года, когда гигант здравоохранения и крупнейшая страховая компания США UnitedHealth Group Inc. была обвинена в алгоритме, который якобы отдавал предпочтение белым пациентам, а не темнокожим пациентам
- Подобные случаи лежат на все более заметном пересечении этики и ИИ и служат началом разговора о том, что справедливость влечет за собой в более широком контексте ИИ
- Действительно, есть заметные различия между некоторыми демографическими группами (поэтому молодые люди, как правило, имеют более низкие кредитные рейтинги по сравнению с пожилыми), однако вопрос о том, должны ли они быть встроены в алгоритмы, гораздо сложнее, потому что неизбежно некоторые демографические атрибуты, в отличие от возраста, в значительной степени неизменны
- Все это служит дополнительным подтверждением важности углубления в разработку XAI (Объясняемый ИИ) как средства ухода от природы черного ящика многих современных алгоритмов, которые не позволяют их результаты должны быть разбиты и аргументированы более точно
Дополнительная информация
Вирусный твит об Apple Card приводит к зондированию Goldman Sachs
Регулирующий орган Нью-Йорка исследует алгоритм UnitedHealth для выявления расовых предубеждений
