Как макроэкономические условия влияют на решения о кредитной модели ИИ и как это может изменить наши взгляды на текущие показатели справедливости и методы алгоритмического устранения предвзятости?

С начала 2022 года бремя потребительского долга росло, поскольку Федеральная резервная система — в ответ на самый высокий уровень инфляции за четыре десятилетия — быстро подняла процентные ставки до уровней, невиданных с конца 2007 года, что привело к скачку уровней процентных ставок по новым кредитам. потребительские кредиты и существующий потребительский долг с плавающей процентной ставкой. Например,

  1. Средняя 30-летняя фиксированная процентная ставка по ипотеке увеличилась примерно вдвое в 2022 году — с чуть менее 3,5 % до недавнего максимума, превышающего 7,0 %.
  2. Основная ставка в США, которая является основой для многих краткосрочных и среднесрочных потребительских кредитов, удвоилась в 2022 г. — с 3,25 % в начале года до 7,5 % в декабре.
  3. По данным bankrate.com, средние процентные ставки увеличились на 1,77 процентных пункта для кредита на новый автомобиль сроком на 60 месяцев и на 1,78 процентного пункта для кредита на подержанный автомобиль сроком на 48 месяцев. Первый представляет собой увеличение процентной ставки почти на 50% с января 2022 года.
  4. Согласно CNN, национальный средний годовой доход по кредитным картам вырос на 2,74 процентных пункта в этом году, что является самым большим увеличением за один год за всю историю, согласно «Bankrate.com. » Это представляет собой увеличение процентной ставки на 17% с января 2022 года.

В то время как потребители в США сейчас сталкиваются с самыми высокими уровнями процентных ставок почти за 15 лет, экономические последствия этого повышения ставок могут быть разными для всех демографических групп. Действительно, недавнее исследование ипотечного кредитования CFPB за 2022 год, основанное на анализе данных федерального Закона о раскрытии информации о жилищной ипотеке (HMDA) за 2 квартал 2022 года, отмечает следующее о соотношении долга заявителя к доходу (DTI):

«… к концу нашего периода наблюдения [июнь 2022 года] средний DTI для латиноамериканских белых заемщиков достиг более 40 процентов, в то время как средний показатель DTI для чернокожих заемщиков вырос до 39,4 процента. Хотя в настоящее время у нас нет данных HMDA за третий квартал 2022 года, учитывая тенденции, наблюдавшиеся в первой половине года, и тот факт, что процентные ставки по ипотечным кредитам продолжали расти в третьем и четвертом кварталах 2022 года до самого высокого уровня. уровне за более чем 20 лет, мы прогнозируем, что рост DTI, вероятно, продолжится до конца 2022 года. Это означает, что потребители, берущие новые ипотечные кредиты, скорее всего, направляют более высокую долю своего дохода на обслуживание долгов, особенно выплаты по ипотечным кредитам, с потенциалом того, что средний DTI для латиноамериканских белых и чернокожих заемщиков приблизится к уровням, невиданным с тех пор, как информация о DTI была впервые собрана в HMDA в 2018 году». [выделено автором]

Хотя исследователям CFPB еще предстояло обнаружить заметные изменения в показателях отказов в ипотечных заявках на ссуды на покупку жилья во втором квартале 2022 года, они обнаружили растущую долю отклоненных заявок, в которых в качестве причины отказа указывается DTI заявителя, с долей чернокожих и латиноамериканских заявителей. Отказы на основе DTI на исторических максимумах — как показано на рисунке ниже.[1]

По данным CFPB,

Примечательно, что к концу второго квартала 2022 года более 45 процентов всех черных и латиноамериканских белых заявителей, которым было отказано, указали DTI в качестве причины отказа [по сравнению с примерно 35 % для неиспаноязычных белых заявителей]. Это самый высокий показатель с тех пор, как в 2018 году вступили в силу пересмотренные требования HMDA к сбору данных и отчетности». [выделено автором]

Ясно, что эти продолжающиеся макроэкономические изменения влияют на профили потребительского кредитного риска значимым и исторически отличающимся образом[2] — и, вероятно, вызывают или предвещают заметные расхождения в результатах кредитных моделей между определенными демографическими группами, такие как процент одобренных кредитов, процентные ставки и /или суммы строк. Традиционный анализ справедливого кредитования этих расхождений результатов, естественно, указывает на рост рыночных процентных ставок — и соответствующее увеличение долговой нагрузки — как на основную причину этих расхождений. И проблемы несоизмеримого воздействия кредитной модели будут защищены «экономической необходимостью» разумной политики управления кредитным риском, связанной с традиционными показателями платежеспособности потребителя (т. . Однако в последнее время эти традиционные анализы потеряли популярность, поскольку все большее число участников отрасли перенимает новое поколение оценок справедливого кредитования, основанных на финансовых технологиях, которые совершенно по-разному рассматривают несопоставимое влияние и справедливость кредитной модели.

Новое поколение кредитных моделей ИИ и анализа справедливости

Как я уже говорил ранее в этом году, мы находимся в разгаре ожесточенной войны за счет — публичной битвы между новыми кадрами финтех-компаний, управляемых искусственным интеллектом и машинным обучением, вооруженных сокровищницами альтернативных данных, и армиями специалистов по данным, которые стремятся положить конец долгому господству традиционных поставщиков кредитных рейтингов с новыми моделями кредитного риска на основе ИИ, которые, как они утверждают, являются более точными, инклюзивными и справедливыми.

Однако, несмотря на предполагаемые преимущества этих новых кредитных моделей на основе ИИ, реакция федеральных регулирующих органов и их принятие многими банками высшего и среднего уровня были более осторожными[3] — с опасениями по поводу прозрачности модели, объяснимости. », надежность заявлений о производительности моделей и, что, возможно, наиболее важно, потенциальные скрытые предубеждения таких моделей в отношении тех самых демографических групп, для которых они предназначены.

Чтобы решить эти последние проблемы алгоритмической предвзятости или робо-дискриминации, академические и отраслевые исследователи достаточно активно разрабатывают технологии на основе ИИ, чтобы очистить эти кредитные модели от их демографических предубеждений — хотя и ценой некоторая точность прогнозирования, а также потенциальное увеличение некоторых других модельных рисков.[4] Эти новые алгоритмические подходы к устранению предвзятости — наиболее популярные из которых обычно применяются во время обучения кредитной модели — обычно основаны на следующих двух критических — но субъективных — предпосылках, принятых их сторонниками:

  1. Наличие и величина алгоритмической предвзятости или несоизмеримого влияния на кредитные решения лучше всего измеряется с помощью коэффициента неблагоприятного воздействия (AIR), который измеряет относительное «одобрение ставки защищенных и незащищенных заявителей. По сути, AIR просто отражает, существует ли равенство результатов принятия решений между группами, то есть утверждаются ли группы защищенного класса с той же скоростью, что и группы незащищенного класса. Если группа защищенного класса имеет более низкий уровень одобрения, то AIR будет меньше единицы, и наоборот. Сторонники этой несопоставимой метрики воздействия указывают на ее давнее использование в аналогичных вопросах дискриминации при приеме на работу и обычно предполагают, что значение AIR менее 0,80 представляет собой проблематичную систематическую ошибку модели (несоизмеримое влияние), полагаясь на «правило четырех пятых» EEOC в качестве поддержки. для этого порога.[5]
  2. Кредиторы обязаны заранее искать менее дискриминационные альтернативные модели («LDA»), которые уменьшают разрозненное воздействие (т. е. увеличивают AIR ближе к единице) в обмен на «умеренное» или «разумное» снижение в предсказательной точности модели. Например, если AIR модели падает ниже порогового значения 0,80, основанного на EEOC, то владелец модели обязан искать другие конфигурации модели, которые уменьшают несоответствие в уровне одобрения, даже если кредитор твердо уверен, что движущие силы несоответствия AIR удовлетворяют аргументу «деловая необходимость» (например, несоответствия явно обусловлены различиями в законных характеристиках кредитного риска между двумя группами)[6]. В зависимости от конкретного принятого алгоритмического подхода к устранению смещения эти модели LDA могут включать в себя другой набор прогностических атрибутов, изменения весов прогностических атрибутов модели или и то, и другое.

Основываясь на этих двух критических предпосылках, справедливость кредитной модели достигается после модификации лежащих в ее основе алгоритмов прогнозирования для получения результатов принятия решений, которые приблизительно равны (согласно измерению AIR, близкому к единице) между защищенными и незащищенными группами классов — при приемлемом уровне. стоимость предиктивной производительности.

Но что произойдет после того, как модель кредита без предвзятости будет внедрена в производство и, скажем, макроэкономические условия, например рыночные процентные ставки, заметно изменятся?

К сожалению, сторонники алгоритмического устранения предвзятости предоставили мало общедоступной информации о постоянной стабильности основанной на AIR справедливости модели кредита без предвзятости в течение жизненного цикла модели. В отсутствие такой информации создается впечатление, что после устранения предубеждений вновь развернутая кредитная модель будет продолжать работать с устойчивыми показателями справедливости до тех пор, пока алгоритм остается неизменным. Но это кажется маловероятным по ряду причин, одна из которых связана с недавним повышением процентных ставок, о котором говорилось выше.

Что кажется более вероятным, так это то, что — как и в случае прогнозирующей эффективности модели — после развертывания беспристрастная эффективность кредитной модели (измеряемая метрикой AIR или SMD) также может со временем дрейфовать в ответ на изменение профилей потребительского кредитного риска. 7] Такой «дрейф справедливости» по этим показателям делает соблюдение компанией справедливого кредитования движущейся целью, требующей тщательного мониторинга и, при необходимости, обновленного устранения предвзятости. Фактически, макроэкономические изменения в этом году являются отличным примером такого дрейфа справедливости, поскольку кредиторы испытывают рост потребительских коэффициентов DTI и PTI, протекающих через их кредитные модели AI, и, возможно, соответствующее ухудшение показателей справедливого кредитного риска «равенства результатов». (т. е. AIR для кредитных решений и SMD для процентных ставок).

Хотя сторонники алгоритмического устранения смещения не сообщают о своих следующих шагах в этих ситуациях, естественным ответом на это ухудшение справедливости может стать обновление их процедуры алгоритмического устранения смещения для противодействия ухудшению AIR и/или SMD. показатели справедливости с использованием более свежей выборки данных, отражающей более высокое потребительское долговое бремя.

Однако такое логическое продолжение их подхода создает загадку.

В частности, в этом тематическом исследовании мы знаем, что движущей силой разрозненного воздействия растущей модели (измеряемого уменьшением AIR / увеличением SMD) является рост рыночных процентных ставок — чисто макроэкономический фактор. Тем не менее, согласно текущим предпосылкам сторонников устранения предвзятости, никакие прогностические переменные не защищены от требования LDA (т. Е. Деловая необходимость не исключает требования поиска LDA). Это означает, что потребуется обновленная процедура устранения предвзятости, чтобы смягчить влияние растущих коэффициентов DTI и PTI на кредитные рейтинги заявителей (и, соответственно, относительные показатели одобрения кредитов (AIR) и относительные процентные ставки (SMD)). Но это, вероятно, вызовет некоторые потенциально серьезные опасения в отношении безопасности и надежности из-за потенциального ослабления этих показателей платежеспособности в период, когда они становятся все более важными с точки зрения управления кредитным риском.

Можем ли мы просто исключить ухудшение справедливости на основе AIR/SMD, вызванное макроэкономическими факторами, из требований LDA?

Мы могли бы; однако это нарушает вторую предпосылку сторонников алгоритмического устранения предвзятости. Если влияние повышения процентных ставок на справедливость считается неподпадающим под требование поиска LDA (возможно, из-за деловой необходимости?), то это открывает двери для других потенциальных исключений и, откровенно говоря, ставит под сомнение основную основу для первого использование помещений метрик честности AIR / SMD. Но это может быть не так уж и плохо.

Есть ли решение?

Возможно, признавая «необходимость для бизнеса» определенных — но не обязательно всех — факторов кредитного риска, эти алгоритмические подходы к устранению предвзятости могут эволюционировать, чтобы быть более совместимыми с традиционными моделями несоизмеримых оценок воздействия, где LDA рассматриваются только для прогностических атрибутов, которые: (1 ) создают потенциально несоизмеримое воздействие И (2) не имеют достаточной деловой необходимости или обоснования (как в случае с некоторыми альтернативными данными).

То есть, развивая основы алгоритмического устранения смещения от цели «равенства результатов» к метрике справедливости, которая учитывает фундаментальную цель и прямые различия атрибутов кредитного риска между клиентами, справедливость кредитной модели ИИ будет демонстрировать большую стабильность по сравнению с жизненного цикла кредитной модели, риски безопасности и надежности будут снижены, проблемы управления модельными рисками могут снизиться, и — возможно — некоторые из осторожностей, проявляемых банками среднего и высшего уровня в отношении кредитных моделей на основе ИИ, будут начинают отступать, тем самым расширяя использование этих технологий ИИ для достижения более широкого и справедливого доступа к кредитам.

* * *

ПРИМЕЧАНИЯ:

[1] Несколько дополнительных замечаний по поводу этих наблюдений. Во-первых, рост процентных ставок является лишь одним из факторов увеличения потребительского долгового бремени. Это бремя еще больше усугубляется недавней инфляцией цен на жилую недвижимость и цены на автомобили, что усугубляет влияние текущих макроэкономических условий на профили потребительского кредитного риска. Во-вторых, хотя исследователям CFPB еще предстоит обнаружить заметное увеличение количества отказов в выдаче кредита HMDA, вполне возможно, что влияние этих растущих процентных ставок на процент отказа в выдаче ссуды не является немедленным, поскольку заявители смягчают воздействие, снижая запрашиваемые суммы ссуды, чтобы оставаться на прежнем уровне. в соответствии с критериями одобрения кредиторов (или кредиторы делают встречное предложение с меньшей суммой кредита, чем запрошено). Однако в той мере, в какой это сокращение сумм кредита непропорционально влияет на потребителей защищенного класса, оно по-прежнему оказывает неблагоприятное влияние на их результаты кредитования — просто то, на что традиционно не обращают внимания с точки зрения справедливого кредитования. Кроме того, по мере того, как процентные ставки продолжают расти, наступит момент, когда уровень процентных ставок приведет к тому, что запросы заявителей на получение кредита будут выходить за рамки кредитной политики кредиторов — даже при уменьшенных суммах кредита — что приведет к тому, что относительные проценты отказов в конечном итоге возрастут.

[2] «Исторически разные» относятся к прошлым 15 годам, в течение которых настраивались характеристики прогнозирования и справедливости многих кредитных моделей ИИ.

[3] Интересно, что хотя многие банки высшего и среднего уровня отреагировали на эти модели относительно прохладно, модели, похоже, прочно вошли в сектор кредитных союзов, где концентрация продолжает расти.

[4] Также были предприняты в целом сопоставимые усилия для решения других проблем регулирующих органов и отрасли, таких как объяснимость модели. Однако, несмотря на то, что был достигнут значительный прогресс, эта проблема остается нерешенной.

[5] См., например, Hall, Patrick, et. др. Перспектива справедливого кредитования Соединенных Штатов в отношении машинного обучения, Границы искусственного интеллекта, 7 июня 2021 г., разд. Искусственный интеллект в финансах, https://doi.org/10.3389/frai.2021.695301,

Метрика AIR используется для измерения несоизмеримого влияния на дискретные результаты, такие как уровень одобрения, в то время как другая метрика, называемая стандартизированной средней разницей («SMD»), используется для измерения несоизмеримого влияния на непрерывные результаты, такие как процентные ставки по кредиту. Ключевым моментом здесь является то, что обе несопоставимые метрики воздействия основаны на стандарте справедливости «равенства результатов», согласно которому несоизмеримое воздействие считается присутствующим всякий раз, когда результат кредитования (например, средний уровень одобрения или средняя процентная ставка по кредиту) «достаточно» отличается между группу защищенного класса и соответствующую контрольную группу — независимо от лежащих в основе объективных различий в профиле кредитного риска каждой группы.

Я также отмечаю, что использование порога AIR 0,80 официально не одобрено федеральными финансовыми регуляторами, и одна известная юридическая фирма предлагает использовать даже более консервативное пороговое значение AIR 0,90 при некоторых обстоятельствах. Мой дальнейший анализ метрики предвзятости AIR см. в моем блоге Шесть оставшихся без ответа вопросов о справедливом кредитовании, препятствующих принятию кредитной модели ИИ».

[6] См. выше мой пост в блоге, где приведены шесть важных оставшихся без ответа вопросов об этом упреждающем поиске модели LDA. Я отмечаю здесь, в частности, что это обязательство поиска LDA не является устоявшимся нормативным ожиданием. На самом деле, потребительские кредиторы десятилетиями разрабатывали модели кредитного скоринга — с сопутствующим контролем со стороны банков — и никогда не ожидали или не требовали поиска моделей LDA (хотя они могли искать атрибут LDA в модели, если они были заинтересованы). о потенциальном несопоставимом влиянии этого атрибута и связанного с ним обоснования деловой необходимости). Тем не менее сторонники алгоритмического устранения предвзятости рассматривают упреждающий поиск LDA как вероятное ожидание банковских регуляторов — хотя такие регуляторы еще не высказали своего мнения по этому поводу, и такая практика, по-видимому, противоречит с Системой переноса разрозненного воздействия HUD 2013 года.

[7] Я отмечаю, что этот «дрейф справедливости» специфичен для способа измерения «справедливости». Если AIR (или SMD) используется для измерения справедливости, то любое изменение входных данных модели, которое приводит к относительно более низким показателям одобрения кредитов (или относительно более высоким процентным ставкам) для групп защищенного класса, приведет к «дрейфу справедливости». Однако, если — в качестве альтернативы — справедливость измеряется относительной точностью прогнозов модели, то такое же изменение входных данных модели может не привести к «дрейфу справедливости» в соответствии с этим определением.

©️ 2022, ООО «Пейс Аналитика Консалтинг».