Показывают ли компании, которые обсуждают темы ESG во время телеконференций о доходах, более высокие рейтинги ESG? Чтобы дать ответ, мы используем различные техники НЛП.

Растущая угроза изменения климата заставляет финансовые рынки все больше ориентироваться на более устойчивые инвестиции. Компании больше не оцениваются только по их прибыли, вместо этого принимается во внимание их экологический и социальный след. Эта цезура сопровождается вопросом о том, как измерить этот след и, таким образом, сделать разные компании сопоставимыми. Экологические, социальные и управленческие рейтинги (ESG) зарекомендовали себя как инструмент для измерения этого следа. Рейтинговые агентства были созданы для решения этой проблемы и предоставления инвесторам наилучших возможных рекомендаций по устойчивым инвестициям. Во время моей стажировки в ELCA мы смогли собрать различные источники неструктурированных данных, извлечь информацию и обнаружить связи между этими данными и рейтингами ESG.

Рейтинговые агентства собирают и оценивают различные источники информации. Как выбор источников информации, так и методология построения рейтингов различаются от агентства к агентству. Неудивительно, что сообщения о корреляции между различными рейтинговыми агентствами ESG остаются низкими, как сообщается в документах (см. [Berg et al. | 2019] и [Gibson et al. | 2019]). Наши данные подтверждают это понимание, как вы можете видеть в матрице корреляции между тремя агентствами, которые делают свои данные доступными для широкой публики.

Тот факт, что методологии лишь частично раскрываются рейтинговыми агентствами, побудил нас проанализировать рейтинги ESG с использованием данных из открытых источников. Поскольку оценки ESG охватывают широкий спектр тем, существует множество соответствующих текстовых источников, таких как источники новостей, рейтинги работодателей или отчеты об устойчивом развитии. Для этого эксперимента мы решили проанализировать звонки о доходах.

Отчеты о прибылях и убытках проводятся ежеквартально листинговыми компаниями и служат каналами связи между инвесторами и аналитиками. Они все чаще обсуждают вопросы, связанные с ESG, например, как бороться с пандемией, как бороться с различными формами дискриминации или какие усилия они предприняли для сокращения выбросов парниковых газов (ПГ).

Теперь мы дадим краткий ответ на вопрос, можем ли мы установить связь между призывом к заработку компании и ее ESG-рейтингом.

Короткий ответ

Мы проанализировали звонки о доходах, извлекая количество различных упоминаний ESG в течение долгого времени для более чем 3000 компаний. С этой целью мы учим неконтролируемый классификатор идентифицировать текст, релевантный ESG, используя отчеты об устойчивом развитии. Далее мы разделяем абзацы, относящиеся к ESG, на 26 описательных категорий ESG. Мы создаем функции, объединяя информацию, которую мы собрали о доходах каждой компании. Эти особенности анализируются с помощью линейных моделей.

В нашем предварительном анализе мы установили взаимосвязь между средним количеством упоминаний ESG компании в отчетах о прибылях и убытках и их рейтингами ESG. Для этого мы подгоняем линейную модель к трем описательным переменным: отрасли компании (всего 42 отрасли), «mean_total_mentions» компании и ее «mean_controversy». Параметр «mean_total_mentions» подсчитывает количество абзацев, в которых компании обсуждали темы ESG во время своих звонков о доходах. С помощью «mean_controversy» мы пытаемся охватить темы, которых компании стараются избегать, но которые поднимаются во время сеанса вопросов и ответов во время телеконференции о прибылях и убытках.

Мы видим, что коэффициенты наклона отраслей оказывают положительное влияние. «Производители нефти и газа» или «Промышленные конгломераты» имеют самый высокий уровень риска ESG, тогда как «Текстиль и одежда» и «СМИ» имеют относительно небольшой риск ESG.

Относится ли то же самое к «mean_controversy»? Приводит ли большее противоречие к более высокому связанному с этим риску? Оказывается, наклон статистически значимо не отличается от 0.

С другой стороны, «mean_total_mentions» имеет значительный отрицательный наклон в переменной результата. Компании, которые обсуждают больше тем ESG во время телеконференции о прибылях и убытках, имеют более высокие оценки ESG.

Далее вы можете погрузиться в набор данных, изучить конвейер машинного обучения для извлечения признаков и взглянуть на линейные модели, которые мы используем для исследования взаимосвязи между сконструированными признаками и рейтингами.

ESG-рейтинги

Рейтинги ESG предоставляются инвесторам несколькими рейтинговыми агентствами ESG, которые разработали свою методологию для оценки эффективности ESG различных компаний. Как следует из названия, эффективность ESG корпорации оценивается путем определения и взвешивания показателей в следующих трех областях: воздействие на окружающую среду, социальное воздействие и качество управления. Существует три источника расхождений в оценке рейтинга ESG:

  1. Область применения.Эти три категории подразделяются на несколько подкатегорий, которые считаются релевантными. Выбор этих подкатегорий субъективен и зависит от культурных и личных особенностей. Более того, рейтинговые агентства определяют набор «существенных вопросов» для разных отраслей.
  2. Расхождение оценок. В этих подкатегориях рейтинговые агентства определяют наиболее подходящие показатели для оценки эффективности компании. Выбор индикаторов и методов оценки этих индикаторов (например, выбор источника данных) может различаться в разных агентствах. RepRisk не рассматривает источники данных, о которых сообщают сами, поскольку считает их ненадежными и предвзятыми.
  3. Расхождение весов. Различные измерения необходимо объединить в разные подкатегории и, наконец, объединить в один рейтинг ESG.

Для получения более подробной информации и результатов см. [Berg et al. | 2019].

Расхождение между различными рейтинговыми агентствами представляет собой интересный случай. Мы можем спросить себя, какие документы необходимы для прогнозирования рейтинга ESG различных рейтингов.

Заработок на звонках

Во время телеконференций о прибылях и убытках корпоративное руководство представляет квартальные доходы и обсуждает факторы, которые существенно повлияли на их бизнес. За подготовленными выступлениями официальных лиц компании следует сессия вопросов и ответов, на которой аналитики и инвесторы могут задать вопросы о процессах принятия решений в компании и их результатах. Эти сессии могут быть особенно полезны для выявления недостатков в стратегии ESG, если будут заданы серьезные критические вопросы.

В последние годы, когда ESG-показатели компании стали более значимыми для бизнеса, темы ESG стали чаще обсуждаться во время телефонных разговоров о прибылях и убытках.

Основываясь на этих общедоступных данных, мы можем проанализировать, какие руководители компаний поднимают вопросы, связанные с ESG, и обсудить их во время телефонного разговора о доходах. Мы также можем проанализировать тип проблемы ESG и возникает ли она во время подготовленных замечаний или, скорее, сессии вопросов и ответов.

Погружение в данные

Далее мы покажем наш подход к извлечению информации из звонков о доходах и их предварительной обработке для задачи регрессии. Мы преобразуем неструктурированные данные в табличные данные и исследуем потенциальную связь между извлеченными данными и рейтингами ESG.

Как извлечь информацию из звонков о доходах

Наш набор данных состоит из примерно 43 000 расшифровок телефонных разговоров о доходах примерно 3 000 компаний, собранных из различных открытых источников. Мы разделили текст на разделы «Подготовленные замечания» и «Вопросы и ответы» и разделили их на абзацы. После этих шагов предварительной обработки мы извлекли признаки в три этапа:

1) Отфильтровать соответствующие абзацы

Нам необходимо определить абзацы, содержащие соответствующие обсуждения тем ESG. Но как мы определяем релевантность ESG, когда сталкиваемся с 26 категориями тем, имеющих отношение к ESG, как это определено Советом по стандартам бухгалтерского учета в области устойчивого развития (SASB)? Категории SASB включают Выбросы парниковых газов (ПГ), Здоровье и безопасность сотрудников или Управление нормативно-правовой средой.

Многие темы ESG нелегко идентифицировать в куче текстовых данных, особенно если ваш набор данных состоит примерно из 4 миллионов. абзацы. Знание предметной области требуется для правильного решения этой задачи. Но что, если у вас нет доступа к эксперту в предметной области?

Мы используем отчеты об устойчивом развитии для выявления тем, имеющих отношение к ESG. Отчеты об устойчивом развитии — это документы, подготовленные компанией, в которых обсуждаются существенные вопросы ESG и объясняется, как компания их решает. Отчеты об устойчивом развитии позволяют нам узнать о соответствующих темах ESG и их языке.

Мы формулируем задачу выявления релевантных параграфов ESG как задачу неконтролируемого обучения. Мы выбираем 1 миллион абзацев ESG, половина из которых взята из отчетов о прибылях и убытках, а другая половина — из отчетов об устойчивом развитии. Мы используем all-mpnet-base-v20 для встраивания предложений и уменьшаем пространство для встраивания с 768 до 10 измерений с помощью UMAP. Снижение размерности важно, чтобы избежать проклятия размерности для следующего метода кластеризации. Затем мы используем HDBscan для идентификации похожих абзацев.

Мы рекомендуем использовать BERTopic, так как он реализует конвейер в простом в использовании пакете. Кроме того, он предоставляет основанный на классах метод TF-IDF для извлечения наиболее важных ключевых слов кластера.

Чтобы присвоить метку релевантной или нерелевантной ESG примерно 141 кластеру, мы используем тот факт, что в абзацах отчетов о доходах преобладает язык, не относящийся к ESG, а отчеты об устойчивом развитии содержат в основном темы, связанные с ESG. Таким образом, мы классифицируем кластеры, в которых преобладают абзацы из отчетов об устойчивом развитии, как релевантные, а кластеры, содержащие в основном абзацы с отчетами о доходах, как нерелевантные. Затем мы получаем 500 000 абзацев с отчетами о доходах, классифицированных по категориям, относящимся к ESG и не относящимся к ESG.

После исправления некоторых явно неправильно классифицированных кластеров мы держим в руках размеченный набор данных с относительно небольшим шумом, который был получен путем автоматического определения соответствующих тем ESG в разных отраслях. Метод неконтролируемой классификации показан на рисунке выше. Этот подход позволил сократить болезненный процесс определения различных релевантных тем ESG для разных отраслей и маркировки абзацев звонков о доходах, которые содержат относительно мало данных, относящихся к ESG. Далее мы будем использовать этот набор данных для обучения контролируемой модели.

Для оценки различных моделей классификации мы создаем золотой стандартный набор данных абзацев с аннотациями от руки. Мы используем простой подход на основе ключевых слов, основанный на работах Эвана Тиленды и других, в качестве основы для сравнения наших контролируемых моделей.

Мы оцениваем различные методы классификации для двух разных типов встраивания текста. С одной стороны, мы использовали вложения TF-IDF для обучения модели, которая идентифицирует наиболее проницательные ключевые слова для правильной классификации абзацев. С другой стороны, мы также исследуем использование Bert-эмбеддингов (на основе ESGBert), которые были обучены на данных ESG.

Настроенный ESGBert для задачи классификации в конечном итоге стал нашей моделью выбора, скорее всего, потому, что он уже предварительно обучен языку ESG. Таким образом, эта модель преобразователя решает нашу первую проблему: определение соответствующих параграфов ESG.

2) Классификация тем ESG

Соответствующие пункты относятся к одной из 26 категорий ESG, таких как Качество и безопасность продукции, Выбросы парниковых газов, Управление энергопотреблением или Управление отходами и опасными материалами (здесь приведен список всех ESG-категорий). категории согласно SASB). ESGBert был специально разработан для этой задачи. Таким образом, мы повторно используем эту предварительно обученную модель для классификации абзацев, имеющих отношение к ESG, по 26 различным категориям.

3) Агрегация данных

На данный момент мы разделили отчеты о доходах каждой компании на абзацы, оставили только релевантные и отнесли их к категории ESG. Как мы можем преобразовать эту информацию в форму, которая позволит нам исследовать корреляцию между отчетами компаний о прибылях и убытках и их рейтингами ESG?

Наша цель — использовать тот факт, что стенограммы телефонных разговоров о доходах могут быть разделены на часть подготовленных замечаний и сеанс вопросов и ответов. В то время как должностные лица компании могут быть готовы блистать в первом случае, им, как правило, приходится терпеть второе неподготовленными. Мы пытаемся использовать это обстоятельство, чтобы оценить, старается ли компания избегать в подготовленной части сложных ESG-тем, которые поднимают аналитики или инвесторы в ходе сессии вопросов и ответов.

В чистой математике этот подход можно сформулировать следующим образом. Во-первых, мы подсчитываем каждую тему ESG для каждого звонка о доходах и каждой компании:

Затем мы вводим различие между подсчетом подготовленных замечаний и сессиями вопросов и ответов:

Наконец, мы определяем темы, которые упоминаются в сессии вопросов и ответов, но не в подготовленных комментариях, как потенциально спорные:

Чтобы агрегировать эти значения для каждой компании, мы усредняем звонки о доходах:

где K — общее количество собранных нами звонков о доходах на компанию.

Теперь мы получаем переменную среднего числа cᵖʳᵉᵖᵃʳᵉᵈ⁻ʳᵉᵐᵃʳᵏˢ, c {Q&A}, cᵒᵛᵉʳᵃˡˡ и cᶜᵒⁿᵗʳᵒᵛᵉʳˢʸ. cᵖʳᵉᵖᵃʳᵉᵈ⁻ʳᵉᵐᵃʳᵏˢ и c{Q&A} сильно коррелированы и, следовательно, не должны использоваться в качестве переменных в линейной регрессии. Следовательно, мы используем cᵒᵛᵉʳᵃˡˡˡ и cᶜᵒⁿᵗʳᵒᵛᵉʳˢʸ в качестве характеристик для описания каждой компании.

Мы экспериментируем с простым невзвешенным средним и взвешенным средним, что позволяет нам уделять больше внимания упоминаниям ESG в недавних отчетах о доходах. Мы не добавляем веса в формулы, так как они могут запутать индексацию.

На данный момент у нас есть (не)взвешенное среднее количество упоминаний для каждой категории в каждой компании для подготовленных замечаний и сеанса вопросов и ответов.

Тенденции ESG с течением времени

Мы анализируем извлеченные функции с течением времени, чтобы выявить потенциальные недостатки и выявить проблемы. Ниже мы отображаем долю звонков о доходах, в которых упоминается хотя бы одна тема ESG, с течением времени. Мы видим, что с годами темы ESG все чаще обсуждаются во время телеконференций о доходах. Тем не менее, многие отчеты о доходах по-прежнему не содержат упоминаний ESG. Мы также определяем пик в первом квартале 2020 года.

На рисунке ниже мы можем посмотреть среднее количество упоминаний в каждой категории ESG. Рисунок позволяет нам объяснить пик, который мы наблюдали ранее. В условиях пандемии, начавшейся в конце 2019 года, многим компаниям пришлось решать вопросы здоровья и безопасности своих сотрудников. Мы можем увидеть сильный пик в этой категории в первом квартале 2020 года. Другие вопросы ESG, такие как «вовлеченность, инклюзивность и разнообразие сотрудников», также сильно возросли. С появлением движений «Жизни черных имеют значение» и «ЛГБТК+» после убийства Джорджа Флойда в мае 2020 года эта политика стала более важной для многих компаний.

Корреляция упоминаний ESG с рейтингами ESG

После извлечения и предварительной проверки функций мы проводим несколько экспериментов, чтобы посмотреть, сможем ли мы установить взаимосвязь между извлеченными функциями и оценками. Мы объединяем функции звонков о доходах с рейтингами и получаем 3222 точки данных. Рейтинги измеряют риск ESG компании, и более высокие значения соответствуют худшим показателям ESG.

Мы проводим проверку гипотезы наклона регрессии, чтобы оценить возможную линейную связь между извлеченными функциями и рейтингами ESG. Мы тестируем с уровнем значимости 5%. Наши рейтинги примерно нормально распределены.

Для упрощения теста мы вычисляем общее количество упоминаний каждой компании.

Мы запускаем линейную регрессию с

где tᵒᵛᵉʳᵃˡˡ — среднее количество упоминаний ESG на звонок о доходах. tᶜᵒⁿᵗʳᵒᵛᵉʳˢʸ — показатель

Мы используем «отраслевую группу» в качестве индикаторной переменной, поскольку средние оценки значительно отличаются от отрасли к отрасли. Мы логарифмируем tᵒᵛᵉʳᵃˡˡˡ, поскольку распределение, похоже, следует степенному закону: большинство компаний имеют лишь несколько упоминаний ESG, а некоторые компании имеют очень большое количество упоминаний ESG. Мы заменяем нулевые упоминания на min(number_of_mentions) / 2.

Значение R-квадрата линейной модели указывает на то, что наши переменные способны объяснить значительную дисперсию оценок. Большая часть дисперсии объясняется переменными отраслевых показателей. Добавление двух наших функций tᵒᵛᵉʳᵃˡˡ и tᶜᵒⁿᵗʳᵒᵛᵉʳˢʸ улучшает показатель R-квадрата с 0,435 до 0,461. Скорректированный показатель R-квадрата, учитывающий дополнительные степени свободы, улучшился с 0,428 до 0,454.

Нас также интересуют наклоны регрессии, и мы замечаем следующее.

  • Мы можем отклонить 0-гипотезу и найти отрицательную линейную зависимость между количеством упоминаний tᵒᵛᵉʳᵃˡˡ и рисками ESG (это означает, что большее количество упоминаний ESG приводит к меньшему риску ESG). Отрицательный наклон подтверждается нашим интуитивным предположением, что большее количество упоминаний ESG должно привести к снижению риска (более высокой эффективности ESG).
  • Мы не можем отвергнуть 0-гипотезу для среднего балла противоречия (tᶜᵒⁿᵗʳᵒᵛᵉʳˢʸ) на уровне значимости 5%. Кажется, создать эту переменную было не очень хорошей идеей.
  • Все наклоны индикаторных переменных отраслевых групп значимы на уровне 5%.

Эти результаты показывают взаимосвязь между извлеченными функциями из отчета о доходах и рейтингами. В частности, tᵒᵛᵉʳᵃˡˡ, общее количество упоминаний ESG на звонок о доходах, по-видимому, помогает в прогнозировании рейтингов.

Заключение

Нам удалось установить связь между средним количеством упоминаний ESG в отчетах о доходах и рейтингом компании. Мы можем надеяться получить больше информации из упоминаний различных категорий в ESG. Сильные корреляции между этими различными функциями и ограниченным количеством образцов делают эту задачу сложной.

В нашей дальнейшей работе мы будем исследовать взаимосвязь между характеристиками и рейтингами на более детальном уровне. Также может быть полезно изучить потенциальные условия взаимодействия между отраслевыми группами и упоминаниями ESG. Кроме того, мы попытаемся улучшить прогнозы, используя сигналы, полученные из других источников документов.

Я хотел бы поблагодарить своих руководителей Саймона Хефели и Люка Зайлера за их ценный вклад и обсуждение во время стажировки, а также Николаса Хубахера и Антуана Хью за подробный обзор статьи. Большое спасибо :)