- Может ли BERT есть RuCoLA? Топологический анализ данных для объяснения (arXiv)
Автор : Ирина Проскурина, Ирина Пионтковская, Екатерина Артемова.
Аннотация: В этой статье исследуется, как языковые модели Transformer (LM), настроенные для классификации приемлемости, фиксируют лингвистические особенности. Наш подход использует лучшие практики топологического анализа данных (TDA) в НЛП: мы строим графы направленного внимания из матриц внимания, извлекаем из них топологические признаки и передаем их линейным классификаторам. Мы вводим две новые функции, хордальность и число соответствий, и показываем, что классификаторы на основе TDA превосходят базовые линии точной настройки. Мы экспериментируем с двумя наборами данных, CoLA и RuCoLA на английском и русском языках, типологически разных языках. Вдобавок ко всему, мы предлагаем несколько методов самоанализа «черный ящик», направленных на обнаружение изменений в режиме внимания LM во время тонкой настройки, определение достоверности предсказания LM и связывание отдельных головок с явлениями мелкозернистой грамматики. Наши результаты способствуют пониманию поведения одноязычных LM в задаче классификации приемлемости, дают представление о функциональных ролях головок внимания и подчеркивают преимущества подходов на основе TDA для анализа LM. Мы публикуем код и результаты экспериментов для дальнейшего использования.
2. Обнаружение целей разжигания ненависти в Parler с использованием BERT (arXiv)
Автор: Надав Шнайдер, Шимон Шоуэй, Салим Гантус, Элад Фельдман.
Абстрактный :
