- Анализ социальных предубеждений, присутствующих в вариантах BERT на разных языках(arXiv)
Автор:Аристидес Милиос, Паришад Бехнам Гадер
Аннотация: хотя большие предварительно обученные языковые модели достигли больших успехов во многих задачах НЛП, было показано, что они отражают человеческие предубеждения из их предобучаемых корпусов. Эта предвзятость может привести к нежелательным результатам, когда эти модели применяются в реальных условиях. В этой статье мы исследуем предвзятость, присутствующую в одноязычных моделях BERT для различных языков (английский, греческий и персидский). В то время как недавние исследования в основном были сосредоточены на предвзятости, связанной с полом, мы также анализируем религиозные и этнические предубеждения и предлагаем метод, основанный на шаблонах, для измерения любого вида предвзятости, основанный на псевдовероятности предложения, который может работать с морфологически сложными языками с гендерной принадлежностью. на основе склонения прилагательных. С помощью этого метода мы анализируем каждую одноязычную модель и визуализируем культурные сходства и различия по разным параметрам предвзятости. В конечном итоге мы приходим к выводу, что современные методы выявления предвзятости в значительной степени зависят от языка, что требует культурного понимания уникальных способов выражения предвзятости в каждом языке и культуре (например, с помощью закодированного языка, синекдохи и других подобных лингвистических концепций). Мы также предполагаем, что более высокие измеренные социальные предубеждения в неанглоязычных моделях BERT коррелируют с пользовательским контентом в их обучении.
2.Уточнение графа знаний на основе Triplet BERT-Networks(arXiv)
Автор: Армита Хадже Нассири, Натали Пернелле, Фатиха Саис, Джанлука Кверчини
Аннотация.Методы внедрения графа знаний широко используются для задач уточнения графа знаний, таких как завершение графа и тройная классификация. Эти методы направлены на встраивание сущностей и отношений графа знаний (KG) в низкоразмерное непрерывное пространство признаков. В этой статье используется триплетная сеть на основе преобразователя, создающая пространство для встраивания, которое кластеризует информацию об объекте или отношении в KG. Он создает текстовые последовательности из фактов и точно настраивает тройную сеть предварительно обученных языковых моделей на основе преобразователя. Он придерживается парадигмы оценки, основанной на эффективной технике пространственно-семантического поиска. Мы показываем, что этот протокол оценки более адаптирован к настройке нескольких выстрелов для задачи прогнозирования отношений. Предлагаемый нами метод GilBERT оценивается в задачах классификации триплетов и прогнозирования отношений на нескольких известных эталонных графах знаний, таких как FB13, WN11 и FB15K. Мы показываем, что GilBERT достигает лучших или сравнимых результатов с самыми современными характеристиками в этих двух задачах уточнения. △
