В документе представлен тест оценки понимания языка политики конфиденциальности (PLUE), который предназначен для оценки моделей понимания естественного языка на предмет их способности обрабатывать текст политики конфиденциальности. PLUE включает в себя шесть заданий на английском языке, включая классификацию текста, ответы на вопросы, семантический анализ и распознавание именованных объектов.
Задачи основаны на существующих наборах данных политики конфиденциальности, таких как OPP-115, APP-350, PrivacyQA, PolicyQA, PolicyIE и PI-Extract. Эти наборы данных охватывают политики конфиденциальности как веб-сайтов, так и мобильных приложений.
В дополнение к задачам PLUE предоставляет большой предварительный учебный корпус из около 330 миллионов слов, собранных из политик конфиденциальности веб-сайтов и мобильных приложений. Это позволяет проводить предварительное обучение моделей, таких как BERT, для предметной области.
В документе проводится сравнение нескольких стандартных предварительно обученных языковых моделей, таких как BERT, RoBERTa, ELECTRA и SpanBERT. Это показывает, что дополнительное предварительное обучение этих моделей на корпусе политик конфиденциальности приводит к повышению производительности задач PLUE по сравнению с использованием только базовых моделей.
PLUE стремится продвигать больше исследований НЛП для понимания политики конфиденциальности. Наборы данных и задачи охватывают разные уровни семантики и разработаны так, чтобы быть сложными, но при этом поддающимися обучению на умеренном графическом процессоре в разумные сроки.
Эталонный тест и модели публикуются для помощи в будущей работе. PLUE предоставляет стандартную настройку для надежной оценки и сравнения моделей понимания языка политики конфиденциальности.
