Автор Хорхе Кампос

Несколько недель назад мы развернули на 🍃 tagtog.net функцию для отслеживания качества ваших наборов данных с помощью: Соглашения между аннотаторами (IAA).

Если вы пометили данные, и разные люди (или системы машинного обучения) сотрудничали, чтобы пометить одни и те же подмножества данных (например, 4 предметных эксперта отдельно комментируют одно и то же подмножество юридических договоров), вы можете сравнить эти аннотации, чтобы иметь представление об их качественный. Если все ваши аннотаторы независимо друг от друга делают одни и те же аннотации (высокий уровень IAA), это означает, что ваши рекомендации ясны, а ваши аннотации, скорее всего, верны.

Обратите внимание, что высокое значение IAA не означает, что аннотации верны. Это только указывает на то, что аннотаторы следуют руководящим принципам с аналогичным пониманием.

Как предотвратить плохую IAA?

Может быть несколько причин, по которым ваши аннотаторы не соглашаются с задачами аннотации. Важно как можно скорее снизить эти риски, выявив причины. Если вы обнаружите такой сценарий, рекомендуем вам изучить следующее:

  • Принципы имеют ключевое значение. Если у вас есть большая группа аннотаторов, не согласных по конкретной задаче аннотации, это означает, что ваши рекомендации для этой задачи недостаточно ясны. Постарайтесь предоставить репрезентативные примеры для различных сценариев, обсудите граничные случаи и устраните двусмысленность. Если это имеет смысл (например, для частей системы или схем), прикрепите изображения к руководствам.
  • Постарайтесь быть конкретным. Если задачи аннотации определены слишком широко или неоднозначно, есть место для разных интерпретаций и, в конечном итоге, для разногласий. С другой стороны, очень сложные и детализированные задачи могут быть трудными для аннотаторов при точном аннотировании. В зависимости от масштаба вашего проекта найдите лучший компромисс между аннотациями с высокой степенью специфичности и доступными аннотациями.
  • Проверка надежности. Прежде чем начинать аннотировать большие объемы данных, рекомендуется сделать несколько оценок на основе выборки данных. Как только члены команды аннотируют эти данные, проверьте IAA и улучшите свои рекомендации или обучите свою команду соответствующим образом.
  • Поезд. Убедитесь, что вы соответствующим образом обучаете участников, присоединяющихся к проекту аннотации. Если вы обнаружите, что комментаторы не согласны с большинством членов команды, изучите причины, доработайте свои правила и обучите их дальше.
  • Проверьте, насколько разнородны ваши данные. Если ваши данные / документы сильно отличаются друг от друга либо по сложности, либо по структуре, потребуется приложить больше усилий для стабилизации соглашения. Рекомендуется разбивать данные на однородные группы.

Помните: Пометка данных - это итеративный процесс. Как в Agile, проверяйте и адаптируйте.

Более подробную информацию об IAA и проверке качества данных вы можете найти в нашей документации: docs.tagtog.net

🍃tagtog полезен для вас? 👉 Попробуйте сами, БЕСПЛАТНО прямо сейчас! 👈

Как птицы? Следите за нами в Twitter 🐦

👏👏👏 если вам понравился пост и вы хотите поделиться им с другими! 💚🧡