Текст, аудио, изображение или видео становятся учебными данными для машинного обучения посредством аннотации данных с помощью людей и технологий.
Текст, звук, изображение или видео становятся обучающими данными для машинного обучения посредством аннотирования данных с помощью людей и технологий.
Для создания модели ИИ или машинного обучения, которая действует как человек, требуются большие объемы обучающих данных. Чтобы модель могла принимать решения и действовать, она должна быть обучена понимать конкретную информацию с помощью аннотаций данных.
Но что такое аннотация данных? Это категоризация и маркировка данных для приложений ИИ. Учебные данные должны быть правильно организованы и аннотированы для конкретного варианта использования. С помощью высококачественных аннотаций данных, выполняемых человеком, компании могут создавать и улучшать реализации ИИ. Результатом является улучшенное решение для обслуживания клиентов, такое как рекомендации по продуктам, релевантные результаты поиска, компьютерное зрение, распознавание речи, чат-боты и многое другое.
Существует несколько основных типов данных: текст, аудио, изображения и видео, и многие компании в полной мере используют их предложения. Фактически, согласно отчету о состоянии ИИ и машинного обучения за 2020 год, организации заявили, что в 2020 году они используют на 25% больше типов данных по сравнению с предыдущим годом. С таким количеством различных отраслей и рабочих областей, работающих с различными типами данных, необходимость увеличения инвестиций в надежные обучающие данные стала более важной, чем когда-либо.
Давайте подробнее рассмотрим каждый тип аннотаций, предоставив реальный пример использования. для каждого типа, который демонстрирует успех в помощи в категоризации данных.
Текстовая аннотация
Текстовые аннотации остаются наиболее часто используемым типом: 70% компаний, опрошенных в отчете о машинном обучении, признают, что они в значительной степени полагаются на текст. Текстовые аннотации — это, по сути, процесс использования тегов метаданных для выделения ключевых слов, фраз или предложений, чтобы научить машины правильно распознавать и понимать человеческие эмоции через слова. Эти выделенные «чувства» используются в качестве обучающих данных для обработки и лучшего взаимодействия машины с естественным человеческим языком и цифровым текстовым общением.
Точность означает все в текстовой аннотации. Когда аннотации неточны, они могут привести к неправильному толкованию и затруднить понимание слов в конкретном контексте. Машины должны понимать все возможные формулировки определенного вопроса или утверждения на основе того, как люди говорят или взаимодействуют в Интернете.
Возьмем, к примеру, чат-ботов. Когда потребитель формулирует вопрос таким образом, который может быть незнаком машине, машине может быть трудно достичь конечной точки и предоставить решение. Чем качественнее текстовые аннотации, тем чаще машина может выполнять трудоемкие задачи, с которыми обычно справляется человек. Это не только улучшает качество обслуживания клиентов, но также может помочь организации достичь поставленных целей и максимально использовать человеческие ресурсы.
Знакомы ли вы с различными формами текстовых аннотаций? Текстовые аннотации включают в себя широкий спектр аннотаций, таких как настроения, намерения и запросы.
Аннотация настроений
Анализ настроений оценивает отношения, эмоции и мнения, чтобы в конечном итоге предоставить полезную информацию, которая потенциально может привести к серьезным бизнес-решениям. Вот почему так важно иметь правильные данные с самого начала.
Для получения этих данных часто используются аннотаторы-люди, поскольку они могут оценивать тональность и модерировать контент на всех веб-платформах. От обзора социальных сетей и сайтов электронной коммерции до пометки и составления отчетов по ключевым словам, которые являются непристойными, деликатными или неологическими, люди могут быть особенно ценны при анализе данных о настроениях, поскольку они понимают нюансы и современные тенденции, сленг и другие способы использования языка, которые могут или подорвать репутацию организации, если сообщение будет плохо сформулировано и воспринято.
Аннотация намерения
Поскольку люди все больше общаются с помощью человеко-машинных интерфейсов, машины должны понимать как естественный язык, так и намерения пользователя. Как правило, если намерение не распознано машиной, она не сможет обработать запрос и, скорее всего, попросит перефразировать информацию. Если перефразировка вопроса по-прежнему не воспринимается, бот может передать вопрос агенту-человеку, тем самым лишая себя цели использования машины.
Сбор и категоризация данных с несколькими намерениями могут различать намерения по ключевым категориям, включая запрос, команду, бронирование, рекомендацию и подтверждение. Эти категории упрощают для машин понимание первоначального намерения запроса и лучше направляют его для выполнения запроса и поиска решения.
Семантическая аннотация
Семантическая аннотация охватывает маркировку конкретных документов понятиями, которые наиболее релевантны информации. Это включает в себя добавление метаданных к документам, которые обогатят содержимое концепциями и описательными словами, чтобы придать тексту большую глубину и смысл.
Семантическая аннотация улучшает списки продуктов и гарантирует, что клиенты смогут найти продукты, которые они ищут. Это помогает превратить посетителей в покупателей. Помечая различные компоненты в названиях продуктов и поисковых запросах, сервисы семантических аннотаций помогают научить ваш алгоритм распознавать отдельные части и повышать общую релевантность поиска.
Аннотация именованного объекта
Распознавание именованных сущностей (NER) используется для идентификации определенных сущностей в тексте с целью обнаружения важной информации для больших наборов данных. Такая информация, как официальные названия, места, торговые марки и другие идентификаторы, является примерами того, что эта аннотация обнаруживает и систематизирует.
Системы NER требуют большого количества аннотированных вручную обучающих данных. Такие организации, как Appen, применяют возможности аннотирования именованных сущностей в широком диапазоне вариантов использования, например, помогая клиентам электронной коммерции идентифицировать и помечать ряд ключевых дескрипторов или помогая компаниям, работающим в социальных сетях, помечать такие сущности, как люди, места, компании, организации и названия. чтобы помочь с более целенаправленным рекламным контентом.
Сбор и категоризация данных с несколькими намерениями могут различать намерения по ключевым категориям, включая запрос, команду, бронирование, рекомендацию и подтверждение. Эти категории упрощают для машин понимание первоначального намерения запроса и лучше направляют его для выполнения запроса и поиска решения.
Практический пример использования: улучшение качества поиска для Microsoft Bing на нескольких рынках
Поисковой системе Microsoft Bing требовались крупномасштабные наборы данных для постоянного улучшения качества результатов поиска, а результаты должны были быть культурно релевантными для глобальных рынков, которые они обслуживали. Мы добились результатов, которые превзошли ожидания, что позволило им быстро выйти на новые рынки.
Помимо обеспечения управления проектами и программами, мы обеспечили возможность роста с помощью высококачественных наборов данных. И пока команда Bing продолжает экспериментировать с новыми потенциальными возможностями качества поиска, мы продолжаем разрабатывать, тестировать и предлагать решения, которые улучшат качество их данных.
Полностью ознакомиться с кейсом можно здесь. (Читать полный кейс здесь)
Аннотация именованного объекта
Точно так же, как установление отношений между матерью и сыном необходимо для качественной жизни, создание партнерства между несколькими сущностями в тексте может облегчить машинам понимание контекста концепции. Аннотация отношения используется для определения различных отношений с различными частями документа, таких как разрешение зависимостей и разрешение кореферентности.
Аудио аннотация
Аудио, записанное на цифровой платформе, вне зависимости от его формата, сегодня в целом хорошо воспринимается благодаря возможностям машинного обучения. Это делает звуковые аннотации, транскрипцию и отметку времени речевых данных доступными для бизнеса. Аудиоаннотация также включает транскрипцию определенного произношения и интонации, а также идентификацию языка, диалекта и демографических данных говорящего.
Каждый вариант использования индивидуален, и некоторые из них требуют очень специфического подхода. Например: маркировка агрессивных речевых индикаторов и неречевых звуков, таких как разбитие стекла, для использования в приложениях безопасности и технологий горячей линии может быть полезна в чрезвычайных ситуациях. Предоставление большего контекста шумов и звуков, которые возникают в разговоре или событии, может облегчить понимание ситуации в полной мере.
Вариант использования в реальных условиях: модели транскрипции Dialpad используют нашу платформу для транскрипции и категоризации аудио.
Панель набора номера улучшает обмен данными. Они собирают телефонный звук, расшифровывают эти диалоги с помощью собственных моделей распознавания речи и используют алгоритмы обработки естественного языка для понимания каждого разговора. Они используют эту вселенную разговоров один на один, чтобы определить, что каждый представитель — и компания в целом — делает хорошо, а что нет, и все это с целью сделать каждый звонок успешным. Dialpad работал с конкурентом Appen в течение шести месяцев, но у них возникли проблемы с достижением порога точности, чтобы их модели были успешными. Потребовалось всего пару недель, чтобы изменения принесли плоды для Dialpad и для создания данных для транскрипции и обучения НЛП, необходимых для успеха их моделей.
Поработав с конкурентом Appen в течение шести месяцев, Dialpad обнаружила, что у нее возникли проблемы с достижением порога точности, чтобы сделать их модели успешными. Всего через пару недель Dialpad добилась успеха, доверив Аппену создание данных для транскрипции и обучения НЛП, необходимых для успеха их моделей. Теперь их модели транскрипции используют нашу платформу для аудиотранскрипции и категоризации, а также проверки внутренней транскрипции и выходных данных их моделей. (Нажмите здесь, чтобы прочитать полное описание примера)
Аннотация к изображению
Аннотирование изображений можно считать одной из самых важных обязанностей компьютера в эпоху цифровых технологий, поскольку он дает возможность интерпретировать мир через визуальную линзу или новую, освещенную перспективу. Аннотации изображений жизненно важны для широкого спектра приложений, включая компьютерное зрение, роботизированное зрение, распознавание лиц и решения, основанные на машинном обучении для интерпретации изображений. Для обучения этих решений изображениям должны быть присвоены метаданные в виде идентификаторов, подписей или ключевых слов.
От систем компьютерного зрения, используемых беспилотными транспортными средствами и машинами, которые собирают и сортируют продукты, до приложений для здравоохранения, которые автоматически идентифицируют медицинские состояния, существует множество вариантов использования, требующих больших объемов аннотированных изображений. Аннотации изображений повышают точность и аккуратность за счет эффективного обучения этих систем.
Реальный пример использования: Adobe Stock использует массивный профиль активов, чтобы сделать клиентов счастливыми
Adobe Stock, одно из флагманских предложений Adobe, представляет собой тщательно отобранную коллекцию высококачественных стоковых изображений. Сама библиотека ошеломляюще велика: в ней более 200 миллионов ресурсов (в том числе более 15 миллионов видео, 35 миллионов векторов, 12 миллионов редакционных материалов и 140 миллионов фотографий, иллюстраций, шаблонов и 3D-ресурсов).
Хотя это может показаться невыполнимой задачей, очень важно, чтобы каждый из этих активов стал доступным для обнаружения фрагментом контента. В этой сложной ситуации компании Adobe требовалось быстрое и эффективное решение.
Компания Appen предоставила очень точные обучающие данные для создания модели, которая могла бы выявить эти тонкие атрибуты как в их библиотеке из более чем ста миллионов изображений, так и в сотнях тысяч новых изображений, которые загружаются каждый день. Эти обучающие данные используются в моделях, которые помогают Adobe предоставлять свои самые ценные изображения своей огромной клиентской базе. Вместо того, чтобы пролистывать страницы с похожими изображениями, пользователи могут быстро найти самые полезные, освобождая их для создания мощных маркетинговых материалов. Используя методы машинного обучения с участием человека в цикле, Abode получила более эффективную, мощную и полезную модель, на которую могут положиться их клиенты. (Читайте полный пример здесь)
Видео аннотация
Аннотированные человеком данные — ключ к успешному машинному обучению. Люди просто лучше компьютеров умеют управлять субъективностью, понимать намерения и справляться с двусмысленностью. Например, при определении того, релевантен ли результат поисковой системы, для достижения консенсуса необходим вклад многих людей. При обучении решения для компьютерного зрения или распознавания образов люди необходимы для идентификации и аннотирования определенных данных, таких как выделение всех пикселей, содержащих деревья или дорожные знаки на изображении. Используя эти структурированные данные, машины могут научиться распознавать эти отношения при тестировании и производстве.
Реальный пример использования: HERE Technologies создает данные для точной настройки карт быстрее, чем когда-либо
С целью создания трехмерных карт с точностью до нескольких сантиметров HERE остается новатором в этой области с середины 80-х годов. Они всегда занимались предоставлением сотням предприятий и организаций подробных, точных и действенных данных о местоположении и информации, и об этом движущем факторе никогда не задумывались.
Перед RHERE стоит амбициозная цель — аннотировать десятки тысяч километров проезжих дорог для получения наземных достоверных данных, которые лежат в основе их моделей обнаружения знаков. Однако преобразование видео в изображения для этой цели просто несостоятельно. Аннотирование отдельных кадров видео не только невероятно трудоемко, но и монотонно и дорого. Поиск способа тонкой настройки производительности их алгоритмов обнаружения знаков стал первоочередной задачей, и Аппен взялся за решение, чтобы предложить решение.
Наше решение для отслеживания видеообъектов с помощью машинного обучения предоставило прекрасную возможность реализовать эту амбициозную цель. Это потому, что он сочетает человеческий интеллект с машинным обучением, чтобы резко увеличить скорость аннотирования видео.
После нескольких месяцев использования этого решения компания HERE уверена, что у нее есть возможность ускорить сбор данных для своих моделей. Отслеживание видеообъектов дает HERE возможность создавать больше видео знаков, чем когда-либо, предоставляя исследователям и разработчикам важную информацию, необходимую для более точной настройки своих карт, чем когда-либо прежде.
(Нажмите здесь, чтобы прочитать полный пример)
Что Appen может сделать для вас
Вы ищете платформу аннотирования данных, которая предоставляет возможности ИИ, необходимые вашей организации? В Appen у нас есть технология обработки естественного языка (NLP), которая быстро развивается в зависимости от спроса на общение человека с машиной. У нас есть инструменты, необходимые для вывода вашего бизнеса на новый уровень цифровой сферы.
Наш опыт аннотирования данных насчитывает более 20 лет, что позволяет нам использовать наш опыт в обучении данных для бесчисленных проектов в глобальном масштабе. Сочетая наш подход с участием человека с помощью машинного обучения, мы предоставляем вам высококачественные данные для обучения, которые вам нужны.
Наши текстовые аннотации, аннотации к изображениям, аудио- и видеоаннотации придадут вам уверенности при масштабном развертывании моделей AI и ML. Какими бы ни были ваши потребности в аннотации данных, наша команда платформы и управляемого обслуживания готова помочь вам как в развертывании, так и в обслуживании ваших проектов искусственного интеллекта и машинного обучения.
Хотите узнать больше о наших услугах аннотирования данных? Свяжитесь с нами сегодня, и один из наших высококвалифицированных сотрудников свяжется с вами как можно скорее.
