У каждого человека есть какое-то отношение к вещам, которые он испытывает. Нам может нравиться эта функция «рукописных заметок» в смартфоне, но мы не можем терпеть весь шумометр. И есть еще эта штука с «фейслоком», которая нас действительно озадачивает. Это естественная вещь…

Все это кое-что говорит о рассматриваемом объекте. А так как пользоваться этой штукой могут многие — таких отзывов от многих людей десятки. В совокупности все эти мнения рисуют отчетливую картину того, как воспринимается конкретный продукт.

Вкратце это анализ настроений.

В этой статье мы рассмотрим, что такое анализ настроений и как его можно использовать на благо вашей компании.

Что такое анализ настроений? / Определение анализа настроений

Термин «анализ настроений» относится к области обработки естественного языка, посвященной изучению субъективных мнений, выраженных в различных источниках информации относительно конкретного предмета.

В более строгих деловых терминах это можно резюмировать следующим образом:

  • Анализ настроений — это набор инструментов для выявления и извлечения мнений и использования их в интересах бизнеса.

Такие алгоритмы глубоко копаются в тексте и находят то, что указывает на отношение к продукту в целом или к его конкретному элементу.

Другими словами, интеллектуальный анализ мнений и анализ настроений — это возможность изучить образ мышления членов аудитории и изучить состояние продукта с противоположной точки зрения. Это делает анализ тональности отличным инструментом для:

  • расширенная продуктовая аналитика,
  • исследования рынка,
  • управление репутацией
  • точность наведения.
  • маркетинговый анализ,
  • связи с общественностью,
  • обзоры товаров,
  • оценка чистого промоутера,
  • отзыв о продукте,
  • обслуживание клиентов.

Как работает анализ настроений?

Анализ настроений представляет собой преимущественно классификационный алгоритм, направленный на поиск субъективной точки зрения и ее диспозиции и выделение информации, представляющей особый интерес в процессе.

Что такое мнение в анализе настроений? Все вы знаете общее определение мнения:«мнение или суждение, сформированное о чем-либо, не обязательно основанное на фактах или знаниях».

Что ж, с точки зрения науки о данных, мнение — это гораздо больше, чем это:

  • С одной стороны, это уникальная субъективная оценка чего-либо, основанная на личном эмпирическом опыте. Оно частично коренится в объективных фактах и ​​частично управляется субъективными эмоциями.
  • С другой стороны, мнение можно интерпретировать как своего рода измерение в данных относительно определенного предмета. Это набор означающих, которые в сочетании представляют точку зрения, т. е. измерение для конкретного субъекта. Думайте об этом, как если бы это было одно из колец Сатурна.

Имея это в виду, анализ настроений применяется для следующих операций:

  • Находите и извлекайте субъективные данные (данные о настроениях) на определенной платформе (поддержка клиентов, отзывы и т. д.)
  • Определите его полярность (положительную или отрицательную)
  • Определите тему (о чем идет речь в целом и конкретно)
  • Определить держателя мнения (самостоятельно и во взаимосвязи с существующими сегментами аудитории)

В зависимости от цели алгоритм анализа тональности может использоваться в следующих областях:

  • Уровень документа — для всего текста.
  • Уровень предложения — определяет тональность одного предложения.
  • Уровень подпредложения – получает тональность подвыражений в предложении.

Учитывая его субъективный характер, добыча мнения — довольно сложное дело. Мнения расходятся. Некоторые более ценны, чем другие. Есть четыре подкатегории, которые дополнительно характеризуют мнение.

  • Прямое мнение — то, которое прямо утверждает что-либо. Например, «отзывчивость кнопок в приложении X плохая». Здесь у вас есть законная точка.
  • Сравнительное мнение — мнение, в котором X сравнивается с Y по определенным критериям. Например, «отзывчивость кнопки в приложении X хуже, чем в приложении Y». Помимо того, что это дает представление о вашем продукте, он также служит микроконкурентным исследованием.
  • Явное мнение — такое, в котором все четко определено. Например, «этот стул качается».
  • Неявные мнения сложнее. В этом случае мнение подразумевается, но не выражается ясно. Например, «приложение начало тормозить через два дня». Важно отметить, что неявные мнения могут также содержать идиомы и метафоры, что усложняет процесс анализа настроений.

Почему важен анализ настроений?

Анализ настроений имеет дело с восприятием продукта и пониманием рынка через призму данных о настроениях.

Дело в том, что существует множество источников общедоступной и частной информации, из которых вы можете получить представление о восприятии покупателем продукта и общей ситуации на рынке. Назвать несколько:

  • Переписка со службой поддержки клиентов (относительно вашего продукта)
  • Обзоры продуктов, созданные пользователями
  • Профессиональные обзоры продуктов (как в The Verge или Wired)
  • Привлекательность в социальных сетях
  • Общие и специализированные форумы

Анализ настроений клиентов может помочь разобраться в этих грудах данных и преобразовать их в:

  • четко определенное представление о том, что определенные сегменты клиентов думают о продукте или в целом
  • Глубокое погружение в состояние рынка с точки зрения потребителя.

В обоих случаях это влиятельный фактор при формулировании и разработке ценностного предложения для определенного сегмента аудитории.

Вернемся к началу раздела и подробнее рассмотрим, как помогает понять рынок и понять продукт:

  • Как один из ключевых показателей эффективности — правильное восприятие стратегически важно для дальнейшего развития продукта. Часто отслеживание настроений является решающим фактором при выборе направления маркетинговых усилий и развития бизнеса, и очень важно точно знать, какова оценка. Маркетинг с анализом настроений дает вам возможность точно определить сильные и слабые стороны продукта с точки зрения потребителя.
  • В случае исследования рынка роль анализа настроений менее важна, но, тем не менее, влиятельна. Он дает другую перспективу, добавляет красок в картину рынка и позволяет взглянуть на ситуацию с уровня земли. А это позволяет найти одну-две неиспользованные возможности, которые помогут найти нишу и закрепить продукт на рынке.

Хотя на начальных этапах с этими действиями относительно легко справиться с помощью базовых решений — в какой-то момент начинает иметь смысл использовать более сложные инструменты и извлекать более сложные идеи.

Типы анализа настроений

Чтобы понять, как применять анализ настроений в контексте вашей бизнес-операции, вам нужно понять его различные типы.

В этом разделе мы рассмотрим основные типы анализа настроений.

  • Детальный анализ настроений включает определение полярности мнений. Это может быть простая бинарная дифференциация положительных и отрицательных настроений. Этот тип также может иметь более высокие характеристики (например, очень положительный, положительный, нейтральный, отрицательный, очень отрицательный) в зависимости от варианта использования (например, как в пятизвездочных обзорах Amazon).
  • Обнаружение эмоций используется для выявления признаков определенных эмоциональных состояний, представленных в тексте. Обычно существует комбинация словарей и алгоритмов машинного обучения, которые определяют, что есть что и почему.
  • Анализ тональности на основе аспектов идет глубже. Его цель – выявить мнение о конкретном элементе продукта. Например, яркость фонарика в смартфоне. Аспектный анализ обычно используется в продуктовой аналитике, чтобы следить за тем, как продукт воспринимается, и каковы его сильные и слабые стороны с точки зрения покупателя.
  • Анализ намерений — это действие. Его цель — определить, какое намерение выражено в сообщении. Он обычно используется в системах поддержки клиентов для оптимизации рабочего процесса.

Объяснение алгоритмов анализа настроений

Существует два основных метода анализа настроений. Давайте посмотрим на оба.

Подход, основанный на правилах

Анализ тональности на основе правил основан на алгоритме с четко определенным описанием мнения, которое нужно определить. Включает определение субъективности, полярности или предмета мнения.

Подход, основанный на правилах, включает базовую процедуру обработки естественного языка. Он включает в себя следующие операции с текстовым корпусом:

  • Стемминг
  • Токенизация
  • Тегирование части речи
  • Разбор
  • Анализ лексики (в зависимости от соответствующего контекста)

Вот как это работает:

  • Есть два списка слов. В один из них входят только положительные, в другой - отрицательные.
  • Алгоритм просматривает текст, находит слова, соответствующие критериям.
  • После этого алгоритм вычисляет, какой тип слов превалирует в тексте. Если положительных слов больше, то считается, что текст имеет положительную полярность.

Суть алгоритмов на основе правил заключается в том, что хотя они и дают какие-то результаты, им не хватает гибкости и точности, которые сделали бы их по-настоящему полезными. Например, подход, основанный на правилах, не принимает во внимание контекст. Однако его можно использовать в общих целях для определения тона сообщений, что может пригодиться службе поддержки клиентов.

В наши дни анализ настроений на основе правил обычно используется для создания основы для последующего внедрения и обучения решения машинного обучения.

Говоря о которых…

Автоматический анализ настроений

Хотя подход, основанный на правилах, больше похож на игрушку, чем на реальный инструмент, автоматический анализ настроений — это реальное дело. Это единственный подход, который действительно вникает в текст и доставляет удовольствие. Вместо четко определенных правил — этот тип анализа настроений использует машинное обучение, чтобы понять суть сообщения.

За счет этого резко возрастает точность и аккуратность операции, и вы можете обрабатывать информацию по многочисленным критериям, не усложняя ее.

По сути, автоматический подход включает контролируемые алгоритмы классификации машинного обучения. На самом деле анализ настроений — один из наиболее сложных примеров того, как использовать классификацию с максимальным эффектом. Кроме того, для изучения данных используются неконтролируемые алгоритмы машинного обучения.

В целом, анализ настроений может включать следующие типы алгоритмов классификации:

  • Линейная регрессия
  • Наивный Байес
  • Опорные векторные машины
  • Производные RNN LSTM и GRU.

Проблемы анализа настроений

Если в чем-то и можно быть уверенным, так это в том, что чувства — коварные звери.

На первый взгляд это кажется рутинным извлечением определенного понимания. Но на самом деле извлечение настроений требует некоторой тяжелой работы, чтобы действительно понять суть.

В этом разделе мы обсудим наиболее распространенные проблемы, возникающие во время операции анализа тональности.

Определение контекста и полярности

Контекст — это то, что часто бьет прямо в глаза прекрасной операции по анализу настроений. Хотя человек может получить контекст без особых усилий, с точки зрения алгоритма все обстоит иначе.

Дело в том, что алгоритмы не могут угадать, что им нужно сделать, чтобы получить правильные результаты. Их нужно настроить, чтобы получить правильные результаты.

Из-за этого модель анализа настроений должна содержать дополнительный компонент, который будет учитывать контекст сообщения.

Ключ заключается в векторизации текста, которая отображает связи слов в тексте и их отношения друг к другу с точки зрения частей речи.

Это дает дополнительное измерение для анализа тональности текста и открывает путь к правильному пониманию тона и способа сообщения. Такие инструменты, как word2vec и doc2vec, могут сделать это с легкостью.

Субъективность и определение тона

Идентификация тона сообщения является одной из фундаментальных особенностей анализа настроений.

В целом, тональность относительно легко вычислить из сообщения с помощью многословия. Такие слова, как «хороший» и «уродливый», напрямую определяют оценку.

Более сложная задача — определить, является ли сообщение объективным или субъективным.

Вот в чем дело. Люди склонны формулировать сообщение по-разному. Иногда сообщение не содержит явного настроения, иногда скрытое настроение не то, чем кажется.

Единственное решение для этого — более глубокая и разнообразная формулировка в модели анализа настроений НЛП, применяемая для анализа настроений.

Нужно учитывать различные варианты характеристики товара и группировать их в соответствующие категории. Таким образом, алгоритм сможет правильно определить субъективность и ее корреляцию с тоном.

Отождествление иронии и сарказма

Среди всех вещей, с которыми у алгоритмов анализа настроений возникают проблемы — определение иронии и сарказма, вероятно, является самым назойливым.

Почему? Назовем это предательством языка.

Видите ли, то, как мы используем язык, часто имеет слегка подрывной характер. Слова сами по себе могут быть кучей плюшевых мишек, но контекст, в котором они используются, может превратить их в розовых слонов на параде.

Алгоритм не понимает. Они шутят и язвят за чистую монету и классифицируют их как умеренно негативные или исключительно позитивные. Еще более запутанным является различие между иронией и сарказмом.

Секрет успешного решения этой проблемы заключается в глубоком анализе контекста и разнообразном корпусе, используемом для обучения модели анализа настроений НЛП. Должно быть

Определение нейтрального тона

Определение тональности может быть достаточно сложным из-за особенностей контекста и примеси иронии/сарказма.

И тогда есть нейтральный тон.

Что такое нейтральный тон? Это тип тона, который не содержит никаких означающих, которые можно классифицировать как положительные или отрицательные. Вместо этого нейтральное сообщение просто констатирует некоторые факты.

Как быть с нейтральными сообщениями? Есть два способа.

Во-первых, вам нужно взглянуть на контекст и посмотреть, какие факты излагаются. В этом вся разница и снимается невысказанное мнение. Но этот подход является ручным и может применяться только в особых случаях.

Второй — для самого алгоритма. Нейтральный тон можно вычислить из того, чем он не является, то есть из полярного сообщения. По сути, вы помечаете как нейтральное все, что не может быть идентифицировано как положительное, отрицательное или их варианты.

В заключении

Анализ настроений — одна из тех технологий, полезность которых полностью зависит от понимания ее возможностей.

Это может быть чрезвычайно полезно, если вы знаете, как его использовать, и может быть совершенно бесполезным, если вы применяете его к чему-то, для чего он не предназначен.