Что я узнал из курса «Введение в машинное обучение»
Абстрактный
Анализ тональности становится все более популярным в обзорах продуктов. Но как лучше понять болевые точки клиентов и применить их в области исследования пользовательского опыта? Мы провели исследование, чтобы оценить корреляцию между отзывами о продуктах Amazon Alexa и их рейтингом клиентов. Мы используем случайный лес для создания модели машины и k-кратную перекрестную проверку для проверки производительности модели. Инвестируя эти результаты, мы лучше понимаем алгоритм и методы проверки, а также способы их применения для улучшения пользовательского опыта Alexa.
Введение
Исследование пользователей — одна из ключевых основ разработки приложений. Новые методы разработки программного обеспечения основываются на концепции проектирования, ориентированного на пользователя, которая определяется Норманом (1986) как итеративный процесс, в котором подчеркивается, что целью программного обеспечения является обслуживание пользователя. В настоящее время у пользователей есть прямой способ сообщить свое мнение о продукте через отзывы пользователей. Отзывы пользователей, как правило, различаются по длине и содержанию у каждого отдельного пользователя. Это часто затрудняет получение легко поддающихся количественному определению точек данных, которые можно эффективно обобщить. Возможность быстро анализировать, усваивать и анализировать отзывы пользователей является ключом к итеративному процессу. Важно, чтобы мы могли выполнить эту задачу точно, так как это необходимо для удовлетворения потребностей пользователя.
Метод, который исследователи рассматривают для решения этой проблемы, — это методы сбора мнений, такие как анализ настроений. Анализ настроений, согласно определению Фанга и Чжана (2015), представляет собой исследование настроений людей по отношению к определенным объектам. Например, он заключает полярность: если говорящий выражает положительное или отрицательное мнение; предмет: то, о чем идет речь; Держатель мнения: физическое или юридическое лицо, выражающее мнение. Далее они говорят, что этот метод анализа мнений является основной задачей моделей обработки естественного языка (NLP).
Amazon Echo, более известный как Alexa, содержит большое количество обзоров продуктов. По данным Amazon (2020), на сайте Echo 2 в настоящее время 67 736 оценок пользователей. Просеивание каждого отдельного обзора — сложная и непосильная задача. Такие исследователи, как Эли и Ван (2016), уже экспериментировали с использованием анализа настроений в отзывах пользователей Amazon, но мы хотим расширить его возможности не только для определения настроений текущих отзывов пользователей, но также для прогнозирования настроений и удовлетворенности в будущем. те. Наша цель — понять пользователей Amazon Echo, особенно тех, кому не нравится продукт, чтобы иметь возможность использовать это понимание для прогнозирования реакции на новые реализованные функции на этапе тестирования. Если мы сможем создать точную картину настроений пользователей, мы сможем использовать ее для управления новой итерацией Echo. Мы хотим добиться этого, найдя болевые точки, указанные в отзывах пользователей, и построив модель НЛП, которая может прогнозировать рейтинги на основе текста в полном обзоре пользователя.
Похожая работа
Обзоры приложений служат платформой для мгновенной обратной связи. Часто они служат средством для быстрого и надежного сбора пользовательских данных. Сюй и др. al (2018) построили свое исследование на понимании того, что обзоры приложений имеют функциональный аспект передачи необходимой информации о функциях приложения. Мало того, обзоры приложений также могут служить неизменным мнением, эти обзоры традиционно публикуются из реальной среды пользователя, в отличие от теста удобства использования или семинара, где среда каким-то образом сфабрикована. Макилрой и др. др. (2017) подробно обсуждает, как динамика отзывов приложений может определять будущие стратегии разработки. В их исследовании говорится, что частые релизы поощряют взаимодействие и обратную связь, что, в свою очередь, побуждает разработчиков придерживаться итеративных практик. Гао и др. др. (2018) исследовали это специфическое явление с помощью обзоров Amazon Echo. Они смогли проанализировать конкретные связи пользователей с технологией с помощью обзоров Echo. Отзывы пользователей могут служить огромным источником информации, которая теоретически может формировать процессы разработки. Вот почему мы решили сосредоточиться на отзывах пользователей как на источнике нашего исследования. Хотя большая часть этого исследования использует модели НЛП для исследования и анализа пользовательских данных, оно сосредоточено на наблюдении. Мы хотели бы расширить это, рассматривая эту перспективу с учетом прогнозов, используя это понимание упреждающим образом в контексте развития.
Анализ настроений — это процесс, позволяющий определить мнение пользователя о рассматриваемом продукте, и он определяет, является ли текст положительным или отрицательным. Дэйв и др. др. (2003) представили идею использования интеллектуального анализа мнений для навигации и извлечения семантической информации из обзоров продуктов в попытке отсортировать и организовать их на основе полярности. Guzman and Maleej (2014) расширяют эту тему, сосредоточив свой анализ на конкретных функциях приложения. Этот фокус может сузить рамки и дать более конкретное понимание некоторых особенностей. Это, в свою очередь, может изменить цикл разработки. Генк и Абран (2017) предлагают разработчикам использовать методы анализа мнений, чтобы лучше понять своих пользователей. Это может обеспечить более надежный набор пользовательских данных, на которые можно ссылаться в процессе разработки функций. Интеллектуальный анализ мнений, в частности анализ настроений, можно использовать для разбора и анализа больших объемов пользовательских данных. Мы хотим иметь возможность использовать анализ настроений в качестве движущего фактора для наших прогнозов и иметь возможность точно определять настроения по конкретным функциям Amazon Alexa.
Были проведены исследования по использованию моделей машинного обучения для конкретного анализа обзоров Amazon. Рейн (2013) предложил идею использования вероятностных методов машинного обучения для анализа обзоров продуктов Amazon. Это было средством последовательной сортировки данных и оптимизации процесса контент-анализа. Кроме того, как мы упоминали ранее, Эли и Ван (2016) экспериментировали с анализом настроений и анализом мнений, особенно с обзорами Amazon. Цель этого состояла в том, чтобы проверить эффективность методов анализа текста, а не анализа тенденций, однако это показало, что данные обзоров Amazon были лучшими для анализа мнений. Fang and Zhan (2016) также использовали анализ настроений для данных обзоров Amazon, причем не только на уровне предложений, но и на уровне обзоров.
Это исследование послужило основой для наших экспериментов. Мы понимали, что данные о продуктах, в частности данные обзоров Amazon, можно добывать и анализировать на наличие полярности. Не только это, но этот анализ также можно использовать для руководства практикой разработки при реализации новых функций. Имея это в виду, мы могли бы использовать данные обзоров Amazon, чтобы они служили средством для определения полярности и прогнозирования реакции настроений на недавно реализованные функции для Amazon Echo.
Методы
Сбор данных
Набор данных, используемый для обучения, состоял из набора данных (3000 отзывов), доступного на Kaggle. Набор данных Kaggle состоит из звездных рейтингов Amazon, даты обзора, вариантов, отзывов клиентов и отзывов о различных продуктах Amazon Alexa, таких как Echo dots, Alexa Echo, Alexa Firesticks и т. д. Он был извлечен с веб-сайта Amazon.
Визуализация данных
Чтобы лучше понять распространение популярных вариантов Amazon Alexa, были созданы гистограммы с различными вариантами Amazon Alexa с учетом их популярности. Кроме того, были сгенерированы наиболее часто встречающиеся слова в обзорах гистограмм, и это может дать приблизительное представление об обзорах в наборе данных и о том, что люди думают о продукте в целом.
Предварительная обработка данных
Набор данных необходимо обработать, чтобы можно было проанализировать правильный текстовый обзор с помощью анализа тональности. Первый шаг — изменить все отзывы на строчные буквы. Затем перенос предложений в разные списки. Необходимо удалить все специальные символы (такие как: «.,/?!@’#$*&-^%) и удалить служебные слова.
Извлечение признаков
Методы извлечения признаков применяются для преобразования текстовых данных в числовые данные. Для классификации используется векторизатор TF-IDF. Параметр максимальных признаков рассматривается как критерий подгонки на обучающем наборе. Это означает, что во всех отзывах обрабатывается максимальное количество уникальных слов. Преобразование текста в последовательности заключается в разделении этих слов и последующем преобразовании предложений в уникальные целые числа.
Классификаторы
Чтобы лучше понять, как машинное обучение лучше всего работает при классификации обзоров Amazon Alexa, была обучена модель случайного леса (см. рис. 1).
Процесс обучения/тестирования
Из этих 3150 обзоров 630 были использованы для обучения модели, а остальные 2520 — для проверки ее характеристик.
Оценка показателей
Чтобы решить, какой алгоритм классификации работал наиболее точно на тестовом наборе, мы использовали точность показателя производительности, и он сравнивает прогнозируемое общее настроение (положительное или отрицательное) с реальным, которое было определено на основе звезд.
Процесс оценки
Чтобы рассчитать производительность классификатора обучающего набора данных, классификатор с лучшей производительностью на тестовых данных применяется к остальным обзорам. Этот оценочный набор был
собраны путем выбора оставшихся 2520 отзывов из набора данных Kaggle.
Экспериментальные результаты
Для модели случайного леса результат точности обучающих данных составляет 99,37 %, а точность тестовых данных — 93,65 %. Затем была применена k-кратная перекрестная проверка в качестве процедуры повторной выборки для исследования соответствия модели машинного обучения ограниченной выборке данных. Точность составляет 93,93%, а стандартная дисперсия — 0,009. Чтобы лучше оценить модель машины и настроить более оптимальные параметры, мы также использовали поиск по сетке для теста 20% обучающего набора данных. Средняя точность перекрестной проверки обучающего набора составляет 96,88%, а средняя точность перекрестной проверки набора проверки составляет 92,65%.
Основные выводы
Что касается результатов, мы видим, что точность составляет 93,65%, и это отличная точность. Кроме того, как перекрестная проверка k-кратного размера, так и поиск по сетке исследуют машинную модель, и ее точность показывает, что модель случайного леса является подходящей моделью для набора данных. Это можно использовать в качестве первого шага для анализа и назначения тем тысячам детальных обзоров. Затем мы сможем предсказать конкретные реакции на новые реализованные функции с помощью данных, собранных из предыдущих обзоров аналогичных функций.
Ссылки:
Амазонское эхо 2. (2020). Получено с https://www.amazon.com/all-new-amazon-echo-speaker-with-wifi-alexa-dark-charcoal/dp/B06XCM9LJ4
Дэйв К., Лоуренс С. и Пеннок Д.М. (2003 г., май). Изучение галереи арахиса: извлечение мнений и семантическая классификация обзоров продуктов. В материалах 12-й международной конференции World Wide Web (стр. 519–528).
Элли, М.С., и Ван, Ю.Ф. (2016). Amazon Reviews, бизнес-аналитика с анализом настроений.
Э. Гусман и В. Маалей, «Как пользователям нравится эта функция? Подробный анализ мнений в обзорах приложений», 22-я международная конференция IEEE по разработке требований (RE), 2014 г., Карлскруна, 2014 г., стр. 153–162.
Фанг, X., и Чжан, Дж. (2015). Анализ настроений с использованием данных обзоров продуктов. Журнал больших данных, 2(1), 5.
Генк-Найеби, Н., и Абран, А. (2017). Систематический обзор литературы: исследования мнений по отзывам пользователей в магазинах мобильных приложений. Журнал систем и программного обеспечения, 125, 207–219.
Макилрой, С., Шанг, В., Али, Н., и Хассан, А. (2017). Обзоры пользователей лучших мобильных приложений в магазинах приложений Apple и Google. Ассоциация вычислительной техники. Коммуникации ACM, 60(11)
Норман, Д. «Когнитивная инженерия». В книге «Проектирование систем, ориентированных на пользователя: новые перспективы взаимодействия человека и компьютера», под редакцией Д. Нормана и С. Дрейпера, стр. 31–61. 1986 год.
Рейн, К. (2013). Анализ настроений в обзорах Amazon с использованием вероятностного машинного обучения. Суортмор-колледж.
Сюй, X., Датта, К., Датта, А., и Ге, К. (2018). Выявление функциональных аспектов из отзывов пользователей для рекомендации мобильного приложения на основе функциональности. Журнал Ассоциации информационных наук и технологий, 69(2), 242–255.
Ю. Гао, З. Пан, Х. Ван и Г. Чен, «Alexa, My Love: анализ отзывов об Amazon Echo», 2018 IEEE SmartWorld, Ubiquitous Intelligence & Computing, Advanced & Trusted Computing, Scalable Computing & Communications , Облачные вычисления и вычисления с большими данными, Интернет людей и инновации в умных городах (SmartWorld/SCALCOM/UIC/ATC/CBDCom/IOP/SCI), Гуанчжоу, 2018 г., стр. 372–380.
