Аспекты, тем лучше? Применение неконтролируемого извлечения аспектов в обзорах косметики Amazon.

Любой, кто хоть немного интересуется обработкой естественного языка (NLP), слышал о скрытом семантическом анализе (LSA) или его вероятностном родственнике скрытом распределении Дирихле (LDA). Оба метода направлены на извлечение тем из текстов. Любой, кто достаточно смел, чтобы попробовать один из этих методов, скорее всего, останется в еще большем замешательстве, чем раньше. Общие мысли после такого эксперимента, как правило, были бы такими: «Это и есть удивительная сила НЛП?» или «Так я сократил эти тексты, но до чего именно?». LDA и LSA известны тем, что отображают беспорядочные темы. Термины, связанные с выявленными темами, обычно сильно различаются по смыслу, что не позволяет интерпретировать отображаемые темы.

«Являются ли аспекты лучшими темами?»

Подобно тому, как LSA и LDA являются двоюродными братьями, извлечение темы и извлечение аспекта также являются двоюродными братьями. В чем разница? Разница тонкая и лучше всего иллюстрируется примером. Возьмем, к примеру, утверждение «Мне очень понравился гумус в этом месте». В этом случае «гумус» — это аспект бара или ресторана, который вы действительно оценили. Аспекты, как в этом примере, обычно ассоциируются с положительным или отрицательным настроением. Цель извлечения аспектов часто состоит в том, чтобы определить, какой аспект релевантен для предложения и каково настроение этого предложения. Этот метод очень распространен для анализа заказов ресторанов, отелей или диванов. Цель состоит в том, чтобы лучше понять, что и почему рейтинги.

В этом посте метод извлечения аспектов без присмотра, основанный на глубоком обучении, применяется к обзорам косметики Amazon [2]. Этот метод называется извлечением аспектов на основе внимания (ABAE) и был представлен He et al. в 2017 году [1]. Назвать этот метод основанным на глубоком обучении может быть несколько натянуто. В сети всего несколько слоев; однако расчеты в сети имеют некоторую сложность.

Возникает вопрос: являются ли аспекты аспектами лучшей темы?

Код для этого поста, смесь Tensorflow и Keras, можно найти здесь.

Обзор этого поста

Этот пост построен следующим образом:

Введение в набор данных
Получение некоторой интуиции по аспектам
Теория: неконтролируемая модель нейронного внимания для извлечения аспектов
Анализ отзывов о косметических продуктах
Обсуждение
Вывод

В разделе теории будет обсуждаться работа модели. Обратите внимание, что этот раздел является сложным; или, возможно, модель сбивает с толку.

Введение в набор данных

Данные об отзывах потребителей Amazon были опубликованы Хе и Маколи в 2016 году. Пример данных представлен ниже.

Обратите внимание, что в экземпляре примера есть другая категория продуктов, кроме косметики. Набор данных содержит более 9 миллионов отзывов о косметических продуктах. В этом исследовании для извлечения аспектов будет использоваться только функция reviewText.

Получение некоторой интуиции по аспектам

Лучший способ получить некоторое представление об аспектах — это, возможно, кратко рассмотреть различные методы извлечения аспектов. Методы извлечения аспектов можно в целом разделить на следующие категории: основанные на правилах, контролируемые и неконтролируемые. Исследуемый метод неконтролируемый.

Ниже приведен пример извлечения аспектов на основе правил. Возьмите набор исходных прилагательных, чтобы открыть для себя более широкий диапазон прилагательных, в то же время обнаруживая родственные существительные. Взяв исходный набор {"отличный", "фантастический", "ужасный", "очень плохой"}, можно разрешить существительные, соседние с этими прилагательными, а затем разрешить прилагательные, соседние с этими существительными в других местах, и скоро. Таким образом, увеличивается как список прилагательных, так и список существительных. Также WordNet можно использовать для поиска антонимов прилагательных. Связанные существительные оказываются хорошими кандидатами на аспекты. Для этой работы можно использовать регулярные выражения. Следующая пара примеров, созданных с помощью spaCy, ясно показывает, что использование более формального метода NLP, такого как анализ зависимостей, может быть проще и эффективнее. Добро пожаловать в мир обработки естественного языка!

В первом примере прилагательное «фантастический» напрямую связано с существительным «гумус». Во втором примере прилагательное «фантастический» связано со словом humus вспомогательным глаголом. Это было бы трудно решить с помощью регулярных выражений. Кстати, слово «гумус» можно точнее обозначить как аспектный термин. В случае отзывов о ресторанах этот термин-аспект будет частью категории аспекта под названием еда.

Коснувшись существительных как хороших кандидатов на аспекты, Тулкенс и ван Краненбург (2020) [3] фактически обнаружили, что для наборов данных в их исследовании наиболее часто встречающиеся существительные уже были хорошими аспектами; любое дальнейшее ограничение приводило к гораздо худшим результатам на тренировочном наборе.

Контролируемые модели могут использовать, например, сочетание синтаксического анализа зависимостей и набора помеченных аспектов для извлечения аспектов, автоматически генерируя правила. Недостатком контролируемых моделей является то, что требуются помеченные данные; размеченных данных часто недостаточно. Для одного домена может быть целесообразно сгенерировать несколько меток, но есть вероятность, что некоторые типы аспектов будут упущены; тренировочный набор также может потребовать обслуживания. По этой причине введение неконтролируемых методов извлечения аспектов произвело большой фурор.

Теория: неконтролируемая модель нейронного внимания для извлечения аспектов

С ABAE He et al. (2017) представили первый метод извлечения нейронных аспектов без учителя. Графическое представление нейронной сети, взятое из оригинальной статьи, поможет разобраться в ее работе.

Давайте сначала получим некоторое представление о модели ABAE. Предположим пока, что матрица T содержит набор известных вложений категорий аспектов; эти категории аспектов встроены в то же пространство, что и слова. Модель пытается аппроксимировать сводку z предложения, используя линейную комбинацию вложений аспектов в T, используя веса аспектов в pt. С помощью механизма внимания слова, связанные с аспектными вложениями, выделяются в сводке предложения z, в то время как несвязанные слова ослабевают.

Прежде чем мы погрузимся глубже, короткая заметка. Модель ABAE невелика, но ее работа несколько сложна. Это может быть даже не прямолинейно; это на самом деле часть истории. Держитесь, следующие абзацы самые сложные в этом посте. Не стесняйтесь проверять оригинальную статью.

Модель ABAE невелика, но ее работа несколько сложна.

Начиная снизу, используя фиксированные вложения слов eпредложения и веса на основе внимания a, создается сводка z входного предложения. . Вложения слов получаются с помощью word2vec. Эта часть вместе называется кодировщиком, основанным на внимании. Уравнения, определяющие часть кодировщика на основе внимания, показаны ниже.

В приведенных выше формулах y — это среднее встраивание предложения, а M — это матрица, формирующая окончательные значения внимания a. M изучается во время обучения.

Продолжая движение к верхней части графического представления: вектор r пытается воссоздать сводкуz, используя линейную комбинацию вложений категорий аспектов в T. Веса линейной комбинации определяются p. Это модель, как эту модель можно оптимизировать?

Функция потерь, которая позволяет оптимизировать модель, не принимает меток: помните, что это неконтролируемая модель. Функция потерь состоит из тройной функции потерь. Функции тройных потерь сравнивают «правдивые» примеры с «ложными». В этом случае функция потерь заставляет реконструкцию r предложения быть ближе к сводке z этих предложений, чем к другому случайно выбранному z. , с запасом. Функция потерь в основном утверждает, что реконструкция произвольной сводки должна быть более отдаленной, чем исходная сводка, на которой была основана реконструкция. Функцию потерь можно найти ниже. Термин n — это одно из mвыбранных случайным образом «ложных» значений, аналогичных по своей природе z.

Наконец, применяется регуляризация, которая заставляет аспекты быть в некоторой степени независимыми.

Во время обучения поток информации выглядит следующим образом. Функция потерь улучшает реконструкцию z и сводку r, корректируя веса в T и W, а также вес внимания a. Веса внимания a улучшаются путем корректировки матрицы M. Обратите внимание, что веса в T не являются фиксированными, намек на это был сделан только для объяснения. Веса в T инициализируются центрами кластеров, идентифицированными на вложениях слов с помощью K-средних. В начале обучения эта матрица действительно напоминает набор известных аспектов, таких как вложения. Помните небольшую заметку несколько абзацев назад о том, что наиболее часто встречающиеся существительные являются аспектами согласно Tulkens и van Cranenburgh (2020)?

Это короткое объяснение, вероятно, вызовет много вопросов. Для получения дополнительной информации я ссылаюсь на оригинальную публикацию. Обратите внимание, что в ходе обсуждения мы еще вернемся к настройке модели.

Анализ отзывов о косметических продуктах

Для реализации модели ABAE использовалась оригинальная статья. Текст был преобразован в нижний регистр, разделен на предложения, а небуквенно-цифровые символы были удалены. Наконец, стоп-слова были удалены. На каждый положительный образец вводили двадцать отрицательных образцов. Параметр регуляризации был сохранен равным 1. Был применен оптимизатор Адама со скоростью обучения 0,001. Настройки word2vec, включая минимальное количество слов 10, остались прежними.

Количество категорий аспектов было установлено на 5, 10 и 20 соответственно. В оригинальной статье количество аспектов было установлено с использованием предварительных знаний.

В этом исследовании репликации максимальная длина предложения была установлена на 35. В модели заполнение выполнялось специальным токеном заполнения с нулевым встраиванием. Код, представляющий собой смесь Tensorflow и Keras, можно найти здесь.

Ниже представлена картина убывающей функции потерь первой эпохи модели ABAE, взятая из TensorBoard. Эпоха составляет примерно 9000 партий по 1042 предложения. Функция потерь заканчивается очень близко к нулю через 4 эпохи.

Для удобочитаемости в конце статьи представлены извлеченные категории аспектов трех прогонов с 5, 10 и 20 категориями аспектов. Глядя на результат, прогон с 20 категориями аспектов дает более точную информацию по сравнению с прогонами с 5 и 10 категориями аспектов. Сгенерированные категории аспектов содержали разные типы слов: существительные, глаголы, прилагательные и наречия.

Взяв выходные данные модели с 20 категориями аспектов, была предпринята попытка обобщить и назвать категории аспектов:

1. Сокращение времени
2. Лосьоны и добавки
3. Историческое время
4. Шлифовка и лейкопластырь
5. Закупки и экономика
6. Надежность и рекомендации
7. Социальные аспекты
8. Исключение, или что не произошло
9. Цвет лица, кожа и губы
10. Аромат
11. Отлично
12. Сухость
13. Продолжение экспериментов
14. Отсутствие побочных эффектов
15. Приобретение
16. Применение продукта
17. Косметологический прибор и детали
> 18. Работает
19. Раздражает
20. Цвет

Большой вопрос в том, насколько информативны эти категории аспектов? Действительно ли эти категории отражают наиболее популярные обсуждаемые аспекты и являются ли категории исчерпывающими? Апостериорный анализ может дать больше информации об этом.

Обратите внимание, что апостериорный анализ проводится после фактов; нет различия между данными обучения, проверки и тестирования.

Настройка апостериорного анализа

Вот несколько идей для апостериорного анализа.

Поскольку для каждого предложения создается линейная комбинация категорий аспектов, энтропия Шеннона может дать представление о том, какие предложения являются относительно плоскими по отношению к категориям аспектов (высокая энтропия, большая неожиданность), а какие предложения являются относительно остроконечными по отношению к категориям аспектов. (низкая энтропия, меньше неожиданностей). Не каждое предложение одинаково информативно в отношении обсуждаемого продукта или заданных аспектов; оценка энтропии может отразить это. Максимальная энтропия для 20 категорий равна log2(20), что равно 4,32.

Чтобы получить представление с некоторой точностью, по выборке предложений можно оценить, правильно ли отражены аспекты, содержащиеся в предложении, в категориях аспектов; возможно, принимая во внимание показатель энтропии предложения. Соотношение предложений, которые достаточно хорошо отражены в аспектах, может затем дать оценку точности. Таким же образом можно ввести понятие отзыва: отсутствуют ли некоторые категории аспектов, т. е. охватывают ли извлеченные категории аспектов полный спектр? Наконец, эти данные могут дать некоторое представление о важности извлеченных категорий аспектов.

Взяв выборку из первых 100 000 предложений, для обзора были выбраны 100 предложений с наивысшими показателями энтропии. Эти предложения относительно толстые в отношении извлеченных аспектных категорий. 10 лучших показаны ниже, показывая энтропию, 3 наиболее релевантные категории и само предложение.

Entropy score: 0.9422962069511414
Aspect categories:
0.1645447462797165 - Trustw. and recom.
0.07130391895771027 - Purchasing and economics
0.0629160925745964 - Cont. exp.
little goes long way

Entropy score: 0.9417917728424072
Aspect categories:
0.16252847015857697 - Trustw. and recom.
0.07755423337221146 - Sanding and band-aids
0.07012781500816345 - Purchasing and economics
really no fragrance though

Entropy score: 0.9401639103889465
Aspect categories:
0.1677447110414505 - Trustw. and recom.
0.07264218479394913 - Purchasing and economics
0.06493180245161057 - Lotions and supplements
oily skin powder users unite

Entropy score: 0.940011203289032
Aspect categories:
0.17124606668949127 - Trustw. and recom.
0.07094670832157135 - Purchasing and economics
0.06432071328163147 - Cont. exp.
younger looking skin already young looking man face

Entropy score: 0.940011203289032
Aspect categories:
0.17124606668949127 - Trustw. and recom.
0.07094670832157135 - Purchasing and economics
0.06432071328163147 - Cont. exp.
id rate product 4

Entropy score: 0.9396255016326904
Aspect categories:
0.16920916736125946 - Trustw. and recom.
0.07293383777141571 - Purchasing and economics
0.06363774091005325 - Cont. exp.
feel makeup misrepresented

Entropy score: 0.9394322037696838
Aspect categories:
0.15950456261634827 - Trustw. and recom.
0.09560395777225494 - Sanding and band-aids
0.06892047822475433 - Purchasing and economics
lectric shave adds little bit lubrication skin help razor glide smoothly

Entropy score: 0.9388947486877441
Aspect categories:
0.15905912220478058 - Trustw. and recom.
0.10041727870702744 - Sanding and band-aids
0.06838632375001907 - Purchasing and economics
something twinge spicier others gives clubman advantage brands not mention scent long lasting rarethis always rotation classic aftershaves daily use would highly recommend anyone likes bay rum wants something something better

Entropy score: 0.9387928247451782
Aspect categories:
0.15888644754886627 - Trustw. and recom.
0.10159197449684143 - Sanding and band-aids
0.06842176616191864 - Purchasing and economics
originally reviewed paraffin pearls 2000 bought 2003 still using 2011

Как и ожидалось, присвоенные значения категориям аспектов низкие, относительно плоские. Некоторые данные не относятся к косметическим продуктам.

Ниже показаны 5 самых низких значений энтропии.

Entropy score: 0.1903418004512787
Aspect categories:
0.8898552060127258 - Trustw. and recom.
0.03991604223847389 - Social aspects
0.020657163113355637 - Acquisition
discovered conditioners could finally grow hair long

Entropy score: 0.1903418004512787
Aspect categories:
0.8898552060127258 - Trustw. and recom.
0.03991604223847389 - Social aspects
0.020657163113355637 - Acquisition
need replace 2 bottles

Entropy score: 0.1903418004512787
Aspect categories:
0.8898552060127258 - Trustw. and recom.
0.03991604223847389 - Social aspects
0.020657163113355637 - Acquisition
obviously get blood fingers could put gloves bothers

Entropy score: 0.21359199285507202
Aspect categories:
0.8747269511222839 - Trustw. and recom.
0.04306989908218384 - Social aspects
0.02173822745680809 - Acquisition
added bonus breath stays fresher longer dont feel gross dont shower every day shirt dont anymore deodorant stains im lot less gassy ever

Entropy score: 0.24772478640079498
Aspect categories:
0.8509187698364258 - Trustw. and recom.
0.03546708822250366 - Acquisition
0.03343984857201576 - Lotions and supplements
purchased cute conair name

Entropy score: 0.27374812960624695
Aspect categories:
0.8198038339614868 - Trustw. and recom.
0.04119117930531502 - Lotions and supplements
0.04065270721912384 - Beauty appliance and parts
retractable cord nice feature

В примерах как с низкой, так и с высокой энтропией в выборе доминирует одна категория.

Ниже образец некоторых случайно выбранных предложений. Просмотрев 30 предложений, около половины категорий аспектов оказались информативными; иногда отсутствует очевидная категория. Возможно, энтропии в этой случайной выборке слишком высоки?

Entropy score: 0.6920719146728516
Aspect categories:
0.26366573572158813 - Application of the product
0.2539910674095154 - Trustw. and recom.
0.18494568765163422 - Color
rather stay way old wrinkeledand looking gooood

Entropy score: 0.6996863484382629
Aspect categories:
0.3106836974620819 - Application of the product
0.15334966778755188 - Color
0.13878107070922852 - Social aspects
redness forehead get little better next day

Entropy score: 0.781614363193512
Aspect categories:
0.19744877517223358 - Lotions and supplements
0.14799079298973083 - Application of the product
0.147004172205925 - Purchasing and economics
used 9 appears discontinued

Entropy score: 0.7271698713302612
Aspect categories:
0.24797487258911133 - Lotions and supplements
0.1878710389137268 - Application of the product
0.14395123720169067 - Social aspects
theres still flashes old plasmatics quotpig pigquot quotfast food servicequot even lyricless quotplasma jamquot certain ramoneslikability quotsummernitequot quotmasterplanquot less bsides redundant quotliving deadquot sounds like discarded outtake original version

Entropy score: 0.6703991293907166
Aspect categories:
0.4293365776538849 - Trustw. and recom.
0.1401335746049881 - Application of the product
0.09364698827266693 - Lotions and supplements
failoni chamber orchestra charming joyfulservile romero degrandis good roles

Entropy score: 0.6442851424217224
Aspect categories:
0.3380078971385956 - Cont. exp.
0.17049644887447357 - Purchasing and economics
0.16352525353431702 - Acquisition
meant disposable bics

Entropy score: 0.5233464241027832
Aspect categories:
0.4165324866771698 - Trustw. and recom.
0.2911195158958435 - Beauty appliance and parts
0.13291838765144348 - Acquisition
fun read etchings vinyl dont remember done beforeshe wasnt americas little sweetheart

Entropy score: 0.7314188480377197
Aspect categories:
0.25480103492736816 - Trustw. and recom.
0.2042699158191681 - Social aspects
0.11465466767549515 - Acquisition
bottle sells approximately 50

Entropy score: 0.7414893507957458
Aspect categories:
0.24682772159576416 - Great
0.18355034291744232 - No side effects
0.15264792740345 - Cont. exp.
usually get fairly cheap dollar tree nice 100 pack quality nice

Entropy score: 0.7384803295135498
Aspect categories:
0.22678133845329285 - Social aspects
0.1833328753709793 - Purchasing and economics
0.17800934612751007 - Color
apply go without shiny look

Обсуждение

Неудивительно, что согласованность категорий аспектов довольно хорошая. Но эту согласованность следует отнести к word2vec, а не к ABAE. Тем не менее, читая категории аспектов, быстро возникает повествование об аспектах или темах обзоров косметики. Но верны ли эти первоначальные наблюдения?

Что беспокоит, так это то, что найденные окончательные категории аспектов в значительной степени перекрываются с начальными центрами кластеров, представленными в качестве отправной точки. Кластеры были сгенерированы путем взятия всех слов из первоначальных 250 000 предложений. Это подчеркивает интуицию модели, а также подрывает ее достоверность. Зачем запускать модель и почему центры должны быть аспектами?

Частично огромное снижение потерь можно объяснить тем фактом, что функция потерь определяется как сумма отдельных потерь, а не среднее значение этих потерь по всем образцам. Хотя снижение потерь большое. Поскольку кластеры, кажется, не так сильно двигаются, большая часть снижения потерь может быть вызвана механизмом внимания, отфильтровывающим слова.

Вопреки наблюдениям Tulkens и van Cranenburgh (2020), термины аспекта состоят не только из существительных, хотя существительные составляют большинство слов. Фильтрация слов, не являющихся существительными, может не иметь решающего эффекта. Тулкенс и ван Краненбург (2020) в основном привязывают аспекты к репрезентативным аспектным существительным, а затем фильтруют соседние существительные, используя функции ядра, которые отображают стандартизированное расстояние.

Ручной обзор достоверности аспектов в постфактум анализе результатов показывает смешанную картину. Грань между тем, что является аспектом, а что нет, иногда трудно провести, что поощряет субъективную интерпретацию. Кажется, что ABAE охватывает самые важные темы. Тем не менее, назначение тем предложениям трудно понять, и некоторые определенные назначения были пропущены. Если LDA и LSA отображают смешанный пакет на уровне темы, ABAE, похоже, отображает смешанный пакет на уровне назначения.

Вывод

Результаты неконтролируемого извлечения аспектов с помощью нейронных сетей поначалу выглядели очень многообещающе. Это можно объяснить сплоченностью аспектных терминов в аспектных категориях. По сравнению с LDA и LSA это обнадеживает.

Однако если копнуть глубже, результаты выглядели менее заслуживающими доверия. Хотя категории аспектов непротиворечивы, присвоение предложениям оказалось менее достоверным. Небольшая случайная выборка предложений показала очень среднюю точность в отношении присвоенных аспектных категорий в апостериорном анализе. Вот где первоначальный выигрыш когерентности начинает разваливаться.

Перспектива модели ABAE заключается в том, что она может извлекать аспекты без меток; неконтролируемым и поисковым путем. В этом случае результаты недостаточно сильны, чтобы претендовать на успех. Лучшим методом изучения аспектов предложений, возможно, было бы вызвать в воображении некоторые категории аспектов, основанные на знании предметной области, а затем, увы, пометить некоторые данные.

Как бы мне ни хотелось, чтобы ABAE превзошел LDA и LSA, в данном случае неконтролируемое извлечение темы оказывается темным искусством.

использованная литература

[1] Модель неконтролируемого нейронного внимания для извлечения аспектов. Руидан Хе, Ви Сун Ли, Хви Тоу Нг и Даниэль Дальмайер. 2017. Протоколы ACL, страницы 388–397.

[2] Взлеты и падения: моделирование визуальной эволюции модных тенденций с помощью совместной фильтрации одного класса. Р. Хе, Дж. Маколи. Всемирная сеть, 2016 г.

[3]Смущающе простое извлечение аспектов без присмотра
Тулкенс, С. и ван Краненбург, А. 2020. Материалы 58-го ежегодного собрания Ассоциации для компьютерной лингвистики. Джурафски Д., Чай Дж., Шлютер Н. и Тетро Дж. (ред.). АКЛ, с. 3182–3187 6 стр.

Извлеченные категории аспектов

Обратите внимание, что каждый термин аспекта имеет сходство с соответствующей категорией аспекта в диапазоне от 0,95 до примерно 0,45. Эти сходства опущены, но их можно найти в репозитории GitHub. Выбор перечисления 10 аспектов в каждой категории является произвольным; во всех случаях меньшее сходство перечисленных аспектов не влияло на связность категории аспектов.

Обратите внимание, что написание представлено как есть.

Результаты модели с 5 аспектами:

отличный, хороший, фантастический, удивительный, удивительный, замечательный, хороший, сказочный, потрясающий, как
куплено, выброшено, куплено, заклеймено, переключено, продано, опробовано, заказано, использовано, otc
кожа, лицо, жирная, увлажняющий крем, успокаивающий, жирный, увлажнять, увлажняющий, покраснение, увлажненный
дни, недели, месяцы, месяц, неделя, часы, день, год, недели, годы
изнанка, иногда, пальцы, бока, немного, струны, сбоку, скручивание, ослабление, влажный

Результаты модели с 10 аспектами:

как, странный, смешной, странный, неприглядный, странный, странный, пластичный, пластичный, грубый
дни, недели, месяцы, месяц, неделя, часы, день, год, недели, годы
кожа, лицо, шкуры, цвет лица, пятна, шелушение, поры, покраснение, прыщи, щеки
назад, прошлое, продвинулось, сначала, позже, ive, hadnt, пропущено, началось
иногда, пальцы, изнанка, изнанка, бока, мокрый, кончики пальцев, немного, немного, избыток
использовал, попробовал, использовал, купил, переключил, купил, владел, обнаружил, экспериментировал, заказал
работает, работал, работает, выполняет, работает, работает, работа, выполняется, отвечает
отличный, фантастический, потрясающий, хороший, чудесный, удивительный, славный, невероятный, потрясающий, превосходный
лосьон, увлажняющий крем, увлажняющее, вяжущее, увлажняющее средство, очищающее средство, успокаивающее, смягчающее средство, антисептик, эксфолиант
amazon, онлайн, товар, перепродать, модель, акции, купить, ebay, производитель

Результаты модели с 20 аспектами:

день, дни, время, неделя, недели, часы, час, часы, месяц, нед
лосьон, увлажняющий крем, растительные компоненты, антиоксиданты, витамин, сыворотка, крем, моющее средство, кокос, антиоксиданты
годы, годы, месяцы, десятилетия, год, десятилетие, да, месяц, недели, рождество
шлифовка, пряжа, подшипник, трение, ленты, срезы, внутренности, пластыри, нудные, мозоли
jcp, распродажа, ebay, платный, instore, мультипак, amazon, amazom, threepack, kohls
обвиняющий, необразованный, деннен, медвежья услуга, рекомендательный, лояльный, новичок, рекомендуемый, нерешительный, рецензирующий
кто-то, подруга, все, коллега, двоюродный брат, кто-то, подруги, мама, друг, сестра
не стал бы, не стал бы, не стал бы, не мог бы, не стал бы, не мог бы, не мог бы, может
кожа, лицо, скины, sking, цвет лица, skinit, щеки, поры, skinand, губы
запах, аромат, аромат, аромат, запахи, обоняние, цветочный, аромат, аромат, ароматы
отличный, потрясающий, фантастический, чудесный, хороший, хороший, удивительный, потрясающий, сказочный, превосходный
сухой, подсушенный, подсушивающий, подсушивающий, подсушивающий, подсушенный, более сухой, жирный, подсушивающий, пересохший
третий, назад, р-д, ранее, каждый, последовательно, три, нд, обновление после, четвертый
нет, ноль, какой бы то ни было, минимальный, это нет, избегает, это нет, устраняет, горе, сопротивляется
получить, найти, получить, получить, получить, дать, принести, получить, достичь, найти
наносить, поглаживать, класть, вытирать, держит, полотенце, позволяет, тереть, хранить, использовать
бочка, зажимы, щипцы, утюг, выпрямитель, вертлюг, зубцы, захват, насадка, стержень
работает, работал, работал, выполняет, работает, выполняет, выполнял, работал, работа, функционировал
раздражение, раздражение, раздражение, зуд, покраснение, сыпь, воспаление, шелушение, зуд, раздражительность
цвет, оттенок, Бургундия, цвет, оттенок, Красно-коричневый, Фиолетовый, Коричневатый, Оттенки, Пурпурный