- Кластеризация с несколькими представлениями с помощью полунеотрицательной тензорной факторизации (arXiv)
Автор: Цзин Ли, Цюаньсюэ Гао, Цяньцянь Ван, Вэй Ся, Синьбо Гао.
Аннотация :: Многоракурсная кластеризация (MVC), основанная на неотрицательной матричной факторизации (NMF) и ее вариантах, привлекла огромное внимание в последние годы из-за их преимуществ в интерпретируемости кластеризации. Однако существующие методы кластеризации с несколькими представлениями на основе NMF выполняют NMF для каждого представления данных соответственно и игнорируют влияние между представлениями. Таким образом, они не могут хорошо использовать пространственную структуру внутри представления и дополнительную информацию между представлениями. Чтобы решить эту проблему, мы представляем полунеотрицательную тензорную факторизацию (Semi-NTF) и разрабатываем новую кластеризацию с несколькими представлениями на основе Semi-NTF с односторонним ортогональным ограничением. Наша модель напрямую выполняет Semi-NTF на тензоре 3-го порядка, который состоит из графов привязок представлений. Таким образом, наша модель напрямую учитывает отношения между представлениями. Кроме того, мы используем тензорную регуляризацию p-нормы Шаттена в качестве ранговой аппроксимации тензора 3-го порядка, который характеризует кластерную структуру данных с несколькими представлениями и использует дополнительную информацию между представлениями. Кроме того, мы приводим алгоритм оптимизации предлагаемого метода и математически доказываем, что алгоритм всегда сходится к стационарной точке ККТ. Обширные эксперименты с различными эталонными наборами данных показывают, что предложенный нами метод способен обеспечить удовлетворительную производительность кластеризации.
2. Байесовская ядерная тензорная факторизация как заменитель байесовской оптимизации (arXiv)
Автор: Mengying Lei, Lijun Sun.
Аннотация: байесовская оптимизация (BO) в основном использует гауссовские процессы (GP) в качестве ключевой суррогатной модели, в основном с простой стационарной и отделимой функцией ядра, такой как широко используемое квадратично-экспоненциальное ядро с автоматическим определением релевантности (SE-ARD). Однако такие простые спецификации ядра недостаточны для функций обучения со сложными свойствами, такими как нестационарность, неразделимость и мультимодальность. Аппроксимация таких функций с помощью локальной ГП даже в низкоразмерном пространстве потребует большого количества выборок, не говоря уже о многомерном пространстве. В этой статье мы предлагаем использовать байесовскую ядерную тензорную факторизацию (BKTF) — в качестве новой суррогатной модели — для BO в D-мерном декартовом пространстве произведения. Наша ключевая идея состоит в том, чтобы аппроксимировать лежащее в основе D-мерное тело с помощью полностью байесовской тензорной CP-декомпозиции низкого ранга, в которой мы размещаем априорные значения GP на скрытых базисных функциях для каждого измерения, чтобы закодировать локальную согласованность и гладкость. При такой формулировке информацией из каждой выборки можно делиться не только с соседями, но и между измерениями. Хотя BKTF больше не имеет аналитического апостериорного распределения, мы все еще можем эффективно аппроксимировать апостериорное распределение с помощью цепи Маркова Монте-Карло (MCMC) и получить прогноз и количественную оценку полной неопределенности (UQ). Мы проводим численные эксперименты как на стандартных задачах тестирования БО, так и на задачах настройки гиперпараметров машинного обучения, и наши результаты подтверждают превосходство BKTF с точки зрения эффективности выборки.
