- Улучшение ковариационной обусловленности метаслоя SVD с помощью ортогональности(arXiv)
Автор:: Юэ Сун, Нику Себе, Вэй Ван
Аннотация: вставка метаслоя SVD в нейронные сети может сделать ковариацию плохо обусловленной, что может повредить модели в плане стабильности обучения и способности к обобщению. В этой статье мы систематически изучаем, как улучшить условие ковариации, обеспечив ортогональность слою Pre-SVD. Сначала исследуются существующие ортогональные трактовки весов. Тем не менее, эти методы могут улучшить кондицию, но повредят производительности. Чтобы избежать такого побочного эффекта, мы предлагаем ближайший ортогональный градиент (NOG) и оптимальную скорость обучения (OLR). Эффективность наших методов подтверждена в двух приложениях: декоррелированная пакетная нормализация (BN) и глобальное ковариационное объединение (GCP). Обширные эксперименты по визуальному распознаванию демонстрируют, что наши методы могут одновременно улучшать ковариационное обусловливание и обобщение. Более того, комбинации с ортогональным весом могут еще больше повысить производительность.
2.Водяной знак видео на основе DTCWT-SVD, устойчивый к преобразованию частоты кадров(arXiv)
Автор:Ифэй Ван, Цичао Ин, Чжэньсин Цянь, Шэн Ли, Синьпэн Чжан
Вывод: видео могут быть легко подделаны, скопированы и распространены злоумышленниками для незаконного и денежного использования. Такое поведение серьезно угрожает интересам владельцев контента. Несмотря на огромные усилия, предпринятые в области нанесения водяных знаков на цифровое видео для защиты авторских прав, типичные искажения при передаче видео, включая атаки по сигналу, геометрические атаки и атаки по временной синхронизации, все еще могут легко стереть встроенный сигнал. Среди них атаки временной синхронизации, которые включают в себя отбрасывание кадров, вставку кадров и преобразование частоты кадров, являются одними из наиболее распространенных атак. Чтобы решить эту проблему, мы представляем новый водяной знак для видео, основанный на совместном косинусном вейвлет-преобразовании двойного дерева (DTCWT) и разложении по сингулярным значениям (SVD), который устойчив к преобразованию частоты кадров. Сначала мы извлекаем набор коэффициентов-кандидатов, применяя разложение SVD после преобразования DTCWT. Затем мы моделируем внедрение водяного знака, регулируя форму коэффициента-кандидата. Наконец, мы выполняем водяные знаки на уровне группы, которые включают умеренную временную избыточность, чтобы противостоять атакам временной десинхронизации. Обширные экспериментальные результаты показывают, что предложенная схема более устойчива к атакам временной десинхронизации и работает лучше, чем существующие схемы слепого водяного знака на видео.
3. Перспективы SVD для повышения гибкости и интерпретируемости DeepONet(arXiv)
Автор:Симона Вентури, Тирнан Кейси
Аннотация:Глубинные операторские сети (DeepONets) — это мощная архитектура для быстрой и точной эмуляции сложной динамики. Поскольку их замечательные возможности обобщения в первую очередь обеспечиваются их атрибутом, основанным на проекциях, мы исследуем связи с методами низкого ранга, полученными из разложения по сингулярным значениям (SVD). Мы демонстрируем, что некоторые из концепций, лежащих в основе правильной ортогональной декомпозиции (POD)-нейронных сетей, могут улучшить этапы проектирования и обучения DeepONet. Эти идеи привели нас к расширению методологии, которое мы назвали SVD-DeepONet. Более того, с помощью нескольких анализов SVD мы обнаружили, что DeepONet наследует от своего атрибута, основанного на проекциях, сильную неэффективность в представлении динамики, характеризуемой симметриями. Вдохновленные работой над shifted-POD, мы разрабатываем flexDeepONet, усовершенствование архитектуры, основанное на сети предварительного преобразования для создания движущейся системы отсчета и изоляции жестких компонентов динамики. Таким образом, физика может быть представлена в скрытом пространстве, свободном от вращений, перемещений и растяжений, и может быть выполнена точная проекция на низкоразмерный базис. В дополнение к гибкости и интерпретируемости предлагаемые перспективы увеличивают возможности обобщения и вычислительную эффективность DeepONet. Например, мы показываем, что flexDeepONet может точно заменить динамику 19 переменных в приложении для химии горения, полагаясь на 95% менее поддающихся обучению параметров, чем те, которые используются в классической архитектуре. Мы утверждаем, что методы, основанные на DeepONet и SVD, могут взаимно выигрывать друг от друга. В частности, гибкость первого в использовании нескольких источников данных и разносторонних знаний в форме как неструктурированных данных, так и ограничений, основанных на физике, может значительно расширить применимость таких методологий, как POD и PCA.
