- RPLKG: надежное оперативное обучение с помощью графика знаний (arXiv)
Автор: Ювон Ким, Ёнтэк Лим, Докён Юн, Кёнву Сон.
Аннотация: Известно, что крупномасштабные предварительно обученные модели можно передавать и они хорошо обобщают невидимый набор данных. В последнее время мультимодальные предварительно обученные модели, такие как CLIP, демонстрируют значительное улучшение производительности в различных экспериментах. Однако, когда помеченный набор данных ограничен, обобщение нового набора данных или домена все еще является сложной задачей. Чтобы улучшить производительность обобщения при обучении с несколькими выстрелами, были предприняты различные усилия, такие как быстрое обучение и адаптер. Однако современные методы адаптации с несколькими выстрелами не поддаются интерпретации и требуют больших вычислительных затрат для адаптации. В этом исследовании мы предлагаем новый метод, надежное быстрое обучение с графом знаний (RPLKG). На основе графа знаний мы автоматически разрабатываем разнообразные интерпретируемые и значимые наборы подсказок. Наша модель получает кэшированные вложения наборов подсказок после одной пересылки из большой предварительно обученной модели. После этого модель оптимизирует процессы выбора подсказок с помощью GumbelSoftmax. Таким образом, наша модель обучается с использованием относительно небольшого объема памяти и времени обучения. Кроме того, RPLKG автоматически выбирает оптимальную интерпретируемую подсказку в зависимости от набора данных. Таким образом, RPLKG i) интерпретируем, ii) требует небольших вычислительных ресурсов и iii) легко включает в себя предшествующие человеческие знания. Чтобы проверить RPLKG, мы предоставляем исчерпывающие экспериментальные результаты по обучению за несколько шагов, обобщению предметной области и новой настройке обобщения класса. RPLKG показывает значительное улучшение производительности по сравнению с обучением с нулевым выстрелом и конкурентной производительностью по сравнению с несколькими методами быстрого обучения с использованием гораздо меньших ресурсов.
2. Распознавание линейных моделей зданий с помощью графа пространственных знаний (arXiv)
Автор: Вэй Чживэй, Сяо И, Тун Ин, Сюй Вэньцзя, Ван Ян.
Абстрактный :
