- Дополнительное обучение для Neural Radiance Field с фильтрацией знаний по неопределенности(arXiv)
Автор:Мэнци Го, Чен Ли, Гим Хи Ли
Аннотация: Недавнее представление поля нейронного излучения (NeRF) достигло больших успехов в задачах синтеза новых видов и трехмерной реконструкции. Тем не менее, они страдают от катастрофической проблемы забывания при постоянном обучении на потоковых данных без повторного просмотра предыдущих обучающих данных. Это ограничение запрещает применение существующих моделей NeRF к сценариям, в которых изображения поступают последовательно. В связи с этим в этой работе мы исследуем задачу поэтапного обучения представлению поля нейронного излучения. Сначала мы предлагаем конвейер «ученик-учитель», чтобы смягчить катастрофическую проблему забывания. В частности, мы повторяем процесс использования ученика в качестве учителя в конце каждого дополнительного шага и позволяем учителю руководить обучением ученика на следующем шаге. Таким образом, студенческая сеть может одновременно получать новую информацию из потоковых данных и сохранять старые знания из учительской сети. Учитывая, что не вся информация из сети учителей полезна, поскольку она обучается только на старых данных, мы дополнительно вводим случайный запросчик и фильтр на основе неопределенности для фильтрации полезной информации. Мы проводим эксперименты на наборах данных NeRF-synthetic360 и NeRF-real360, где наш подход значительно превосходит базовые уровни на 7,3% и 25,2% с точки зрения PSNR. Кроме того, мы также показываем, что наш подход может быть применен к крупномасштабному набору данных ScanNet с направленной наружу камерой, где мы превзошли базовый уровень на 60,0% в PSNR.
2. KNIFE: дистилляция знаний с обоснованием свободного текста(arXiv)
Автор:арон Чан, Чжиюань Цзэн, Озеро Вятт, Брихи Джоши, Ханьцзе Чен, Сян Рен
Аннотация. Обоснования в произвольном тексте (FTR) отражают то, как люди общаются, объясняя процессы рассуждений с помощью естественного языка. В ряде недавних работ изучалось, как улучшить обобщение языковой модели (LM) с помощью FTR для обучения LM правильным процессам рассуждений, лежащим в основе правильных результатов задачи. Эти предыдущие работы направлены на изучение FTR путем добавления их к входным или целевым выходным данным LM, но это может привести к смещению распределения входных данных или конфликту с целью задачи, соответственно. Мы предлагаем KNIFE, который перерабатывает знания FTR от LM учителя, дополненного FTR (принимает как входные данные задачи, так и FTR), LM ученика (берет только входные данные задачи), который используется для вывода. Важно отметить, что прямое вычисление учителя LM имеет этап узкого места, на котором все его состояния FTR маскируются, что выталкивает знания из состояний FTR в состояния ввода/вывода задачи. Затем знания FTR передаются ученику LM путем обучения его состояний ввода/вывода задачи для согласования с учителем LM. На двух наборах данных для ответов на вопросы мы показываем, что KNIFE значительно превосходит существующие методы обучения FTR как в условиях полного контроля, так и в условиях ограниченных ресурсов.
