- Нейронно-алгоритмическое мышление с причинно-следственной регуляризацией (arXiv)
Автор: Беатрис Бевилакуа, Кириакос Никифору, Борха Ибарз, Иоана Бика, Микела Паганини, Чарльз Бланделл, Джована Митрович, Петар Величкович.
Аннотация: Недавняя работа по нейронным алгоритмическим рассуждениям исследовала способности нейронных сетей к рассуждениям, эффективно демонстрируя, что они могут научиться выполнять классические алгоритмы на невидимых данных, поступающих из распределения поездов. Однако производительность существующих нейронных рассуждений значительно ухудшается на тестовых данных вне распределения (OOD), где входные данные имеют больший размер. В этой работе мы делаем важное наблюдение: существует много \emph{разных} входных данных, для которых алгоритм будет выполнять определенные промежуточные вычисления \emph{идентично}. Это понимание позволяет нам разрабатывать процедуры дополнения данных, которые, учитывая промежуточную траекторию алгоритма, производят входные данные, для которых целевой алгоритм будет иметь \emph{точно} такой же следующий шаг траектории. Затем мы используем причинно-следственную структуру для разработки соответствующей самоконтролируемой цели и доказываем, что она улучшает возможности обобщения OOD для логического аналитика. Мы оцениваем наш метод на тесте алгоритмического мышления CLRS, где мы показываем до 3-кратного улучшения данных теста OOD.
2. Двойное алгоритмическое мышление (arXiv)
Автор: Данило Нумерозо, Давиде Баччиу, Петар Величкович.
Аннотация: Нейронно-алгоритмическое мышление — это новая область машинного обучения, которая стремится внедрить алгоритмические вычисления в нейронные сети, как правило, путем обучения нейронных моделей аппроксимации шагов классических алгоритмов. В этом контексте большая часть текущей работы была сосредоточена на алгоритмах обучения достижимости и графа кратчайших путей, показывая, что совместное обучение на похожих алгоритмах полезно для обобщения. Однако при решении более сложных задач такие похожие алгоритмы найти становится труднее. Здесь мы предлагаем изучать алгоритмы, используя двойственность основной алгоритмической проблемы. Многие алгоритмы решают задачи оптимизации. Мы демонстрируем, что одновременное изучение двойного определения этих задач оптимизации в алгоритмическом обучении позволяет лучше учиться и получать качественно лучшие решения. В частности, мы используем теорему о максимальном потоке и минимальном разрезе для одновременного изучения этих двух алгоритмов на синтетически сгенерированных графах, демонстрируя эффективность предложенного подхода. Затем мы проверяем реальную полезность нашего двойного алгоритмического рассуждения, применяя его к сложной задаче классификации сосудов головного мозга, которая, вероятно, зависит от свойств кровотока в сосудах. Мы демонстрируем явный прирост производительности при использовании нашей модели в таком контексте и эмпирически показываем, что совместное изучение алгоритмов максимального потока и минимального сокращения имеет решающее значение для достижения такого результата.
