- Методы стохастических координат нулевого порядка для децентрализованной невыпуклой оптимизации(arXiv)
Автор:Шэнцзюнь Чжан, Тан Шэнь, Хунвэй Сунь, Юньлун Дун, Дун Се, Хэн Чжан
Аннотация: В этом письме мы сначала предлагаем метод \underline{Z}eroth-\underline{O}rder c\underline{O}ordinate \underline{M}~(ZOOM) для решения задачи задача стохастической оптимизации в децентрализованной сети с доступной обратной связью оракула только нулевого порядка~(ZO). Более того, мы оснащаем простой механизм «powerball» для ZOOM и предлагаем ZOOM-PB для ускорения схождения ZOOM. По сравнению с существующими методами мы проверяем предложенные алгоритмы с помощью двух эталонных примеров в литературе, а именно бинарной классификации черного ящика и генерации состязательных примеров из DNN черного ящика, чтобы сравнить с существующим современным состоянием. централизованные и распределенные алгоритмы ZO. Численные результаты демонстрируют более высокую скорость сходимости предложенных алгоритмов.
2.Метод гомотопии Гаусса с одной петлей для невыпуклой оптимизации(arXiv)
Автор: Хиденори Ивакири, Юхан Ван, Синдзи Ито, Акико Такеда.
Аннотация. Метод гомотопии Гаусса (GH) — это популярный подход к поиску лучших стационарных точек для невыпуклых задач оптимизации путем постепенного уменьшения значения параметра t, что изменяет решаемую задачу с почти выпуклой один к исходному целевому. Существующие методы на основе GH повторно вызывают итеративный решатель оптимизации, чтобы найти стационарную точку каждый раз, когда t обновляется, что влечет за собой высокие вычислительные затраты. Мы предлагаем новую структуру с одним циклом для методов GH (SLGH), которая одновременно обновляет параметр t и переменные решения по оптимизации. Анализ вычислительной сложности выполняется на алгоритме SLGH в различных ситуациях: либо градиентный, либо безградиентный оракул функции GH может быть получен как для детерминированных, так и для стохастических настроек. Скорость сходимости SLGH с настроенным гиперпараметром становится совместимой со скоростью сходимости градиентного спуска, даже если решаемая задача постепенно меняется из-за t. В численных экспериментах наши алгоритмы SLGH демонстрируют более быструю сходимость, чем существующий метод GH с двойной петлей, при этом превосходя методы, основанные на градиентном спуске, с точки зрения поиска лучшего решения.
