Мы обсудим простой прием, позволяющий значительно ускорить сходимость алгоритма, когда погрешность уменьшается по абсолютной величине на последовательных итерациях, при этом погрешность колеблется (не обязательно периодически) между положительными и отрицательными значениями.

Сначала мы проиллюстрируем технику на хорошо известном и простом случае: вычисление log 2 с использованием хорошо известного медленно сходящегося ряда. Затем мы обсудим очень интересный и более сложный случай, прежде чем, наконец, сосредоточимся на более сложном примере в контексте вероятностной теории чисел и экспериментальной математики.

Методика должна быть протестирована для каждого конкретного случая, чтобы оценить улучшение скорости сходимости. Не существует общего теоретического правила для измерения усиления, и если член ошибки не колеблется сбалансированным образом между положительными и отрицательными значениями, этот метод не дает никакого усиления. Однако в приведенных ниже примерах выигрыш был значительным.

Допустим, вы запускаете алгоритм, например градиентный спуск. Входные данные (параметры модели) — x, выходные данные — f(x), например, локальный оптимум. Мы считаем, что f(x) является одномерным, но его легко обобщить на многомерный случай, применяя метод отдельно для каждого компонента. На итерации k вы получаете аппроксимацию f(k, x) f >(x), а ошибка: E(k, x) = f(x) — f(k, x). Общее количество итераций равно N. начиная с первой итерации k = 1.

Идея состоит в том, чтобы сначала запустить алгоритм как есть, а затем вычислить «сглаженные» приближения, используя следующие m шагов.

"Читай полную статью здесь".

Контент

  • Общая структура и простая иллюстрация
  • Странная функция
  • Еще более странные функции