- Разложение LU и разложение Теплица нейронной сети (arXiv)
Автор: Юконг Лю, Симиао Цзяо, Лек-Хэн Лим.
Аннотация: Хорошо известно, что любая матрица A имеет LU-разложение. Менее известен тот факт, что он имеет «теплицевое разложение» A=T1T2⋯Tr, где Ti — тёплицевые матрицы. Мы докажем, что любая непрерывная функция f:Rn→Rm имеет аппроксимацию с произвольной точностью нейронной сетью, которая принимает вид L1σ1U1σ2L2σ3U2⋯Lrσ2r−1Ur, т. е. где весовые матрицы чередуются между нижней и верхней треугольными матрицами, σi(x) :=σ(x−bi) для некоторого вектора смещения bi, а активация σ может быть выбрана по существу любой равномерно непрерывной неполиномиальной функцией. Тот же результат верен и для теплицевых матриц, т. е. f≈T1σ1T2σ2⋯σr−1Tr с произвольной точностью, и аналогично для ганкелевых матриц. Следствием нашего результата Теплица является универсальная аппроксимационная теорема фиксированной ширины для сверточных нейронных сетей, которые до сих пор имели только версии произвольной ширины. Поскольку наши результаты относятся, в частности, к случаю, когда f является общей нейронной сетью, мы можем рассматривать их как LU- и Теплицевые разложения нейронной сети. Практическое значение наших результатов заключается в том, что можно значительно уменьшить количество весовых параметров в нейронной сети, не жертвуя ее способностью универсальной аппроксимации. Мы представим несколько экспериментов на реальных наборах данных, чтобы показать, что наложение таких структур на весовые матрицы резко снижает количество обучающих параметров практически без заметного влияния на точность теста.
2. Разложение LU двойной прокрутки для американских опционов при отрицательных ставках (arXiv)
Автор : Фабьен Ле Флок
Аннотация: Классический алгоритм Бреннана-Шварца для решения линейной дополнительной задачи, которая возникает из конечной разности дискретизации уравнения в частных производных, связанного с ценообразованием американских опционов, не приводит к точному решению при отрицательных процентных ставках. Это связано с двумя границами исполнения, которые могут появиться при отрицательной процентной ставке, в то время как было доказано, что алгоритм приводит к точному решению только в случае одной границы исполнения. В этой статье объясняется, что для восстановления точного решения достаточно двух проходов алгоритма Бреннана-Шварца в двух направлениях.
