- Реконструкция потока с помощью многоразовой оптимизации дискретных потерь с автоматическим дифференцированием (arXiv)
Автор : Петр Карнаков, Сергей Литвинов, Петрос Кумуцакос.
Аннотация: Мы представляем мощный вычислительный метод для решения обратных задач в механике жидкости. Мы рассматриваем обратные задачи, сформулированные в терминах детерминированной функции потерь, которая может учитывать данные и условия регуляризации. Мы вводим метод многосеточной декомпозиции, который ускоряет сходимость градиентных методов для задач оптимизации с параметрами на сетке. Мы включаем эту многосеточную технику в структуру ODIL (оптимизация дискретных потерь). ODIL с несколькими разрешениями (mODIL) на порядок ускоряет исходный формализм и улучшает предотвращение локальных минимумов. Кроме того, mODIL допускает использование автоматического дифференцирования для расчета градиентов функции потерь, что облегчает реализацию структуры. Мы демонстрируем возможности mODIL в различных обратных задачах и задачах реконструкции потока: реконструкция решения уравнения Бюргерса, определение проводимости на основе измерений температуры и определение формы тела на основе измерений скорости следа в трех измерениях. Мы также проводим сравнительное исследование с родственным, популярным методом физико-информированных нейронных сетей (PINN). Мы демонстрируем, что mODIL обеспечивает 200-кратное ускорение с точки зрения числа итераций в задаче о полости, управляемой крышкой, и имеет на порядки более низкую вычислительную стоимость. Наши результаты показывают, что mODIL является самым быстрым и точным методом решения 2D и 3D обратных задач в гидромеханике.
2. Автоматическое дифференцирование фаззинга в библиотеках глубокого обучения (arXiv)
Автор: Чэньюань Ян, Иньлинь Дэн, Цзяи Яо, Юсин Ту, Ханьчи Ли, Линмин Чжан.
Аннотация: Глубокое обучение (ГО) привлекло широкое внимание и получило широкое распространение в последние годы. В результате все больше и больше исследовательских усилий было направлено на тестирование библиотек и сред DL. Однако существующая работа в значительной степени упускала из виду один важный компонент любой системы DL, автоматическую дифференциацию (AD), которая является основой для недавней разработки DL. С этой целью мы предлагаем ∇Fuzz, первый общий и практический подход, специально нацеленный на критический компонент AD в библиотеках DL. Наше ключевое понимание заключается в том, что каждый API библиотеки DL может быть абстрагирован в функцию, обрабатывающую тензоры/векторы, которые можно по-разному тестировать в различных сценариях выполнения (для вычисления выходных данных/градиентов с различными реализациями). Мы внедрили ∇Fuzz как полностью автоматизированный фаззер на уровне API, нацеленный на AD в библиотеках DL, который использует дифференциальное тестирование в различных сценариях выполнения для проверки градиентов как первого, так и высокого порядка, а также включает автоматизированные стратегии фильтрации для устранения вызванных ложных срабатываний. по численной нестабильности. Мы провели обширное исследование четырех самых популярных и активно поддерживаемых библиотек DL: PyTorch, TensorFlow, JAX и OneFlow. Результат показывает, что ∇Fuzz значительно превосходит современные фаззеры как с точки зрения покрытия кода, так и с точки зрения обнаружения ошибок. На сегодняшний день ∇Fuzz обнаружил 173 ошибки в исследованных библиотеках DL, из них 144 уже подтверждены разработчиками (117 из них ранее неизвестные, а 107 связаны с AD). Примечательно, что ∇Fuzz внес 58,3% (7/12) всех высокоприоритетных ошибок AD для PyTorch и JAX за двухмесячный период. Ни одна из подтвержденных ошибок AD не была обнаружена существующим фаззером.
