- Сравнение рекуррентных нейронных сетей и классических подходов к машинному обучению в спектроскопии лазерного пробоя (arXiv)
Автор: Фатемех Резаи, Пурия Халилиян, Мохсен Резаи, Парвин Карими, Бехнам Ашрафхани.
Аннотация: рекуррентные нейронные сети — это классы искусственных нейронных сетей, которые устанавливают связи между различными узлами, формируя ориентированный или неориентированный граф для временного динамического анализа. В этом исследовании метод спектроскопии лазерного пробоя (LIBS) используется для количественного анализа алюминиевых сплавов с помощью различной архитектуры рекуррентной нейронной сети (RNN). Основная гармоника (1064 нм) наносекундного лазерного импульса Nd:YAG используется для генерации плазмы LIBS для прогнозирования концентраций составляющих стандартных образцов алюминия. Здесь рекуррентные нейронные сети, основанные на различных сетях, таких как долговременная кратковременная память (LSTM), Gated Recurrent Unit (GRU), простая рекуррентная нейронная сеть (Simple RNN), а также рекуррентные сверточные сети, состоящие из Conv-SimpleRNN, Conv -LSTM и Conv-GRU используются для прогнозирования концентрации. Затем выполняется сравнение прогнозирования с помощью классических методов машинного обучения регрессора опорных векторов (SVR), многослойного персептрона (MLP), алгоритма дерева решений, регрессии с повышением градиента (GBR), регрессии случайного леса (RFR), линейной регрессии и Алгоритм k-ближайшего соседа (KNN). Результаты показали, что инструменты машинного обучения, основанные на сверточных рекуррентных сетях, обладают наибольшей эффективностью в прогнозировании большинства элементов среди других многомерных методов.
2. Рекуррентные нейронные сети с непрерывным временем: обзор и применение для прогнозирования уровня глюкозы в крови в отделении интенсивной терапии (arXiv)
Автор: Ойсин Фицджеральд, Оскар Перес-Конча, Бланка Гальего-Люксан, Алехандро Метке-Хименес, Лахлан Радд, Луиза Йорм.
Аннотация: Нерегулярно измеряемые временные ряды распространены во многих прикладных условиях, в которых моделирование временных рядов является ключевым статистическим инструментом, включая медицину. Это создает проблемы при выборе модели, часто требуя вменения или аналогичных стратегий. Авторегрессионные рекуррентные нейронные сети с непрерывным временем (CTRNN) представляют собой модель глубокого обучения, которая учитывает нерегулярные наблюдения за счет включения непрерывной эволюции скрытых состояний между наблюдениями. Это достигается с помощью нейронного обыкновенного дифференциального уравнения (ОДУ) или слоя нейронного потока. В этой рукописи мы даем обзор этих моделей, включая различные архитектуры, которые были предложены для учета таких проблем, как текущие медицинские вмешательства. Кроме того, мы демонстрируем применение этих моделей для вероятностного прогнозирования уровня глюкозы в крови в условиях интенсивной терапии с использованием электронной медицинской карты и смоделированных данных. Эксперименты подтверждают, что добавление нейронного ODE или слоя нейронного потока обычно улучшает производительность авторегрессионных рекуррентных нейронных сетей в условиях нерегулярных измерений. Тем не менее, несколько архитектур CTRNN уступают модели дерева с авторегрессионным градиентным усилением (Catboost), и только архитектура на основе долговременной кратковременной памяти (LSTM) и нейронная архитектура на основе ODE (ODE-LSTM) обеспечивают сопоставимую производительность по показателям вероятностного прогнозирования, таким как непрерывный ранжированная оценка вероятности (ODE-LSTM: 0,118 ± 0,001; Catboost: 0,118 ± 0,001), оценка незнания (0,152 ± 0,008; 0,149 ± 0,002) и интервальная оценка (175 ± 1; 176 ± 1).
