- Уловка-22 вычислений резервуаров(arXiv)
Автор:Юаньчжао Чжан, Шон П. Корнелиус
Аннотация:Reservoir Computing (RC) — это простая и эффективная свободная от моделей платформа для прогнозирования нелинейных динамических систем на основе данных. В последнее время особенно привлекательным вариантом RC стали вычисления нового поколения Reservoir Computing (NGRC). Смещая нелинейность от резервуара к считываемому слою, NGRC требует меньше данных и имеет меньше гиперпараметров для оптимизации, что делает его подходящим для сложных задач, таких как прогнозирование бассейнов притяжения. Здесь, используя парадигматические мультистабильные системы, включая магнитные маятники и связанные осцилляторы Курамото, мы показываем, что производительность моделей NGRC может быть чрезвычайно чувствительна к выбору нелинейности считывания. В частности, включив точную нелинейность из исходных уравнений, NGRC, обученный на одной траектории, может предсказывать псевдофрактальные бассейны почти с идеальной точностью. Однако даже небольшая неопределенность в точной нелинейности может полностью нарушить NGRC, сделав точность предсказания не выше случайной. Это создает ловушку-22 для NGRC, поскольку он может быть не в состоянии делать полезные прогнозы, если ключевая часть прогнозируемой системы (т. е. ее нелинейность) уже не известна. Наши результаты подчеркивают проблемы, с которыми сталкиваются методы, основанные на данных, при изучении сложных динамических систем.
2.Создание новых хаотических сигналов с помощью компьютеров-резервуаров(arXiv)
Автор:Томас Л. Кэрролл
Аннотация: Несмотря на то, что было много публикаций о потенциальных применениях хаоса в таких областях, как связь, радар, гидролокатор, генерация случайных сигналов, выравнивание каналов и другие, проектирование непрерывных хаотических систем до сих пор остается нерешенной проблемой. Существует ряд хорошо известных хаотических систем, используемых для приложений, но если какое-либо приложение должно стать широко используемым, необходим какой-то способ генерации множества различных хаотических сигналов. Эта работа показывает, что можно использовать пластовый компьютер для создания набора хаотических сигналов, которые коррелированы, но легко отличимы от одного хаотического сигнала с желаемыми свойствами. Способность различать новые сигналы демонстрируется на простом примере связи.
3. Сравнительный анализ эффективности обучения при вычислении глубоких пластов(arXiv)
Автор:Хьюго Сиснерос, Йозеф Сивич, Томас Миколов
Аннотация. Обычно производительность модели машинного обучения оценивают, измеряя ее прогностическую способность на тестовом наборе данных. Этот подход отдает предпочтение сложным моделям, которые могут плавно соответствовать сложным функциям и хорошо обобщать данные для обучения. Хотя важные компоненты интеллекта, скорость и эффективность данных этого процесса обучения редко сообщаются или сравниваются между различными моделями-кандидатами. В этой статье мы представляем контрольный показатель все более сложных задач вместе с показателем эффективности данных, чтобы измерить, насколько быстро модели машинного обучения учатся на обучающих данных. Мы сравниваем скорость обучения некоторых известных последовательных контролируемых моделей, таких как RNN, LSTM или Transformers, с относительно менее известными альтернативными моделями, основанными на резервуарных вычислениях. Для эффективного решения предлагаемых задач требуется широкий спектр вычислительных примитивов, таких как память или возможность вычисления булевых функций. Удивительно, но мы наблюдаем, что вычислительные системы резервуаров, которые полагаются на динамически развивающиеся карты характеристик, обучаются быстрее, чем полностью контролируемые методы, обученные оптимизации стохастического градиента, при этом достигая сопоставимых показателей точности. Код, тест, обученные модели и результаты для воспроизведения наших экспериментов доступны по адресу https://github.com/hugcis/benchmark_learning_efficiency.
