- Стохастические пуловые сети (arXiv)
Автор: Марк Д. МакДоннелл, Пьер-Оливье Амблар, Найджел Г. Стокс.
Аннотация: Мы вводим и определяем концепцию стохастической сети пула (SPN) как модели сенсорных систем, в которой избыточность и две формы «шума» — сжатие с потерями и случайность — взаимодействуют удивительным образом. Наш подход к анализу SPN является теоретико-информационным. Мы определяем SPN как сеть с несколькими узлами, каждый из которых производит зашумленные и сжатые измерения одной и той же информации. SPN должен объединить все эти измерения в один дополнительно сжатый сетевой выходной сигнал таким образом, который диктуется исключительно естественными физическими свойствами (т. е. объединением в пул), и при этом не вызывает (или незначительного) сокращения взаимной информации. Это означает, что SPN демонстрируют снижение избыточности как новое свойство объединения. Концепция SPN применима к примерам биологического нейронного кодирования, наноэлектроники, распределенных сенсорных сетей, цифровых массивов формирования луча, обработки изображений, сетей связи с множественным доступом и социальных сетей. В большинстве случаев предполагается, что случайность присутствует неизбежно, а не вводится намеренно. Мы иллюстрируем основные свойства SPN для нескольких тематических исследований, где объединение происходит путем суммирования, включая узлы, которые являются шумными скалярными квантователями, и узлы с условной статистикой Пуассона. Также кратко обсуждаются другие новые свойства SPN и некоторые нерешенные проблемы.
2. Стохастическое объединение для регуляризации глубоких сверточных нейронных сетей (arXiv)
Автор: Мэттью Д. Зейлер, Роб Фергюс
Аннотация: Мы представляем простой и эффективный метод регуляризации больших сверточных нейронных сетей. Мы заменяем традиционные детерминированные операции объединения стохастической процедурой, случайным образом выбирающей активацию в каждой области объединения в соответствии с полиномиальным распределением, заданным действиями внутри региона объединения. Этот подход не содержит гиперпараметров и может сочетаться с другими подходами к регуляризации, такими как исключение и увеличение данных. Мы достигаем высочайшей производительности на четырех наборах данных изображений по сравнению с другими подходами, которые не используют увеличение данных.
