Написано Лукасом Соузой, сотрудником Numenta Research На прошлой неделе в Numenta мы провели нашу ежемесячную встречу Brains@Bay , собирая ученых и исследователей данных в районе залива, чтобы поговорить о разреженности в мозге и нейронных сетях (записи доступны здесь ). Разреженность — это тема, которую мы также широко обсуждали на наших исследовательских встречах и в журналистских клубах в последние недели. Разреженность долгое время была основополагающим принципом наших..

В этом посте мы подробно расскажем о том, как мы измерили на стандартном облачном оборудовании пропускную способность и задержку пяти моделей ResNet-50 v1, оптимизированных для вывода данных ЦП. К концу поста вы сможете воспроизвести эти тесты, используя инструменты, доступные в репозитории Neural Magic на GitHub . На прошлой неделе мы выпустили поддержку ResNet-50, поддержка YOLOv3 появится через несколько недель, а в ближайшие месяцы за ней последуют BERT и другие модели..

Реализация инструментов регуляризации в pyTorch Я проводил некоторое исследование о разреженности в структуре нейронных сетей и наткнулся на статью « Групповая разреженная регуляризация для глубоких нейронных сетей ». В этом документе рассматривается сложная задача одновременной оптимизации (i) весов нейронной сети, (ii) количества нейронов для каждого скрытого слоя и (iii) подмножества активных входных функций (т. Е. Выбора функций ). По сути, они предложили интеграцию..