- Опрос об активном онлайн-обучении (arXiv)
Автор : Давиде Каччарелли, Мурат Кулахчи.
Аннотация: Активное онлайн-обучение — это парадигма машинного обучения, целью которой является выбор наиболее информативных точек данных для маркировки из потока данных. Проблема минимизации затрат, связанных со сбором помеченных наблюдений, привлекла большое внимание в последние годы, особенно в реальных приложениях, где данные доступны только в неразмеченной форме. Аннотирование каждого наблюдения может занимать много времени и средств, что затрудняет получение больших объемов размеченных данных. Чтобы решить эту проблему, в последние десятилетия было предложено множество стратегий активного обучения, направленных на выбор наиболее информативных наблюдений для маркировки с целью повышения производительности моделей машинного обучения. Эти подходы можно в целом разделить на две категории: статическое обучение на основе пула и активное обучение на основе потока. Активное обучение на основе пула включает в себя выбор подмножества наблюдений из закрытого пула немаркированных данных, и это было в центре внимания многих обзоров и обзоров литературы. Однако растущая доступность потоков данных привела к увеличению числа подходов, ориентированных на активное онлайн-обучение, которое включает непрерывный отбор и маркировку наблюдений по мере их поступления в поток. Эта работа направлена на предоставление обзора самых последних предложенных подходов к выбору наиболее информативных наблюдений из потоков данных в контексте активного онлайн-обучения. Мы рассматриваем различные методы, которые были предложены, и обсуждаем их сильные и слабые стороны, а также проблемы и возможности, существующие в этой области исследований. Наш обзор направлен на то, чтобы предоставить всесторонний и актуальный обзор области и выделить направления для будущей работы.
2. Глубокие ансамбли и комитеты по оценке неопределенности в силовых полях нейронных сетей: сравнение и применение к активному обучению (arXiv)
Автор: Хесус Каррете, Адриан Монтес-Кампос, Ральф Ванценбёк, Эстер Хайд, Георг К. Х. Мэдсен.
Аннотация: Надежная оценка неопределенности является ключевым компонентом успешного использования силовых полей машинного обучения для прогнозных расчетов. Важными соображениями являются корреляция с ошибкой, накладные расходы во время обучения и вывода, а также эффективные рабочие процессы для систематического улучшения силового поля. Однако в случае силовых полей нейронных сетей простые комитеты часто являются единственным рассматриваемым вариантом из-за их простой реализации. Здесь мы представляем обобщение дизайна глубокого ансамбля, основанного на многоголовых нейронных сетях и гетероскедастических потерях, который может эффективно справляться с неопределенностями как в энергии, так и в силах. Мы сравниваем метрики неопределенности, основанные на глубоких ансамблях, комитетах и ансамблях бутстрап-агрегации, используя данные для ионной жидкости и поверхности перовскита. Мы демонстрируем состязательный подход к активному обучению для эффективного и постепенного улучшения силовых полей. Этот рабочий процесс активного обучения реально возможен благодаря исключительно быстрому обучению, обеспечиваемому остаточным обучением, и оптимизатору нелинейного обучения.
