В этой статье мы выделяем некоторые ключевые выводы из презентации Дэвида Остина о том, как гроссмейстер Kaggle повышает производительность своего решения на саммите SigOpt.
Дэвид Остин — старший главный инженер по искусственному интеллекту в Intel, работающий над промышленными приложениями в сфере Интернета вещей. В свободное время он, по его собственным словам, проводит слишком много времени, участвуя в соревнованиях Kaggle, и с 2018 года имеет звание гроссмейстера.
Фон
В презентации Дэвид Остин проходит через Испытание классификатора айсбергов, где участников просят классифицировать радиолокационные изображения на айсберги или корабли для повышения безопасности на море. Во время Iceberg Classifier Challenge это была задача компьютерного зрения с наибольшим количеством участников на Kaggle.
Некоторыми из основных проблем с этим набором данных являются ограниченное количество обучающих выборок — доступно всего около 1600 выборок — и тот факт, что даже люди не могут различить два класса на основе разных радиолокационных изображений.
Однако даже с этими проблемами Дэвид и его напарник смогли занять первое место в таблице лидеров и претендовать на звание гроссмейстера.
Предыдущее решение
Как отметил Дэвид во время презентации, с 2018 года в области искусственного интеллекта многое произошло. Ниже показана диаграмма их выигрышного решения:
Тогда они использовали ансамбль из почти 200 различных сверточных нейронных сетей (CNN), и, не имея доступа ни к инструменту управления экспериментом, ни к эффективной схеме оптимизации, они потратили почти 100 часов на ручное обучение, случайную оптимизацию, тестирование, и отслеживание различных блоков CNN.
Дэвид также отмечает, что никто никогда не запустит подобную систему в производство, но, поскольку это сложная задача, конечной целью является создание архитектуры с наивысшим показателем производительности, а не того, что будет гладко работать в производственной среде.
Оптимизация гиперпараметров
Ближе к концу Дэвид показывает, как он может подняться с базовой точности 87,19% до 91,25% с помощью оптимизации гиперпараметров и шести дополнительных строк кода от SigOpt — улучшение, эквивалентное 400 прыжкам вверх в таблице лидеров.
Дэвид использует в качестве основы одну модель EfficientNet-BO вместо почти 200 моделей CNN, и всего за 4,5 часа работы он добился эквивалента прыжка на 400 позиций вверх в таблице лидеров, оптимизировав наиболее важные гиперпараметры с помощью экстраординарной оптимизации. инструмент управления полочными экспериментами.
Все это делается полностью автоматизированным способом, и вместо того, чтобы отслеживать файлы журналов и конфигурации параметров для каждой модели, это автоматически обрабатывается интеллектуальной экспериментальной платформой, что в конечном итоге дает огромный выигрыш как с точки зрения вычислений, так и ручная обработка.
Выводы
Если вы хотите стать гроссмейстером Kaggle, то вы можете начать с того, что возьмете существующее решение и дополните его оптимизацией гиперпараметров — так же, как гроссмейстер Kaggle Дэвид Остин. Если вы хотите узнать больше о Kaggle и Iceberg Classifier Challenge, посетите веб-сайт конкурса или посмотрите презентацию Дэвида с саммита SigOpt.
