Прошлый год был очень насыщенным для cTuning Foundation и dividiti - мы продолжали тесно сотрудничать с AI, ML и системными сообществами для автоматизации экспериментов, улучшая воспроизводимость и возможность повторного использования результатов на основе нашего долгосрочного видения.

Прежде всего, у нас была возможность применить новую Политику проверки артефактов и присвоения им значков (которую мы соавторы годом ранее в рамках новой Рабочей группы ACM по воспроизводимости, основанной на нашем предыдущем опыте оценки артефактов ») На выставках ACM CGO'18 и PPoPP'18 . Хорошей новостью является то, что у нас было еще одно рекордное количество представлений: почти половина принятых работ представили артефакты для проверки, всего их было 30! Мы также перешли с EasyChair на HotCRP для отправки и оценки артефактов, поскольку последний предоставил более удобный и анонимный механизм общения между авторами и рецензентами во время оценки для постоянного решения проблем! Это также побуждает нас убрать сеанс технических разъяснений во время оценки артефактов на будущих конференциях, поскольку наши рецензенты уже общаются с авторами во время оценки!

Мы также заметили, что наш Шаблон приложения артефактов, который мы подготовили несколько лет назад в попытке объединить CGO, PPoPP и PACT AE, теперь используется на других конференциях, включая SuperComputing (см. Описание артефакта в этой статье SC'17. который будет использован для КЛАСТЕРНЫХ соревнований на SC'18)! Мы планируем сотрудничать с коллегами по CLUSTER в рамках Пилотных проектов ACM по автоматизации оценки артефактов и внедрению фреймворков рабочего процесса для преобразования этих артефактов в наш формат Коллективных знаний (см. Документ SC'16 и Статья CGO'17 с артефакты и рабочие процессы в формате CK).

Наконец, мы получили очень положительные отзывы о нашей открытой оценке артефактов сообществом из прошлого CGO / PPoPP’17, которые мы планируем использовать еще больше в будущем (см. Наша мотивация):

В то же время мы заметили несколько двусмысленностей с новой политикой для значков «артефакты доступны» и «артефакты повторно используются».

Посоветовавшись с нашими коллегами из ACM, мы обновили критерии проверки значка доступны артефакты на странице http://cTuning.org/ae/reviewing.html:

Созданные автором артефакты, относящиеся к этой статье, получат значок ACM артефакты доступны только в том случае, если они были размещены в общедоступных архивных репозиториях, таких как Zenodo, FigShare или Dryad. Затем их артефактам будет присвоен DOI, который необходимо указать в Приложении для артефактов! Авторы также могут поделиться своим артефактом через ACM DL - в этом случае они должны связаться с руководителями AE для получения DOI (пока не автоматизированы, в отличие от вышеуказанных репозиториев).

Критерии для значка «многоразовые артефакты» оказались еще более расплывчатыми, особенно для системных исследований, где экспериментальные рабочие процессы часто включают очень сложные и постоянно меняющиеся алгоритмы / программное обеспечение / аппаратный стек. Многие авторы считали, что публичный доступ к их артефактам с помощью ReadME, нескольких специальных сценариев для построения и проведения экспериментов и образа Docker достаточно для получения значка «артефакты, пригодные для повторного использования».

Каждый год мы видим все бремя и страдания наших оценщиков, которые пытаются понять, как работать с многочисленными специальными, непереносимыми и часто сбойными скриптами, неунифицированными форматами данных и специальной проверкой. Вот почему мы утверждаем, что должны использоваться какие-то общие структуры рабочего процесса в сочетании с кроссплатформенными диспетчерами пакетов и общими API-интерфейсами, чтобы сделать артефакт легко повторно используемым, переносимым и настраиваемым (см. Коллективные знания, spack, easybuild, и т.д.). Такая автоматизация и унификация могут помочь сделать оценку артефактов устойчивой в долгосрочной перспективе, особенно когда будет отправлено больше артефактов.

Однако, поскольку мы не хотим отстаивать наши взгляды и пока не смогли прийти к удовлетворительному выводу, мы начали обсуждение этих вопросов на открытой сессии обсуждения оценки артефактов на CGO / PPoPP’18. Мы также описали некоторые из этих проблем и возможные решения в нашей презентации CNRS’17 Обеспечение открытых и воспроизводимых исследований компьютерных систем: хорошие, плохие и уродливые.

В то же время мы продолжаем работать с ACM, Raspberry Pi Foundation и сообществом, чтобы улучшить автоматизацию и краудсорсинг экспериментов с использованием нашей платформы коллективных знаний с открытым исходным кодом, а также обмена артефактами и рабочими процессами в качестве переносимых, настраиваемые и повторно используемые компоненты с общим API Python и метаинформацией JSON.

Вы можете увидеть практические примеры таких артефактов и рабочих процессов plug & play в нашей недавней интерактивной и воспроизводимой статье на основе CK Рабочий процесс коллективных знаний для совместных исследований многоцелевых методов автонастройки и машинного обучения ». Он представляет собой нашу долгосрочную образовательную инициативу по обучению студентов тестированию и совместной разработке программного обеспечения и аппаратного стека для самооптимизации компьютерных систем совместным и воспроизводимым способом. В нем есть все рабочие процессы, артефакты и результаты, совместно используемые в виде переносимых, настраиваемых и повторно используемых компонентов CK через GitHub и FigShare, чтобы сообщество могло проверять, повторно использовать, улучшать и опираться на них, проводя краудсорсинговые эксперименты через наш общедоступный репозиторий CK. Кроме того, мы хотим, чтобы исследователи быстро повторно использовали и сравнивали с общими результатами производительности для общих тестов и наборов данных на определенных платформах и компиляторах во время компиляции и автонастройки с обратной связью, вместо того, чтобы тратить значительные усилия на восстановление и повторный запуск таких экспериментов!

Мы также очень рады организовать 1-й турнир ACM ReQuEST на платформе Коллективных знаний с консорциумом ведущих университетов (Корнелл, Вашингтон, Торонто, EPFL, Кембридж) и сильным консультативным советом: http://cKnowledge.org /запрос" . Эта новая серия соревнований ориентирована на воспроизводимое и эффективное по Парето совместное проектирование и оптимизацию всего стека приложений / программного обеспечения / оборудования для ИИ, машинного обучения, глубокого обучения и других новых рабочих нагрузок с точки зрения скорости, точности, мощности и затрат. Что еще более важно, растущее число «участников будет продолжать улучшать общий рабочий процесс оптимизации и на основе CK и делиться портативными и настраиваемыми блоками AI / ML, оптимизированными для различных моделей, наборов данных и платформ от IoT до HPC. Результаты сравнительного анализа и выигрышные конфигурации программного обеспечения / аппаратного обеспечения / модели будут визуализированы на общедоступной интерактивной панели управления и сгруппированы по определенным категориям (например, встроенные и серверные). Их также можно воспроизводить, повторно использовать, улучшать и сравнивать благодаря общей структуре CK. Наша конечная цель - поделиться всеми выигрышными алгоритмами и связанными артефактами в виде компонентов CK включай и работай с общим API, чтобы сообщество могло немедленно проверять, настраивать, повторно использовать и использовать их, тем самым устраняя пробелы в передаче технологий и позволяя проводить исследования в области открытых систем / ИИ / машинного обучения. !

Первое издание ReQuEST будет служить в основном тестовой площадкой для нашего подхода, фреймворка и репозитория, поэтому мы решили ограничить отправку только алгоритмами глубокого обучения для классификации изображений. Он будет проходить одновременно с ASPLOS’18 - конференцией ACM по архитектурной поддержке языков программирования и операционных систем, которая является главным форумом для междисциплинарных исследований систем, охватывающих компьютерную архитектуру и оборудование, языки программирования и компиляторы, операционные системы и сети. Авторам парето-эффективных или оригинальных материалов будет предложено представить свои выводы на соответствующем семинаре ACM. В конце турнира мы предоставим нашему консультативному совету отчет, в котором будут представлены результаты турнира, проблемы, возможные решения и дальнейшие шаги.

Вы можете найти более подробную информацию о долгосрочном видении ReQuEST в следующих документах:

Мы надеемся на сотрудничество со всеми вами в 2018 году для автоматизации исследований и экспериментов, повышения воспроизводимости опубликованных результатов, разработки эффективных систем для ИИ и других возникающих рабочих нагрузок, ускорения исследований ИИ / машинного обучения / систем, достижения прорыва в ИИ и создания интеллектуальных систем. повсюду!

Разные ресурсы (2017)

События

Инициативы

Репозитории

Инструменты

Статьи

См. Все ресурсы по теме здесь.