Прошлый год был очень насыщенным для cTuning Foundation и dividiti - мы продолжали тесно сотрудничать с AI, ML и системными сообществами для автоматизации экспериментов, улучшая воспроизводимость и возможность повторного использования результатов на основе нашего долгосрочного видения.
Прежде всего, у нас была возможность применить новую Политику проверки артефактов и присвоения им значков (которую мы соавторы годом ранее в рамках новой Рабочей группы ACM по воспроизводимости, основанной на нашем предыдущем опыте оценки артефактов ») На выставках ACM CGO'18 и PPoPP'18 . Хорошей новостью является то, что у нас было еще одно рекордное количество представлений: почти половина принятых работ представили артефакты для проверки, всего их было 30! Мы также перешли с EasyChair на HotCRP для отправки и оценки артефактов, поскольку последний предоставил более удобный и анонимный механизм общения между авторами и рецензентами во время оценки для постоянного решения проблем! Это также побуждает нас убрать сеанс технических разъяснений во время оценки артефактов на будущих конференциях, поскольку наши рецензенты уже общаются с авторами во время оценки!
Мы также заметили, что наш Шаблон приложения артефактов, который мы подготовили несколько лет назад в попытке объединить CGO, PPoPP и PACT AE, теперь используется на других конференциях, включая SuperComputing (см. Описание артефакта в этой статье SC'17. который будет использован для КЛАСТЕРНЫХ соревнований на SC'18)! Мы планируем сотрудничать с коллегами по CLUSTER в рамках Пилотных проектов ACM по автоматизации оценки артефактов и внедрению фреймворков рабочего процесса для преобразования этих артефактов в наш формат Коллективных знаний (см. Документ SC'16 и Статья CGO'17 с артефакты и рабочие процессы в формате CK).
Наконец, мы получили очень положительные отзывы о нашей открытой оценке артефактов сообществом из прошлого CGO / PPoPP’17, которые мы планируем использовать еще больше в будущем (см. Наша мотивация):
- Https://github.com/thu-pacman/self-checkpoint/issues/1
- Https://gitlab.com/michel-steuwer/cgo_2017_artifact/issues/1
- Https://github.com/SamAinsworth/reproduce-cgo2017-paper/issues/6
В то же время мы заметили несколько двусмысленностей с новой политикой для значков «артефакты доступны» и «артефакты повторно используются».
Посоветовавшись с нашими коллегами из ACM, мы обновили критерии проверки значка доступны артефакты на странице http://cTuning.org/ae/reviewing.html:
Созданные автором артефакты, относящиеся к этой статье, получат значок ACM артефакты доступны только в том случае, если они были размещены в общедоступных архивных репозиториях, таких как Zenodo, FigShare или Dryad. Затем их артефактам будет присвоен DOI, который необходимо указать в Приложении для артефактов! Авторы также могут поделиться своим артефактом через ACM DL - в этом случае они должны связаться с руководителями AE для получения DOI (пока не автоматизированы, в отличие от вышеуказанных репозиториев).
Критерии для значка «многоразовые артефакты» оказались еще более расплывчатыми, особенно для системных исследований, где экспериментальные рабочие процессы часто включают очень сложные и постоянно меняющиеся алгоритмы / программное обеспечение / аппаратный стек. Многие авторы считали, что публичный доступ к их артефактам с помощью ReadME, нескольких специальных сценариев для построения и проведения экспериментов и образа Docker достаточно для получения значка «артефакты, пригодные для повторного использования».
Каждый год мы видим все бремя и страдания наших оценщиков, которые пытаются понять, как работать с многочисленными специальными, непереносимыми и часто сбойными скриптами, неунифицированными форматами данных и специальной проверкой. Вот почему мы утверждаем, что должны использоваться какие-то общие структуры рабочего процесса в сочетании с кроссплатформенными диспетчерами пакетов и общими API-интерфейсами, чтобы сделать артефакт легко повторно используемым, переносимым и настраиваемым (см. Коллективные знания, spack, easybuild, и т.д.). Такая автоматизация и унификация могут помочь сделать оценку артефактов устойчивой в долгосрочной перспективе, особенно когда будет отправлено больше артефактов.
Однако, поскольку мы не хотим отстаивать наши взгляды и пока не смогли прийти к удовлетворительному выводу, мы начали обсуждение этих вопросов на открытой сессии обсуждения оценки артефактов на CGO / PPoPP’18. Мы также описали некоторые из этих проблем и возможные решения в нашей презентации CNRS’17 Обеспечение открытых и воспроизводимых исследований компьютерных систем: хорошие, плохие и уродливые.
В то же время мы продолжаем работать с ACM, Raspberry Pi Foundation и сообществом, чтобы улучшить автоматизацию и краудсорсинг экспериментов с использованием нашей платформы коллективных знаний с открытым исходным кодом, а также обмена артефактами и рабочими процессами в качестве переносимых, настраиваемые и повторно используемые компоненты с общим API Python и метаинформацией JSON.
Вы можете увидеть практические примеры таких артефактов и рабочих процессов plug & play в нашей недавней интерактивной и воспроизводимой статье на основе CK Рабочий процесс коллективных знаний для совместных исследований многоцелевых методов автонастройки и машинного обучения ». Он представляет собой нашу долгосрочную образовательную инициативу по обучению студентов тестированию и совместной разработке программного обеспечения и аппаратного стека для самооптимизации компьютерных систем совместным и воспроизводимым способом. В нем есть все рабочие процессы, артефакты и результаты, совместно используемые в виде переносимых, настраиваемых и повторно используемых компонентов CK через GitHub и FigShare, чтобы сообщество могло проверять, повторно использовать, улучшать и опираться на них, проводя краудсорсинговые эксперименты через наш общедоступный репозиторий CK. Кроме того, мы хотим, чтобы исследователи быстро повторно использовали и сравнивали с общими результатами производительности для общих тестов и наборов данных на определенных платформах и компиляторах во время компиляции и автонастройки с обратной связью, вместо того, чтобы тратить значительные усилия на восстановление и повторный запуск таких экспериментов!
Мы также очень рады организовать 1-й турнир ACM ReQuEST на платформе Коллективных знаний с консорциумом ведущих университетов (Корнелл, Вашингтон, Торонто, EPFL, Кембридж) и сильным консультативным советом: http://cKnowledge.org /запрос" . Эта новая серия соревнований ориентирована на воспроизводимое и эффективное по Парето совместное проектирование и оптимизацию всего стека приложений / программного обеспечения / оборудования для ИИ, машинного обучения, глубокого обучения и других новых рабочих нагрузок с точки зрения скорости, точности, мощности и затрат. Что еще более важно, растущее число «участников будет продолжать улучшать общий рабочий процесс оптимизации и на основе CK и делиться портативными и настраиваемыми блоками AI / ML, оптимизированными для различных моделей, наборов данных и платформ от IoT до HPC. Результаты сравнительного анализа и выигрышные конфигурации программного обеспечения / аппаратного обеспечения / модели будут визуализированы на общедоступной интерактивной панели управления и сгруппированы по определенным категориям (например, встроенные и серверные). Их также можно воспроизводить, повторно использовать, улучшать и сравнивать благодаря общей структуре CK. Наша конечная цель - поделиться всеми выигрышными алгоритмами и связанными артефактами в виде компонентов CK включай и работай с общим API, чтобы сообщество могло немедленно проверять, настраивать, повторно использовать и использовать их, тем самым устраняя пробелы в передаче технологий и позволяя проводить исследования в области открытых систем / ИИ / машинного обучения. !
Первое издание ReQuEST будет служить в основном тестовой площадкой для нашего подхода, фреймворка и репозитория, поэтому мы решили ограничить отправку только алгоритмами глубокого обучения для классификации изображений. Он будет проходить одновременно с ASPLOS’18 - конференцией ACM по архитектурной поддержке языков программирования и операционных систем, которая является главным форумом для междисциплинарных исследований систем, охватывающих компьютерную архитектуру и оборудование, языки программирования и компиляторы, операционные системы и сети. Авторам парето-эффективных или оригинальных материалов будет предложено представить свои выводы на соответствующем семинаре ACM. В конце турнира мы предоставим нашему консультативному совету отчет, в котором будут представлены результаты турнира, проблемы, возможные решения и дальнейшие шаги.
Вы можете найти более подробную информацию о долгосрочном видении ReQuEST в следующих документах:
- Представляем ReQuEST: открытую платформу для воспроизводимых и качественно эффективных систем-турниров по машинному обучению
- Адаптация к кембрийскому взрыву AI / SW / HW с открытыми конкурсами совместного проектирования и Коллективными знаниями
- Первый воспроизводимый турнир по Парето-эффективной классификации изображений на ASPLOS’18
Мы надеемся на сотрудничество со всеми вами в 2018 году для автоматизации исследований и экспериментов, повышения воспроизводимости опубликованных результатов, разработки эффективных систем для ИИ и других возникающих рабочих нагрузок, ускорения исследований ИИ / машинного обучения / систем, достижения прорыва в ИИ и создания интеллектуальных систем. повсюду!
Разные ресурсы (2017)
События
- Оценка артефактов на SC’17 (использует наш Шаблон приложения артефактов)
- Задача внедрения бумажных НИПС’17
- Цифровые инфраструктуры для исследований (2017)
- Вычислительная воспроизводимость на семинаре Exascale (CRE2017)
- Мастер-класс по суперкомпьютерам с открытым исходным кодом (OpenSuCo-2017)
- ACM SIGCOMM 2017 Семинар по воспроизводимости (Воспроизводимость’17)
Инициативы
- Пример артефактов в Цифровой библиотеке ACM:
- https://dl.acm.org/citation.cfm?doid=2807591.2807619 - документ SC’16, в котором для обмена артефактами использовались Коллективные знания
- Пакет репликации CGO’18 (артефакт) со связанной бумагой
- https://dl.acm.org/citation.cfm?doid=2807591.2807619 - документ SC’16, в котором для обмена артефактами использовались Коллективные знания
- Пакет репликации CGO’18 (артефакт) со связанной бумагой
- OpenReview
- Пример значков артефактов в цифровой библиотеке ACM
- Контрольный список для эмпирической оценки ACM SIGPLAN (бета)
- Поппер: Практическое опровержение исследования
- Первая открытая научная платформа, запущенная Орхусским университетом, Дания
- Платформа OpenNeuro - Открытая и воспроизводимая наука как услуга
- Журнал открытого программного обеспечения
- Совместная открытая информатика
- Воспроизводимый научный проект
- JSON для связывания данных
- Common Workflow Language, v1.0 (GitHub)
- Рабочий процесс Data Science: обзор и проблемы
- Автоматическая оболочка / конвертер инструментов для Common Workflow Language
- Открытый набор данных и программный трек на ACM Multimedia Systems 2017
- Воспроизводимость и комплексная оценка программного обеспечения для биоинформатики секвенирования нового поколения
- Проект CodeMeta
Репозитории
- Данные исследований в Springer Nature
- Постоянные архивы, приемлемые для значка ACM «Артефакты доступны»:
- Зенодо
- FigShare
- Дриада
Инструменты
- Переносимые рабочие процессы с использованием Коллективной основы знаний
- Spack: портативный менеджер пакетов для HPC (в будущем планируем подключить СК и Spack)
- Scons: инструмент для создания программного обеспечения (в CK добавлена поддержка Scons)
- Facebook Buck (система быстрой сборки)
- Набор инструментов для анализа генома 4 (GATK4) как ресурс с открытым исходным кодом для ускорения исследований
- NextFlow: DSL для вычислительных конвейеров, управляемых данными
- LabPal: легко проводить эксперименты на компьютере
- Анонимный Github: прокси-сервер для поддержки анонимного просмотра репозиториев Github в поисках открытого кода и данных
- Контейнеры сингулярности
- Инструмент упаковки VC ++
- Google CoLab
- Контрольные показатели и наборы данных
- Национальные эталоны высокопроизводительных вычислений Великобритании
- Yfcc100m: новые данные в мультимедийных исследованиях
Статьи
- Пример интерактивной и воспроизводимой статьи по автонастройке и машинному обучению
- Адаптация к кембрийскому взрыву AI / SW / HW с открытыми конкурсами совместного проектирования и Коллективными знаниями
- Что такое хороший доктор? Автор: Лассе Натвиг
- Устранение угроз воспроизводимости через прозрачность исследований
- Эмпирическая разработка программного обеспечения с использованием R
- Скрытый технический долг в системах машинного обучения
- Новый метод обеспечения воспроизводимости вычислительных экспериментов
- Почему я должен верить вашим исследованиям в области суперкомпьютеров?
- Трудный путь к воспроизводимости
- Как запустить лабораторию для воспроизводимых исследований
- Преодоление сложности воспроизводимости артефактов
- Каким должно быть научное сообщество завтрашнего дня?
- Программа Барбагруп по воспроизводимости
- Дежаву: карта дубликатов кода на Github
- Руководство по моделям устойчивости для исследовательских программных проектов
- 10 способов сохранить жизнь вашего успешного научного программного обеспечения
- Linux Foundation запускает соглашения о лицензировании открытых данных
- Блог Bootstrap
- "Наука управления"
- Действительно воспроизводимая научная статья?
- Подкаст RCE рассматривает воспроизводимость научных результатов
- Плакаты, представленные на SIAM CSE17 PP108 Minisymposterium: Производительность и устойчивость программного обеспечения для CSE и науки о данных
- Как я научился перестать беспокоиться и полюбить грядущий кризис архивируемости в научном ПО
- Программное обеспечение для воспроизводимой науки: давайте не ошибемся
- Динамическое курирование артефактов и экспериментов меняет способ работы электронных библиотек
- Отчет о 1-м семинаре IEEE о будущем кураторства и воспроизводимости исследований (2016.11)
- Слайды обсуждения совместной оценки артефактов CGO / PPoPP
- Обеспечение открытых и воспроизводимых исследований компьютерных систем: хорошее, плохое и уродливое
См. Все ресурсы по теме здесь.