Преимущества для авторов неанонимных препринтов.

Написано Дмытром Мишкиным и Эми Табб

Одна из самых популярных реакций на наш предыдущий пост была такой: мы в целом согласны, поэтому давайте разрешать препринты до принятия, но только в анонимной форме. Текущий пост посвящен этой идее, и чтобы сделать это правильно, нам нужно вернуться к сути и попытаться ответить на следующие вопросы: Для чего нужна научная публикация?, Каковы функции рецензирования? и Как это связано с наукой? Приготовьтесь к долгому чтению.

Содержание.

Часть 1.

  • Функции конференций.
  • Качество экспертной оценки.
  • Предварительная фильтрация конференций.
  • Роль двойного слепого рецензирования.

Часть 2.

  • Польза для сообщества.
  • Преимущества для авторов.
  • Сигналы.

Выводы

Часть 1: Определение науки и функция публикаций конференции.

Во-первых, наука как процесс добычи и обновления знаний с использованием научного метода не тождественна современной науке как набору управленческих и организационных процедур (гранты, конференции, публикации и т. д.). Эта последняя форма науки, которую мы называем наука-как-реализованная, — это просто текущая форма того, как наука осуществляется в современном обществе. Имея это в виду, давайте вернемся к цели научных публикаций и научных конференций в области информатики и инженерии, в частности.

Функции конференций.

Для автора конференции обеспечивают:

  1. Распространение знаний: «Я хочу, чтобы люди знали о новых знаниях, которые я открыл». Конференция обещает определенный минимальный уровень внимания к работе. Другими словами, если вы не публикуетесь на топовых конференциях, никто не будет читать вашу работу.
  2. Обратная связь: я хотел бы, чтобы люди проверяли мои результаты в процессе обзора и обсуждения.
  3. Формальные плюсы: флажки, необходимые для защиты докторской степени, для пакета стажировки, оценки эффективности, включения в отчет о гранте и т. д.
  4. Сертификация. Публиковаться на CVPR сложно, а потому ценно.
  5. Создание репутации: список некоторых конференций на C.V. как способ заявить о себе как о ученом.
  6. Нетворкинг: встречи с коллегами, потенциальными работодателями и т.д.

Из шести функций только 2,5 (распространение, обратная связь и часть сертификации) относятся к науке как процессу извлечения знаний или первому определению науки. Мы вернемся к этому в ближайшее время, теперь функции для аудитории:

Для аудитории:

  1. Предварительная фильтрация: время ограничено, поэтому мы передаем выбор того, что мы читаем, рецензентам.
  2. Сертификация: время ограничено, поэтому контроль качества и проверку результатов мы передаем рецензентам. Мы создаем базовый классификатор: «Если статья опубликована топ-конференцией, это правда».
  3. Особый случай сертификации: для людей вне сферы без базовой квалификации выбирать работу, отвечающую основным гарантиям качества.
  4. Авторы обещают ответить на наши вопросы (симметрично «вниманию автора от аудитории», и аудитория получает гарантию, что на вопросы по работе будут даны ответы на докладной или постерной сессии).

Частично «сертификация» служит науке как процесс извлечения знаний, снижая барьер на пути к чужой работе. Остальные функции обслуживают текущую модель профессиональной научной работы science-as-implemented и помогают сообществу справиться с нехваткой ресурсов (времени, денег, внимания).

Все идет нормально. Все эти функции построены на основе двойного слепого рецензирования, используемого в качестве механизма сертификации в большинстве случаев. Однако в настоящее время с этими функциями конференции есть две проблемы: качество рецензирования и присущая субъективность, вызванная функцией предварительной фильтрации. Первая проблема, по крайней мере в идеальном мире, решаема, а другая — нет — по замыслу.

Качество экспертной оценки.

Качество рецензирования не является ни 100% точностью (все принятые статьи хорошие), ни 100% отзывом (принимаются все хорошие статьи). Давайте пока забудем об отзыве и на мгновение сосредоточимся на точности. Существует немало свидетельств того, что статьи, прошедшие рецензирование, могут содержать критические недостатки, методологические и фактические ошибки. Например,

  • недавний эталонный тест Metric Learning Reality Check Кевина Масгрейва et al. специально перечисляет десятки лучших статей, опубликованных на конференциях, которые содержат несправедливые сравнения.
  • Объединяющая перспектива встраивания соседей по спектру притяжения-отталкивания Бема et al. показывает, что широко цитируемые и используемые свойства метода UMAP являются артефактом реализации, а не тем, что было опубликовано.
  • Исследование Reddi et al. О сходимости Адама и не только показывает, что доказательство сходимости популярного оптимизатора Адама неверно. Это не делает Адама плохим оптимизатором (практика показывает, что он хороший), а то, что такой недостаток остался незамеченным рецензентами.
  • Исследование Взлом BING и не только Чжао et al. показывает, что отличные результаты популярного предложения объекта BING (устный CVPR2014, ›1000 цитирований в Google Scholar) не связаны с предлагаемый детектор объектности, но являются результатом умного взлома метрики 0,5 IoU, связанной с реализацией.
  • Более того, имейте в виду, что все приведенные выше примеры относятся к лучшим из лучших: топовым конференциям. Качество средней статьи и рецензирования на низком уровне намного хуже.

Конференции — это фильтры, лотереи или еще какая-то неудачная комбинация.

Вспомним теперь о функциях конференции Предварительная фильтрация и Формальные вкусности. Мы утверждаем, что главным моментом текущего процесса рецензирования является не ответ на вопрос: Являются ли результаты в статье правильными?, а: Достойна ли статья быть опубликованной на нашей драгоценной конференции? И если «первый вопрос связан с техническими аспектами статьи и в основном объективен, то текущий вопрос субъективен по определению. Например:

В чем проблема с этим правилом? Это означает, что плохие отзывы плохи исключительно из-за фактических ошибок. Это подразумевает, что написание технической статьи в первую очередь связано с предоставлением объективной или фактической информации, и что более субъективные аспекты написания статьи не важны. Первое следствие явно ложно, а второе неверно в меньшей степени.[…] В некотором смысле большинство статей по информатике состоят из двух компонентов. К первой относятся технические компоненты: теория, алгоритмы и экспериментальные результаты. Второй, однако, является аргумент о важности технических компонентов» (выделено нами).

  • Существует документ Кеннета Уорда Черча Новые тенденции: обзор рецензентов (снова), в котором проблемы конференций обсуждаются так же, как и у нас. В частности, достаточно ли хороши отзывы при сертификации? Должны ли мы передать все функции предварительной фильтрации рецензентам? На оба вопроса он склоняется к ответу скорее нет.

Роль двойного слепого рецензирования.

Какое место здесь занимает двойное слепое рецензирование? Это (предположим, что это правда) увеличивает справедливость ответа на вопрос «Достойна ли статья публикации на нашей драгоценной конференции?» вопрос, устранив предвзятость к громким именам, потому что в противном случае рецензент мог бы подумать: «Если X сделал это, то это было бы достойно». Таким образом, двойное слепое рецензирование должно гарантировать также более справедливое присвоение баллов и все остальные атрибуты и преимущества науки в том виде, как она реализована.

Обратите внимание, что вышеизложенный пункт не имеет ничего общего с наукой как добычей знаний. Найденный факт о Вселенной остается фактом, независимо от того, кто его нашел и кому он приписывается. Преимущества двойного слепого рецензирования заключаются не в научной области, а в области наука как реализация.

Это не умаляет важности справедливости, присвоения кредита или преимуществ двойных слепых обзоров. Скорее наоборот — мы пытаемся привлечь внимание читателя к более широкой картине, прежде чем делать поспешные выводы.

Установив это, давайте рассмотрим проблемные аспекты анонимных препринтов для тех, кто должен извлечь выгоду из двойного слепого рецензирования, то есть для начинающих исследователей из неизвестных лабораторий.

Часть 2: Анонимные препринты — это особый случай отсрочки выпуска до принятия.

В нашем предыдущем посте мы не занимались глубокой обработкой анонимных препринтов. В настоящее время они не реализованы в местах, где мы подаем документы. Но у нас есть мысли о них.

Мы считаем анонимные препринты частным случаем отсрочки выпуска статьи до ее принятия. Требование анонимности наносит вред исследовательскому сообществу, но особенно начинающим исследователям (ECR), как объясняется в статье Руки прочь от arXiv!. Тем не менее, мы объясним некоторые из этих вопросов более подробно.

После нашего предыдущего поста, помимо комментариев по поводу анонимных препринтов, были и другие предложения о том, как авторам можно «просто подождать n месяцев», «просто отправить пакеты приложений другим способом», «просто позволить системе исправлять для x, y, z», «просто…», делайте больше работы или ждите, пока вас заметят. Мы рассматриваем эти предложения как искажения, чтобы обойти барьеры, наложенные собственным исследовательским сообществом. Кроме того, мы считаем эти искажения ненужными из-за большей стоимости для тех, у кого нет стабильности или безопасности. Не все в нашем исследовательском сообществе могут гарантировать свою работу, статус визы, финансы, здоровье и т. д. Мы надеемся здесь более четко указать, каковы некоторые из этих затрат для ECR в отношении задержки препринтов и особого случая. анонимных препринтов.

Мы обсудим затраты для ECR с противоположной стороны — обсудив все возможности, которые исходят от неанонимных препринтов. Без разрешения неанонимных препринтов затраты будут упущенными альтернативными издержками. Имейте в виду, что ECR из небольших лабораторий обычно имеют меньше возможностей, чем ECR из крупных лабораторий и университетов, хорошо известных в этой области.

Преимущества неанонимных препринтов для исследовательского сообщества.

Наиболее очевидным преимуществом неанонимных препринтов является прямое распространение исследований авторов среди сообщества. Затем эти исследования и идеи могут быть прояснены и объяснены посредством взаимодействия или сообщений в блогах на открытом воздухе. Кроме того, общедоступный код и выпуски данных могут выполняться без административных издержек, связанных с отслеживанием анонимности на всех этапах. После этого можно было бы принять и вклады в код. Хотя исследование также может распространяться в виде анонимного препринта, необходимость сохранения анонимности ограничивает некоторые формы обратной связи с авторами.

Преимущества для авторов неанонимных препринтов.

Преимущество для авторов неанонимных препринтов, особенно ECR, заключается в том, что они могут создать профессиональную идентичность на основе работы, а не ждать ее принятия. Мероприятия включают сотрудничество, создание неформальных сетей поддержки за пределами их родного учреждения и организацию мероприятий. Все научные работы могут быть перечислены в их C.V. — включая препринты — для демонстрации результатов исследования.

Повышение наглядности благодаря препринтам позволяет другим узнать об этих людях. Примеры включают рекрутеров, которые, по нашему опыту, связываются с кандидатами, а не с кандидатами, подающими пакеты заявок. Кроме того, другие примеры включают коллег-исследователей, которые ищут спикеров на местных встречах, неакадемических конференциях, семинарах, ведомственных семинарах и т. д.

О чем сигнализируют лучшие результаты конференций?

Что касается темы аргумента «подождите 3-n месяцев», недавно велась дискуссия о принятии на конференции как о требовании для поступления в докторантуру. программы и некоторые задания (см. Andreas Madsen для одного аккаунта). Мы рассматриваем это как тревожную тенденцию. В соответствии с предварительными требованиями, согласно которым необходимо совершить поездку для публикации статьи, мы хотим изучить, что сигнализирует о принятии первоклассной статьи на конференции в резюме кандидата. Во-первых, это сигнализирует о хорошем качестве работы (в техническом смысле), чьи аргументы в пользу ценности принимаются сообществом. Но что еще он сигнализирует?

  1. возможность оплачивать конференционные взносы из собственного кармана или за счет грантов и/или в стране с выгодным обменным курсом,
  2. умение хорошо писать, внимательный консультант или стабильность работы, чтобы подождать несколько циклов обзора,
  3. адекватные вычислительные или лабораторные ресурсы для выполнения работы,
  4. наличие гражданства, позволяющего получить визу в принимающую страну.

(это неполный список).

Как только вы начнете анализировать эти сигналы, я надеюсь, вы поймете, что требование о принятии на высшие конференции будет благоприятствовать тем, кому повезет выполнить все эти условия. Если вы хотите изменить демографию своих отделов и компаний и используете в качестве критерия признание на высшей конференции, вам следует глубоко подумать о том, что это на самом деле означает.

В то время как виртуальные конференции облегчили некоторые из этих проблем, они не облегчили эти проблемы с [ — 2019], и нет гарантии, что виртуальные презентации будут разрешены, если / когда covid-19 закончится в будущем. . Более того, некоторые сборы за участие в конференциях и печать остаются дорогими, например. £450 за виртуальный ECCV 2020 (пункт 1).

Выводы.

Как видите, двойное слепое рецензирование в сочетании с запретом названных препринтов не дается бесплатно. Устраняя одно предубеждение к громким именам, оно вводит другие предубеждения и ограничения, которые могут быть более вредными, чем оригиналы.

Стоит ли делать препринт? Это зависит от конкретной ситуации, поэтому мы выступаем за предоставление исследователям возможности решать, как делиться своей работой.

Оставайтесь в безопасности и в здравом уме.

С уважением, Дмитрий Мишкин и Эми Табб.
P.S. Этот пост в блоге Эми Табб