Я заключаю пари с моим коллегой по работе JY о том, пройдет ли статья, полностью написанная с помощью модели машинного обучения, рецензирование. Я настроен скептически, он оптимистичен.

Спор

До 12:00 по Гринвичу 1 июля 2024 года статья, полностью написанная с использованием языка и/или модели изображения, будет принята на рецензируемую конференцию A-уровня по компьютерным наукам или в журнал Q1 по математике, статистике, или информатики.

Предсказатель: JY Koh, Претендент: Бен Чагг.

Ставки: проигравший должен купить чай с пузырьками для нашей когорты докторов наук и их близких.

Бумага может быть отформатирована людьми, но все содержимое должно быть сгенерировано моделью (включая любые рисунки). Конференция должна быть А-уровня по стандартам ERA и Q1 по SJR. Смотрите здесь для рейтингов конференций и здесь для рейтингов журналов.

Если бумага принята, выяснилось, что она сгенерирована моделью, и, следовательно, отозвана, ставка разрешается положительно. Другими словами, не требуется, чтобы статья была опубликована, только принята.

Существует вероятность того, что документ, созданный моделью, будет принят, но событие останется неподтвержденным. Если мы впоследствии узнаем о такой бумаге и JY уже купил всем чай с пузырьками, то Бен купит всем чай с пузырьками и пожертвует 100 долларов США в GiveWell.

Некоторые комментарии

Я писал где-то еще, что рецензирование не работает, поэтому полагаться на него как на посредника между документами, созданными моделями и людьми, может показаться странным. Но, несмотря на недостатки, чтобы пройти рецензирование, потребуется много страниц последовательного повествования, поддерживающего какой-то (надеюсь) новый вклад. Я не думаю, что современные модели обладают такой способностью, и я не думаю, что нынешняя парадигма глубокого обучения способна к рассуждениям, необходимым для внесения значительного научного вклада. Но я могу ошибаться, а что может быть лучше, чем ошибаться на публике и быть привлеченным к ответственности шариками из тапиоки…

Я подозреваю, что если я проиграю, то это будет из-за обзорной статьи или идеи, которая не выдерживает критики при тщательном рассмотрении, но которой было достаточно, чтобы пройти рецензирование. Однако даже это было бы большим достижением, так что я рад поспорить на это.