- ChatGPT цитирует наиболее цитируемые статьи и журналы, полагаясь исключительно на подсчет цитирования Google Scholar. В результате ИИ может усилить эффект Мэтью в науке об окружающей среде (arXiv).
Автор : Эдуард Петиска
Аннотация: ChatGPT (GPT) стал одним из самых обсуждаемых нововведений за последние годы, насчитывающим более 100 миллионов пользователей по всему миру. Однако знания об источниках информации, которые использует GPT, все еще ограничены. В результате мы провели исследование, посвященное источникам информации в области науки об окружающей среде. В нашем исследовании мы попросили GPT определить десять наиболее значимых субдисциплин в области науки об окружающей среде. Затем мы попросили его составить научную обзорную статью по каждой субдисциплине, включающую 25 ссылок. Мы приступили к анализу этих ссылок, сосредоточив внимание на таких факторах, как количество ссылок, дата публикации и журнал, в котором была опубликована работа. Наши результаты показывают, что GPT имеет тенденцию цитировать высоко цитируемые публикации по науке об окружающей среде со средним числом цитирований 1184,5. Он также отдает предпочтение более старым публикациям со средним годом публикации 2010 и в основном ссылается на уважаемые журналы в этой области, причем Nature является наиболее цитируемым журналом GPT. Интересно, что наши результаты показывают, что GPT, по-видимому, полагается исключительно на данные о количестве цитирований из Google Scholar для цитируемых работ, а не использует информацию о цитировании из других научных баз данных, таких как Web of Science или Scopus. В заключение, наше исследование предполагает, что цитирование Google Scholar играет важную роль в качестве предиктора для упоминания исследования в контенте, созданном с помощью GPT. Это открытие усиливает доминирование Google Scholar среди научных баз данных и увековечивает эффект Мэтью в науке, когда богатые становятся богаче с точки зрения цитирований. Поскольку многие ученые уже используют GPT для обзора литературы, мы можем ожидать дальнейшего несоответствия и увеличения разрыва между менее цитируемыми и высокоцитируемыми публикациями.
2. ChatGPT-4 превосходит экспертов и массовых работников в аннотировании политических сообщений Twitter с помощью Zero Shot Learning (arXiv)
Автор : Петтер Торнберг
Аннотация: В этой статье оценивается точность, надежность и предвзятость модели большого языка (LLM) ChatGPT-4 в задаче анализа текста по классификации политической принадлежности постера в Твиттере на основе содержания твита. LLM сравнивают с аннотацией вручную как экспертами-классификаторами, так и коллективными работниками, которые обычно считаются золотым стандартом для таких задач. Мы используем сообщения в Твиттере от политиков США во время выборов 2020 года, предоставляя правдивую информацию, по которой можно измерить точность. В документе показано, что ChatGPT-4 обеспечивает более высокую точность, более высокую надежность и равную или меньшую погрешность, чем человеческие классификаторы. LLM может правильно аннотировать сообщения, которые требуют рассуждений на основе контекстуальных знаний и выводов относительно намерений автора — традиционно считающихся уникальными человеческими способностями. Эти результаты показывают, что LLM окажет существенное влияние на использование текстовых данных в социальных науках, позволяя интерпретировать исследования в масштабе
