Примечание редактора. Это одна из периодических публикаций, в которых мы общаемся с кем-то, кому есть что сказать по темам, которые нам интересны. Если вы видите это и еще не подписаны на Deepnews, зарегистрируйтесь здесь, чтобы начать получать сообщения в нашем блоге каждую неделю, а также дайджест качественных новостей по важной теме каждую пятницу.

Мы в Deepnews любим хорошие аргументы. Частью поиска качественного письма и контента является поиск качественных аргументов, неявных или явных, с убедительными подтверждающими доказательствами.

Наша модель, конечно, использует машинное обучение для поиска статей, которые мы выделяем, в тысячах источников, хотя другие стремятся использовать достижения в области технологий, чтобы не находить, а *создавать* превосходные дебаты.

Команда IBM занимается именно этим и пару недель назад опубликовала статью в Nature, в которой представлены результаты их Project Debater, в ходе которого был создан робот, способный вести дебаты с экспертом-человеком в формальной обстановке дебатов. Возможно, вы мельком увидели работу под руководством Ноама Слонима еще в 2019 году, когда она дебютировала, хотя недавняя статья объясняет ее системную архитектуру и показывает, что утверждения машины получили более высокую оценку, чем те, которые написаны людьми, не являющимися экспертами (но менее высоко оценены, чем эксперты-дебатёры).

Все это очень впечатляет, но что нового делает Project Debater? Я разговаривал с профессором Крисом Ридом, директором Центра технологий аргументации в Университете Данди, который написал комментарий в Nature вместе с документом IBM и является экспертом в области анализа аргументов.

«Я думаю, что то, что на самом деле довольно недооценивается даже ими, — это инженерный подвиг, заключающийся в том, чтобы заставить все части работать вместе», — сказал Рид.

«Возможность перейти от аудио к прослушиванию чьей-то вступительной речи. А затем просмотреть 400 миллионов новостных статей, чтобы найти фрагменты текста, которые должным образом релевантны. А затем редактировать и эффективно соединять эти фрагменты текста вместе, чтобы отображать грамматически правильные предложения. А затем организовать эти грамматически правильные предложения во что-то, что имеет какое-то сходство со связным потоком повествования. Это удивительно сложно».

Частью этой работы является анализ аргументов, когда машина находит соответствующие аргументы и контраргументы в своем огромном корпусе текста. В учебнике в качестве примера можно найти что-то вроде «Сократ — человек. Все люди смертны. Следовательно, Сократ смертен».

«За исключением того, что это не то, на что похожи аргументы. Они выглядят так: «Пойдем сейчас выпьем пива», «Нет, я немного устал сегодня вечером», «Можем ли мы сделать это завтра?», «Хорошо, давай сделаем это завтра, потому что у них будет особенным», — говорит Рид.

Так что же означает, что Project Debater может анализировать текст в поисках аргументов, а затем использовать их? О чем свидетельствует способность вести дискуссию — классический пример рассуждения в действии? В этом блоге мы ранее говорили о разуме, когда обсуждали работу доктора Генри Шевлина, который работал над сравнением машин с интеллектом от животных до человека.

Рид говорит, что Project Debater до сих пор даже близко не подошёл к человеческому познанию. Одним из примеров этого является «опровержение» Project Debater аргументов, выдвинутых его противником в дебатах. Он берет текст, произнесенный оппонентом, переводит его в текст, а затем сравнивает этот текст с аргументами, которые он извлек из своего корпуса, базы знаний, которую ему предоставили, и конкретной базы данных, полной тем для дебатов.

«Это абсолютно не создание структуры аргументации оппонента, а затем рассмотрение этой структуры и рассуждения о том, где в ней слабые места, чтобы сформулировать аргумент. Ничего этого нет», — говорит Рид.

Точно так же, как нам нужно избегать думать о GPT-3 как об интеллектуальном, легче понять, что делают машины, такие как Project Debater, когда мы сосредоточимся на работе, которую они выполняют, возвращаясь к происхождению слова «робот». как происходящее от слова труд. GPT-3 может генерировать сносный текст, а Project Debater способен выполнять впечатляющую задачу дебатов, объединяя различные системы. Обе задачи связаны с языком, который часто выражает интеллект и где ИИ видел много последних достижений.

Сосредоточив внимание на более широкой задаче анализа языка, Project Debater делает нечто отличное от своего предка IBM Deep Blue, который играл Гарри Каспарова в шахматы с узкой целью поставить мат. Команда Слонима отмечает, что дебаты труднее оценивать, они более субъективны, и что подталкивание машины к использованию более продвинутых форм человеческого языка, даже если она просто извлекает материал из того материала, который ей скормили, выталкивает искусственный интеллект за пределы его «зоны комфорта». ”

Тогда вопрос не в интеллекте, а в том, как машины, работающие с более продвинутым человеческим языком, могут быть полезны, особенно когда люди сталкиваются с потоком текста в Интернете.

Один из таких способов, которым фокус на аргументе может быть полезен, заключается в том, что мы, люди, можем начать понимать, что находится внутри текста, а не только количество кликов, которые он получает, гораздо быстрее и в гораздо большем масштабе. Это то, над чем Deepnews работает с точки зрения нашей метрики качества, и наша технология показывает преимущества, когда машина помогает классифицировать контент.

Возможность использовать отдельные аргументы в рамках статьи в масштабе была бы еще одним шагом вперед. Команда Рида пару лет назад объединилась с BBC, чтобы рассмотреть проблему фейковых новостей и использовать анализ аргументов, чтобы помочь студентам-людям рассуждать. При широком применении это может помочь повысить качество дебатов.

«Мы начинаем думать о том, как системы ИИ могут понимать аргументы людей и вносить свой вклад в дебаты в целом. Команды можно расширить, включив в них несколько человек и несколько ИИ, и тогда команда в целом сможет принимать более качественные решения», — сказал Рид.