Ограничения LLM

Вы правильно написали:
«[…]
Особенно трудными оказались «рассуждающие» задачи (неоднократно предполагалось, что LLM трудно со здравым смыслом и причинно-следственными рассуждениями), но он проявил себя в «знаниеемких» задачах.
[…]
Масштаб, кажется, не очень помогает, когда дело доходит до понимания. Построение GPT-4 со 100 триллионами параметров может вообще не помочь.
[…]
В целом авторы обнаружили, что модели необъективны — как и ожидалось.
[…]”
>
Удивительно видеть, насколько мастера программирования, занимающиеся глубоким обучением и, в частности, моделированием больших языков, могут быть ослеплены своими успехами до такой степени, что не могут распознать нативные ограничения своего подхода. Им даже не нужно это открывать. Прошло более 20 лет, когда Иудея Перл математически разработала и доказала простой и упрямый факт, что причинно-следственная связь — это нечто большее, чем корреляция. Не имеет значения объем данных или количество слоев в наших глубоких нейронных сетях. Пока процесс обучения опирается только на наблюдение, на пассивный ввод данных, на корреляционный анализ (и оснащение многомерных баз данных сложными функциями, поскольку глубокое обучение сводится к корреляционному анализу), не существует волшебной палочки, которая когда-либо отвратит машины от этого. игроков-имитаторов в настоящих интеллектуальных агентов. Недостающая часть — причинно-следственная связь. Пришло время для нового теста Тьюринга. Покажите мне ИИ, который действительно отвечает на вопросы «почему» и может отличить причину от следствия в корреляционной связи, который не будет обманут очевидными искажающими факторами и т. д. Причинное обучение требует любого вмешательства, т. е. независимого/случайного/свободного действия, а не простого наблюдения. , или, конечно, какой-то тип обучения, т. е. внешний источник приобретения знаний. Мы, люди, также используем оба способа познания и понимания мира.