Stack Overflow уже много лет является незаменимым ресурсом для разработчиков программного обеспечения. Однако недавние достижения в области искусственного интеллекта, особенно в моделях больших языков (LLM), привели к значительному падению его трафика — примерно на 50 % за последние полтора года.*

LLM были обучены с данными SO, полезность и влияние SO преумножились, но теперь трафик фиксируется в другом месте.

Мы не так уж далеки от будущего, в котором вы будете разговаривать с ИИ-помощником, и он будет просматривать Интернет за вас. chatGPT, Sydney, Perplexity, Bard и You.com — хорошие примеры.

Направление меньшего количества трафика к источникам не обязательно плохо. Для электронной коммерции трафик может быть ниже, но конверсия выше. Агрегаторы и помощники ИИ будут отправлять взращенных и готовых конвертировать потенциальных клиентов.

LLM должны учитывать атрибуцию и происхождение, чтобы правильно стимулировать создателей контента. Без достаточного количества обучающих данных, представляющих наши коллективные знания, не будет ни AGI/ASI/HLI, ни следующего поколения. продукты.

Новые архитектуры моделей

Отделяйте логику от данных при обучении LLM по аналогии с программным шаблоном Model View Controller (MVC). Статья РЕТРО пролила некоторый свет на это направление, но исследований по этому поводу не последовало.

Существующие архитектуры на основе трансформеров

Данные смешиваются с весами модели с текущими архитектурами на основе Transformer.

Потенциальное решение состоит в том, что если ответ касается определенной темы, такой как кодирование, укажите все источники обучающих данных, которые связаны с этой темой. Например, Stack Overflow, проблемы GitHub, документация Python и т. д. Здесь может помочь тематическое моделирование.

Если вы спросите меня о структурах данных, я могу указать источники модулей Data Structures из Университета. Аналогичная система может быть применена и здесь.

Можно использовать рекомендательную систему на основе контента, чтобы найти образцы, наиболее похожие на ответ. Это позволит перейти от темы к отдельным образцам/URL.

Поиск расширенного LLM

Извлекающие расширенные LLM сначала извлекают данные из внешнего источника данных и используют их в качестве контекста для генерации ответа. Можно установить ограничения с помощью подсказок, чтобы заставить модель использовать только контекст для генерации ответа. Теоретически сгенерированный ответ будет содержать ссылки на исходные источники данных, что поможет установить авторство.

Если у вас есть другие идеи, не стесняйтесь поделиться.

*Есть и другие факторы, такие как приобретение PE и не считая пользователей, отказавшихся от согласия на использование файлов cookie.