Как и было обещано в моей предыдущей статье, я провел тест на время, сравнив ChatGPT Plus с ChatGPT.

Чтобы выполнить этот тест времени, я протестировал ChatGPT и ChatGPT Plus с пятью различными подсказками и записал время завершения. Вот мои методы, результаты и краткое обсуждение. (Или можно перейти сразу к результатам)

Методы

Я попросил ChatGPT сгенерировать пять разных запросов для самопроверки. У меня было общее представление о том, что я хочу для каждой подсказки, и я попросил ChatGPT создать подсказку сам.

Вот как я подсказал ChatGPT, как ответил ChatGPT и подсказки, которые я использовал:

50 вопросов

Моя подсказка: «Создайте список из 50 подсказок для проверки скорости ChatGPT».

Подсказка, созданная ChatGPT:

  1. Какая столица Франции?
  2. Кто является нынешним президентом США?
  3. Какая самая большая планета в нашей Солнечной системе?
  4. Кто был первым человеком, ступившим на Луну?
  5. Кто написал книгу «Убить пересмешника»?
  6. Как называется валюта, используемая в Японии?
  7. Как называется самая длинная река в мире?
  8. Кто нарисовал Мону Лизу?
  9. Кто изобрел телефон?
  10. Как называется знаменитая опера Моцарта?
  11. Как называется знаменитая пьеса Шекспира о несчастных влюбленных?
  12. Кто открыл пенициллин?
  13. Кто написал серию книг о Гарри Поттере?
  14. Как назывался первый компьютер?
  15. Как называется знаменитое уравнение в физике?
  16. Кто снял фильм «Крестный отец»?
  17. Кто написал мюзикл «Вестсайдская история»?
  18. Как называется самая большая пустыня в мире?
  19. Кто написал роман «Гордость и предубеждение»?
  20. Как называется знаменитая статуя в Рио-де-Жанейро?
  21. Кто написал песню «Представь себе»?
  22. Кто написал роман «Дракула»?
  23. Как называется знаменитая картина Винсента Ван Гога?
  24. Кто написал пьесу «Трамвай «Желание»»?
  25. Как называется знаменитый балет Чайковского?
  26. Кто написал роман «Грозовой перевал»?
  27. Кто написал пьесу «Смерть коммивояжера»?
  28. Кто написал мюзикл «Звуки музыки»?
  29. Кто написал роман «Моби Дик»?
  30. Кто написал пьесу «Стеклянный зверинец»?
  31. Кто написал роман «На маяк»?
  32. Кто написал пьесу «Наш город»?
  33. Кто написал роман «Сто лет одиночества»?
  34. Кто написал пьесу «Долгий день уходит в ночь»?
  35. Кто написал роман «Великий Гэтсби»?
  36. Кто написал пьесу «Изюм на солнце»?
  37. Кто написал роман «Над пропастью во ржи»?
  38. Кто написал пьесу «Кто боится Вирджинии Вульф?»
  39. Кто написал роман «О дивный новый мир»?
  40. Кто написал пьесу «Как важно быть серьезным»?
  41. Кто написал роман «Гроздья гнева»?
  42. Кто написал пьесу «Горнило»?
  43. Кто написал роман «Скотный двор»?
  44. Кто написал пьесу «Вишневый сад»?
  45. Кто написал роман «Их глаза смотрели на Бога»?
  46. Кто написал пьесу «Стеклянный зверинец»?
  47. Кто написал роман «Пурпурный цвет»?
  48. Кто написал пьесу «Лисята»?
  49. Кто написал роман «Сердце — одинокий охотник»?
  50. Кто написал пьесу «Странная парочка»?

Что я использовал: «Пожалуйста, дайте ответы на эти 50 запросов в следующем порядке:» + 50 вопросов, перечисленных выше.

Эссе об искусственном интеллекте

Моя подсказка:"Пожалуйста, укажите хорошую тему эссе, чтобы проверить скорость ChatGPT".

Подсказка, созданная ChatGPT:«Влияние искусственного интеллекта на общество и будущее работы».

Что я использовал.Напишите подробное, хорошо структурированное эссе на следующую тему: «Влияние искусственного интеллекта на общество и будущее работы».

Учебное пособие по Python

Моя подсказка: «Пожалуйста, напишите подсказку, чтобы проверить скорость ChatGPT при написании руководства по коду Python».

Приглашение, сгенерированное ChatGPT:«Напишите руководство по Python о том, как выполнять анализ тональности заданного текста. Учебник должен охватывать следующие шаги:

  1. Введение в анализ настроений и его приложения.
  2. Импорт необходимых библиотек, таких как nltk, pandas и numpy.
  3. Загрузка набора данных (вы можете использовать набор данных обзора фильмов из корпуса nltk).
  4. Предварительная обработка текстовых данных, включая перевод в нижний регистр, удаление знаков препинания, токенизацию и выделение корней.
  5. Преобразование предварительно обработанных текстовых данных в числовые данные с использованием подхода с набором слов или TF-IDF.
  6. Разделение набора данных на наборы для обучения и тестирования.
  7. Обучение модели машинного обучения (например, Наивного Байеса, SVM и т. д.) на обучающем наборе.
  8. Оценка производительности модели на тестовом наборе с использованием таких показателей, как точность, достоверность, полнота и оценка F1.
  9. Прогнозирование тональности нового невидимого текста с использованием обученной модели.
  10. Заключение и дальнейшая работа.

Учебник должен быть написан четким и лаконичным языком, с фрагментами кода и пояснениями к каждому шагу».

Что я использовал.Для этого я смог напрямую использовать выходные данные ChatGPT.

Как приготовить кофе

Моя подсказка:"Пожалуйста, напишите подсказку для руководства "Как сделать"".

Подсказка, созданная ChatGPT:«Как приготовить вкусную чашку кофе дома с помощью френч-пресса»

Что я использовал: пожалуйста, напишите подробное и подробное руководство для следующей подсказки: «Как приготовить вкусную чашку кофе дома с помощью френч-пресса».

Колонка советов

Моя подсказка: « Напишите подсказку, чтобы запросить у ChatGPT текст столбца с советами, с вопросом и ответом».

Подсказка, созданная ChatGPT:«В последнее время я чувствую себя очень подавленным и напряженным, какие практические советы помогут мне справиться со стрессом?»

Что я использовал. В стиле «Дорогая Эбби» напишите очень подробный и обстоятельный ответ на следующую просьбу о совете: «В последнее время я чувствую себя очень подавленным и напряженным. советы, которые помогут мне справиться со стрессом?»

Затем я запросил ChatGPT и ChatGPT Plus с этими подсказками по три раза каждое и записал время завершения.

В случае сетевой ошибки я останавливал время и перезапускал при перезапуске ChatGPT.

В случае длительного ответа я останавливал время, когда ChatGPT останавливался, просил его «Пожалуйста, продолжите» и снова запускал время, когда ChatGPT продолжал свой ответ.

Я построил результаты с помощью библиотеки matplotlib.pyplot.

Полученные результаты

На этом рисунке показано явное ускорение при использовании ChatGPT Plus. Все ответы для ChatGPT Plus (зеленые) были быстрее, чем ответы для ChatGPT (фиолетовые).

На этом рисунке показано, что среднее ускорение (фиолетовая пунктирная линия) составляет 2,56, что означает, что ChatGPT Plus быстрее, чем ChatGPT, в среднем в 2,56 раза.

На этом рисунке показано, что разница во времени завершения при использовании ChatGPT Plus намного меньше. За исключением учебника Python, диапазон времени завершения ChatGPT Plus составляет менее пяти секунд. Для ChatGPT диапазон варьируется от 3,3 до 37,5 секунд.

Примечательно, что диапазон с ChatGPT Plus намного выше для Python Tutorial. Тем не менее, как видно на рис. 1, максимальное время для этой подсказки в ChatGPT Plus (104,16 секунды) значительно меньше, чем минимальное время в ChatGPT (194,93).

Ошибки сети

С ChatGPT Plus не было сетевых ошибок. С ChatGPT было две сетевых ошибки в учебнике по Python и одна в эссе об искусственном интеллекте. Обе сетевые ошибки для руководства по Python произошли во время одного и того же теста, то есть два из 15 тестов (13%) привели к сетевой ошибке с ChatGPT.

Обсуждение

Результаты наглядно демонстрируют преимущество ChatGPT Plus над ChatGPT. Среднее ускорение 2,56 является значительным — для учебника по Python это означало экономию в среднем почти 100 секунд. Разница в диапазоне результатов также поддерживает более предсказуемую производительность ChatGPT Plus. Более высокий диапазон для учебника по Python заслуживает дальнейшего изучения. Это была единственная подсказка с кодом. Еще один тест со всеми подсказками, требующими генерации кода, может помочь устранить это несоответствие.

Угрозы действительности

Это было очень небольшое испытание (пять подсказок всего по три теста в каждом). Более крупное испытание обеспечит большую уверенность в этих результатах. Кроме того, испытания не были одновременными. Возможно, сервер был перегружен во время тестов ChatGPT.

Последнее слово

Я позволю ChatGPT сказать здесь последнее слово:

Я: Я провел несколько тестов и обнаружил, что ChatGPT Plus быстрее, чем ChatGPT, в среднем в 2,56 раза. Что вы можете сказать об этом?

ChatGPT: Поскольку модель языка ИИ разработана OpenAI, у меня нет возможности сравнивать себя с другими моделями. Однако возможно, что наблюдаемое вами повышение производительности может быть связано с различиями в оборудовании, сетевой архитектуре или другими факторами. Также важно отметить, что производительность модели может варьироваться в зависимости от конкретной задачи и входных данных.

Я: Спасибо за то, что вернул меня на Землю, ChatGPT.

ChatGpt: Добро пожаловать! Я здесь, чтобы предоставить полезную и точную информацию в меру своих возможностей. Если у вас есть дополнительные вопросы, пожалуйста, не стесняйтесь спрашивать.

# Если специально не указано иное, содержание этой статьи полностью написано мной.