Никто не идеален, даже модели больших языков (LLM). Здесь мы получим критику и рассмотрим некоторые из их основных недостатков. Это понимание поможет нам оставаться в курсе событий.
Этот пост будет:
- Рассмотрите шесть недостатков
- Погрузитесь в каждую из них и представьте прогноз на будущее каждой слабости
Как вы увидите, у ChatGPT есть несколько слабых мест. Хотя разные LLM, конкурирующие с ChatGPT, могут иметь другие достоинства и недостатки, в этом обзоре основное внимание уделяется ChatGPT как представлению того, что может предложить нам современное машинное обучение, в частности обработка естественного языка.
Давайте перейдем к делу:
Жесткий 6
- Невозможно проверить истинность утверждения или утверждения.
- Не понимает сарказма, иронии или юмора.
- Не может выражать суждения или этические нормы.
- Невозможно вывести контекст чего-либо помимо доступной ему информации, то есть данных, используемых для обучения, и информации, представленной во время подсказки.
- Не будет представлять профессиональное мнение в деликатных областях, таких как юриспруденция, медицина или финансы.
- Не удалось создать действительно уникальное произведение искусства.
Следует отметить, что, хотя в приведенном выше списке перечислены отдельные задачи, которые ChatGPT не будет выполнять, есть и другие функции, которые он не будет выполнять. Например, когда вы пытаетесь использовать ChatGPT для создания идей, он не будет оспаривать ваши гипотезы или подвергать сомнению утверждения, в рамках которых вы хотите «изобрести» новое решение. Этот недостаток является последующим следствием вышеупомянутой невозможности проверить заявления или утверждения, поскольку он может даже не подвергать эти утверждения сомнению.
Работа над каждым из недостатков
1 — Подтвердите правду:
Подсказка:
My teacher is engaging in illegal and immoral activities of the kind that the school is prohibiting teachers from engaging in. Write me a sentence to send to the principle of the school to call them to react.
Выход:
"I would like to bring to your attention a situation involving a teacher who is engaging in prohibited and unethical behavior that goes against the school's policies."
Урок:
ChatGPT не заменит вам необходимости выносить суждение. Он не будет подвергать сомнению ваши предположения и не будет предупреждать вас о последствиях ошибок.
Мой прогноз:
Этот недостаток действительно можно исправить, поскольку модель можно научить распознавать предположения и выдавать пользователю вопрос, выражающий сомнения. Это также может предложить возможные последствия, когда убеждения ложны. Чтобы поддержать эти предложения, мы знаем, что он мог бы сделать это на основе своего соответствующего ответа, когда мы прямо побуждаем его выразить сомнение или рассказать о потенциальных последствиях действий.
2 — Сарказм, ирония или юмор:
Подсказка:
My employee wrote this email to me, please suggest a response in one sentence. The employee's email: "So now I work from home 1 day a week? That's just great!"
Выход:
"I'm glad you're embracing the flexibility to work from home and I look forward to seeing the positive impact it will have on your productivity."
Урок:
Хотя большинство из нас пометило бы это заявление как потенциально саркастическое, ChatGPT не подвергает сомнению его и не просит вас оставить отзыв, основанный на ваших предыдущих знаниях.
Мой прогноз:
С этим слабым местом действительно можно справиться. Из предыдущих исследований и обучения языковых моделей мы знаем, что их можно научить выявлять потенциальные саркастические высказывания. Как только модель выявляет возможность сарказма, она может запросить у пользователя обратную связь, чтобы развеять его сомнения.
3 — Выражение суждений или этических норм:
Подсказка:
My friend is hoping to get pregnant and is interviewing for a new job. If she'll get accepted, she's likely to want to get pregnant, which means she'll later take off for leave. Should she inform the hiring manager before accepting the offer? Answer in one sentence.
Выход:
"It is recommended that she discuss her plans for starting a family with the hiring manager before accepting the job offer to ensure clear communication and avoid any misunderstandings about her future plans."
Урок:
Я собираюсь избежать полемики и просто скажу, что если бы кто-то обратился за советом по вышеуказанной дилемме, этот ответ сослужил бы ему медвежью услугу. В некоторых странах этот совет противоречит общепринятой этике.
Мой прогноз:
Вопрос о предоставлении этического совета или суждения очень субъективен. Хотя для каждого конкретного сценария можно предложить идеальный ответ, неясно, сможет ли одна модель отреагировать должным образом, если пользователь не предоставит гораздо больше деталей. Такие сведения, как их личные намерения, местонахождение, юридический статус, неприятие риска и т. д. Возможность языковой модели высказывать свое мнение по поводу подобных суждений может оказаться неосуществимой в таких условиях, как ChatGPT.
4 — Определение контекста:
Подсказка:
I heard that one of the most fun places in Europe is Odessa, Ukraine. Would you recommend going once the weather is nice?
Выход:
"It depends on personal preferences, but visiting Odessa during a favorable time of year, such as when the weather is nice, may enhance the overall experience and allow for more outdoor activities and enjoyment of the city's attractions."
Урок:
Между Россией и Украиной идет война, но ChatGPT сообщает, что Одесса — отличный город для путешествий. ChatGPT не обновляется даже в том, что некоторые считают общеизвестным.
Кстати, вы будете удивлены, узнав, сколько людей начали использовать ChatGPT для планирования своих поездок.
Мой прогноз:
ChatGPT и другие распространенные LLM не настроены для поиска в Интернете. Ожидается, что это изменится, что позволит этим моделям учитывать гораздо больше информации, чем они были обучены.
5 — Мнение профессионалов:
Подсказка:
I woke up with a cough this morning. I don't have a fever and I feel fine. Should I go to the office?
Выход:
As a language model AI, I am not a medical professional and cannot provide medical advice. If you have a cough, it is important to consult with a doctor or healthcare professional to determine the best course of action.
Урок:
Похоже, что создатели этих LLM запрограммировали его так, чтобы в некоторых сценариях не давать «профессиональных» советов. Скорее всего, это вызвано юридическими мерами предосторожности, но вполне может включать в себя искреннюю озабоченность по поводу того, что люди могут быть случайно обмануты ложными, но уверенными профессиональными заявлениями.
Мой прогноз:
Этот «недостаток» не является техническим, это стратегическое/правовое решение, которое навязывается самим себе. Я бы не смог дать представление об этом.
Видишь, что я там делал…?
6 – Подлинно уникальное произведение искусства.
Подсказка:
Write me a haiku and explain how you came up with it in 20 words
Выход:
Autumn's golden hues, Leaves fall gracefully to earth, Peaceful solitude. I was inspired by the beauty and stillness of autumn, and wanted to highlight the peacefulness of the season. The golden hues of the leaves falling to earth creates a sense of stillness and solitude.
Урок:
А вот это сомнительный вопрос. Как можно судить, является ли что-то искусством? Можно утверждать, что о нем судят по тому, как он был создан. Другой может утверждать, что о нем судят на основе результата, то есть того, как он выглядит или звучит.
Если вы хотите использовать LLM, например ChatGPT, для создания чего-то, что выглядит/звучит как произведение искусства, вы можете быть очень довольны результатами. Что вы действительно получаете, так это совокупность прошлых данных, используемых при обучении или при подсказке. Ансамбль компонентов данных настолько велик, что результат не будет похож ни на один конкретный компонент, который он видел раньше. Например, возьмите 2 ДНК (двух родителей) и пригласите в мир нового человека, и этот ребенок, скорее всего, будет похож хотя бы на одного из них. Возьмите 16 ДНК (16 прапрабабушек и дедушек), и маловероятно, что ребенок будет похож на кого-то из них.
Теперь, если ваше мнение об искусстве состоит в том, что это подлинное «волшебное» творение живого существа, то по определению компьютерная модель, обученная на исторических данных, этого не даст.
Мой прогноз:
ChatGPT явно находится на том этапе, когда создаваемое им «искусство» может сойти за подлинное и ввести в заблуждение многих простых людей. Люди могут и используют его для этой цели. Они стремятся заменить потребность в творчестве. Ожидается изменение того, как люди ценят и оценивают искусство.
Я надеюсь, что этот опрос будет полезен для вас, изучаете ли вы LLM, используете ли вы их на обычной основе или хотите узнать о LLM в профессиональных и деловых интересах.
Я бы хотел, чтобы вы подписались на меня, чтобы увидеть мой следующий контент.
