Переход к решениям VS уточняет проблему до тривиальности

С массовым взаимодействием вокруг и вокруг ChatGPT (ранее) существовавшая путаница вокруг того, что решение ИИ может или должно означать на самом деле, всплыло гораздо больше. Работая над прояснением проблемы интеллекта в течение многих лет, я активно доказывал, что эти путаницы являются серьезной проблемой — здесь. Чтобы было ясно, эта статья не имеет ничего общего с chatGPT или GPT-4 или против них. Я очень взволнован этими инженерными чудесами и дверями, которые они открывают. Однако мы собираемся подвергнуть сомнению то, как мы проводим исследования, а также интерпретацию и восприятие людьми таких систем с точки зрения продвижения к ИИ.

Фундаментально и точно есть только два подхода к решению проблемы. Давайте рассмотрим их подробно, и вы увидите, что различие имеет большое значение, когда речь идет о «решении ИИ» или исследованиях ИИ в целом. Вот два:

  1. «Ориентирован на ответы»: вы предполагаете, что достаточно хорошо знаете формулировку проблемы.
  2. «Ориентирован на вопросы»: вы предполагаете, что НЕ знаете истинную формулировку проблемы достаточно хорошо, пока ее решение не станет почти тривиальным.

Второй подход — это, по сути, то, что Эйнштейн называет своим собственным в своей знаменитой цитате:

«Если бы у меня был час на решение проблемы, я бы потратил 55 минут на обдумывание проблемы и 5 минут на размышления о решениях».

Однако подавляющее большинство работ не только в области ИИ, но и в любой области почти полностью относится к первому подходу. Одной из причин этого является наше человеческое состояние (типичные склонности и другие ограничения), но другая причина, как можно было бы возразить, заключается в том, что, возможно, мы не решаем очень или по-настоящему трудные проблемы! Чем сложнее проблема, тем более выраженной должна быть разница между двумя подходами.

Отличия:

Давайте рассмотрим различия между ними, чтобы прояснить и увидеть, что они действительно принципиально различаются как в теории, так и на практике:

  • В (1) мы ищем ответы. В (2) мы гонимся за лучшими вопросами
  • В (1) мы занимаемся поиском решений, ищем лучшее среди них. В (2) мы начинаем придумывать лучшие вопросы, чтобы сформировать лучшие формулировки проблемы.
  • В (1) все, что мы делаем, служит улучшению следующей версии решения. В (2) все, что мы делаем, в первую очередь служит уточнению постановки задачи.
  • В (1) мы полагаем, что достаточно близко подошли к пониманию проблемы, чтобы путем проб и ошибок решить ее достаточно скоро. В (2) мы зациклены на том, чтобы лучше понять проблему, и настаиваем на том, чтобы не делать этого до тех пор, пока она не будет почти решена.
  • В (1) мы отдаем приоритет решению какой-то проблемы, даже если это может быть не та проблема, которую нужно решать в конечном итоге. В (2) мы тоже решаем проблемы, но с явной целью найти правильную конечную проблему для решения.
  • В (1) мы заменяем проблему какой-то другой постановкой задачи и вскоре забываем, что сделали это. В (2) мы максимально осознаем, что текущая проблема — это только средство для определения лучшей следующей проблемы.
  • В (1) мы склонны не воспринимать философию и основы всерьез. В (2) мы относимся к ним гораздо серьезнее.
  • В (1) мы гораздо больше фокусируемся на получении немедленных ощутимых результатов. В (2) нормально не иметь немедленных ощутимых результатов, пока вы делаете успехи в накоплении новых идей и заблуждений.
  • В (1) наша скорость видимого прогресса более или менее линейна. В (2) это имеет тенденцию быть очень нелинейным, то есть похоже, что мы задерживаем прогресс, а затем быстро прыгаем.
  • Подход (1) проще, требуется меньше времени, чтобы продемонстрировать прогресс и убедить в этом других, но для завершения требуется больше времени, если вообще требуется, что является реальным риском. Подход (2) сложнее, требует гораздо больше времени, чтобы продемонстрировать какой-либо прогресс, и гораздо сложнее получить поддержку от людей, но, в конце концов, занимает меньше времени или более короткое расстояние до финиша.

Последний пункт выше является причиной того, что почти все исследования в любой области относятся к типу 1. Мы, люди, не так терпеливы, когда дело доходит до сильно отсроченного удовлетворения.

Внешнее сходство:

Эти два подхода также могут выглядеть ужасно похожими. В обоих подходах мы ставим вопросы и решаем промежуточные задачи. Во многих случаях промежуточный вопрос или проблема могут быть одинаковыми в обоих подходах, даже промежуточные ответы/исследования могут быть одинаковыми. Однако, что отличается, так это приоритеты. Второй подход (сосредоточенный на вопросах) уделяет гораздо больше внимания тому факту, что то, что решается, может быть не правильной проблемой, в том смысле, что мы готовы прыгнуть, чтобы поставить новую проблему или пересмотреть принципы, которым нужно следовать, прежде чем мы полностью решили проблему в соответствии с существующим условием задачи.

В обоих случаях вы, конечно, задаете вопросы. И многие вопросы могут выглядеть совершенно одинаково, но уж точно не все, и уж точно последовательности их не будет. Вопросы всегда приходят группами, а не поодиночке. Почему мы задаем вопрос и намерение, стоящее за ним, как правило, является разницей между двумя подходами.

Еще один способ увидеть это — заметить, что все размышления связаны с прояснением некоторых размышлений! Речь идет об уточнении ваших мыслей и придумывании какого-то ясного примера, какого-то вопроса, в котором известен каждый элемент, кроме одного, что делает возможным прогресс. Это справедливо для обоих подходов. Действительно, из-за этих сходств трудно определить разницу между двумя подходами, тем не менее, они принципиально различны.

На практике:

Вы спросите, а не сделать ли нам и то, и другое или как-то совместить? ну, по определению вы не можете делать и то, и другое одновременно, они принципиально различны и взаимоисключающие. Вот схема использования. На самом деле все начинают хотя бы немного со второго подхода (ориентированного на вопросы), а затем в какой-то момент переключаются на первый подход (ориентированный на ответы). За исключением того, что большинство людей делают этот переход почти сразу, как только они находят формулировку проблемы, по которой они могут измерить какой-либо прогресс. И на что Эйнштейн ссылается в своей цитате выше, так это на то, что он переключится почти в самом конце, когда проблема станет очевидно решаемой! Разница между людьми/исследователями/мыслителями действительно заключается в том, как скоро они переключаются со второго подхода на первый. .

Эту точку переключения можно охарактеризовать как точку, когда мы думаем, что поняли ее, опять же, как момент, когда мы предполагаем, что достаточно хорошо знаем постановку задачи. После переключения наше отношение становится универсальным. Мы надеемся придумать по крайней мере полезное решение, и пока мы делаем какой-то прогресс, мы забываем о втором подходе. Исследователи во всех областях уязвимы для этого, особенно когда мы можем придумать решения, которые действительно могут быть реализованы и протестированы. Мы убеждаем себя, что это может быть РЕШЕНИЕ, которое открывает что-то или вызывает некоторую трансформацию и т. д. Подход, сфокусированный на ответах, — это, по сути, подход, основанный на надежде.

Во втором подходе, эйнштейновском, «надеющаяся» часть откладывается до тех пор, пока она почти не понадобится, так как вы уже видите решение. Вот почему я хотел бы назвать подход, основанный на вопросах, как более принципиальный подход к решению проблем.

Примеры и аналогии:

Два подхода, которые я до сих пор описывал в абстрактных терминах, известны в разных терминах в разных областях:

На языке оптимизации подход (1) аналогичен методам, которые рискуют застрять в «локальных оптимумах», тогда как подход (2) строго запрещает это и заставляет пропускать празднование достижения любого такого локального оптимума. Достижение локального оптимума можно интерпретировать как нахождение ответа на проблему А, но не НА (истинную) проблему (т. е. глобальный оптимум).

На языке машинного обучения, особенно в «обучении представлений», наша цель — получить представление, вложение, в пространствах, где вещи линейно разделимы. После чего любая тупая линейная система (например, линейный классификатор) может решить последний шаг. У меня нет для вас лучшей аналогии, чем эта, чтобы сказать, что значит «решать что-то, не решая этого»! Изучение правильного представления проблемы, по сути, эквивалентно ее решению (то есть тому, что Эйнштейн имел в виду под первыми 55 минутами своего часа решения проблемы).

На языке разработки продукта первый подход гораздо больше похож на каскадную модель, предполагающую, что вы достаточно хорошо знаете проблему и можете просто приступить к ее решению. Напротив, Agile-разработка гораздо больше заимствует дух второго подхода и повторяет проблему. Название Agile вводит в заблуждение и передает скорость, тогда как истинная причина Agile заключается в неуверенности в решении правильной проблемы.

В разработке программного обеспечения «разработка через тестирование» или TDD — это структура, которая имитирует дух второго подхода в том смысле, что вы сначала пытаетесь пройти первый набор тестов, чтобы получить лучшее понимание того, что даже решение этих означает. Вместо того, чтобы стрелять прямо, чтобы создать некоторый заданный набор функций (и молчаливо предполагая, что мы знаем, что влечет за собой). TDD гораздо больше соответствует пониманию.

Наконец, один из аспектов определения роли правильной философии в каждой области заключается в том, чтобы предотвратить застревание деятельности в этой области в режиме бесконечной фокусировки на ответах. Учитывая нашу естественную тенденцию переключаться на этот режим и очевидное сходство в промежуточных исследованиях (между двумя подходами, как обсуждалось выше), необходимость и потребность в каком-то механизме обновления должны быть очевидными. И это то, что делает настоящая философия (не обязательно настоящий философ).

Вывод:

Мы рассмотрели только два фундаментальных подхода к решению проблем. (1) Предполагая, что вы достаточно хорошо знаете формулировку проблемы, или (2) упорно предполагая, что вы этого не знаете. Подход (1) является более простым, гораздо более приятным, но и более рискованным подходом. Подход (2) является гораздо более сложным, но в конечном итоге более безопасным подходом. Учитывая, что «проблема интеллекта» — действительно важная проблема, игнорировать то, как мы принципиально подходим к ее решению, не следует считать мудрым. В следующем посте я подробно применяю эти уроки к миру исследований ИИ.