Две недели назад мы с женой приветствовали в нашей семье мальчика, нашего первого ребенка. Это было утомительно, тревожно и радостно. Это также была возможность поразмышлять о природе разума и человеческого опыта.
Я нахожу себя очарованным тем, на что похож разум новорожденного. Я вижу, как его глаза блуждают, расфокусированные, иногда косоглазые, поскольку он, кажется, очень интересуется своим собственным носом. Он реагирует на внешние раздражители, но не понимает ничего из того, что происходит вокруг него. Мой собственный субъективный опыт настолько далек от его собственного, что мне трудно понять, каково быть им. Видение, слух, осязание — все это новые ощущения, не говоря уже об информации, которую они приносят. Для младенца даже новизна нова, и это должно быть сбивающим с толку переживанием.
Каково это в первые дни и недели развития ума, которым занимается ребенок? Как специалист по данным, я не могу не провести несколько сравнений с моделями машинного обучения, а также с тем, как они функционируют и развиваются. Биологический мозг — это оригинальная нейронная сеть, и с 86 миллиардами нейронов это действительно глубокое обучение. И биологический, и искусственный разум учатся в процессе примеров, оценок и исправлений. Для ребенка примеры неструктурированы в виде его взаимодействия с окружающей средой, тогда как для модели машинного обучения примеры представлены в гораздо более строгом формате (данные для обучения). Коррекция для ребенка может в конечном итоге исходить от родителей, исправляющих его использование языка, и сначала, возможно, только внутренне, путем сравнения способов, которыми мозг экстраполирует непрерывный поток информации, все еще поступающей через органы чувств. Для модели правильность приходит через минимизацию целевой функции.
Обучение, которое делает ребенок, также требует огромного количества сна. Младенцы много спят, в том числе много быстрого сна (до 8 часов в сутки). Этот сон играет важную когнитивную роль, позволяя мозгу ребенка обрабатывать всю поступающую информацию и передавать ее из гиппокампа в неокортекс, позволяя одной части мозга обучать другую. Это способствует формированию долговременных воспоминаний, важных как для обучения, так и для самоидентификации. Есть ли корреляция сна в мире машинного обучения и искусственного интеллекта? Возможно, это станет темой для следующего поста.
Модели машинного обучения могут предложить промежуточное представление о ходе обучения. Несколько примеров приводит Андрей Карпати по эволюции образцов во время обучения.
Тарабарщина, которую производит модель LSTM на ранних этапах обучения, кажется сродни неразборчивому лепету ребенка. Через множество циклов итеративной коррекции и ребенок, и модель могут эволюционировать, чтобы создать что-то связное. Подобные закономерности можно увидеть в моделях классификации или генерации изображений.
Возможно, это не идеальное сравнение. Знаменитый лингвист Ноам Хомский недавно написал мнение для New York Times, в котором осудил ошибочный взгляд на познание и обучение, который представляют модели больших языков, такие как ChatGPT.
Человеческий разум, в отличие от ChatGPT и ему подобных, не является неуклюжим статистическим механизмом для сопоставления с образцом, поглощающим сотни терабайт данных и экстраполирующим наиболее вероятный разговорный ответ или наиболее вероятный ответ на научный вопрос. Наоборот, человеческий разум — удивительно эффективная и даже элегантная система, оперирующая небольшими объемами информации; он стремится не выводить грубые корреляции между точками данных, а создавать объяснения.
Например, маленький ребенок, овладевающий языком, развивает — бессознательно, автоматически и быстро из мельчайших данных — грамматику, чрезвычайно сложную систему логических принципов и параметров. Эту грамматику можно понимать как выражение врожденной, генетически установленной «операционной системы», которая наделяет людей способностью генерировать сложные предложения и длинные цепочки мыслей.
Эта точка зрения состоит в том, что дети учатся строить генеративные правила, а не просто воссоздавать примеры, что предполагает дополнительную эффективность и изощренность биологического мозга. Дети используют примеры для построения правил экстраполяции, в то время как модель пытается воссоздать достаточно сформированные примеры (относительно функции ошибок) напрямую.
Хотя я больше заинтересован (и активно участвую) в развитии разума моего собственного ребенка, модели машинного обучения, включая модели больших языков, такие как ChatGPT, будут продолжать расти вместе с его развитием в ближайшие годы. Как бы ни работали эти умы, ребенок и бот оба будут обеспечивать постоянно развивающиеся взгляды на внутреннюю работу когнитивных процессов, которые похожи на мои, но отличаются от них. Я с нетерпением жду роста обоих с различной долей радости, трепета и волнения.
