В рамках курса, который я читаю в этом семестре, можно познакомиться с общей идеей хомскианских аргументов в лингвистике. Но интересно то, что эти аргументы не ограничиваются только языком, а искусственный интеллект является важной частью этих дебатов. Я читал лишь небольшую часть недавней работы по таким дублям, большая часть работы Хинтона (который, кстати, кажется, думает, что обратное распространение не работает), но, как любой студент бакалавриата, я чувствую, что мои взгляды имеют значение, что возвращает меня к моему сообщению в блоге. .

Таким образом, вкратце споры между нативизмом и эмпиризмом во многом касаются изучения и усвоения языка. Он имеет больше философский уклон, чем учебный. Мы стремимся понять усвоение языка, используя два противоположных подхода к теме. Первый из них, с эпистемологической точки зрения, стремится верить, что разум — это скорее чистый лист, который изучает идеи из опыта и всего, что дается в качестве входных данных для разума. Это говорит о том, что даже концепция идей в уме также усваивается, и разум не рождается с генетически наделенной способностью изучать идеи, включая зрение и языковые способности. Единственное, что он рождается, это способность принимать идеи, единственное ключевое отличие от других животных. Но такие способности могут быть, а могут и не быть общими для всех.

Противоположное мнение обыгрывает несколько идей, таких как аргумент «бедности стимулов», быстрое обучение и общие черты между большинством идей, которые являются частью общего дискурса в этом исследовании. Он считает, что разум обладает некоторыми базовыми способностями к обучению. Эти способности позволяют мозгу очень легко приспосабливаться к новым входным данным и, следовательно, изучать новые идеи и языки. Идея нуждается в вводе, но существует исходное состояние ума, которое соответствует новым идеям и устанавливает инициацию новой идеи из основной идеи. Следовательно, это означает, что большинство идей имеют все сходные общие черты. Таким образом, эти черты присущи уму, поэтому эта идея получила название нативизм.

Но это все нормально, люди учились этому до смерти, изучая овладение языком. Но ИИ сейчас на подъеме, и многие люди, как и я, заинтересованы в изучении того, как эти идеи реализуются в ИИ.

ИИ тоже нужны некоторые базовые идеи. Эти идеи очень похожи на те, которые обычно используются в лингвистике и не только. Но в наши дни ИИ в основном управляется машинным обучением или глубоким обучением. Следовательно, это означает, что идеи во многом основаны на данных, которые нам доступны. Поэтому ИИ в основном эмпиричен в своем подходе. Но в основном ИИ нужны нативные идеи. Они могут быть очень простыми. Как идеи ценностей и политик в обучении с подкреплением, которые очень похожи в том, как подходить к проблеме оптимизации, считаются актуальными.

У ИИ много таких идей. Идея обучения по учебной программе также помогает нам учиться на том, что делают другие люди, и оптимизировать это. Что очень умно, ведь даже в баснях Эзопа тоже говорилось, что «Быстрый человек учится на своих ошибках. Мудрый человек учится на чужих ошибках». ИИ учится как на своих собственных ошибках, так и на ошибках других агентов, которые могут оптимизировать подобные идеи.

Но вот вопрос? Нужны ли нам базовые идеи или достаточно стимулов для современных технологий SoTA AI? В целом это было замечено. Идеи могут быть такими же простыми, как генеративно-состязательные сети, которые просто используют две разные модели нейронных сетей для обучения друг друга, сопоставляя их друг с другом и оптимизируя путем поиска седловых точек и делая это эффективно.

В целом, я считаю, что такие простые вещи, как CNN, RNN, которые используют очень простые идеи, стоящие за ними, и в конце концов приводят нас к ResNet, InceptionNet. Они показывают нам, что идеи, которые, как мы видим, работают и являются врожденными / общими для данных, в некоторой степени связаны с некоторыми основными неврологическими идеями. Таким образом, эти идеи работают только потому, что они обладают свойствами, вполне подкрепленными наблюдениями, что само по себе является эмпирическим аргументом. Эти свойства работают, потому что есть некоторые вещи, присущие всем видам наблюдаемых данных. Например, одним из них является наличие временной и пространственной инвариантности признаков данных в сигналоподобных конструкциях. Таким образом, это подразумевает, что ум тоже должен изучать вещи таким образом. И поэтому он должен иметь соответствующие априорные сведения о некоторых идеях и результатах, которые позволили бы нам использовать их по-разному, чтобы получить результаты, которые мы делаем.

Возможно, стоит поговорить и о некоторых интересных свойствах этих результатов. Не любая идея, а только те, которые считаются достаточно распространенными, — единственная причина включать их в набор базовых идей для ИИ.

Но вопрос в том, похожи ли эти идеи на то, что у нас в голове? Какие идеи у нас в голове? И можем ли мы просто использовать их повторно? Вопрос также в том, работают ли эти идеи только в нашем уме из-за каких-то других способностей, поддерживающих эти идеи. Чтобы идея работала в компьютерных системах, мы должны быть уверены, что эти идеи согласуются с параллельными особенностями методов, используемых в ИИ.

Это также приводит нас к двум противоположным путям исследования. Во-первых, улучшить модели таким образом, чтобы они могли лучше учиться, используя больше данных, при этом удостоверившись, что существует широкий спектр врожденных идей, которые одновременно применяются для адаптации к данным. Другой противоположной идеей было бы придумать лучшие идеи, основанные на параллельных исследованиях в области философии, обучении в целом и идеях приобретения. Исследования здесь будут заключаться не в том, чтобы лучше адаптироваться к данным, а в том, чтобы лучше понять данные, используя обучение, которое приводит к выводам.

Мои взгляды, куда идти? Не имеет значения. Это для другого поста.