Машинное обучение, Неврология

Обучение с подкреплением, мозг и психология: основы нейробиологии 2

Нейротрансмиттеры, обучение, память, поиск пути и как все это связано с алгоритмами ИИ.

В прошлый раз мы закончили с синапсами, а сегодня завершаем введение в нейробиологию. Понимаете, все это лишь верхушка айсберга. Вся идея серии состоит в том, чтобы узнать хоть что-нибудь о нашей нейронной сети, чтобы мы могли черпать из нее вдохновение и, возможно, даже воссоздать ее.

Итак, сегодня вы узнаете о различных типах нейротрансмиттеров, регуляторах в нашем организме, экспериментах на лягушках и способности аксонов расти заново.

Давай начнем.

Нейротрансмиттеры

Нейротрансмиттеры - это химические посредники, которые передают сообщение от нервной клетки через синапс к целевой клетке. Мишенью может быть другая нервная клетка, мышечная клетка или клетка железы (группа клеток, которая синтезирует вещества). Это химические вещества, вырабатываемые нервной клеткой специально для передачи сообщения. Нейротрансмиттеры могут быть пептидами, но в основном это аминокислоты или нуклеотиды. И в одном синапсе может быть много типов нейротрансмиттеров.

В предыдущей статье мы говорили, что есть возбуждающие и тормозящие синапсы, но синапсы определяются производимыми ими нейротрансмиттерами. Итак, существуют возбуждающие и тормозящие нейромедиаторы.

Примерами возбуждающих нейромедиаторов являются глутамат (участвует в бдительности) и аденин (участвует в сонливости). И, например, кофеин нейтрализует действие аденина.

Что касается ингибиторов ,, существуют, например, ГАМК (гамма-аминомасляная кислота) и глицин, которые два основных центральных нервных системы нейротрансмиттера. ГАМК, помимо других функций, обладает успокаивающим действием нейромедиатором, поэтому повышенная активность ГАМК может иметь седативный эффект. А глицин участвует в обработке моторной и сенсорной информации, которая обеспечивает движение, зрение и слух.

Также существуют нейротрансмиттеры, которые возбуждают и тормозят. Например, ацетилхолин, который участвует в нервно-мышечных связях, а также содержится в центральной нервной системе, серотонин и дофамин, которые заставляют вас чувствовать Хорошо, о дофамине поговорим в следующей статье.

Возможно, вы уже догадались, но я отмечу это явно, нейротрансмиттеры перемещают потенциал действия нейронов. Тормозящие снижают значение потенциала действия (я действительно не могу перестать думать об этом в математических терминах) от порога срабатывания и возбуждающие наоборот.

Рецепторы

Если что-то посылает эти нейротрансмиттеры (базовые сигналы), то это должно получать что-то другое. нейротрансмиттеры влияют на то, что они собираются делать, путем связывания соответствующих рецепторов. Существует много типов рецепторов, и на синапс может быть более одного типа рецепторов. Но мы придерживаемся основ, поэтому вот два класса, о которых вам обязательно нужно знать.

Первый - это ионотропный рецептор (ионные каналы), это рецепторы, которые связывают нейромедиатор и открываются. И у них очень быстрый отклик (в миллисекундах).

Второй класс - это метаботропные рецепторы, это не ионные каналы, и они фактически работают, связывая нейротрансмиттеры, которые активируют вторую систему обмена сообщениями, которая, в свою очередь, позже, открывает ионный канал. И их реакция намного медленнее (часто намного больше секунды).

Опять же, один нейромедиатор может активировать более одного типа рецепторов. Это подразумевалось в представлении о том, что нейротрансмиттеры могут быть как тормозящими, так и возбуждающими. Например, серотонин связывает не менее чем с 14 рецепторами. И один нейрон может экспрессировать целую группу рецепторов серотонина.

Итак, как видите, наши тела, как правило, связаны между собой "многие ко многим". Представьте себе масштаб (миллионы и миллиарды нейронов, синапсов, дендритов, нейротрансмиттеров и рецепторов), и вы, вероятно, поймете, почему мы вообще не можем моделировать наш мозг.

Регулирование

Мы уже говорили, что в нашем организме больше химических синапсов, чем электрических синапсов, потому что химические синапсы хорошо регулируются. Итак, теперь мы говорим конкретно об этих химических синапсах и о том, как они настраивают реакцию нашей нервной системы на мельчайшие раздражители как внутри нашего тела, так и извне.

Есть несколько способов регулирования синапсов, по крайней мере, о которых мы знаем, но все они связаны с изменением количества нейротрансмиттеров.

Первый - разложение, что означает, что когда нейромедиатор высвобождается, в некоторых случаях он разлагается определенными ферментами, например, есть определенный фермент, который расщепляет ацетилхолин. И обратите внимание, насколько нежна эта система, если этот фермент подавлен, вы впадаете в респираторный шок, вы больше не можете дышать, потому что вам нужно активировать и инактивировать мышцы через нервы, когда вы дышите. И ацетилхолин действительно активирует ваши мышцы.

Другой способ изменить количество нейромедиаторов - это повторное поглощение (реабсорбция) пресинаптической клеткой. Когда нейромедиатор высвобождается, он может быть поглощен пресинаптической клеткой, и это своего рода разумный способ делать что-то, потому что клетке не нужно продолжать синтезировать нейротрансмиттеров больше нет. Именно так обстоит дело с серотонином и дофамином.
А в некоторых случаях вы можете регулировать синтез, то есть количество нейротрансмиттеров, которые сделал. Большой класс регулируемых таким образом нейротрансмиттеров - это эндорфины , которые являются естественными опиатами организма, в основном регуляторами боли.

Все эти процессы регулируются как для модуляции нормальных синапсов, так и во всех случаях для целей лечения. Короче говоря, наше тело изменяет количество нейротрансмиттеров в ответ на раздражители, но также и лекарства меняют их количество.

Возьмем, к примеру, нервно-паралитический газ. Во время Второй мировой войны США использовали газ под названием зарин против японских войск, скрывающихся под землей. Этот газ ингибирует ацетилхолинэстеразу, которая должна расщеплять ацетилхолин в синаптической щели. Поэтому рецепторы подвергаются многократной стимуляции ацетилхолином, что приводит к параличу дыхания и смерти.

Однако этому можно противопоставить атропин , конкурентный ингибитор ацетилхолина. Он связывается с рецепторами и предотвращает появление ацетилхолина от привязки тем самым спасая от смерти. Именно так солдаты США защищались от газа, у них были пузырьки с атропином. Так что в случае приступа нервно-паралитического газа, если вы введете себе атропин, вы остановите действие ацетилхолина и выживете, однако вы, вероятно, будете в некотором роде дискета.

Другой способ изменить частоту стимуляции постсинаптической клетки - это модуляция рецепторов. Интуитивно понятно, что если у вас больше рецепторов, у нейромедиатора будет больше места для связывания, и, следовательно, может быть отправлен более сильный сигнал.

Итак, есть три способа сделать это: вы можете изменить количество рецепторов, сродство к нейротрансмиттеру и реакцию рецептора. И все эти три вещи как-то связаны с обучением, памятью и зависимостью, эти изменения происходят очень медленно, они происходят в течение минут, дней и недель.

Одним из результатов изменения всех этих параметров рецепторов является то, что в течение длительного периода времени вы действительно меняете способ работы синапса. По сути, это то, что делает практика. Вы настраиваете, как синапс работает, с помощью этих параметров, многократно моделируя этот синапс. Например, когда вы играете на гитаре, вы постепенно меняете синапсы, которые позволяют вам заниматься этой деятельностью.

Итак, есть два возможных исхода, при которых синаптический ответ изменяется из-за повторяющейся синаптической стимуляции. Это либо повышенный, либо пониженный ответ. Повышенная реакция происходит в возбуждающих синапсах, это означает, что потенциал действия более вероятен, и этот процесс известен как долгосрочное потенцирование. Снижение реакции, с другой стороны, происходит в тормозных синапсах, и этот процесс известен как долговременная депрессия.

Считается, что так работает память. Что касается обучения с подкреплением, связи, которые приводят вас к более высокому вознаграждению, становятся сильнее, и наоборот, связи, с которыми вы совершаете ошибки, становятся слабее. Как и в искусственных нейронных сетях, чем меньше вес нейрона, тем меньше он влияет на результат.

Схемы

Еще одна концепция, о которой мы должны поговорить, - это нейронные цепи. Нейроны в нашем мозгу действуют не просто как отдельные единицы, а образуют группы интересов, так сказать.

Просто посмотрите, и эти снимки мозга, мы применяем несколько разных областей нашего мозга для каждой задачи. Десятки тысяч нейронов используются для обработки того, что и как вы видите и говорите. И это всего лишь активность мозга, которую мы измерили на поверхности, также известной как нервная кора, представьте, что происходит глубже.

Однако настоящие вопросы здесь заключаются в том, как сформировались схемы и как нейроны знают, где соединяться. Давайте подумаем логически: это либо случайный процесс, что звучит немного глупо, либо управляемый процесс, что звучит намного лучше.
Можно утверждать, что эволюция - это все о мутациях, а мутации случайны, так почему глупо рассматривать что на протяжении миллиардов лет мы случайным образом разрабатывали все нейронные цепи? Дело в том, что мы постоянно развиваем внутри себя новые связи, как мы уже говорили, мозг может значительно измениться благодаря обучению и совершенствованию новых навыков. И не только это, существует множество жизненно важных процессов, которые необходимо восстановить в случае разрушения, и как может случайный процесс сделать это, просто беспорядочно выполняя действия, пока он, наконец, не заработает?

Короче говоря, как случайный процесс (выжить, если была установлена ​​связь), так и управляемый процесс (указание, куда идти) установления путей и связей внутри нашего тела после многих лет исследований оказались правильными.

Эксперимент с вращением сетчатки у лягушки Сперри

Один из наиболее заметных экспериментов в этой области был проведен Роджером Уолкоттом Сперри в 1960-х годах. Он взял лягушку, вырезал ей глаз, повернул на 180 ° и положил обратно, чтобы посмотреть, восстанавливаются ли нейронные связи и как. Чистые лягушки, правда?

На сетчатке лягушки есть две области сетчатки, а также наша, носовая, расположенная рядом с носом, и височная, с другой стороны. Эти области соответственно связаны с двумя областями тектума зрительного нерва, который, среди многих других функций, отвечает за направление движений глаз. В ходе эксперимента эти соединения были оборваны, и через некоторое время спойлер восстановился.

Одним из возможных результатов является то, что аксоны, чья работа заключается в прокладывании этих путей, случайным образом натыкаются на какую-то область мозга и соединяются с ней, но оказывается, что аксоны «знают», где расти. Вот почему лягушка смогла восстановить зрение и движение глаз, и Парри получил за этот эксперимент Нобелевскую премию. Так что, думаю, все выиграли.

Не только управление нейронами (аксонами) происходит во время развития и восстановления нашего тела, но ученые также думают, что это происходит и во время обучения новым навыкам. Так что у некоторых из нас может быть буквально более сложная система, чем у других. И это прекрасно вписывается в нашу постоянную метафору о компьютерных системах и человеческом мозге, система, способная выполнять множество функций, обычно более сложна и продвинута, чем менее развитые аналоги, поэтому постоянное обучение новому навыку и расширение вашего кругозора может быть очень хорошей идеей. .

Конус роста

Было обнаружено, что нейробласт, в основном формирующийся нейрон, во время своего развития посылает процессы, которые называются нейритами, которые сначала выглядят одинаково, но позже один из них становится аксоном. а остальные становятся дендритами. Это когда формируется пионерный аксон (первый, кто находит цель), а остальные следуют по тому же пути, который создает связку аксонов, или пучков , и вместе они нервничают.

Но как аксон-первопроходец ищет путь? На самом конце аксона есть предмет, называемый конусом роста, который похож на какой-то детектор.

Микротрубочки не только стабилизируют аксон, но и транспортируют вещества в тело клетки и из него, как маленькие железнодорожные пути. В самом конце они пересекаются с этими пальцевидными выступами, которые очень динамичны, я скоро покажу вам видео, и они выступают из-за полимеризованного актина (F-актина).
На поверхности конуса роста есть рецепторы, которые отбирают образцы лигандов в окружающей среде, и если лиганды благоприятны, они стабилизируют эти выступы и заставят их занять больше места.

Конус роста имеет первостепенное значение для разрастания аксонов, он похож на навигационную систему, которая улавливает сигналы, привлекающие к ним аксоны, или сигналы, отталкивающие аксоны. Увеличение количества F-актина в окружающей среде создает привлекательные сигналы и заставляет конус роста расширяться. Что касается сигналов отталкивания, конус роста схлопывается из-за того, что F-актин становится G-актином или неполимеризованным актином.
лиганды являются на самом деле это управляющие сигналы, когда они связываются с рецептором, и это приводит к передаче сигнала, следовательно, к разрастанию аксонов.

Это напоминает мне алгоритмы поиска, которые мы применяем в информатике. Он идет в одном направлении, понимает, что эвристика там не работает, переключается на новую дорогу и повторяет ее, пока путь не будет найден.

Заключение

Неврология - удивительная, ошеломляющая и невероятно сложная область исследования. Я пытался рассказать вам как можно больше о нашем мозге, но я не эксперт, поэтому могут быть неточности. Однако я призываю вас исследовать эту тему и черпать из нее вдохновение.

В следующий раз мы поговорим о дофамине, системе вознаграждения нашего тела и функциях вознаграждения в обучении с подкреплением, так что следите за обновлениями.

Свяжитесь со мной в Twitter, LinkedIn, Facebook и подпишитесь на GitHub!

Источники

[1] Хейзел Сив, Тайлер Джекс и Дивия Синха. 7.013 Вводная биология. Весна 2013 г. Массачусетский технологический институт: MIT OpenCourseWare, https://ocw.mit.edu. Лицензия: Creative Commons BY-NC-SA.

[2] Ричард С. Саттон и Эндрю Дж. Барто. 2018. Обучение с подкреплением: Введение. Книга Брэдфорда, Кембридж, Массачусетс, США.

[3] https://en.wikipedia.org/wiki/Neuroscience

[4] Питер Даян и Л. Ф. Эбботт. 2005. Теоретическая нейробиология: Вычислительное и математическое моделирование нейронных систем. MIT Press.