Исследователи разработали компьютерные модели, которые пытаются предсказать образ, о котором вы думаете, путем отслеживания сигналов вашего мозга.
Когда вы смотрите на других людей, вы когда-нибудь задумывались: «О чем они думают?» Люди не могут видеть, что думают другие, а для людей, которые не могут говорить и не имеют простого способа визуализировать свои мысли для других, это серьезное препятствие. К счастью, методы компьютерного моделирования и интерфейсы мозг-компьютер стали более мощными и открыли бесчисленные возможности в области нейробиологии.
Исследователи из Хельсинкского университета в Финляндии разработали генеративную враждебную сеть, которая использует сигналы электроэнцефалограммы (ЭЭГ) от мозга человека, чтобы предсказать, о чем он думает. Это может показаться вам просто набором странных слов, но продолжайте читать, чтобы узнать, как работает эта сеть и почему вы должны быть в восторге от будущего этой технологии.
Как это работает
Генеративные состязательные сети (GAN) - это структуры, использующие методы глубокого обучения, такие как искусственные нейронные сети, которые представляют собой серию алгоритмов, которые находят взаимосвязи в данных для генеративного в целях моделирования. К таким целям относятся создание фотореалистичных изображений, создание 3D-объектов и даже старение лица, которое вы можете увидеть во многих приложениях.
В этом исследовании исследователи использовали предварительно обученный GAN для генерации изображений лиц (не из сигналов ЭЭГ). Затем эти изображения были отсортированы по 8 различным категориям в зависимости от того, какие характеристики были видны на изображении (например, светлые волосы).
Чтобы оценить GAN, который генерировал изображения с использованием сигналов ЭЭГ (сигналов, отражающих активность мозга), они показали 31 добровольцу изображения из 8 категорий изображений и проинструктировали их сконцентрироваться на конкретных стимулах, видимых на картинке. Пока участники делали это, исследователи передавали сигналы ЭЭГ из своего мозга в GAN. GAN проверил, может ли он определить, что искал объект, и, используя эти данные, изменил себя. Наконец, модель генерировала изображения с помощью сканирования ЭЭГ субъекта. Эти изображения были оценены участниками исследования, и они почти идеально соответствовали характеристикам, о которых думали участники. Модель получила точность 83%!
Процесс использования данных мозга для генерации называется нейроадаптивным генеративным моделированием. Туукка Руотсало, доцент Копенгагенского университета, Дания, говорит:
«Этот метод сочетает в себе естественные человеческие реакции со способностью компьютера создавать новую информацию. В эксперименте участников просили только смотреть на компьютерные изображения. Компьютер, в свою очередь, моделировал отображаемые изображения и реакцию человека на изображения, используя реакции человеческого мозга. На основе этого компьютер может создать совершенно новое изображение, соответствующее намерению пользователя ».
Возможное использование
Хотя это исследование было сосредоточено только на создании изображений человеческих лиц, потенциал нейроадаптивного генеративного моделирования заоблачен. Одно из возможных применений этой техники - увеличение творческих способностей человека. Это может включать в себя предоставление людям возможности рисовать, просто сосредоточив внимание на том, где они хотят что-то нарисовать. Руотсало говорит:
«Если вы хотите что-то нарисовать или проиллюстрировать, но не можете этого сделать, компьютер может помочь вам в достижении вашей цели. Он мог просто наблюдать за фокусом внимания и предсказывать, что вы хотите создать ».
Кроме того, эту технологию можно использовать, чтобы больше узнать о человеческом восприятии и о том, как мы воспринимаем вещи нашим мозгом. Исследование показывает, что нейроадаптивное генеративное моделирование можно использовать для выяснения ассоциаций между функциями (на изображении) и паттернами сигналов ЭЭГ, поэтому теоретически его можно использовать для демонстрации того, как мы воспринимаем определенные черты. Кроме того, мы могли обнаружить различия в активности мозга и восприятии у разных людей.
Искусственный интеллект и машинное обучение черпали вдохновение из человеческого мозга, и теперь они помогают нам понять человеческий мозг! Сети GAN становятся все популярнее с каждым днем, поскольку все больше людей учатся программировать их с помощью таких библиотек, как TensorFlow. Надеюсь, знания, которые мы получаем в результате изучения паттернов ЭЭГ с помощью методов глубокого обучения, могут помочь кому-то в будущем, будь то кто-то с инвалидностью или нейродегенеративным заболеванием, и я с нетерпением жду будущего пересечения нейробиологии и ИИ.
Хотите узнать больше об этом исследовании? Ознакомьтесь с официальным исследованием (первая ссылка) и официальным обзором исследования (вторая ссылка)!
