Видя внутреннюю часть модели в данных мозговых волн ЭЭГ с помощью Glass-box
Эта статья написана Алпарсланом Месри и Угуром Зия Чифчи.
Объяснимый ИИ необходим для повышения контроля над моделью машинного обучения. Для этого есть несколько техник и библиотек. В этой статье, посвященной эксперименту (мозговые волны ЭЭГ), мы представим библиотеку «интерпретации» Python и модель EBM, чтобы показать, как объяснимый ИИ может увеличить способность исследователя отлаживать модель.
В эксперименте с мозговыми волнами ЭЭГ (вы можете получить доступ к данным по этой ссылке через Kaggle.) мозговые волны испытуемых измеряли, заставляя испытуемых смотреть разные видео. Всего было подготовлено 20 видеороликов, по 10 видеороликов в каждой категории. В простой категории были выбраны не вызывающие путаницы предметы, такие как простая алгебра и геометрия. В комплексной категории были выбраны предметы выше уровня учащихся, такие как квантовая механика. Во время просмотра этих видеороликов у испытуемых измерялись мозговые волны Дельта, Тета, Альфа1, Альфа2, Бета1, Бета2, Гамма1, Гамма2. В конце этих измерений, глядя на мозговые волны, можно понять, не путают ли людей с обученной моделью искусственного интеллекта.
Если такие методы могут быть использованы в сфере образования, преподаватели могут регулировать сложность и легкость уроков, которые они преподают, благодаря обратной связи, которую они получают от мозговых волн учащихся. Они могут автоматически определять части, которые не поняты, и повторять их без запроса учащихся. Поскольку в ближайшие годы роли преподавателей перейдут от людей к искусственному интеллекту, ожидается, что количество таких исследований еще больше возрастет.
В этом исследовании мы попытались предсказать состояние спутанности сознания по мозговым волнам ЭЭГ студентов в эксперименте, используя модель стеклянного ящика библиотеки «интерпретации» Python.
В большинстве моделей искусственного интеллекта функционирование алгоритма невозможно наблюдать извне. Эта ситуация не позволяет исследователям, использующим модель, понять, какие функции алгоритм использует больше. Преодолевая это, он обязывает использовать более простые алгоритмы, такие как линейная регрессия или объяснения черного ящика (такие как графики важности функций, LIME и SHAP), для определения важности функций. Невозможность увидеть функционирование модели может привести к целевой утечке, как в этом примере.
В некоторых конкретных секторах, таких как банковское дело, корпоративная политика ограничивает использование моделей, которые не показывают прозрачно, какие функции использует модель искусственного интеллекта и в каком объеме. Очевидно, что модели ОД, которые будут использоваться в механизме правосудия в будущем, также потребуют понятного оформления. Примером этого является право на объяснение.
В этом исследовании точность рассчитывалась с использованием нескольких различных алгоритмов машинного обучения без исключения каких-либо особенностей в первом испытании. На втором этапе путем выполнения тех же операций с моделью «стеклянный ящик» проверялось, насколько модель использует какой признак. При анализе было установлено, что модель использовала почти только два признака. Когда эти функции (идентификатор студента и видеоидентификатор) были проверены, было установлено, что они вызывают целевую утечку. С удалением этих двух функций модель начала более точно прогнозировать тестовые данные.
В первую очередь были импортированы необходимые библиотеки и прочитаны файлы csv.
Содержимое переменной с именем demo следующее. Он содержит основную информацию о предметах.
Теперь давайте посмотрим на первые пять строк переменной df. В этом исследовании нашей целевой переменной является столбец определяемой пользователем метки.
Мы объединили переменные demo и df. Поскольку в обеих таблицах есть столбец идентификатора субъекта, во вновь созданной переменной df были созданы два столбца идентификатора субъекта. Мы удалили одну из этих колонок. Мы заполнили нулевые данные в столбцах «Внимание» и «Посредничество» средним значением.
В наборе данных были столбцы «этническая принадлежность» и «пол», данные которых хранились в виде строк. Сначала мы скопировали нашу переменную df в переменную df1. Затем мы выполнили операцию onehotencoder над этими двумя столбцами в переменной enc_data. Затем мы объединили данные здесь с данными в переменной df1, используя функцию соединения. После этого процесса мы удалили столбцы, созданные OneHotEncoder, и отредактировали имена добавленных новых столбцов.
Имеющиеся данные были разделены на две части: данные обучения и проверки.
Мы сделали прогноз, вызвав модель Random Forest. Результаты кажутся довольно высокими с первой попытки.
Причиной высоких оценок здесь является то, что информация об идентификаторе субъекта и видео в наборе данных не была удалена. Использование этих функций даст хорошие результаты только для этого исследования, а общая прогностическая способность модели на основе новых поступающих данных будет плохой. Мы использовали классификатор объяснимого повышения, чтобы проверить наше предположение и посмотреть, какие функции больше всего повлияли на результат.
Как видно, модель активно использует функции Subject ID и VideoID. Эти столбцы были удалены на следующем шаге, так как мы хотели обобщить прогноз и сделать его на основе мозговых волн.
При сравнении 6 различных моделей видно, что EBM работает аналогично моделям черного ящика. Таким образом, можно получить представление, запустив EBM на тех же данных, чтобы понять, с какими функциями XGBoost, который обычно работает хорошо и пользуется большим спросом в соревнованиях по науке о данных, принимает решения.
В этом исследовании было проведено образцовое исследование для обнаружения целевых утечек с использованием Glass-box, и была представлена модель объяснимой повышающей машины (EBM) библиотеки интерпретации.
