Введение
«Я скептически отношусь к тому, что дистанционное образование, основанное на асинхронных интернет-технологиях, может заменить живое обсуждение в классе и другое взаимодействие в кампусе. Студенты дистанционного обучения не могут поднять руки, чтобы задать вопросы преподавателям или принять участие в обсуждениях, и им трудно или невозможно использовать рабочее время преподавателей. Помощники преподавателей не всегда отвечают на электронные письма, а онлайн-дискуссии в классе могут игнорироваться как студентами, так и преподавателями. В этом смысле «процесс диалога» фактически ограничен технологиями».
― Иан Ламонт, основатель In 30 Minutes
Начало пандемического процесса создало необходимость дистанционного образования. Преподаватели и студенты долго адаптировались к этому процессу. Несмотря на постепенное привыкание к этому процессу, преподаватели и студенты, в целом, не были удовлетворены этим процессом, так как индивидуальное взаимодействие между преподавателями и студентами значительно ослабло. Одна из основных причин этого заключается в том, что преподаватели не могут наблюдать, понимают ли урок ученики.
Об этом проекте
Как упоминалось выше, одной из самых больших проблем является неспособность преподавателя понять интерес учащегося к уроку и неспособность следить один на один, понимает ли учащийся предмет или нет. Чтобы найти решение этой проблемы, мы стремимся создать систему, которая отслеживает, скучают ли учащиеся, удивляются ли они и довольны ли мимикой, которую они демонстрируют во время урока. Для этого мы будем использовать некоторые алгоритмы обработки изображений и глубокого обучения.
Что мы уже сделали?
На этой неделе мы сосредоточились на двух важных темах. Первый из них заключался в обзоре исследований по этой теме и определении того, по какому пути мы пойдем, а во втором — решить, какие наборы данных использовать при запуске этого пути.
Проведенное нами исследование
В нашем исследовании мы поняли, что исследование, которого мы хотели достичь, еще не было достигнуто. Исследования в основном были направлены на то, чтобы на мгновение кадрировать изображения (рис. 2) студентов и анализировать их текущее настроение. Однако мы стремимся создать систему, которая считывает и интерпретирует выражения лиц учащихся в режиме реального времени.
Для этого мы изучили множество систем и алгоритмов обнаружения эмоций на Youtube и в статьях. В результате мы увидели, что в основном использовались алгоритмы CNN и YOLO. Вот почему мы специально исследовали эти алгоритмы.
О наборах данных
Мы решили использовать фотографии, содержащие примерно 2 ГБ человеческих лиц, предоставленные AffectNet, в качестве базового набора данных. Говоря об этом наборе данных, набор данных состоит из двух разных основных папок: набора поездов и набора проверки. Он состоит из подпапок, разделенных на 8 разных выражений лица. Каждая из папок в наборе «Поезд» состоит из 5000 фотографий, а каждая папка в наборе «Проверка» состоит из 500 фотографий.
Насколько мы заметили, некоторые фотографии классифицируются неправильно. Чтобы найти решение этой проблемы, мы можем обработать набор данных.
Кроме того, не было найдено достаточных наборов данных для некоторых желаемых настроений. В качестве решения этой проблемы некоторые фотографии можно получить с помощью веб-скрапинга и превратить в классы.
Для подробного обзора вы можете получить доступ к набору данных по ссылке ниже:
Спасибо за ваше время.
Арда Алтункайя и Гекченаз Акьол
Ссылки
[1] «Тесты обнаружения эмоций из видео».
https://www.youtube.com/watch?v=uDRYr0CWSwI&ab_channel=LuizCarlosVieira. [Доступ; 5 ноября 2022 г.].
[2] «Обнаружение эмоций с помощью CNN».
https://www.youtube.com/watch?v=UHdrxHPRBng&ab_channel=DataMagic%28bySunnyKusawa%29. [Доступ; 5 ноября 2022 г.].
[3] «Обнаружение эмоций с использованием сверточных нейронных сетей и OpenCV».
https://www.youtube.com/watch?v=Bb4Wvl57LIk&ab_channel=AkshitMadan. [Доступ; 5 ноября 2022 г.].
[4] «Подход к переносу обучения для анализа внимательности учащихся в среде онлайн-класса с обнаружением эмоций».
https://www.preprints.org/manuscript/202105.0303/v1. [Доступ; 5 ноября 2022 г.].
[5] «Прогнозирование успеваемости учащихся с помощью обнаружения эмоций на видео с записью лиц при взаимодействии с ИТС».
https://educationaldatamining.org/files/conferences/EDM2020/papers/paper_232.pdf. [Доступ; 5 ноября 2022 г.].
