В высшем образовании используются различные оценочные платформы. К ним относятся системы домашних заданий издателя (например, Pearson Mastering, Sapling Learning, McGraw Hill Connect и т. Д.), Стандартизированные экзамены (например, ACT, GRE, SAT и т. Д.), Системы викторин (например, iClicker, Quizlet, Kahoot! И т. Д.) ) и системы викторин системы управления обучением (LMS) (например, Canvas, Moodle, Desire2Learn, Blackboard, Sakai и т. д.). Каждая система викторин относится к разным этапам оценивания: формирующим оцениванию, итоговому оцениванию, подготовке к экзамену или оцениванию в классе. Вопросы для этих систем являются либо проприетарными (защищены авторским правом с ограниченным использованием на платформе), либо собственными (созданы инструктором по необходимости и могут не иметь явной лицензии. ) или открытым (это наименее распространенная категория, включающая вопросы о лицензиях Creative Commons). Текущее состояние оценивания в высшем образовании сейчас фрагментировано и разрознено.

Одна из возможных причин фрагментированного пространства для оценивания - это создание качественных вопросов, а правильно их разделить - непросто. Рассмотрим следующие сценарии:

Сценарий 1. Преподаватель создает домашние задания и вопросы для экзамена по новому курсу, который они разрабатывают. Они создают качественные вопросы, специально разработанные с учетом их стиля преподавания и акцента на содержании. Они могут поделиться этими вопросами с другими преподавателями того же курса, но обычно будут делиться вопросами в документах Word или таблицах Excel по электронной почте. Воздействие этих вопросов относительно невелико, поскольку вопросы используются только в нескольких курсах. Более того, вопросы можно постепенно улучшать со временем, поскольку данные каждого последующего курса собираются и используются для улучшения вопросов. Эти вопросы не могут быть явно привязаны к результатам обучения, поэтому, если другой преподаватель попадет на веб-сайт курса, он должен будет выяснить цели обучения для элементов оценки и не будет иметь никаких исторических данных об учащихся для элементов, по сути, начиная с процесс улучшения.

Сценарий 2 - группа преподавателей получает внутренний грант от своего университета на разработку банка открытых заданий по предмету. Они тратят месяцы на написание, переписывание, тестирование, проверку и улучшение заданий для оценивания. Наконец, они заканчиваются сотнями заданий, которые помещаются в банк заданий оценивания и где-то размещаются (вероятно, в частной системе или на веб-сайте, спонсируемом университетом). Этот банк заданий будет содержать проверенные экспертами высококачественные вопросы, но влияние этих вопросов снова будет довольно низким. Обнаруживаемость этого банка заданий низкая, и даже если преподаватель нашел банк заданий, вопросы обычно не помечаются должным образом (привязаны к цели обучения или даже подобучению), и предварительные агрегированные данные об учащихся для заданий отсутствуют. . Или элементы являются суммативными, и в этом случае они не могут использоваться совместно! Этот тип упражнений полезен для университета, в котором были разработаны вопросы (большая наглядность и осведомленность), но, вероятно, не выходит далеко за рамки этого контекста. Более того, если бы инструктор, ведущий аналогичный курс, нашел банк заданий, было бы нетривиально извлечь нужные им вопросы из банка заданий. Скорее всего, потребуется вручную просеять вопросы, вручную выбирая те, которые, по их мнению, подходят для их курса.

Эти два сценария показывают трудности, возникающие при попытках эффективно создавать элементы оценки и совместно использовать их. Эти проблемы кратко описаны ниже:

  1. Вопросы имеют другой формат
  2. Вопросы обычно не привязаны к целям обучения в самом вопросе (или в качестве метаданных для вопроса).
  3. Предыдущие сводные данные об успеваемости учащихся данные по предметам не предоставлены.
  4. Найти вопросы (разрозненные документы Word, электронные таблицы Excel и банки элементов) - нетривиальная задача.
  5. Не так просто скопировать, отредактировать или повторно использовать вопросы из этих источников (требуется ручная фильтрация и копирование и вставка).
  6. Нелегко отфильтровать вопросы по определенным критериям (например, цели обучения).

Я уверен, что упустил еще несколько проблем. Не стесняйтесь присоединяться к комментариям ниже. Далее потенциальное решение.

Я считаю, что возможным решением этих проблем является открытая платформа оценки. Вот основные компоненты открытой платформы оценки:

  1. Платформа должна допускать открытые лицензии на вопросы, что позволяет инструкторам легко использовать, повторно использовать, делиться, изменять и сохранять вопросы, с которыми они сталкиваются на платформе.
  2. Платформа должна позволять фильтровать и сортировать вопросы в зависимости от сложности, цели обучения и курса.
  3. Платформа должна иметь простой импорт и экспорт вопросов с использованием различных форматов вопросов (Word, Excel, форматы для проверки совместимости и тестирования и т. Д.)
  4. Платформа должна иметь два отдельных сообщества: (1) формирующее, общедоступное хранилище вопросов и (2) итоговое хранилище вопросов только для учителей. Хранилище итоговых вопросов не будет общедоступным, что позволит инструкторам (имеющим доступ к итоговым вопросам) более эффективно сотрудничать и безопасно делиться ресурсами. Общедоступные вопросы можно использовать для формирующих оценок и других вопросов для самопроверки.
  5. Платформа должна отслеживать совокупные данные об учащихся на уровне предметов. Это означает, что вопросы можно было бы улучшать гораздо быстрее, поскольку вопросы использовали бы гораздо больше студентов (при условии, что вопросы использовались одновременно в нескольких курсах). Это также может потенциально обеспечить оценку сложности вопросов с использованием параметров теории ответов на вопросы или показателей классической теории тестирования.
  6. Платформа должна поддерживать различные типы элементов (например, множественный выбор, бесплатный ответ, эссе, множественный выбор, заполнение поля и т. Д.)
  7. Платформа должна иметь показатели качества элементов оценки для оценки качества вопросов в платформе. Это одна из важнейших квалификаций для платформы.

Краткая история Prendus

Чтобы попытаться воплотить это в жизнь, я и несколько моих коллег попытались создать эту открытую платформу оценки (да, это было огромным мероприятием). Мы назвали его Prendus и добились большого прогресса. Мы поддерживали QTI. Мы поддерживаем совместимость средств обучения (LTI). Мы разрешили создание, редактирование, загрузку, загрузку и проверку вопросов. Мы отслеживали учащихся, когда они задавали вопросы (для статистики на уровне заданий). Мы создали функцию, позволяющую учащимся создавать и просматривать другие вопросы учащихся в рамках класса. Системой воспользовались несколько тысяч студентов. У нас было создано несколько тысяч вопросов на платформе. Несмотря на наши успехи, наше грантовое финансирование закончилось, и, хотя у нас был доход более $ 0, у нас не было устойчивой бизнес-модели. Мы не смогли завершить проект из-за отсутствия средств. Несмотря на временное расформирование, мы по-прежнему очень верим в достоинства и видение открытой платформы оценки.

Другие возможности

Другая группа попыталась построить подобную систему. Их система называется Peerwise. Это позволяет студентам создавать вопросы, а затем просматривать другие вопросы, созданные студентами. Платформа бесплатна и внедрена по всему миру (на данный момент у меня нет статистики по использованию, но она находится примерно в тысячах классов). К сожалению, в платформе нет аспекта совместного использования сообщества (вопросы заблокированы в рамках курса, в котором они были созданы), что действительно мешает этой системе поддерживать совместное использование и обнаружение в качестве открытой платформы оценки.

Quizlet - еще одна система викторин, близкая к открытой платформе оценивания. Quizlet позволяет студентам создавать карточки, обмениваться карточками, открывать для себя карточки, созданные другими студентами, и создавать викторины из карточек, которые они создают или находят. Тем не менее, нет репозитория итоговых результатов только для учителей (учителя не могут безопасно обнаруживать или обмениваться итоговыми тестами), нет контроля качества (не предоставляются показатели для оценки качества вопросов), а вопросы нельзя импортировать или экспортировать простым способом.

Последняя система, о которой стоит упомянуть в этом посте, - Proola. Цель Proola - объединить преподавателей и специалистов по измерениям для разработки рецензируемых открытых онлайн-оценок обучения. Это звучит довольно близко к открытой платформе оценки. Proola - относительно новое начинание, поэтому только время покажет, сможет ли оно быть устойчивым и создать сообщество вокруг платформы.

Пробуем еще раз

Поскольку я искренне верю в видение и преимущества открытой платформы оценки, я снова начинаю рассматривать проблему с другой стороны. Одна из проблем с моей первоначальной попыткой разработки открытой платформы оценки заключалась в том, чтобы найти краткосрочную бизнес-модель во время разработки платформы. К сожалению, создание платформы оценки на основе краудсорсинга было огромным проектом, и я не мог получить минимально продаваемый продукт, пока у меня не кончились деньги.

На этот раз я начинаю с одной темы, а не с нескольких: JavaScript. Существует высокий спрос на навыки кодирования, что делает его хорошим кандидатом на начальную предметную область. Мы создаем платформу оценки с сотнями вопросов JavaScript по всем концепциям, которые относятся к базовой области JavaScript.

Наш код имеет открытый исходный код; все наши вопросы - CC0 (лицензия Creative Commons с наименьшими ограничениями); и мы планируем предоставить доступ к анонимным данным с нашей платформы под лицензией CC0. Мы предлагаем стимулы для разработки вопросов JavaScript, чтобы поддержать дальнейший рост платформы. Вы можете следить за нашим прогрессом на JavaScriptPractice.com. Недавно мы выпустили альфа-версию нашего продукта, и мы будем рады вашим отзывам.

Если вам известны какие-либо открытые платформы оценки (или что-то относительно близкое), которые я пропустил в этом посте, напишите мне комментарий, потому что я хотел бы их проверить.