Понижение сложности модели индивидуального и группового адаптивного тестирования с множественным выбором на основе нечеткой когнитивной карты

Куликовских Илона Марковна кандидат технических наук доцент кафедры информационных систем и технологий Самарского национального исследовательского университета имени академика С.П. Королева 443086, Россия, Самарская область, г. Самара, шоссе Московское, 34 Kulikovskikh Ilona Markovna PhD in Technical Science Associate Professor, Department of Information Systems and Technologies, Academician Korolev Samara National Research University 443086, Russia, Samarskaya oblast', g. Samara, shosse Moskovskoe, 34 kulikovskikh.i@gmail.com

Прохоров Сергей Антонович доктор технических наук Заведующий кафедрой информационных систем и технологий Самарского национального исследовательского университета имени академика С.П. Королева 443086, Россия, Самарская область, г. Самара, шоссе Московское, 34 Prokhorov Sergej Antonovich Doctor of Technical Science Head of the Department of Information Systems and Technologies, Academician Korolev Samara National Research University 443086, Russia, Samarskaya oblast', g. Samara, shosse Moskovskoe, 34 sp.prokhorov@gmail.com

Работа выполнена при поддержке грантов Президента РФ № МК-6218.2018.9 и Минобрнауки РФ № 074-U01.

Введение

Адаптивное тестирование является одним из наиболее распространенных способов машинного оценивания уровня знаний обучаемых ^[1-3]. При этом регламентированной инструкцией для формирования тестовых заданий с целью контроля сложности заданий и текущего уровня знаний обучаемого часто является таксономия Блума ^[4]. Таксономия задана шестью когнитивными уровнями от низших уровней мышления (LOTS) до высших (HOTS) ^[4-6]. Доработанная версия таксономии, предложенная Андерсон ^[5], рассматривает 19 типов когнитивных процессов, разбитых на 6 основных категорий: запоминание, понимание, применение, анализ, оценивание, создание. Для построения эффективной стратегии обучения тестовые задания должны быть строго привязаны к одной из категорий.

Формулирование инструкций в соответствии с таксономией Блума является одной из наиболее сложных задач. Решением данной задачи может быть применение тестов с множественным выбором, которые позволяют оценивать как низшие, так и высшие уровни мышления ^[6-13]. Но, несмотря на многочисленные достоинства данного типа тестов, такие как большая доступность и простота тестирования, исключение ошибок измерения результатов, данный вид тестирования не исключает возможности угадывания ^[15,16] и забывания ^[17-21] ответов, что, как результат, приводит к снижению надежности результатов тестирования ^[8,14,15].

В отличие от индивидуального тестирования влияние факторов угадывания и забывания в контексте группового тестирования снижает надежность результатов даже в большей степени, так включает дополнительный источник неопределенности - мнение другого участника тестирования, особенно, если последний имеет более высокий уровень знаний ^[22]. Сложность в оценивании уровня знаний участников, выполняющих задания в группе, связана с наличием ограничений, накладываемых форматом тестирования, т. е. тестированием с множественным выбором. Выделяют две основных проблемы данного вида тестирования.

Первая проблема связана со сложностью разработки тестов, которые бы выходили за пределы низших уровней таксономии Блума: запоминание, понимание и применение, и включали рассмотрение высших уровней: анализ, оценивание и создание ^[4,5]. Предыдущие исследования ^[5,6,12] указывают на возможность разработки тестов с множественным выбором, которые бы анализировали высшие когнитивные уровни. Другие исследователи в данной области знаний приводят доводы в пользу того, что задания с множественным выбором рассчитаны лишь на фактическое запоминание информации ^[23-25]. Таким образом, наиболее простым способом регулирования сложности тестов является изменение числа альтернативных ответов в предлагаемых вариантах ^{[16,23,26,27]}. Но увеличение числа дистракторов (неправильных вариантов ответа) может привести к снижению пропорции корректных ответов. Обучаемые с большой вероятностью будут приобретать ложные знания вместо усиления способности запоминания материала. Как результат, данный формат тестирования может ввести в заблуждение и повысить риск дезинформации в процессе обучения.

В других исследованиях отмечается, что тестирование с множественным выбором может способствовать более глубокому обучению и повышать способность длительного запоминания ^[19-21]. Показано, что тестирование с множественным выбором может стимулировать процессы извлечения информации из памяти, которые значительно повышают эффективность обучения ^[17-19]. В данном случае участникам тестирования необходимо предложить метакогнитивную стратегию, чтобы вовлечь более высокоуровневое мышление. Применение метакогнитивных стратегий может поставить другую серьезную проблему оценивания: если обучаемые могут исключить некоторые ответы, полагаясь на критический анализ, они могут получить правильный ответ с помощью стратегии угадывания, вклад которой сложно оценить точно ^[15,28].

Постановка задачи исследования

Введем в рассмотрение модель для представления уровня знаний. В работе ^[29] предложена бинарную модель, в которой обладание высшим уровнем, т.е. полными знаниями, означает, что тестируемый правильно отвечает на все тестовые задания, т.е. вектор ответов состоит только из единиц. Низший уровень, в свою очередь, означает полное отсутствие знаний и способностей для правильного ответа хотя бы на одно тестовое задание. Вектор ответов содержит только нулевые значения. Позже в данную модель было введено два ограничения: 1) некорректный ответ обучаемого с полными знаниями является следствием забывания или частичного угадывания; 2) корректный ответ обучаемого с полным отсутствием знаний является результатом чистого угадывания. Принимая во внимание эти ограничения, формализуем следующие определения.

Определение 1 (Macready и Dayton ^[29]).

Пусть вероятности чистого и частичного угадывания и забывания для задания заданы как величины и , соответственно. Тогда вероятность правильного ответа на задание равны для тестируемого с высшим уровнем знаний и для тестируемого с низшим уровнем знаний.

Позднее ^[30] Определение 1 было дополнено с учетом предположения, что забывание может быть причиной угадывания: существенной разницы между тестируемым с низшим уровнем знаний, который не знает ответа, и тестируемым с высшим уровнем знаний, который забыл ответ нет – оба участника тестирования пытаются угадать правильный ответ.

Определение 2 (Van der Linden ^[30]).

Пусть вероятности чистого и частичного угадывания для задания заданы как величины и , соответственно. Тогда вероятность правильного ответа на задание равны или, что то же самое, для тестируемого с высшим уровнем знаний и для тестируемого с низшим уровнем знаний.

В свою очередь, Определение 2 было также модифицировано с учетом того, что переменная для оценивания уровня знаний должна быть непрерывной ^[30]. Вместо использования ступенчатой функции для представления двух состояний: полное знание и полное отсутствие знаний, было предложено ввести логистическую функцию (a latent trait model) ^[31,32].

Определение 3 (Birnbaum, Lord ^[32]).

Пусть задает уровень знаний тестируемого, – сложность задания , а – вероятность чистого угадывания. Тогда вероятность правильного ответа на задание может быть задана как

.

Процесс адаптивного тестирования может быть задан с помощью градиентного метода ^[2,3] с набором адаптивных параметров. Как видно из Определения 3, параметр, описывающий вероятность угадывания ответов на тестовые задания, зависит от сложности задания, уровня знаний обучаемого и условий проведения тестирования. Необходимость явного задания данного параметра усложняет модель и вносит неопределенность в результаты тестирования.

Целью данного исследования является понижение сложности модели адаптивного тестирования с множественным выбором. Для достижения поставленной цели в градиентный метод, описывающий процесс тестирования, вводится нечеткая когнитивная карта. Данная карта определяет степени «чистого» и «частичного» угадываний при ответе на тестовые задания, что позволяет снизить сложность модели тестирования за счет исключения явного вероятностного параметра. Заметим, что в отличие от известных определений когнитивной карты ^[33-37]. Термин когнитивная карта ^[38,39] был впервые предложен Е. Tolman ^[39] для описания взаимодействия объекта со средой окружения. Когнитивные карты могут обладать различной степенью общности, масштаба и организации в зависимости от полноты представленности пространственных отношений и выбранной точки отсчета. Предложенная в данной работе интерпретация напрямую построена на моделях индивидуального и группового адаптивного тестирования с множественным выбором.

Введем понятие когнитивной карты как функционал , где и задают вероятности «чистого» и «частичного» угадываний, соответственно.

Материал и методы исследования

Существенное влияние на результаты адаптивного тестирования оказывает восприятие информации тестируемыми. Следовательно, построение вероятностных моделей на бивалентной логике является существенным ограничением ^[40-44].

Нечеткая когнитивная карта при индивидуальном обучении. Нечеткая логика расширяет границы бивалентного набора ^[43], что позволяет классифицировать ответы на тестовые задания за пределами четкого «корректно» и «некорректно» ^[45]. Расширим предложенные модели оценивания уровня знаний в условиях индивидуального тестирования в терминах нечеткой логики.

Определение 4. Пусть задает нечеткое множество ответов обучаемого в условиях индивидуального тестирования. Тогда

,

где – функция принадлежности , будем называть степенью угадывания.

Величина связана с уровнем таксономии Блума и является обобщением вероятностной характеристики .

Определяя совокупность таких функций принадлежности, соответствующих 𝐿 уровням с центральных точек, сделаем допущение, что неоднозначность в определении каждой из центральной точек для каждого уровня мышления отсутствует. Таким образом, при оценивании степени угадывания анализируется лишь принадлежность к каждому уровню мышления без учета неопределенности, связанной с формированием степеней принадлежности, т.е. инструкций для тестирования в соответствии с заданным уровнем мышления. Используем понятие нечеткого множества 2-ого рода для дополнения Определения 4 ^[45-47].

Определение 5. Пусть , где, , . Тогда величину

будем называть степенью угадывания в условиях нечетко заданных уровней мышления.

При этом задает первичную функцию принадлежности ответов заданному уровню мышления, – вторичную функцию принадлежности заданных уровней мышления действительным уровням, и

,

откуда

.

Нечеткая когнитивная карта при групповом обучении. Обобщим Определение 4 с учетом условий группового тестирования. С этой целью обратимся к понятию интервальных нечетких множеств ^[46,47].

Определение 6. Пусть – совокупность всех замкнутых подинтервалов в диапазоне . В русле работы ^[47]

.

Тогда отображение

будем называть степенью угадывания в условиях группового тестирования.

При этом , где и – отображения, определяющие нижнюю и верхнюю границы интервала .

Наконец, как частный случай Определения 5 и обобщение Определения 6, введем следующее определение.

Определение 7. Пусть , где , , . Тогда величину

будем называть степенью угадывания в условиях нечетко заданных уровней мышления и группового обучения.

С учетом введенных определений, определим меру влияния группового обучения.

Определение 8. Пусть , и для . Тогда

,

где , , будем называть мерой влияния группового обучения.

Результаты исследования

Проведем вычислительные эксперименты для апробации моделей индивидуального и группового тестирования, включающих параметры когнитивной карты – параметр , задающий уровень «чистого» угадывания, и параметр , определяющий уровень «частичного» угадывания.

Вычислительный эксперимент 1. Построены нечеткие оценки результатов индивидуального тестирования. Даны результаты тестирования учащихся университета, которым было предложено 30 минут для выполнения набора тестов с множественным выбором на предлоги английского языка. Тесты даны от более простых (LOTS) к более сложным (HOTS). Уровни сложности заданий для тестирования были заданы в виде , где каждое из значений соответствует центру треугольной функции принадлежности согласно Определению 4. Для каждого задания использовано одинаковое значение штрафа за попытку угадывания. Уровень знаний оценен косвенно и установлен равным для каждого участника. При этом обучаемым не разрешено обсуждать задания и ответы с другими участниками тестирования.

Результирующие оценки до и после применения нечеткой модели приведены на рис. 1, где – исходные оценки; – оценки, модифицированные в соответствии с моделью частичного знания; – нечеткие оценки.

Рис. 1. Результирующие оценки до и после применения нечеткой модели оценивания

Из рисунка следует следующий вывод: результирующие нечеткие оценки по сравнению с исходными указывают на убывающий тренд в распределении ответов согласно требуемым уровням мышления. Данный результат подтверждает адекватность предложенной нечеткой модели, так как результирующие оценки привязаны к заданному уровню знаний и согласуются с требуемым уровнем (сложностью задания) и степенью угадывания. Более того, видна взаимосвязь между уровнем мышления и степенью угадывания: если , истинные оценки и предложенные нечеткие оценки демонстрируют более явные различия ввиду возрастающей вероятности «чистого» угадывания.

Вычислительный эксперимент 2. Вычислительный эксперимент 1 задан в условиях группового тестирования. Все участники разделены на 2 группы на основе уровня знаний английского языка согласно CEFR (The Common European Framework of Reference for Languages): тех, чей уровень выше B2 и тех, чей языковой уровень ниже . При этом каждая из групп случайно разбита на 2 подгруппы: одной подгруппе было аннонсирован штраф на попытку угадывания , другой подгруппе штраф не аннонсировался . Обучаемым разрешено обсуждать задания и ответы с другими участниками тестирования. Результирующие оценки до и после применения созданной нечеткой модели для каждой из подгрупп приведены на рис. 2 () и на рис. 3 ().

а)

б)

Рис. 2. Оценки и для : a) ; б)

а)

б)

Рис. 3. Оценки и для : a) ; б)

На рис. 2 а) продемонстрированы наиболее ожидаемые результаты: оценки располагаются по убывающей ввиду увеличения сложности тестовых заданий. Данные результаты соответствуют группе с высоким уровнем знаний и отсутствием штрафа. Как можно видеть, диаграмма аналогична представленной на рис. 1 с меньшим значением . В свою очередь, рис. 2 б) показывает лучшие результаты для группы с тем же уровнем знаний, но со значением По аналогии, рис. 3 а) и б) демонстрируют похожий эффект, но более стабильные результаты с убывающим трендом соответствуют случаю наличия штрафа.

Выводы

В работе рассмотрены модели индивидуального и группового тестирования с множественным выбором, включающие параметр, описывающий вероятность угадывания ответов на тестовые задания. Предложено нечеткая когнитивная карта, определяющая степени «чистого» и «частичного» угадываний, которая исключает необходимость явного задания данного параметра и, таким образом, снижает сложность рассмотренных моделей тестирования. Результаты вычислительных экспериментов на реальных ответах на тестовые задания подтвердили эффективность введения карты. Было выявлено, что нечеткие оценки ответов участников с более низким уровнем знаний на более сложные задания являются более согласованными по сравнению с оценками, требующими явного задания вероятности «чистого» угадывания. Метод понижения сложности модели тестирования на основе нечеткой когнитивной карты может быть использован как в образовательных программных системах, так и в интеллектуальных системах и системах поддержки принятия решения, предусматривающих тестирование с множественным выбором.