Архитектура интеллектуальной системы тестирования уровней сформированности предметных компетенций

Нехаев Игорь Николаевич кандидат технических наук доцент, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 534а-1 Nekhaev Igor Nikolaevich PhD in Technical Science associate professor of the Department of Applied Mathematics and Information Technologies at Volga State University of Technology 424007, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 3, kab. 534a-1 nehaevin@volgatech.net Другие публикации этого автора     Жуйков Илья Владимирович аспирант, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 529а-1 Zhuykov Ilya Vladimirovich post-graduate student of the Department of Applied Mathematics and Information Technologies at Volga State University of Technology 424007, Russia, Republic of Mari El, Yoshkar-Ola, pl. Lenina, 3, room No. 529a-1 zhuikill@yandex.ru Другие публикации этого автора

Бастраков Роман Валерьевич программист, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 529а-1 Bastrakov Roman Valeryevich Programmer, Povolzhsky State Technological University 424007, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 3, kab. 529a-1 g-serg88@yandex.ru

Ранее, авторами была поставлена задача конструирования интеллектуальной системы тестирования, позволяющей идентифицировать уровни сформированности предметных компетенций ^{[1, 2]} и рассмотрены лежащие в основе построения такой системы модели ^{[3, 4]}. Были сформулированы основные признаки современной системы тестирования и обучения:

• предоставляет возможность оформить решение задачи;
• автоматически оценивает не только ответ, но и решение задачи;
• анализирует ошибки решения обучающихся, выдает обратную связь;
• поддерживает диалог, обучает;
• накапливает статистическую информацию об обучающихся и использует ее для организации адаптивного обучения;
• оценивает и фиксирует уровень достижений, уровень сформированности предметных компетенций;
• обеспечивает управление обучением.

Там же были сформулированы интегральные требования к системам тестирования и обучения: гибкость, аналитичность, управляемость, адаптивность, интеллектуальность ^[4].

Бурное развитие онлайн-обучения, применения онлайн-курсов в формальном обучении требует и применения новых сред обучения, в которых обучающиеся самостоятельно выбирают свои траектории обучения, получают компетентностные задачи, решают их, получают обратную связь, корректируют свои решения, и самостоятельно добиваются достижения запланированных уровней.

Появление мультиагентных, нейросетевых моделей и технологий обработки данных и обучения машин, технологий создания программных систем на основе баз знаний приводит к необходимости разработки и реализации новых архитектур обучающих систем, которые обладают такими важными свойствами, как открытость, адаптивность, прозрачность, интеллектуальность.

Многие существующие системы управления обучением (LMS) отвечают перечню требований к современным системам обучения (гибкость, аналитичность, управляемость) и доказали свою эффективность временем.

Представление и анализ архитектуры интеллектуальной системы тестирования уровней сформированности предметных компетенций, интегрированной в LMS MOODLE. Исследование свойств среды автоматизированного обучения, сконструированной на основе описанной архитектуры.

Представить возможные варианты использования и функционал проектируемой интеллектуальной системы тестирования (ИСТ).

Описать архитектуру модулей и компонентов ИСТ и схему её интеграции в виде модуля в системе управления обучения (LMS) MOODLE. Проанализировать свойства данной архитектуры.

Описать реализацию конкретной среды обучения с использованием разработанного модуля ИСТ. Провести анализ полученных результатов, перспектив дальнейшего развития и использования разработанного модуля тестирования, полезность генерируемых артефактов.

Как было уже сказано ранее, существующие LMS, в частности LMS MOODLE, обладают многими необходимыми признаками современных систем обучения. Если проанализировать какие из них имеют место быть или имеют возможность потенциально присутствовать во вновь создаваемых элементах, то получится следующая картина:

• предоставляет возможность оформить решение задачи (реализовано в LMS с использованием таких элементов курса, как форум, задание, семинар, виртуальный практикум программирования – VPL);
• автоматически оценивает не только ответ, но и решение задачи (возможно для задач программирования с использованием таких элементов курса, как VPL или может быть реализовано с помощью дополнительных модулей);
• логирует и анализирует ошибки решения обучающихся, выдает обратную связь (может быть реализовано в VPL или может быть реализовано с помощью дополнительных модулей);
• поддерживает диалог, обучает (может быть реализовано имеющимися средствами, но не очень удобно, гораздо удобнее можно это сделать с помощью внешних инструментов, внедряя диалоги в онлайн-курс с использованием SCORM-пакетов или Tin Can модулей);
• накапливает статистическую информацию об обучающихся и использует ее для организации адаптивного обучения (только накопление реализовано);
• оценивает и фиксирует уровень достижений, уровень сформированности предметных компетенций (встроено и реализовано, кроме уровня сформированности предметных компетенций – это реализовано пока очень формально и без хорошего проектирования, подбора и специальной калибровки заданий курса);
• обеспечивает управление обучением (основная задача, решаемая LMS).

Видим, что часть задач решается с помощью встроенных в LMS функций (накопление статистической информации, оценка и фиксация уровня достижений, управление обучением), другая часть задач (организация адаптивного диалога с пользователем) может быть решена за счет внешних инструментов с помощью стандартов SCORM, Tin Can, а часть задач может быть решена только с помощью специализированных модулей, например, модуль VPL и пока только в узком контексте обучения программированию (оформление решения в операционном пространстве, логирование решения, оценка решения). И есть задачи, которые могут быть решены только с помощью создания новых модулей (анализ решения, диагностика ошибок в решении, разбор ошибок, идентификация уровней сформированности предметных компетенций).

Поэтому основной задачей было создание такого внешнего модуля с реализованной в нем интеллектуальной системой тестирования (ИСТ), который дополнял бы функционал LMS и мог бы быть встроен в LMS, в частности в LMS MOODLE.

Ранее ^[1], были выделены подсистемы, которые необходимо было реализовать в составе модуля ИСТ и выделены основные роли пользователей ИСТ. С тех пор была добавлена еще одна подсистема оценки уровня сформированности предметных компетенций (см. рис. 1).

Рис. 1. Структурная схема интеллектуальной системы тестирования

При проектировании системы необходимо детализировать варианты использования подсистем для разных ролей пользователей.

С учетом того, что ИСТ должна реализовать некоторую операциональную среду решения задач и некоторые функции экспертных систем (диагностика ошибок, оценка рациональности) необходимо начинать создание такой системы с описания предметной области знаний, с использованием понятий которой и будут формулироваться задачи, оформляться решения и конструироваться экспертные оценки. Были выделены роли экспертов и основные варианты использования системы ими (рис. 2).

Рис. 2. Варианты использования интеллектуальной системы тестирования
при описании предметной области знаний и подготовке структуры тестовых задач.

Рис. 3. Взаимодействие экспертов и инженера знаний при создании учебного модуля,
состоящего из структуры экспертных модулей и банка типовых тестовых задач (ТТЗ)

Основной задачей главного эксперта является очертить круг решаемых задач (перечень абстрактных задач) и описать базовые используемые понятия и операции для их решения. Также он может добавлять описание типовых ситуаций (кейсов) и типовых задач. В задачу других экспертов входит описание методов для решения типовых задач, а также добавление новых понятий, ситуаций и типовых задач, с ними связанных (рис. 3).

Инженер знаний играет вспомогательную роль – он помогает реализовать задуманное экспертами в конкретной среде программирования и вычислений.

Ранее была принята концепция использования мультиагентности при создании среды решения задач ^[4]. Это означает, что формулируемые задачи (кейсы) могут решаться как человеком, как программными агентами (например, созданные экспертами), так и их симбиозом. Поэтому обучающийся в среде решения задач представлен своим интеллектуальным агентом (ИА), под которым может пониматься как сам человек, так и программная реализация, созданная им, и интерфейс среды решения сразу был адаптирован под универсального агента, за которым может скрываться как обучающийся, так и программный агент, способный решать поставленные задачи (рис. 4). Более того, при обучении программированию или конструированию ИА, ИСТ может дать возможность и самим обучающимся загружать программных ИА.

Обучающийся при тренировочном тестировании может сам выбирать любую типовую задачу из структуры усложнения. При контрольном тестировании типовые задачи для него подбирает агент-тестировщик в соответствии с уровнем тестируемого.

Рис. 4. Варианты использования интеллектуальной системы тестирования обучающимся

Использование принципа мультиагентности при проектировании ИСТ позволяет ввести понятие команды ИА, решающих совместно задачу. Как уже говорилось выше, задача может решаться симбиозом нескольких агентов, один из которых является координатором-менеджером работы остальных агентов. Работа менеджера должна отличаться от работы остальных агентов. Результатом его работы должна быть декомпозиция исходной задачи на подзадачи, анализ способностей агентов, делегирование решения подзадач способным агентам команды, анализ и коррекция структуры нерешенных задач после не/решения ими делегированных задач (рис. 5).

Рис. 5. Варианты использования интеллектуальной системы тестирования обучающимся
при командном решении задач

Для реализации ИСТ необходимо реализовать несколько программных модулей и их взаимодействие. Рассмотрим архитектуру взаимодействия модулей и компонентов.

Для создания базового учебного модуля знаний реализован модуль редактора базы знаний предметной области. Основными пользователями данного модуля являются главный эксперт и инженер знаний. Созданные в данном редакторе учебные модули используются в качестве входных данных для модулей редактора типовых тестовых заданий, редактора структуры усложнения ситуаций и редактора экспертных модулей знаний (см. рис. 6).

Рис. 6. Структура взаимодействия программных модулей
при создании модели предметной области ИСТ

Для организации адаптивного тестирования важно создать и использовать структуру постепенного усложнения ситуаций для формирования структуры тестовых задач, в которых эти ситуации используются как исходные. Для создания такой структуры задается отношение частичного порядка усложнения ситуаций ^[4]. Для описания подобной структуры разработан модуль редактора структуры усложнения ситуаций, результатом работы которого является решетка усложнения ситуаций.

Редактор типовых тестовых заданий предназначен для создания экспертами типовых учебных задач, в том числе сложных, кейсовых задач, используя структуру усложнения типовых ситуаций (типовых для экспертов, но не для обучающихся) и перечень абстрактных задач, ранее описанных в учебном модуле знаний.

Для создания экспертных модулей, являющихся надстройкой над базовым учебным модулем знаний, реализован редактор экспертных модулей знаний, позволяющий экспертам создавать методы возможных решений кейсовых задач и при необходимости вводить дополнительные понятия и ситуации, требующиеся для описания методов.

После описания экспертом и инженером знаний базового учебного модуля знаний, структуры усложнения ситуаций и типовых тестовых задач, преподаватель на онлайн-курсе может приступать к созданию заданий на онлайн-курсе с помощью модуля редактора тестов. Задание может явно указывать набор используемых для тестирования типовых тестовых задач, а может формулировать задачу для ИА «Тестировщик», с указанием ограничения на уровень сложности предъявляемых тестируемому задач, времени, отводимому на решение теста и цели тестирования. Основной целью тестировщика по умолчанию является уменьшение неопределенности (энтропии) карты компетенций тестируемого ИА. Карта компетенций показывает степень уверенности ИСТ в том, что испытуемый способен решить данную типовую задачу. Редактор тестов позволяет создавать наборы типовых тестовых задач, с указанием необходимого для тестирования количества генерируемых конкретных тестовых заданий (с конкретными исходными данными), максимального балла за решение каждого ТТЗ и алгоритма оценивания результатов.

Результаты тестирования, включающие в себя логи действий интеллектуального агента тестируемого при решении задачи и его ответы, передаются в модуль анализа и модуль начисления баллов.

Модуль начисления баллов использует данные, введенные преподавателем при создании тестового задания на онлайн-курсе, для вычисления балльно-рейтинговой оценки, которая автоматически выставляется в журнал оценок онлайн-курса за решение данного тестового задания.

Модуль анализа решения может анализировать логи решения задачи с использованием различных ИА-аналитиков, в основе работы которых могут использоваться как привычные экспертные системы с булевой логикой (решил/не решил), так и экспертные системы с нечеткой логикой, формирующие вероятностные суждения. Результаты работы ИА-аналитиков используются для обновления компетентностной карты ИА обучающегося, строящейся в виде оверлейной модели над структурой типовых тестовых задач. Данный компонент позволяет проверять представленное решение и оценивать рациональность решений, сравнивая его с решением ИА-экспертов.

Такая архитектура модулей позволяет решить задачу описания типовых учебных ситуаций, типовых учебных задач (кейсовых задач), позволяет сконструировать структуру усложнения тестовых задач, организовать адаптивное тестирование с учетом уровня сложности этих заданий и организовать проверку и диагностику ошибок в решении, оценку решения.

LMS Moodle имеет модульную архитектуру, благодаря которой возможности системы могут легко расширяться сторонними разработчиками Расширение функциональных возможностей, которые отсутствуют в базовой версии, возможно за счет установки дополнений (плагинов) – новых блоков, локальных плагинов и модулей элементов курса. При разработке плагинов использовался интерфейс программирования приложений Moodle API, для полной поддержки всех возможностей LMS Moodle, а также для возможности обновления плагинов при обновлении ядра системы Moodle.

Проектируемая интеллектуальная система тестирования для интеграции в LMS Moodle разделена на следующие основные компоненты (рис. 7):

• локальный плагин, включающий в себя большинство модулей редакторов системы;
• блок курса с элементами навигации для перехода в требуемые редакторы;
• модуль элемента курса, предоставляющий интерфейс преподавателю для создания и редактирования тестовых заданий и обучающимся для их решения.

Рис. 7. Структура компонентов ИСТ

Структура служебных файлов и каталогов, а также структура наследования базовых классов, полностью соответствует спецификации Moodle, применяемой при разработке плагинов ^[5].

Разработанный локальный плагин включает в себя модуль редактора базы знаний предметной области, редактор типовых тестовых заданий, редактор структуры усложнения ситуации, редактор экспертных модулей и модуль анализа решения, необходимых для работы экспертов и инженера знаний. Для этой цели был разработан MVC фреймворк (от англ. Model-View-Controller, шаблон проектирования модель-представление-контроллер). Данный фреймворк встроен в LMS Moodle как часть локального плагина, но с небольшими изменениями (при работе с базой данных) его можно вынести как самостоятельный сервис (рис. 8). Фреймворк разработан на PHP 5.6. Является быстрым и безопасным за счет подгрузки только необходимых в данный момент времени классов и встроенной валидации данных в базовой модели.

Рис. 8. Общая структура папок фреймворка,
разработанного для реализации плагина ИСТ

Папка actions – содержит в себе подпапки, которые по сути являются контроллерами с экшенами, в которых описывается взаимодействие представлений и бизнес-логики игры.

Папка components – содержит в себе необходимые для работы фреймворка классы.

Папка images предназначена для хранения картинок, используемых в GUI.

В папке managers – содержатся классы – менеджеры, для удобства вызова их методов в экшенах и моделях.

В папке models содержаться модели, разнесенные по своим модулям, а также в корне папки лежит базовая модель basicmodel.php – от которой унаследованы все остальные модели.

В папке themes содержаться файлы скриптов JavaScript и таблицы стилей CSS, а также картинки.

В папке views содержаться представления, также разнесенные по своим модулям, которые отвечают за вывод GUI.

Данная архитектура частично заимствована из популярных фреймворков, например YII и YII2 ^[6]. Но в отличие от популярных фреймворков при инициализации приложения подключаются только необходимые классы. Благодаря этому инициализация приложения происходит намного быстрее. Все модели приложения унаследованы от базовой модели, в которой содержатся методы работы с базой данных и методы валидации данных, поэтому некоторые модели содержат в себе только метод, определяющий правила валидации данных, и/или переопределены методы работы с базой данных.

Для навигации по модулям редакторов локального плагина был написан блок курса Moodle, позволяющий экспертам и инженеру знаний получить быстрый доступ к нужному редактору.

Модуль элемента курса содержит необходимые для преподавателя и обучающегося на онлайн-курсе инструменты работы с интеллектуальной системой тестирования, а именно: редактор тестов, модуль тестирования и модуль начисления баллов.

Модуль тестирования может использовать различных ИА-тестировщиков для организации тестирования в зависимости от поставленной задачи тестирования (рис. 9)

Предоставляется возможность для обучающихся тренироваться и проходить контрольное тестирование, регистрировать и отлаживать интеллектуальных агентов, загружать исходный код программного модуля агента (если предусмотрено заданием), просматривать своё решение задач, рейтинг агентов по различным показателям, просматривать свою компетентностную карту знаний (досье ИА обучающегося) и полученные баллы за решение задач контрольного тестирования.

Рис. 9. Схема реализации модуля тестирования при мультиагентном подходе

Преподаватель также имеет возможность просмотреть не только баллы, полученные обучающимся за решение задач, но их решения, скачать и проверить загруженные программные модули агентов обучающихся (например, на плагиат).

Для апробации сконструированного модуля ИСТ был выбран онлайн-курс по «Конструированию интеллектуальных агентов» на портале открытого образования Волгатеха ^[7]. Выбор данного курса для внедрения на нем модуля ИСТ был обусловлен несколькими соображениями. Первое – это то, что возможности модуля для обучения можно было усилить применением геймификации непосредственно. Цель онлайн-курса и модуля обучения – научить слушателей конструировать поисковых ИА, которые находят решение задач в рамках данной предметной области. В качестве модели предметной области был выбран мир лабиринта. Учебная задача в рамках данного мира формулировалась как приключенческая задача поиска золота в различных по сложности условиях (рис. 10). Идея модели игры взята из книги Стюарта Рассела и Питера Норвига «Искусственный интеллект: современный подход» ^[8].

Фактически, по своей сути модель предметной области является моделью игры. И поэтому будет намного легче вовлечь обучающихся в выполнение данного задания.

Второе – это то, что задача конструирования ИА не сильно отличается от формализованной задачи программирования. В обоих случаях пользователем разрабатывается программный модуль, который автоматизировано проверяется на наборе тестовых задач. И это значительно облегчает организацию тестирования. И добавляет возможность начисления очков при наступлении определенных событий и построение рейтинга агентов.

Третье – это то, что данная предметная область конечна, т. е. количество всевозможных состояний данного мира, хоть и велико, но все-таки конечно. В отличие от мира математики, физики и т.п. Это означает, что можно попробовать найти оптимальное решение любой задачи и оценить степень рациональности предложенных решений автоматически. И это означает, что можно сконструировать структуру усложнения всевозможных игровых ситуаций и типовых задач и воспользоваться ею для организации адаптивного тестирования.

Рис. 10. Мир лабиринта с возможными обвалами, живым монстром и кладом.

Четвертое – это то, что несмотря на конечность состояний данной предметной области, можно ее усложнять (увеличивать размер лабиринта, кол-во обвалов и монстров, увеличивать количество действующих в мире одновременно агентов, добавлять функционала монстрам и т. д.) и увеличивать число возможных действий агента. Можно всегда будет добиться того, чтобы формально тестовое задание имело все основания называться кейсовым заданием. Т. е. имелось бы множество возможных решений задачи и выбор действия агента определялся бы его текущим опытом и используемой стратегией. А правильность или рациональность выбранного решения определялась бы исходя из набранных очков / стоимости выполнения поставленной задачи.

Для разработчиков модуля ИСТ особенно важно, что формально решение задачи поиска золота в лабиринте ничем не отличается от решения любой формализованной задачи – есть исходные данные, есть ситуации (отношения между объектами), есть возможные действия с этими объектами, последовательность которых оформляется как решение, которое можно будет потом проанализировать. Поэтому данную предметную область можно использовать для апробации моделей и анализа свойств реализованного модуля ИСТ.

Игровая среда предметной области тестирования выгодно отличается от обычной среды тестирования тем, что дает немедленную обратную связь на каждое действие ИА тестируемого при решении задачи, а не только на конечный результат решения.

Для реализации игровой среды тестирования был использован раннее описанный MVC фреймворк. Добавлены соответствующие папки «game» в соответствующие разделы, содержащие файлы моделей, контроллеров, представлений и тем, в структуру каталогов (рис. 11).

Рис. 11 Структура дополнительных папок фреймворка
конкретной (игровой) среды тестирования

Таким образом, при добавлении новых предметных областей тестирования используется принцип модульности – в соответствующих разделах будут просто появляться новые папки с обозначением новой предметной области.

Рис. 12. Интерфейс модуля ИСТ
просмотра и создания контрольных попыток тестирования

Для организации обмена информацией между ИА обучающегося и средой решения задач (рис. 9), посредником взаимодействия ИА-обучающегося и базы знаний предметной области, использовался API-интерфейс. При GET-запросе от ИА-агента отправляется хэш-код (HASH), содержащий информацию о агенте и текущей игровой задаче и выбранное действие агента. В ответ агент получает информацию о доступном ему состоянии игры и количество игровых баллов за ход. Хэш-код ИА-обучающегося узнает после инициации обучающимся процесса прохождения контрольного тестирования и генерации конкретной тестовой задачи (КТЗ) (рис. 12).

При тренировке обучающийся может сам выбрать типовое тестовое задание (ТТЗ) (рис. 13).

Рис. 13. Интерфейс выбора типовой тестовой задачи обучающимся
в тренировочном режиме использования ИСТ

Если же обучающийся проходит контрольное тестирование, то тестировщик в соответствии с заданием на онлайн-курсе сам выбирает ТТЗ. В зависимости от настроек обучающемуся дается несколько попыток выполнения ТТЗ. При каждой новой попытке выполнения ТТЗ генерируются новые исходные данные – новая КТЗ. Для решения данной КТЗ у обучающегося также может иметься несколько попыток. На рис. 12 показан пример с тремя попытками выполнения ТТЗ и 5-ю попытками выполнения КТЗ. Баллы, полученные за 5 попыток, могут усредняться или браться по наилучшей попытке или по последней попытке в зависимости от опций задания, установленных преподавателем.

После завершения попытки, обучающийся может просмотреть свое решение, используя логи (рис. 14).

Для формирования структуры типовых задач, самые сложные из которых и являются компетентностными задачами, необходимо:

А. Задать отношения усложнения с использованием элементов описания ситуаций (простых высказываний) или «элементарных» ситуаций:
например, «карта известна» < «карта неизвестна», «монстра нет» < «монстр жив», «обвалов нет» < «имеется один обвал» < «имеется два обвала»;

Рис. 14. Интерфейс просмотра решения задачи

Б. Сформировать описание множества ситуаций как логических комбинаций простых высказываний; например, «карта известна» И «обвалов нет» И «монстр жив»;

В. Задать отношение усложнения ситуаций с использованием заданного отношения усложнения на множестве «элементарных» ситуаций (см. рис. 15).

Г. Сформулировать ТТЗ с использованием какой-то типовой ситуации, уточнив исходные данные и, выбрав абстрактную задачу, которую требуется решить (цель).

Выполнение последнего пункта и определяет структуру получаемых ТТЗ. Она полностью определяется структурой усложнения используемых для формулировки ТТЗ ситуаций.

Для простоты апробации ИСТ была выбрана простейшая структура ситуаций и ТТЗ (рис. 16). Ситуации 1,2,3 характеризуются тем, что карта известна в отличие от соответствующих ситуаций 4,5,6, которые отличаются от ситуаций 1,2,3 только этим элементом описания. Поэтому можно считать, что Сит.1 < Сит.4, Сит.2 < Сит.5, Сит.3 < Сит.6. Кроме этого решетка ситуаций на рис. 16 также задает отношение порядка на множестве ситуаций Сит.1<Сит.2<Сит.3 и на множестве ситуаций Сит.4<Сит.5<Сит.6 соответственно. Ситуации 1 и 4 характеризуются отсутствием обвалов и монстра. Ситуации 2 и 5 усложняют ситуации 1 и 4 тем, что появляются обвалы, а в ситуациях 3 и 6 – еще и монстры.

Рис. 15. Примеры пар ситуаций,
удовлетворяющих отношению усложнения ситуаций

Рис. 16. Пример простой структуры усложнения ситуаций
для учебной области знаний «Лабиринт»

Данная структура ситуаций индуцирует аналогичную структуру из 6 задач:

ТТЗ-1 «Поиск клада. Известный лабиринт. L-1» - соответствует ситуации Сит.1;

ТТЗ-2 «Поиск клада. Известный лабиринт. L-2» - соответствует ситуации Сит.2;

ТТЗ-3 «Поиск клада. Известный лабиринт. L-3» - соответствует ситуации Сит.3;

ТТЗ-4 «Поиск клада. Неизвестный лабиринт. L-1» - соответствует ситуации Сит.4;

ТТЗ-5 «Поиск клада. Неизвестный лабиринт. L-2» - соответствует ситуации Сит.5;

ТТЗ-6 «Поиск клада. Неизвестный лабиринт. L-3» - соответствует ситуации Сит.6.

Все задачи имеют одинаковые остальные исходные параметры (начальное состояние мира и цель игры).

Рис. 17. Решетка усложнения ситуаций
для учебной области знаний «Лабиринт»

На практике, необходимо выделять более детализированные описания ситуаций, которые более тонко описывают различные уровни сложности задач. Например, в ситуациях неизвестности карты учитывать локализован или не локализован монстр, известно ли количество и расположение обвалов, агента. В этом случае, решетка усложнения ситуаций будет намного сложнее (рис. 17). Но для учебных целей мы всегда можем ограничиться какой-то ее частью.

Положительные свойства архитектуры модуля ИСТ – модульность, гибкость, расширяемость, интеллектуальность, мультиагентноFсть – важны, но не менее важно показать практическую полезность данной системы, вытекающие в том числе и из свойств архитектуры. Поэтому было проведено внедрение данной системы в учебный процесс. Более 50 студентов второго курса бакалавриата направления «Программная инженерия» были поделены на группы по 2-3 человека. Каждая группа разрабатывала своего агента. Старший группы тестировал агента на открытом онлайн-курсе курсе «Конструирование интеллектуальных агентов» ^[7] и полученные баллы распределялись между членами группы по дисциплине «Теория управления (виртуальными сущностями)».

В соответствии с упрощенной структурой тестовых задач (см. выше) на онлайн-курсе было создано три задания (рис. 18). Каждое задание ИСТ на курсе было простым и подразумевало решение только одной типовой задачи.

Рис. 18. Размещение заданий ИСТ на онлайн-курсе платформы MOODLE

В задании «Найди клад (1 уровень)» необходимо было решить ТТЗ-4, в заданиях «Найди клад (2 уровень)», «Найди клад (3 уровень)» - задачи ТТЗ-5 и ТТЗ-6 соответственно. Согласно выбранной решетке усложнения задач каждая следующая задача была сложнее предыдущей. Результаты тестирования это подтверждают (см. табл. 1). Перед выполнением задания обучающийся мог сколько угодно тестировать своего агента на любой сгенерированной КТЗ, выбрав предварительно любую ТТЗ (рис. 13). Если же обучающийся при выполнении задания выбирал контрольное тестирование, то происходила генерация КТЗ того уровня, который соответствовал условию задания. Агенту давалось максимум 3 попытки решения задачи (рис. 12). В каждой попытке генерировалась случайные разные КТЗ. Результатом выполнения одной попытки была сумма баллов за 5 запусков агента (5 попыток решения одной КТЗ). Обучающийся за решение задания мог получить максимум 10 баллов, если все 5 запусков агента обучающегося в последней попытке были успешными.

Всего было сгенерировано 254 различных КТЗ, на которых тренировались и тестировались ИА обучающихся. Зафиксировано 1750 попыток прохождения агентами игр и 79 попыток контрольных тестирований. Пятеро слушателей курса не справились ни с одним заданием и образовали «нулевой» кластер обучающихся. Кластерный анализ ненулевых результатов выделил дополнительно три кластера обучающихся (рис. 19). Они явно отличаются результатами выполнения заданий разного уровня сложности. И главным индикатором стало задание «Найди клад (2 уровень)» (рис. 20).

Табл.1. Конечные ненулевые результаты выполнения заданий ИСТ на онлайн-курсе

Рис. 19. Дендрограмма образования кластеров результативных агентов обучающихся

Хорошо видно, что 1-й кластер обучающихся (зеленый цвет) справился только с заданиями 1-го уровня сложности и не справился с остальными заданиями. Красный кластер обучающихся выполнил почти 80% заданий 2 и 3. Черный кластер обучающихся справился более чем с 80% заданий 2-го уровня, и от 40% и до 100% с заданиями 3-го уровня. Все это позволяет сказать, что мы видим достаточно четко обозначенные границы уровней сформированности компетенций (рис. 20).

Рис. 20. Границы образования кластеров обучающихся,
соответствующих разным уровням сформированности компетенций;
IST_1, IST_2, IST_3 – обозначают 3 задания ИСТ;
точки соответствуют обучающимся, цвет соответствует кластеру обучающихся.

Таким образом, используемый метод конструирования структуры усложнения типовых задач позволяет выделять уровни сформированности предметных компетенций и определять способ их диагностирования ^[9], коррекции структуры тестовых заданий ^[10], а также использовать полученные решетки ситуаций и тестовых задач для организации адаптивного тестирования.

Нечеткость границы между красным и черным кластерами свидетельствует о недостаточной детализации ситуаций и необходимости учета их дополнительных свойств, таких как сложность локализации обвалов и поиска золота, если его локация совпадает с локацией обвала.

Разработана архитектура и создан прототип интеллектуальной системы тестирования. Архитектура ИСТ обладает такими важными свойствами, как модульность, гибкость, расширяемость, мультиагентность, интеллектуальность, что позволяет:

• встраивать модуль ИСТ в качестве элемента онлайн-курса, используя локальный плагин;
• переносить модуль ИСТ с одного портала MOODLE на другой, на новые версии портала;
• организовать асинхронную параллельную работу экспертов и обучающихся с ИСТ;
• добавлять модели новых предметных областей тестирования;
• организовать адаптивное тестирование обучающихся, в зависимости от того, какие они задачи смогли решить и какие не смогли решить с использованием решетки усложнения ситуаций и тестовых задач;
• организовать тестирование как слушателей курса, так и их программных агентов (полезно при обучении предметам, использующим программные реализации решений);
• организовать соревнование команд агентов, команд обучающихся;
• подключать новых интеллектуальных агентов для организации тестирования;
• использовать различных агентов для анализа решений, анализировать получаемые карты компетенций и проводить селекцию агентов;
• использовать агентов экспертов для анализа решений тестовых задач и оценки рациональности решений обучающихся.

Применение ситуационного подхода при анализе решений предоставляет возможности детального анализа получаемых решений, построения агентов-менеджеров, которые лишь декомпозируют задачу и делегируют решения подзадач другим агентам ^[11], использования полученных решений для автоматизированного построения агентов-экспертов методом Q-learning. Открываются очень интересные возможности по анализу принятия решений обучающимися и их агентами в различных ситуациях и автоматизированной коррекции (расширении, упрощении) структуры типовых ситуаций. Все это открывает обширные возможности по конструированию эффективных обучающих ИА – онлайн-тьюторов, онлайн-менторов, которые могут настраиваться персонально на каждого слушателя онлайн-курса и обеспечить эффективность обучения.