Опыт анализа цифрового следа студента в LMS Moodle

Введение

Переход к электронному обучению и применению дистанционных технологий поставил по-новому не только задачу обучения, но и по-новому поставил задачу анализа образовательных результатов, введя в обиход понятие цифрового следа обучаемого. Наличие новых возможностей позволило ставить и новые задачи. Так А. А. Степаненко, А.В. Фещенко утверждают, что анализ цифрового следа позволяет выявлять «сильных студентов», «слабых» и студентов, проявивших высокий уровень интеллектуального развития и высокий уровень личностной мотивации ^[14]. Т.М.Шамсутдинова использует цифровой след как средство создания и управления индивидуальной траекторией обучения ^[17]. М. С. Воробьева и Д. С. Лобунцов использую цифровой след для проектирования образовательных результатов студента ^[6].

В данной статье автор сосредоточится на результатах анализа цифрового следа обучаемых, формируемых в ходе изучения конкретной дисциплины. Необходимость сужения проблемы до уровня конкретной дисциплины обусловлена как отсутствием необходимого интегрированного количества междисциплинарных данных, так и практики подобного анализа. В качестве конкретной дисциплины будем использовать курс по управлению проектами, читаемый для магистрантов всего потока специальности «Архитектура», направление 07.03.04 "Градостроительство" ^[16]. Тем не менее, будет показано, что полученные результаты допускают широкие обобщения. В частности, могут использоваться для проверки соответствия формируемых в курсе компетенций требованиям профессиональных и государственных образовательных стандартов. В учебном процессе формирование компетенций традиционно проводится «сверху»: пишется учебный план, компетенции, которые учебный план формирует, фонд оценочных средств для оценки сформированности компетенций. Затем все переходит "вниз": на уровень конкретной дисциплины.

Взятая в качестве примера дисциплина - "Управление проектом" естественным образом подразумевает формирование управленческих компетенций. Потребность в изучении того, как формируются компетенции управленца ощущается все сильнее. Так квалификационный справочник характерик должностей ^[11] определяет общие требования к руководителям соотвествующего профиля. А профессиональный стандарт архитектора ^[10] конкретизирует требования в виде обобщённой трудовой функции «Руководство процессом архитектурно-строительного проектирования объектов и работ, связанных с реализацией объектов капитального строительства». В выпущенном недавно Стандарте комплексного развития территорий ^[13], состоящем из 10 книг, 2 книги посвящены проектному управлению, что говорит о важности управленческой деятельности. В теоретическом плане деятельность архитектора как менеджера и руководителя проектов осмыслена в монографии В.Этенко ^[18].

Курс "Управление проектом" подготовлен в электронном виде. Слушателям его можно проходить либо полностью дистанционно, либо в режиме смешанного обучения. «Смешанное обучение – модель, построенная на основе интеграции и взаимного дополнения технологий традиционного и электронного обучения, предполагающая замещение части традиционных учебных занятий различными видами учебного взаимодействия в электронной среде» ^[4]. Именно благодаря, тому, что курс подготовлен в электронном виде, появилась возможность собирать и обрабатывать отзывы слушателей – анализировать цифровой след.

Методы

Состав цифрового следа. «Цифровой след – это данные об образовательной, профессиональной или иной деятельности человека, представленные в электронной форме» ^[15]. Цифровой след студента во время изучения курса складывается из двух частей: обязательной и дополнительной. К обязательной части относятся материалы всех выполняемых в курсе заданий, к дополнительной - любые материалы, непосредственно не требуемые дидактикой курса. И если на основе обязательных материалов преподаватель ставит общую оценку за курс, то дополнительные (необязательные) материалы не используются и их не стремятся вводить в курс.

В случае курса "Управление проектом" в состав дополнительных материалов входят отзывы слушателей о курсе и анкета. Отзывы слушателей собирались после окончания курса в режиме свободного отбора, чтобы избежать предвзятости в выставлении оценок. Во время завершения курса слушатели по собственному желанию пишут общий отзыв о курсе в целом, а также в обязательном порядке заполняют анкету с четырьмя вопросами: «Приобретенные навыки», «Приобретенный опыт», «Пригодится в будущем», «Следует избегать в будущем». Состав вопросов взят из рекомендаций по послепроектному анализу проектов методики MSF от компании Микрософт ^[2]. Вопросы от компании Микрософт были выбраны на том основании, что, во-первых, проектное управление является универсальной дисциплиной, во-вторых, опыт данной компании в области проектной деятельности неоспорим. По сути представленные вопросы являются универсальными и подходят для любого курса.

Анкетирование студентов также широко используется: как инструмент самооценки ВУЗа ^[8], для оценки удовлетворенности студентов ^[5], для оптимизации учебного процесса ^[9], для оптимизации самостоятельной работы студентов ^[3]. Далее, для анализа собранных анкет использовались следующие методы: контент-анализ эмоциональной окрашенности текстов С.Титчер, М.Майер, Р.Водак, Е.Веттер ^[12], частотный анализ, смысловой анализ текстов по методике «Истоки-результаты-решения» ^[7].

Результаты

Анализ отзывов

Вначале был определен общая эмоциональная окраска текстов отзывов. Общее количество слов с отрицательной коннотацией: 10%. Общее количество слов с положительной коннотацией: 17%. Общее количество существительных, глаголов и прилагательных по 33%, т.е. отзывы имеют сбалансированный характер и подтверждает непредвзятый характер оценок, данных слушателями.

Далее использовался смысловой контент-анализ для анализа отзывов слушателей о курсе. Поскольку многие слушатели в отзывах упоминали электронный курс как инновационную форму обучения, был произведен контент-анализ той части отзывов, который касался электронного обучения. Контент-анализ производился путем выделения общих смысловых единиц. Всего было обработано 24 анкеты. Большинство студентов – 18 человек – положительно оценивают дистанционные образовательные технологии. На рисунке 1 представлены преимущества, которые слушатели видят в данной форме обучения.

Как видим, для подавляющего большинства слушателей, положительно воспринимающих дистанционные технологии, самой привлекательной чертой является возможность распоряжаться своим временем. Что, несомненно, является одной из важнейших управленческих компетенций. Следующей по привлекательности чертой является возможность просматривать работы одногруппников, что обусловлено недостатками очного процесса проектирования, построенного на индивидуальных консультациях с преподавателем. Здесь надо отдать должное разработчикам системы управления обучением (LMS) Moodle, положившим в основу своей разработки принципы социального конструкционизма ^[1]. Из оставшейся выборки трое слушателей не высказали свое мнение, четверо высказали отрицательное отношение к дистанционным технологиям. Основных причин отрицательного отношения две: недостаток живого общения, в том числе с преподавателем, недостаток практических навыков, которые получены в ходе обучения.

Далее был выполнен частотный анализ отзывов. Результаты частотного анализа приведены в таблице 1.

Таблица 1. Результаты частотного анализа (без учета вспомогательных слов и предлогов)

Далее был определен эмоциональный контекст отношения к слову «курс». Для этого были выписаны все предложения с данным словом и определены эпитеты, которые сопровождали данное слово. При этом отзывы с разными степени сравнения попадали в одну категорию. Например, «понравился», «очень понравился» и «понравился в целом». В категорию прочего вошли предложения, не содержащие суждений собственно о курсе, например, «также понравилось, что курс шёл одновременно с проектом, который мы сейчас выполняем».

Следующее по частоте употребления слово «обучение» часть употребляется в сочетании «форма обучения», «формат обучения». В целом отношение к формам обучения коррелирует с тем содержанием, которое оказано на рисунке 1, т.е отношение в целом благоприятное.

Анализ анкет

Далее приведем результаты анализа анкет у слушателей. На рисунке 3 показаны сводные данные по результатам обработки анкеты с вопросом «Приобретенные навыки».

Из представленной диаграммы видно, что ответы слушателей о приобретенных навыках носят более разнообразный характер – всего 9 различных типов ответов. Наибольшее количество голосов набрал ответ о личностных навыках, куда вошли формулировки типа: рационализм, прагматичность, навыки грамотно излагать свои мысли и т.п.

Далее проанализируем вопрос анкеты построектного анализа «Приобретенный опыт». Сводные результаты анализа анкеты показаны на рисунке 4.

На рисунке 3 видно, что разнообразие ответов о приобретённом опыте меньше – всего выделено 6 смысловых единиц. Основным приобретенным опытом является опыт организации работ. Следующим по важности приобретенным опытом назван опыт планирования.

Следующий вопрос для анализа – ответы студентов на вопрос «Пригодится в будущем». На рисунке 5 представлены сводные результаты ответов студентов на поставленный вопрос анкеты. Взгляд студентов на то, что пригодится им в будущем еще более единодушен: свыше 50% отметили опыт руководства как то, что пригодится им в будущем. Остальные ответы выражены значительно менее интенсивно.

Последний пункт анализа – анализ ответов на вопрос анкеты «Следует избегать в будущем». На рисунке 6 представлены результаты ответов на вопрос анкеты.

Наибольший вес набрал ответ о прокрастинации (обобщенная формулировка автора), следующий по важности ответ – ответ о необходимости избегать поспешных решений. Ответам дается следующая содержательная трактовка: ответы о необходимости избегать проктастинации и поспешных решений прекрасно корреспондируют с ответами на вопросы о приобретенных навыках и подчеркивают приобретенное слушателями понимание необходимости своевременных управленческих решений. Интересен также ответ о том, что надо избегать проблем, связанных с установкой программ. Он связан с тем, что в ходе обучения студентам предлагалось скачать бесплатную демоверсию программы MS Project с оригинального сайта. Видимо, в ходе выполнения данного задания возникали затруднения, связанные и низкой культурой использования программного обеспечения.

Обсуждение

Для удобства обсуждения сводные итоги ответов студентов приведены в таблице 1. Ответы сгруппированы по темам.

Таблица 1. Сводные данные по ответам студентов

Рассмотрим, как вышеприведенные ответы студентов связаны с требованиями профессиональных стандартов. Профессиональный стандарт 10.008 «Архитектор» ^[17] включает в список обобщенных трудовых функций трудовую функцию «С» - «Руководство процессом архитектурно-строительного проектирования объектов и работ, связанных с реализацией объектов капитального строительства». Далее стандарт перечисляет виды работ, которые необходимы для выполнения обобщённой трудовой функции: руководство проектно-изыскательскими работами, руководство проектными работами по разработке проектной документации, подготовка и защита проектной документации, осуществление мероприятий авторского надзора, оказание консультационных услуг, администрирование процессов управления проектом, экспертная деятельность по вопросам развития архитектурной профессии, руководство работниками и операционное управление персоналом творческого коллектива. Как видим, требования профессионального стандарта конкретизируют виды работ, необходимые для выполнения трудовой обобщенной функции, в то время как ответы студентов описывают общепрофессиональные знания и навыки, которые могли бы пригодиться в любом виде деятельности.

Ранее говорилось о том, цифровой след студента можно использовать для проверки сформированнности компетенций, требуемых учебным планом. Для рассматриваемого курса учебным планом определены следующие компетенции: УК-3 – «Способен осуществлять социальное взаимодействие и реализовывать свою роль в команде» и компетенция УК-6 «Способен управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течении всей жизни» ^[16]. Сами формулировки ответов на вопросы анкеты говорят о желании слушателей получать не конкретные, связанные с руководством конкретным процессом компетенции, а компетенции более высокого уровня – межпредметные. Например, по данным рисунка 3 видно, что слушатели на первое место поставили приобретение личностных навыков, под которыми понимают рационализм, прагматичность, навыки грамотно излагать свои мысли и т.п. При этом осознается важность и конкретного опыта, и приобретенных навыков. Из таблицы 1 видно, что слушатели отмечают навыки руководства и организации коллективной работы, что прямо связано с компетенцией УК-3 – «Способен осуществлять социальное взаимодействие и реализовывать свою роль в команде». Сформированность следующей предусмотренной учебным планом компетенции УК-6 «Способен управлять своим временем, выстраивать и реализовывать траекторию саморазвития на основе принципов образования в течении всей жизни» подтверждается как непосредственно таблицей 1, где отмечены приобретенные навыки тайм-менеджмента, так и косвенно, когда слушатели отмечают навыки стратегического мышления.

Вернемся к первой составляющей цифрового следа: отзывам о курсе в целом. Ранее говорилось, что анализ отзывов проводился в части отношения слушателей к электронной форме обучения. В целом отзывы были комплементарными. Сопоставляя эти выводы с анализом компетенций, сделаем вывод о том, что электронная форма обучения не препятствует получению тех или иных управленческих компетенций.

Заключение

В статье был рассмотрен анализ цифрового следа на примере конкретной дисциплины. Было заявлено, что несмотря на сужение конкретики проблемы до уровня отдельной дисциплины, сделанные выводы допускают широкие обобщения. В качестве источника данных использовались материалы курса «Управление проектом».

Как было показано, анализ цифрового следа позволяет судить о тех эмоциональных впечатлениях, которые получили слушатели. Анализ цифрового следа позволяет сделать вывод о сформированности тех или иных компетенций, которые предусмотрены учебным планом. Что, в свою очередь, является очередным шагом к созданию доказательной педагогики.