Онлайн тестирование, как прием обучения, форма опроса и контроля знаний медицинского персонала

Семенов Дмитрий Сергеевич научный сотрудник, Научно-практический центр медицинской радиологии Департамента здравоохранения города Москвы 109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр. 1 Semenov Dmitry Scientific Associate, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department 109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str. 1 d.semenov@npcmr.ru Сергунова Кристина Анатольевна Руководитель отдела разработки средств контроля, ГБУЗ "Научно-практический центр медицинской радиологии ДЗМ" 109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр. 1 Sergunova Kristina Anatol'evna Head of the department of Control Measures Development, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department 109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str. 1 sergunova@npcmr.ru Ветшева Наталья Николаевна доктор медицинских наук Заместитель директора по медицинской части, ГБУЗ "Научно-практический центр медицинской радиологии ДЗМ" 109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр.1 Vetsheva Natalia Nikolaevna Doctor of Medicine Deputy Director of Medical Department, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department 109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str.1 vetsheva@npcmr.ru

Морозов Сергей Павлович доктор медицинских наук Директор, ГБУЗ "Научно-практический центр медицинской радиологии ДЗМ" 109029, Россия, г. Москва, ул. Средняя Калитниковская, 28 стр.1 Morozov Sergei Pavlovich Doctor of Medicine Director, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department 109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str.1 morozov@npcmr.ru

Введение

Одним из важнейших параметров, влияющих на уровень оказания медицинской помощи, является качество профессиональной подготовки врачей и среднего медицинского персонала. Для оценки способности специалистов выполнять служебные обязанности в соответствии с занимаемой должностью необходим периодический контроль уровня знания ^[1].

Обеспечение подготовки и переподготовки медицинских кадров на основе непрерывного профессионального образования в «Концепции долгосрочного социально-экономического развития РФ до 2020 года» указано как одна из приоритетных задач развития системы здравоохранения. При этом, одной из основных причин неудовлетворительного качества медицинской помощи отмечена недостаточная квалификация врачей и их низкая мотивация к профессиональному совершенствованию ^[2].

Присоединение России к Болонской декларации в 2003 г. и вхождение России в единое Европейское образовательное пространство внесло ряд изменений в послевузовское образование врачей ^[3]. В отличие от большинства европейских стран, где медицинские работники обязаны ежегодно подтверждать свои знания и ежедневно использовать современные руководства на рабочих местах, по существующей системе непрерывного последипломного образования, российские врачи проходят курсы повышения квалификации 1 раз в 5 лет. Ситуация усугубляется тем, что обучение для подтверждения сертификата зачастую носит формальный характер и содержание образовательных программ не всегда отвечает запросам практического здравоохранения. Отсутствие дистанционных технологий преподавания приводит к тому, что обучение на курсах повышения квалификации в очной форме вынуждает врачей, к неудовольствию работодателей, на 1-2 месяца отрываться от практической работы ^[4].

В настоящее время учебный процесс в системе дополнительного профессионального образования стремится выйти на качественно новый уровень развития, отвечающий современным потребностям общества и государства, инновационному развитию системы здравоохранения ^[5]. Разрабатываются новые системы профессиональной подготовки, позволяющие специалисту заниматься постоянным совершенствованием своих профессиональных знаний и навыков ^[6].

При переходе к системе непрерывного медицинского образования содержание разных форм образовательных программ повышения квалификации требует, прежде всего, соответствия актуальным требованиям практического здравоохранения и современных образовательных тенденций, среди которых можно выделить: активное использование дистанционных технологий, проблемное обучение в малых группах, обучение в составе междисциплинарных команд ^[7].

С учетом интенсивного развития информационных технологий все больше внимания уделяется гибким моделям образовательного процесса, в которых ведущую роль играют различные формы дистанционного обучения, позволяющие создать единое образовательное пространство, лишенное территориальных барьеров. Неотъемлемой частью онлайн-технологий является дистанционная система контроля – универсальный инструмент, определяющий уровень знаний на всех стадиях образовательного процесса.

Для создания подобных систем, как правило, используют онлайн-тестирование, имеющее ряд преимуществ по сравнению с другими методами контроля, в том числе тестовыми заданиями на листах бумаги:

- доступность и мобильность;

- возможность оценки достигнутого в ходе самостоятельной подготовки уровня знаний;

- возможность сравнения результатов с целью оценки степени прогресса на любых этапах обучения;

- сокращение времени на проверку результатов;

- возможность быстрой корректировки тестовых заданий.

Материалы и методы

С учетом описанных выше тенденций развития дистанционного обучения на базе ГБУЗ "НПЦМР ДЗМ" была разработана онлайн-система тестирования, позволяющая оценить степень подготовки медицинских специалистов по основным направлениям лучевой диагностики.

Система реализована на языке PHP и взаимодействует с базой данных MySQL, в которой хранятся тестовые задания и результаты тестирования пользователей. В модуле реализована система с тремя различными уровнями доступа:

1. Пользователи - группа лиц, непосредственно проходящих тестовый контроль знаний.

2. Авторы - пользователи, которым открыт доступ к созданию новых тестовых заданий по выбранной теме с соответствующим набором тегов;

3. Эксперты - пользователи, осуществляющие оценку новых тестовых заданий по выбранным в личном кабинете тематикам с целью определения корректности вопросов, вариантов ответа и правильности присвоения тегов автором.

Перед началом тестирования пользователям предлагается самостоятельно выбрать специальность и субспециальность, на основании которых в автоматическом режиме формируется список из фиксированного количества случайно выбранных из базы данных вопросов по указанному направлению. Осуществляется поиск набора тестовых заданий согласно «матрице соответствий» - таблице, определяющей количество вопросов по тематикам, соответствующим выбранной субспециальности.

Например, при выборе субспециальности «традиционная рентгенодиагностика» вопросы по тематикам распределяются следующим образом:

· голова и шея – 14 %;

· торакальная рентгенология – 16 %;

· абдоминальная рентгенология – 14 %;

· урогенитальная рентгенология – 14 %;

· мышечно-скелетная рентгенология – 14 %;

· сердечно-сосудистая рентгенология – 14 %;

· физика – 14 %

После прохождения тестирования отображается процент правильных ответов, позволяющий оценить уровень профессиональной подготовки. Результаты пройденного тестирования сохраняются для последующего анализа. Кроме того, пользователю предлагается оценить вопросы по уровню сложности и корректности постановки заданий, что в последующем позволяет выявить вызывающие наибольшие сложности тематики и использовать в целях повышения качества образовательного процесса, разработки курсов повышения квалификации, рекомендательных систем и пр.

После запуска системы онлайн-тестирования в нее были добавлены вопросы по 39 тематикам, охватывающим 3 специальности, 12 субспециальностей и 11 специализаций. На сегодняшний день в БД насчитывается порядка 2100 вопросов. Добавление новых тестовых заданий происходит в два этапа:

1. Запись автором в БД вопроса и соответствующих ему вариантов ответа.

2. Контроль качества со стороны эксперта.

Каждый новый вопрос подвергается экспертизе и может быть доработан, при необходимости, до момента включения в список тестовых заданий. Для этих целей реализован личный кабинет эксперта, в котором, указав перечень тематик, он получает список новых тестовых заданий, которые предлагается одобрить или отклонить с указанием соответствующей причины.

Каждому вопросу автором присваивается следующий набор тегов:

1. Назначение теста

2. Уровень образования

3. Специальность

4. Специализация

5. Тематика

6. Тема

Полученные результаты

Общее количество пользователей за три месяца составило 453 человека. Из них 1/3 проходили тестирование более одного раза (рис. 1).

Рисунок1. Диаграмма распределения пользователей по количеству прохождений тестовых заданий

Результаты тестирования показали достаточно высокий уровень подготовки– в среднем, 79 % (среднее отклонение 15 %) правильных ответов (рис. 2).

Рисунок 2. Диаграмма распределения количества аттестуемых по доле правильных ответов.

Количество тестирований с результатом менее 70 % правильных ответов (что соответствует отрицательному результату тестового контроля знаний при прохождении программы аттестации врачей) составило 26 %. Однако, как показал анализ данных повторного тестирования, результат может быть улучшен в процессе самостоятельной подготовки учащихся.

В среднем, пользователям, прошедшим тестирование не менее 4 раз, удалось улучшить результат с 55 до 81 %, а пользователям, прошедшим тестирование не менее 10 раз – с 57 до 88 % (рис. 3). Таким образом, повторное тестирование позволяет не только определить уровень профессиональной подготовки медицинский специалистов и выявить вопросы и темы, вызывающие основные сложности, но также определить эффективность дополнительных образовательных программ и самоподготовки в процессе обучения.

Рисунок 3. Распределение результатов у пользователей, проходивших тестирование несколько раз (черный – первый результат, серый – последний).

Для повышения качества системы тестирования пользователям было предложено отметить "некорректные" с их точки зрения вопросы (рис. 4), что позволило выявить задания, требующие повторного рассмотрения с целью корректировки или замены.

Рисунок 4. Диаграмма распределения отметок «некорректный вопрос».

В результате 13 вопросов (менее 1%) из базы данных были отмечены 5 и более раз и направлены на повторное рассмотрение экспертам по соответствующим тематикам.

Обсуждения и дальнейшие перспективы развития. Оценка возможности применения адаптивных систем обучения.

Использование системы онлайн тестирования дает возможность пользователям не только готовится к аттестационному тестированию, но и участвовать в повышении качества системы путем выявления "некорректных" вопросов. Важным показателем эффективности программы является улучшение результата при повторных прохождениях теста (в среднем, с 57 до 72 %).

Одним из перспективных направлений дальнейшего развития системы онлайн-тестирования является применение методов адаптивного обучения, которое, в отличие от традиционного, ставит перед собой задачу повышения качества образования благодаря индивидуальному подходу. Особенностью ее является тот факт, что ученик самостоятельно выбирает путь изучения материала из имеющихся вариантов и без посторонней помощи осваивает тот или иной предмет успешнее, чем при традиционной методике ^{[8, 9]}. Одним из первых такой подход описал Ричард Аткинсон в 1968 г.: разработанная в Стэндфордском университете компьютеризированная адаптивная система изучения языка была применена в начальной школе ^[10]. Она позволяла ученикам, усвоившим материал, быстрее переходить к следующей теме, что, в конечном счете, привело к повышению успеваемости.

Филип Келман в своей работе описывает успешный опыт применения системы адаптивного обучения ARTS в медицинских вузах, которая помимо точности ответа на вопрос, учитывает и время, затраченное на принятие решения ^[11].

Для реализации методов адаптивного обучения в описанной выше системе предлагается:

1. Ранжировать все вопросы по пятибалльной шкале, применив метод экспертной оценки;

2. Присвоить уровень сложности и соответствующие теги каждой образовательной программе, то есть, систематизировать все курсы, вебинары и мастер-классы так же, как и тестовые вопросы;

3. Каждому пользователю предоставить доступ к сводной таблице достижений, в которой отображается уровень знаний по тематикам (по умолчанию, нулевой) и пройденным курсам.

В представленной программе тестирования после выбора субспециальности пользователь получает n вопросов по каждой теме, включенной в данную субспециальность, согласно «матрице соответствия». Для создания адаптивной системы предлагается ограничиться одним вопросом из каждой тематики, относящимся к среднему уровню сложности. Далее, проверив ответы, в зависимости от правильности ответа система на каждом шаге будет выдавать более сложный или более простой вопрос по соответствующей тематике. После трех правильных ответов на вопросы одного уровня сложности выдача вопросов по тематике прекращается и выставляется соответствующая оценка (рис. 5).

Рисунок 5. Алгоритм выбора последующих вопросов.

В результате, сокращается общее время, затрачиваемое на тестирование, без снижения качества оценки знаний. Вместе с этим, каждое завершенное тестирование пополняет таблицу персональных результатов, визуализирующую общий уровень знаний пользователя (рис. 6). Сохраненные в личном кабинете пользователя сводные данные о персональных достижениях могут быть дополнены рекомендациями, касающимися дальнейшего обучения.

Рисунок 6. Результаты тестирования с рекомендациями

Заключение

Основным преимуществом системы онлайн-тестирования с введением принципов адаптивного обучения является возможность выбора индивидуального набора образовательных программ для каждого учащегося, при котором он за наименьшее время достигнет желаемых результатов. Детализированная статистика по отдельным субспециальностям позволит провести оценку необходимости совершенствования образовательных программ по конкретным направлениям подготовки, а увеличение объема данных – повысить точность определения их эффективности.

Создание адаптивной системы будет способствовать как сокращению затрат на обучение врача в рамках непрерывного медицинского образования, так и повышению качества профессиональной подготовки.