Педагогическое тестирование: от истоков до создания современных тестов

Бочкина Елена Валерьевна ORCID: 0000-0003-1099-0047 Преподаватель, Московский финансово-промышленный университет «Синергия» 143530, Россия, Московская область, г. Дедовск, ул. Войкова, 14 Bochkina Elena Valeryevna Lecturer Moscow Financial-Industrial University "Synergy" 143530, Russia, Moscow region, Dedovsk, Voykova str., 14 bochkina.elena@gmail.com Другие публикации этого автора

Ханчас Валерия Николаевна преподаватель, кафедра Иностранных языков, NEWMAN CENTER 61000–61999, Израиль, Тель-Авив, г. Тель-Авив, ул. Дорога а-Агана, 34 Khanchas Valeriya Nikolaevna Lecturer, Department of Foreign Languages, NEWMAN CENTER 61000-61999, Israel, Tel Aviv, Tel Aviv, a-Agan Street, 34 hava69@gmail.com

Актуальность

Приоритетным направлением модернизации среднего и высшего образования в России является обеспечение высокого качества образования. Для этого необходимо наличие качественного инструментария для оценки. Подобным инструментом является тестирование.

В настоящее время метод тестирования получил широкое распространение не только в России, но и во всем мире. Тесты применяют в социологии, психологии, медицине и педагогике как для сбора предварительной информации о человеке и анамнезе его жизни, так и для глубинного изучения специфических характеристик психического развития индивида. Для педагогической науки тест является инструментом оценки результатов процесса обучения, с его помощью выявляется уровень усвоения учебного материала учеником или студентом. Использование педагогического тестирования позволяет проводить своевременный мониторинг системы образования и на основании полученных результатов выстраивать наиболее гармоничную систему взаимоотношений между педагогом и учеником, а также, корректировать процесс организации учебного процесса.

Современный этап становления системы оценки и контроля качества среднего и высшего образования тесно связан с необходимостью использования педагогического теста, как одного из сильнейших инструментов диагностики образовательных сред. Это обусловлено тем, что благодаря педагогическому тесту появляется возможность объективно и достоверно выявить характеристики, подлежащие внешнему контролю и произвести оценку уровня сформированности данных характеристик. Педагогический тест является основным инструментом контроля качества высшего и среднего образования.

Цель исследования: выявить хронометрическую последовательность становления педагогического теста, как инструмента контроля качества образования и определить специфику составления современного педагогического теста.

Методология исследования

Методологическую основу исследования составили работы:

- Аванесова В.С., Пашнина С.В., Пасховер И. Л., которые включают в себя различные точки зрения процесс создания педагогического теста на современном этапе развития науки тестологии.

- Ганина В.В., отражающие особенности становления педагогического теста в России в период с XIX –XX век.

Результаты исследования

Под педагогическим тестом принято понимать «инструмент оперативной оценки и объективного измерения результатов обучения, сформированных при изучении учебных материалов» ^{[2, с. 63]} Тест является системой стандартизированных и упорядоченных заданий, которые расположены в порядке возрастания трудности выполнения. Все задания в тесте составлены на основе конкретного учебного содержания (модуля) и ориентированы на актуальный уровень подготовленности группы учащихся, для которой он предназначен (целевой группы).

Для того, чтобы понять суть метода педагогического тестирования необходимо изучить историю возникновения данного метода. Существует четыре точки зрения относительно того, кто был первым в области применения метода тестирования. Сторонники первой точки зрения (В. Аванесов, К. Ингенкамп, И. Цатурова и др.) считают, что история педагогического тестирования началась в Англии 1864 г. с книги Дж. Фишера «Книга шкал» («А scale book») ^[15]. В книге содержались тесты сочинений, задания на правописание, чтение и грамматику с несколькими вариантами ответов и методы количественной обработки полученных данных. Вторая точка зрения (E. Hanford, M. Mitford и др.) считает, что первым метод педагогического тестирования применил в 1845 г. политический деятель, реформатор американского образования, редактор журнала «Образовательная школа» X. Манн. Позднее его назовут «Отцом Американского образования» за его заслуги перед образовательной системой страны ^{[11, c. 2]}. По инициативе Х. Манна было проведено первое в США тестирование учащихся средней школы. Результаты были опубликованы, в том же году, в журнале, в котором он работал редактор. Позднее, на основании полученных результатов, им была разработана инструкция по обучению чтению, которая была основана на методе слов "the word method"), а не на методе заучивании алфавита «the alphabet method of learning letters» ^{[12, c. 3]}.

Третья точка зрения принадлежит группе ученых (К. Бреим, К. Таннер и др.), которые отдают право первенства в применении метода педагогического тестирования американскому врачу и психологу Дж. М. Райсу. Им, в 1987 году, было проведено тестирование на основе таблиц для проверки уровня знаний орфографии. Данные результаты отражали обобщенные данные, полученные в ходе тестирования 33 тысяч детей школьного возраста из разных округов США. После ознакомления учителей средних школ с результатами детей интерес к тестированию, как средству массового универсального контроля уровня усвоения образовательных программ, значительно возрос. Четвертая точка зрения отражает мнение ученых (В.И. Ганин, В.И. Мельников и др.), которые считают, что праотцом метода тестирования является Р. Кеттел. Им было введено понятие «тест» в общенаучный терминологический словарь в 1890 г. В том же году, им в первый раз был применен разработанный тест. Данный тест представлял собой опросник с вопросами, выявляющими личностные характеристики человека, особенности его мышления (пластичность и мобильность) и протоколы теста, с помощью интерпретации которых стало возможным произвести измерение школьных достижений. Первые результаты тестирования с помощью 16-ти факторного опросника М. Кеттела были опубликованы в 1891 году. Не смотря на отсутствия единого мнения о том, кто является основателем метода педагогического тестирования мы видим процесс, практически, одновременного зарождения данной идеи у ряда не связанных между собой людей, что в дальнейшем привело к росту интереса среди учителей и ученых к проблеме контроля качества и усвоения знаний в целом и методу педагогического тестирования в частности. На основе данного интереса произошло стимулирование развития исследовательской деятельности в данной области и началу второго этапа его развития.

Второй этап становления метода педагогического тестирования начался в 1909 году в США. В это время была создана национальная система контроля знаний с использованием тестов. Руководителем лаборатории, в которой разрабатывалась данная система контроля был Э.Л. Торндайк. Ученым и его коллегами были составлены тесты, охватывающие все основные предметы школьного образования. Благодаря им у школьных учителей появилась возможность своевременно осуществлять выявление «проблемных» образовательных зон у учеников и оказать необходимую помощь. В это же время, в России, было создано «Общество экспериментальных педагогов» во главе с Г.И. Россолимовым и Ф.Е. Рыбаковым. Ими разрабатывались тесты, которые позволяли проводить психодиагностику детей школьного возраста. В 1910 году Ф.Е. Рыбаковым был представлен психодиагностический тест, оценивающий уровень развития пространственного воображения у детей младшего школьного возраста «Фигуры Рыбакова». Данный тест очень быстро получил признание среди отечественных ученых, а позднее, и общемировое признание. Остальные работы «Общества экспериментальных педагогов» не были востребованы обществом и государством.

Третий этап становления метода тестирования начался в 1915 году и продлился вплоть до 1935 года. В это время, происходит активное внедрение данного метода в школы США и Европы. Учеными разрабатывались предметные педагогические тесты. Так, в 1916 году С.А. Кортисом была опубликована статья, в которой описываются результаты массового тестирования детей школьного возраста (500 тысяч человек) на знание арифметики. Подобные результаты были получены учеными и по другим образовательным предметам.

В это же время, в СССР происходит рождение новой педагогической школы и правительством поощряется внедрение педагогический новаций и экспериментирование. Появляется новое направление – педология. В 1926 г. отечественными учеными на основе американских тестов были разработанные тесты, направленные на определение уровня знаний по основным школьным образовательным предметам. В 1928 г. были выпущены труды С.М. Василейского, С. Бернштейна и А.Н. Болтунова, освещающие теорию и технику проведения тестологических исследований.

Четвертый период начался в середине 30-х и закончился в 60-х годах ХХ столетия. В это время в СССР тестирование было запрещено, как педагогический метод. В США идет накопление и переосмысление накопленного ранее опыта. В.А. Макколом тесты были разделены на психологические и педагогические.

В 1969 г. в СССР было разрешено проводить тесты. Это стало началом пятого этапа становления педагогического тестирования. Ученые стали защищать диссертации, посвященные вопросам тестирования. В 1976 году В.С. Аванесовой в работе «Вопросы объективизации оценки результатов обучения» был заложен фундамент для появления новой науки – тестологии, которая изучает особенности тестов, возможности их применения, методы и способы обработки результатов. В США и Европе продолжается разработка, совершенствование и внедрение батарей диагностических тестов.

Шестой этап развития педагогического тестирования начинается в 1990 году. В это время В СССР, а затем и в России происходит ряд существенных изменений в области тестирования. Была создана первая в России лаборатория тестирования «Тестумрос» в МПГИ им. Ленина, которая была возглавлена М.М. Мирошниковой. Были определены задачи и цели тестирования:

1.«Определение уровня подготовки детей школьного возраста по основным предметам естественно-математического цикла.

2. Оказание целенаправленной помощи учащимся, для достижения необходимого базового уровня подготовки.

3. Организация индивидуального подхода к учащимся и учителям.

4. Развитие методики тестовой проверки, которая бы способствовала профессиональному росту мастерства учителей.

5. Разработка новых измерителей (тестов), позволяющих учащимся — учиться, учителям — учить, институтам — видеть реальный результат и планировать дальнейшую работу.

6. Развитие фундаментальных поисково-прикладных исследований в области диагностики уровня знаний учащейся молодежи по различным дисциплинам, а также поддержка способной молодежи» ^{[3, с. 130]}.

Отметим, что в США специально-организованные центры тестирования появились 4 годами позже. Это подтверждает тот факт, что отечественные ученые, не смотря на предшествующий данным событиям период застоя находились на шаг впереди своих зарубежных коллег.

В лаборатории тестирования «Тестумрос» и дружественном ей Центре тестирования в 1997 г. были созданы единые тесты для получения срезовых результатов по всем общеобразовательным предметам. Первое (репетиционное) тестирование было произведено посредством сети интернет. В дальнейшем, данные тесты дорабатывались и после апробации на более чем 2 млн. школьников приобрели централизованный характер.

С 2001 года начинается седьмой этап развития тестирования. Данный этап продолжается и по сей день. Одной из отличительных его особенностей стало создание ЕГЭ, которое заменило предыдущий способ проверки знаний у учащихся средних школ России.

Проведенный краткий анализ процесса становления педагогического тестирования, как ветви науки показывает нам не только особенности данного научного направления, но и специфику развития педагогики и психологии в России и зарубежом в целом.

На данный момент в нашей стране наиболее распространенными тестами являются ЕГЭ (Единый Государственный Экзамен), ОГЭ (Общий Государственный Экзамен), ГВЭ (Государственный Выпускной Экзамен). Данные тесты позволяют определить уровень усвоения основной и общей образовательной программы основного общего образования у детей с нормой и особенностями развития. Стоит отметить, что «на основании приказа Министерства образования и науки РФ №396 от 26 декабря 2008 г. «Об утверждении порядка приема граждан в государственные и муниципальные образовательные учреждения высшего профессионального образования на 2009/2010 учебный год» ЕГЭ получает статус безусловного (абсолютного) критерия оценки подготовленности учащихся. Данный статус Единый Государственный Экзамен сохраняет и по сей день.

Зарубежом существует несколько основных педагогических тестов. С.В. Пашнин выделил несколько основных педагогических тестовых систем – «TOEFL, SAT, GRE, GMAT, которые основывают свою деятельность на классической тестовой теории и современной теории тестов (IRT – Item Response Theory) и разработаны американской специализированной организацией ETS – Educational Testing Service» ^{[7, с. 34]} Вклад данной организации в теорию и практику педагогического тестирования невозможно оценить, т.к., их разработками пользуются во всем мире.

Технология педагогического тестирования является одним из самых распространенных способов оценки результатов обучения у детей дошкольного, школьного возраста и у взрослых. Помимо широко распространенных тестов существует целый ряд авторских методов тестирования. Данные тесты можно разделить на несколько категорий: электронные, аппаратные, предметные, практические и бланковые тесты. Обе категории тестов направлены на выявление особенностей усвоения образовательного материала. Обе категории тестов подразделяются на:

· вводные или вступительные;

· текущие;

· тематические;

· промежуточные;

· итоговые.

Перечисленные выше группы тестов позволяют осуществлять контроль и оценку знаний на всех этапах образовательного процесса. Стоит отметить, что современные педагогические тесты позволяют произвести не только оценку знаний, но и уровень организации образовательного взаимодействия между педагогами и учениками. Данные тесты строятся по принципу опросника с вариантами ответов, анализ результатов которого позволяет выявить не только причину хороших или плохих взаимоотношений между участниками образовательного процесса, но и специфику передачи знаний, а как следствие причины высокой успеваемости или не успеваемости учащихся.

За адекватность полученных в ходе педагогического тестирования результатов отвечают несколько компонентов: соблюдение условий проведения и качество тестового инструментария.

Анализ литературы и собственного исследовательского опыта позволил нам определить критерии качества педагогического теста, которые, прежде всего, основываются на соблюдении этапов его разработки и прохождении процесса стандартизации и верификации. Для того, чтобы применяемые в работе педагога тесты были качественными необходимо, в процессе их создания четко следовать выделенным учеными (В.С., Аванесов, Д.Ш. Одинаев, И.Л. Пасховер, Н.А. Сеногноева, Т.М. Фоменко, М.Б. Челышкова) этапам:

1. На основании ФГОС по соответствующей дисциплине определяется область содержания теста и цели тестирования.

2. Составляется план или спецификация теста.

3. Определение критериев оценивания.

4. Выбор типа тестового задания.

5. Формулирование основных вопросов.

6. Разработка вариантов ответов на основные вопросы.

7. Проведение анализа заданий.

8. Измерение трудности заданий.

9. Предварительная оценка эффективности теста.

10. Проведение этико-методической экспертизы содержания теста.

11. Корректирование заданий в соответствии с замечаниями экспертов.

12. Написание заключения и действующей инструкции.

13. Проведение оценки эффективности на основе статистической обработки полученных данных.

14. Повторное тестирование.

15.Стандартизация и валидизация теста на большой выборке респондентов (1000 человек).

16. Внедрение теста.

Прокомментируем выделенные ранее этапы. Первостепенной задачей составителей педагогического теста является определение цели тестирования. Это может быть проверка промежуточных или итоговых знаний, определение уровня понимания или знания в комфортной или стрессовой ситуации и т.д. Далее необходимо составить план вопросов и типологизировать их в соответствии с определенными исследуемыми параметрами, например, в соответствии с разделом изучаемой дисциплины. Также, необходимо прописать целевую группу испытуемых и для кого предназначены результаты исследования. Далее, необходимо определить тип теста – вводный, итоговый, электронный или бланковый и т.д.

Следующим этапом является определение критериев оценивания. Авторами педагогического теста составляется таблица в которой фиксируются правильные ответы на тестовые вопросы и составляется система оценивания в бальной шкале. Далее, подбираются соответствующие методы математико-статистической обработки данных. Обычно применяют «фи - коэффициент корреляции и каппа-коэффициент согласованности результатов тестирования» ^{[6, с. 179]}. Полученные результаты позволяют оценить адекватность применяемого метода и избежать фальсификации результатов в дальнейшем. Отметим, что успешность тестирования на прямую зависит от качества отбора содержания тестовых заданий, что является следующим этапом составления теста. В.С. Аванесов выделил принципы отбора содержания тестовых заданий:

1. « Принцип конгруэнтности – соответствие содержания педагогического теста содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания.

2. Принцип значимости – отражает необходимость включения в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений.

3. Принцип научной достоверности – все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.

4. Принцип соответствия содержания теста уровню современного состояния научного знания – необходимо постоянно совершенствовать тест, добавляя в банк новые тестовые задания.

5. Принцип системности, комплексности и сбалансированности содержания теста – подбор заданий, комплексно отображающих основные темы учебной дисциплины.

6. Принцип возрастающей трудности тестовых заданий – «каждый учебный элемент имеет некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний» ^{[16, c. 210]}.

7. Принцип взаимосвязи содержания и формы – не всякое содержание задания можно выразить в тестовой форме. Также содержание теста должно отвечать логическим и семантическим требованиям и нормам» ^{[1, 3, 4,8]}.

В процессе составления заданий следует учитывать общепринятые к ним требования, которые заключаются в следующем:

- текст заданий должен исключать неясность и двусмысленность формулировок;

- основной текст задания должен состоять из, не более чем, 8 слов;

- задание имеет простую синтаксическую конструкцию;

- все ответы должны иметь одинаковую длину предложения (конструкции);

- тест не должен содержать задания, подразумевающие вербальную ассоциацию;

- в ответах не должно быть повторяющихся слов;

- в вопросах должен отсутствовать иррелевантный материал по проблеме исследования;

- следует исключить из ответов варианты, которые подразумевают объединение или исключение всех предыдущих вариантов ответов: «Все», «Ни одного», «Один из перечисленных» и т.д.;

- ответ на одно задание не должен быть подсказкой к другим заданиям;

- задания теста должны исключать возможность высказывания оценочных суждений участника теста, если это не является самоцелью тестового задания;

- необходимо обеспечить грамматическое согласование всех элементов теста;

- если все испытуемые правильно отвечают на задание теста, то это задание необходимо исключить из общего списка вопросов;

- если все испытуемые неправильно отвечают на задание теста, то следует проанализировать образовательную программу, на основе которой составлялся данный тест, чтобы обеспечить соответствие вопроса изучаемому материалу.

Выбор правильного содержания тестового задания способствует точности проверки необходимых знаний и обеспечивает качество тестовых оценок. Также, необходимо провести измерение трудности и целесообразности заданий для того, чтобы тест выступал единым исследовательским инструментом и выявлял уровень актуального знания. Для измерения трудности и целесообразности тестового задания проводится его сопоставление с изучаемой учебной программой, а затем и пилотажное исследование на небольшой выборке. Пилотажное исследование позволяет узнать уровень понимания тестовых заданий детьми.

Следующий этап – этико-методологическая экспертиза теста. Данная экспертиза осуществляется этическим комитетом или лабораторией (кафедрой) в организации, в которой разрабатывается педагогический тест. На ней выявляется соответствие теста этическим нормам и проверяется достоверность результатов. После получения заключения этико-методологической комиссии проводится либо коррекция заданий в соответствии с замечаниями экспертов и представление теста для повторного обсуждения, либо производится массовая апробация с последующей валидизацией и стандартизацией теста на выборке не менее, чем 1000 человек. После проведения всех процедур, при получении положительных результатов, производится внедрение педагогического теста в учебные учреждения.

Заключение

В данной работе представлен теоретический анализ подходов к изучению педагогических тестов, которые предопределяются зарубежной и отечественной школами. Зарубежные исследователи (США) являлись праотцами современной науки тестологии. На основе их работ на протяжении всего XX века было создано большинство отечественных и зарубежных тестов. Безусловной заслугой отечественных ученых считается создание лаборатории тестирования «Тестумрос», благодаря которой были созданы первые отечественные тесты оценки уровня усвоения образовательной программы – первые варианты ЕГЭ, которые в последствии были доработаны и внедрены по всей стране.

На современном этапе развития тестологии российскими учеными были выделены основные принципы и требования к разработке педагогического теста, которые являются базой для всех педагогический тестов в нашей стране. Педагогами и психологами отмечено, что следование данным требованиям и принципам позволяет достигнуть высокого уровня адекватности применяемого метода и избежать фальсификации результатов в дальнейшем.