5.3. Общая методика разработки педагогических тестов

В этом разделе учебного пособия предлагается методика В.С. Аванесова, которая по сравнению с другими разработками лучше всего подходит как для будущих, так и для ныне работающих учителей. Более подробно с работами этого автора можно ознакомиться дополнительно, в списке использованной литературы они указаны.

Определение педагогического теста

Педагогическим тестом называется система заданий специфической формы, определенного содержания, возрастающей

93

трудности - система, создаваемая с целью объективно оценить структуру и качественно измерить уровень подготовленности учащихся. Для лучшего понимания это определение нуждается в кратком истолковании.

Система означает, что в тесте собраны только такие задания, которые обладают системообразующими свойствами. Здесь в первую очередь надо выделить их общую принадлежность к одной и той же учебной дисциплине, их взаимосвязь, выявленную корреляционными и факторными методами, их взаимодополняемость и упорядоченность с точки зрения трудности. Сами задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания. Последние легко кодируются принятым повсеместно двоичным кодом - соответственно 1 или 0 - и далее в таком виде поступают в современные системы обработки информации. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них иногда столь неопределенны и многословны, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому они не включаются в тест, являющийся эффективным средством совершенствования технологии обучения.

Определенное содержание предполагает включение в тест только такого контрольного материала, содержание которого находится в соответствии с содержанием учебного материала. Другое содержание в тест не включается. Нарушение этого требования приводит к ухудшению качества теста, вплоть до того момента, когда могут возникнуть вопросы о цели теста и о том, что и как он измеряет. Содержание теста определяется опытными учителями-предметниками, привлекаемыми для его разработки, и экспертами из числа профессорского состава, призванными дать четкий ответ на вопрос - можно ли с помощью предложенных заданий корректно проверить подготовленность учащихся.

Возрастающую трудность заданий можно образно сравнить с системой барьеров на беговой дорожке стадиона, где каждый последующий барьер должен быть выше предыдущего. Пробежать всю дистанцию и успешно преодолеть все барьеры может только тот, кто подготовлен лучше всех. Возвращаясь к тестовым заданиям, упорядоченным по принципу возрастающей трудности, можно заметить, что одни - 3 - 5 % - отступают уже на самом легком первом задании, другие - на последующих. Учащиеся среднего уровня подготовленности могут ответить правильно только на половину заданий теста и, наконец, только 1 - 3 % самых знающих в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста. Чем больше правильных

94

ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно тестовый балл ассоциируется с понятием "измерение уровня знаний" и проходит процедуру уточнения на основе той или иной модели измерения.

Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Если, например, в тесте из 30 заданий учащийся получил 10 баллов, то эти баллы скорее всего получены за счет правильных ответов на первые 10 сравнительно легких заданий. Если это так, то присущую для такого случая последовательность единиц, а затем нулей можно назвать правильным профилем учащегося. Это потому, что он правильно решал легкие задания и неправильно - трудные, что согласуется с естественной педагогической логикой. Если же обнаруживается противоположная картина, когда учащийся правильно отвечает на трудные задания и неправильно на легкие, то это совсем не согласуется с той же логикой, и потому такой профиль можно назвать инвертированным. Он встречается чрезвычайно редко, и чаще всего по причине неквалифицированно сделанного теста, в котором задания расположены с нарушением требования возрастания трудности. Если теперь предположить, что тест сделан профессионально, то каждый профиль будет свидетельствовать о той или иной структуре знаний. Эту структуру можно назвать элементарной, поскольку есть еще факторные структуры, которые выявляются с помощью методов факторного анализа.

Заканчивая краткое толкование данного определения педагогического теста, хотелось бы заметить, что каждое учебное заведение, как и система образования, должно стремиться в первую очередь к правильной структуре знаний, где бы не было досадных пробелов, и затем стремиться к повышению их уровня. Уровень знаний в значительной степени зависит от личных усилий и способностей учащихся, в то время как структура знаний заметно зависит от правильной организации учебного процесса, индивидуализации обучения, от уровня педагогического мастерства, объективности контроля - т.е. от всего того, чего у нас более всего не хватает.

Основные этапы разработки теста по учебной дисциплине

Первый этап. Чтобы разработать педагогический тест по конкретной учебной дисциплине или предмету, нужно вначале содержание этой дисциплины проструктурировать, во-первых, по основным его разделам или темам, во-вторых, каждый раздел или каждую тему - по понятийным индикаторам первой, второй, третьей и т.д. ступеней, входящих в изучаемый раздел или тему.

Второй этап. Разрабатывается план теста. Если, например, учебная дисциплина состоит из четырех разделов, то вначале

95

делается примерная раскладка необходимого числа заданий на каждый раздел, исходя из общего предельного числа, обычно не превышающего 30 - 60 коротких заданий разного уровня сложности. Число заданий, выделяемых на каждый раздел, зависит от его важности в изучении дисциплины. Предварительная раскладка заданий дается на примере таблицы 6.

Таблица 6

Пример предварительной раскладки задани

Разделы учебной дисциплины	Количество задании	% к общему числу
I	12	20
II	18	30
III	24	40
IV	6	10
Итого	60	100

Третий этап. Разрабатывается перечень задач, которые ставятся перед тестированием, например: А - умение давать определения; Б - знание формул, законов и принципов; В - умение применять формулы, законы и принципы для решения задач и примеров; Г - умение находить сходство и различия; Д - умение представить материал на графиках и схемах. Если на проверку умения A отвести, к примеру, 10 % всех заданий, Б и В - по 30 %, Г - 20 % и Д - 10 %, то общая раскладка числа заданий для рассмотренного примера принимает вид, представленный в таблице 7.

Таблица 7

Общая раскладка числа заданий для примера из таблицы 6

Умения и % заданий по их проверке	Номера разделов, % и число заданий				Всего для проверки каждого умения
	I - 20 %	II - 30 %	III - 40 %	IV - 10 %
A - 10 %	1	2	2	1	6
Б - 30 %	4	5	7	1	17
В - 30 %	4	5	7	2	18
Г - 20 %	2	4	5	1	12
Д - 10 %	1	2	3	1	7
Итого заданий	12	18	24	6	60

После выработки общего плана теста начинается самый ответственный четвертый этап - составление и подбор заданий. Эта работа обычно поручается самым опытным учителям, неоднократно

96

преподававшим курс и проверявшим знания учащихся по нему. При формировании заданий они руководствуются рядом требований. Первое касается количества заданий. Их должно быть примерно в два-три раза больше запланированного числа. Это объясняется тем, что не все предлагаемые задания являются, образно говоря, "работоспособными" в той мере, в какой это первоначально считалось: некоторые задания окажутся слишком легкими, другие, наоборот, - более трудными, чем ожидалось; одни окажутся более информативными, другие - менее. Поэтому примерно с половиной заданий приходится расставаться после первой же проверки, а с некоторыми другими - в процессе последующего углубленного анализа.

Второе требование касается форм заданий. Задания должны иметь такую форму, чтобы их можно было заложить в компьютерную программу и тем самым обеспечить машинную обработку получаемых результатов, т.е. чтобы можно было использовать элементы информационной технологии. В.С. Аванесов предлагает четыре основные формы: закрытую и открытую формы, задания на соответствие и задания на установление правильной последовательности.

Задания закрытой формы могут быть нескольких видов.

Первый - задания с двумя ответами. Ниже приводится несколько примеров:

Второй вид заданий закрытой формы: с тремя ответами. Например:

Задания закрытой формы с четырьмя ответами обладают несколько большими возможностями в смысле снижения вероятности отгадать правильный ответ.

Еще меньше вероятность догадки в заданиях с пятью и большим числом ответов. В практике считается достаточным иметь задания с четырьмя или пятью ответами.

97

Одно из возражений против заданий с готовыми ответами - быстрое "рассекречивание" теста. После первого тестирования учащиеся сообщают друг другу содержание запомнившихся заданий и правильные ответы к ним. Нередко имеет место и организованная утечка тестовой информации.

Средством борьбы против нарушений такого рода является увеличение числа заданий, их классификация по темам, по уровню трудности. По сути, для каждого задания создается десяток, а то и больше вариантов по сходной учебной тематике, но так, чтобы ответы на них были сравнимы по трудности. Еще одно возражение, чисто педагогическое: пользуясь готовыми ответами, учащиеся перестают думать, они не учатся творчеству и т. п. Однако в хорошо сделанном задании ученику приходится думать, сопоставляя один правдоподобный ответ с другими в поисках правильного ответа.

Понятие правдоподобный ответ требует некоторого истолкования. В заданиях с выборочными ответами правдоподобные, но все-таки неправильные ответы играют не меньшую роль, чем само задание, ибо неправдоподобные ответы легко различаются учащимися от правильного ответа, и задание "не работает" из-за плохой формулировки ответов. Каждый ответ должен как бы привлекать к себе школьников с той или иной структурой подготовленности. Мера привлекательности каждого ответа определяется долей учащихся, выбравших данный ответ. Чем выше эта доля в неправильных ответах, тем лучше ответ сформулирован. Однако один удачный ответ не делает задание хорошим. Для этого нужно, чтобы и все другие ответы были привлекательными, причем надо добиваться более или менее равномерной правдоподобности. Только тогда задание с выборочными ответами становится удачным. Мера привлекательности каждого ответа устанавливается эмпирически.

Что касается творчества, то эти способности в кратковременный период контроля развить невозможно; это следует делать в процессе занятий. Есть и другие возражения, однако перевешивают отмеченные преимущества в смысле возможностей автоматизации.

С появлением новых моделей тестового измерения вскрылся еще один дефект заданий с выборочным ответом, связанный с параметром догадки. Если до начала 80-х годов закрытые задания были самыми распространенными, то теперь популярность постепенно переходит к открытым заданиям.

98

Открытые задания. Эти задания долгое время были привлекательными для педагогов, использующих безмашинный контроль, и совсем неприемлемыми для тех, кто занимался машинным контролем. Объясняется это обстоятельство нетехнологичностью таких заданий: они требовали ручной обработки данных и больших затрат педагогического труда. Обратимся к примерам из различных учебных дисциплин. Отвечая на каждое задание, ученик дописывает ответ вместо прочерка.

1. Функции форматированного ввода - вывода описаны в файле заголовков

2. Соли высших жирных кислот называются

3. Первым греческим философом был

4. Операция нахождения производной функции называется

5. Программа для ЭВМ состоит из последовательности

6. Три вектора линейно зависимы тогда и только тогда, когда они

Предполагается, что учащиеся должны давать ответы в коротких и четких формулировках, о чем следует предупредить в инструкции к тесту. Для ответа в бланке отводится столько места, сколько необходимо. Число таких заданий, называемых открытыми, бывает небольшим, обычно не более 10 - 15 в одном тесте.

Поступающая сейчас в школы новая контрольно-обучающая техника позволяет вводить ответы в виде слов, формул и других знаков. Это существенно меняет отношение педагогической общественности в пользу открытых заданий, главным образом из-за того, что в них исключается догадка. Ответ вводится в виде одного (реже двух, но не более) ключевого термина, знание которого является обязательным. Открытые задания применяются для проверки основных понятий, фактов. Они эффективны в процессе текущего, тематического и итогового контроля.

К открытой форме заданий примыкают и задания, выраженные в виде составного предиката.

Например. Если точка лежит на биссектрисе, то от сторон этого угла она

Это задание состоит из двух частей: первая - условие, вторая - заключение, или вывод. Условие задается однозначно, вывод представляется в виде переменной с только одним правильным ответом из множества возможных.

Методика создания открытых заданий довольно проста. Вначале разработчик формулирует вопрос. Затем записывает такой же точный и немногословный ответ. Из ответа далее исключается ключевое слово, которое учащийся должен дополнить. Рассмотрим пример.

99

Тестовое задание: перемещение курсора из одного окна в другое производится

с помощью клавиши

Задания на соответствие. Задания на соответствие появились сравнительно недавно. Суть таких заданий заключается в необходимости установить соответствие элементов одного множества элементам другого. Эти задания сопровождаются инструкцией для учащихся, состоящей только из двух слов "Установите соответствие". Ниже приводятся примеры заданий этой формы.

Стебли:	Культура:
1. Ползучий 2. Прямостоячий 3. Полегающий	а) кукуруза б) свекла в) арбуз г) лен-кудряш д) горох
Ответы: 1 - ..., 2 - ..., 3 - ... .

В строке "Ответы" после тире за каждой цифрой учащийся ставит букву, под которой стоит название соответствующей культуры. Для данного задания это будут ответы: 1 - в), 2 - а), 3 - д).

Теперь приведем примеры заданий из различных учебных дисциплин, которые применяются в текущем контроле.

Почвы:	Удобрение:
1. Дерново-подзолистые 2. Выщелоченный чернозем 3. Обыкновенный чернозем	а) суперфосфат б) фосфоритная мука в) суперфосфат и сульфат аммония г) преципитат д) преципитат и натриевая селитра
Ответы: 1 - ..., 2 - ..., 3 - ....
Величина:	Прибор:
1. Электрический ток 2. Сопротивление 3. Напряжение 4. Разность потенциалов 5. Мощность тока	а) электрометр б) амперметр в) ваттметр г) электроскоп д) омметр е) авометр ж) вольтметр з) гальванометр и) динамометр к) реостат
Ответы: 1 - ..., 2 - ..., 3 - ..., 4 - ..., 5- ... .

Задания на установление правильной последовательности. Эти задания разработаны для проверки владения последовательностью действий, процессов, операций, суждений, вычислений и т.п.

100

Ученику дается инструкция: установить правильную последовательность, в соответствии с которой слева, в прямоугольниках, ставятся цифры, указывающие на порядок действий. Например:

Помимо проверки знаний алгоритмов деятельности задания на установление правильной последовательности могут разрабатываться и соответственно использоваться для контроля знаний основных понятий и законов изучаемой учебной дисциплины. Например:

При подготовке заданий на установление правильной последовательности необходимо давать четкие названия как бы вопросительной части и точные формулировки каждого элемента ответов, проводить тщательную алгоритмизацию контролируемой

101

деятельности в соответствии с нормативными требованиями, требованиями эффективности и др. при условии непротиворечивости всех этих требований.

Все четыре представленные выше формы могут быть использованы при разработке тематических заданий.

Рассматривая сравнительную ценность всех четырех представленных форм тестовых заданий, можно сказать, что в последнее время предпочтение стало больше отдаваться открытой форме заданий, в которых вероятность отгадать правильный ответ равна нулю. Но это не значит, что остальные формы не позволяют подготовить хороший тест. Каждая форма имеет свои достоинства и недостатки, и выбор во многом зависит от учебной дисциплины, от цели создания и применения тестов, от ориентации на ручную или машинную обработку данных и даже от приверженности составителя к той или иной теории тестов. Все это подтверждает мысль о том, что выбор формы - процесс не менее творческий, чем создание и культурное применение тестов.

Вопросы и задания для самоконтроля

1. Расскажите о сущности и содержании диагностической функции педагогического контроля в школе.
2. В чем сущность обучающей функции педагогического контроля в школе?
3. В чем проявляется организующая функция педагогического контроля в школе?
4. Каковы общепедагогические основы использования методов тестирования в школе?
5. Каковы достоинства и недостатки использования методов тестирования в школе?
6. Каким требованиям должен удовлетворять научно обоснованный тест?
7. Каким должен быть педагогический тест? Дайте определение и краткое описание.
8. Расскажите об основных этапах разработки теста по учебной дисциплине.
9. Какие формы тестовых заданий применяются при составлении педагогических тестов? Приведите примеры.

102