Наверняка вы сами хоть раз в жизни составляли тесты и уж точно неоднократно проходили разнообразное тестирование – от серьезного до совсем шуточного из серии «Какой ты овощ во время карантина?».
Очень часто, за неимением нужных знаний и подготовки, разработчики придумывают тесты, опираясь исключительно на свой опыт, интуицию и здравый смысл (за исключением «овоща на карантине»). Многие, приступая к разработке собственных тестов, поначалу думают: что тут может быть сложного? Составить вопросы, придумать к ним ответы — вот и вся недолга! Это очень глубокое заблуждение. Создание хорошего задания в тестовой форме – настоящее искусство.
Существуют разработанные учеными методики составления тестовых заданий. В этой статье я хочу рассказать об одной из таких методик, которую используют в системе общего и профессионального образования. В частности, ее нередко применяем и мы в учебном центре «Сетевая Академия ЛАНИТ» для разработки проверочных тестов и систем аттестации сотрудников.
Источник
Вместо предисловия
Почему я решила, что вам это может пригодиться? Во-первых, потому что многим из вас – людям, совсем далеким от педагогики, приходится проводить разнообразные обучающие мероприятия, разрабатывать учебные курсы и т.п., а все это требует проверки усвоения учебного материала. А какой еще способ, кроме тестирования, способен проверить знания быстро, надежно и объективно?
Во-вторых, потому что использование педагогических тестов актуально не только для образования, но и для областей, весьма далеких от него. Тесты – очень полезный инструмент для решения многих задач: и для аттестации сотрудников, и для первичной проверки соответствия знаний и навыков соискателей вакансии, и для оценки степени информированности аудитории о какой-либо проблеме, и много для чего еще.
Сразу оговорюсь, что эта статья в первую очередь рассчитана на людей, не имеющих большого опыта в составлении тестовых заданий. Ее цель – предоставить новичкам достаточный объем материала, который помог бы им научиться составлять качественные педагогические тесты разных видов.
Да простят меня «продвинутые» в вопросах тестовой теории читатели, речь пойдет о базовых сведениях. Хотя, как показывает практика, вспомнить основы тоже никогда не вредно.
Методику, о которой пойдет речь, разработали ведущие отечественные специалисты в области тестологии: В. С. Аванесов, М. Б. Челышкова, А.Н. Майоров и другие.
В качестве примеров приводятся тестовые задания из открытого банка заданий ЕГЭ, размещенного на официальном сайте ФГБНУ «Федеральный институт педагогических измерений», из книги М. Б. Челышковой «Теория и практика конструирования педагогических тестов», из книги В. С. Аванесова «Композиция тестовых заданий», а также задания, составленные автором статьи и преподавателями разных образовательных организаций.
Сначала немного теории
Говоря о тестах в разных сферах деятельности, подразумевают разное. Например, в вычислительной технике тест – это задача с известным решением, с помощью которой проверяется правильность работы системы, а в медицине тестом будет называться метод исследования, заключающийся в пробном воздействии на организм. В общем понимании, тест – это объективное и стандартизированное измерение, которое легко поддается количественной оценке, статистической обработке и анализу.
В рамках наших целей нас интересует педагогический тест со своей спецификой. Это система тестовых заданий различной трудности, созданная для качественного и эффективного измерения структуры и качества подготовленности испытуемых. Тестовое задание является одним из элементов педагогического теста, включает в себя инструкцию, тестовую задачу и эталон ответа.
Преподаватели используют тесты, чтобы:
- оценить исходные знания учащихся перед началом обучения и скорректировать план и содержание занятия;
- сделать срез знаний во время курса, чтобы вовремя внести изменения в процесс обучения, если слушатели недостаточно хорошо усваивают учебный материал;
- проверить финальный результат обучения.
Наиболее часто используются закрытые тесты, в которых ответы уже есть, как в игре «Кто хочет стать миллионером?». Но встречаются и открытые тестовые задания, требующие самостоятельно сконструировать или дополнить ответ.
Итак, выполняя закрытые тесты, обычно надо:
- выбрать один или несколько ответов среди заданных вариантов;
- установить соответствие между элементами двух множеств;
- установить правильный порядок действий или процессов, перечисленных автором теста.
Открытые тесты требуют:
- дополнить имеющийся ответ;
- полностью сконструировать ответ самостоятельно.
Какой материал следует включить в тест
Содержание теста зависит от того, какие цели вы перед собой ставите и зачем вам вообще нужен этот тест. Прежде всего, нужно самому себе ответить на вопрос, можно ли с помощью составленных вами заданий проверить подготовленность аудитории.
Вот такое тестовое задание предложил своим ученикам преподаватель анатомии по теме «Скелет грудной клетки». Одна из целей занятия – знать количество ребер у человека.
Инструкция
: Выберите один правильный ответ.
Количество ребер
- у мужчин больше, чем у женщин
- у женщин больше, чем у мужчин
- индивидуально у каждого человека
- зависит от жизненных обстоятельств
Как вы понимаете, при помощи этого задания невозможно проверить, знают испытуемые, сколько у человека ребер или нет. Поэтому, строго говоря, нет смысла включать такой тест в материалы контроля. Отдельный разговор о качестве подобранных автором вариантов ответа. Особенно интересно влияние жизненных обстоятельств на количество ребер. Но правила подбора неправильных ответов (дистракторов) к тестовым заданиям мы рассмотрим позже.
Основные правила подбора материала для теста следующие:
- Материал, заложенный в тест, должен соответствовать содержанию темы тестирования и программы учебного курса.
- В тест включается только то содержание темы, которое является признанным, объективно истинным и поддается рациональной аргументации. Спорные точки зрения в тестовые задания включать не рекомендуется. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.
- Уровень детализации содержания теста зависит от целей тестирования. Если вы планируете использовать тесты для сравнения уровня подготовки тестируемых в какой-то области (например, для конкурсного отбора соискателей вакансии или кандидатов на обучение), то уровень детализации материала должен быть низким. В заданиях такого теста достаточно отобразить только наиболее значимые элементы содержания.
- Если же тесты предназначены для выяснения, насколько успешно испытуемый освоил учебный материал (курс, раздел, тему) и освоил ли он его вообще, то уровень детализации области содержания должен быть довольно подробным. Это позволит сделать вывод о знаниях каждого испытуемого, при необходимости аттестовать его, а также проанализировать, какой материал лучше или хуже освоили испытуемые.
- Вместе с тем в тест необходимо включать те элементы содержания, которые можно отнести к наиболее важным, без которых знания по заявленной теме становятся несущественными. Нет смысла перегружать тест второстепенными деталями, не имеющими большого значения.
- Если с помощью тестовых заданий планируется оценивать знания по всему учебному курсу, следует равномерно включить в итоговый тест задания по всем изучаемым темам курса, убедившись в том, что они охватывают все самые важные аспекты предметной области и в правильной пропорции.
Например, если вы составляете тесты по курсу «Microsoft Excel» и включаете в него задания, посвященные исключительно созданию сводных таблиц и диаграмм, то при помощи этих тестов вы явно не сможете полноценно оценить уровень знаний по всему курсу в целом.
- Не всякое содержание можно выразить в форме тестового задания, то есть тесты – не универсальная форма для проверки знаний.
Сколько времени нужно выделить для тестирования
Сидеть над тестом невозможно бесконечно долго: начало и завершение тестирования должны быть фиксированными. К сожалению, довольно часто временной интервал для этого процесса выбирается спонтанно. И если ошибиться – дать слишком мало времени или слишком много, эффективность теста снизится.
Тестирование в спешке приведет к тому, что как «слабые», так и «сильные» испытуемые не успеют выполнить все задания, и мы не поймем – тестируемый не выполнил задание, поскольку не знал ответа, или вообще не успел к нему обратиться.
Если времени вагон и маленькая тележка, «сильные» испытуемые, успевшие быстро пройти тестирование, начинают отвлекать других, подсказывать ответы, что нарушает процедуру тестирования (мы не соблюдаем правило равных условий для всех испытуемых).
Если человек проходит тестирование в одиночестве или тестируется онлайн, при избытке времени он будет долго сидеть над заданиями, не решаясь выбрать ответ. Это вызовет утомление, снижение концентрации внимания, расслабление, что также снижает точность тестирования.
Всегда нужно иметь в виду, что испытуемые устают. А значит, тестирование не должно занимать слишком много времени, что напрямую связано с объемом самого теста. Практика показывает, что объем осознанно воспринимаемой информации начинает существенно снижаться примерно через 40-45 минут с начала тестирования (Ким В. С. Тестирование учебных достижений. – Уссурийск, 2007, стр. 29-35).
Общее время тестирования определяется количеством и сложностью заданий. Некоторые преподаватели используют, например, такие методики расчета времени тестирования:
- Время, затраченное преподавателем на выполнение составленного им теста, умножить на 3.
- Суммировать время, необходимое для выполнения каждого задания:
• задание закрытой формы с выбором одного правильного ответа – примерно 10 секунд;
• задание более сложных форм – в среднем от 30 секунд до 1 минуты.
Однако бывает, что теоретически рассчитать время тестирования невозможно, поэтому рекомендуется использовать эмпирические данные по результатам первичной апробации теста.
Составление тестовых заданий закрытой формы
А теперь давайте рассмотрим конкретные примеры и поймем, как составлять свои тесты. В фокусе нашего внимания – тестовые задания закрытой формы.
В таких тестовых заданиях выделяют следующие элементы:
- инструкцию (содержит общие требования к выполнению задания – рис. 1);
- основную часть (задание, постановка проблемы – рис. 2);
- варианты ответа (верный ответ(ы) и ответы-обманки – рис. 3).
Рекомендуется, чтобы задания в тесте представляли собой не вопросы, а утверждения, которые в зависимости от ответов могут превращаться в истинные или ложные высказывания.
Среди готовых ответов правильным чаще всего бывает только один, хотя не исключаются и варианты с выбором нескольких правильных ответов.
Неправильные, но похожие на правильные (и поэтому правдоподобные) ответы называются дистракторами (от англ. distract – отвлекать). Они используются для отвлечения внимания от правильного ответа тех, кто либо совсем не знает правильный ответ, либо пытается угадать его во время тестирования. Сделать неправильные ответы правдоподобными – одна из самых сложных задач разработчика теста.
Отдельно от тестовых заданий в программу тестирования вводится эталон выполнения заданий и разрабатываются критерии оценки.
Если вы проводите тестирование по старинке, в письменном виде, то вам потребуется ответник, трафарет для проверки ответника и эталон выполнения тестового задания.
Как оформить тестовые задания
Тестовое задание должно быть оформлено таким образом, чтобы облегчить тестируемому работу над ним.
Существует несколько вариантов дизайна тестовых заданий закрытой формы, но все сходятся в одном: все элементы тестового задания тем или иным образом должны быть графически выделены.
Подробнее о том, как принято оформлять задания
Рекомендован следующий вариант оформления.
- Инструкция не является частью задания. Она пишется отдельно от текста задания и выделяется графически, например, курсивом (пример выше – рис. 1).
- Инструкция может быть записана однократно, если в тесте используются задания одной формы. Каждая новая форма тестового задания требует своей инструкции.
Рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько это оправдано стратегией тестирования. Слишком частая смена инструкции путает испытуемых.
- Текст задания выделяется полужирным шрифтом (рис. 2). Иногда текст задания пишут прописными буквами, но это
too muchвыглядит слишком громоздко и сильно снижает скорость чтения. - Задания нумеруются арабскими цифрами.
- Во избежание путаницы варианты ответов рекомендуется индексировать буквами кириллического или латинского алфавитов (рис. 3).
- Варианты ответа пишутся с маленькой буквы (если не представляют собой имена собственные), поскольку являются продолжением тестового задания, сформулированного в виде утверждения. Если задание сформулировано в вопросительной форме, варианты ответа пишутся так же.
- Варианты ответа располагают в столбик, причем желательно, чтобы все они были немного сдвинуты вправо относительно текста задания.
- Между вариантами ответа и по завершении задания знаки препинания, как правило, не ставятся. Это нарушает правила русской пунктуации, если рассматривать задание как текст, но тестологи мотивируют отсутствие знаков препинания тем, что и без них все части тестового задания графически выделены. Обилие запятых или точек с запятой между вариантами ответов способны помешать восприятию текста задания.
- Не рекомендуется перегружать задания вспомогательными словами: «Вопрос», «Варианты ответов» и пр.
- В печатном варианте теста каждое задание должно быть расположено целиком на одной странице.
- И, конечно же, стиль оформления заданий должен быть единым по всему тесту.
Как написать инструкцию к тестам
Инструкция – это общие требования к выполнению тестового задания. Она должна устранить все вопросы испытуемых об оформлении своих ответов. Кроме того, в тексте инструкции оговаривают специфику задания, например, указывают количество правильных ответов в тесте (один/несколько).
При написании инструкции используют стандартные формулировки. Формулировка инструкции зависит от формы тестового задания, количества правильных ответов и пр.
Для тестовых заданий с выбором одного правильного ответа в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.
- Выберите один правильный ответ.
- Внимательно прочитайте текст задания и выберите верный ответ из списка.
- Выпишите номер тестового задания и индекс правильного ответа.
- Обведите кружком букву (номер) правильного ответа.
- Для ответа нажмите клавишу с буквой (номером) правильного ответа.
Иногда, по замыслу автора, при разработке задания закладываются несколько правильных ответов, среди которых есть более и менее предпочтительные. В этом случае задание может сопровождаться следующей инструкцией: «Выберите наиболее правильный ответ».
Для тестовых заданий с выбором нескольких правильных ответов в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.
- Выберите несколько правильных ответов.
- Выберите все правильные ответы.
- Отвечая на задание теста, нажимайте на клавиши с буквами (номерами) всех правильных ответов.
Для тестовых заданий на выбор неправильного ответа инструкция может быть такой: «Выберите неправильный ответ».
Для группы однотипных заданий допускается делать одну инструкцию, которая помещается в начале теста или данной группы заданий в тесте.
Как правильно сформулировать основную часть задания
Эффективность и технологичность теста во многом зависят от того, насколько грамотно сформулированы задания. Если тестируемый не поймет смысл вопроса, ему придется отвечать наугад. А это уже минус к объективности конечного результата. Потому важно тщательно проработать каждое задание. Вот несколько рекомендаций.
1. Рекомендуется, чтобы задания в тесте были формулированы в форме утверждений, которые после ответов испытуемых естественным образом превратятся в истинные или ложные высказывания (рис. 1).
Если продолжить утверждение из основной части этого задания правильным ответом (в данном случае это вариант Б), получится истинное высказывание: Признаком протекания химической реакции между оксидом меди и водородом является изменение цвета. При «подстановке» неправильного ответа высказывание получится ложным.
По мнению многих отечественных тестологов (В.С. Аванесова, М.Б. Челышковой, В.С. Кима и др.), смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, потому что в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации. Вопросы и ответы на них иногда бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты времени и сил, в то время как технологичная методика тестирования предполагает четкую и быструю дифференцируемость ответов.
Действительно, если трансформировать задание, составленное в форме вопроса, в логическое утверждение, мы увидим, что задание уж точно не стало хуже, а даже выиграло – стало более кратким, понятным, лаконичным. После выбора ответа такое утверждение превратится в законченное высказывание, истинность или ложность которого легко поддается пониманию и оценке.
Пример 1. Задание в вопросительной форме:
Инструкция
: Выберите один правильный ответ.
С каким из названных событий связано окончание периода разрядки международной напряженности в 1970-е гг.?
- начало Корейской войны
- разрыв отношений с Югославией
- конфликт с Китаем
- ввод советских войск в Афганистан
То же задание в виде логического утверждения:
Окончание периода разрядки международной напряженности в 1970-е гг. связано c
- началом Корейской войны
- разрывом отношений с Югославией
- конфликтом с Китаем
- вводом советских войск в Афганистан
Пример 2. Задание в вопросительной форме:
Инструкция
: Выберите несколько правильных ответов.
Какие из перечисленных примеров относят к ароморфозам?
- возникновение теплокровности у позвоночных
- развитие трехкамерного сердца у земноводных
- формирование торпедообразного тела у акул
- развитие зародыша внутри матки
- появление рогов у копытных
- формирование крыльев у летучих мышей
То же задание в виде логического утверждения:
К ароморфозам относят
- возникновение теплокровности у позвоночных
- развитие трехкамерного сердца у земноводных
- формирование торпедообразного тела у акул
- развитие зародыша внутри матки
- появление рогов у копытных
- формирование крыльев у летучих мышей
Подобной трансформации легко поддается большинство заданий, сформулированных в вопросительной форме. Иногда возникают ситуации, когда, казалось бы, задание формулируется только в виде вопроса. Однако после тщательного анализа цели задания и его содержания все же удается подобрать утвердительную форму задания.
Конечно, утверждение об использовании в заданиях исключительно утвердительной формы не категорично. К тому же иногда встречаются задания, в которых вопросительная форма выглядит удобнее и короче.
Вопросительная форма заданий по-прежнему используется при составлении тестов и в России, и за рубежом, и имеет много сторонников. Выбор остается за вами. Главное – не забывать, что выбранная вами форма задания должна быть максимально понятна для испытуемых.
Лично я являюсь сторонником формулировки заданий в виде утверждений, считаю эту форму наиболее удачной, использую только ее и ничего с собой поделать не могу.
2. Текст задания должен содержать достаточную, недвусмысленную и релевантную информацию для ответа.
3. Формулировка задания должна быть грамотной, согласованной с формой вариантов ответа (простите за капитанство).
4. Формулировка задания должна быть предельно лаконичной, но не в ущерб пониманию сути задания. Необходимо исключить повторы слов и, тем более, целых фраз. Чем лаконичнее задание, тем лучше оно воспринимается.
5. Рекомендуется, чтобы основная часть задания состояла из одного предложения (не более 7-8 слов), а во всем задании было не более одного придаточного предложения. Эта рекомендация подходит, конечно, не ко всем случаям. Например, тестовое задание может представлять собой кейс/ситуационную задачу, тогда одним предложением точно не обойтись.
6. Если задание сформулировано в вопросительной форме, предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце.
7. В основной части задания не должна присутствовать дополнительная информация, не существенная для поставленной проблемы.
8. Из текста задания нужно исключить все вербальные ассоциации, по которым можно догадаться о правильном ответе.
9. Стоит исключить из формулировки задания частицу «не». А если НЕ получается, ее надо выделить прописными буквами (как в этом предложении).
10. Исключаются задания, содержащие оценочные суждения тестируемого: «на ваш взгляд», «по вашему мнению», «что вы думаете…», «согласны ли вы с …», «как бы вы сформулировали…» и т.п.
11. Рисунки, графики, схемы, используемые в задании, должны соответствовать тексту (рис. 2). И, конечно же, присутствие графических объектов в задании должно быть оправдано. Не стоит «добавлять картинку» просто для красоты.
12. Элементы рисунка, графика, схемы рекомендуется обозначать по часовой стрелке (рис. 3).
13. В большинстве случаев варианты ответов замыкают задания (так было и в примерах выше), образуя завершенное истинное или ложное высказывание. Но иногда ответы приходится ставить в середине или за одно-два слова от конца содержательной основы задания теста. Тогда можно использовать такой вариант:
Инструкция
: Выберите один правильный ответ.
Невская битва произошла в … году.
- 1198
- 1240
- 1242
- 1245
14. Ответ на одно тестовое задание не должен служить ключом к правильным ответам на другие задания теста. Это нарушает условие локальной независимости заданий. В этом случае невозможно сделать корректный вывод о том, знает ли испытуемый ответ на второе и последующие задания, или он не справился с ними потому что неправильно ответил на первый вопрос.
Как подобрать дистракторы
К каждому тестовому заданию нужно подобрать правдоподобные неправильные варианты ответа (дистракторы). Это одна из самых сложных задач, стоящих перед составителем тестов. Перед вами основные рекомендации по подбору дистракторов:
1. Все предложенные в задании дистракторы должны быть правдоподобными, теоретически вероятными.
Наиболее хороши дистракторы, подобранные на основе типичных ошибок, которые допускают тестируемые, или на основе распространенных заблуждений.
2. Все дистракторы к заданию должны быть одинаково привлекательными для тестируемых, не знающих правильного ответа.
Дистрактор, который никто не выбирает в качестве правильного ответа, обычно называют неработающим. Если в задании имеется хотя бы один неработающий дистрактор, удалите его, и вы сразу увидите реальное, а не формальное число ответов к заданию теста.
Если все дистракторы в задании не работают, все испытуемые выполнят даже сложное задание верно, выбрав единственный правдоподобный ответ. Например, такое задание:
Инструкция
: Выберите один правильный ответ.
Во вращении предплечья наружу участвует
- двуглавая мышца плеча
- двуглавая мышца бедра
- икроножная мышца
- прямая мышца живота
- собственно жевательная мышца
Даже не будучи знатоком данной предметной области, нетрудно догадаться, что мышцы, расположенные на нижней конечности, животе или черепе, не могут приводить в движение предплечье. Получается, что в тесте нет ни одного работающего дистрактора. Имеется всего один работающий вариант ответа, его и выберут испытуемые как единственно правильный.
Вы спросите: «А что же здесь плохого»? Как мы писали выше, педагогические тесты создаются для объективной оценки структуры и качества знаний. А о какой объективной оценке можно говорить, если правильный ответ можно просто угадать, не имея совсем никакого представления о предмете? Конечно, если целью тестирования было узнать, отличает ли испытуемый живот или бедро от предплечья, то можно сказать, что все прошло успешно. Но все же перед тестами обычно ставятся более серьезные задачи.
Если в предложенном задании мы заменим неработающие дистракторы на правдоподобные, теоретически вероятные (все перечисленные мышцы тем или иным образом двигают предплечье), справиться с ним так просто будет нельзя:
Во вращении предплечья наружу участвует
- плечевая мышца
- двуглавая мышца плеча
- трехглавая мышца плеча
- локтевая мышца
- круглый пронатор
3. Дистракторы должны быть однородными, подобранными по общему (единому) основанию.
Пример 1: Задание с однородными дистракторами
Инструкция
: Выберите один правильный ответ.
Телиоспоры возникают из
- урединиоспор
- эциоспор
- базидиоспор
- пикниоспор
Здесь все дистракторы подобраны по одному основанию, т.к. все они отвечают на вопрос «из чего?» и характеризуют то, из чего могут возникнуть телиоспоры.
А в следующем задании дистракторы подобраны неудачно.
Пример 2: Задание с неоднородными дистракторами
Инструкция
: Выберите несколько правильных ответов.
Телиоспоры возникают
- из урединиоспор
- из эциоспор
- поздней осенью на том же мицелии, на котором летом формировались урединиоспоры
- весной в результате слияния дикариона и последующего мейоза
В этом задании два первых ответа выбраны по одному основанию т.к. все они отвечают на вопрос «из чего?». Третий ответ подобран по другому основанию, поскольку соответствует вопросам «когда?» и «где?».
Последний ответ не совпадает по основанию выбора ни с одним из предыдущих, он отвечает на вопросы «когда?» и «в результате чего?».
Самая частая причина появления в заданиях неоднородных дистракторов понятна – при невозможности подобрать нужное число дистракторов по одному основанию автор теста увеличивает их число, включая дополнительные, выбранные по другому основанию ответы.
Иногда причиной является желание автора проверить с помощью одного задания как можно больше знаний испытуемых. Возможно, это оправдано спецификой предмета, однако некорректно с точки зрения требований тестовой технологии.
Тестовое задание должно проверять один элемент знания. Если это не так, то становится неясным, с каким именно элементом знания тестируемый не справляется, в чем заключена причина невыполнения задания.
4. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.
5. Все повторяющиеся в вариантах ответа слова (как в примере ниже) следует перенести в формулировку заданий.
Инструкция
: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы
- газовых месторождений
- нефтяных месторождений
- месторождений каменного угля
- месторождений калийной соли
Вот что получится после небольшой правки этого примера:
Инструкция
: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы месторождений
- газовых
- нефтяных
- каменного угля
- калийной соли
6. Рекомендуется использовать длинные задания и короткие ответы. В противоположном случае на прочтение и анализ ответов тратится слишком много времени.
7. Из числа неправильных исключаются ответы, вытекающие один из другого.
8. Ни один из дистракторов не должен быть частично правильным ответом, который при определенных условиях превратится в правильный ответ.
9. Ответы не должны отрицать смысл самого задания. «Почему? – спросите вы, – ведь так часто делают». Давайте разберемся на примере следующего задания:
Инструкция
: Выберите один правильный ответ.
PDF-файл можно преобразовать в документ Word, если на вкладке «Файл» выбрать команду
- Открыть
- Сохранить как
- Экспорт
- PDF-файл нельзя преобразовать в документ Word
В этом примере четвертый ответ прямо противоречит основной части, утверждающей существование возможности преобразовать PDF-файл в документ Word. Налицо явная логическая ошибка. В задании же не спрашивается, можно ли преобразовать, а утверждается, что можно, а варианты ответов представляют собой перечисление способов преобразования.
Если четвертый ответ – дистрактор, то в качестве правдоподобного ответа его вряд ли выберет хотя бы один тестируемый. Тогда этот ответ как неработающий дистрактор необходимо удалить из теста.
Если именно четвертый ответ является верным, все задание будет нерабочим, т.к. большинство тестируемых увидят логическую несообразность формулировок и пропустят задание, посчитав его ошибкой разработчика теста.
Если цель задания – выяснить, знает ли испытуемый, можно ли вообще преобразовать PDF-файл в документ Word или нет, лучше сформулировать вопрос по-другому, без нарушения логики:
Преобразовать PDF-файл в документ Word
- можно
- нельзя
10. Не следует использовать в заданиях ответы типа «все вышеперечисленные», «ни один из вышеперечисленных» или, того хуже, – «все ответы неправильные» и «правильного ответа нет». Эта рекомендация, кстати, так же часто вызывает вопросы и несогласие аудитории, как и предыдущая.
С точки зрения большинства тестологов, применение подобных ответов не оправдано по следующим причинам:
- повышение вероятности угадывания правильного ответа, так как чаще всего это будет неработающий дистрактор, добавленный составителем «для количества» при трудностях с подбором качественных дистракторов;
- нарушение логического закона исключенного третьего – если инструкция предписывает выбрать один верный ответ, то в задании он должен быть. Это придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.
11. Не рекомендуется использовать слова «всегда», «никогда», «ни одного» и т.п., так как в отдельных случаях они способствуют угадыванию.
12. Частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова или номер места для правильного ответа выбирается в случайном порядке.
13. Дистракторы из одного задания не используются в качестве ответов к другим заданиям теста.
14. Все ответы к одному заданию должны быть примерно одной длины. Если это трудновыполнимо, возможен вариант, когда в задании половина длинных ответов, половина коротких. Это нужно для того, чтобы исключить вероятность угадывания правильного ответа по признаку его полноты или краткости. Многие разработчики тестов грешат тем, что в их заданиях правильные ответы почти всегда или длиннее, или короче неправильных. Эта тенденция очень быстро «считывается» испытуемыми и делает общий результат теста необъективным. Следующая рекомендация имеет такое же обоснование.
15. Правильный ответ не должен быть длиннее других.
16. Дистракторы располагаются в логической последовательности: числа – по возрастанию, буквы – по алфавиту. Это удобнее при поиске тестируемым правильного ответа.
17. Количество дистракторов к заданию подбирается таким образом, чтобы задание не было слишком громоздким, но и чтобы исключить большую вероятность угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.
В отдельных случаях, например, в заданиях с выбором нескольких правильных ответов, количество дистракторов может достигать шести–семи.
18. Число дистракторов и правильных ответов в разных заданиях может быть разным. Оно не должно быть одинаковым во всех заданиях теста.
Источник
По какому принципу придумывают тестовые задания
Из десяти принципов разработки тестовых заданий закрытой формы, которые выделяет В. С. Аванесов, предлагаю рассмотреть основные. Для наглядности будем это делать на примерах.
1. Принцип противоречия применяется при создании заданий с двумя вариантами ответов. Здесь один ответ отрицает другой. Например:
Инструкция
: Выберите один правильный ответ.
Поощрения в трудовую книжку
- записываются
- не записываются
2. Принцип противоположности ответов близок по смыслу к принципу противоречия, но при противоречии используется отрицание, а при противоположности один ответ заменяется другим, антонимичным по смыслу. Например:
Инструкция
: Выберите один правильный ответ.
С увеличением заряда ядра активность щелочных металлов
- возрастает
- убывает
Возможность промежуточных состояний при использовании принципа противоречия позволяет увеличить число ответов, например, до трех. Например:
Инструкция
: Выберите один правильный ответ.
При движении тягового органа конвейера реле скорости
- включено
- выключено
- заблокировано
3. Тесты, основанные на принципе однородности, содержат ответы, относящиеся к одному роду, виду, или отображают основные стороны, грани явления. Например:
Инструкция
: Выберите один правильный ответ.
Основателем андрагогики как науки является
- Ноулз
- Джарвис
- Холтон
- Ушинский
Инструкция
: выберите несколько правильных ответов.
Буква «о» пишется в словах
- пл_вец
- пок_рить вершину
- распол_гать
- осн_щенный
- ум_лять значение
4. Принцип кумуляции означает, что второй ответ вбирает в себя (аккумулирует) содержание первого, третий – содержание второго и т.д.
Пример:
Инструкция
: Выберите один правильный ответ.
Чтобы задать движение точки естественным способом, надо знать
- траекторию
- траекторию и закон движения
- траекторию, закон движения, начало отсчета
- траекторию, закон движения, начало отсчета, скорость
Тестируемые, привыкшие давать полные и правильные ответы, выбирают обычно последний ответ в таких заданиях, ошибочно полагая, что он всегда самый правильный. Поэтому при разработке заданий по принципу кумуляции полезно иметь большую часть правильных ответов не на последнем месте.
5. Принцип сочетания. Используется сочетание слов (знаков) по два или по три, реже четыре, в каждом ответе.
Пример 1: сочетание более или менее однородных и правдоподобных пар ответов
Инструкция
: Выберите один правильный ответ.
Ф. Шопен писал
- оперы и симфонии
- балеты и оратории
- мазурки и ноктюрны
Пример 2: сочетание одного слова (понятия) с несколькими другими
Инструкция
: Выберите один правильный ответ.
НЕ имеют ядра клетки крови
- эритроциты и лейкоциты
- эритроциты и тромбоциты
- эритроциты и лимфоциты
- эритроциты и базофилы
Пример 3: сочетание ответов по правилу цепочки, когда последнее слово в первом ответе становится первым во втором ответе, последнее во втором – первым в третьем и т.д.)
Инструкция
: Выберите один правильный ответ.
Служебными частями речи являются
- предлоги, союзы, частицы
- частицы, союзы, местоимения
- местоимения, частицы, предлоги
6. При использовании принципа градуирования ответы располагаются по возрастанию (увеличению) или по убыванию (уменьшению). Этот принцип применим для заданий с тремя и большим числом ответов. Например:
Инструкция
: Выберите один правильный ответ.
Растворимость газов при повышении температуры
- увеличивается
- остается без изменений
- уменьшается
Согласно ч. 3 ст. 5.63 КоАП РФ, нарушение должностным лицом порядка или сроков рассмотрения жалобы влечет наложение административного штрафа в размере … рублей.
- от трех тысяч до пяти тысяч
- от пяти тысяч до десяти тысяч
- от десяти тысяч до пятнадцати тысяч
- от двадцати тысяч до тридцати тысяч
7. Принцип формулирования заданий с ответами, правильными в различной мере, требует изменения инструкции, содержания задания и логики подбора ответов.
Инструкция, как мы уже говорили, обычно пишется так: Выберите наиболее правильный ответ.
Задача таких заданий – проверить сопоставительные знания, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени. Например:
Инструкция
: Выберите наиболее правильный ответ.
Зигота – это
- одна яйцеклетка
- оплодотворенная яйцеклетка
- диплоидная клетка, образующаяся в результате оплодотворения
- одноклеточная стадия развития многоклеточного организма млекопитающих
В этом задании наиболее правильным считается третий ответ (он наиболее емко и точно описывает все характеристики зиготы), следующий по степени правильности – второй ответ (он содержит совершенно правильное, но менее полное определение зиготы), затем четвертый (потому что зиготы образуются не только у млекопитающих). На последнем месте по степени правильности находится первый ответ – он самый неполный, ведь одной яйцеклетки для образования зиготы явно недостаточно.
Задания на выбор наиболее правильного ответа разрабатывать довольно сложно: наиболее правильный ответ далеко не всегда должен быть самым полным. В противном случае тестируемый при выполнении задания будет выбирать правильный ответ только по признаку полноты.
Составили тест? Не поленитесь и пройдите по этому чек-листу.
Проверка качества тестовых заданий
- Соответствует ли задание целям тестирования?
- Все высказывания логичны?
- Все формулировки однозначны и лаконичны?
- Технологичен ли тест? (Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования)
- Правильно ли выбрана форма задания?
- Содержание корректно?
- Правила оценки ответов разработаны заранее и соответствуют форме теста?
- Правильно ли расположены элементы задания?
- Инструкции одинаковы для всех тестируемых?
- Инструкция соответствует форме и содержанию задания?
В этой статье мы обсудили основные аспекты составления тестовых заданий закрытой формы с одним или несколькими правильными ответами. Благодарю вас за внимание и терпение и надеюсь, что эта статья будет полезной для вас.
Если вы считаете, что стоит продолжить цикл подобных статей и поговорить о методике составления тестовых заданий других видов, напишите, пожалуйста, об этом в комментариях. А если вам нужны готовые инструменты оценки качества обучения, обращайтесь к нам в «Сетевую Академию ЛАНИТ». Будем рады помочь.
Тесты выполняют одновременно целый ряд функций:
1. Контролирующую;
2. Обучающую;
3. Развивающую;
4. Воспитывающую;
5. Диагностическую;
6. Прогностическую.
Тесты можно использовать как на любом этапе урока, так и так и при изучении
нового материала, его закреплении и обобщении и при итоговом контроле.
При изучении нового материала тесты применяются для организации
самостоятельной работы учащихся, при этом тестовое задание может не только
опираться на знания, полученными учащимися на предыдущих уроках, но иметь
поисковый, эвристический, проблемный характер.
При закреплении или проверки текущего материала используются тесты-минутки
рассчитанные на 10–15 мин урока и содержащие 5–10 вопросов.
При итоговом контроле тестирование проводится довольно часто, при этом тесты
охватывают материал по крупным блокам (определенную тему, раздел). Их выполнение
рассчитано на целый урок. Экзаменационный тест должен охватывать материал всего
курса географии России в 9 классе или экономической и социальной географии мира
в 10–11-х классах. Школьные экзаменационные тесты проводятся, как правило, в
течении 2 часов и содержат от 25 до вопросов и заданий.
Тесты пригодны как для фронтальной, так и для групповой и индивидуальной
работе учащихся. С помощью тестовых заданий и вопросов значительно проще
подобрать материал, для каждого конкретного ученика, соответствующий уровню его
развития, возрастным мотивационным особенностям.
Тесты можно использовать не только на уроке в классе, но и в качестве
домашнего Задания, в отдельных случаях можно предложить учащимся составить
тестовые задания, что научит ребят правильно формулировать вопросы, будет
способствовать формированию умений обобщать и анализировать полученные знания
применять их на практике.
Методика составления и проведения тестов.
Основными этапами любого тестирования являются:
- Целеполагание т.е постановка конкретных целей перед тестированием и
понятных учащимся. - Подготовка и сбор информации для составления теста, соответствующей
школьной программе, учебникам и пройденному материалу. - Разработка и конструирование теста, т.е. выбор определенных видов
тестовых вопросов и заданий с учетом определенных требований:
надежность, точность, лаконичность;
недопустимость применения двусмысленных вопросов;
использование дополнительной литературы, энциклопедий, справочников для
составления тестов и их решения допустимо лишь для специализированных
классов и школ, а также для индивидуальной работы с сильными учащимися. - Подготовка участников тестирования заключается в мотивации, настрое и
тренинге. - Непосредственно тестирование должно стать одним из видов учебной
деятельности учащихся. - После проведения тестирования наступает обработка теста, т.е. проверка с
помощью ключа - Итогом результатов тестирования должен стать анализ результатов.
- Публикация результатов тестирования. Учащиеся должны быть ознакомлены с
результата тестирования, они должны быть допущены к просмотру выполненных
работ и имеют право на апелляцию.
При всем многообразии тестовых задании можно выделить всего четыре основных
группы тестов:
- задание на выбор правильного ответа;
- приведение в соответствие или классификацию объектов;
- расположение объектов в определенном порядке;
- “открытые” тесты, где необходимо вписать “пропущенные” слова.
Виды тестов по форме.
Наиболее простыми при составлении и самыми распространенными видами тестовых
заданий являются тесты-определители, составленные по принципу вопрос – ответ.
1. Тесты – определители с одним правильным ответом.
Сложность данного типа тестового задания зависит, от количества указанных
ответов: два, три и т. д. Например: выделите страну, господствующей религией в
которой является ислам: 1. Ангола, 2. Италия, 3. Пакистан, 4. Канада, 5. Перу,
6. Фиджи.
Кооперирование – это:
а) выпуск предприятием соответствующей продукции;
6) сосредоточение на одном предприятии технологически последовательно связанных
производств;
в) сосредоточение предприятий на одной территории;
г) объединение предприятий с целью производства единой конечной продукции.
Ли6о наоборот: вопросом является определение, а ответом – само понятие.
Объединение предприятий с целью производства единой конечной продукции – это:
1. специализация;
2. комбинирование;
3. кооперирование;
4. концентрация.
2. Тесты – определители, где ответы идут с увеличением участвующих объектов,
причем обходимо назвать их максимальное количество.
Летом тропические ВМ господствуют:
1) в тропическом климатическом поясе;
2) в тропическом и субтропическом климатических поясах;
3) в тропическом, субтропическом и субэкваториальном климатических поясах.
3. Тесты – определители, где все ответы правильные.
Крупными производителями автомобилей являются:
1) Япония;
2) Западная Европа;
3)США;
4 )все указанные регионы.
4. Тесты – определители, имеющий несколько правильных ответов и указано их
количество (один, два, три и т. д.).
В данном списке выделите два региона России, в которых нет городов –
миллионеров:
- Центральный;
- Дальневосточный;
- Западно-Сибирский;
- Центрально-Черноземный;
- Волго-Вятский;
- Северо-Кавказский.
5. Тесты – определители, имеющие несколько правильных ответов, построенные по
принципу выделения неправильных ответов, но неуказанно их количество.
Выделите объекты, относящийся к формам рельефа:
1) холм;
2) ветер;
3) песок;
4) равнина;
5) овраг;
6) гранит.
6. Тесты – определители построенные по принципу выделения неправильных
ответов, имеют, как правило, в задании какие – либо отрицания.
Выделите объект, не относящийся к Средней Сибири:
1) траппы;
2) Саяны;
3) Таймыр;
4) лиственница;
5) Путорана.
7. Тесты – определители с использованием рисунков, графиков, схем или
диаграмм.
На какой из приведенных диаграмм верно указано соотношение суши и воды на
Земле:
8. Альтернативные тесты формулируются в виде вопроса – утверждения и требует
однозначного ответа “да” или “нет”. Альтернативный тест может содержать один или
несколько заданий.
В развитых капиталистических странах ввиду высокого уровня жизни наблюдается
высоки естественный прирост населения.
1)да; 2)нет.
9. Опознавательные тесты, т.е. определение объекта по краткой характеристике,
где названы примеры объектов, один из которых правильный.
Определите физико-экономический район России по данной характеристике:
занимает большую площадь территории, большая часть которой занята древней
платформой, преобладают плоскогорья, особенностью геологического строения
являются траппы, на большей части территории климат резко – континентальный, на
территории района находится “полюс холода; широко распространены мерзлотно –
таежные почвы и лиственничные леса.
1) Русская равнина;
2) Горы Южной Сибири;
3) 3аподно – Сибирская равнина;
4) Средняя и Севере – Восточная Сибирь.
10. Определение объекта по краткой характеристике, ответ необходимо вписать
самостоятельно.
По данной характеристике определите страну Европы: внутриконтинентальная
страна, федеративная республика, член ЕС, проводит политику постоянного
нейтралитета, столица является крупнейшим городом страны.
———————————————————————————————————
Ответ: Австрия
11. Определение объекта по списку других объектов, где указаны варианты
ответов.
По списку типичных животных определите природную зону Африки (Горилла,
шимпанзе леопард, карликовый бегемот, окапи, птица – носорог):
1) влажные экваториальные леса;
2) средиземноморская;
3) саванны;
4) пустыни.
12. Определение объекта по списку других объектов без вариантов ответа.
По списку приграничных государств определите страну Азии (Исламабад, Пекин,
Дакка, Катманду).Ответ:
————————————————————————————————————-
Ответ: Индия
13. Приведение в соответствие, причем количество вариантов первого первого
столбика совпадает с количеством вариантов второго столбика.
Приведите в соответствие горные системы и их геологический возраст:
| 1)Гималаи 2)Уральские горы 3)Кордильеры |
а) древняя складчатость б) средняя складчатость в) новая складчатость |
Ответ: 1-в; 2-а; З-б
14. Приведение в соответствие, причем количество ответов первого столбика не
совпадает количеством вариантов второго столбика.
Приведите в соответствие формы рельефа и тектонические структуры:
| 1)Урал 2)Хибины 3)3аподно-Сибирская равнина 4)Сихоте-Алинь |
а) щит б) молодая платформа в) герцинская складчатость г) мезозойская складчатость |
Ответ: 1-в;2-а;3-б;4-д
15. Приведите в соответствие, подразумевающее вариативность правильных
ответов.
Приведите в соответствие климатические пояса и характерные для них ВМ:
| 1 .экваториальный 2. субэкваториальный 3. тропический 4. субтропический |
а) тропические б) умеренные в) субэкваториальные г) экваториальные |
Ответ: 1– а;2-а;3-а;4-а,б
16. Тесты на приведение в соответствие. В одном из столбиков есть “лишний”
вариант. Приведите в соответствие отрасли промышленности и факторы их
размещения:
| 1. гидроэнергетика 2. металлургия алюминия 3. судостроение 4. сахарная промышленность |
а) потребительский б) сырьевой в) энергетический |
Ответ: 1-б;2-г;3-а;4-б
17. “Открытые” (или перспективные) тесты.
В отличие от тестовых заданий, предполагающих необходимость самостоятельно
вписать верный ответ, в “открытых” тестах в отдельных случаях не “связан” одним
верным ответом, а имеет право самостоятельного выбора объектов, отвечающим
названным требованиям.
Вставить пропущенные слова. При данной постановке вопроса у тестируемого, как
правило нет самостоятельного выбора – необходимо вписать конкретные слова.
Вставьте пропущенные слова: Низменность – это вид ______, с ____ высотой до __
метров, (равнины, абсолютной, 2000.)
Самостоятельно вписать примеры – данный вид тестового задания подразумевает
полную свободу действий тестируемого.
Назовите три основных государства Азии:
————————————————————————————————
—————————————————————————————————-
на выбор: Бахрейн, Бруней, Кипр, Мальдивские о-ва, Сингапур, Тайвань, Шри –
Ланка, Филиппины, Япония.
18. Тесты связанные с заполнением таблицы без вариантов ответа.
Заполните таблицу:
| Воздушные массы | Район формирования | Температура и влажность |
| Жаркая и влажная | ||
| тропические | ||
| Умеренные широты над океаном | Лето: Зима: | |
| антарктические |
19. Тесты, связанные с заполнением таблицы с вариантами ответов.
Заполните таблицу, используя предложенные варианты ответов:
| Страна | Столица | Форма правления | Административно-территориальное устройство |
| Канада | |||
| Прага | |||
| Конституционная монархия | |||
| Оман | |||
| Конфедерация | |||
Варианты ответов: Чехия, Швейцария, Норвегия, Маскат, Оттава, Берн, Осло,
республика, абсолютная монархия, государство Британского Содружества, унитарное,
федеративное.
20. Тесты связанные с заполнением схемы с вариантами ответов.
Заполните схему, используя следующие слова:
1. Мировой океан;
2. болота;
3. ледники;
4. горные;
5. подземные воды;
6. реки;
7. покровные.
8. моря;
9. заливы.
21. Тесты, связанные с заполнением схемы без вариантов ответов.
Заполните схему:
22. Тестовые задания, требующие выполнение расчетов, с вариантами ответов.
Используя рисунок 60 на странице 96 (Суханов В.П. Физическая география. 6
класс.) или рисунок 80 на странице 144 (Герасимова Т.П. и Неклюкова Н.П.
География. Начальный курс.).
Определите, сколько выделится воды, если температура воздуха снизится с 20 С до
10 С при условии, что относительная влажность воздуха равнялась 100%: 1) 9 г; 2)
8 г; 3) 17 г.
23. Тесты, требующие выполнение расчетов без вариантов ответов.
Определите коэффициент увлажнения, если известно, что в городе Н испаряемость
равна 31 мм. и в течении года выпадает 488 мм. осадков:
Ответ 1,3
Тесты – классификаторы.
Тесты – классификаторы формулируются в виде набора определенных объектов,
и тестируемый должен провести их классификацию по указанному критерию или
выбрать критерий классификации самостоятельно. Данный вид теста наиболее удобен
для установления внутрипредметных или межпредметных связей.
24. Тесты – классификаторы с указанием классификации.
Разделите горные породы, приведенные в данном списке, на три группы:
а) известняк; б) гранит; в) мрамор; г) базальт; д) туф; е) ракушечник; ж) гнейс;
з)галька; и) уголь; к) обсидиан; л) графит; м) доломит.
| Осадочные:
————— |
Метаморфические:
——————- |
Магматические:
—————— |
Проклассифицируйте указанные объекты по природным зонам России и результаты
занесите в таблицу: Лиственница, лемминг, ковыль, бурундук, ягель, песец,
соболь, дрофа, кедр, кролик.
25. Тесты на самостоятельную классификацию.
Сгруппируйте по языковым семьям народы России:
Русские, карелы, татары, осетины, якуты, украинцы, коми, буряты, башкиры,
удмурты.
| А | Б | В | Г |
| ———— ———— ———— |
———- ———- ———- |
———- ———- ———- |
———- ———- ———- |
26. Тесты, проверяющие знания географической карты и географического
пространства построенные по принципу альтернативного теста.
В каждой паре подчеркните страну, расположенную севернее:
Норвегия – Дания;
Испания – Бельгия;
Чехия – Венгрия;
Швейцария – Германия.
27. Расставить по порядку.
Распределите горные страны по мере увеличения их высоты:
Гималаи – _____ 4
Уральские –____ 1
Альпы – ________2
Кордильеры – ____3
28. Тесты на установление причинно – следственных связей.
Укажите правильную последовательность причинно – следственных связей:
Развитие земледелия – __________ 4
Агроклиматические ресурсы – ___1
Географическая широта – _______2
Плодородие почв – ____________ 3
29. Тесты по нахождению “лишнего” объекта, где даны критерии ответа.
В данном списке выделите народ, отличающийся от остальных по религиозному
признаку: Русские, сербы, грузины, греки, поляки
30. “Лишний” объект – нет критериев ответа.
В данном списке выберите ответ отличающийся от остальных: Гранит, базальт,
пемза, обсидиан, мрамор.
Кто помог нам разобраться
Научный сотрудник лаборатории измерения новых конструктов и дизайна тестов в Центре психометрики и измерений в образовании Института образования ВШЭ. Руководитель проекта «4К: измерение критического мышления, креативности, коммуникации и кооперации». Преподаёт в Институте образования психометрику и методологию измерений в психологии и образовании.
В этой статье речь пойдёт о разработке образовательных тестов — заданий по проверке предметных знаний и навыков. Но в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.
Вы узнаете:
- можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
- можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
- чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
- с каких заданий лучше начинать — простых или трудных;
- какое количество вариантов ответа оптимально;
- как проверить, работает ли тест.
Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.
У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.
Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.
Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.
А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.
Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.
А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.
Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.
Потому в педагогических измерениях, когда нужно оценить более глубокие, не фактологические знания, измеряют не само по себе понимание, а умение интерпретировать или анализировать. И более практичны, чем тесты с выбором из нескольких вариантов, тут задания с открытым ответом или компьютерные симуляции и игры. В таких инструментах среда тестирования будет более гибкой, чем стандартизированные тесты.
Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт. Чтобы составить и распространить такой тест, не нужны сложные цифровые сервисы. Для базовых задач вполне достаточно форм Google или «Яндекса».
В этом разделе статьи разберёмся с основными вопросами о том, как составить хороший тест. А если нужно узнать по этой теме больше, советую книгу: Haladyna T. M., Rodriguez M. C. Developing and validating test items (Routledge, 2013) — и другие работы её авторов. Правда, на русском языке она, к сожалению, не выходила.
К концу теста любой учащийся устаёт. Поэтому последние задания зачастую уже не дают никакой информации о знаниях тестируемого. Получается, делать тест слишком длинным нельзя.
Но и коротким он быть не может — у небольших тестов ниже надёжность. На какой-то вопрос учащийся даст неверный ответ по невнимательности, а где-то, наоборот, случайно угадает правильный вариант. Если тест будет достаточно объёмным, больше шансов, что такого рода ошибки уравновесят друг друга и итоговый результат будет достоверен.
Так как определить, какой длины должен быть тест? Нужно отталкиваться от времени на решение одного задания. Оно зависит от трудности и может составлять от нескольких десятков секунд до пяти минут. Также стоит учитывать возраст учащихся:
- Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
- Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
- В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).
Золотое правило таково: чем больше часов на тему отведено в курсе, тем больше вопросов в финальном тесте. Потому что изначально, когда курс составлялся, большее число часов было запланировано на более важную тему.
Если темы не слишком дробные, хорошо бы поставить минимум три вопроса на каждую. Опять же, потому, что случайные ошибки уравновесят друг друга. Но обратную связь потом лучше давать не только по каждому отдельному заданию, но и по теме в целом.
Небольшое отступление: в психометрике задание может быть трудным, но не сложным. Трудность в этой науке понимают так же, как обычно в русском языке. Чтобы справиться с трудным заданием, нужно обладать высоким уровнем знаний по теме. Скорее всего, немногие ученики решат трудное задание.
А сложность — отдельное психометрическое понятие. Оно характеризует, сколько действий и когнитивных операций нужно выполнить в процессе решения. Возьмём математический пример. Задание разделить 0,219 на 0,365 трудное, но не сложное: оно состоит всего из одного действия.
И начинать тест следует с более лёгких заданий, то есть с нетрудных. В начале теста уровень стресса всегда выше, что искажает результаты. Если вопросы в тесте распределены по тематическим блокам, можно в каждом из них располагать задания от лёгких к трудным.
Кстати, вопрос о распределении по тематическим блокам сам по себе непростой. С одной стороны, правильнее, чтобы тестируемый концентрировался в каждый момент теста на одной теме. С другой стороны, иногда важно проверить, может ли он быстро переключаться с одной проблемы на другую.
Как именно поступить, решают в зависимости от дисциплины и задач теста. Но важно ставить всех тестируемых в одинаковые условия, чтобы результаты были сопоставимы.
В целом делить на блоки тест правильно: так тестируемый увидит, что тест не бесконечен. В ситуации компьютерного тестирования, когда нельзя пролистать задания и понять, сколько ещё осталось, это важно. И, конечно, нужно предупредить, если время на ответы ограничено.
Наиболее привычны сегодня тесты как в ЕГЭ — с четырьмя вариантами ответа. Иногда можно услышать, что это связано с объёмом рабочей памяти: якобы четыре варианта появились, потому что именно такое количество элементов средний человек способен одновременно удерживать в уме.
Психологи-когнитивисты такое обоснование считают ненаучным. Скорее всего, к четырём вариантам ответа практики пришли случайно, и ничего биологически или психологически заданного в этой цифре нет. Вариантов может быть и меньше — например, три.
А вот придумать больше неверных ответов обычно затруднительно.
Создание неправильных вариантов ответа — на самом деле сложное психометрическое мастерство. Не зря их называют дистракторами, то есть отвлекающими внимание от верного варианта.
Суть в том, что неправильные ответы должны быть похожи на правильный и привлекательны. Очевидно неправильных ответов нужно избегать, как и ответов из другой области. Например, если в вопросе стоит формулировка «В каком году?», все ответы должны быть датами примерно из одного диапазона.
Но неверные варианты не должны содержать в себе правильный ответ или какую-то его часть — иначе нужно в вопросе объяснить, что тестируемый должен выбрать самый правильный ответ.
Высший пилотаж — неправильные варианты на основе типичных ошибок студентов. Это позволяет давать более глубокую обратную связь: не просто показывать, где учащийся ошибся, а анализировать, почему он выбрал именно такой неправильный вариант.
Кроме надёжности, у любого теста есть ещё одно важное качество — валидность. По классическому определению, валидность — свойство теста измерять то, на что он направлен. Более современное определение гласит, что результаты валидного теста можно интерпретировать в той логике, в которой он создан.
И иногда на валидность может повлиять просто то, что тестируемый иначе (но не неправильно!) смотрит на ситуацию в задании.
Возьмём пример из теста на критическое мышление, разработанного в ВШЭ. Это тест‑симуляция онлайн-среды, в ней нужно общаться с ботом. Одна из задач — получить недостающую информацию для рецепта торта.
По идее, тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?» Но человек может начать с приветствия, и не потому, что не понял задание. Сказать «Привет, как дела?» перед тем, как уточнять рецепт, вообще‑то нормально. Но если об этом не подумать при составлении теста, такой ответ будет оцениваться как ошибочный.
Одно из частых опасений по поводу тестов и причин, почему в них предлагают добавлять больше вариантов ответа, — «угадайка». Кажется, что в задании с двумя вариантами ответа вероятность угадать составляет 50%. Но это верно только в случае, когда весь тест состоит из одного вопроса с двумя вариантами ответа.
Если добавить второй вопрос, в котором не будет подсказок к первому и наоборот, вероятности просто перемножатся. И шанс случайно угадать правильные ответы составит уже 25%. В случае с тестом из десяти заданий вероятность ответить на всё правильно случайно пренебрежимо мала.
Но такой расчёт справедлив только для тестов с хорошо написанными неправильными ответами.
На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.
Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.
Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.
Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.
Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.
В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.
МУНИЦИПАЛЬНОЕ ОБЩЕОБРАЗОВАТЕЛЬНОЕ
УЧРЕЖДЕНИЕ
«Школа №101 ГОРОДА ДОНЕЦКА»
Методическое пособие для учителей
«Тесты. Виды тестов»
Подготовила:
учитель информатики
Синюкова В.Г.
Донецк,2018
Содержание
Введение
с.3
Раздел 1. Тестовые задания и требования к
ним с.4-19
Составление тестовых
заданий с.4
Виды и типы тестовых заданий. Требования к ним.
Особенности, преимущества и
недостатки с.6
Роль и значение невербальных материалов в
тестировании с.19
Раздел 2. Составление тестовых заданий. Система
оценивания. с.25-36
Правила составления тестовых заданий с.25
Рекомендации по организации тестового
контроля с.34
Требования к оформлению тестовых
материалов с.35
Анализ результатов
тестов
с.36
Введение
В современном образовании тестирование является наиболее
часто применяемой и эффективной формой контроля знаний учащихся. Это
обуславливается оперативностью и объективностью контроля показателей результатов
обучения учащихся.
Система тестирования – универсальный инструмент
определения уровня обученности учащихся на всех этапах образовательного
процесса, в том числе для оценки уровня остаточных знаний.
Для самостоятельной подготовки качественного инструмента
для оценивания знаний и для грамотного отбора тестов, предлагаемых на рынке,
необходим комплекс базовых знаний.
Данные методические рекомендации предназначены помочь
преподавателям в подготовке тестов для контроля знаний учащихся.
Цель методического пособия – помочь учителям методически грамотно
составить тестовые задания для контроля знаний учащихся.
Первой задачей данного пособия – ответить на вопросы «как?» и
«почему?», которые возникают у учителей, когда он садится за разработку
тестов. Как правильно составить задание? Как разнообразить виды заданий? Как
правильно сформулировать задание, с использованием схем, таблиц, графиков? В
методических рекомендациях предпринята попытка ответить на все эти вопросы.
В методических рекомендациях подробно освещены требования
к тестовым заданиям, структуре тестового задания, правильному его построению и
оформлению.
Отдельно четко прописаны виды и типы тестовых заданий, их
особенности, преимущества и недостатки.
Каждое положение иллюстрируется примерами, что упрощает
учителю возможность составить тестовое задание по аналогии, независимо от
специфики дисциплины.
Раздел1.Тестовые
задания и требования к ним
1.
Состав тестовых заданий
Тестовые задания являются составной частью теста, так же
как инструкции, нормы, правильные ответы, технологическая матрица и другие.
Особое внимание именно к заданиям обосновано тем, что их составление или отбор
является наиболее сложной процедурой при составлении тестов школьных достижений,
в них концентрируется наибольшее количество ошибок и именно задания являются
базовой основой любого теста.
Тестовые задания
должны соответствовать принципам:
—
быть составлены с учетом
соответствующих правил;
—
соответствовать содержанию
учебного материала;
—
быть проверены на практике (апробированы);
—
иметь приемлемые, соответствующие целям тестирования показатели
качества — трудность и дискриминативность;
—
быть краткими, ясными испытуемому;
—
не вызывать трудности у
проверяющих при оценке правильности их выполнения.
С точки зрения разработчика минимальные требования к
составу тестового задания состоят в наличии трех частей:
1)
инструкции;
2)
текста задания (вопроса);
3)
правильного ответа.
1. Инструкция должна содержать указания на то, что испытуемому
следует сделать, каким образом выполнять задание, где и как делать пометки и
записи, как дописывать, что ученик должен «сделать руками» и т.д.
Например:
·
ответ запишите в рамку, которая находится ниже задания, для
промежуточных вычислений используйте место слева от вопроса…;
·
в третьем столбце, над
строчками впишите цифры, соответствующие понятиям, обозначенным буквами в этой
же строке…;
·
ответ запишите в бланке, в
строке, соответствующей номеру вопроса для вычислений следует использовать калькулятор…
Во многих работах по тестированию инструкция для учащихся
в той форме, в какой предлагаем ее мы, только подразумевается или приводится не
для всех заданий.
Для того чтобы поставить учащихся в одинаковые условия,
мы должны быть уверены в том, что ученик знает, понимает приемы, которые
позволяют ему выполнять задания безошибочно с точки зрения верного выполнения
процедуры заполнения, то есть выполнения инструкции к тестовому заданию, и
владеет ими.
Ученику важно понять, что от него требуется, как он
должен выполнять задание. Важно понять не только то, что необходимо установить
правильную последовательность, то есть выполнить интеллектуальную операцию, но
и то, как собственно ее устанавливать, что, каким образом и где надо
вписать, отметить и т.д. Кроме этого, для многих заданий важен порядок
установления этой правильной последовательности (от раннего (большего) к более
позднему (меньшему) или наоборот).
В тестах допускается делать одну инструкцию для группы
однотипных заданий, которая помещается в начале данной группы заданий. Для
проверки того, как испытуемые поняли инструкцию, желательно снабдить ее
несколькими примерами, которые разбираются вместе с ведущим тестирование. Общей
практикой, сложившейся в последнее время, является создание инструкции для тестируемых,
которая помещается в начале тестовой тетради. В ней подробно разбираются
инструкции по заполнению всех форм тестовых заданий, которые могут встретиться
в тесте. Они снабжаются примерами, которые разбираются и выполняются вместе с
ведущим, правила исправления неверно выполненных заданий, другие сведения.
Для разработчиков тестовых заданий подготовка инструкции
для испытуемых в каждом задании является необходимой, поскольку это позволяет
взглянуть на задание с точки зрения ученика, рассмотреть варианты упрощения
заданий, а иногда подталкивает к поиску наиболее адекватной формы тестовых заданий.
Каким
образом лучше делать отметки при выполнении заданий?
Возможно несколько вариантов отметить крестиком,
поставить галочку, обвести кружком, нарисовать стрелочку, соединить линией,
отметить любым знаком и т.д.
Некоторые варианты других способов могут нести в себе
неоднозначность, например:
 |
В случае апелляции по результатам теста можно очень долго
и безрезультатно выяснять, к какому варианту ответа был ближе использованный
испытуемым знак.
Задания на восстановление соответствия содержат
инструкцию «соединить стрелочками соответствующие элементы». Этот
вариант, кроме возможной неоднозначности, достаточно трудоемок при проверке,
особенно когда количество испытуемых становится большим.
Не совсем четким представляется вариант «обведи
кружком вариант ответа…», поскольку, следуя ему формально, необходимо
весь вариант ответа обвести в кружок, что не всегда уместно и возможно.
Как показывает опыт, наиболее универсальным, четким,
понятным и однозначным является вариант обведения кружком цифры (буквы),
соответствующей правильному ответу, для заданий закрытого типа и требование
вписать ответ в отведенное место для заданий открытого вида и заданий на
восстановление соответствия.
2.
Текст задания или
вопроса представляет собой
содержательное наполнение задания. Выделяются следующие части вопроса:
·
Стимулирующий материал:
материал, о котором говорится
в вопросе, представлен обычно в виде текста, рисунка, таблицы или другого
представления данных. Во многих случаях написание вопросов начинается со сбора
подходящих текстов или с обдумывания ситуаций или тем, по которым можно
сгруппировать ряд вопросов.
·
Введение: информация, предшествующая вопросу.
·
Вопрос: существенная часть вопроса, например: «До
каких пределов падает значение X?» или «Какие достоинства имеют открытые вопросы?».
·
Ограничения ответа: вопрос должен быть высокого качества, что бы
предотвратить нежелательные интерпретации учащихся, используя ограничения,
такие как: «По мнению автора» или «Вычислите до двух десятичных знаков».
3. Правильный ответ или оценочная схема — обязательный атрибут любого тестового
задания — без него задание теряет смысл, поскольку не может быть точно
проанализировано и оценено с учетом авторского
замысла.
Перечисленные три составных части тестового задания
являются минимально необходимыми для составления тестов.
Кроме этого, составителям тестовых заданий целесообразно
указывать еще ряд необходимых сведений. Сведения разработчиков о заданиях и их
целевое назначение представлены в таблице:
|
Сведения о тестовом задании |
Цели дальнейшего использования |
||||
|
группа, задание |
на |
которую |
рассчитано |
это |
для экспертизы с целью определения валидности |
|
Тема, раздел (предмет или предметную область в соответствии с |
для проверки соответствия заданий технологической матрице |
||||
|
предполагаемое составителем время выполнения задания |
для компоновки теста, предназначенного для |
||||
|
уровень, который соответствует данному заданию, или оно выясняет |
для проверки соответствия заданий технологической матрице |
||||
|
соответствие стандарту или программному материалу, |
для экспертизы с целью определения валидности |
||||
|
данные об авторе |
для получения справок и уточнений |
||||
2. Виды и типы тестовых заданий, требования к ним. Особенности,
преимущества и недостатки
Основное требование к тестовым заданиям
Тестовое задание должно иметь однозначный правильный
ответ
Данное требование нуждается в пояснении. Часто понятие
однозначности ответа трактуется как требование единственности или наличия
предполагаемого образца. В данном случае речь идет об однозначной, с точки
зрения пользователя, возможности оценки результата выполнения тестового задания
как возможности
любого
проверяющего на основе сравнения ответа учащегося и правильного ответа (схемы
анализа), предложенного разработчиком, сделать однозначный вывод о том,
выполнил данный ученик это задание верно или нет. Поэтому правильный ответ
разработчика может заключаться не только в эталонном ответе, но и в описании
схемы анализа, содержать конструкции «и … и», «…или…», описывать вариант
неправильного ответа, считая все остальные правильными.
Схема оценивания должна полностью соответствовать
конкретному вопросу. Все формулировки ожидаемых ответов должны быть предельно
ясными и недвусмысленными, чтобы при оценивании у проверяющего не могло
возникнуть сомнения в правильности засчитываемого ответа. Единство требований к
тестируемым не может быть осуществлено, если сама схема оценки может
толковаться специалистами по-разному.
Существует два вида заданий, которые объединяют шесть
типов. К этим шести типам может быть сведено все многообразие существующих
заданий без ущерба для их качества.
 |
Типы и виды тестовых заданий представлены на схеме:
К заданиям закрытого типа относятся задания четырех
видов: альтернативных ответов (АО), множественного выбора, восстановления
соответствия и восстановления последовательности.
Тестовые задания закрытого типа предусматривают различные
варианты ответа на поставленный вопрос: из ряда предлагаемых выбирается один
или несколько правильных ответов, выбираются правильные (или неправильные)
элементы списка и др. Это задания с предписанными ответами, что предполагает
наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.
1. Задания закрытого типа.
1. Задания альтернативных ответов. К каждой задаче альтернативных ответов
дается только два варианта ответов. Испытуемый должен выбрать один из них — «да
— нет», «правильно — неправильно» и т.д.
Форма задания:
|
утверждение 1 |
да |
нет |
|
утверждение 2 |
да |
нет |
|
утверждение 3 |
да |
нет |
|
утверждение 4 |
да |
нет |
|
и т.д. |
Инструкция для заданий
альтернативных ответов: обведите кружком вариант ответа «да» или «нет»,
который вы считаете правильным; или обведи ответ «да» или «нет». (Если ты согласен с утверждением — обведи кружком
«да»
в клеточке таблицы ответов, а если не согласен — обведи «нет»).
Задания альтернативных ответов являются самыми простыми,
но не самыми распространенными при составлении тестов. Это связано в основном
со специфичностью того материала, которому в большей степени соответствует эта
форма заданий. Задания альтернативных ответов применяются для оценки одного
элемента знаний. Использование заданий альтернативных ответов в виде отдельного
вопроса (одиночно) приводит, как правило, к тривиальному тестированию, а потому
применяется достаточно редко.
В индивидуальном порядке вопросы альтернативных ответов
не очень эффективны, а вот длинные серии таких вопросов имеют определенные
преимущества. Ответы на них обычно не занимают много времени, и есть
возможность охватить весь материал по предмету, задавая как можно больше
вопросов по нему.
Таким образом, эта форма
целесообразна для использования заданий этого вида в серии, когда для одного
элемента знания задается несколько вопросов. В такой форме задания
альтернативных ответов в большей степени подходят для выявления уровня
овладения сложными определениями, знания достаточно сложных графиков, диаграмм,
схем и т.д.
Особенностью заданий альтернативных ответов является то,
что вопрос должен быть сформулирован в форме утверждения, поскольку он
предполагает согласие или несогласие, которое можно отнести к утверждению.
Приведем несколько примеров:
Пример 1.
Инструкция: Обведи ответ «да»
или «нет». (Если ты согласен с утверждением — обведи кружком «да» в клеточке
таблицы ответов, а если не согласен — обведи
«нет»).
Вопрос: Сумма квадратов катетов равна квадрату
гипотенузы прямоугольного треугольника. Варианты ответа:
Совершенно непригодное задание ввиду его тривиальности, которая вытекает
из точного соответствия формулировке
учебника.
Приведенный пример показывает неудачные случаи применения
заданий с альтернативными ответами и возможность их замены на другие. Однако
существует целый ряд заданий, когда альтернативные ответы применять наиболее
целесообразно. Это относится к крупным определениям, сложным процессам, к
графикам, диаграммам, таблицам, тем элементам знания, которые могут быть
структурированы или разбиты на более мелкие части.
Примеры, когда элементы знания адекватны этой форме
задания. Особенно это важно для тестов достижений, как в части усвоения знаний,
так и умения анализировать данные,
работать с разной формой представления результатов (графики, диаграммы, таблицы
и т.д.).
Пример2.
Инструкция: Обведи ответ «да»
или «нет». (Если ты согласен с утверждением — обведи кружком «да» в клеточке
таблицы ответов, а если не
согласен — обведи «нет»).
Вопрос: Биосфера — это часть…
Варианты ответа:
|
да |
нет |
— …геологической оболочки Земли |
|
да |
нет |
— …биологической оболочки Земли |
|
да |
нет |
— …гидрологической оболочки Земли |
|
да |
нет |
— …где присутствует воздух |
|
да |
нет |
— …населенная организмами |
|
да |
нет |
— …где возможна жизнь |
Ответ: да — нет — нет — нет — да — нет.
 |
Пример 4.
Распределение уровня интеллекта в большой выборке мужчин и женщин
Инструкция: Обведи ответ «да»
или «нет». (Если ты согласен с утверждением — обведи кружком «да» в клеточке
таблицы ответов, а если не согласен — обведи
«нет»).
Вопрос: Исходя из информации, представленной
на этом графике, являются ли следующие утверждения истинными или ложными:
Варианты ответа:
|
да |
нет |
а) Больше мужчин, чем женщин, имеют очень |
|
да |
нет |
б) Больше мужчин, чем женщин, имеют очень |
|
да |
нет |
в) Распределение уровня интеллекта среди |
|
да |
нет |
г) Распределение уровня интеллекта среди |
|
да |
нет |
д) Среднее значение IQ для мужчин и женщин примерно |
|
да |
нет |
е) Больше женщин, чем мужчин, имеют IQ от |
|
да |
нет |
ж) Больше мужчин, чем женщин, имеют IQ от 50 |
Эти альтернативные задания в наибольшей степени
соответствуют задаче выявления того, в какой степени испытуемый понимает
данные. Кроме того, это задание содержит проверку умений работать с графиками,
навыки приближенного вычисления. Любая другая форма представления заданий будет
гораздо более громоздкой и менее удобной.
2.
Задания множественного
выбора. Это основной вид заданий,
применяемый в
тестах. Задачи с множественным выбором предполагают наличие вариативности в
выборе. Испытуемый должен выбрать один из предложенных
вариантов, среди которых чаще всего только один правильный. Форма
представления заданий альтернативных ответов: Вопрос (утверждение):
A.
вариант ответа 1
B.
вариант ответа 2
C.
вариант ответа 3
D.
вариант ответа 4
E.
вариант ответа 5
Инструкции для
заданий с множественным выбором: обведите кружком букву, соответствующую
варианту правильного ответа ….
Какое количество
вариантов ответов можно считать приемлемым?
Обычный вопрос состоит из введения, самого вопроса и ряда
альтернатив, каждая из которых представляет собой ответ на вопрос. Оптимальное
количество альтернатив — это 3- 5. Имея две альтернативы, экзаменуемый начнет
догадываться о правильном ответе, особенно если альтернативы похожи друг на
друга (менее способные экзаменуемые встретят больше трудности, чем более способные,
при выявлении различия между этими альтернативами).
Сколько правильных ответов может быть в тестовом задании
множественного выбора?
В заданиях множественного выбора количество правильных
ответов объективными причинами не ограничивается. В том случае, если вариантов
правильных ответов несколько, следует видоизменить инструкцию, указав на то,
что необходимо отметить буквы, соответствующие правильным ответам. Или иным
образом указать на то, что правильных вариантов несколько.
Однако из практических
соображений минимизации возможных форм заданий настоятельно рекомендуется
придерживаться правила, согласно которому задание множественного выбора
содержит только один правильный ответ, а в том случае, если правильных ответов
несколько, такое задание переделывается в форму заданий с альтернативными
ответами. Таким образом, удается сократить на одну количество форм заданий
и соответствующих им стандартных инструкций, что упрощает процедуру подготовки заданий.
Примеры связанные с выбором варианта ответа.
Пример 5.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: К какой группе веществ относится серная кислота?
Варианты
ответа:
A.
не электролит
B.
сильный электролит
C.
слабый электролит
D.
электролит средней силы
E.
восстановитель
В данном примере можно говорить о двух неудачах в подборе
вариантов ответов. Во-первых, первые четыре варианта представляют собой
разновидности одной группы веществ — электролитов, а последний — определяет
вещества по другому основанию, что, по сути, является подсказкой. Во-вторых,
расположение в задании характеристик силы электролита хаотично, что приводит к
потере времени на чтение задания. Более удачным был бы другой вариант ответов.
Пример 6.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: К какой группе веществ относится серная кислота?
Варианты
ответа:
A.
не электролит
B.
слабый электролит
C.
электролит средней силы
D.
сильный электролит
Пример 7.
Инструкция: Обведи кружком букву, соответствующую
правильному ответу.
Вопрос: Катер плывет по реке,
скорость течения равна «а», скорость катера в стоячей воде равна «b». Какая из
следующих формул выражает время, которое затрачивает катер на то, чтобы
спуститься вниз по течению на 30 км, а потом вернуться обратно? (Время стоянки
не учитывать.)
Варианты
ответа:
A. 2b
— a 60
B. 30 + 30
a + b b — a
C. 30 + 30
a b
D. 30 — 30
b — a a + b
Это хорошее задание, в котором необходимо знание формул и
умение совершать действия с алгебраическими выражениями в уме. Однако именно в
этой сложности состоит смысл данной задачи: сделать выбор, не совершив определенных
действий, практически невозможно.
Пример 8.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: Империя — это…
Варианты
ответа:
A.
большое государство
B.
государство, управляемое императором
C.
государство, состоящее из
метрополий и колоний
D.
сильное государство
E.
недемократическое
государство Правильный ответ — С.
С точки зрения материала, изучаемого в курсе истории,
вариант ответа С представляется правильным, однако среди вариантов неправильных
ответов существует ответ В, который, строго говоря (согласно словарным
определениям), тоже является верным. Засчитывая только ответ С, составитель
получает искаженные данные о знаниях детей по
вопросу.
3.
Задания на
восстановление соответствия (соответствие). Задания на восстановление соответствия, в которых
необходимо найти или приравнять части, элементы, понятия — конструкциям,
фигурам, утверждениям; восстановить
соответствие между
элементами двух списков. К этому же типу следует отнести и задания, в которых
требуется восстановить порядок ряда, упорядочить. Эти задания
могут
рассматриваться как частный случай задания на восстановление соответствия
которых только один ряд, а другим, предполагаемым, является время,
Форма представления заданий на восстановление соответствия:
Инструкция: Соотнеси
написанное в столбцах 1 и 2. (Запиши в таблицу ответов цифры из столбца 2,
которые соответствуют утверждениям из первого списка).
Вопрос:
Варианты ответа:
Эта форма заданий достаточно разнообразна и может быть с
успехом использована во всех учебных предметах и предметных областях:
практически в каждом предмете существует широкая возможность их использования.
Задачи соответствия требуют подбора подходящего ответа.
Обычное задание соответствия состоит из трех столбцов: в первом под заглавными
буквами (или цифрами) — вопросы, утверждения, факты, понятия и т.д., во втором
идет пронумерованный список утверждений или слов, которые надо поставить в
соответствие, и, наконец, третья графа — варианты ответа. Для каждого
пронумерованного слова или утверждения следует отобрать один признак под
заглавной буквой, наиболее тесно связанный с ним.
Пример 9.
Инструкция: Соотнеси
написанное в столбцах 1 и 2. (Запиши таблицу ответов цифры из столбца 2,
которые соответствуют утверждениям из первого
списка).
Вопрос: Кто написал?
Варианты ответа:
Произведение автор
А. «Обломов» 1. Толстой
В. «Капитанская дочка» 2. Островский
С.«Севастопольские
рассказы»
3. Пушкин
D. «Лес» 4. Чехов
Е. «Крыжовник» 5. Гончаров
Как ясно из этого примера, задания на восстановления
соответствия наилучшим образом подходят для выявления фактической информации.
Можно было бы и просто спросить «Кто написал «Севастопольские
рассказы»?» Задание на восстановление соответствия — но простой метод
задавать вопросы, который позволяет легко подсчитывать оценки.
Это не очень удачный пример по двум причинам. Во-первых, неудачна
формулировка
вопроса, она слишком кратка, вызывает вопросы и требует пояснений. Во-вторых,
каждому произведению поставлен в соответствие только один автор, что
увеличивает вероятность догадки. Приведем другой пример, построенный на
аналогичном материале.
Пример 10.
Укажите буквой, какому автору принадлежат книги,
указанные в следующем списке (оставьте незаполненной графу напротив книги,
автор которой не указан в левом списке):
Варианты ответа:
|
Авторы A. Диккенс |
Книги «Ярмарка тщеславия» |
Буква |
|
Б. Скотт |
«Уэверли» |
|
|
B. Смоллет |
«История двух городов» |
|
|
Г. Теккерей |
«Утерянный рай» |
|
|
«Гамфлри Клинкер» |
||
|
«Памела» |
||
|
«Лунный камень» |
||
|
«Черный карлик» |
Это задание лучше предыдущего: список, из которого
выбираются ответы, длиннее, чем первый список, в противном случае, случайное
угадывание станет все более и более легким. Так, если в первом примере
испытуемый знает четыре из пяти ответов у одинаковых по длине списков, то пятый
будет неизбежно правильным кроме предъявления списков неравной длины, можно
указывать, w некоторым элементам нет никаких соответствий (или и то, и другое),
как в данном примере. Эти меры с очевидностью уменьшают вероятность случайного
угадывания правильного ответа.
Следующие два
примера показывают более сложное и более емкое задание.
Пример 11.
Перед вами — фамилии людей, известных в различных
областях человеческих знаний. Вам необходимо поставить нужные буквы в ваших
бланках, соответствующие основной сфере деятельности того или иного лица.
Э — экономика П —
политика Н — наука
Л — литература
И — живопись, музыка
имена, фамилии буква
1.
Лев Толстой
2.
Борис Ельцин
3.
Луи Армстронг
4.
Томас Эдисон
5.
Василий Леонтьев
6.
Петр Столыпин
7.
и т.д.
Это задание не
очень удачное, поскольку приходится всё время справляться о
правильной букве в
списке, однако оно может быть улучшено путем выведения подсказки на бланк.
Задание будет сформулировано следующим образом:
Пример 12.
Перед вами фамилии людей, известных в различных областях
человеческих знаний. Вам необходимо обвести кружком нужные буквы на бланке,
соответствующие основной сфере деятельности того или иного лица.
Э — экономика П —
политика Н — наука
Л — литература
И — живопись, музыка
имена, фамилии буква
1.
Лев Толстой ЭПНЛИ
2.
Борис Ельцин ЭПНЛИ
3.
Луи Армстронг ЭПНЛИ
4.
Томас Эдисон ЭПНЛИ
5.
Николай Бородин ЭПНЛИ
6.
Василий Леонтьев ЭПНЛИ
В данном примере неудачным кажется включение в список
фамилии Бородина, который известен и как ученый-химик, и как композитор, что может вызвать вопросы или ошибки у
наиболее подготовленных учеников.
Необходимо подчеркнуть еще один момент,
касающийся альтернативных заданий и заданий на восстановление соответствий
тестов достижений, — опасность тривиального тестирования.
Хотя и важно знать, что овес имеет соцветие метелка, а
воробьиные—это отряд птиц, однако ответы на эти вопросы не предполагают
понимания. Знание того, что Пушкин написал «Капитанскую дочку», представляется
не столь важным по сравнению со способностью выполнить анализ этого
произведения или выразить отношение к проблемам, в нем поднимаемым.
Главными преимуществами заданий этого вида являются
возможность быстрой оценки знаний, умений и навыков в конкретной области знаний
и экономичность размещения задач в тесте.
Для того, чтобы задачи соответствия позволяли получить
результате не зависящий от внешних причин, при их конструировании необходимо
учитывать требования, вытекающие из особенностей восприятия:
·
число входных данных
одного списка не должно превышать 10; если их больше, лучше составить еще одну
или несколько задач;
·
если длина списков не
совпадает, то об этом необходимо сделать» указание в инструкциях и ключе.
4.
Задания на восстановление последовательности
Задания на восстановление последовательности можно
рассматривать как вариант заданий на восстановление соответствия, когда одним
из рядов является время, расстояние или иной континуальный конструкт, который
подразумевается в виде ряда. Поскольку эта форма заданий требует особой
инструкции, мы выделили ее в отдельный вид.
Задания на восстановление последовательности незаслуженно
редко используются в тестах. На самом деле это очень качественная форма
тестовых
заданий,
обладающая большинством преимуществ: краткостью, простотой проверки. Она
подходит для любого предмета, там, где присутствует алгоритмическая
деятельность или временные события. Для технологий это может быть порядок
технологических операций, для истории — восстановление временных
последовательностей событий, для русского языка — этапы словообразования, для
точных наук — алгоритмы решения задач, и этот список практически бесконечен.
Если говорить о форме этого задания, то, с одной стороны,
если подходить строго, его нельзя отнести к закрытым заданиям, поскольку при
его выполнении ученик сам записывает ответ. По форме это задание, как мы уже
отмечали, близко к заданиям на восстановление соответствия, но, с другой
стороны, нельзя не отметить и его близость к заданиям на продолжение
последовательности, которые мы рассмотрим в следующем разделе. Отдельно
необходимо отметить и характерную для этой формы заданий крайне низкую
вероятность угадывания правильного ответа. Форма представления заданий на
восстановление последовательности.
Инструкция: Расположи в правильной последовательности. (В столбце
ответов проставь соответствующие буквы).
Вопрос.
Варианты ответа:
Ответ
1.
А
2.
В
3.
С
4.
D
5.
E
6.
F
7.
G
Пример 13.
Инструкция: Расположи в правильной последовательности. (В столбце
ответов проставь соответствующие буквы).
Вопрос: Этапы зародышевого развития позвоночных животных происходят в следующем
порядке:
Варианты
ответа:
Ответ
1.
А. дробление
2.
В. зигота
3.
С. бластула
4.
D. закладка органов
5.
Е. гаструла
Правильный ответ:
BACED
Преимущества
заданий закрытого типа:
·
задания могут быть
надежны, поскольку отсутствуют факторы, связанные с субъективными оценками,
которые снижают надежность
·
оценивание заданий
полностью объективно: между оценками различных проверяющих не может быть различий;
·
неважно, умеют ли
испытуемые хорошо формулировать ответы;
·
задания этого типа обрабатываются легко, тестирование проводится
быстро;
·
простой алгоритм
заполнения снижает количество случайных ошибок
и описок;
·
эти задания позволяют
охватить большие области знания, что для тестов достижений особенно важно;
·
возможна машинная
обработка ответов;
·
низкая вероятность
угадывания правильных ответов;
·
возможность получения точной оценки содержательности теста, что
особенно важно для определения соответствия теста целям исследования.
2.
Задания открытого типа
К ним относятся задания двух видов:
1. Задания свободного изложения или свободного конструирования. Они
предполагают свободные ответы испытуемых по сути задания. На ответы не
накладываются ограничения, однако формулировки заданий должным обеспечивать
наличие только одного правильного ответа.
2. Задания дополнения (другое название — задачи с ограничением на ответы). В
этих заданиях испытуемые должны также самостоятельно давать ответы на вопросы,
однако их возможности ограничены. Ограничения, обеспечивают объективность
оценивания результата выполнения задания, а формулировка ответа должна дать
возможность однозначного оценивания.
Инструкция для заданий свободного изложения: закончите
предложение (фразу), впишите вместо многоточия правильный ответ; дополните
определение, записывая ответ в бланке и т.д., то есть вместо многоточия можно
вписать словосочетание, фразу, предложение или даже несколько предложений.
Инструкция для заданий
дополнения: вместо каждого многоточия впишите только одно слово (символ,
знак и т.д).
Выполнение основного требования для заданий дополнения не
представляется сложным, правильным ответом будет то самое выражение, слово и
т.д., которое необходимо вписать испытуемому.
Для заданий свободного изложения выполнение основного
требования к тестовым заданиям сложнее. Для выполнения этого требования
необходимо формализовать сам ответ. В том случае, когда результатом выполнения
задания служат цифровые выражения, структура фразы подразумевает два-три
однозначных слова — это не сложно.
В примере 14 материалом для тестирования являются знания
о геометрической зависимости в прямоугольном треугольнике: квадрат гипотенузы
равен сумме квадратов катетов.
Задание
свободного изложения:
Пример 14.
Инструкция: Закончи предложение.
Вопрос: «Сумма квадратов катетов прямоугольного треугольника равна…
В силу однозначного определения существует только один
ответ, что обеспечит высокую надежность по тесту.
Задание дополнения.
Пример
15.
Инструкция: Впиши пропущенное слово (впиши
ответ в отведенное место).
Одному пропуску соответствует только одно слово.
Вопрос: «Сумма квадратов катетов равна прямоугольного треугольника». или
Вопрос: «Если дана сумма
квадратов катетов, то гипотенузу прямоугольного треугольника можно найти как…».
Необходимые здесь слова не столь очевидны, но во втором
случае их количество может привести к путанице для испытуемых, имеющих
нетвердые знания.
Трудность в применении этого вида задач заключается в
сложной формализации ответов, в громоздкости процедуры и больших затратах
времени на проведение, а также в том, что необходимость подготовки оценочных
схем затрудняет стандартизацию.
Задания такого типа рассматриваются психологами как
дополнительные методы представления заданий в тестовой форме. Однако, какая из
форм заданий лучше, определяется специфичностью тестируемой информации. Если
она очень специфична, а в педагогической практике это не редкость, то
эффективными будут задания свободного изложения; если она определена не столь
четко, то лучше использовать задания дополнения.
Основными трудностями при
составлении заданий открытого типа является соблюдение основного требования к
тестовым заданиям — наличия однозначного правильного ответа.
Существует несколько приемов, которые позволяют
формализовать ответ, сделать его однозначным.
Пример 16.
Вопрос: Биосфера — это…
Ответ: часть геологической
оболочки Земли, населенная живыми организмами.
Это пример неудачно сформулированного ответа. Задание с
таким вариантом ответа невозможно обработать, ведь вероятность точного,
дословного совпадения варианта ответа с представленным вариантом чрезвычайно
мала. Ответы — «часть геологической оболочки Земли» или «часть оболочки Земли,
населенная живыми организмами» — могут считаться частично правильными, что
нарушает основное требование к тестовым заданиям и приводит к субъективным
оценкам. В данном случае возможны четыре варианта выхода из создавшегося
положения:
·
первый — попытаться переформулировать вопрос таким
образом, чтобы ответ стал
однозначным, например:
Вопрос: Часть геологической
оболочки Земли, населенная живыми организмами, называется…
Ответ: биосфера.
Это неплохая форма задания, однако, по сравнению с
исходным, они значительно проще, кроме этого, оно не проверяет собственно
знания определения.
·
второй — выделением ключевых, наиболее существенных,
важных слов или словосочетаний, если выбран такой выход, то задание будет
выглядеть так:
Вопрос: Биосфера — это…
Ответ считается правильным,
если содержит в себе два слова геологической и организмами.
·
третий — возможен и более сложный способ формализации
ответов с использованием более сложной шкалы:
Вопрос: Биосфера — это…
Ответ на данный вопрос
оценивается двумя баллами, если ответ содержит слова геологической и
организмами; если ответ содержит одно из этих слов, то одним баллом, во всех
остальных случаях задание считается невыполненным.
·
четвертый — задание может быть преобразовано в другую
форму например, в задание альтернативных ответов, — которая в большей степени
подходит для данного элемента знания.
Достоинствами хорошо
составленных заданий дополнения и свободного изложения являются:
1)
краткость и однозначность ответов;
2)
необходимость
воспроизведения ответа по памяти;
3)
отсутствие необходимости
искать несколько вариантов ответа;
4)
простота формулировки вопросов;
5)
простота проверки;
6)
невозможность угадать ответ.
Практические
задания
Практические задания, или аппаратурные, стоят несколько
отдельно в ряду заданий для тестов. Их психологические аналоги достаточно
успешно применяются в практике психодиагностики.
В области тестов достижений практические задания пока не
нашли значительного применения. Причин тому достаточно много: сложность
группового проведения, слабая стандартизованность, значительные материальные
затраты, наличие длительного подготовительного этапа к каждому тестированию.
Однако есть у таких тестов неоспоримые преимущества, заключающиеся в большом
объеме информации, который можно получить, возможность наблюдения и фиксации
процесса работы и, наконец, что наиболее ценно для педагогов — возможность
использования такого тестирования для обучения, что большинству остальных
тестовых заданий не свойственно.
Первым недостатком таких тестов является невозможность
наблюдать и оценивать более одного тестируемого в одно и то же время, так же
как невозможно общаться с экзаменуемым и одновременно оценивать его.
Следовательно, выполнение этого типа тестов требует много времени при высокой
интенсивности труда. Второй недостаток — это то, что подготовка инструкций для
оценивания таких тестов занимает много времени. Однако без этих инструкций
экзамены не будут иметь взаимосвязи друг с другом, и может возникнуть проблема
последовательности внутри самого экзамена.
Как бы то ни было, практические задания представляют
собой трудоемкий, но весьма эффективный способ аттестации учащихся.
Примеры заданий с
трудностями и комментариями.
Пример
17.
Название задания: БИЛЕТ
Описание задачи: Определить,
какое наибольшее число билетов (прямоугольников) может быть вырезано из листа
бумаги.
Приборы и материалы: Один
билет (5×7 см) и чистый лист бумаги (24×21 см) (линии на рисунке показывают
правильное решение).
Указания: Иванов сумел
вырезать 12 билетов из такого листа. Петрову удалось вырезать 13 билетов.
Найдите наибольшее количество билетов, которое можно получить из листа бумаги.
Свое решение изобразите линиями на листе.
Правильный ответ засчитывается, если сказано
«14» и линии проведены так, как показано на рисунке.
Комментарии: процент
правильных ответов на это задание оказался довольно низким: самый высокий едва
перевалил за 30. Еще меньшее количество учащихся оказались в силах нарисовать
правильное решение.
Пример 18.
Название задания: МАГНИТ
 |
Описание задачи. С помощью
магнита определить, какие предметы подвергаются намагничиванию, а какие — нет,
и указать различия между ними.
Приборы и материалы: магнит и
следующие семь предметов: пластмассовая пуговица, железная или стальная шайба,
стальная скрепка, железный гвоздь, стеклянный шарик, пластмассовая палочка и
медная монета.
Указания. Проверьте,
реагируют ли эти предметы на магнит, и разделите их на две группы. Составьте
списки предметов, входящих в эти группы, и объясните, что отличает эти предметы
друг от друга.
Правильный ответ засчитывался
при правильном разделении на группы. Встречались четыре вида объяснений: по
именам; одна из групп состоит из предметов, сделанных из железа или стали; одна
из групп состоит из предметов, реагирующих на магнит; одна из групп состоит из
предметов, сделанных из железа или стали и реагирующих на магнит.
Комментарии. Как правило,
ученики хорошо справлялись с этим заданием, результаты колеблются в
пределах от 86% до 95%. Но по 10% учащихся в каждой стране или на каждой
территории дали неудовлетворительные объяснения. Пропусков было мало, однако в
Англии 6% учащихся пропустили какие-либо предметы.
4.
Роль и значение невербальных материалов в тестировании
Кроме уже приведенной классификации тестовых задач по
типам и видам, можно выделить еще и различные формы задач.
Рассмотренные до сих пор задания носили в основном
вербальный характер. Однако существует множество способов представления заданий
в невербальной форме или же в вербально-невербальной, примерами в таких формах
могут быть
представлены
не только сами задания, но и варианты ответов. Вариативность форм представления
заданий является в первую очередь мощным средством сделать задания
разнообразными, значительно менее утомительными и даже интересными для
испытуемых.
Вторая цель разнообразного представления заданий
заключается в возможности тестирования некоторых специальных умений, например,
умения работать с картой, понимать и читать схемы и графики и т.д.
Вопрос или задание могут быть сформулированы в виде
фразы, текста, рисунка, схемы, цифры, символа, графика и т.п.
Как и в предыдущих разделах, приведем
несколько примеров, на которых поясним
применение разных вариантов представления заданий и вариантов ответов.
Пример, когда задание сформулировано в виде отрывка
текста, в данном случае стихотворного.
Пример 19.
В какой пьесе поют
этот романс? Не искушай меня без нужды
Возвратом нежности
твоей. Разочарованному чужды
Все обольщенья
прежних дней… а) «Гроза»
б) «Вишневый
сад» в) «Бесприданница» г) «Волки и овцы» Пример 20.
Задание
представлено в виде схемы.
Инструкция: Соотнеси
написанное в столбце, с цифрами на рисунке. (Запиши в таблицу ответов цифры
рисунка, которые соответствуют названиям из столбца 1.)
Вопрос: Соотнеси отделы головного мозга рыбы с указателями рисунка:
Варианты ответа:
Правильный ответ:
A.
1
B.
2
C.
3
Столбец 1
А.
продолговатый мозг В. промежуточный мозг С. передний мозг
D.
средний
мозг Е. мозжечок
D.
4
E.
5
Пример 21.
Задание представлено в виде графика.
Инструкция: Впиши ответ в отведенное место.
 |
Вопрос: Укажи числа, пересечения
графика с осью X:
Место для ответа:
Правильный ответ: —3, 1,4.
Пример
22.
Задание представлено в виде рисунка.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
 |
Вопрос. Самолет, выполняя фигуры
высшего пилотажа, описывает «мертвую петлю». Каково направление вектора
скорости в точке А траектории?
а)1
б)2
в)3
г)4
д)5
Правильный
ответ: б.
Пример 23.
Задание представлено в виде таблицы.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Задание. Ученик проводил опыты с магнитом и
разными предметами. В результате он составил такую таблицу:
|
Предмет |
притягивает |
не притягивает |
|
железный гвоздь |
х |
|
|
деревянная зубочистка |
х |
|
|
стеклянный шарик |
х |
|
|
стальная ложка |
х |
|
|
серебряная монета |
х |
|
|
медная проволока |
х |
Выбери наиболее правильное объяснение, которое ученик мог сделать на
основе данных, полученных в таблице:
а) магнит
одни металлы притягивает, а другие не притягивает
б) магнит притягивает все металлические предметы
и не притягивает
неметаллические
в) магнит
притягивает некоторые стеклянные предметы
г) магнит притягивает дерево.
Правильный ответ: а.
Кроме заданий, в различном виде могут быть представлены и
варианты ответов. Большой трудности их использование не представляет, поскольку
правила их отбора и составления совпадают с общими правилами составления заданий.
Пример 24.
Задание
представлено в виде карикатуры (рисунка).
Инструкция: Обведи кружком букву, соответствующую правильному ответу, раскрывающему
основную идею карикатуры
В чём основная
идея этой карикатуры?
A.
В демократической стране
различие мнений должно быть уничтожено.
B.
В демократической стране различие мнений иногда затрудняет
правление.
C.
В демократической стране
голосование по всем важнейшим вопросам должно проводиться тайно.
D.
В демократической стране
люди из групп меньшинства чувствуют себя притесненными большинством.
E.
В демократической стране
въезд большого числа иммигрантов может вызвать экономический упадок.
Правильный
ответ: В.
Пример 25.
Варианты ответов представлены в виде схемы.
Инструкция: Обведи кружком цифру, соответствующую правильному
ответу.
Вопрос: Как нужно соединить три одинаковых сопротивления, чтобы общее
сопротивление было наименьшим?
 |
Правильный
ответ: 1.
Представленные примеры, за исключением первых двух,
состоят из заданий, в которые включены различные невербальные материалы. В
приведенных примерах эти материалы несут основную смысловую нагрузку задания.
Для целого ряда предметов невербальные материалы используются очень
часто. Это связано с тем, что часть содержания образования представлена именно
в
таком
виде: для истории и географии это карты, для биологии — таблицы и схемы, для
физики — графики и таблицы. Использование этих материалов в соответствующих
тестах должно быть обязательным. В том случае, если эти материалы не
используются, есть значительная опасность деформации содержания образования.
Представим себе, что в качестве итоговой аттестации учащихся по географии не
используются карты. Это приведет к тому, что педагоги начнут сокращать объем
материала по изучению карт и время, выделяемое на выработку у учеников умения
работать с картой. Необходимо отметить, что наличие такой обратной связи в ряде
стран является ограничением на использование тестов в практике образовательной
деятельности: составители тестов могут оказывать существенное влияние на
содержание образования.
Анализ тестов, которые создаются и используются в
педагогической практике, говорит о том, что использование невербальных
материалов очень ограниченно. Причина такого положения ясна: использование в
тестах невербальных материалов значительно удорожает процедуру создания тестов,
так как необходимо привлечение к работе ряда дополнительных специалистов
(художника, компьютерного графика и т.д.).
Создателям тестов необходимо усвоить, что в том случае,
если мы не будем использовать такие материалы, мы провоцируем, в конечном
итоге, негативное отношение к качеству тестов и к тестированию как способу
аттестации учащихся.
Однако в тестах достижений часто используют рисунки,
таблицы и т.д., которые не нагружены содержанием задания. Значение их, тем не
менее, довольно велико.
Во-первых, применение этих материалов делает тестирование
менее утомительным, более разнообразным, снижает количество случайных ошибок,
таким образом, появляется возможность сделать работу над тестом более
продолжительной и, как следствие, включить в тест большее количество заданий.
Во-вторых, рисунки служат дополнительным мотивом при
выполнении тестирования, вызывая интерес к заданию.
Два примера из международного тестирования, когда наличие
рисунка не объясняется содержанием задачи.
Пример 26.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: Имеется три коробки с
пуговицами, в первой —25, во второй — 200, а в третьей — 700 пуговиц. В каждой
коробке с пуговицами имеется по одной синей пуговице. Надо, не заглядывая в
коробку, вынуть одну пуговицу. Из какой коробки надо вынимать пуговицу, чтобы
возможность вынуть синюю пуговицу была наибольшей?
 |
а) из коробки
с 25 пуговицами б) из коробки с 200 пуговицами
в) из коробки
с 700 пуговицами г) из любой из этих коробок
Правильный ответ: а.
пример задания,
когда невербальная поддержка не вызвана содержанием задания:
Пример 27.
Инструкция: Соотнеси
написанное в столбцах 1 и 2. (Запиши в таблицу ответов цифры из столбца 2,
которые соответствуют утверждениям из первого списка).
Вопрос: Признаками групп моллюсков является то, что:
 |
Варианты ответа:
|
Ответ |
|
|
А |
|
|
В |
|
|
С |
|
|
Правильн |
|
|
Ответ |
|
|
А |
6 |
|
В |
4 |
|
С |
5 |
Столбец 1 Столбец 2
А. брюхоногие 1. они раздельнополые
В. двустворчатые 2. их личинки паразитируют
на теле рыб С. головоногие 3. у
них дыхание легочное
4.
их раковина замыкается мускулами
5.
у них есть язык-терка
6.
их глаза располагаются на
концах или у основания щупалец
7.
они обладают реактивным
способом движения
8.
они в основном хищники
ый ответ:
Раздел
2. Составление тестовых заданий. Система оценивания.
2.1.Правила составления тестовых заданий
Ранее отмечалось, что тестовые задания должны быть составлены
с учетом определенных правил. Рассмотрим эти правила и прокомментируем их на
примере возможных типичных ошибок.
Для понимания замечаний важно различать два аспекта,
которые в дальнейшем тексте, с целью экономии места и времени, разделены не
всегда четко. Первое, что будет в примерах, — это ошибки. Ошибки — это то,
из-за чего задание невозможно использовать.
Например, отсутствие в предложенных альтернативах
правильного ответа, подсказки в содержании заданий и т.д.
Второе — это улучшения тестовых заданий, те приемы,
которые позволяют делать задания более простыми, понятными, удобными. Например,
повторяющиеся части в вариантах ответа лучше разместить в вопросе; если это не
сделать, то заданием всё равно можно пользоваться, однако с большими затратами
и меньшим удобством.
1. Начинайте формулировать вопрос с правильного
ответа. Начиная с подбора
верного ответа, Вы сведете к минимуму возможность столкнуться с одной или двумя
часто встречающимися проблемами.
А)
Наличие более одного правильного ответа.
Пример 1.
Инструкция: Вместо многоточий впишите пропущенные слова:
Вопрос: Имя … —
самостоятельная часть речи, которая обозначает… и отвечает на вопросы … ?
… ?
Ответ: существительное, предмет, кто, что.
В данном вопросе в качестве ответа подходят определения
большинства частей речи. Для исправления ошибки достаточно одно из четырех
слов, представленных в ответе, перенести в сам
вопрос.
Пример 2.
Инструкция: Вместо многоточий впишите пропущенные слова:
Вопрос: Сырьем для производства тканей служат …
Ответ: волокна.
В этом вопросе неудачен сам вариант верного ответа.
Несомненно, что он соответствует изучаемому материалу и большинство учащихся,
ориентируясь на контекст изучаемого материала, дадут предполагаемый автором
задания ответ. Однако при этом существует целый ряд других альтернатив, которые
могут оказаться верными. В любом случае, особенно для заданий открытого типа,
необходимо определять варианты ответов после предварительной апробации. Для
этих целей вполне подходит очень небольшая выборка в 40—60 человек.
Б)
Наличие только неправильных ответов.
Пример, когда правильный ответ просто пропущен автором
задания, приводить не имеет смысла, хотя думать о том, что в практике
тестирования такие задания редкость представляется слишком опрометчивым. Рассмотрим
иной пример.
Пример
3.
Инструкция: Расположи в правильной последовательности. (В столбце
ответов проставь соответствующие буквы).
Вопрос: Удаленность от Солнца.
Варианты ответа:
А. Сатурн
В.
Меркурий С. Земля
D.
Уран Е. Венера
F. Марс
Правильный ответ: В, Е, С, F, A, D.
В данном случае правильный ответ вроде бы присутствует.
Однако неопределенность вопроса дает неоднозначный ответ. Она заключается в
том, что неясно, в какой последовательности от Солнца он должен быть
представлен. Можно предложить две альтернативы исправления этого задания.
Первое — это внести уточнение в сам вопрос, а второе — можно предложить не
менее правильный ответ в обратном порядке от букв в правильном ответе,
записанных сейчас.
2. Содержание задания должно отвечать программным требованиям и отражать
содержание обучения.
Встречаются случаи, когда в тестирование пытаются
включить задания или варианты ответа, не имеющие правильного решения, не
потому, что его забыли включить, а потому что его просто не существует. Как
правило, это вопросы, которые выясняют оценки, мотивацию, мнения и т.д.
Пример 4.
Для выяснения готовности детей к изучению латинского языка было
предложено такое задание:
Инструкция: Вместо многоточий впишите пропущенные слова:
Вопрос: Мы будем изучать латинский язык
потому, что…
A.
на нем говорят во
многих странах мира
B.
хотим лучше понимать
родной язык, так как в нем много слов, заимствованных из латыни
C.
хотим лучше понимать
историю и культуру древнего мира
Первый вариант ответа вполне соответствует целям
тестирования, а два других делают попытку выяснить мотивацию учащихся. Вполне
естественно, что данное задание не содержит правильных ответов.
Еще один пример «тестирования», предлагаем проанализировать
самостоятельно.
Пример 5.
Инструкция: Допиши предложение. Вопрос: Мне нравится профессия… Правильный
ответ: учитель.
3. Вопрос должен содержать одну законченную мысль.
Тестовое задание должно проверять один элемент знания. В
том случае, если это не так, для нас становится неясным, с каким элементом
знаний ученик не справляется, в чём заключена причина невыполнения задания.
Наверное, бывают случаи, когда для автора неважны вопросы
разнесения причин невыполнения заданий, и он готов оценивать два или несколько
элементов знания одной оценкой, однако это скорее исключение из правил.
Возможные недостатки рассмотрим на примерах.
Пример 6.
Инструкция: Вместо многоточий впишите пропущенные слова:
Вопрос: Конфуций …
|
да |
нет |
|
да |
нет |
|
да |
нет |
|
да |
нет |
|
да |
нет |
Варианты ответа:
—
жил в Африке
—
жил в Китае
—
был врачом
—
был правителем
—
был философом
В данном случае вопрос выясняет, кем был и где жил
Конфуций. Если автор считает возможным эти два элемента объединить в один вопрос
и дать им одну оценку, то такое задание возможно. Однако все-таки лучше
переделать это задание в два, одно из которых выясняло бы, где жил, а другое —
кем был Конфуций.
Пример
7.
Инструкция: Обведи кружком букву
соответствующую правильному ответу.
Вопрос: В каком году основаны города Санкт-Петербург и Рязань?
Варианты
ответа:
A. 1095 и 1703
B. 1078 и 1713
C. 1705 и 1805
D. 1090 и 1701
Правильный ответ: А.
В этом задании, также как в предыдущем, объединены два
вопроса. Однако, в отличие от первого, оно содержит подсказку. На это задание
правильно ответят ученикы, знающие время образования Петербурга, студены,
знающие год основания Рязани, а также те ученикы, которые знают и то, и другое.
Если этот факт не смущает автора и будет учтен им при анализе результатов, то
такое задание вполне корректно. И еще один недостаток этого задания — в том
случае, если дистракторы (готовые варианты ответа на закрытое тестовое задание,
похожие на правильный ответ, но таковым не являющийся) предусматривают цифровую
информацию, ответы лучше упорядочить, при этом не очень существенно.
4.При составлении вопросов
следует особенно внимательно использовать слова «иногда», «часто», «всегда»,
«все», «никогда». Они, с
одной стороны, сами по себе содержат неопределенность и могут пониматься
субъективно, что может приводить к ошибочным ответам, а с другой, — дают
возможность учащимся догадаться о правильном ответе. Использование таких
выражений в вариантах ответа делают его очень легким, его следует избегать.
5.Вопрос должен
быть сформулирован четко, в нем не должно быть слов
«большой», «небольшой», «малый», «много», «мало»,
«меньше», «больше» и т.д.
6.Необходимо избегать вводных фраз или предложений,
имеющих мало связи с основной мыслью; не следует прибегать к пространным утверждениям,
так как они приводят к правильному ответу,
даже если учащийся его не знает.
Предоставляйте только очень важную информацию, стараясь
избегать материала, требующего дальнейших уточнений, а также детализированных
или излишних описаний ситуаций или случаев.
Пример 8.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: В.А. Сологуб
вспоминал: «Часто приходит мне на ум Нева, дремлющая в огненных отливах
солнечного заката. Еще чаще вижу ее сизо-серую как сталь… И с ужасом
вспоминаю я, как однажды река перестала быть рекою и обратилась в море
бушующее, разъяренное, смывающее Петербург с лица земли». Когда это произошло,
в каком году?
Варианты
ответа:
A. 1715
г.
B. 7 ноября 1824 г.
C. 1703 г.
В данном примере существует несколько недостатков.
Задание содержит лишние детали, представлено в слишком длинном виде, при этом
из него совершенно очевидно, что речь идет о наводнении. Второе — неудачна
формулировка вопроса к заданию, которая содержит в себе по сути два вопроса.
Задание содержит в себе две подсказки: первая заключается в наличии среди
вариантов ответа 1703 года — года основания Санкт-Петербурга. Вторая подсказка,
и это более существенно, заключена в подобранных вариантах ответа, когда один
из них приводится с датой, а остальные — нет. Недостатками данного варианта
ответов является и значительный разброс в датах. Попытки переформулировать
такое задание не могут иметь успеха, поскольку непонятен замысел автора. Можно
рассматривать задание как выясняющее знание времени самого страшного
наводнения, однако само по себе такое знание не представляется существенным.
Это задание может проиллюстрировать и следующее правило.
7. Неправильные ответы должны быть разумны, подобраны умело, не должно
быть явных неточностей, подсказок.
Следующие два примера отражают не случайные ошибки, а,
скорее, заблуждения. Недостаток таких заданий заключается в том, что в ответе
на них во многих случаях может быть получена подсказка.
Пример 9.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: Служебными частями речи являются …
Варианты
ответа:
A.
предлоги, союзы, частицы
B.
частицы, союзы,
местоимения
C.
местоимения, частицы, предлоги
Все три варианта ответа содержат слово «союзы», смысл его
включения в варианты совершенно не понятен. Преимущества заданий альтернативных
ответов, созданных на том же материале, значительно предпочтительнее — оно
более понятно, легче для выполнения.
Пример 10.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: Укажи тройку стран — лидеров по добыче железной руды.
Варианты ответа:
A.
Австралия, Гвинея, Суринам
Б. США, Франция, Германия
B.
Китай,
Австралия, Бразилия Г. Бразилия, Украина Индия Правильный
ответ: В.
8.
Не следует задавать вопросы с подвохом (скорее
всего, в заблуждение будут введены наиболее способные или осведомленные
учащиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также
это противоречит цели — определение уровня знаний и понимания).
Пример 11.
Инструкция: Обведи кружком букву,
соответствующую правильному свету.
Вопрос: Имя числительное — самостоятельная часть речи, которая
обозначает…
|
да |
нет |
|
да |
нет |
|
да |
нет |
|
да |
нет |
Варианты ответа:
—
число
—
количество предметов
—
порядок предметов при счете
—
отвечает на вопросы
сколько? который?
Правильный ответ: да — да — да — да.
Задание
предусматривает только положительные ответы, что в данном случае является
подвохом.
Кроме этого,
четвертый вариант ответа не согласован с самим заданием, что может
проиллюстрировать следующее правило.
9. Все варианты ответов должны быть грамматически
согласованы с основной частью задания, в любом случае следует использовать
короткие, простые предложения, без зависимых или независимых оборотов.
10.Как можно реже
использовать отрицание в основной части. С одной стороны, использование
отрицания приводит к противоречиям при чтении задания, с другой, —
«отрицательные» знания не так видны как
«положительные».
Избегайте двойных отрицаний, таких как: «Почему нельзя
не делать.. ?»,
«Почему будет неправильно не отвечать на этот
вопрос?» и т.д. Подчеркните отрицание в самом вопросе, чтобы иметь полную
уверенность в том, что оно будет заметно.
Отрицания имеют тенденцию усложнять сообщение, особенно
двойные отрицания, которые аннулируют друг друга. Но простые отрицания также
могут усложнить вопрос. Прежде всего, экзаменуемые могут просто не заметить их.
Для решения этой проблемы необходимо выделять их, используя курсив, жирный
шрифт или подчеркивание. Отрицание часто вводится тогда, когда утвердительный
вопрос вызывает слишком много правильных ответов.
Пример 12.
Инструкция: обведи кружком вариант ответа «да» или «нет», который ты считаешь
правильным.
Вопрос: Жили ли или нет эти люди в реальности в Древней Греции
Варианты ответа:
|
да |
нет |
— Ахилл |
|
да |
нет |
— Зевс |
|
да |
нет |
— Першел |
|
да |
нет |
— Фидий |
|
да |
нет |
— Аристотель |
|
да |
нет |
— Сократ |
В
этом примере просто непонятно, к чему относится «да» или «нет» Гораздо лучший
вариант вопроса: перечисленные люди реально жил в Древней Греции…
11. Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.
Зависимость от предыдущего
вопроса может быть рассмотрена в двух аспектах: второй случай — когда
предыдущее задание содержит подсказку для следующего. Ниже представлены два
таких задания.
Пример 13.
Инструкция: Расположи в правильной последовательности. (В столбце
ответов проставь соответствующие буквы).
Вопрос: Расставьте в хронологическом порядке следующие события
Варианты ответа:
А. Правление
аристократии
В.
Восстание демоса против знати С. Выборы Солона архонтом
D. Законы Драконта
Е. Реформы Солона
Пример 14.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: Солон был избран
Варианты
ответа:
A.
стратегом
B.
архонтом
C.
судьей
Исправить такие задания совсем не сложно — это
возможность перефразировки варианта ответа, который содержит подсказку,
удаление варианта этого ответа или удаление второго задания. При этом следует
обратить внимание и на то, что подсказка всё равно останется, даже если два эти
задания не будут следовать друг за другом.
Приведем еще два примера заданий, которые находятся в
зависимости друг от друга, когда, не зная ответа на первый вопрос, невозможно
дать ответ на следующий.
Пример 15.
Инструкция: Впиши пропущенное слово (впиши
ответ в отведенное место).
Одному пропуску соответствует только одно
слово.
Вопрос: Самый крупный по количеству видов тип животных называется …
Правильный ответ: членистоногими.
Пример 16.
Инструкция: Обведи кружком букву, соответствующую правильному
ответу. Вопрос: Наружный покров типа животных предыдущего вопроса
образован… Варианты ответа:
A.
рогоподобным веществом
B.
минеральными солями
C.
известью и красящими веществами
D.
органическим веществом
— хитином
Основным недостатком таких заданий является невозможность
сделать корректный вывод для второго задания: знает ответ на него учащийся или
нет? Он не справился с ним, потому что не смог ответить на первый вопрос или
потому что не знаком с веществом, образующим наружный покров членистоногих?
Кроме этого, второй вопрос по отношению к первому
является явной подсказкой.
В данном случае исправить задание достаточно просто,
заменив местоимение на название. Однако во многих случаях, аналогичных
приведенному примеру, требуется серьезная переработка заданий.
12.
Правильные и неправильные ответы должны быть
однозначны по содержанию, структуре и общему количеству слов. Применяйте
правдоподобные ошибочные варианты, взятые из
опыта.
Очевидно, что правильный ответ должен быть совершенным. С
другой стороны, он не должен сильно отличаться от других отвлекающим вариантов
по длине или стилю. Часто допускается ошибка при написании вопросов — это то,
что правильный ответ обычно очень тщательно сформулирован и длиннее, чем другие
варианты, так, чтобы было легко вычленить его даже тому, кто не владеет предметом.
В следующем примере вы сможете указать правильный ответ
без понимания предмета.
Пример 17.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: «Рекомендуемая розничная цена» — это…
Варианты
ответа:
A.самая высокая цена, на
которую должен ориентироваться продавец в розничной продаже
B.цена, указанная в рекламе
C.цена, установленная законом
13.
Если ставится вопрос количественного характера, то
ответы к нему должны располагаться упорядочено — от меньшего к большему или
наоборот. В том случае, если дистракторы (ложные утверждения в ответах теста)
представлены в виде слов, текста, располагайте их в алфавитном порядке.
Экзаменуемые часто думают, что существует определенная
система в расположении правильного ответа по вопросам, так, чтобы
количество правильных ответов «А» приравнивалось к «В», и тогда «А» не будет
правильным ответом в двух последующих подпунктах. Но это будет способствовать
догадке. Поэтому располагайте варианты ответа в соответствии с системой, которая
не зависит от расположения правильных ответов, т.е. в алфавитном или цифровом порядке.
14.
Лучше не использовать варианты ответов «ни один из
перечисленных» и «все перечисленные».
Применение первого целесообразно, когда существует
недвусмысленный правильный ответ. Второй приводит к допустимости подбора
вариантов ответов с низкой дискриминативностью, поскольку разработчик знает,
что все ответы правильные. B.C. Аванесов обосновывает ограничения на такого
типа варианты ответов через закон исключения третьего: «Закон исключенного
третьего, впервые сформулированный Аристотелем: выбор правильного ответа дает
истинное суждение, а выбор неправильного — ложное суждение. Третьего не дано.
Из этого закона следует методическое правило: в каждом задании с выбором одного
правильного ответа последний должен быть, что придает однозначность замыслу
самого задания и не допускает противоречивых толкований у испытуемых.
Следование закону исключенного третьего налагает логический запрет на
применение таких ответов, как «правильного ответа нет», «все ответы правильные»
или «все ответы неправильные», которые в практике всё еще встречаются. В
настоящей работе этот запрет соблюдается».
15.
Различия между вариантами ответов должны быть
точными. Чем больше варианты ответа походят друг на друга, тем труднее
распознать правильный ответ и тем лучше тестируется умение понимать, например,
прочитанный текст. Но когда различия не очень четки, то может случиться так,
что тестируемый, зная правильный ответ, выберет дистрактор, как это показано в
следующем примере.
Пример 18.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: В ФРГ
проживают…
Варианты
ответа:
A.
почти 80 миллионов человек
B.
ровно 81 миллион человек
C.
около 80 миллионов человек
В данном случае фактически два правильных ответа: первый
и третий варианты представляют собой одно и то же, второй вариант практически
невозможен.
16.
Избегайте повторения.
В некоторых случаях, как в следующем примере, все
варианты ответа начинаются с тех же самых слов. Это может озадачить
тестируемого и его внимание будет отвлечено от определения различия между
вариантами. Кроме этого, лишние повторения — это еще и дополнительные затраты
для разработчиков и пользователей тестов.
Пример 19.
Инструкция: Обведи кружком букву, соответствующую
правильному ответу.
Вопрос: Какое
суждение верно?
Варианты
ответа:
А. Неполные предложения — это предложения, в которых пропущен один из
главных членов.
B.
Неполные предложения — это предложения, в которых пропущен
один из второстепенных членов.
C.
Неполные предложения — это
предложения, в которых пропущен какой-либо член предложения — главный или второстепенный.
Чтобы этого избежать, общее начало всех четырех альтернатив обычно
переносят к вопросу, как в примере, данном ниже.
Пример 20.
Инструкция: Обведи кружком букву,
соответствующую правильному ответу.
Вопрос: Неполное предложение — это предложение, в котором пропущен…
Варианты
ответа:
A.
один из главных членов
B.
один из второстепенных членов
C.
какой-либо член предложения
— главный или второстепенный.
17. Используйте ограничения в самом вопросе.
Ранее уже
отмечалось, что для ряда вопросов необходимо использовать ограничения, для того
чтобы снять неопределенность, которая в них содержится.
Пример
21.
Инструкция: Вместо многоточия впишите нужную цифру.
Вопрос: Значение числа л составляет…
Ответ: 3,14…
В данном случае не определено то, с какой точностью
должен быть указан ответ. Вопрос можно переформулировать: «Значение числа
составляет (ответ укажите с точностью до двух знаков после запятой)…»
18. Не упрощайте вопросы.
Еще один возможный источник ошибок связан с желанием
автора упростить понятия, перевести их на более понятный «детский» язык.
Связано это с желанием разнообразить задания, сделать их менее утомительными.
Пример.
Пример 22.
Инструкция: Вместо многоточий впишите пропущенное слово.
Вопрос: Если твой сосед по парте пытается занять своими вещами не только свою
половину парты, но и залезть на твою, то это называется…
Правильный ответ: экспансия.
Сами по себе такие задания достаточно привлекательны,
однако их создание требует довольно значительных дополнительных затрат. Такие
задания могут применяться только после жесткой проверки на валидность. Она
должна заключаться в составлении заданий, сформулированных нормальным и
сформулированных таким «детским» языком, и только в том случае, если результаты
апробации этих заданий будут коррелировать друг с другом, такие задания могут
быть использованы.
19.Место правильного ответа должно быть определено таким
образом, чтобы оно не повторялось от вопроса к вопросу, не было
закономерностей, а давалось в случайном порядке.
20.Лучше использовать длинный
вопрос и короткий ответ. В противоположной
ситуации на чтение ответов уходит больше времени и больше сил тратится на
анализ высказываний.
21.Проанализируйте
задания с точки зрения возможности неверного ответа наиболее подготовленных
учащихся.
Составляя задания для тестов достижений, необходимо
помнить об одной особенности их содержания, которая непосредственно связана с
правильными ответами. То есть на определенном этапе сведения, которые содержат
учебники и которые преподаются, не являются истинными, или, что бывает чаще,
являются не
совсем
истинными. То есть с целью облегчения восприятия, придания логики изложению и
решения иных дидактических задач научные данные огрубляются. Например, начиная
изучение химии, мы сообщаем учащимся, что какие-то вещества друг с другом не
реагируют, и только потом, выясняется, что при определенных условиях эти вещества
все-таки реагируют друг с другом. На уроках русского языка учащиеся учат, что
«не» с глаголами пишутся раздельно, и только в последствии сообщается о
случаях, когда «не» с глаголами может писаться слитно. Таким образом, мы всегда
можем попасть в ситуацию, когда правильный ответ с точки зрения учебного
материала может оказаться неправильным с научных позиций.
22. Национальные системы ряда стран выдвигают к
тестовым заданиям специфические требования, на которые у нас пока обращается недостаточно внимания.
В качестве примера приведем требование инструкции по составлению тестов,
предоставленной NEAB (Northen Examinations and Assesment Board):
«Необходимо избегать вопросов, которые в каком-либо виде дают
превосходство тестируемому определенного пола. Половой ориентации вопроса
необходимо избегать в любом случае. Нельзя считать, что формулировка вопроса в
мужском роде подразумевает легкость ответа в женском роде. Использование
формулы «он/она» также нежелательно при формулировании вопросов.
Лучше пользоваться неродовыми формулировками, типа «учащиеся»,
«школьники», а не «школьница», «учащийся». Лучше
обращаться к группе, а не к отдельному учащемуся. Необходимо избегать и половых
стереотипов, типа: «Доктор — очень уважаемая профессия, он…».
Следует предлагать нейтральную формулировку: «Врачи — люди уважаемой
профессии, они…» …Необходимо избегать в вопросе любой возможности его
культурного толкования. Вопрос должен легко восприниматься человеком любого
культурного слоя»1.
Правила, специфичные для заданий дополнения
23.
Использовать не
более трех пропусков подряд, лучше один-два.
Правило достаточно естественное, поскольку слишком
большое количество пропусков увеличивает вероятность неоднозначности ответа.
Можно посмотреть первый пример в этом разделе.
24. Дополнять нужно наиболее важное, то, знание
чего нужно проверить.
25.
Дополнения лучше
ставить в конце предложения
Рекомендации по организации тестового контроля
Степень усвоения учениками программного материала
устанавливается по результатам контрольных срезов знаний. Как правило, эти
срезы проводятся в форме тестирования. Необходимое количество тестовых заданий
вычисляется по формуле (аудиторное количество часов : 2 * 5).
Для оптимальной проверки уровня знаний учащихся
оптимально применять набор тестовых заданий (тестовую лестницу) со следующим
соотношением: тесты первого уровня – 30%, тесты второго уровня – 60%, тесты
третьего – 10%.
При оформлении
тестов необходимо соблюдать следующие правила.
·
Удобное шрифтовое
оформление задания. Задание должно восприниматься с одного взгляда.
 |
·
Содержательная часть задания должна быть чёткой, перегружение
второстепенными деталями недопустимо.
·
Формулировки заданий
должны иметь однозначное толкование.
·
Предпочтительней задания формулировать
в утвердительной форме.
·
Если задание представлено
одним видом тестов, то инструкция пишется один раз для всего теста. При
условии, что задание включает несколько видов тестов, инструкция пишется к
каждому заданию (к группе однотипных заданий).
Рекомендуемый объём теста по отдельной дисциплине 40
заданий при расчёте времени 1 – 1,5 минуты на одно задание теста.
Правила оценки всего теста. Общая
сумма баллов за все правильные ответы составляет наивысший балл, например 90
баллов. В спецификации указывается общий наивысший балл по тесту. Также
устанавливается диапазон баллов, которые необходимо набрать для того, чтобы
получить отличную, хорошую, удовлетворительную или неудовлетворительную оценки.
В процентном соотношении оценки (по
пятибалльной системе) рекомендуется выставлять в следующих диапазонах:
“2”- менее 50%
“3”- 50%-65%
“4”- 65%-85%
“5”- 85%-100%
Требования к оформлению тестовых материалов
Тестовые материалы передаются в ОМО в электронном и
печатном виде. Бумажная копия должна быть обязательно подписана всеми авторами
тестового материала. В комплект тестовых материалов входят:
1.
Титульный лист (приложение 1)
2.
Информационная карта
(приложение 2);
3.
Основной текст
— Инструкция для тестируемых является обязательной составной частью теста. Она
должна быть короткой, понятной и общей для всех испытуемых. Инструкция даёт
разъяснения, как необходимо отвечать на задания теста. В инструкции сообщается
время, в течение которого слушателям необходимо выполнить тест, тип шкалы
оценивания (приложение 3);
—
Основной текст — при его составлении необходимо учитывать
следующие требования к тестовым заданиям:
— соответствие определённой форме;
— наличие композиции.
Композиция включает в себя содержание
задания и содержание и число ответов или место для ответов
4. Инструкция для проверяющих — является
обязательной составной частью контролирующего теста. Инструкция предназначена
преподавателям, которые должны проверить тест. Инструкция не выдаётся
тестируемым. Инструкция для проверяющих содержит:
Анализ результатов
тестирования
Для анализа и оценки уровня подготовки учащихся по дисциплине и
качества преподавания результаты тестирования представляются в форме
Дата проведения
Группа- Дисциплина –
Аналитическая
часть:
|
Группа |
Кол- во студе нтов |
Кол-во учащихся, выполнявши |
отлично |
хорошо |
удовлетв. |
неудовле т. |
||||
|
Абс. |
% |
Абс . |
% |
Абс . |
% |
Абс. |
% |
|||
Пример
Дата
проведения-16.10.2012 Группа- 3 бух
Дисциплина -«Финансы денежное обращение
и кредит» Аналитическая часть:
|
Группа |
Кол- во студе нтов |
Кол-во учащихся, |
отлично |
хорошо |
удовлетв. |
неудовле т. |
||||
|
Абс. |
% |
Абс . |
% |
Абс . |
% |
Абс. |
% |
|||
|
3 бух |
20 |
20 |
3 |
15 |
8 |
40 |
9 |
45 |
0 |
0 |
Тесты имеют печальную репутацию скучного и формального инструмента контроля. А ещё их надо долго проверять… Стоп, давайте разбираться, так ли это. Спасибо технологиям: сейчас цифровые конструкторы облегчили составление тестов с различными форматами вопросов и их автоматическую проверку.
В статье мы подробно рассказываем зачем тестировать, какие форматы тестирования бывают, где создавать тесты и подготовили чек-лист по созданию онлайн-тестов.
Зачем вообще тестировать? 3 функции теста
Топ-3 популярных ответов:
- «Надо аттестовать учеников»
- «Чтобы держать их в тонусе, а то расслабятся»
- «А как мне ещё проверить, что у них в головах осталось?»
Почему эти ответы никак не помогают образовательным тестам быть эффективными: в них нет и намека на нужды школьников студентов и других учащихся. Зачем им проходить тест? Что нового они узнают после его прохождения?
Они узнают только свою принадлежность к “группе”: отличников, хорошистов, аутсайдеров.
В сознании учащихся формируется отношение к тесту как к врагу. За него можно получить плохую или хорошую оценку и все причитающиеся “почести”. По сути, для учеников и для студентов тест — это испытание, где надо избежать худшего сценария, то есть двойки или неуда. Сдал, получил удовлетворительный результат, — забыл. Вам тоже кажется, что здесь ничего о знании и развитии?
«Никакие тесты, секундомеры и финишные ленточки не могут измерить потенциал человека».Роберт Кригель, бизнес-консультант и тренер-психолог спортсменов мирового класса
Отношение к тестам нужно менять. А для этого надо поменять назначение теста и его подачу.
Вот вам три варианта, какие тесты могут это сделать:
Тест обучающий
🔔 Посыл: «Давайте узнаем кое-что новое, отвечая на вопросы».
Такой тест работает по эвристическому методу: ученик или студент пытается ответить на вопросы, используя накопленные знания. Вопросы не проверяют, что он выучил, но они дают возможность использовать выученное, чтобы получить новые знания. Такой тест говорит: «Пораскинь мозгами, ты знаешь что-то, используй это, чтобы узнать ещё кое-что». Хорошо построенный обучающий тест увлекает и интригует.
⛔ Оценки не нужны, максимум — процент прохождения. Вопросы должны не проверять какую-то уже освоенную информацию, а вести к новой. Тогда ученик не будет чувствовать себя плохо из-за того, что ответил неправильно: он только учится, а тест помогает ему в этом.
✅ Используйте этот тест, чтобы дополнить знания по какой-то теме. Сюда можно включать любопытные факты, которых нет в учебнике, но которые могут увлечь студентов или учеников. Желательно, чтобы ученики сразу видели правильные ответы, даже если они промахнулись. Важнее узнать новое, чем узнать, как много они не смогли разгадать.
Пример:
Тест контролирующий
🔔 Посыл: «Прежде, чем идти дальше, давайте посмотрим, какую информацию вы запомнили».
Школьные тесты часто посвистывают кнутом исключительно над головами учеников. Но контролирующий тест — это и о учениках, и об учителях. Он показывает, что усвоил каждый конкретный ученик и что смог донести учитель.
Если на занятии вы чувствовали, что в каких-то моментах класс “провисал”, проверьте: поняли ли они в результате, что вы говорили. Если весь класс завалился на вопросе про фотосинтез, наверное, проблема не только в них.
Контролирующий тест не выносит приговора и не сносит двойками головы. Он рассказывает, на что ученику и учителю надо обратить дополнительное внимание и что следует повторить.
⛔ Вопросы необязательно должны быть каверзными, они должны быть полезными. Решите: какую информацию реально важно запомнить, чтобы следующая тема логично легла на предыдущий материал? Также важно не брать прямые цитаты из учебного материала.
✅ Проверяйте понимание смысла, а не запоминание слов. Дайте ученикам 2-3 попытки пройти такой тест. При этом можно не настраивать демонстрацию правильных ответов: пусть ученики знают только, что они ошиблись в конкретном вопросе. Можно добавить комментарии к неправильным ответам, например: «Посмотри ещё раз вот это видео» или «Прочитай параграф №…, и там ты найдешь ответ».
Лайфхак! Вы можете приготовить 15-20 вопросов, но на каждую попытку выдавать 10 вопросов вперемешку. Так вы уменьшите риск “гадания на кофейной гуще”.
Пример:
Тест результирующий
🔔 Посыл: «Итак, мы прошли блок тем, а теперь ты можешь посмотреть, насколько экспертно разбираешься в них».
Например, тест ЕГЭ изначально планировался как результирующий тест, который может провести диагностику знаний учащихся и определить уровень их образованности.
Результирующий тест более всего похож на привычный нам формат тестирования. Он рассказывает, что и насколько глубоко изучил и понял студент или ученик за какой-то период.
⛔ Не оставляйте такой тест без подробного фидбека. После получения результатов ученик должен подумать не просто «я получил такую-то оценку», а понять, в каких областях он продвинулся, а где ещё надо работать.
✅ Если какой-то вопрос проверяет знание понятий и терминов, следующий после него должен касаться практики.
Хорошо, если вы можете написать каждому ученику отзыв на его тест. Но если нет, то можно настроить комментарии к неправильным ответам, которые в результате расскажут ученику, какие области в теме он прошел не очень хорошо.
Пример:
Как различаются форматы в онлайн-тестировании?
В любых конструкторах тестов вы можете встретиться с такими форматами вопросов:
- Закрытые ответы. Может быть только один верный или выбор нескольких правильных ответов (multiple choice). Это классические тестовые форматы. Удобны, когда вам надо помочь ученикам закрепить конкретные имена, события, результаты, цифры и пр.
- Открытые ответы.Ещё этот формат называют свободными ответами. Здесь обучающиеся дают ответ своими словами или цифрами. Используйте их, когда вы хотите, чтобы ученики активно оперировали какими-либо понятиями, именами или формулами. Будьте внимательны: если вы выбираете такой формат для онлайн-теста, вам надо будет прописать все возможные ответы. Поэтому лучше уже в вопросе конкретизировать, что вы хотите увидеть. Например: «Напишите ответ одним словом в именительном падеже».
- Последовательности. Например, вы можете расположить на года каких-то событий на шкале и попросить учеников расположить эти события в правильном порядке. Или почему бы не поставить имена героев из произведения: от антагониста к протагонисту?
- Соединение пар (сопоставление). Такой формат есть не во всех конструкторах, но если есть, советуем не игнорировать. Это хороший формат для тестов по языку, для вопросов на причинно-следственную связь или на знание создателя и изобретения.
- Развернутые ответы. Этот формат нужен, когда вы хотите услышать мнение учеников или когда вы создаете творческое задание. В любом конструкторе вам придется проверять такие вопросы вручную: автоматическая система пока что не способна анализировать свободную речь.
Где можно создать тесты?
Хорошо, вы воодушевились возможностями тестов и настроили учеников не бояться тестов-экзаменов. Теперь давайте разбираться, где вы можете реализовать свои идеи.
Классика: Google-формы
Сначала Google-формы могли только собирать мнения и были полезным инструментом для социологов, маркетологов и бизнесменов. Но потом компания поняла, что преподаватели — очень большой сегмент их аудитории. Теперь в Настройках форм можно переключать формат на “Тесты”.
➕ Плюсы:
- доступен каждому;
- все ответы сохраняются на Диск;
- нет ограничений по количеству вопросов;
- можно проверять вручную открытые и развернутые вопросы.
➖ Минусы:
- нельзя отслеживать прохождение теста;
- визуально небогатый конструктор;
- нет специфических форматов, вроде сопоставления;
- нет общей аналитики по успеваемости учащихся, только статистика по отдельному тесту.
Online Test Pad
Разработчики уже лет десять с хвостиком занимаются созданием и адаптацией конструкторов педагогических тестов. Один из лидеров на нашем рынке — Online Test Pad. На его базе пользователи каждый день создают образовательные тесты по школьным предметам и программам вузов:
➕ Плюсы:
- много форматов вопросов;
- можно использовать вопросы с видео и изображениями;
- каждый вопрос имеет вес в баллах, которые можно назначить за полностью и частично верный ответ;
- есть возможность посмотреть статистику прохождения тестов;
- можно сделать электронный сертификат.
➖ Минусы:
- требует времени на освоение;
- нельзя инкорпорировать в другой интерфейс — только ссылкой;
- интерфейс перегружен и немного старомоден;
- тратится достаточно долгое время на создание одного теста и редактирование его под свои нужды.
Что предлагают тесты на Классапере?
На нашей платформе есть встроенные тесты, которые решают проблему с поиском сторонних конструкторов. Найти их можно во вкладке “Задания”. А далее — использовать “Ленту”, чтобы сообщить о скором дедлайне по тесту. Необходимые материалы для повторения вы добавите в “Документы”, так что ученики смогут узнать о тесте, подготовиться к нему и успешно сдать, не выходя с Классапера.
➕ Плюсы:
- закрепляются за вашим классом или курсом;
- можно назначать всему классу или группе или отдельному учащемуся;
- данные о прохождении (кто и сколько процентов) сохраняются автоматически;
- много настроек для редактирования теста под свои запросы;
- к вопросу можно прикреплять документы с компьютера или с внутреннего хранилища класса;
- привязываются к домашним или классным занятиям.
➖ Минусы:
- недостаточно форматов вопросов: сейчас есть четыре формата (одиночный и множественный выбор, свободный ответ, развернутый ответ) — но мы регулярно добавляем новые форматы;
- нельзя вставлять в вопросы математические формулы, но можно вставить в формулу в виде картинки;
- в вопросы нельзя добавить видео.
Чек-лист «Готовлю тест онлайн»
Итак, вы знаете, какие форматы вопросов можно использовать и какие конструкторы помогут вам в создании онлайнового чуда.
О чём следует помнить, когда вы составляете онлайн-тест?
🔲 О форматах. Ограничьте их до 3-5. Не стоит перегружать учеников большим разнообразием форматов.
🔲 О длительности. Обучающий тест можно ограничить 10 минутами, контролирующий — 25 минутами, результирующий — 45-50 минутами. Тест для студентов может длиться дольше, но не факт, что концентрация останется на том же уровне. Не забывайте ставить таймер в тесте и предупреждать о времени ваших учеников!
🔲 О входной форме. Поверьте, 26 ноунеймов — это очень долгая история с поисками авторства. Создайте на первой странице вопрос о ФИО и номере класса или группы.
🔲 О понятных инструкциях. Перед началом теста оставьте на первой странице объяснения, как будет проходить тест. А ещё поясните, для чего он нужен (см. функции тестов).
🔲 Об обратной связи от учеников. Вам будет полезно узнать, как оценивают тест сами ученики или студенты. В конце теста спросите в свободном вопросе о том, насколько трудно было ученикам и какие вопросы вызвали больше всего затруднений.
🔲 О проверке. Если в вашем тесте есть вопросы, которые требуют ручной проверки, постарайтесь закончить с ней в 2-3 дня.
Важный вопрос: можно ли избежать списывания?
А почему ученики списывают? Если они мотивированы только внешней наградой — пятеркой, то сам тест для них станет только неприятным препятствием. И тут захочется списать и побыстрее преодолеть его. Но если ваши ученики и студенты знают, что тест помогает им следить за своим прогрессом и лучше погружаться в материал, — соблазн списать будет меньше.
О мотивации, контроле и списывании — в наших следующих статьях. Следите за блогом!