Анализ результатов пробного тестирования за 28.10.09 ГУ «СШ № 6»11 класс.

1 .В тестировании приняли участие 30 учащихся из 30, что составляет 100% учащихся выпускников.

2. Средний балл 77,8, что выше результата прошлого тестирования на 0,1балла, качество знаний -20% , что ниже результатов прошлого тестирования на 10%. успеваемость 100%.

А) Положительная динамика среднего балла и качества знаний по предметам:

Русский язык средний балл-19, что выше результата прошлого тестирования на 1балл, качество -90%, успеваемость -100%, учитель - Дмитриева Т.М;
Западающие темы:

Радел морфологии и орфография;

Синтаксис и пунктуация:

Стили речи;

Причины:

не пройден этап вводного повторения курса русского языка основной школы

• География средний балл-11,9%, что выше результата прошлого тестирования на 1,9%, качество -42,9, что выше результата прошлого тестирования на 42,9%, успеваемость -100%,учитель - Жежер Л.С;
  Западающие темы:

Природные зоны мира и РК;

«Строение земной коры»

Причины:

Многие учащиеся не до конца определились с выбором пятого предмета;

Не пройден этап вводного повторения материала.

Б) Отрицательная динамика среднего балла и качества знаний по предметам :

. Казахский язык средний балл-18, что ниже предыдущего на 0,2, качество 90% , что выше предыдущего на 3,3%, успеваемость-100%,учитель - Мамельбаева Г.С, Куйшинова Ж.Т

Западающие темы:

• понимание лингвистических терминов;
• фразеологические обороты;
• синтаксис;

- Причины:

Ограниченный словарный запас

. Математика средний балл-11,5, что ниже результата прошлого тестирования на 0,5, качество -50, что ниже результата прошлого тестирования на 3,3%, успеваемость -100%учитель - Матайс Т.В;
Западающие темы:

Текстовые задачи на составление уравнений и систем уравнений;

Прогрессии;

Иррациональные уравнения и неравенства;

Логарифмы, логарифмические выражения, уравнения и неравенства;

- Причины:

Не пройден материал;

Не пройден этап вводного повторения;

Отсутствии мотивационной установки на заучивание математических формул.

. История К. средний балл-14, качество -53,3%, что ниже результата прошлого тестирования на 10%, успеваемость -100%, учитель - Гусева Е.Е; Западающие темы:

Советский период в истории Казахстана:

Административно-территориальные реформы XIX века;

Племена и племенные союзы на территории древнего Казахстана.
Причины:

Недостаточный уровень самоподготовки учащихся;

Низкий уровень мотивации учащихся;

Неоправданно широкий диапазон изменений содержания вопросов в тестовых сборниках
разных лет;

Большое количество излишне детализированных вопросов ответы на которые разные в
разных источниках, при этом на первый план выводятся второстепенные детали.

. Физика средний балл-10,1, что ниже результата прошлого тестирования на 0,6, качество -20,что ниже результата прошлого тестирования на 5%, успеваемость -100%,учитель - Галотон Т.И;
Западающие темы:

Первый закон термодинамики;

Перемещение по графикам;
- Закон Кулона;

Работа с графиками;

Основное уравнение МКТ.
Причины:

Отсутствие системы самоподготовки;

Повышенный уровень тревожности;

. Биология средний балл-17, качество -87,5 , что ниже результата прошлого тестирования на 3,4%, успеваемость -100%, учитель - Бойко Г.С;

Западающие темы:

- «Развитие жизни на Земле»;

- «Корень, стебель, лист»;
-«Лишайники»:

- «Высшая нервная деятельность»;

Причины:

Не пройден учебный материал;

Ошибки в тестах;

5. Процентное соотношение в выборе 5-го предмета:

Физика - 33,3%, биология - 26,6%, география - 23,5%, иностранный язык - 16,6%-профессиональные планы выпускников.

6. Распределение учащихся по количеству набранных баллов:
0-49 - 1; 50-59- 3; 60-70-8; 71-89- 11; 90-100- 2; 101 и выше -4.

8. Количество учащихся, успевающих на «4» и «5» по итогам прошлого года - 15, а
по итогам пробного тестирования - 6. Имеют оценку «3» Белозор И- по истории; Бушуев Д - по математике, истории К, физике; Колесниченко К - по математике.; Плешакова Е - по физике, истории К; Соловьева Е - по физике; Шумякова Н - по физике, истории К; Яценко В - по физике; Кулинич К- по математике; Вакалов А- по - по физике, истории К.

Пути решения проблем:

1.В связи с усложнением тестовых заданий продолжить проведение анализа системы повторения пройденного материалов и работ учащихся по новому сборнику Тестов 2009.Структурировать ошибки, допущенные учащимися и организовать тематическое повторение. Откорректировать планы подготовки к ЕНТ.

2. Ознакомить с рациональными приемами заучивание формул. Учителям математики и физики провести ряд тематических консультаций по развитию приемов и навыков самоконтроля выполненных работ. Продолжить практикум по решению задач, требующих неоднократных последовательных операций, обратить внимание учащихся на изменения в содержании заданий, ориентировать их на определение рационального алгоритма, выполнения тестового задания, повторить рациональные способы вычислительных операций.

3. Повысить качество проводимых консультаций для учащихся

Разработать рациональный алгоритм использования справочных материалов по курсу.

1. По истории Казахстана и географии учителям - предметникам проанализировать
   возможности библиотеки в периодических материалах. Предложить учащимся данные
   источники информации, добиться изучения и конспектирования новых статистических
   данных по разделам программ.
2. Вести систематическую и целенаправленную работу с категорией учащихся,
   имеющих по результатам тестирований одну «тройку».

5. Администрации школы усилить контроль за организацией и качеством проведения
учителями - предметниками коррекционной работы с учащимися, за эффективностью
системного повторения учебного материала.

5. Продолжить системную подготовку к тестированию в новом формате, учесть негативные моменты пробного тестирования, откорректировать планы подготовки с учетом особенностей тестов нового формата.

Подготовила Мирошник Н.В

Важным условием проведения пробного тестирования является получение статистически достоверных результатов , что обеспечивается соблюдением ряда условий:

Пробное тестирование должно проводиться в нескольких параллельных* группах. При этом рекомендуется в каждой группе провести его дважды, но при условии, что испытуемые получат варианты теста с заданиями, на которые раньше не отвечали. Желательно, чтобы повторное пробное тестирование в одной и той же группе проводилось в разные дни;

Количество испытуемых в группах должно быть достаточно большим (не менее 20 человек);

Все параллельные группы должны находиться в одинаковых условиях (время, отводимое на тестирование, место и время проведения*);

Все испытуемые в пределах одной группы также должны находиться в идентичных условиях, без каких-либо «скидок» и «поблажек» для отдельных испытуемых. Все испытуемые должны получить примерно одинаковые по сложности (параллельные) задания;

Время, отводимое на пробное тестирование должно быть таким, чтобы наиболее подготовленные успели ответить на все вопросы теста*;

Для получения достоверных результатов следует свести к минимуму возможность подсказок среди испытуемых.

К пробному тестированию с использованием специализированной программы и ПЭВМ предъявляются примерно те же требования, что и при тестировании «на бумаге».

Анализ результатов пробного тестирования и отбор тестовых

Заданий

Матрица тестовых результатов

После проведения пробного тестирования производятся проверка ответов испытуемых и обработка результатов тестирования. Обработку результатов следует начинать с составления матриц тестовых результатов (при компьютерном варианте тестирования такие матрицы должны создаваться программой автоматически). Очень важно, чтобы по номеру варианта теста и номеру задания в нем можно было бы однозначно определить – какие именно задания выполнял испытуемый. Это необходимо для того, чтобы, как уже отмечалось выше, исключить из общего массива именно те задания, которые не могут называться тестовыми.

Подготовку матриц тестовых результатов рекомендуется выполнять с использованием ПЭВМ, например, табличного процессора Excel, что позволит существенно облегчить обработку данных и проверку статистических свойств каждого задания. Пример такой матрицы приведен в табл. 3.4.

Таблица 3.4 – Матрица* тестовых результатов в группе из 10 человек

(для всех заданий общее правило оценивания: правильный ответ – 1, неправильный – 0)

№ пп

Фамилия

№№ варианта теста

Номер задания (задания пронумерованы и расположены в порядке возрастания их трудности: №1 /самое легкое/ ® №10 /самое трудное/)

Суммарный балл по тесту

Абрамов

Дмитриев

Васильев

Борисов

Щетинин

Зыков

Григорьев

Кириллов

Иванов

Жуков

S

-

В матрице тестовых результатов (табл. 3.4) строки с результатами испытуемых следует располагать в порядке убывания суммы баллов, набранных при тестировании, т.е. в первой строке – самый сильный студент, в последней – самый слабый. В столбцах таблицы, содержащих баллы испытуемых по каждому из заданий теста, задания следует расположить в порядке возрастания их трудности, т.е. от самого легкого до самого трудного.

Нижняя строка табл. 3.4 содержит сумму баллов, набранных всеми испытуемыми по каждому из 10 заданий теста. Именно эта сумма (точнее - обратная ей величина) в общем случае служит мерой трудности задания и критерием, по которому то или иное задание получает свое место (порядковый номер) в системе заданий теста. Первоначально, как указывалось выше, преподаватель определяет трудность заданий, исходя из собственного опыта. Нижняя строка матрицы тестовых результатов содержит более объективную оценку трудности заданий, которая в некоторых случаях может не совпадать с первоначальным мнением преподавателя. В такой ситуации задание, трудность которого отличается от предполагавшейся первоначально, следует расположить в другом месте, присвоив ему новый номер, соответствующий его трудности. При этом должны учитываться ответы на то же задание, полученные в других (параллельных) группах испытуемых.

Статистический анализ тестовых результатов и отбор заданий

Для включения в тесты

В табл. 3.5 приведены некоторые показатели, рассчитанные по результатам пробного тестирования.

Таблица 3.5 - Анализ результатов тестирования*

ПОКАЗАТЕЛИ	Номер задания
Кол-во правильных ответов
Кол-во неправильных ответов
Доля правильных ответов, p j		0,8	0,7	0,6	0,5	0,5	0,4	0,3	0,2
Доля неправильных ответов, q j		0,2	0,3	0,4	0,5	0,5	0,6	0,7	0,8
Потенциал трудности, q j /p j	0,00	0,25	0,43	0,67	1,00	1,00	1,50	2,33	4,00	-
Дисперсия баллов, p j ×q j		0,16	0,21	0,24	0,25	0,25	0,24	0,21	0,16
Коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту	-	0,41	0,62	0,75	0,82	0,82	0,75	0,62	0,41	-

Наиболее важными из приведенных в табл. 3.5 показателями являются:

1) потенциал трудности;

2) дисперсия баллов;

3) коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту.

Именно эти показатели являются критериями, по которым можно судить о том, может ли задание в тестовой форме использоваться в тестах, т.е. называться тестовым заданием .

Первый показатель соответствует требованию (см. раздел 1.2) известной трудности задания. Как видно из табл. 3.5, этому требованию не соответствуют задания №1 и №10, что подразумевает необходимость их «ревизии» разработчиком с целью выявления причин (задание слишком легкое или слишком трудное, неверно сформулировано, содержит «подсказку» в вариантах ответов, неверно воспринимается испытуемыми и т.п.). После «ревизии» задание либо перерабатывается, либо исключается и в тестах не используется.

Не менее важна и дисперсия баллов, которая может служить показателем дифференцирующей способности задания, т.е. его способности разделить группу испытуемых на сильных и слабых. Чем больше дисперсия баллов, тем лучше дифференцирующая способность задания. Однако, задания с невысоким значением дисперсии (например, задания №2 и №9) также могут использоваться в тестах (с учетом значения коэффициента корреляции с суммарными баллами по всему тесту). Такие задания позволяют более четко отделить совсем неподготовленных от тех, кто знает на «3» и, соответственно тех, кто знает на «5», от тех, кто «не дотягивает» до максимальной оценки.

Третий показатель – коэффициент корреляции баллов по заданию с суммарными баллами по всему тесту , является наиболее важным. Если его значение невелико, то без соответствующего задания в тесте, видимо, можно обойтись. Напротив, задания с большим значением указанного коэффициента (выше 0,7) могут считаться «ведущими» или «тестообразующими» заданиями, «ключевыми» для данной дисциплины или ее раздела. Рекомендуют включать задание в тест при том условии, что коэффициент корреляции составляет величину не ниже 0,25-0,3.

Для вычисления коэффициента корреляции в нашем случае наиболее удобной представляется формула

где - балл за задание; - суммарный балл по тесту; - количество испытуемых в группе.

Рассчитаем для примера коэффициент корреляции балов по заданию №5 с суммарными тестовыми баллами применительно к приведенной в табл.3.4 матрице тестовых результатов (см. табл. 3.6).

Таблица 3.6 – Расчет коэффициента корреляции S

При использовании для анализа тестовых результатов компьютерной техники целесообразно воспользоваться для расчета коэффициентов корреляции соответствующей функцией табличного процессора Excel.

Не менее важно и сопоставление результатов тестирования, полученных в параллельных (различных) группах. Такое сопоставление производится путем сравнения потенциалов трудности, дисперсий и коэффициентов корреляции баллов по заданиям с суммарными баллами по тесту, которые в идеале должны отличаться незначительно. Существенные отличия указанных показателей могут свидетельствовать либо о невысокой воспроизводимости тестовых результатов (т.е. на одинаковых по уровню группах один и тот же тест дает различные результаты), либо о существенно различающемся уровне подготовленности испытуемых в разных группах (т.е. группы не являются параллельными).

Проверку параллельности групп можно произвести путем оценки однородности дисперсий суммарных тестовых результатов, используя соответствующие статистические критерии - Фишера, Кочрена, Бартлета . По этим критериям можно при достаточно высоком уровне значимости (рекомендуется 0,05) проверить, насколько параллельные группы отличаются по среднему уровню подготовленности.

Еще одним приемом, который можно использовать при обработке результатов тестирования, является объединение результатов тестирования параллельных групп. Этот прием рекомендуется использовать при небольшом числе испытуемых в отдельных группах, но перед «объединением» результатов желательно произвести проверку однородности дисперсий по критериям, упомянутым выше.

учащегося 11 «Б» класса Байгунакова Азата.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	11	12	13
Русский язык	7	9	8
Математика	4	7	6
История Казахстана	6	8	7
Всемирная история	6	6	7
Сумма	34	42	41
Без казахского языка	23	30	28

Школьные тестирования

Предметы	21сентября	15 ноября	30 ноября	14 декабря	17 января
Казахский язык	5	13	13	17	11
Русский язык	7	9	5	9	7
Математика	5	6	3	11	4
История Казахстана	7	20	6	5	6
Всемирная история	4	7	6	3	8
Сумма	28	55	33	45	36
Без казахского языка	23	42	20	28	25

Результаты городских тестирований по всем предметам соответствуют оценке «удовлетворительно». В сумме с баллами по казахскому языку общий результат ниже проходного. В ряду «западающих» тем большая часть разделов школьной программы. Наибольшее количество баллов набирает по казахскому языку. Очень низкие результаты по математике и всемирной истории

Результаты школьных тестирований также свидетельствуют о больших пробелах в знаниях. В то же время эти результаты объективно отражают уровень подготовки ученика и соответствуют итогам текущей и промежуточной аттестации. Байгунаков А. по всем предметам школьной программы в течение всего курса обучения занимался с основной оценкой «удовлетворительно».

С анализом ознакомлен ____________________________А. Байгунаков

Анализ результатов пробных тестирований

учащегося 11 «Б» класса Богуненко Александра.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	17	18	19
Русский язык	19	21	19
Математика	11	12	14
История Казахстана	8	12	13
Физика	15	8	14
Сумма	70	71	79
Без казахского языка	63	53	60

Школьные тестирования

Предметы	21сентября	15 ноября	30 ноября	14 декабря	17 января
Казахский язык	4	16	21	16	18
Русский язык	18	18	20	20	19
Математика	10	14	13	15	15
История Казахстана	13	13	13	14	10
Физика	11	11	12	14	15
Сумма	56	72	79	79	77
Без казахского языка	52	56	58	63	59

Результаты городских тестирований по физике нестабильны: результат 22.11.13 почти в два раза ниже предыдущего. Отмечается положительная динамика результатов по казахскому языку. Стабильно высокий балл по русскому языку, при этом оценки «удовлетворительно» по таким предметам, как физика и математика не соответствуют текущим оценкам, оценкам за четверть.

Итоги школьных тестирований характеризуются положительной динамикой результатов по физике, стабильно высоким баллом по русскому языку, более высо-

кими, в сравнении с городскими тестированиями, результатами по математике, большой разницей результатов по казахскому языку. Особого внимания требует подготовка по истории Казахстана. Суммарные баллы за все пробные тестирования выше проходного.

По результатам всех тестирований учителями-предметниками осуществлён поэлементный анализ с обязательным выявлением «западающих» тем и разработкой рекомендаций по устранению пробелов.

С анализом ознакомлен ____________________________А. Богуненко

Анализ результатов пробных тестирований

учащегося 11 «Б» Бурчица Богдана.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	8	15	12
Русский язык	14	13	15
Математика	7	10	6
История Казахстана	18	18	17
География Вс. ист	17	14	15
Сумма	64	70	65
Без казахского языка	56	55	53

Школьные тестирования

Предметы	21сентября	15 ноября	30 ноября	14 декабря	17 января
Казахский язык	16	12	18	15	18
Русский язык	13	14	10	13	17
Математика	12	6	7	7	8
История Казахстана	10	14	16	15	16
География Вс. ист	12	9	14	20	16
Сумма	63	55	65	70	75
Без казахского языка	47	43	47	55	57

Результаты городских тестирований в целом выше, чем итоги школьных. Во всех городских тестированиях суммарный балл выше проходного. В трёх из пяти школьных тестов сумма баллов без учёта результатов по казахскому языку ниже пятидесяти. Итоги тестов по казахскому языку, проходивших на базе школы, соответствуют оценке «хорошо», самые низкие результаты - по математике, что соответствует итогам текущей и промежуточной аттестации (учащийся имеет за полугодие одну «тройку» по алгебре). Необходимо усилить работу по подготовке к тестам по русскому языку, т.к. они отличаются нестабильностью и соответствующие им оценки ниже текущей успеваемости учащегося.

По результатам всех тестирований учителями-предметниками осуществлён поэлементный анализ с обязательным выявлением «западающих» тем и разработкой рекомендаций по устранению пробелов.

С анализом ознакомлен ____________________________Б. Бурчиц

Анализ результатов пробных тестирований

учащейся 11 «Б» Кабаковой Анастасии.

Городские тестирования

Предметы	18 октября	22 ноября	21 декабря
Казахский язык	17	17	16
Русский язык	18	11	11
Математика	5	6	8
История Казахстана	7	7	10
Биология	10	19	11
Сумма	57	60	56
Без казахского языка	40	43	40

тестовых результатов

Результаты тестирования нуждаются в такой интерпретации, которая соответствует цели тестирования (см. табл. 4.1).

Таблица 4.1 - Сферы применения тестов, цель тестирования и интерпретация его результатов

Сфера применения тестов	Цель тестирования	Интерпретация результатов тестирования
Профессиональный отбор	Отбор наиболее соответствующих требованиям, со знаниями и умениями, критически важными для данной профессии	Ранжирование испытуемых по уровню профессиональной пригодности, компетентности, комплексный анализ результатов
Вступительное тестирование	Отбор наиболее подготовленных (определение проходного балла), выявление пробелов в структуре знаний	Ранжирование испытуемых по уровню подготовленности, статистическая обработка результатов
	Определение «места» в группе для каждого испытуемого в соответствии с выбранными критериями	Ранжирование испытуемых по измеряемому параметру, статистическая обработка результатов
Текущий контроль* 14 , мониторинг	Отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Анализ структуры и профиля знаний, статистическая обработка результатов
Дистанционное обучение	Стимулирование познавательной деятельности обучаемых, повышение мотивации к обучению, отслеживание хода образовательного процесса, определение пробелов в структуре знаний испытуемых и выяснение возможных причин их появления	Ранжирование испытуемых по уровню подготовленности, анализ преподавателем (тьютором) структуры и профиля знаний, статистическая обработка результатов
Самостоятельное обучение (мультимедийные учебники, обучающие программы и т.п.)	Стимулирование познавательной деятельности обучаемых	Результаты тестирования испытуемые интерпретируют самостоятельно или с «подсказками» программы

Как следует из табл. 4.1, тест надо рассматривать как единство: 1) метода; 2) результатов, полученных определённым методом; и 3) интерпретированных результатов, полученных определённым методом.

Интерпретация результатов тестирования ведется преимущественно с опорой на среднее арифметическое, показатели вариации тестовых баллов и на так называемые процентные нормы, показывающие, сколько процентов испытуемых имеют тестовый результат худший, чем у интересующего испытуемого.

При вступительном тестировании, профессиональном отборе или определении рейтинга в группе основная задача при интерпретации результатов заключается в ранжировании испытуемых по уровню подготовленности. При мониторинге или текущем контроле более важной задачей является анализ структуры и профиля знаний. При самостоятельной работе (дистанционное обучение, обучение с помощью мультимедийных учебников и т.п.) основное назначение тестов - стимулировать познавательную деятельность обучаемых, дать им возможность оценить собственные успехи, выявить пробелы в полученных знаниях.

Независимо от сферы применения теста, результаты тестирования должны подвергаться статистической обработке с целью определения основных характеристик заданий теста, проверки надежности измерений и валидности тестовых результатов.

Вступительное тестирование. Первичная обработка результатов, полученных при вступительном тестировании, сводится к составлению таблицы (матрицы) тестовых результатов по правилам, описанным ранее (см. табл. 3.4). Это позволяет не только наглядно оценить уровень и структуру подготовленности испытуемых, но и выделить наиболее «сильных» в группе, проходившей тестирование.

Как отмечалось в главе 3, распределение результатов тестирования по хорошо составленным тестам в идеале должно быть близким к нормальному закону (в достаточно больших группах – не менее 20 чел.). На рис. 4.1 в качестве примера показано распределение баллов, набранных при вступительном тестировании в группе из 80 человек. Задача состояла в отборе из этой группы 50, наиболее подготовленных человек. Тест содержал 24 задания, за каждый правильный ответ выставлялся 1 балл. По сумме набранных баллов приемной комиссией были выделены первые 50 человек, набравшие наибольшее количество баллов и определен проходной балл (в данном примере - 11 баллов).

Рис. 4.1 - Определение проходного балла при вступительном тестировании (пример).

Максимально возможное количество баллов в данном примере – 24.

Пример, показанный на рис. 4.1, является в некотором смысле «идеальным». Так, если бы в этом же примере нужно было отобрать не 50, а 52 человека (или например 47 человек), с установлением проходного балла возникли бы определенные трудности – при меньшем его значении (10 баллов) прошедших тестирование было бы больше, чем необходимо и наоборот. В этой ситуации может быть предложен такой выход: приемная комиссия устанавливает более высокий проходной балл, при котором число прошедших тест меньше необходимого. Недостающее количество людей комиссия добирает из числа тех, которые немного «не дотянули» до проходного балла. При этом предпочтение отдается тем, которые в наибольшей степени соответствуют требованиям (например, имеют стаж работы по выбранной специальности, льготы при поступлении, более высокий средний балл по документам о базовом образовании и т.п.). Этим же людям за дополнительную плату может быть предложено пройти подготовительные курсы и т.п.

При вступительном тестировании, помимо определения проходного балла, достаточно важен анализ структуры и профиля знаний (будет рассмотрен далее).

Текущий контроль (мониторинг). Тесты для текущего контроля и мониторинга создаются по тем же принципам, что и тесты иного назначения. Но основной целью тестирования в данном случае является отслеживание хода образовательного процесса, выявление пробелов в структуре знаний, искажений профиля знаний у каждого из испытуемых и выяснение возможных причин их появления.

Под структурой знаний в общем случае следует понимать такую степень полноты знаний и умений учащегося, которая равномерно охватывает все разделы дисциплины (или нескольких дисциплин) и позволяет испытуемым успешно выполнять задания теста вне зависимости от того, к какому разделу дисциплины они относятся.

Если испытуемый выполняет задания (в том числе, достаточно трудные), относящиеся к одному разделу дисциплины и не может выполнить задания по другому разделу (в т.ч. невысокой трудности), то это говорит о нарушении (пробелах) в структуре знаний. Вполне очевидно, что такие нарушения могут быть как индивидуальными, так и наблюдаться у достаточно большого числа испытуемых. В последнем случае необходимо проанализировать причины появления пробелов (неудачное изложение раздела или отдельной дисциплины, нехватка или отсутствие методического обеспечения и т.п.) и принять меры к их устранению.

Необходимым условием, обеспечивающим получение достоверной информации о структуре знаний, является репрезентативность заданий теста по отношению к объему знаний, который проверяется с его помощью. Другими словами – задания, включаемые в состав теста, должны достаточно полно и равномерно охватывать все разделы дисциплины, курса и т.п. При этом желательно, чтобы каждый раздел дисциплины был представлен несколькими заданиями различного уровня сложности.

Для удобства анализа структуры знаний тестовые результаты в матрице желательно располагать так, как показано в примере (табл. 4.2). В этом примере каждый раздел дисциплины представлен в тесте пятью заданиями различного уровня сложности. Результаты испытуемого №2, выполнявшего задания теста по варианту №7, показали практически полное отсутствие знаний раздела 2 дисциплины, в то время как с заданиями по разделу 1 он более-менее справился. В таких случаях говорят о пробелах в структуре знаний.

Термин профиль знаний , которым тестологи называют совокупность баллов в каждой строке таблицы тестовых результатов, можно проиллюстрировать на примере, приведенном в табл. 4.3 (фрагмент матрицы из табл. 3.4).

Таблица 4.2 – Анализ структуры знаний по матрице тестовых результатов

№№ вариантов теста

Оценки за тестовые задания по разделам дисциплины (в пределах каждого раздела задания расположены в порядке возрастания их трудности)

Раздел 1

Раздел 2

Таблица 4.3 – Искаженный (строка №6) и неискаженные (строки №5 и №7) профили знаний

№№ вариантов теста

Оценки за тестовые задания (задания расположены в порядке возрастания их трудности: №1 /самое легкое/  №10 /самое трудное/)

Суммарный балл по тесту

Как видно из примера, испытуемые, результаты которых находятся в строках 5 и 6, набрали одинаковое количество баллов по тесту, однако, испытуемый №5 справился с первыми 5-ю, наиболее легкими заданиями, не справившись с остальными. Результаты же испытуемого №6 несколько нелогичны – не справившись с относительно легкими заданиями в начале теста, он сумел выполнить более трудные задания. В таких случаях говорят об искаженном (инвертированном) профиле знаний.

Причины искажений профиля знаний могут быть самыми разными –некачественно составленный тест, индивидуальные психологические особенности тестируемого, низкое качество преподавания, отсутствие методического обеспечения и литературы и др. По мнению проф. В.С. Аванесова и других специалистов-тестологов, задача хорошего образования – порождать правильные (неискаженные) профили знаний .

Анализ структуры и профиля знаний при вступительном тестировании и текущем контроле (мониторинге) позволяет педагогам получить общее представление об уровне подготовленности испытуемых, своевременно выявить пробелы в знаниях, ошибки в методике преподавания и принять соответствующие меры. В учебных заведениях, внедряющих системы менеджмента качества, постоянный мониторинг процесса обучения с использованием тестовых технологий должен быть одним из основных инструментов постоянной корректировки (улучшения) образовательного процесса.

Дистанционное обучение. В существующих системах дистанционного обучения (СДО «Прометей», «Web-класс ХПИ», Lotus Learning Space и др.), как правило, предусмотрен текущий и итоговый контроль усвоения учебного материала. Контроль может осуществляться с помощью отдельной программы для тестирования или же модули (программы) для тестирования встраиваются непосредственно в дистанционные курсы .* 15 В последнем случае дистанционный курс может использоваться для самостоятельной работы, без участия преподавателя.

Системы дистанционного обучения или же собственно дистанционные курсы, должны снабжаться такими программами, которые «умеют» не только сохранять тестовые результаты каждого испытуемого, но и дают возможность преподавателю (тьютору) или разработчику курса с минимальными затратами времени производить их статистическую обработку с целью определения надежности педагогического измерения и валидности тестовых результатов. К сожалению, далеко не все из используемых систем дистанционного обучения предоставляют такую возможность.

К тестам, разрабатываемым для использования в дистанционном обучении, предъявляются те же требования, что и к тестам для текущего контроля (мониторинга).

Самостоятельная работа . Как отмечают специалисты, качественно разработанные тесты имеют высокий обучающий потенциал, позволяющий существенно повысить мотивацию к обучению и соответственно повысить его эффективность. В последнее время в учебном процессе все чаще используются такие средства обучения как обучающие курсы, мультимедийные учебники, электронные тренажеры и т.п., которые можно назвать обучающими электронными изданиями (ОЭИ). Основным их достоинством является возможность самостоятельного обучения с минимальным вмешательством преподавателя. ОЭИ обязательно должны снабжаться тестами для текущего и итогового контроля, и желательно такими, которые позволили бы обучаемому не только увидеть, что именно он не знает, но и «объясняли», почему тот или иной ответ является неправильным и «рекомендовали» вернуться к соответствующему разделу для повторного изучения.

Тесты для ОЭИ, также как и тесты другого назначения, должны быть репрезентативны по отношению к совокупности проверяемых знаний и навыков. Не менее важна и предварительная апробация заданий, включаемых в эти тесты, с целью определения их трудности и других характеристик. Имея информацию о трудности каждого задания, разработчик ОЭИ может сделать так, чтобы при тестировании программа «выдавала» их испытуемому по принципу «от наиболее легкого - к наиболее трудному». При этом желательно иметь достаточно большое количество параллельных заданий, чтобы при повторном тестировании испытуемому выдавались новые задания, которых он не выполнял ранее.

В мультимедийных учебниках и других ОЭИ, как правило, нет необходимости сохранять результаты тестирования и, тем более, производить их статистическую обработку. Основная задача тестов, используемых в ОЭИ - стимулирование познавательной деятельности обучаемого и корректировка его индивидуальной «траектории обучения».

Анализ результатов пробного тестирования гимназии № 1

2011-2012 учебный год

6.10 2011 года в гимназии проведено третье пробное тестирование, целью которого является адаптация учащихся к проведению ЕНТ, их информированности о технологии тестирования, контроля за качеством знаний и подготовки к ЕНТ.

Тестирование учащихся проведено по тестам НГЦТО КЭУ, результаты следующие

Всего в тестировании принимало участие 45 выпускников (из 49), т. е. 93 % учащихся.

100 и более баллов набрали 4 учащихся

Из результатов видно, что по сравнению с прошлым тестированием средний балл ниже на 2 ,8 балла. Учащиеся сидели по одному, сумки и сотовые телефоны убраны на последней парте, условия тестирования приближенные к условиям ЕНТ. Из предварительных результатов можно ожидать в этом году низкие результаты, поэтому необходимо активизировать подготовку к ЕНТ, использовать различные формы и методы работы.

Мониторинг результатов тестирований

Из диаграммы видно, что результаты нестабильные, ниже чем в прошлом году, однако наблюдается рост результатов в течение нескольких тестирований в этом году.

Результаты по сравнению с 1 тестирование несколько выше.

Результаты по математике повысились.

По всеобщей истории сдают 4 учащихся. результаты ниже, чем в прошлом году. Самое низкое качество знание по физике и математике. Плохо сдали на этом тестировании биологию.

Претендент на Алтын Белги первый раз подтвердила все пятерки.

Мониторинг тестирований претендентов на аттестат с отличием и Алтын Белги.

Фамилия

Русский язык р

История Казахстана

Математика

каз яз с рус яз

всего баллов

Фамилия

Русский

История Казахстана

Математика

каз яз с рус яз

предмет по выбору

всего баллов

наимен. пред.

Давлетшина

Абдрахметова

Кукетаева

Укубаева

Из результатов видно, что только имеет одну 4, остальные претенденты имеют тройки. Необходимо организовать индивидуальную работу с отличниками по подготовке к ЕНТ.

Пока никто не подтверждает все пятерки, плохие результаты по биологии, истории, математике.

1.Самые низкие результаты по физике, математике и истории Казахстана, высокие по англ. яз, каз. яз. Двоек нет. В этом учебном году 4 претендентов на аттестат с отличаем и 1 претендент Алтын белги все пятерки набрала только

2. Сравнительные результаты тестирования показывают нестабильность, рекомендовано всем преподавателям подготовить мониторинг индивидуальных результатов по пробным тестированиям.

3. Учителям–предметникам составить планы работы со слабоуспевающими и отличниками.

4. Классным руководителям проводить родительские собрания по субботам, пригласить родителей учащихся которые не набирают пороговый уровень поступления в ВУЗы.