10 августа 2018
651

Двадцать лет централизованному тестированию в России

Что дальше?

Татьяна Михалева

                                                                                                                                                tatgrim@mail.ru

 

Опубликовано в ж. «Педагогические Измерения № 1 2011 г.

 

Аннотация

Обсуждаются вопросы возникновения, развития, сегодняшнего состояния и перспективы централизованного тестирования в России, влияния централизованного тестирования и ЕГЭ на тестовую культуру педагогического сообщества.

Ключевые слова: централизованное тестирование, единый государственный экзамен, массовая оценка учебных достижений.

 

О понятии «централизованное тестирование».

О Централизованном тестировании впервые официально стало известно из приказа Госкомитета по высшему образованию СССР от 08.02.90 №101 «О создании в структуре научно-исследовательской части Московского педагогического государственного университета (МПГУ) Лаборатории централизованного тестировании учащейся молодежи». Этим же приказом было утверждено «Положение о централизованном тестировании учащейся молодежи», в котором разрешалось проводить тестирование на хозрасчетной основе, разрешалось школам засчитывать результаты централизованного тестирования в качестве выпускного экзамена, а вузам – в качестве вступительного экзамена.

В Положении говорилось, что суть централизованного тестирования (далее – ЦТ) состоит в том, что в один день, в разных регионах или во многих районах крупных центров России проводится тестирование выпускников школ по педагогическим тестам, Тесты формируются в одном центре и там же выполняется автоматизированная проверка выполнения заданий. Этим же центром осуществляется управление организацией проведения тестирования на местах. В частности разрабатывались единые инструкции проведения ЦТ.

Ежегодно, в апреле, на тестирование по всем школьным предметам отводилось 11-12 дней, по принципу «один день – один предмет». Тестирование проводилось в аудиториях вузов; оно соответствовало требованиям, предъявляемым к проведению вступительных экзаменов в вуз. Такое тестирование предлагалось школьникам как дополнительная платная образовательная услуга - независимая и объективная оценка знаний, использование которой носит сугубо добровольный характер.

 

Причины возникновения ЦТ в России.

В первые годы ЦТ проводилось главным образом в Москве и ряде городов прилегающих областей. Постепенно увеличивалось число учебных дисциплин и регионов, участвующих в ЦТ. Увеличилось и число вузов, засчитывающих результаты тестирования как вступительный экзамен, а также число школ – как выпускной. Уже в 1993г. в тестировании приняло участие почти 33000 человек, которые тестировались по 10-ти учебным дисциплинам. По мере увеличения количества тестируемых и расширения географии тестирования возрастали авторитет Лаборатории централизованного тестирования и доверие к результатам тестирования со стороны школ и вузов.

Причина востребованности ЦТ была обусловлена определенным этапом развития общего образования в России, для которого характерно наличие параллельно функционирующих различных типов школ, обеспечивающих разнообразные интересы молодого человека. Программы разных школ содержат как инвариантную, так и вариативную части. Инвариантная часть определяется прежде всего Федеральным компонентом образовательного стандарта, выполнение которого обязательно по всей России. Федеральный стандарт определяет минимальный уровень предъявления и усвоения знаний той или иной образовательной области, но не полный. Региональный компонент образовательного стандарта отражает в содержании образования и учебном процессе национальные, культурные, природные и хозяйственные специфические особенности и проблемы региона.

И, наконец, школьный компонент общего образования отражает специфику конкретной школы, определяемую типом общеобразовательного учреждения: обычная школа, лицей, гимназия, авторская, инновационная школа (экспериментальная площадка) и т. д. Школе разрешается реализовывать любую образовательную программу при условии обязательного включения в нее содержания обучения, указанного в образовательном стандарте.

Одним из факторов создания «единого образовательного пространства России» является выравнивание итоговых требований к подготовленности учащихся, заканчивающих обучение определенного уровня (ступени) образования. В связи с этим повышается важность объективности контроля качества образования на разных этапах обучения: начальное, основное общее, полное (среднее) общее образование. Бюджетное финансирование общеобразовательного учреждения теперь непосредственно будет зависеть от того, обеспечивают ли школьные образовательные программы (при всем их допустимом разнообразии) достижение, прежде всего, федеральных и региональных стандартов.

Органы управления образованием образовательной системы любого уровня, да и сами образовательные учреждения должны иметь средства и организационный механизм, с помощью которых можно получить необходимую объективную информацию для принятия решений о выполнении Закона РФ «Об образовании», осуществить анализ и выработать соответствующие управляющие воздействия. А усиливающиеся к 90-м годам в нашем обществе тенденции к демократии в целом и системы образования в частности заставили обратиться к тестированию, как к наиболее объективному и эффективному средству оценки результатов обучения.

Педагогическое тестирование как метод контроля учебных достижений отвечает главным обобщенным критериям современных технологий оценки учебных достижений [1]:

• научность (необходимость эмпирической проверки качества тестов, обязательность проверки получаемых результатов по критериям надежности и валидности, использование статистических методов);

• технологичность (оценка знаний опирается на автоматизированные сбор результатов тестирования и их обработку);

• эффективность (тестирование позволяет проверить знания большого количества учащихся быстрее, точнее и с меньшими затратами).

Идею независимой объективной оценки знаний выпускников школ одобряли в то время практически все заинтересованные стороны:

 -  школьники (и их родители), которые хотели знать свой уровень подготовки и конкурентоспособности при поступлении в вуз;

- вузы, у которых значительно упрощалась работа приемных комиссий, и, главное, появилась возможность получения оценки подготовленности абитуриентов независимой от субъективной оценки преподавателей;

- органы управления образованием всех уровней и администрация школ, которые могли использовать статистические данные ЦТ для анализа и принятия управленческих решений и т.д.

В условиях субъективизма и авторитарного стиля руководства, долгое время господствовавшего в нашей стране, тестирование было просто не нужно. По мере увеличения открытости России и увеличения контактов в области образования становилось ясным наше отставание от мирового уровня в области тестирования, поэтому так важно было создание определенной культуры тестирования в нашем обществе.

Вузы показали себя наиболее заинтересованной стороной в получении достоверной информации о качестве образования выпускников школ с использованием тестовых технологий. И этот интерес был связан с большей осведомленностью и доверием к внедряемым в учебный процесс элементам тестовых методов оценки подготовленности студентов и электронно-вычислительной технике. Например, во многих вузах были организованы классы автоматизированного контроля знаний и действовали АСУ «Приём».

В большинстве вузов с целью отбора наиболее подготовленных абитуриентов традиционно тогда проводились обычные приемные экзамены с билетами, главный недостаток которых заключается в факторе "лотереи". Требования вузов на вступительных экзаменах, как правило, выше школьных, поэтому в вузах существовали факультеты довузовской подготовки и разного рода подготовительные курсы. Эти курсы были выгодны вузам, поскольку обучение на них платное. При успешном окончании обучения на подготовительных курсах у выпускника школы повышался шанс поступить только в один конкретный вуз, и практически мало было шансов попасть в другой вуз города или региона.

Подготовительные курсы диктовали необходимость ранней профессиональной ориентации школьников, что весьма не просто в 16-17 лет. Кроме того, вузы, имеющие на некоторых специальностях маленький конкурс (или отсутствие оного), теряли своих потенциальных первокурсников. Для юноши, желающего продолжить образование в вузе, непоступление в вуз означает поступление в армию.

Решить эту проблему было призвано ЦТ, которое с 1996 ежегодно в апреле месяце организовывал Центр тестирования выпускников общеобразовательных учреждений РФ при МПГУ (далее Центр тестирования) (приказ Госкомвуза России от 20.12.95 №1665), который был образован на базе Лаборатории централизованного тестирования в целях создания централизованной службы тестирования выпускников средних общеобразовательных школ.

 

Развитие централизованного тестирования и роль Центра тестирования

В своей деятельности Центр тестирования руководствовался Положением, утвержденным приказом Минобразования России от 26.12.96 №537. Согласно этому приказу, результаты ЦТ могли по желанию учащихся и по решению педагогических советов общеобразовательных учреждений засчитываться в качестве оценок итоговой аттестации, а также по решению ректоров вузов – в качестве оценок вступительных испытаний при поступлении в средние и высшие профессиональные учебные заведения (вузы) РФ. Статус результатов ЦТ регулярно подтверждался Порядком приема в вузы (например, приказ Минобразования России от 24.02.98 №500).

Эта деятельность Центра тестирования проводилась под общим руководством Минобразования России: был образован координационный совет по централизованному тестированию, который возглавлял заместитель министра В.Д. Шадриков, функционировал  семинар при министерстве, на котором рассматривались конкретные вопросы научно-технического обеспечения ЦТ.

Бюджетное финансирование ЦТ не проводилось. Хотя стоимость одного тестирования была на уровне билета в кинотеатр, в Центр тестирования поступало только 40% стоимости, большая востребованность этой услуги позволяла успешно развивать научно-методическую базу разработки тестов и аналитико-статистический аппарат. Привлекались специалисты РАО и Лаборатории тестирования МИПКРО, специалисты ведущих вузов, преподаватели-методисты из научно-методических центров окружных управлений образования Москвы, прошедшие (так же как и специалисты Центра) необходимую подготовку в области педагогических измерений. Все тесты для ЦТ проходили апробацию на экспериментальных площадках в школах Москвы. Только благодаря доверию населения и вузов к качеству тестов и к процедуре централизованного тестирования последнее стало самой массовой добровольной формой тестирования в России.

Для анализа качества тестовых заданий использовались как классическая теория тестирования, так и IRT. До 1999г. для обработки результатов ЦТ, использовался подход, основанный на классической теории тестирования. В качестве окончательных баллов в свидетельства выставлялся процент верно выполненных заданий. В 1999г. и 2000г. для оценки трудности задания и уровня подготовленности учащихся использовался специальный итерационный процесс, разработанный сотрудниками Центра тестирования[2]. С 2001 по 2002 для обработки результатов ЦТ использовалась одна из моделей IRT, а именно, двухпараметрическая модель Бирнбаума. В 2003 году было принято решение использовать для обработки результатов ЦТ другую модель IRT, а именно, Partial Credit Model. Эта модель используется и сейчас при статистической обработке результатов единого государственного экзамена (далее - ЕГЭ).

Помимо российских регионов услугами Центра тестирования пользовались русские культурные организации в Армении, Казахстане, Киргизии, Узбекистане, а также Республика Беларусь. В этих странах создавались и эффективно взаимодействовали с ФЦТ пункты приема экзаменов (ЦТ и ЕГЭ). Используя опыт России в странах СНГ, при министерствах образования формировались свои службы (департаменты) контроля качества образования. Основным «поставщиком» информации о качестве образования выпускников школ в таких структурах служит единый национальный экзамен, который по своей сути является централизованным тестированием[3].

С 2001г. Центр тестирования становится юридическим лицом и называется «Центр тестирования Министерства образования РФ». К 2002г. централизованное тестирование охватило почти полтора миллиона т.н. «человеко-тестов». Около четырехсот российских вузов добровольно принимали результаты централизованного тестирования в качестве оценок вступительных испытаний.

Содержание тестов, применяемых для ЦТ, было согласовано с вузовскими требованиями к знаниям абитуриентов. Требования были безусловно несколько выше школьных. В связи с этим в 1998г. Центр тестирования по согласованию с Министерством образования выступил заказчиком педагогических тестов, содержание которых ориентировано на итоговую аттестацию в школах. Основной исполнитель этой работы был ИОСО РАО. Спецификация этих тестов проходила экспертизу Департамента общего образования на соответствие образовательных программ и рекомендуемому минимуму содержания школьных дисциплин. Все тесты проходили апробацию в школах Москвы на выборке, необходимой для обработки с помощью CONQUEST.

Таким образом, ЦТ становится новым актуальным направлением развития образовательной системы России: создание тестов, позволяющих получать надёжные и валидные результаты, и организационного механизма для итоговой аттестации в школах России. Причем, тесты разрабатывались трех видов: аттестационные, абитуриентские и абитуриентские повышенной сложности. И вузы сами решали, какие тесты наиболее адекватны их требованиям к абитуриентам

Центр тестирования приступил тогда же к разработке методик и специальных анкет для исследования социально-демографических и физиологических показателей учащихся. Эти данные помогают уточнить факторы, влияющие на уровень подготовленности выпускников школ. Статистическая обработка таких анкет выявила зависимость результата тестирования от социального статуса, достатка семьи и типа школы. Заполнение анкет было добровольным. Работу в этом направлении можно рассматривать как начало конструирования элементов мониторинга в системе образования.

В регионах проведение ЦТ осуществлялось через сеть представительств Центра тестирования на условиях договоров, по единым инструкциям и методическим указаниям. Как правило, такие представительства организовывались при вузах и утверждались Координационным советом по ЦТ при Минобразовании

В Центре тестирования проводилась большая работа по оптимизации бланков тестов, автоматизации их проверки, информационной безопасности передачи данных, структуры различных баз данных и решения других технологических проблем, связанных с огромными размерами нашей страны.

 

Переход от ЦТ к ЕГЭ.

Развитие ЦТ, доверие к результатам ЦТ, наличие хорошо налаженной организационной структуры, стало основанием для введения в России единого государственного экзамена в тестовой форме.

С 2001г. по 2008г. на территории России проводилось ЦТ и ЕГЭ, в режиме эксперимента. С 2001г. Центр становится головной организацией по вопросам проведения ЕГЭ в экспериментальном режиме. В его функции входило организационно-технологическое обеспечение ЕГЭ. Подготовка и организация ЕГЭ финансируются из федерального и регионального бюджетов и соответствуют инструкциям и приказам, утвержденным Министерством образования.

Приказом Рособрнадзора от 5 марта 2005г. №472 Центр был переименован в Федеральное государственное учреждение «Федеральный центр тестирования» (далее - ФЦТ).

До 2009г ФЦТ. был не только организацией, которая решала практические проблемы организации ЦТ и ЕГЭ на огромной территории нашей страны. Центр реально выполнял функции научно-методического центра тестирования, единственного в России. С 2001г. выпускался первый в стране и тогда единственный научно-методический журнал «Вопросы тестирования в образовании», в котором рассматривался широкий спектр вопросов педагогического тестирования; были лицензионные (на федеральном уровне) учебные курсы «Основы разработки педагогических тестов и организации тестирования», издавалась научная и учебно-методическая литература по разработке педагогических тестов.

С 1999г. ежегодно проводились Всероссийские научно практические конференции «Развитие тестовых технологий в России», издавались тезисы этих конференций, проводились методические семинары, печатались научные монографии по вопросам педагогических измерений. В работах ФЦТ в разное время принимали участие доктора наук Аванесов В.С., Дятлова К.Д., Ефремова Н.Ф., Карданова Е.Ю., Кащенко М.П., Нейман Ю.М., Орлов А.И., Челышкова М.Б., сотрудники ИОСО РАО и др. В ФЦТ постоянно работали высококвалифицированные методисты-предметники. На базе совместных с ФЦТ материалов и разработок были защищены 5 докторских диссертаций и 3 кандидатских. ФЦТ оказывал постоянную методическую помощь регионам по вопросам педагогического тестирования. Каждый специалист - от преподавателя до начальника управления образованием, - мог приехать в ФЦТ и получить любую консультацию по педагогическому тестированию: от организации разработки педагогических тестов для конкретных педагогических целей до применения моделей IRT при обработке результатов массового тестирования. Мнение ФЦТ было авторитетно для регионов нашей огромной страны.

Приказом Рособрнадзора от 5 марта 2005г. №472 Центр тестирования был переименован в Федеральное государственное учреждение «Федеральный центр тестирования» (далее - ФЦТ). С 2008г. ФЦТ становится головной организацией Рособрнадзора по организационно-технологическому обеспечению проведения ЕГЭ; обработки результатов ЕГЭ; ведения федеральных различных баз данных, связанных с ЕГЭ.

С 2009г., когда ЕГЭ вступил в т.н. «штатный режим», вузам страны было запрещено учитывать при зачислении абитуриентов результаты централизованного тестирования, которое раньше проводилось ФЦТ в масштабе страны на добровольной основе; при этом добровольность была и со стороны выпускников школ и со стороны вузов. Централизованное тестирование как массовое тестирование, одновременно проходящее на добровольной основе во многих регионах России, перестало существовать.

После чего ФЦТ, как методологический и научно-методический центр тестирования в России, каким он был до 2009г, очень быстро сдаёт свои позиции: закрывается вся методическая тематика по тестированию, не проводятся конференции, не выпускается журнал. Не подтверждается сертификат Системы менеджмента качества, разработанной и зарегистрированной в Ростехрегулировании ФЦТ в 2005г, на соответствие стандартам качества ГОСТ ИСО 9001:2001. Прекращается работа Системы добровольной сертификации услуг по оценке учебных достижений (СДС) [4]. Несмотря на то, что было разработано 7 стандартов на разные виды услуг, связанных с массовой оценкой учебных достижений, и проводилась добровольная сертификация.

ФЦТ как «центр тестирования» начинает резко терять свой авторитет. Теперь главными задачами ФЦТ становятся обработка результатов ЕГЭ, ведение баз данных, проведение «пробных» ЕГЭ[5], а также организация и проведение котировочных и всякого рода конкурсных комиссий по распределению бюджетных денег на ЕГЭ. Спрашивается – при чём здесь «тестирование», которое все еще остается в названии этой организации?

 

ЕГЭ и централизованное тестирование.

Является ли ЕГЭ «централизованным тестированием»?

В ЦТ и ЕГЭ можно найти различия - и в оценочных материалах и в технологии оценивания результатов. А главное, в основной цели этих видов массовой итоговой оценки подготовленности выпускников школ. Определение ЕГЭ, впервые было дано в 2009г. в документе Рособрнадзора «Порядок проведения ЕГЭ». Там было написано, что выполнение контрольно-измерительных материалов (КИМ) ЕГЭ должно позволить «установить уровень освоения Федерального государственного образовательного стандарта среднего (полного) общего образования»[6]. Тем самым подчеркивалась основная задача ЕГЭ – аттестация выпускников школ, то есть, как бы декларировался критериально-ориентированный подход к интерпретации результатов тестирования.

Но для вуза важна дифференциация абитуриентов по уровню подготовленности и чем точнее, тем лучше,  т.е. нужна была нормативно-ориентированная интерпретация. Поскольку ЕГЭ - это обязательная форма аттестации всех выпускников школ, то задания КИМов решают совершенно разнородные по подготовленности группы учащихся. Научные исследования[7], а также реальная статистика обработки результатов ответов[8] на задания вариантов КИМ ЕГЭ показывают что, в этом случае обеспечить одинаковую точность измерения учебных достижений с помощью единого теста невозможно. Для достижения необходимой точности на всей шкале от 0 до 100 баллов необходимо было или в несколько раз увеличить число заданий, что невозможно по ряду причин, или проводить экзамен по крайней мере в два этапа: итоговый за школу и входной в вуз – по другому тесту, для наиболее сильных. Для групп, очень отличающихся по уровню подготовленности, нужны были тесты соответствующего уровня трудности. Ближе к выполнению этого требования было ЦТ. Абитуриентский тест ЦТ был четко нормативно-ориентированным по целевой интерпретации, содержательно соответствующий требованиям вузов, с указанием рейтинга индивидуального результата на генеральной совокупности. Аттестационный тест с критериально-ориентированной интерпретацией, более легкий, нацелен на аттестацию выпускников школ.

Наиболее полное и четкое научное обоснование несоответствия КИМов декларируемым целям введения ЕГЭ и понятию «педагогический тест» было проведено проф. В.С. Аванесовом[9]. Здесь обсуждаются только вопросы организации и управления в ЕГЭ и их влияния на тестовую культуру педагогического сообщества общеобразовательной ступени системы образования России.

Анализ нормативных документов Рособрнадзора РФ по ЕГЭ показывает, что организационно-технологическая схема ЕГЭ похожа на схему организации ЦТ, действовавшей в России, но имеет и ряд существенных отличий. Роль региональных элементов организационно-технологической системы ЕГЭ на этапе экспериментального режима ЕГЭ выполняли те же учреждения, которые были уполномоченными и утвержденными МОН РФ представительствами ФЦТ по ЦТ. В штатном режиме ЕГЭ именно на базе этих учреждений и организаций часто создавались региональные центры обработки информации (РЦОИ). Но теперь они уже подчинялись не ФЦТ, а только местным государственным экзаменационным комиссиям (ГЭК). ГЭК - это временный рабочий орган. Члены ГЭК региона это, как правило, крупные региональные руководители, призванные своей должностью придать значимость высшему органу ЕГЭ в регионе. ЕГЭ в регионах проводится по инструкциям и методикам, утверждаемым в каждом из регионов. Контроль проведения ЕГЭ на соответствие региональных инструкций организуют опять же местные региональные управления образованием каждого региона.

При оперативном выявлении нарушений в проведении ЦТ, в том числе и статистическими методами, Центр тестирования отменял результаты тестирования и обязывал проводить ЦТ повторно уже при участии своих представителей. Возможность такой процедуры была зафиксирована во всех договорах с региональными представительствами. В ЕГЭ же оперативный контроль на основе статистических данных о результатах как правило, не используется, т.к. статистика поступает в регион после окончания ЕГЭ. Даже при скандальных нарушениях порядка проведения ЕГЭ результаты не отменяются.

В сравнении ЦТ и ЕГЭ по критерию независимости и незаинтересованности в результатах такой оценки организаторами этих видов массовой оценки учебных достижений выигрывает всё-таки ЦТ. Именно потому, что Рособрнадзор теперь всю ответственность за проведение ЕГЭ на местах возлагает на местные органы управления образованием, которым совершенно не выгодно выглядеть хуже других. Напомним, что часть «С» КИМов ЕГЭ тоже проверяется на местах, и этот момент в процедуре проверки ответов даёт львиную долю апелляций.

Таким образом, очень кратко на поставленный вопрос - является ли ЕГЭ централизованным тестированием общероссийского уровня? - можно ответить так: ЕГЭ можно считать централизованным тестированием лишь в той же малой мере, в какой контрольно-измерительные материалы ЕГЭ (КИМы) можно считать педагогическими тестами. А насколько мала эта мера было показано во многих аналитических научных публикациях (см., прежде всего, журнал «Педагогические измерения» и работы профессора В.С.Аванесова на сайтах htpp://testolog.narod.ru и htpp//viperson.ru). Отметим также, что ни в одном нормативном документе по ЕГЭ Рособрнадзора КИМы не называются «тестами», а проведение ЕГЭ «тестированием».

В качестве общей проблемы ЦТ и ЕГЭ можно отметить позицию ряда вузов при приеме абитуриентов по результатам этих видов массовой оценки подготовленности абитуриентов. Сегодня каждый вуз ставит перед собой локальные цели, связанные с выживанием в ситуации экономического и демографического кризиса и правового хаоса, и не склонен отказываться даже от малой толики своих прав. Вузы, принимавшие сертификаты ЦТ, выставляли широкий спектр условий при засчитывании результата тестирования в качестве оценки вступительных испытаний: разнообразные шкалы перевода результатов тестирования в оценки вступительных экзаменов; различия в условиях приема сертификатов по факультетам, предметам, регионам проживания и проведения тестирования. Сейчас всё это остаётся. Поэтому престижные, крепкие вузы «выбивают» себе в Минобрнауке «льготы», связанные с приёмом свидетельств ЕГЭ.

Как известно, существует немаленький список вузов, которым разрешается проводить вступительные испытания в традиционной или иной форме, или устраивать дополнительные испытания в виде собеседования или тестирования. При этом одна из декларируемых целей ЕГЭ – равные требования к уровню подготовленности абитуриентов и условий их зачисления в вуз[10] – становится принципиально недостижимой.

ЦТ в регионах

Централизованное тестирование - это массовое независимое тестирование. И здесь возникает вопрос: - нужна ли сегодня, в условиях штатного режима ЕГЭ, массовая оценка учебных достижений с применением педагогических тестов? И для каких целей? И к чему может привести ситуация полного забвения ЦТ  в России?

Педагогическое тестирование по своему научному потенциалу и эффективности по-прежнему остается наиболее объективным способом оценки учебных достижений. Не только итоговой, но и на любом этапе обучения! Примером проблемных ситуаций, где также требуется такая объективная, независимая оценка, являются:

• аттестация образовательных учреждений и учителей;

• оценка и сравнение результатов работы разного типа школ;

  • мониторинговые исследования на разных уровнях образовательной системы;

• определение факторов, наиболее сильно влияющих на результаты обучения в школе;

• контроль распределения бюджетных средств на различные направления совершенствования региональной системы общего образования;

  • конфликтные ситуации в образовательных организациях при оценке учебных достижений и т.д.

Для получения объективной информации при решении каждой из этих проблем требуются банки стандартизированных и калиброванных тестовых заданий. Выполнение всех научных требований разработки педагогических тестов для массовой оценки, требует определенных затрат: временных, финансовых, необходимого программного обеспечения, участия квалифицированных специалистов: управления образования (в качестве Заказчика); тестологически грамотных учителей-методистов, программистов, специалистов по базам  данных, организаторов апробации тестов и т.д. Поэтому перед руководством образовательной системы (далее – ОС) любого уровня всегда встает вопрос о целесообразности организации самостоятельной разработки педагогических тестов  для массового тестирования, организации банков тестовых заданий.

На рынке услуг по тестированию сейчас уже есть организации, которые действуют очень активно (если не сказать агрессивно): предлагают разработать любого рода тесты под любые цели тестирования, провести статистическую обработку результатов массового тестирования, предлагают всякого рода сборники «тестов» - «аналогов КИМ». Только плати. Некоторые регионы так и поступают. Другие для оценки работы ОС своего региона используют только статистику проведения ЕГЭ в регионе или на другом уровне ОС. Хотя главный инициатор и руководитель внедрения ЕГЭ в России В.А. Болотов неоднократно предупреждал, что делать какие-то выводы о качестве ОС только по результатам ЕГЭ никак нельзя. Тот же призыв в отношении результатов ЕГЭ в декабре 2009 прозвучал и со стороны Комиссии Президента РФ по ЕГЭ в декабре 2010г. (см. http//www.ege.edu.ru ).

К сожалению сейчас, когда оценка деятельности учебных учреждений общеобразовательного уровня и учителей во многом определяется результатами учащихся в обязательных ЕГЭ и ГИА, основные усилия в школах направлены именно на это. Учат тому, что будет проверяться. И нельзя винить в этом только школы и учителей. Они оказались под сильным прессом: с одной стороны - со стороны управленцев образовательной системы, а с другой - со стороны родителей, которые заинтересованы в высоких баллах по ЕГЭ своих детей, любой ценой. Поэтому сейчас главное в школах – это не образование, в полном и настоящем смысле этого слова, а целенаправленная подготовка к ЕГЭ и ГИА[11].

Приходится констатировать проникновение «кимизации» во все процедуры организации и обеспечения  оценивания, осуществляемого в образовательных системах регионов России для разных целей и задач. Постепенно термин «педагогический тест» исчезает из практики оценивания учебных достижений и заменяется «контрольно-измерительными материалами», «тестовыми материалами», «диагностическими работами», «контрольными материалами» и т.п. Подчеркнем, что это не просто замена терминов, это сущностное изменение педагогической деятельности. Это переход на более низкий уровень объективности оценивания учебных достижений.

Если инструмент оценки учебных достижений не является педагогическим тестом, то к его качеству можно и не предъявлять соответствующие требования, выполнение которых требует особых специальных знаний и определенных условий. Во многих регионах существуют банки таких «КИМов» или заданий «КИМов», которые были составлены по сборникам «тестов - аналогов КИМ». Они используются при решении вышеназванных проблем и, как правило, не сопровождаются статистическими показателями их качества. Впрочем, есть ли такие показатели у КИМ ЕГЭ, широкой общественности тоже не известно.

Но есть и регионы РФ[12], которые разрабатывают свои банки тестовых заданий. Правильно организованная разработка регионального банка тестовых заданий (далее – БТЗ), помимо увеличения объективности оценки учебных достижений, ещё и повышает общую культуру использования педагогических тестов и образованность учителей в этой области знаний.

Действительно, созданию БТЗ должна предшествовать работа по структурированию содержания предмета, по уточнению целей изучения, по «переводу» их на язык диагностируемой деятельности, по утверждению перечня т.н. содержательно-деятельностных показателей тестовых заданий. Эта работа необходима, потому что цели изучения школьных предметов, как правило, сформулированы в совершенно недиагностируемом виде. И чем больше специалистов (учителей-предметников, методистов, дидактов) подключается к процессу формулирования достижимых целей, тем более она полезна. Обученные научным основам педагогического тестирования учителя начинают чаще использовать тестовый вид контроля в учебном процессе. К нему привыкают и учащиеся. Психологическая «стоимость» тестирования для учащихся снижается по сравнению с традиционным экзаменом.

Особенно важно, что тесты в этом случае проходят апробацию на контингенте учащихся данного региона; статистические нормы определяются на своем контингенте, что делает педагогические тесты более валидными и надежными для использования в данном регионе, а результаты оценки более объективированными. Как правило, затраты на создание и ведение БТЗ не больше, чем при покупке готовых тестов[13], непонятно где и как апробированных. А возможность автоматизированного составления тестов для разных целей контроля и повышение объективности результатов оправдывают эти затраты.

Другой проблемой является зависимость органов, проводящих массовое тестирование, от органов управления образованием. Всего в нескольких субъектах РФ созданы вневедомственные организации контроля качества образования[14]. В подавляющем числе субъектов РФ «органы управления образованием, призванные обеспечить оптимальные условия для образовательной деятельности, выступают в роли проверяющих самих себя» [15], поскольку все образуемые, в связи с созданием там региональных систем оценки качества образования) центры оценки (мониторинга) качества образования являются их подведомственными учреждениями. И они, естественно, не заинтересованы в передаче каких-то своих функций независимым от них организациям. Поэтому независимые хозрасчетные организации (НОУ), возникшие в конце 90-х годов на гребне интереса к ЦТ и тестированию в целом, широко использующие в своей практике педагогические тесты, с введением ЕГЭ и ГИА испытывают сейчас большие затруднения.

 

Заключение. Есть ли перспективы ЦТ в России?

Культура разработки педагогических тестов и широта их применения в оценивании учебных достижений для разных целей на разных этапах обучения начинает резко снижаться. Отсутствие единого методологического и методического центра педагогического тестирования в РФ способствует этому.

Действия Рособрнадзора РФ по совершенствованию ЕГЭ направлены сейчас в основном на усиление информационной безопасности процедур проведения ЕГЭ и передачи данных. Но такого рода совершенствования организации ЕГЭ не дадут желаемого приращения объективности[16] результатов, если инструментарий для оценки подготовленности выпускников школ изначально концептуально и практически не соответствуют ни декларируемым целям ЕГЭ, ни целям изучения предметов в школе.

По умолчанию считается, что Федеральный институт педагогических измерений (ФИПИ) вполне справляется с главной своей функцией – подготовкой КИМов. Это может быть и так с позиции функциональной цели подведомственного Рособрнадзору учреждения. Монополизм в разработке инструментария для ЕГЭ, закрытость показателей качества (и некачественности) КИМов безусловно не ведет к объективности оценивания в ЕГЭ. Как говорит академик РАО Ал.Семенов: «Внутрикорпоративность в ЕГЭ налицо»[17]. Президент РФ Д.А.Медведев также неоднократно в своих выступлениях говорил о том, что прямой задачей министерств является создание конкурентной среды в соответствующих областях деятельности. Вопрос: выполняет ли эту задачу Минобрнауки и Рособрнадзор?

Давно всем известно, что монополизм в любой области деятельности всегда приводит к застою. В нашем случае, «внутрикорпоративность» в ЕГЭ приводит к замалчиванию недостатков КИМов, и, следовательно, к их консервации. На Международной конференции в Осло «Управление процессами оценивания: стратегия и исследование» 3-6 ноября 2010г. подчеркивалось, что Великобритания и США добились значительных результатов в направлении валидизации тестов именно за счет большого количества тестовых агентств и сильной конкуренции между ними (см. htpp://www.aea-europe.net).

Специалисты в области педагогического тестирования в США и других странах сейчас работают над тем, как привлечь к процессам валидизации самих учащихся, учителей школ и преподавателей вузов. А у нас, по мнению руководства Рособрнадзора, количество критических замечаний на КИМы уменьшается с каждым годом. Но это «уменьшение» связано не с повышением «качества» КИМ, а с пониманием непробиваемости монополизма разработки КИМов. Преподаватели-предметники, хорошо образованные в области педагогического тестирования и активно анализирующие в течение ряда лет эксперимента ЕГЭ содержание конкретных КИМ по разным предметам, но не входящие в «корпоратив» предметных комиссий  ЕГЭ, не получали никакого ответа на свои замечания и предложения.

«Непараллельность» вариантов КИМ остается прежней. Все это уменьшает и активность продвинутых в области тестирования специалистов в совершенствовании КИМ, и мотивацию учителей к повышению квалификации в области педагогического тестирования. Получается, что руководство ЕГЭ совершенно не заинтересовано в повышении уровня тестовой культуры педагогического сообщества.

Выводы.

1. С введением ЕГЭ в качестве обязательной и единственной формы итоговой аттестации выпускников школ централизованное тестирование стало возможно только на уровне региона (субъекта) РФ. Но уровень качества такого тестирования теперь целиком зависит от понимания руководством региона важности объективности оценки учебных достижений и ее независимости от управлений образованием.

2. Монополизм в верхних эшелонах управления образованием приводит к подражанию и на других уровнях управления образовательных систем. Перспективы ЦТ в регионах, а также перспективы развития и применения тестирования в целом для разных целей педагогического оценивания на общеобразовательной ступени образования связаны, в первую очередь, с устранением монополизма в принятии решений по формам и методам итоговой аттестации выпускников школ, реализацией принципа «портфолио», созданием конкурентной среды в виде независимых региональных центров тестирования или  тестовых агентств на общероссийском уровне.

3. Отсутствие единого методологического и методического центра педагогического тестирования в РФ снижает культуру разработки педагогических тестов и широту их применения в оценивании учебных достижений, для разных целей, на разных этапах обучения.

 

[1] Аванесов В.С. Композиция тестовых заданий. 3 изд. - М., Центр тестирования, 2002г. -239 с.

[2] Семов А.М., Семова М.А., В.А. Хлебников. Единый итерационный процесс совместной количественной оценки трудностей  заданий и уровней подготовленности участников тестирования. Труды Центра тестирования. 1999, вып.2, с.54-66

[3]См. на сайтах министерств образования стран СНГ. Например, Положение о централизованном тестировании Республики Беларусь - на сайте Республиканского института контроля знаний (РИКЗ).

[4] Михалева Т.Г., Хлебников В.А. Система добровольной сертификации услуг по оценке учебных достижений учащихся образовательных учреждений России. // Школьные технологии. № 3. 2006.

[5] См. официальный сайт ФЦТ.

[6] Приказ Минобрнауки РФ от 24.02.2009 №57  «Порядок проведения ЕГЭ», раздел 1, п.2.

[7] см., например, Карданова Е.Ю. «Моделирование и параметризация педагогических тестов: основы теории и приложения. – М.: Федеральный центр тестирования, 2008, 304 с.

[8] В.В.Овчинников. О точности результатов ЕГЭ 2004 г.//Тезисы ВНПК “Развитие тестовых технологий в России». 13-17 ноября 2004г.

[9] В.С.Аванесов. ЕГЭ в фокусе научного анализа // «Педагогические Измерения» №1, 2006г., стр.3-31.

[10] Рассмотрение правомочности этой цели и неприятия ее вузами остается за рамками цели данной публикации.

[11] Государственная итоговая аттестация школьников за основную общую школу (9-ый класс).

[12] Например, Новосибирская область, Новгород Великий.

[13] А покупать их придется каждый раз при изменении целей оценки учебных достижений.

[14]Например, в Ханты –Мансийском Автономном округе.

[15]Лапшина Н.Ф., Спасская В.В. Службы контроля качества образования. Системный подход к организации.// Стандарты и мониторинг в образовании. 2001 г.№5.

[16] Аванесов В.С. Проблема объективности педагогических измерений. Педагогические Измерения № 3, 2008. – С. 3- 40.

[17] Сайт Рособрнадзора - Пресс-центр - Горячий вечер с Тиграном Кеосояном. ДТВ. 17 июня 2010 - Есть ли польза от ЕГЭ…

Рейтинг всех персональных страниц

Избранные публикации

Как стать нашим автором?
Прислать нам свою биографию или статью

Присылайте нам любой материал и, если он не содержит сведений запрещенных к публикации
в СМИ законом и соответствует политике нашего портала, он будет опубликован