Государственный центр тестирования (ГЦТ) опубликовал несколько проектов документов, представляющих интерес для старшеклассников, их родителей и педагогов. Это проекты постановлений Кабинета Министров «О внедрении национальной тестовой системы оценки знаний по общеобразовательным предметам» и «Об определении склонности абитуриентов к педагогической деятельности», а также проект постановления президента «О дальнейшем упрощении вступительных экзаменов в высшие образовательные учреждения». Попробуем проанализировать, какие нововведения предлагаются в системе тестового отбора и что стоит за этими нововведениями.

Унифицированные выпускные и вступительные экзамены: непонятный тандем

Об унификации (объединении) выпускных школьных и вступительных вузовских экзаменов говорилось в проекте Государственной программы на 2020 год (в окончательную редакцию программы данный пункт не вошёл). Мы уже писали о том, что длинный экзаменационный марафон за короткий промежуток времени может быть психологической нагрузкой для абитуриентов, и можно минимизировать стресс для детей путём объединения государственной итоговой аттестации в школе и вступительных экзаменов, по аналогии с российским ЕГЭ, британским A-level или европейским Matura. И вот, кажется, лёд тронулся. Но попробуем вчитаться в текст проекта.

Предлагается, что начиная с 2021/2022 учебного года, школьники будут сдавать тесты по пяти предметам (три обязательных предмета + два предмета по выбору), результаты которых будут засчитаны в государственной итоговой аттестации и вступительных вузовских экзаменах. Тесты будут проводиться в апреле-мае, критерии оценки и другие параметры будут определяться Государственной комиссией по приёму в образовательные учреждения. Те, кто не смогут пройти эти тесты, будут иметь право участвовать в тестовых испытаниях (собственно вступительных экзаменах) летом. Вот здесь и возникает ряд вопросов, на которые разработчики проекта не заложили ответов.

Реклама на Газета.uz

Во-первых, сроки проведения тестов. Предлагается, что эти «унифицированные» экзамены пройдут в апреле-мае, а регистрироваться на них надо будет ещё раньше, возможно, до февраля. Учебный год, как правило, заканчивается, 25 мая. Если проанализировать школьные учебники для 11-х классов, в них вплоть до конца учебного года прописаны новые темы.

Как школьник будет сдавать итоговую аттестацию, ещё не закончив школьную программу? Учителя в школе будут усиленно «гнать лошадей», чтобы уложиться раньше срока? Школьная программа будет кардинально пересмотрена, чтобы после марта выпускные классы ничего нового не проходили? Школьники должны будут участить занятия с репетиторами, чтобы досрочно закончить программу?

Если взглянуть на опыт других стран, то российский ЕГЭ сдаётся с конца мая до начала июля, а досрочный период, проходящий в марте-апреле, в основном предназначается для выпускников прошлых лет. Да и другие подобные экзамены, такие как казахстанское единое национальное тестирование (ЕНТ) и кыргызское общереспубликанское (ОРТ), для основной массы школьников проходят после освоения ими школьной программы.

Во-вторых, статус тестов. Если тесты будут иметь статус «унифицированных» экзаменов, выполняющих функции итоговой аттестации в школе и отбора в вузы, непонятно, почему выпускник, не сумевший пройти эти тесты, будет иметь право участвовать в тестовых испытаниях по приёму в вузы летом. Ведь как может школьник, не сдавший итоговую аттестацию в школе, получить аттестат и подавать в вуз?

Получается, итоговая школьная аттестация будет проводиться в двух совершенно разных форматах — в виде тестов, проводимых ГЦТ, и в виде традиционных экзаменов, проводимых школой? Но тогда результаты этих двух видов аттестаций будут совершенно несопоставимы, так как виды заданий и критерии оценки совершенно разные.

И старшекласснику по-прежнему придётся готовиться к тому, чтобы пройти длинный экзаменационный марафон, от которого вроде бы его хотели избавить: если он не пройдет аттестацию, проводимую ГЦТ в виде тестов, его будет ждать совершенно иной вид аттестации в виде устных и письменных «билетов».

На вопросе о несопоставимости тестов, проводимых ГЦТ и традиционных экзаменов, проводимых школой, стоит остановиться отдельно. Мы уже неоднократно писали, что большинство тестовых заданий, составленных ранее ГЦТ, не направлены на проверку компетенций, заложенных в образовательных стандартах. Они в основном проверяют степень зубрёжки фактов и деталей из учебников. Судя по тому, что результаты тестов предполагается публиковать на сайте ГЦТ на следующий день после тестирования, тесты по всем пяти предметам будут сдаваться в один день и все задания будут закрытого типа. При составлении заданий закрытого типа нужно очень хорошо разбираться в тестологии, чтобы задания были направлены на проверку когнитивных навыков высокого уровня.

В основном на проверку памяти также направлены билеты итоговой аттестации для 11-классников, распространяемые в социальных сетях. Но если тесты ГЦТ, как правило, проверяют знание мелких деталей, экзаменационные билеты уходят в другую крайность — вопросы составлены крайне размыто, так, что ответы учеников можно трактовать и оценивать как заблагорассудится.

Возьмём, к примеру, такой вопрос в билете по истории: «Восстание Спартака». Какой ответ ожидается от ученика на такой вопрос? Рассказ о причинах и последствиях восстания? Может, описание боёв между восставшими и правительственными войсками? А может, ученику, словно в известном анекдоте про экзамен по истории, потребуется поимённо перечислить восставших? Такая постановка вопроса — классический пример того, как нельзя составлять задания для оценки.

О неопределённости статуса «унифицированных» экзаменов говорят и другие предлагаемые нормы. В проекте постановления президента содержится пункт, гласящий, что если выпускник удовлетворительно сдаст тесты по двум предметам по выбору, он может участвовать в конкурсе в вузы без дополнительных экзаменов. Если же он не сможет удовлетворительно сдать хотя бы один из двух предметов по выбору, он должен будет участвовать в итоговой аттестации, проводимой школой.

А теперь представим картину: выпускник не смог сдать тесты по обязательным предметам, но успешно сдал тесты по выбранным предметам. Что тогда? Будут ли результаты тестов по успешно сданным предметам иметь силу при поступлении в вуз? Но как ученик получит аттестат, не имея достаточных знаний по обязательным предметам?

Или другой случай. Выпускник сдал тесты по обязательным предметам и один из предметов по выбору. Будет ли он участвовать в итоговой аттестации по всем предметам или только по тому предмету, который был сдан неудовлетворительно? Будут ли при поступлении в вуз засчитаны результаты тестов по успешно сданным предметам, или же абитуриенту придётся пересдавать все пять предметов?

В-третьих, критерии оценки. В проекте постановления президента указано, что перечень предметов, количество заданий и критерии оценки будут определяться Государственной комиссией по приему в образовательные учреждения. В положении о комиссии, утвержденной правительством, указано, что она является коллегиальным совещательным органом, но тем не менее наделена широкими полномочиями, в том числе определением и совершенствованием форм и критериев оценки знаний абитуриентов. Но количество и виды заданий в тесте и критерии оценки — это важные параметры, определяемые в спецификации теста, крайне важном документе для любого массового тестирования.

Спецификация теста составляется не чиновниками, а специалистами-тестологами и предметниками и утверждается после ряда эмпирических исследований, доказывающих валидность тестов.

Автор не может припомнить ни одной организации, профессионально занимающейся тестированием, будь то российский ФИПИ, британский Cambridge Assessment или американский ETS, которой бы чиновники составляли и утверждали такой важный документ, определяющий валидность теста как спецификация теста. На наш взгляд, перекладывать задачу по составлению и утверждению спецификации тестов на плечи чиновников — это ни что иное, как попытка уйти от ответственности. Представьте, как бы вы отреагировали, если бы врач, вместо того, чтобы выписать вам рецепт, направил вас за рецептом к чиновнику, курирующему фармацевтическую отрасль?

В проекте постановления указано, что Министерство народного образования определяет минимальный проходной балл по тестируемым предметам. Мы писали, что определение проходного балла — это специальная процедура, выполняемая специалистами после того, как был составлен тест. Мы также говорили, что при использовании многовариантной системы необходимо провести процедуру шкалирования — количество заданий, на которые нужно ответить для проходного балла может отличаться для разных вариантов в зависимости от результатов шкалирования. Значит, определение минимального проходного балла также является задачей специалистов по тестологии, которая не может быть переложена на чиновников.

Как мы смогли убедиться, проект документа о «дальнейшем упрощении вступительных экзаменов» вызывает много вопросов с научной точки зрения. Первостепенная задача любой организации, занимающейся тестированием на государственном уровне, по результатам которого принимаются важные решения для всех участников системы образования, — добиться валидности, научной обоснованности тестов. Чего мы пока, к сожалению, не видим.

Национальная тестовая система по общеобразовательным предметам: хаос или дополнительная возможность?

Ещё одно нововведение, предлагаемое ГЦТ, — внедрение национальной тестовой системы по общеобразовательным предметам, по аналогии с тестовой системой по иностранным языкам. Абитуриенты будут иметь возможность на платной основе сдавать тесты по родному (узбекскому, русскому или каракалпакскому) языку и литературе и математике (начиная с IV четверти 2020 года), а также по химии, биологии, физике, географии и истории. Формат тестирования (количество и виды заданий, критерии оценки, время, отводимое на тестирование) будет определяться ГЦТ. Соискатели, набравшие 60% и более от максимального количества баллов, получат электронный сертификат, действующий в течение трёх лет и дающий право на максимальный балл по соответствующему предмету при поступлении в вуз.

Проект положения о порядке проведения тестов и присвоении сертификата в основном заимствован из аналогичного положения о сертификации по иностранным языкам. Сертификация по иностранным языкам была введена для мотивации учащихся к реальному изучению языков, с развитием всех языковых навыков (аудирование, чтение, письмо, говорение), а не для стимулирования зубрёжки грамматических правил, традиционно проверяемой при поступлении в вуз. Однако после спорного усиления требований для получения сертификата количество желающих получить сертификат заметно поубавилось. Минуя организационные детали, обратим внимание на вопросы валидности предлагаемых сертификационных тестов.

Проходной балл в 60% взят из того же положения о сертификации по иностранным языкам. Мы уже объяснили выше, что определение проходного балла — специальная процедура, проводимая согласно требованиям науки тестологии, и проходной балл никак не может быть определён до составления теста. И уж точно проходной балл не может быть одинаковым для разных тестов по разным предметам. К примеру, пороговое значение ЕГЭ своё для каждого предмета, и шкала перевода баллов может меняться от теста к тесту по результатам тестирования. А проходной балл в 60% в сертификации по иностранным языкам был определён в далёком 2013 году «методом тыка», без каких-либо научных исследований и математического моделирования.

Другой спорный момент — перечень проверяемых компетенций. Почему-то решено объединить родной язык и литературу в один экзамен, хотя литература сама по себе является отдельной дисциплиной со своим научным и методическим аппаратом и никак не может считаться «довеском» к языку. В том же ЕГЭ, A-level или SAT язык сдаётся отдельно, а литература — отдельно.

Далее, попытка проверить такие «компетенции», как «умение давать информацию об авторе художественного произведения», «умение выразительно читать наизусть стихотворные произведения» (которые, по сути, не являются компетенциями, так как компетенция, согласно действующим образовательным стандартам, — это «умение применять знания и навыки в повседневной жизни») могут превратить сертификационный экзамен в тест на память.

Третий момент, заслуживающий внимания, — проведение апелляции без участия соискателя (абитуриента). К сожалению, в нашей системе сложно избежать или минимизировать ошибки в заданиях и субъективность оценки, когда устные и письменные задания оцениваются комиссиями. И попытки добиться справедливости через суд могут также оказаться тщетными или стоить абитуриентам немалого времени и нервов.

Думается, доверия к экзаменам будет больше, если апелляции будет рассматривать комиссия, не зависящая от ГЦТ, и делать это будет в присутствии самого абитуриента и нейтральных экспертов.

И наконец, самое главное. Тесты, имеющие решающее значение для участников — а тесты ГЦТ несомненно являются таковыми — будут диктовать дальнейшие действия участников системы образования. Ситуация, когда существуют разные тесты, проверяющие совершенно разные компетенции и делающие это совершенно разным образом, дезориентирует участников системы и вносит хаос.

Исследование, проведенное мной в рамках магистерской диссертации в Университетском колледже Лондона, показало, что наличие двух несопоставимых систем проверки знаний по иностранным языкам, проводимое тем же ГЦТ, — вступительные тесты, проверяющие степень знания грамматических правил, и сертификационные тесты, проверяющие языковые навыки, — создаёт определённые проблемы как для педагогов, так и для самих абитуриентов и их родителей.

Не могут быть равнозначными и сопоставимыми тесты, проверяющие знания по пяти предметам за один день и состоящие только из заданий закрытого типа, и тесты, проверяющие компетенции по отдельно взятому предмету и, возможно, включающие также письменный и устный компоненты. Значит, параллельное сосуществование двух разных систем оценки для одних и тех же целей будет создавать дополнительные проблемы для учителей и учеников.

Здесь нам могут возразить, что с существованием разных видов экзаменов у абитуриентов появится больше возможностей для поступления в вуз. Это действительно так, если эти разные виды экзаменов в конечном итоге проверяют одни и те же компетенции. Например, экзамены IELTS и TOEFL, используемые международными вузами в качестве подтверждения уровня владения английским языком, проверяют одни и те же компетенции, несмотря на разницу в формате. Или пять разных организаций, имеющих право проводить экзамены A-level в Англии, обязаны проверять одни и те же компетенции, заложенные в образовательных стандартах страны. А когда стандарты диктуют одно, а разные экзаменационные системы проверяют что-то свое, это неизбежно приведет к ситуации «лебедя, рака и щуки».

Оценка склонности к педагогической деятельности: назад в прошлое?

И наконец, третий проект, опубликованный ГЦТ, касается проверки склонности к педагогической деятельности абитуриентов, поступающих в педагогические вузы. Предполагается, что специальные комиссии из числа представителей Минвуза, МНО и МДО будут оценивать склонность к педагогической деятельности абитуриентов на основе собеседования по «билетам» и критериям, утверждаемым министерствами. В течение 30 минут, из которых 15−20 минут отведены на подготовку, эксперты должны будут оценить склонность абитуриента к педагогической деятельности. Абитуриенты, набравшие 50% и более, будут допускаться к тестированию, проводимому ГЦТ.

Тут, на мой взгляд, комментарии излишни. Учитывая демонстрируемое умение сочинять билеты с весьма размытыми вопросами и не менее размытыми критериями оценки, остаётся только догадываться, что произойдёт. Благо за примерами далеко ходить не надо — генеральный прокурор страны отмечал, что процессы приёма студентов в вузы и зачисления в магистратуру наиболее подвержены коррупции, и говорил о системной коррупции в процессе творческих экзаменов. Ведь, кажется, в далёком 1993 году тестовая система приема в вузы была внедрена вместо экзаменов на основе билетов в целях искоренения коррупции. Но если даже система, призванная искоренить коррупцию, сама была, по информации генпрокурора, подвержена коррупции, что ожидать от системы, далёкой от прозрачности?

Кроме того, склонность к какой-либо деятельности не выявляется в течение 15-минутной беседы на основе билетов. Склонность выявляется с помощью специальных тестов (aptitude tests), разработка и валидация которых — долгий и кропотливый процесс, требующий научного подхода. А предлагаемая процедура выявления склонности, на наш взгляд, в лучшем случае превратит процесс предварительного отбора в субъективное «понравились — не понравились», ничего общего не имеющее с научно обоснованным отбором, а в худшем — смотрите выше.

Попробуем предложить наше видение решения проблем (многие из которых мы озвучивали и ранее):

  • не изобретать «наш путь» со множеством разных систем и подходов к тестированию, а использовать то решение, которое работает во многих странах: реально унифицировать выпускные школьные экзамены и вступительные вузовские экзамены — за счёт этого отпадёт необходимость в «сертификационных экзаменах» и собственно вступительных экзаменах;
  • отказаться от практики проведения тестирования всех предметов за один день;
  • по каждому из предметов, как обязательных, так и предметов по выбору, разработать и апробировать детальные спецификации для выбора наиболее оптимального формата тестирования компетенций, заложенных в образовательных стандартах, используя все доступные в тестологии виды оценки — при этом формат теста и критерии оценки для каждого предмета могут быть свои;
  • выпускников школ начинать оценивать по предметам после завершения ими школьной программы (для выпускников прошлых лет и тех, кто не смог с первой попытки успешно сдать тесты, можно предусмотреть дополнительные временные слоты);
  • внедрить полный цикл валидации всей базы тестов и тестовых заданий, с опубликованием показателей валидности и надёжности на сайте организации;
  • при обработке и опубликовании результатов тестов, а также определении проходных (минимальных) баллов строго следовать требованиям науки о тестах — для этого может понадобиться больше времени, нежели один день;
  • если по каким-либо специальностям требуется предварительная оценка склонности к профессии, проводить такую оценку с помощью научно обоснованного инструментария.

Как мы видим, все три проекта документов производят впечатление сырых, не учитывающих многие нюансы, а также требования науки о тестах. Возможно, это является следствием того, что ГЦТ, как и многие другие организации, работает не на полную мощность, предпринимая меры по защите своих сотрудников от пандемии. Но тогда, может быть, не стоит принимать скоропалительных решений, которые на данный момент не являются критически необходимыми, а доработать документы и выносить на обсуждение «на свежую голову», когда обстоятельства позволят? Ведь такие решения будут иметь далеко идущие последствия как для всех участников системы образования, так и для самой системы и общества в целом.

Мнение автора может не совпадать с мнением редакции.