С удивлением узнал, что против меня и издания, которое опубликовало мой репортаж с пресс-конференции Министерства народного образования, Государственный центр тестирования подал в суд и требует опровержения и возмещения морального ущерба. Предоставляя юристам юридическую сторону вопроса, а вопросы свободы слова — специалистам в этой сфере (я не являюсь ни тем, ни другим), хотел бы обратить внимание на научные вопросы, которые у меня как специалиста в области педагогики и педагогического оценивания (тестологии) возникли после ознакомления с исковым заявлением ГЦТ.
ГЦТ заявляет: «Вышеуказанные некачественные тестовые задания никак не могли оказаться в базе заданий ГЦТ по объективным и субъективным причинам. Поскольку формирование базы тестовых заданий — это сложный процесс, который осуществляется в несколько этапов. Оценивается соответствие заданий требованиям тестологии и проводится экспертиза в несколько этапов, после чего они включаются в базу заданий».
В современной науке о тестах — тестологии — валидность, или точнее, конструктивная валидность, является единственным критерием качества тестовых заданий. Чтобы иметь право заявлять, что тестовые задания соответствует требованиям тестологии и являются качественными,
Первое. Мы уже говорили, что валидность — это адекватность интерпретации (толкования) результатов теста по отношению к цели тестирования. Тест — это инструмент измерения, только мы мерим не физические величины, которые легко поддаются измерению (например, рост, вес, объем), а более абстрактные, сложно измеряемые понятия, такие как, например, психологические свойства человека, его знания, компетенции (в науке эти понятия называются «конструктами» — отсюда и «конструктивная валидность»). Так же как мы не можем использовать одни и те же инструменты для измерения разных физических свойств, например, линейку для измерения и длины, и веса, тестологи не могут использовать одни и те же инструменты (тестовые задания) для измерения разных конструктов. Выбор инструмента измерения (тестовых заданий) всегда будет зависеть от цели тестирования.
Отвечая на мой вопрос о тестовых заданиях, первый заместитель министра народного образования сказал, что для тестирования учителей ГЦТ использовал ту же базу, которая используется для тестирования абитуриентов. Здесь у меня возникает вопрос к специалистам ГЦТ: неужели в этих двух совершенно разных ситуациях — отборе абитуриента, вчерашнего школьника, для дальнейшего обучения в вузе и оценке профессиональной компетенции педагога — измеряемые конструкты настолько схожи, что можно использовать одни и те же инструменты измерения (тестовые задания) как в первом, так и во втором случае? Если быть более научным, могут ли результаты использования одной и той же базы тестовых заданий позволять делать совершенно разные выводы о совершенно разных категориях тестируемых?
Второе. ГЦТ отмечает, что «тестовые задания разрабатываются в соответствии с учебными планами общего среднего и среднего специального и профессионального образования». Тестовые задания не могут быть разработаны в соответствии с учебными планами.
Тестовые задания должны быть разработаны в соответствии с образовательными стандартами — документами, где прописывается, какими умениями, навыками, компетенциями должен обладать выпускник того или иного уровня образования.
Например, если стандарты говорят, что выпускник должен уметь «проанализировать реальность, отраженную в художественном произведении» или «оценить идейно-художественные характеристики произведения», значит, тест должен позволять делать вывод, умеет ли тестируемый это делать. А учебные планы — это не что иное, как путь, который намечает для себя образовательная организация или отдельно взятый педагог для достижения целей, заложенных в стандартах. И эти пути могут существенно различаться, несмотря на общность цели.
Например, если взять опыт России, где школы свободны в выборе учебных планов, методик, учебников для достижения целей, заложенных в Федеральных образовательных стандартах, Единый госэкзамен не составляется на основе учебных планов или учебников, используемых теми или иными образовательными учреждениями, а измеряет, насколько учащиеся достигли целей стандарта — насколько они овладели компетенциями, прописанными в стандартах. То же самое и с другими экзаменами, такими как, например, международные тесты по английскому языку IELTS или TOEFL — они измеряют уровень сформированности компетенций, заложенных в международных стандартах по английскому языку, независимо от того, где, при каких обстоятельствах, с помощью каких учебных планов или учебников тестируемый изучал этот язык до экзамена.
Возвращаясь к вопросу о компетенциях. Мне как специалисту интересно, какие компетенции, заложенные в образовательных стандартах, проверяют следующие тестовые задания: «Какая семья владела имением Лысые горы в „Войне и мире“ Толстого?» (официальный сборник ГЦТ по русскому языку и литературе, стр. 106, задание 4)? В части второй третьего тома произведения читаем: «Лысые Горы, именье князя Николая Андреича Болконского, находились в шестидесяти верстах от Смоленска, позади его, и в трех верстах от Московской дороги». Какую компетенцию хотят увидеть авторы этого задания? Запоминание учеником текста четырехтомного произведения? А если авторы задания хотят здесь увидеть ассоциацию «Лысые горы — Голгофа» и «князь Андрей — мученик и Христос — мученик», как это видят некоторые филологи, насколько правомерно требовать такого рода анализы, требующие глубоких знаний не только литературы, но и истории и религиоведения, с ученика школы?
Другие примеры. «Кто подарил скатерть-самобранку мужикам-правдоискателям в поэме „Кому на Руси жить хорошо?“ Некрасова?» (тот же сборник, стр. 106, задание 27). «Как звали арбакеша, о котором так печется мать, в романе „День и ночь“ Чулпана?» (официальный сборник ГЦТ по узбекскому языку и литературе, стр. 112, задание 17). «В семнадцатой песне"Наставлений"Абая связанность чего с телом поддерживает Знание? Варианты: сердца, энергии, ума, ума и сердца» (тот же сборник по узбекскому языку и литературе, стр. 117, задание 15). «Кто сказал ту или иную фразу в таком-то эпосе?» (тот же сборник, стр. 70−75) «Какое сооружение изображено на рисунке?», «Какое божество изображено на рисунке?» или «Какой деятель изображен на рисунке?» (официальный сборник ГЦТ по истории, стр. 110−116). Опять же, на измерение каких компетенций, заложенных в образовательных стандартах, направлены такие задания? Какие обоснованные выводы о компетенциях тестируемых можно сделать, анализируя их ответы на подобные задания? Или с какой целью в сборник по английскому языку включены задания, основанные на текстах, по лексическому, грамматическому и стилистическому строю превышающие уровень B1, требуемый от абитуриента к концу средней школы?
Я как специалист, изучавший тестологию в рамках программы магистратуры, не вижу принципиальной разницы между образцами заданий, озвученных мной на пресс-конференции МНО и приведенными выше. А ведь примеры, которые я привел выше, взяты из сборников, официально опубликованных ГЦТ из базы заданий 2019 года. И те, и другие не валидны — не позволяют измерить те конструкты, которые они должны измерять.
Третье. Надежность тестов является одной из характеристик, напрямую влияющих на их валиднось — ненадежные тесты не могут быть валидными. Объясняя простыми словами, если сегодня Иванов по вашим тестам набрал 90 баллов, а через некоторое время он же по этим же тестам набрал, скажем, 50 или 150 баллов, значит, тесты не надежные и, соответственно, не валидные. Для вычисления надежности проводится апробация всей (!) базы заданий на репрезентативной выборке. Цифры, полученные в результате апробаций, вставляются в формулы, которые показывают различные характеристики этих заданий: их уровень сложности, дискриминационная сила и другие. Полученные цифры непосредственно влияют на надежность тестового варианта, в котором используется эти задания. Причем задания могут показывать разные характеристики в разных комбинациях — вполне «нормальные» задания в одном варианте могут «повести себя ненормально» (т. е. показывать неприемлемые характеристики), если их включить в другой вариант.
В науке о тестах существуют определенные стандарты, которым должны соответствовать тестовые задания и варианты. Например, сложность заданий должна быть в пределах 0,3−0,7, дискриминационная способность должна быть выше 40%, DIF (Differential item functioning &mdash уровень дискриминации различных групп тестируемых заданием) должен быть равен нулю. Коэффициент надежности всего варианта должен быть выше 0,85.
Мы говорили, что организации, занимающиеся тестированием, публикуют для общественности всю статистику, необходимую для получения представления о качестве заданий и сопоставимости результатов. Если, как утверждает ГЦТ, качество заданий соответствует требованиям тестологии, то почему на сайте ГЦТ нет каких-либо цифр, позволяющих в этом убедиться? Проводилась ли апробация заданий, предложенных педагогам в Сырдарьинской области, на репрезентативной выборке педагогов? В каких пределах были такие характеристики, как сложность заданий, дискриминационная способность, DIF тестовых заданий? В каких пределах были коэффициенты надежности вариантов и стандартная ошибка измерения? Учитывая невозможность добиться идентичного уровня сложности всех вариантов при использовании многовариантной системы, как проводилось шкалирование результатов тестирования педагогов до того, как эти результаты были представлены МНО и другим организациям?
Четвертое. Как правильно отметил ГЦТ, формирование базы тестовых заданий — это сложный процесс, который осуществляется в несколько этапов. Эти этапы зафиксированы в основополагающем документе любой организации, занимающейся тестированием, — «Стандартах педагогического и психологического тестирования». К каждому этапу — начиная от составления спецификации теста и подбора составителей теста, апробацией заданий и анализом результатов апробации, компиляцией вариантов тестов и заканчивая проведением (администрацией) теста, обработкой и оглашением результатов — предъявляются конкретные требования. Насколько процедуры, принятые в ГЦТ, соответствуют этим требованиям, чтобы некачественные тестовые задания не могли оказаться в базе заданий по объективным и субъективным причинам?
Например, одним из требований «Стандартов» является прозрачность. Все участники тестирования должны знать и понимать, что требуется в тесте, как работа тестируемых будет оценена и как будут интерпретированы результаты тестирования. Обладали ли педагоги в Сырдарье достаточной информацией по этому поводу? Каким образом была доведена до их сведения спецификация теста с подробной информацией, какие их компетенции будут измерены и каким образом?
Подобные вопросы, равно как и другие, я пытаюсь поднять благодаря «Газете.uz», которая предоставляет мне площадку для моих анализов. Эти вопросы поднимаются мной не с целью «дискредитации Государственного центра тестирования и его сотрудников, ущемление чести, достоинства и деловой репутации», как это, к сожалению, видит ГЦТ.
Тесты ГЦТ обладают огромной силой «эффекта отлива» — влияют на дальнейшие действия участников системы образования и через них — на систему образования в целом. Например, в случае с тестированием педагогов ответственные органы, такие как МНО, Госинспекция по надзору за качеством образования, Кабинет Министров принимают определенные решения, намечают мероприятия, требующие, в том числе, бюджетных затрат. Поэтому крайне важно, чтобы организация, на которую возложено измерение, следовало всем требованиям науки о тестах и информировало общественность об этом.
К сожалению, ни я, ни читатели «Газеты.uz» до сих пор не получили четких ответов на многие вопросы, поднятые в публикациях. Но проблема существует, и ее надо решать. Это значит, что к подобным вопросам мы вынуждены постоянно возвращаться, нравится это кому-то или нет.
С уважением,
Комил Джалилов
Timur Irmatov
Молодец!
Timur Bakiev
Тесты давно превратились в угадайки. Считаю что их актуальность утрачена. Необходимо возвращаться к классическим экзаменам, когда можно оценить абитуриента более достоверно. Ну или вообще отменять. Суепрконтракт И нет проблем! Зачем мучаться то?!
Raxmatulla Raxim
ГТЦ считает себя обиженным за критику? Через сколько бы экспертиз не проходили вопросы, в этом направлении очень много пустых вопросов.
ОЧЕНЬ МНОГО ВОПРОСОВ, КОТОРЫЕ НЕ НЕСУТ В СЕБЕ ЗНАНИЯ. ЭТО ТО же (подобие), что и включить в тест вопрос: “На какой странице учебника литературы напечатана глава IV. ПОЕДИНОК. произведения Пушкина А.С. “Капитанская дочка"?
Burkhan Mamatkulov
Комил Джалилов молодец. Грамотно, четко и ясно ответил ГЦТ.
Raxmatulla Raxim
К СОЖАЛЕНИЮ, В НАСТОЯЩЕЕ ВРЕМЯ, когда существуют контракты и супер контракты, ОБЛАДАНИЕ ДИПЛОМАМИ и СЕРТИФИКАТАМИ ЕЩЕ НЕ ОЗНАЧАЕТ БЫТЬ СПЕЦИАЛИСТОМ СО ЗНАНИЯМИ.
DM
Вместо того, чтобы подавать в суд, тратя деньги налогоплательщиков, занялись бы работой над ошибками! Стыд, что абитуриентов и преподавателей учат запоминать никому не нужные данные, а не учат мыслить! Нужны коренные перемены, и если руководство ГТЦ не задумывается над этим, задуматься нужно руководству страны. Думаю многие граждане Узбекистан поддержат меня!
Дилмурад Хасанов
Комил Джалилов поднял насущную проблему, четко и адекватно охарактеризовал её. Молодец!
гуля саидова
Комил Джалилович абсолютно прав. Мы полностью разделяем
видение этой проблемы с ним.
Вы затронули многие вопросы волнующие абитуриентов, родителей и специалистов. Надо более основательно подходить к тестированию. Абсолютно отрицательно относимся к дополнительным предметам(3+2) и считаем, что гуманитариям совсем не нужна математика. Это все ляжет тяжелым бременем на абитуриентов и родителей. И вообще надо прислушиваться к мнениям специалистов и не гоже слепо перенимать западный опыт
Ruslan Artikov
Это не только безграмотный, но и коррумпированный “объект“. Наша семья имеет горький опыт общения с ГТЦ.
Правильность ответа моей сестренки была подтверждена Российским дворянским обществом. Более того, была отмечена некорректность сформулированного ГТЦ тестового задания. Было получено аналогичное
заключение от общепризнанного ученого
Узбекистана — академика Э. Ртвеладзе.
Тем не менее, рассматривавший наш иск
судья Мирзо Улугбекского межрайонного
суда по гражданским делам тоже признавала в “кулуарах“ нашу правоту.
Однако вынести законное решение не позволили, а у “независимого“ судьи ни совести, ни духа не хватило этому противостоять. Было сказано, что прецедентов “неправоты“ ГТЦ не было и не будет.
Может быть поданным иском ГТЦ наконец-то “выроет“ себе “достойную могилу“, в которой погребут все допущенные и имеющиеся безграмотные ошибки и вольные или невольные прегрешения.
Может быть в наши дни уже не побоятся пострадавшие от ГТЦ граждане Республики Узбекистан высказаться открыто и беспристрастно.
В надежде на то, что, наконец, ГТЦ признает свои ошибки и откроется для восприятия конструктивной критики и предпримет действенные меры по исправлению существующей ситуации, что позволит воспитать грамотных и перспективных сынов и дочерей для нашего родного Узбекистана. Удачи!
Erkin S
Правильное точка зрения! Автор Газета Уз доходчиво изложил свои видения! Молодец! Что касается суда и так далее, это не правильный подход на статью. Необходимо в начале вести диалог с автором статьи. Понять, какую цель преследовал автор, потому что в статье нет ничего такого, чтобы компрометировать статус тестого центра.
Eldar Hasanov
комментарии излишни
Aza Sad
Поддерживаю Вас! Ждём от Вас побольше учеников! Когда Вас будет больше, то и обществу помощь будет значительная
Umidjon Almasov
Комил Джалилов, благодарю за то, что подняли тему тестирования. Добивайтесь отказа суда в иске ГЦТ вплоть до Верховного суда.
Adolatli Inson
Огромное спасибо Комилу Джалилову на глубокое и объективное объяснение причин состояния дел с принятием тестовых испытаний для молодёжи, желающих получить высшее образование и стать активными гражданами своей страны, в проведении реформ в различных отраслях экономики и в целом в жизни народов Узбекистана!
Рустам Масумов
Честно говоря я не специалист в области тестирования и поэтому все аргументы приведенные Камилом Джалиловым мне непонятны, но это не значит, что я с ним не согласен. По дискуссии развернутой между К. Джалилова и ГТЦ у меня создалось впечатление, что сотрудники ГТЦ также как и я, ничего не понимают в теории тестирования, отсюда нелепые их ответы. Я 1000% поддерживаю К. Джалилова в том, что оценку абитуриентов тестированием надо проводить на научной основе, какую он нам обрисовал. К сожалению низкая компетентность при составлении тестов, отсутствие какой либо научной базы, вызывает у меня раздражение и насмешку в упрямом нежелание их признать правоту К. Джалилова.
Да, я понимаю, что руководителем ГТЦ может быть чиновник, не понимающий в тестологии, он не обязан знать, но в свой штат он должен набирать высококвалифици-рованных специалистов, включая и К. Джалилова (консультантом, если он согласится), или ему равных. Это нетрудно сделать на гласной конкурсной основе. Таким путем можно будет оградится от некомпетентных специалистов, если на то будет воля руководства ГТЦ. Прошедших конкурс специалистам ГТЦ (как старым так и новым) поручить методологию и разработку тестовых вопросов на научной основе.
Вот такое у меня видение решения проблемы, а не глупые судебные разбирательства. Пора ГТЦ искать компромиссы и РАБОТАТЬ в этом направлении. Тогда не будет обид родителей и абитуриентов к некорректно составленным тестам ГТЦ. Я бы очень хотел, чтобы мы в 2020г не занимались такими разборками.
Diora Madulloeva
Достойный ответ достойного эксперта, выпускника Колумбийского университета и Университетского колледжа Лондона, занимающего первое место в мире по предмету “Образование“, которое Комил ака закончил с ОТЛИЧИЕМ! Методология (в том числе тестология) это его тема, в которой он как рыба в воде.
И еще он очень хороший человек, которого искренне беспокоит ситуация образования в стране.
ГТЦ! Это хорошо, что мы больше узнаем про тестологию и ваших руководителей благодаря этим батлам, но неужели вы не можете понять, что это делается путем ВАШИХ репутационных потерь.
Nargiza Saidova
Комил Джалилов, хорошие вопросы задаете. Вот бы еще и ответы на них получить. Что по Вашему нужно сделать в системе образования исходя из реальных условий. Объясните это.