Рассказывает Игорь Ликарчук, директор Украинского центра оценивания качества образования
Через несколько месяцев стартует внешнее независимое оценивание – 2015. Одним из важных нововведений этого года в оценивании является внедрение европейской практики определения его результатов, которая предусматривает установление так называемого порогового балла «сдал/не сдал». Прежде всего о том, почему возникла необходимость отказаться от той системы, которая существовала до сих пор.
Как известно, начиная с 2006 года, результаты внешнего независимого оценивания определяли с использованием эквипроцентильного преобразования первичных баллов по шкале 100-200 баллов. Поскольку все участники внешнего оценивания получали положительные результаты, то для участия в конкурсе для поступления в высшие учебные заведения допускались абитуриенты, которые получили не менее 140 баллов по профильным дисциплинам и не менее 124 баллов по другим предметам.
Когда и кому пришла в голову идея определить 124 балла тем барьером, который разграничивал абитуриентов, которые вроде бы успешно сдали тест, от тех, кто такой тест вроде бы не сдал - тайна за семью печатями. В любом случае, нам не удалось найти автора этой идеи. Известно лишь одно: на этапе внедрения внешнего независимого оценивания необходимо было установить определенный маркер для приемных комиссий, чтобы, по словам одного из бывших руководителей Министерства образования и науки Украины, «университеты не могли принимать всех подряд». Нет сомнений в том, что такая цель была достигнута. Более того, на этапе становления системы внешнего независимого оценивания такое решение, по нашему глубокому убеждению, было правильным. Несмотря на то, что его нельзя назвать профессиональным.
Однако продолжать подобную практику дальше нельзя. Поэтому, заботясь об обеспечении более высокого уровня объективности и справедливости внешнего независимого оценивания, УЦОКО предложил ввести, начиная с 2015 года, новую технологию определения его результатов. В ее основу положено традиционное для практики оценивания определение порога «сдал/не сдал». Подобная технология используется в большинстве стран мира, где практикуется проведение внешних экзаменов, и предусматривает четкое разграничение абитуриентов на тех, кто имеет минимально необходимый объем знаний и на тех, кто его не имеет. Необходимо отметить, что определение порога «сдал/не сдал» может осуществляться по разными методикам и процедурам. Часть таких методик ориентирована на предметные требования (что должен знать или уметь каждый абитуриент). Однако они не учитывают того, какое количество тех, кто проходил внешнее оценивание, его не сдали. А это может быть достаточно большое количество абитуриентов (от 10 до 40 процентов). Другие методики ориентируются на количественные (в том числе и рейтинговые) показатели, по которым сложно определить объем знаний, умений и навыков абитуриента. Поэтому УЦОКО намерен предложить определять порог «сдал/не сдал» путем использования двух методик - В. Ангоффа и К. Беука. Первая методика основана на требованиях к объему знаний, вторая - на учете наиболее допустимого количества тех, кто не выполнил тест.
Определение так называемого порогового балла по методике В. Ангоффа заключаться в установлении экспертами минимального количества (суммы) тестовых баллов, которые за выполнение теста может получить абитуриент с минимальным уровнем знаний. Общее количество экспертов по каждому предмету составит не менее 100 человек. Экспертные группы будут создаваться при региональных центрах оценивания качества образования на конкурсной основе путем проведения открытого конкурса. В состав экспертных групп не будут входить руководители и работники Украинского и региональных центров оценивания качества образования.
В день проведения тестирования, через три часа после его начала, эксперты получат сертификационную работу (тест), с которой работают участники внешнего независимого оценивания, и самостоятельно определят вероятность выполнения каждого ее задания минимально подготовленным абитуриентом. После обработки сертификационной работы эксперты указывают также процент участников, которые, по их мнению, должны преодолеть порог «сдал/не сдал».
Результаты, определенные экспертами, будут поступать в УЦОКО. С помощью программных средств будет определяться усредненный результат порога «сдал/не сдал» по методу В. Ангоффа.
Однако, как свидетельствуют предварительные расчеты и опыт других стран, количество абитуриентов, которые этот порог не преодолеют, может будет достаточно высоким. Поэтому мы решили не ограничиваться использованием только метода В. Ангоффа, а продолжить работу по определению порогового балла, применяя метод компромиссов К. Беука. Как известно, Кэсси Беук в середине 80-х годов прошлого века возглавлял Министерство образования Нидерландов и, очевидно, столкнувшись с проблемой порогового балла, предложил свою методику, которая предусматривает его определение путем учета:
- результатов выполнения теста, которые получены после обработки всех бланков ответов;
- порогового балла, полученного на основе метода Ангоффа;
- процента участников, которые, по мнению экспертов, работавших с методикой В. Ангоффа, должны преодолеть порог «сдал/не сдал».
Ориентировочно схема определения порогового балла по этой методике может иметь следующий вид:
(Эта схема приведена только в иллюстративных целях. Не советуем использовать указанные в ней данные для определения порогового балла как для результатов ЗНО прошлых лет, так и для результатов ЗНО в текущем году. Эти данные будут совершенно разными для каждого предмета.)
В результате, мы получаем другой компромиссный пороговый балл, который дает возможность «отсеять» значительно меньшее количество абитуриентов. Важно знать, что компромиссный пороговый балл может быть определен большим или меньшим того, который установлен по методу В. Ангоффа. Решения о компромиссном пороговом балле также должны принимать эксперты, учитывая достаточно большое количество внешних и внутренних факторов, включая информацию о политической, экономической, социальной ситуации, состояние и перспективы развития систем общего среднего и высшего образования и т.д. Формирование персонального состава экспертов может взять на себя или Министерством образования и науки Украины, или профессиональные общественные организации педагогов. Возможны и другие варианты. Но в любом случае решение о компромиссном пороговом балле не может приниматься в стенах УЦОКО.
Такова позиция Украинского центра оценивания качества образования. Но должны отметить, что она однозначной поддержки в экспертной среде еще не имеет. Одна часть наших коллег считает, что порог следует определять только пользуясь методикой В. Ангоффа, а другая - применяя методику К. Беука. Поэтому очевидно, что в этой дискуссии будет очень важным мнение широкой педагогической общественности. Надеемся, что ее развертывание на портале «Образовательная политика» поможет расставить все точки над «і».
P.S. Пока будет продолжаться дискуссия, региональные центры оценивания качества образования через несколько дней начнут конкурсный отбор желающих работать в экспертных комиссиях, которые будут определять пороговый балл по методу В. Ангоффа. К участию в конкурсах приглашаем всех желающих.
Детальная информация о конкурсах будут размещена на сайтах региональных центров оценивания качества образования.
Игорь Ликарчук, директор Украинского центра оценивания качества образования.
Источник: education-ua.org