По ЭВОУТ ТЕР ХААР & ОТАВИАНО ХЕЛЕН*
Простой стандартизированный экзамен, такой как Enade, не подходит для оценки инновационной и разнообразной системы высшего образования, поэтому ни одна страна в мире не использует подобную методологию.
На повестке дня снова, как это случалось несколько раз за последние двадцать лет, участие USP в Национальном экзамене по успеваемости студентов (Enade), начиная с курсов бакалавриата. Систематический мониторинг и оценка университетских курсов приветствуются и необходимы. Конечно, УТП должно взять на себя ответственность и создать механизмы для решения этой задачи. Однако к возможному присоединению USP к Enade следует относиться с большой осторожностью по трем основным причинам.
Изначально мы будем утверждать, что простой стандартизированный экзамен, такой как Enade, не подходит для оценки инновационной и разнообразной системы высшего образования, поэтому ни одна страна в мире не использует подобную методологию. Вторая причина заключается в том, что, участвуя в Enade, USP без необходимости подвергнет свои программы бакалавриата единообразному регулированию, разработанному для других типов учебных заведений, с риском сужения их учебных программ. Наконец, для курсов USP Enade будет генерировать крайне нестабильные цифры, которые не подходят для поддержки хорошей образовательной политики.
Необходимо знать, каковы цели оценки.
В сообществе специалистов по оценке образования широко признано, что валидность теста требует доказательств относительно использования и интерпретации его результатов.. Ценность и достоверность Enade всегда следует оценивать в зависимости от того, как USP будет использовать и интерпретировать ее результаты. Фактически, любому процессу оценки должна предшествовать работа, определяющая цель того, что оценивается.
Например, университет выполняет множество функций, таких как подготовка профессиональных кадров, содействие социальному и культурному развитию, содействие совершенствованию производственных процессов, производство и присвоение научных знаний и другие. Помимо этой множественной цели, необходимо знать, какова цель каждой из них и как далеко вы хотите зайти. Упрощенным ответом было бы сказать, что у университета есть все эти цели, а конечная цель — рай. Однако такая реакция безответственна, поскольку, если больше усилий будет направлено на одну цель, на другие останется меньше усилий.
Следовательно, вопрос, который должен предвосхищать любую дискуссию об оценке, заключается в том, чтобы узнать цель того, что оценивается. Есть несколько примеров случаев, когда этот вопрос возникает перед оценкой. Возможно, дискуссии о крупных университетах штата Калифорния, США, помогут понять этот процесс. Известным и ярким примером был планирование системы высшего образования в этом штате США, в 1960-е годы.
В настоящее время эта система состоит из трех компонентов: колледжах, насчитывающий около двух миллионов студентов, обеспечивающий профессиональную и культурную подготовку и служащий трамплином для студентов, желающих продолжить высшее образование в университете; Калифорнийский государственный университет, в котором обучается более 400 тысяч студентов, основной целью которого является подготовка профессионалов, не исключая, конечно, научного и культурного производства; и Калифорнийский университет, в котором обучается около 300 тысяч студентов, в основные задачи которого входит производство научных знаний, не исключая подготовку специалистов.
Очевидно, что в данном примере критерии оценки для каждой части этой системы высшего образования не могут быть одинаковыми. Enade же, даже в своей новой версии, представляет собой единый экзамен, одинаковый для всех курсов в области, который стремится охарактеризовать всего лишь сотней вопросов с несколькими вариантами ответов четырехлетнее обучение выпускников курсов высшего образования. , только в одном или двух измерениях. Давайте спросим: какова роль курсов USP в обществе? Enade помогает USP оценить, будут ли ее курсы способствовать «обучать профессиональных лидеров и граждан, осознающих свою социальную роль»?
Теодор Портер в своей классическая книга по истории построения объективности в государственной политике, указывает на политические преимущества создания якобы объективных показателей для менеджеров («решают алгоритм и показатель»). В таких обществах, как Бразилия, где широко распространено мнение, что осуждение и опыта Человеческие ресурсы особенно подозрительны и подвержены коррупции, поэтому использование объективных доказательств и тестов в процессах оценки, таких как конкурсы или тендеры, считается обязательным. С одной стороны, в сфере образования культура внешней оценки и сопоставимости с помощью стандартизированных тестов привела к важным достижениям, таким как школьная перепись, Saeb и полученные на их основе показатели управления, такие как Ideb, которые сопровождают базовое образование во всей Бразилии. Но важно осознавать пределы действия стандартизированных экзаменов, таких как Enade.
Неадекватность стандартизированных экзаменов для оценки высшего образования
Бразилия — единственная страна в мире, которая использует объективный тест для двойной цели: оценки и регулирования своей системы высшего образования. Почти ни одна другая страна не стремится контролировать качество своей системы высшего образования посредством стандартизированного экзамена, который сдают выпускники по окончании курсов. Причины этого раскрыты в кристально ясной форме. в отчете ОЭСР, которая по запросу правительства Бразилии исследовала свою систему «гарантии качества» курсов. Отчет, несмотря на то, что он был подготовлен организацией, известной своей приверженностью управлению образовательными системами с использованием количественных данных, очень критичен по отношению к нынешней системе и показывает, что цели Enade, измеряющие обучение выпускников курсов высшего образования, совершенно недостижимы, в течение трех лет. основные причины.
Во-первых, в отличие от оценки в конце начального образования, неясно, что именно измерять. Здесь нет и не должно быть, как в случае с базовым образованием, набора общих навыков и умений, которые должен приобрести каждый. Характерной чертой высшего образования является то, что разнообразие учебных программ и целей обучения очень велико. Enade, который оценивает только самые общие навыки, обесценивает те курсы, которые способны работать именно над теми более специализированными навыками, которые ожидаются от курса высшего образования. Но любая оценка более конкретных навыков обязательно будет следовать единому видению целей курса в ущерб множественности взглядов, ценимой на более продвинутых этапах образовательной системы.
Вторая задача носит технический характер: как создать относительно короткий экзамен, способный достоверно оценить содержание и навыки, приобретенные за четыре года обучения? В целях регулирования новый Enade (на данный момент для курсов бакалавриата) предлагает использовать теорию ответов на вопросы (IRT), создавая экзамен из 45 вопросов с несколькими вариантами ответов для измерения общей подготовки и 60 для конкретного измерения для каждой области. Даже если признать, что педагогическая компетентность — это конструкция, которую можно отразить в числовой шкале одного или двух измерений (что весьма проблематично по причинам, объясненным выше), еще более сомнительно, что сто вопросов с несколькими вариантами ответов способны справедливо оценить четыре года обучения. обучения.
В-третьих, вводя стандартизированный экзамен, который по практическим соображениям обязательно является коротким и ориентирован на очень ограниченный набор навыков, существует огромный риск того, что курсы будут обучать своих студентов только этим навыкам. Такое сужение учебной программы повредит возможности инноваций и способности курсов адаптироваться к изменениям и местным обстоятельствам.
Все эти причины, упомянутые экспертами ОЭСР, серьезно ограничивают обоснованные выводы, которые можно сделать на основе стандартизированных тестов в сфере высшего образования. Именно по этим причинам ни одна другая страна в мире не оценивает свои курсы высшего образования с помощью такого процесса. Пилотный проект, предложенный ОЭСР в 2013 году, инициатива AHELO, был заброшен, поскольку был сочтен неосуществимым. В Европе и США системы высшего образования не полагаются на единую форму оценки, а оцениваются через аккредитационные агентства, которые используют широкие и целостные формы оценки.
Новый Enade увеличит количество вопросов и будет использовать IRT для сравнения лет применения и повышения точности. Как и любой стандартизированный экзамен, новый Enade может предоставить ценные доказательства, которые могут помочь улучшить направление курсов или государственной политики. Но эксперты в области оценки образования предупреждать, что тест не обязательно измеряет то, что сказано в его названии и что небольшая магия выравнивания не обязательно оставит два теста эквивалентными. Литература по оценке особенно предупреждает о почти невозможность использования одного теста для диагностических и регуляторных целей.
Функционирование, достоверность, надежность и интерпретация нового Enade должны быть изучены, прежде чем использовать полученные им цифры в целях регулирования и других важных целях. Вызывает большую тревогу тот факт, что Inep, орган, ответственный за Enade, в период с 2014 по 2021 год неправильно рассчитал наиболее важный показатель, полученный от Enade, так что присвоил курсам по существу случайные числа. Ошибка была окончательно исправлена в 2024 году, но тот факт, что никто из заинтересованных в процессе оценки за все эти годы не заметил ее существования, ставит под сомнение реальную регулирующую роль показателей ИНЕП, а также ее способность контролировать качество собственных . индикаторы.
Конкретные причины, по которым USP не использует Enade
Помимо общих трудностей, на которые указывают ОЭСР и эксперты по оценке, в случае с USP есть и другие причины скептически относиться к участию в Enade.
Сначала технический момент. В нынешней Энаде, если не принимать во внимание эффект Энема для первокурсников, разница в оценках за курс невелика: всего около 10% разницы в оценках студентов. Другими словами, разница в оценках Enade между студентами одного курса намного больше, чем разница между средними показателями по курсу, и это будет справедливо и для нового Enade. Это означает, что любой показатель курса, полученный на основе оценок учащихся по Энаде, должен рассчитываться с участием многих участвующих студентов, чтобы иметь статистическую достоверность.
Оказывается, согласно переписи высшего образования, только пять из 34 курсов бакалавриата USP имеют более 50 выпускников (в среднем за последние пять лет). Для большинства курсов бакалавриата USP (а также для других курсов) любой средний или другой показатель, полученный из Enade, будет весьма нестабильным, и было бы ошибкой принимать политику, основанную на них.
Во-вторых, в принципе экзамен мог бы предоставить интересные данные о курсах Фармакопеи США, если бы его результаты использовались в диагностических целях. Но распространяется аргумент, что участие Энаде может освободить курсы от необходимости возобновления признания со стороны Государственного совета по образованию, что ясно демонстрирует желание, чтобы их результаты использовались в регулирующих целях.
В этом случае будет почти неизбежное давление на курсы, которые будут руководствоваться узкой матрицей Enade вместо того, чтобы руководствоваться Национальными правилами курсов, которые намеренно оставляют курсам свободу разрабатывать свои программы в соответствии с местными реалиями. Аналогичным образом, следование Enade ослабит собственные усилия USP по реализации более широкой программы оценки своих курсов, которая больше соответствует их собственному контексту.
Заключение
Маловероятно, что USP воспользуется участием Enade; напротив, подчинение USP федеральной системе регулирования в том виде, в котором оно осуществляется сегодня, подразумевает большие риски для качества наших курсов. Возникнет риск сужения учебных программ из-за вторичных эффектов (обучение тестированию) для оценки на слишком простом экзамене, неадекватном разнообразию курсов Фармакопеи США.
Более того, придерживаясь поверхностной формы регулирования, используя нестабильные и малодостоверные показатели, USP теряет возможность разрабатывать собственные, богатые и многогранные оценки своих курсов. А для большинства курсов Фармакопеи США с числом выпускников менее 50 в год цифры, полученные Enade, приведут к почти случайным показателям, слишком нестабильным, чтобы поддерживать образовательную политику.
Фармакопея США должна приложить усилия для внедрения собственной системы оценки своих курсов и использовать опыта оказать давление на органы контроля качества высшего образования, чтобы те использовали более действенные методы в целях регулирования. Чтобы быть полезным, экзамен типа Enade будет работать только в диагностической роли, для единиц анализа, превышающих курсы, и на выборочной основе, чтобы избежать побочных эффектов оценки, которые мы выделили.
*Эвоут тер Хаар профессор Физического института USP.
* Отавиано Элен является старшим профессором Физического института USP..
Первоначально опубликовано на Журнал USP.
земля круглая есть спасибо нашим читателям и сторонникам.
Помогите нам сохранить эту идею.
СПОСОБСТВОВАТЬ
