Институт проблем информатики Федерального исследовательского центра «Информатика и управление» России скои академии наук, г. Москва, Россия О ВЕРОЯТНОСТНОМ И НЕЧЁТКОМ СПОСОБАХ ОЦЕНИВАНИЯ МЕТАПРЕДМЕТНЫХ КОМПЕТЕНЦИЙ УЧАЩИХСЯ * АННОТАЦИЯ В статье приводится сопоставительный анализ двух способов оценивания латентных образовательных достижений учащихся, основанных на факторной теории оценки (Item Response Theory -IRT) и теории нечётких множеств. Проведённое исследование показало, что нечёткая модель применительно к достижению метапредметных образовательных результатов имеет бóльший практический потенциал, чем способ IRT, опирающийся на эмпирико-статистические методы, которые используются при вероятностном анализе больших массивов слабоструктурированных данных. КЛЮЧЕВЫЕ СЛОВА Латентные достижения, факторная теория оценки, теория нечётких множеств, метапредметные компетенции, образовательные результаты, эмпирикостатистические методы исследования, большие данные.
Вопросы качества педагогических изменении выходят на новыи уровень, когда ставится задача оценивания метапредметных компетенции учащихся, или, выражаясь языком Федерального государственного образовательного стандарта (ФГОС) общего образования второго поколения, оценки достижения планируемых метапредметных образовательных результатов при освоении учащимися основнои образовательнои программы. Очевидно, что метапредметные компетенции представляют собои латентные (не поддающимися непосредственному измерению) характеристики учебно-познавательнои деятельности, поскольку они как бы растворены и незримо присутствуют в различных формах этои деятельности, а потому их мониторинг и оценка сопряжены с определенными трудностями. Решению этих проблем, основными из которых являются определение содержания метапредметных компетенций, обсуждение выбора объектов оценки, обоснование выбора формы представления результатов оценки и способов оценивания, посвящена настоящая статья. Причем повышенное внимание предполагается уделить обсуждению выбора способа оценивания, поскольку этот вопрос, являясь наиболее дискуссионным в области методологии педагогических измерении , напрямую влияет на «определение сущности, цели, задач, обоснование методов педагогических измерении , шкалирования и правил интерпретации результатов» [1].
Содержание метапредметных компетенций. Под метапредметными компетенциями ФГОС понимает способность учащихся планировать и использовать в учебнои , познавательнои и социальнои практике межпредметные понятия и универсальные учебные деи ствия (УУД) [11, с. 8].
Межпредметные понятия, или метапредметные знания, есть знания о знаниях и способах их получения, например: система, факт, закономерность, феномен, анализ, синтез и пр. Они не являются целью изучения большинства учебных предметов, где усваиваются понятия, подчиненные межпредметным и соподчиненные между собои [5, с. 216], а помогают формировать УУД, которые представляют собои минимальные содержательные элементы метапредметных компетенции и поэтому выступают в качестве основных деятельностных механизмов метапредметного содержания образования. Без УУД невозможно осуществление учебнопознавательнои деятельности [9, с. 22], поскольку они определяются как обобщенные деи ствия, которые открывают возможность широкои ориентации учащихся в различных предметных областях и в строении самои учебнои деятельности, включая осознание её целевои направленности, ценностно-смысловых и операциональных (деятельностных) характеристик [11, с. 8].
Выбор объектов оценки. Перевод скрытых качеств в непосредственно наблюдаемые напрямую связан с проблемои формализации. Объекты оценки метапредметных компетенции могут быть выделены только в том случае, если удастся нивелировать их латентные свои ства, то есть выразить в явнои форме посредством содержательнои декомпозиции в виде более мелких составляющих и описать их сущность с помощью естественного языка или представить в числовом выражении. Такими структурными единицами являются, как было отмечено выше, межпредметные понятия, или метапредметные знания, и УУД.
Межпредметные понятия, которые являются знаниевыми компонентами метапредметных компетенции , не имеет смысла рассматривать в качестве отдельных объектов оценки, поскольку они напрямую связаны с УУД и проявляются в их реализации, подтверждая тем самым общеизвестныи тезис: кто способен правильно понимать, тот способен правильно деи ствовать.
Поэтому единственными объектами оценки метапредметных компетенции целесообразно выбрать УУД, которые могут быть вербализованы с помощью глаголов мыслительных операции , совершаемых учащимися при решении учебно-познавательных задач. Мыслительные операции проявляются в рамках познавательных, коммуникативных и регулятивных УУД, которые могут быть четко расписаны и привязаны к различным видам учебно-познавательных задании . Это означает, что для оценки метапредметных образовательных результатов необходимо определить, какие УУД привлекает учащии ся при выполнении конкретного учебно-познавательного заданиякакого качества и в каком объеме. Чтобы поставить в соответствие учебнои задаче набор УУД, необходимых для её выполнения, можно воспользоваться классификации учебно-познавательных задач, предложеннои в [10], и Кодификатором элементов содержания учебно-познавательных компетенции учащихся [6], в котором УУД представлены в виде глаголов мыслительных операции , классифицированных по трем группам -познавательных, коммуникативных и регулятивных УУД.
Если учитель умеет соотносить учебно-познавательные задания с УУД, то это дает ему возможность сделать подобныи подход практико-ориентированным и позволяет осуществлять оценку метапредметных компетенции непосредственно в процессе предметнои учебнопознавательнои деятельности на каждом уроке, не отводя этому дополнительное время.
Выбор формы представления результатов оценки. Поскольку оценка метапредметных образовательных результатов не может выражаться в виде «процентов» и «показателеи », так как является видом экспертнои оценки, естественно представлять эти результаты не в точном количественном выражении, а в терминах лексическои неопределенности, значениями которои являются не числа, а имена, то есть в терминах высокий, средний, низкий уровень с использованием уточняющих наречии весьма, довольно, определённо, скорее и пр. [8, с. 204, 208]. То есть оценка сформированности УУД в большеи мере субъективна и должна находиться в диапазоне с неопределенными границами.
Внутри диапазона с неопределенными границами учитывается как сложность задания, так и более детальные критерии, зависящие от вида задании , уровня сформированности компетенции учащихся, субъективных требовании эксперта и прочих латентных факторов.
Строго говоря, в лингвистических формулировках оценки метапредметных компетенции достаточно учесть два вида неопределенности: 1) неопределенность оценки эксперта, принимающая во внимание субъективные условия осуществления оценочных деи ствии , которая выражает его предпочтения и показывает степень его уверенности в вынесенном решении, то есть достоверность его оценки, и 2) неопределенность, обусловленная неточными формулировками требовании к различным видам метапредметных компетенции в соответствии с Кодификатором, подразделение их на различные уровни по степени сложности и представленность этих показателеи в предметных заданиях.
Эти допущения позволяют конкретизировать поставленную задачу: она состоит в том, чтобы предложить способ оценки метапредметных образовательных результатов на основе учёта неопределённости экспертной оценки и неопределённости, возникающей в результате причисления выполняемого учебно-познавательного задания к тому или иному уровню сложности. Задачу формализации двух видов неопределенности можно решить, установив непрямое соответствие между балльнои системои оценок предметных образовательных результатов и формализованнои шкалои оценки метапредметных образовательных результатов. Это позволит установить форму представления результатов оценки определенного набора УУД, которым сопровождается каждое задание. Вопрос состоит в том, по каким законам должно устанавливаться это непрямое соответствие, или какой способ формализации неопределённости выбрать?
Как отмечается в [13, с. 74-76], неопределенность может выражаться в виде вероятности и в виде нечеткости: стохастическая (вероятностная) неопределенность «означает неопределенность появления события, которое является само по себе точно описанным», а лексическая неопределенность, или нечеткость, «означает неопределенность в описании события». В [4, с. 9] отмечается, что на основе реально наблюдаемых данных ставится задача воссоздания непосредственно ненаблюдаемого качества, измеряемого с помощью модели. Какую выбрать модель -вероятностную или нечеткую -для того, чтобы перевести скрытые качества в непосредственно наблюдаемые?
Рассмотрим оба способа формализации неопределенности -вероятностныи и нечеткии .
Вероятностныи способ формализации неопределенности базируется на факторнои теории оценки (Item Response Theory -IRT) [12], которую называют также вероятностнои или математическои теориеи измерении [1][2][3][4], тогда как дословныи перевод IRT можно представить как «теория оценки по результату выполнения задания». Эта теория базируется на вероятностных характеристиках, получаемых в результате обработки обширных массивов данных при тестировании достаточно большои выборки испытуемых. Отметим, что задания предлагаются испытуемым только в тестовом формате. Кроме того, оценки, которые получают испытуемые, демонстрируют их знания в определеннои предметнои области, то есть являются показателями предметных образовательных результатов.
Исторически факторная теория оценки явилась переложением на область психологопедагогических измерении теории латентно-структурного анализа (LSA -Latent Structure Analysis), согласно которому на большои выборке испытуемых выявляются скрытые поведенческие факторы и осуществляется прогноз их проявления с помощью вероятностно-статистических моделеи . Сама факторная теория оценки раскрывает стохастические (вероятностные) закономерности точно описанного события в виде ответов учащихся на определенные задания. В каждом задании вероятность правильного ответа испытуемых должна расти по мере повышения уровня подготовленности испытуемых. Эти закономерности описываются с помощью функции математического ожидания, полученнои по результатам эмпирическои апробации и изображеннои на рис. 1 (цит. по [4]), где θ -уровень подготовленности испытуемых, или уровень их знании , а P(θ) -вероятность успешно выполнить задание.
Очевидно, что чем сложнее задание, тем более пологим является график функции P(θ, β). Эти эмпирические кривые послужили основои математического аппарата теории вероятностеи , на которои основан подход IRT.
Но является ли вероятностныи подход наиболее адекватно отражающим характеристики латентных процессов, которые сопровождают оценку метапредметных образовательных результатов? Или существуют другие, более эффективные методы оценивания? Для ответа на этот вопрос рассмотрим возможности математического аппарате нечеткои логики [13][14][15], которая также имеет дело с латентными параметрами и оперирует понятием неопределенности.
Метапредметные компетенции, как уже говорилось, являются латентными характеристиками способности учащихся осуществлять учебно-познавательную (предметную и метапредметную) деятельность, а их оценка сопряжена с двумя формами неопределенности: неопределенности объектов оценки и неопределенности экспертнои оценки этих объектов. В нечеткои логике эта неопределенность выражается коэффициентами достоверности, которые определяются через функцию принадлежности y = μ(x), где x -аргумент, выражающии некоторое числовое множество.
Неопределённость объектов оценки выражается в нечетких лингвистических формулировках УУД по Кодификатору, которые должны быть сгруппированы по уровню их сложности при выполнении учебно-познавательных задач. Для каждого уровня сложности задании выбирается диапазон четких оценок (баллов) как область определения соответствующеи функции принадлежности, которая входит в зону нечеткости. Соответствующая функция принадлежности показывает, насколько достовернои является причисление некоторои группы УУД, необходимых для выполнения того или иного задания, к выбранному интервалу сложности, что демонстрирует степень уверенности учителя/эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности задании [8, с. 207-208].
Функция принадлежности объектов оценки (УУД) является мерои достоверности, показывающеи , насколько валидными являются выбранные задания для оценки того или иного набора УУД. Если исходить из классического определения валидности, то это «мера соответствия методик и результатов исследования поставленным задачам, адекватность интерпретации результатов выполнения задания по отношению к цели его выполнения, показатель меры соответствия задания цели его выполнения, показатель задания, характеризующии точность измерения исследуемого свои ства, оценка адекватности задания исследуемои проблеме» (согласно http://btimes.ru/dictionary/validnost). В нашем случае под валидностью понимается мера соответствия, или правомерность использования задании , которые выбраны в зависимости от конкретных образовательных задач и условии обучения, для измерения метапредметных компетенции , представленных в виде набора соответствующих УУД.
Неопределённость экспертной оценки выражается в нечетких вербальных оценках эксперта типа скорее низкий (чем средний) уровень компетенции , довольно высокий уровень компетенции и т. п., которые коррелируются с четкими балльными оценками в соответствующих интервалах. А отвечающая им функция принадлежности показывает, насколько достовернои является вынесенная экспертная оценка [7, с. 111].
Однои из самых сложных процедур при построении нечеткои модели оценивания метапредметных образовательных результатов является процесс формализации двух форм лексическои неопределенности -субъективности экспертнои оценки, выраженнои в нечетких суждениях, и неопределенности объекта оценки, которая представлена нечеткими лингвистическими формулировками УУД по Кодификатору:
1. Вербальная формализация метапредметных компетенции в виде словесных формулировок, соответствующих УУД, отраженных в Кодификаторе элементов содержания учебнопознавательных компетенции учащихся [6];
2. Математическая формализация уровня сложности задании , для выполнения которых требуется владение метапредметными компетенциями, в виде соответствующих функции принадлежности μ (k), где k -потенциальная оценка, которую может получить учащии ся за выполненное задание;
3. Математическая формализация субъективнои оценки эксперта в виде соответствующих функции принадлежности μ (a), где a -реальная оценка, выставленная экспертом; 4. Комбинированная формализация итоговои оценки метапредметных образовательных результатов через мультипликацию функции принадлежности μ (k) и μ (a) в единои области их определения. Это позволяет в рамках одного диапазона качественных значении (высокии , среднии , низкии уровень), производить более детальное различение в соответствии с субъективными требованиями эксперта и уровнем сложности задании , для которых требуется владение измеряемыми компетенциями.
Математическое описание нечётких характеристик на примере треугольных и трапецеидальных функции принадлежности μ (k) и μ (a) подробно представлено в работах [7; 8]. Однако выбор трапецеидальных и тем более треугольных функции принадлежности не позволяет получить достоверныи результат, поскольку вносит весьма значительную погрешность в процедуру оценки. Опора на эмпирические данные, предоставленные IRT, позволили выбрать в качестве функции принадлежности экспоненциальные логистические кривые, основои которых является формула (1), корректируемая весовыми коэффициентами и линеи ными сдвигами по осям абсцисс и ординат.
Так функции принадлежности μ(k) на рис. 3 показывают, насколько достоверно выбранныи набор УУД соответствует уровню сложности конкретного задания. Здесь k -потенциальная оценка, которую может получить учащии ся за выполнение задания: чем сложнее задание, тем выше может быть максимальная оценка и тем более пологои является логистическая функция. Можно также сказать, что эти функции принадлежности демонстрируют степень уверенности учителя/эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности задании .
Каждая из функции принадлежности на рис. 3 описывается экспоненциальнои логистическои функциеи в соответствующем интервале оценок, которые может получить учащии ся за выполнение задания тои степени сложности, которая укладывается в один из выбранных интервалов -И1, И2, И3 или И4 (по мере роста сложности задании ): В [8, с. 211] было предложено установить градацию экспертных оценок как нечетких суждении с тремя обобщенными уровнями компетенции -нижним, средним и высоким, каждыи из которых имеет деление на три дополнительных подуровня в соответствии с наречиями и наречными выражениями определённо, довольно, весьма, более или менее, скорее, крайне и пр. На основе этои модели в [7] был предложен алгоритм нечеткого автомата оценки метапредметных компетенции учащихся в зависимости от уровня сложности выполненных задании и оценок, присвоенных экспертами за это задание. Алгоритм реализован в среде Excel и основан на наложении (мультипликации) функции принадлежности μ(k) и μ (a) (рис. 5). Значения результирующеи функции принадлежности в общеи области определения (области оценок от 0 до 10) считаются надеӝными, если они находятся в интервале увереннои достоверности: 0,625 < (μ (a) х μн(k)) < 1,0.
Результат, получаемыи с помощью нечеткого автомата, представляется в двух форматах: либо с помощью нечеткои формулировки низкий/средний/высокий уровень компетенции , сопровождаемои коэффициентом достоверности, либо только с помощью нечеткои формулировки определённо/более или менее/скорее низкий/средний/высокий уровень компетенции без коэффициента достоверности (рис. 6). нечеткая модель надеӝно работает на произвольном числе учащихся -от одного до группы учащихся, учеников всего класса или параллели. Тогда как надеӝность метода IRT обеспечивается только при достаточно большой -до нескольких сотен -выборке испытуемых;
метапредметные образовательные результаты в силу неопределенности описания требуют высокой степени формализации, которая может быть достигнута путем их декомпозиции на УУД и дальнеи шем выражении через вербальные формулировки в виде глаголов мыслительных операции , что позволяет в максимальнои степени учесть нюансы и детали при нивелировании неопределенности. В методе IRT формализация характеристик объектов оценки осуществляется через шкалирование.
Таким образом, нечеткая модель, применяемая для оценки овладения универсальными учебными деи ствиями и основанная на критериях достоверности, гораздо в большеи степени отвечает природе неопределенности, заложеннои в метапредметных компетенциях, и неопределенности экспертнои оценки этих компетенции , чем математическая теория измерении IRT, базирующаяся на вероятностных характеристиках, с помощью которых осуществляется прогнозирование результатов тестирования больших масс испытуемых.