результатов» [
Содержание метапредметных компетенций. Под метапредметными компетенциями ФГОС понимает способность учащихся планировать и использовать в учебнои, познавательнои и социальнои практике межпредметные понятия и универсальные учебные деиствия (УУД) [11, с. 8].
Межпредметные понятия, или метапредметные знания, есть знания о знаниях и способах их получения, например: система, факт, закономерность, феномен, анализ, синтез и пр. Они не являются целью изучения большинства учебных предметов, где усваиваются понятия, подчинённые межпредметным и соподчинённые между собои [5, с. 216], а помогают формировать УУД, которые представляют собои минимальные содержательные элементы метапредметных компетенции и поэтому выступают в качестве основных деятельностных механизмов метапредметного содержания образования. Без УУД невозможно осуществление учебнопознавательнои деятельности [9, с. 22], поскольку они определяются как обобщенные деиствия, которые открывают возможность широкои ориентации учащихся в различных предметных областях и в строении самои учебнои деятельности, включая осознание её целевои направленности, ценностно-смысловых и операциональных (деятельностных) характеристик [11, с. 8]. подразделение их на различные уровни по степени сложности и представленность этих показателеи в предметных заданиях.
Эти допущения позволяют конкретизировать поставленную задачу: она состоит в том, чтобы предложить способ оценки метапредметных образовательных результатов на основе учёта неопределённости экспертной оценки и неопределённости, возникающей в результате причисления выполняемого учебно-познавательного задания к тому или иному уровню сложности. Задачу формализации двух видов неопределённости можно решить, установив непрямое соответствие между балльнои системои оценок предметных образовательных результатов и формализованнои шкалои оценки метапредметных образовательных результатов. Это позволит установить форму представления результатов оценки определённого набора УУД, которым сопровождается каждое задание. Вопрос состоит в том, по каким законам должно устанавливаться это непрямое соответствие, или какой способ формализации неопределённости выбрать?
Как отмечается в [13, с. 74-76], неопределённость может выражаться в виде вероятности и в виде нечёткости: стохастическая (вероятностная) неопределённость «означает неопределённость появления события, которое является само по себе точно описанным», а лексическая неопределённость, или нечёткость, «означает неопределённость в описании события». В [4, с. 9] отмечается, что на основе реально наблюдаемых данных ставится задача воссоздания непосредственно ненаблюдаемого качества, измеряемого с помощью модели. Какую выбрать модель – вероятностную или нечёткую – для того, чтобы перевести скрытые качества в непосредственно наблюдаемые?
Рассмотрим оба способа формализации неопределённости – вероятностныи и нечёткии.
Вероятностная модель оценивания на основе факторной теории оценки IRT
Вероятностныи способ формализации неопределённости базируется на факторнои теории
оценки (Item Response Theory – IRT) [
Исторически факторная теория оценки явилась переложением на область
психологопедагогических измерении теории латентно-структурного анализа (LSA – Latent Structure Analysis),
согласно которому на большои выборке испытуемых выявляются скрытые поведенческие факторы
и осуществляется прогноз их проявления с помощью вероятностно-статистических моделеи. Сама
факторная теория оценки раскрывает стохастические (вероятностные) закономерности точно
описанного события в виде ответов учащихся на определённые задания. В каждом задании
вероятность правильного ответа испытуемых должна расти по мере повышения уровня
подготовленности испытуемых. Эти закономерности описываются с помощью функции
математического ожидания, полученнои по результатам эмпирическои апробации и изображённои
на рис. 1 (цит. по [
Рис. 1. Подбор графического образа задания по результатам его эмпирической апробации Очевидно, что вероятность успешного выполнения одного и того же задания для испытуемых с более высоким уровнем знании выше, чем для испытуемых с низким уровнем (1) дошедшую до нас из глубины XIX века, когда её начали использовать для математического прогнозирования биологических изменении в природе. Эта функция представляет собои Sобразную кривую, моделирующую рост вероятности наступления некоего события по мере изменения управляющих параметров – увеличения факторов риска, нарастания противоречии, напряжённости, скорости, техногенных изменении и пр.
Теоретические исследования и практическая апробация показали (см. ссылки на
литературу в [
Рис. 2. Зависимость вероятности выполнения двух заданий разной степени сложности β1 и β2 от уровня подготовки испытуемых θ Очевидно, что чем сложнее задание, тем более пологим является график функции P(θ, β). Эти эмпирические кривые послужили основои математического аппарата теории вероятностеи, на которои основан подход IRT.
Но является ли вероятностныи подход наиболее адекватно отражающим характеристики
латентных процессов, которые сопровождают оценку метапредметных образовательных
результатов? Или существуют другие, более эффективные методы оценивания? Для ответа на этот
вопрос рассмотрим возможности математического аппарате нечёткои логики [
Неопределённость объектов оценки выражается в нечётких лингвистических формулировках УУД по Кодификатору, которые должны быть сгруппированы по уровню их сложности при выполнении учебно-познавательных задач. Для каждого уровня сложности задании выбирается диапазон чётких оценок (баллов) как область определения соответствующеи функции принадлежности, которая входит в зону нечёткости. Соответствующая функция принадлежности показывает, насколько достовернои является причисление некоторои группы УУД, необходимых для выполнения того или иного задания, к выбранному интервалу сложности, что демонстрирует степень уверенности учителя/эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности задании [8, с. 207-208].
Функция принадлежности объектов оценки (УУД) является мерои достоверности, показывающеи, насколько валидными являются выбранные задания для оценки того или иного набора УУД. Если исходить из классического определения валидности, то это «мера соответствия методик и результатов исследования поставленным задачам, адекватность интерпретации результатов выполнения задания по отношению к цели его выполнения, показатель меры соответствия задания цели его выполнения, показатель задания, характеризующии точность измерения исследуемого своиства, оценка адекватности задания исследуемои проблеме» (согласно http://btimes.ru/dictionary/validnost). В нашем случае под валидностью понимается мера соответствия, или правомерность использования задании, которые выбраны в зависимости от конкретных образовательных задач и условии обучения, для измерения метапредметных компетенции, представленных в виде набора соответствующих УУД.
Неопределённость экспертной оценки выражается в нечётких вербальных оценках эксперта типа скорее низкий (чем средний) уровень компетенции, довольно высокий уровень компетенции и т. п., которые коррелируются с чёткими балльными оценками в соответствующих интервалах. А отвечающая им функция принадлежности показывает, насколько достовернои является вынесенная экспертная оценка [7, с. 111].
Однои из самых сложных процедур при построении нечёткои модели оценивания метапредметных образовательных результатов является процесс формализации двух форм лексическои неопределённости – субъективности экспертнои оценки, выраженнои в нечётких суждениях, и неопределённости объекта оценки, которая представлена нечёткими лингвистическими формулировками УУД по Кодификатору:
1. Вербальная формализация метапредметных компетенции в виде словесных
формулировок, соответствующих УУД, отражённых в Кодификаторе элементов содержания
учебнопознавательных компетенции учащихся [
2. Математическая формализация уровня сложности задании, для выполнения которых требуется владение метапредметными компетенциями, в виде соответствующих функции принадлежности μ (k), где k – потенциальная оценка, которую может получить учащиися за выполненное задание;
3. Математическая формализация субъективнои оценки эксперта в виде соответствующих функции принадлежности μ (a), где a – реальная оценка, выставленная экспертом; 4. Комбинированная формализация итоговои оценки метапредметных образовательных результатов через мультипликацию функции принадлежности μ (k) и μ (a) в единои области их определения. Это позволяет в рамках одного диапазона качественных значении (высокии, среднии, низкии уровень), производить более детальное различение в соответствии с субъективными требованиями эксперта и уровнем сложности задании, для которых требуется владение измеряемыми компетенциями.
Рис. 3. Зависимость функции принадлежности μ(k), определяющей степень соответствия наборов УУД заданиям четырёх интервалов сложности от потенциальных оценок в интервале от 0 до 10 Математическое описание нечётких характеристик на примере треугольных и трапецеидальных функции принадлежности μ (k) и μ (a) подробно представлено в работах [7; 8]. Однако выбор трапецеидальных и тем более треугольных функции принадлежности не позволяет получить достоверныи результат, поскольку вносит весьма значительную погрешность в процедуру оценки. Опора на эмпирические данные, предоставленные IRT, позволили выбрать в качестве функции принадлежности экспоненциальные логистические кривые, основои которых является формула (1), корректируемая весовыми коэффициентами и линеиными сдвигами по осям абсцисс и ординат. 1. Интервал сложности задании 1 (И1): μ1(k) = . (
Так функции принадлежности μ(k) на рис. 3 показывают, насколько достоверно выбранныи набор УУД соответствует уровню сложности конкретного задания. Здесь k – потенциальная оценка, которую может получить учащиися за выполнение задания: чем сложнее задание, тем выше может быть максимальная оценка и тем более пологои является логистическая функция. Можно также сказать, что эти функции принадлежности демонстрируют степень уверенности учителя/эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности задании.
Каждая из функции принадлежности на рис. 3 описывается экспоненциальнои логистическои функциеи в соответствующем интервале оценок, которые может получить учащиися за выполнение задания тои степени сложности, которая укладывается в один из выбранных интервалов – И1, И2, И3 или И4 (по мере роста сложности задании): ) 2. Интервал сложности задании 2 (И2): μ2(k) = . ( ) + . (оценки 0-2); + . (оценки 0-4); 3. Интервал сложности задании 3 (И3): μ3(k) = 4. Интервал сложности задании 4 (И4): μ4(k) = + . (оценки 0 – 7); + . (оценки 0 – 10).
В соответствии с теориеи нечётких множеств лингвистические формулировки уровнеи оценки метапредметных компетенции соотносятся со значениями выбранных функции принадлежности µ(a), задающих степень уверенности эксперта в принятом решении (рис. 4). Это означает, что явная неопределённость, присутствующая в любом экспертном оценивании и затрудняющая применение точных количественных методов и подходов, а также снижающая уверенность в получении достоверных результатов, приводит к необходимости определения достоверности принимаемых экспертом решении, что и делает функция принадлежности µ(a). Аргументы a – это множество оценок, присваиваемых экспертом учащемуся за владение УУД. Рис. 4. Функции принадлежности µ(a) экспертных оценок метапредметных образовательных результатов для низкого, среднего и высокого уровня развития компетенций Функции принадлежности μ(a) в пределах четырёх интервалов оценок эксперта a в соответствии с уровнями развития метапредметных компетенции выглядят следующим образом: 1. Низкии уровень развития метапредметных компетенции:
( . ) μн(a) = . μср1(a) = .
. 2. Среднии уровень 1 развития метапредметных компетенции: ( . )
. 3. Среднии уровень 2 развития метапредметных компетенции: ( . )
. 4. Высокии уровень развития метапредметных компетенции:
( . ) μср2(a) = .
μв(a) = .
+ . (оценки 0-5); + . (оценки 0-5); .
В [8, с. 211] было предложено установить градацию экспертных оценок как нечётких
суждении с тремя обобщёнными уровнями компетенции – нижним, средним и высоким, каждыи из
которых имеет деление на три дополнительных подуровня в соответствии с наречиями и
+ . (оценки 5-10);
+ . (оценки 5-10).
наречными выражениями определённо, довольно, весьма, более или менее, скорее, крайне и пр. На
основе этои модели в [
Результат, получаемыи с помощью нечёткого автомата, представляется в двух форматах: либо с помощью нечёткои формулировки низкий/средний/высокий уровень компетенции, сопровождаемои коэффициентом достоверности, либо только с помощью нечёткои формулировки определённо/более или менее/скорее низкий/средний/высокий уровень компетенции без коэффициента достоверности (рис. 6).
Рис. 5. Наложение функций принадлежности μ(k) (сплошные линии) и μ(а) (пунктир) в интервале единой шкалы оценок 0-10 для определения результирующей оценки, учитывающей степень достоверности соответствия наборов УУД заданиям μ(k) и степень достоверности оценки эксперта μ(а) Рис. 6. Интерфейс нечёткого автомата, выполненного с помощью приложения Excel, c результатами оценки УУД (метапредметных компетенций) в интервалах сложности заданий И1, И2, И3 и И4 Основные отличия рассматриваемых способов оценки компетенции учащихся – с помощью вероятностнои и нечёткои математическои модели – сведены в следующую таблицу: Основные отличия модели на базе IRT от нечёткой модели Модель IRT
Нечёткая модель 1.Ведущая идея
2. Цель 3. Объект измерения/контроля
4. Методика измерения и базис математического описания
обоснование возможности прогнозирования результатов выполнения тестовых задании различнои степени сложности (определение вероятности правильного
ответа) предназначена для вероятностного прогнозирования успешности выполнения тестовых задании
предметные знания вероятностное прогнозирование (эмпирическая модель) основана на эмпирических (опытных, усреднё нных)
данных при надёжность обеспечивается при любом числе учащихся 7. Типы задании, используемые при
измерении 8. Степень и мера сложности задании тестирование (задания в виде тестов)
дифференцирующая способность задания (мера крутизны логистическои кривои зависимости вероятности успешного выполнения задания от
уровня подготовленности испытуемого) определятся по четырём формальным признакам [4, с. 12-13]: 1) доля неправильных ответов испытуемых на каждое задание
проектируемого теста; 2) потенциал сложности задания
выражен отношением доли неправильных ответов на каждое задание проектируемого теста к вероятности успешного выполнения
задания; 3) единая шкала уровня трудности задания и уровня подготовленности испытуемых (как натуральныи
логарифм от п. 2); 4) параметр сложности задания (окончательная мера сложности задания), корректируемые в процессе шкалирования значения из п.3. измерение уровня сформированности метапредметных компетенции при выполнении задании разнои степени сложности через привлекаемые УУД
предназначена для экспертного оценивания выполнения конкретных учебно-познавательных задании метапредметные компетенции нечё ткая оценочная модель базируется на априорных данных, основанных на
валидности задания (соответствия уровня его сложности уровню сложности привлекаемых для его выполнения УУД, а также предметных и метапредметных
знании) задания и комплекты различных форматах задании
в дифференцирующая способность задания (мера крутизны логистическои кривои зависимости функции принадлежности в определё нном числовом интервале сложности задании соответствующих
метапредметных компетенции по Кодификатору) определяется по степени
сложности метапредметных компетенции и метапредметных и
предметных знании, которые необходимы для выполнения задания [7;
8]: 1) доля неправильных ответов испытуемых на каждое задание проектируемого теста не играет существеннои роли, поскольку мерои
успешности выполнения задания является функция; принадлежности результирующеи логистическои кривои как мера достоверности принятого
решения; 2) потенциал сложности задания выражен функциеи принадлежности в соответствующем интервале сложности
задании соответствующих метапредметных компетенции по Кодификатору демонстрируют степень уверенности эксперта в правильности принятои градации балльных оценок на соответствующих интервалах сложности
задании; 3) единая балльная шкала, объединяющая баллы сложности задания и баллы как оценки эксперта за 9. Математическое
описание 10. Процедура шкалирования
своиства задании описываются с помощью «характеристических кривых задании» (Item Charaсteristic Curves) шкалирование осуществляется после тестирования и фактически является его результатом 4) параметры сложности задания выступают в виде коэффициента достоверности в зависимости от балла в
четырёх интервалах сложности и задаются соответствующеи функциеи
принадлежности.
своиства задании описываются с помощью функции принадлежности шкалирование осуществляется до процедуры оценки и задаёт общую область определения для двух функции принадлежности Выводы. Проведя краткии сопоставительныи анализ факторнои теории оценки IRT и теории нечётких множеств применительно к оцениванию планируемых метапредметных достижении учащихся, можно обозначить следующие ограничения инструментов вероятностного прогнозирования, предоставляемых IRT, по сравнению с возможностями математического аппарата нечёткои логики:
объектом оценки в IRT являются, как правило, предметные знания, проверяемые с помощью процедуры тестирования. Тогда как в реальном учебном процессе перед учителем необходимо возникает проблема оценить степень достижения планируемых метапредметных образовательных результатов в процессе решения учебно-познавательных задач любых форматов, в том числе и с открытым ответом;
метапредметные образовательные результаты представляют собои неопределённо описываемые события, вероятность появления которых не важна или заведомо известна. Преодолеть неопределённость описания события можно путём задания функции принадлежности, определяющих степень достоверности наступления события. Метод IRT позволяет преодолеть неопределённость точно описанного события через определение вероятности его наступления путём задания соответствующеи функции распределения;
нечёткая модель надёжно работает на произвольном числе учащихся – от одного до группы учащихся, учеников всего класса или параллели. Тогда как надёжность метода IRT обеспечивается только при достаточно большой – до нескольких сотен – выборке испытуемых; метапредметные образовательные результаты в силу неопределённости описания требуют высокой степени формализации, которая может быть достигнута путём их декомпозиции на УУД и дальнеишем выражении через вербальные формулировки в виде глаголов мыслительных операции, что позволяет в максимальнои степени учесть нюансы и детали при нивелировании неопределённости. В методе IRT формализация характеристик объектов оценки осуществляется через шкалирование.
Таким образом, нечёткая модель, применяемая для оценки овладения универсальными учебными деиствиями и основанная на критериях достоверности, гораздо в большеи степени отвечает природе неопределённости, заложеннои в метапредметных компетенциях, и неопределённости экспертнои оценки этих компетенции, чем математическая теория измерении IRT, базирующаяся на вероятностных характеристиках, с помощью которых осуществляется прогнозирование результатов тестирования больших масс испытуемых.
Литература