=Paper= {{Paper |id=Vol-1761/paper09 |storemode=property |title= О вероятностном и нечётком способах оценивания метапредметных компетенций учащихся (On probability and fuzzy methods to assess students' metasubject competences ) |pdfUrl=https://ceur-ws.org/Vol-1761/paper09.pdf |volume=Vol-1761 |authors=Olga Korchazhkina }} == О вероятностном и нечётком способах оценивания метапредметных компетенций учащихся (On probability and fuzzy methods to assess students' metasubject competences ) == https://ceur-ws.org/Vol-1761/paper09.pdf

УДК 37.022
Корчажкина О.М.
Институт проблем информатики Федерального исследовательского центра «Информатика и
управление» Россиискои академии наук, г. Москва, Россия
О ВЕРОЯТНОСТНОМ И НЕЧЁТКОМ СПОСОБАХ ОЦЕНИВАНИЯ
МЕТАПРЕДМЕТНЫХ КОМПЕТЕНЦИЙ УЧАЩИХСЯ*
АННОТАЦИЯ
В статье приводится сопоставительный анализ двух способов оценивания латентных
образовательных достижений учащихся, основанных на факторной теории оценки (Item
Response Theory – IRT) и теории нечётких множеств. Проведённое исследование
показало, что нечёткая модель применительно к достижению метапредметных
образовательных результатов имеет бóльший практический потенциал, чем способ
IRT, опирающийся на эмпирико-статистические методы, которые используются при
вероятностном анализе больших массивов слабоструктурированных данных.
КЛЮЧЕВЫЕ СЛОВА
Латентные достижения, факторная теория оценки, теория нечётких множеств,
метапредметные компетенции, образовательные результаты, эмпирико-
статистические методы исследования, большие данные.
Olga Korchazhkina
Institute of Informatics Problems, Federal Research Center “Computer Science and Control” of the Russian
Academy of Sciences, Moscow, Russia
ON PROBABILITY AND FUZZY METHODS TO ASSESS STUDENTS’ METASUBJECT
COMPETENCES
ABSTRACT
The article offers a comparative analysis of two ways of how to assess students’ latent
achievements based on the Item Response Theory (IRT) and the Theory of Fuzzy Sets. The
research shows that the fuzzy model implemented to the assessment of students’ metasubject
educational results has a greater practical potential than the IRT basis using empirical and
statistical methods, which require analysing big data.
KEYWORDS
Latent achievements, Item Response Theory, Fuzzy Set Theory, metasubject competencies,
educational results, empirical and statistical research methods, big data.

Вопросы качества педагогических изменении выходят на новыи уровень, когда ставится
задача оценивания метапредметных компетенции учащихся, или, выражаясь языком Федерального
государственного образовательного стандарта (ФГОС) общего образования второго поколения,
оценки достижения планируемых метапредметных образовательных результатов при освоении
учащимися основнои образовательнои программы. Очевидно, что метапредметные компетенции
представляют собои латентные (не поддающимися непосредственному измерению)
характеристики учебно-познавательнои деятельности, поскольку они как бы растворены и
незримо присутствуют в различных формах этои деятельности, а потому их мониторинг и оценка
сопряжены с определё нными трудностями. Решению этих проблем, основными из которых
являются определение содержания метапредметных компетенций, обсуждение выбора объектов
оценки, обоснование выбора формы представления результатов оценки и способов оценивания,
посвящена настоящая статья. Причё м повышенное внимание предполагается уделить обсуждению
выбора способа оценивания, поскольку этот вопрос, являясь наиболее дискуссионным в области
методологии педагогических измерении, напрямую влияет на «определение сущности, цели, задач,
обоснование методов педагогических измерении, шкалирования и правил интерпретации

* Труды XI Международной научно-практической конференции «Современные

информационные технологии и ИТ-образование» (SITITO’2016), Москва, Россия,
25-26 ноября, 2016

73
результатов» [1].
Содержание метапредметных компетенций. Под метапредметными компетенциями
ФГОС понимает способность учащихся планировать и использовать в учебнои, познавательнои и
социальнои практике межпредметные понятия и универсальные учебные деиствия (УУД) [11, с. 8].
Межпредметные понятия, или метапредметные знания, есть знания о знаниях и способах
их получения, например: система, факт, закономерность, феномен, анализ, синтез и пр. Они не
являются целью изучения большинства учебных предметов, где усваиваются понятия,
подчинё нные межпредметным и соподчинё нные между собои [5, с. 216], а помогают формировать
УУД, которые представляют собои минимальные содержательные элементы метапредметных
компетенции и поэтому выступают в качестве основных деятельностных механизмов
метапредметного содержания образования. Без УУД невозможно осуществление учебно-
познавательнои деятельности [9, с. 22], поскольку они определяются как обобщенные деиствия,
которые открывают возможность широкои ориентации учащихся в различных предметных
областях и в строении самои учебнои деятельности, включая осознание её целевои
направленности, ценностно-смысловых и операциональных (деятельностных) характеристик [11,
с. 8].
Выбор объектов оценки. Перевод скрытых качеств в непосредственно наблюдаемые
напрямую связан с проблемои формализации. Объекты оценки метапредметных компетенции
могут быть выделены только в том случае, если удастся нивелировать их латентные своиства, то
есть выразить в явнои форме посредством содержательнои декомпозиции в виде более мелких
составляющих и описать их сущность с помощью естественного языка или представить в числовом
выражении. Такими структурными единицами являются, как было отмечено выше,
межпредметные понятия, или метапредметные знания, и УУД.
Межпредметные понятия, которые являются знаниевыми компонентами метапредметных
компетенции, не имеет смысла рассматривать в качестве отдельных объектов оценки, поскольку
они напрямую связаны с УУД и проявляются в их реализации, подтверждая тем самым
общеизвестныи тезис: кто способен правильно понимать, тот способен правильно деиствовать.
Поэтому единственными объектами оценки метапредметных компетенции целесообразно
выбрать УУД, которые могут быть вербализованы с помощью глаголов мыслительных операции,
совершаемых учащимися при решении учебно-познавательных задач. Мыслительные операции
проявляются в рамках познавательных, коммуникативных и регулятивных УУД, которые могут
быть чё тко расписаны и привязаны к различным видам учебно-познавательных задании. Это
означает, что для оценки метапредметных образовательных результатов необходимо определить,
какие УУД привлекает учащиися при выполнении конкретного учебно-познавательного задания –
какого качества и в каком объё ме. Чтобы поставить в соответствие учебнои задаче набор УУД,
необходимых для её выполнения, можно воспользоваться классификации учебно-познавательных
задач, предложеннои в [10], и Кодификатором элементов содержания учебно-познавательных
компетенции учащихся [6], в котором УУД представлены в виде глаголов мыслительных операции,
классифицированных по трё м группам – познавательных, коммуникативных и регулятивных УУД.
Если учитель умеет соотносить учебно-познавательные задания с УУД, то это даё т ему
возможность сделать подобныи подход практико-ориентированным и позволяет осуществлять
оценку метапредметных компетенции непосредственно в процессе предметнои учебно-
познавательнои деятельности на каждом уроке, не отводя этому дополнительное время.
Выбор формы представления результатов оценки. Поскольку оценка метапредметных
образовательных результатов не может выражаться в виде «процентов» и «показателеи», так как
является видом экспертнои оценки, естественно представлять эти результаты не в точном
количественном выражении, а в терминах лексическои неопределё нности, значениями которои
являются не числа, а имена, то есть в терминах высокий, средний, низкий уровень с использованием
уточняющих наречии весьма, довольно, определённо, скорее и пр. [8, с. 204, 208]. То есть оценка
сформированности УУД в большеи мере субъективна и должна находиться в диапазоне с
неопределё нными границами.
Внутри диапазона с неопределё нными границами учитывается как сложность задания, так
и более детальные критерии, зависящие от вида задании, уровня сформированности компетенции
учащихся, субъективных требовании эксперта и прочих латентных факторов.
Строго говоря, в лингвистических формулировках оценки метапредметных компетенции
достаточно учесть два вида неопределё нности: 1) неопределё нность оценки эксперта,
принимающая во внимание субъективные условия осуществления оценочных деиствии, которая
выражает его предпочтения и показывает степень его уверенности в вынесенном решении, то есть
достоверность его оценки, и 2) неопределё нность, обусловленная неточными формулировками
требовании к различным видам метапредметных компетенции в соответствии с Кодификатором,

74
подразделение их на различные уровни по степени сложности и представленность этих
показателеи в предметных заданиях.
Эти допущения позволяют конкретизировать поставленную задачу: она состоит в том,
чтобы предложить способ оценки метапредметных образовательных результатов на
основе учёта неопределённости экспертной оценки и неопределённости, возникающей в
результате причисления выполняемого учебно-познавательного задания к тому или иному
уровню сложности. Задачу формализации двух видов неопределё нности можно решить,
установив непрямое соответствие между балльнои системои оценок предметных образовательных
результатов и формализованнои шкалои оценки метапредметных образовательных результатов.
Это позволит установить форму представления результатов оценки определё нного набора УУД,
которым сопровождается каждое задание. Вопрос состоит в том, по каким законам должно
устанавливаться это непрямое соответствие, или какой способ формализации
неопределённости выбрать?
Как отмечается в [13, с. 74-76], неопределё нность может выражаться в виде вероятности и
в виде нечё ткости: стохастическая (вероятностная) неопределё нность «означает
неопределё нность появления события, которое является само по себе точно описанным», а
лексическая неопределё нность, или нечё ткость, «означает неопределё нность в описании события».
В [4, с. 9] отмечается, что на основе реально наблюдаемых данных ставится задача воссоздания
непосредственно ненаблюдаемого качества, измеряемого с помощью модели. Какую выбрать
модель – вероятностную или нечё ткую – для того, чтобы перевести скрытые качества в
непосредственно наблюдаемые?
Рассмотрим оба способа формализации неопределё нности – вероятностныи и нечё ткии.
Вероятностная модель оценивания на основе факторной теории оценки IRT
Вероятностныи способ формализации неопределё нности базируется на факторнои теории
оценки (Item Response Theory – IRT) [12], которую называют также вероятностнои или
математическои теориеи измерении [1-4], тогда как дословныи перевод IRT можно представить как
«теория оценки по результату выполнения задания». Эта теория базируется на вероятностных
характеристиках, получаемых в результате обработки обширных массивов данных при
тестировании достаточно большои выборки испытуемых. Отметим, что задания предлагаются
испытуемым только в тестовом формате. Кроме того, оценки, которые получают испытуемые,
демонстрируют их знания в определё ннои предметнои области, то есть являются показателями
предметных образовательных результатов.
Исторически факторная теория оценки явилась переложением на область психолого-
педагогических измерении теории латентно-структурного анализа (LSA – Latent Structure Analysis),
согласно которому на большои выборке испытуемых выявляются скрытые поведенческие факторы
и осуществляется прогноз их проявления с помощью вероятностно-статистических моделеи. Сама
факторная теория оценки раскрывает стохастические (вероятностные) закономерности точно
описанного события в виде ответов учащихся на определё нные задания. В каждом задании
вероятность правильного ответа испытуемых должна расти по мере повышения уровня
подготовленности испытуемых. Эти закономерности описываются с помощью функции
математического ожидания, полученнои по результатам эмпирическои апробации и изображё ннои
на рис. 1 (цит. по [4]), где θ – уровень подготовленности испытуемых, или уровень их знании, а P(θ)
– вероятность успешно выполнить задание.

Рис. 1. Подбор графического образа задания по результатам его эмпирической апробации
Очевидно, что вероятность успешного выполнения одного и того же задания для
испытуемых с более высоким уровнем знании выше, чем для испытуемых с низким уровнем

75
подготовки. Функция P(θ), построенная путё м аппроксимации набора эмпирических данных,
представляет собои логистическую функцию экспоненциального типа
(1)

дошедшую до нас из глубины XIX века, когда её начали использовать для математического
прогнозирования биологических изменении в природе. Эта функция представляет собои S-
образную кривую, моделирующую рост вероятности наступления некоего события по мере
изменения управляющих параметров – увеличения факторов риска, нарастания противоречии,
напряжё нности, скорости, техногенных изменении и пр.
Теоретические исследования и практическая апробация показали (см. ссылки на
литературу в [1-4]), что логистическая функция вида (1) наилучшим образом (то есть с
минимальными отклонениями) отражает законы, которым подчиняется не только зависимость
вероятности успешно выполнить задание P(θ) от уровня подготовки испытуемых θ (см. рис. 1), но
и зависимость вероятности успешно выполнить задание P(β) от сложности самого задания β. На
рис. 2 представлены графики зависимости вероятности P(θ, β) выполнения задании разнои
степени сложности β1 и β2 от уровня подготовки испытуемых θ.

Рис. 2. Зависимость вероятности выполнения двух заданий разной степени сложности β1 и β2 от
уровня подготовки испытуемых θ
Очевидно, что чем сложнее задание, тем более пологим является график функции P(θ, β).
Эти эмпирические кривые послужили основои математического аппарата теории
вероятностеи, на которои основан подход IRT.
Но является ли вероятностныи подход наиболее адекватно отражающим характеристики
латентных процессов, которые сопровождают оценку метапредметных образовательных
результатов? Или существуют другие, более эффективные методы оценивания? Для ответа на этот
вопрос рассмотрим возможности математического аппарате нечё ткои логики [13-15], которая
также имеет дело с латентными параметрами и оперирует понятием неопределё нности.
Модель оценивания на основе математического аппарата нечёткой логики
Метапредметные компетенции, как уже говорилось, являются латентными
характеристиками способности учащихся осуществлять учебно-познавательную (предметную и
метапредметную) деятельность, а их оценка сопряжена с двумя формами неопределё нности:
неопределё нности объектов оценки и неопределё нности экспертнои оценки этих объектов. В
нечё ткои логике эта неопределё нность выражается коэффициентами достоверности, которые
определяются через функцию принадлежности y = μ(x), где x – аргумент, выражающии некоторое
числовое множество.
Неопределённость объектов оценки выражается в нечё тких лингвистических
формулировках УУД по Кодификатору, которые должны быть сгруппированы по уровню их
сложности при выполнении учебно-познавательных задач. Для каждого уровня сложности задании
выбирается диапазон чё тких оценок (баллов) как область определения соответствующеи функции
принадлежности, которая входит в зону нечё ткости. Соответствующая функция принадлежности
показывает, насколько достовернои является причисление некоторои группы УУД, необходимых
для выполнения того или иного задания, к выбранному интервалу сложности, что демонстрирует
степень уверенности учителя/эксперта в правильности принятои градации балльных оценок на
соответствующих интервалах сложности задании [8, с. 207-208].
Функция принадлежности объектов оценки (УУД) является мерои достоверности,
показывающеи, насколько валидными являются выбранные задания для оценки того или иного
набора УУД. Если исходить из классического определения валидности, то это «мера соответствия

76
методик и результатов исследования поставленным задачам, адекватность интерпретации
результатов выполнения задания по отношению к цели его выполнения, показатель меры
соответствия задания цели его выполнения, показатель задания, характеризующии точность
измерения исследуемого своиства, оценка адекватности задания исследуемои проблеме» (согласно
http://btimes.ru/dictionary/validnost). В нашем случае под валидностью понимается мера
соответствия, или правомерность использования задании, которые выбраны в зависимости от
конкретных образовательных задач и условии обучения, для измерения метапредметных
компетенции, представленных в виде набора соответствующих УУД.
Неопределённость экспертной оценки выражается в нечё тких вербальных оценках
эксперта типа скорее низкий (чем средний) уровень компетенции, довольно высокий уровень
компетенции и т. п., которые коррелируются с чё ткими балльными оценками в соответствующих
интервалах. А отвечающая им функция принадлежности показывает, насколько достовернои
является вынесенная экспертная оценка [7, с. 111].
Однои из самых сложных процедур при построении нечё ткои модели оценивания
метапредметных образовательных результатов является процесс формализации двух форм
лексическои неопределё нности – субъективности экспертнои оценки, выраженнои в нечё тких
суждениях, и неопределё нности объекта оценки, которая представлена нечё ткими
лингвистическими формулировками УУД по Кодификатору:
1. Вербальная формализация метапредметных компетенции в виде словесных
формулировок, соответствующих УУД, отражё нных в Кодификаторе элементов содержания учебно-
познавательных компетенции учащихся [6];
2. Математическая формализация уровня сложности задании, для выполнения которых
требуется владение метапредметными компетенциями, в виде соответствующих функции
принадлежности μ (k), где k – потенциальная оценка, которую может получить учащиися за
выполненное задание;
3. Математическая формализация субъективнои оценки эксперта в виде соответствующих
функции принадлежности μ (a), где a – реальная оценка, выставленная экспертом;
4. Комбинированная формализация итоговои оценки метапредметных образовательных
результатов через мультипликацию функции принадлежности μ (k) и μ (a) в единои области их
определения. Это позволяет в рамках одного диапазона качественных значении (высокии, среднии,
низкии уровень), производить более детальное различение в соответствии с субъективными
требованиями эксперта и уровнем сложности задании, для которых требуется владение
измеряемыми компетенциями.

Рис. 3. Зависимость функции принадлежности μ(k), определяющей степень соответствия наборов УУД
заданиям четырёх интервалов сложности от потенциальных оценок в интервале от 0 до 10
Математическое описание нечётких характеристик на примере треугольных и
трапецеидальных функции принадлежности μ (k) и μ (a) подробно представлено в работах [7; 8].
Однако выбор трапецеидальных и тем более треугольных функции принадлежности не позволяет
получить достоверныи результат, поскольку вносит весьма значительную погрешность в
процедуру оценки. Опора на эмпирические данные, предоставленные IRT, позволили выбрать в
качестве функции принадлежности экспоненциальные логистические кривые, основои которых
является формула (1), корректируемая весовыми коэффициентами и линеиными сдвигами по осям
абсцисс и ординат.

77
Так функции принадлежности μ(k) на рис. 3 показывают, насколько достоверно выбранныи
набор УУД соответствует уровню сложности конкретного задания. Здесь k – потенциальная оценка,
которую может получить учащиися за выполнение задания: чем сложнее задание, тем выше может
быть максимальная оценка и тем более пологои является логистическая функция. Можно также
сказать, что эти функции принадлежности демонстрируют степень уверенности учителя/эксперта
в правильности принятои градации балльных оценок на соответствующих интервалах сложности
задании.
Каждая из функции принадлежности на рис. 3 описывается экспоненциальнои
логистическои функциеи в соответствующем интервале оценок, которые может получить
учащиися за выполнение задания тои степени сложности, которая укладывается в один из
выбранных интервалов – И1, И2, И3 или И4 (по мере роста сложности задании):
. ( )
1. Интервал сложности задании 1 (И1): μ1(k) = + . (оценки 0-2);
. ( )
2. Интервал сложности задании 2 (И2): μ2(k) = + . (оценки 0-4);

3. Интервал сложности задании 3 (И3): μ3(k) = + . (оценки 0 – 7);

4. Интервал сложности задании 4 (И4): μ4(k) = + . (оценки 0 – 10).
В соответствии с теориеи нечё тких множеств лингвистические формулировки уровнеи
оценки метапредметных компетенции соотносятся со значениями выбранных функции
принадлежности µ(a), задающих степень уверенности эксперта в принятом решении (рис. 4). Это
означает, что явная неопределё нность, присутствующая в любом экспертном оценивании и
затрудняющая применение точных количественных методов и подходов, а также снижающая
уверенность в получении достоверных результатов, приводит к необходимости определения
достоверности принимаемых экспертом решении, что и делает функция принадлежности µ(a).
Аргументы a – это множество оценок, присваиваемых экспертом учащемуся за владение УУД.

Рис. 4. Функции принадлежности µ(a) экспертных оценок метапредметных образовательных
результатов для низкого, среднего и высокого уровня развития компетенций
Функции принадлежности μ(a) в пределах четырё х интервалов оценок эксперта a в
соответствии с уровнями развития метапредметных компетенции выглядят следующим образом:
1. Низкии уровень развития метапредметных компетенции:
. ( . )
μн(a) = . + . (оценки 0-5);
2. Среднии уровень 1 развития метапредметных компетенции:
. ( . )
μср1(a) = . + . (оценки 0-5);
3. Среднии уровень 2 развития метапредметных компетенции:
. ( . )
μср2(a) = . + . (оценки 5-10);
4. Высокии уровень развития метапредметных компетенции:
. ( . )
μв(a) = . + . (оценки 5-10).
В [8, с. 211] было предложено установить градацию экспертных оценок как нечё тких
суждении с тремя обобщё нными уровнями компетенции – нижним, средним и высоким, каждыи из
которых имеет деление на три дополнительных подуровня в соответствии с наречиями и

78
наречными выражениями определённо, довольно, весьма, более или менее, скорее, крайне и пр. На
основе этои модели в [7] был предложен алгоритм нечё ткого автомата оценки метапредметных
компетенции учащихся в зависимости от уровня сложности выполненных задании и оценок,
присвоенных экспертами за это задание. Алгоритм реализован в среде Excel и основан на наложении
(мультипликации) функции принадлежности μ(k) и μ (a) (рис. 5). Значения результирующеи
функции принадлежности в общеи области определения (области оценок от 0 до 10) считаются
надё жными, если они находятся в интервале увереннои достоверности: 0,625 < (μ (a) х μн(k)) < 1,0.
Результат, получаемыи с помощью нечё ткого автомата, представляется в двух форматах:
либо с помощью нечё ткои формулировки низкий/средний/высокий уровень компетенции,
сопровождаемои коэффициентом достоверности, либо только с помощью нечё ткои формулировки
определённо/более или менее/скорее низкий/средний/высокий уровень компетенции без
коэффициента достоверности (рис. 6).

Рис. 5. Наложение функций принадлежности μ(k) (сплошные линии) и μ(а) (пунктир) в интервале
единой шкалы оценок 0-10 для определения результирующей оценки, учитывающей степень достоверности
соответствия наборов УУД заданиям μ(k) и степень достоверности оценки эксперта μ(а)

Рис. 6. Интерфейс нечёткого автомата, выполненного с помощью приложения Excel, c результатами оценки
УУД (метапредметных компетенций) в интервалах сложности заданий И1, И2, И3 и И4
Основные отличия рассматриваемых способов оценки компетенции учащихся – с помощью
вероятностнои и нечё ткои математическои модели – сведены в следующую таблицу:
Основные отличия модели на базе IRT от нечёткой модели
Модель IRT Нечёткая модель

79
1.Ведущая идея обоснование возможности измерение уровня сформированности
прогнозирования результатов метапредметных компетенции при
выполнения тестовых задании выполнении задании разнои степени
различнои степени сложности сложности через привлекаемые УУД
(определение вероятности правильного
ответа)
2. Цель предназначена для вероятностного предназначена для экспертного
прогнозирования успешности оценивания выполнения конкретных
выполнения тестовых задании учебно-познавательных задании
3. Объект предметные знания метапредметные компетенции
измерения/контроля
4. Методика вероятностное прогнозирование нечё ткая оценочная модель базируется
измерения и базис (эмпирическая модель) основана на на априорных данных, основанных на
математического эмпирических (опытных, усреднё нных) валидности задания (соответствия
описания данных уровня его сложности уровню сложности
привлекаемых для его выполнения УУД, а
также предметных и метапредметных
знании)
5. Неопределё нность визуализация формальных вербальная и математическая
и способы её характеристик тестовых задании визуализация содержательных
формализации характеристик учебно-познавательных
задании
6. Число испытуемых надё жность обеспечивается при надё жность обеспечивается при любом
большом числе испытуемых числе учащихся
7. Типы задании, тестирование (задания в виде тестов) задания и комплекты задании в
используемые при различных форматах
измерении
8. Степень и мера дифференцирующая способность дифференцирующая способность задания
сложности задании задания (мера крутизны логистическои (мера крутизны логистическои кривои
кривои зависимости вероятности зависимости функции принадлежности в
успешного выполнения задания от определё нном числовом интервале
уровня подготовленности сложности задании соответствующих
испытуемого) определятся по четырё м метапредметных компетенции по
формальным признакам [4, с. 12-13]: Кодификатору) определяется по степени
сложности метапредметных
1) доля неправильных ответов
компетенции и метапредметных и
испытуемых на каждое задание
предметных знании, которые
проектируемого теста;
необходимы для выполнения задания [7;
2) потенциал сложности задания 8]:
выражен отношением доли 1) доля неправильных ответов
неправильных ответов на каждое испытуемых на каждое задание
задание проектируемого теста к проектируемого теста не играет
вероятности успешного выполнения существеннои роли, поскольку мерои
задания; успешности выполнения задания
является функция; принадлежности
3) единая шкала уровня трудности
результирующеи логистическои кривои
задания и уровня подготовленности
как мера достоверности принятого
испытуемых (как натуральныи
решения;
логарифм от п. 2);
2) потенциал сложности задания
4) параметр сложности задания выражен функциеи принадлежности в
(окончательная мера сложности соответствующем интервале сложности
задания), корректируемые в процессе задании соответствующих
шкалирования значения из п.3. метапредметных компетенции по
Кодификатору демонстрируют степень
уверенности эксперта в правильности
принятои градации балльных оценок на
соответствующих интервалах сложности
задании;
3) единая балльная шкала,
объединяющая баллы сложности задания
и баллы как оценки эксперта за

80
выполнение этого задания;
4) параметры сложности задания
выступают в виде коэффициента
достоверности в зависимости от балла в
четырё х интервалах сложности и
задаются соответствующеи функциеи
принадлежности.
9. Математическое своиства задании описываются с своиства задании описываются с
описание помощью «характеристических кривых помощью функции принадлежности
задании» (Item Charaсteristic Curves)
10. Процедура шкалирование осуществляется после шкалирование осуществляется до
шкалирования тестирования и фактически является процедуры оценки и задаё т общую
его результатом область определения для двух функции
принадлежности
Выводы. Проведя краткии сопоставительныи анализ факторнои теории оценки IRT и
теории нечё тких множеств применительно к оцениванию планируемых метапредметных
достижении учащихся, можно обозначить следующие ограничения инструментов вероятностного
прогнозирования, предоставляемых IRT, по сравнению с возможностями математического
аппарата нечё ткои логики:
 объектом оценки в IRT являются, как правило, предметные знания, проверяемые с
помощью процедуры тестирования. Тогда как в реальном учебном процессе перед учителем
необходимо возникает проблема оценить степень достижения планируемых метапредметных
образовательных результатов в процессе решения учебно-познавательных задач любых
форматов, в том числе и с открытым ответом;
 метапредметные образовательные результаты представляют собои неопределённо
описываемые события, вероятность появления которых не важна или заведомо известна.
Преодолеть неопределё нность описания события можно путё м задания функции принадлежности,
определяющих степень достоверности наступления события. Метод IRT позволяет преодолеть
неопределённость точно описанного события через определение вероятности его
наступления путё м задания соответствующеи функции распределения;
 нечё ткая модель надё жно работает на произвольном числе учащихся – от одного до
группы учащихся, учеников всего класса или параллели. Тогда как надё жность метода IRT
обеспечивается только при достаточно большой – до нескольких сотен – выборке испытуемых;
 метапредметные образовательные результаты в силу неопределё нности описания
требуют высокой степени формализации, которая может быть достигнута путё м их
декомпозиции на УУД и дальнеишем выражении через вербальные формулировки в виде глаголов
мыслительных операции, что позволяет в максимальнои степени учесть нюансы и детали при
нивелировании неопределё нности. В методе IRT формализация характеристик объектов оценки
осуществляется через шкалирование.
Таким образом, нечё ткая модель, применяемая для оценки овладения универсальными
учебными деиствиями и основанная на критериях достоверности, гораздо в большеи степени
отвечает природе неопределё нности, заложеннои в метапредметных компетенциях, и
неопределё нности экспертнои оценки этих компетенции, чем математическая теория измерении
IRT, базирующаяся на вероятностных характеристиках, с помощью которых осуществляется
прогнозирование результатов тестирования больших масс испытуемых.
Литература
1. Аванесов В.С. Вопросы методологии педагогических измерений // Педагогические измерения 2005. №1.
http://testolog.narod.ru/EdMeasmt3.html.
2. Аванесов В.С. Основные понятия и положения математической теории измерений (Item Response Theory).
http://gpo1006.keva.tusur.ru/node/4.
3. Аванесов В.С. Проблема педагогического измерения латентных качеств http://viperson.ru/articles/problema-
pedagogicheskogo-izmereniya-latentnyh-kachestv.
4. Аванесов В.С. Item Response Theory: основные понятия и положения. http://testolog.narod.ru/Theory59.html.
5. Иванова О.А. Межпредметные понятия и формирование универсальных учебных действий на уроках математики
// Известия Российского государственного педагогического университета им. А.И. Герцена. 2013. Выпуск № 161. С.
215-219. http://cyberleninka.ru/article/n/mezhpredmetnye-ponyatiya-i-formirovanie-universalnyh-uchebnyh-deystviy-
pri-izuchenii-matematiki.
6. Кодификатор элементов содержания учебно-познавательных компетенций учащихся.
https://sites.google.com/site/efficiencyolga/home/kodifikator-elementov-soderzania-ucebno-poznavatelnyh-
kompetencij-ucasihsa.
7. Корчажкина О.М. Измерение метапредметных образовательных результатов: постановка задачи моделирования
нечёткого автомата / Современные информационные технологии и ИТ-образование. – М.: МГУ. Т. 1 (№ 11), 2015. –
638 с. С. 106-116.

81
8. Корчажкина О.М. Концепция оценки метапредметных образовательных результатов методами нечёткого
моделирования / Современные информационные технологии и ИТ-образование [Электронный ресурс] / Сборник
научных трудов VIII Международной научно-практической конференции / под ред. В.А. Сухомлина. – Москва: МГУ,
2013. – Т.2. – 357с. – 1 электрон. oпт. диск (СD-ROM). С. 204-217.
9. Корчажкина О.М. Метапредметное содержание образования во ФГОС общего образования // Педагогика. 2016. №
2. С. 16-25.
10. Корчажкина О.М. Типология заданий для электронных учебников: укрупнять или разделять? / Труды
Международного конгресса по информатике: информационные системы и технологии (CSIS’2016). г. Минск,
Республика Беларусь. 24 – 27 октября 2016 г. (в печати).
11. Федеральный государственный образовательный стандарт среднего (полного) общего образования. / М-во
образования и науки Рос. Федерации. – М.: Просвещение, 2013. – 63 c. (Стандарты второго поколения).
12. Mislevy, R.J. How Developments in Psychology and Technology Challenge Assessment. Доклад на заседании учебного
комитета Национальных академий естественных, инженерных и медицинских наук США (The National Academies
of Sciences, Engineering, and Medicine) https://vimeo.com/136642747.
13. Piegat, A. Fuzzy Modeling and Control. – Heidelberg: Physica-Verlag, 2001. – 728 p.
14. Zimmermann, H.-J. Fuzzy set theory // WIREs Comp Stat, John Wiley & Sons, Inc. Vol. 2, May/June. 2010. P. 317-332.
http://www.mv.helsinki.fi/home/niskanen/zimmermann_review.pdf
15. Zimmermann, H.-J. Fuzzy set theory and its applications / H.-J. Zimmermann. – 4th ed. – 514 p.
http://kashanu.ac.ir/Files/Content/H_-
J_%20Zimmermann%20%20(auth_)%20Fuzzy%20Set%20Theory%E2%80%94and%20Its%20Applications%20%20200
1.pdf.

References
1. Avanesov V.S. Voprosyi metodologii pedagogicheskih izmereniy // Pedagogicheskie izmereniya 2005. #1.
http://testolog.narod.ru/EdMeasmt3.html.
2. Avanesov V.S. Osnovnyie ponyatiya i polozheniya matematicheskoy teorii izmereniy (Item Response Theory).
http://gpo1006.keva.tusur.ru/node/4.
3. Avanesov V.S. Problema pedagogicheskogo izmereniya latentnyih kachestv http://viperson.ru/articles/problema-
pedagogicheskogo-izmereniya-latentnyh-kachestv.
4. Avanesov V.S. Item Response Theory: osnovnyie ponyatiya i polozheniya. http://testolog.narod.ru/Theory59.html.
5. Ivanova O.A. Mezhpredmetnyie ponyatiya i formirovanie universalnyih uchebnyih deystviy na urokah matematiki //
Izvestiya Rossiyskogo gosudarstvennogo pedagogicheskogo universiteta im. A.I. Gertsena. 2013. Vyipusk # 161. S. 215-219.
http://cyberleninka.ru/article/n/mezhpredmetnye-ponyatiya-i-formirovanie-universalnyh-uchebnyh-deystviy-pri-
izuchenii-matematiki.
6. Kodifikator elementov soderzhaniya uchebno-poznavatelnyih kompetentsiy uchaschihsya.
https://sites.google.com/site/efficiencyolga/home/kodifikator-elementov-soderzania-ucebno-poznavatelnyh-
kompetencij-ucasihsa.
7. Korchazhkina O.M. Izmerenie metapredmetnyih obrazovatelnyih rezultatov: postanovka zadachi modelirovaniya
nechYotkogo avtomata / Sovremennyie informatsionnyie tehnologii i IT-obrazovanie. – M.: MGU. T. 1 (# 11), 2015. – 638 s.
S. 106-116.
8. Korchazhkina O.M. Kontseptsiya otsenki metapredmetnyih obrazovatelnyih rezultatov metodami nechYotkogo
modelirovaniya / Sovremennyie informatsionnyie tehnologii i IT-obrazovanie [Elektronnyiy resurs] / Sbornik nauchnyih
trudov VIII Mezhdunarodnoy nauchno-prakticheskoy konferentsii / pod red. V.A. Suhomlina. – Moskva: MGU, 2013. – T.2. –
357s. – 1 elektron. opt. disk (SD-ROM). S. 204-217.
9. Korchazhkina O.M. Metapredmetnoe soderzhanie obrazovaniya vo FGOS obschego obrazovaniya // Pedagogika. 2016. # 2.
S. 16-25.
10. Korchazhkina O.M. Tipologiya zadaniy dlya elektronnyih uchebnikov: ukrupnyat ili razdelyat? / Trudyi Mezhdunarodnogo
kongressa po informatike: informatsionnyie sistemyi i tehnologii (CSIS’2016). g. Minsk, Respublika Belarus. 24 – 27
oktyabrya 2016 g. (v pechati).
11. Federalnyiy gosudarstvennyiy obrazovatelnyiy standart srednego (polnogo) obschego obrazovaniya. / M-vo obrazovaniya
i nauki Ros. Federatsii. – M.: Prosveschenie, 2013. – 63 s. (Standartyi vtorogo pokoleniya).
12. Mislevy, R.J. How Developments in Psychology and Technology Challenge Assessment. Доклад на заседании учебного
комитета Национальных академий естественных, инженерных и медицинских наук США (The National Academies
of Sciences, Engineering, and Medicine) https://vimeo.com/136642747.
13. Piegat, A. Fuzzy Modeling and Control. – Heidelberg: Physica-Verlag, 2001. – 728 p.
14. Zimmermann, H.-J. Fuzzy set theory // WIREs Comp Stat, John Wiley & Sons, Inc. Vol. 2, May/June. 2010. P. 317-332.
http://www.mv.helsinki.fi/home/niskanen/zimmermann_review.pdf
15. Zimmermann, H.-J. Fuzzy set theory and its applications / H.-J. Zimmermann. – 4th ed. – 514 p.
http://kashanu.ac.ir/Files/Content/H_-
J_%20Zimmermann%20%20(auth_)%20Fuzzy%20Set%20Theory%E2%80%94and%20Its%20Applications%20%20200
1.pdf.
Поступила 15.10.2016
Об авторе:
Корчажкина Ольга Максимовна, старшии научныи сотрудник лаборатории «Проблемы информатизации образования»
Института проблем информатики Федерального исследовательского центра «Информатика и управление»
Россиискои академии наук, кандидат технических наук, olgakomax@gmail.com.