<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Поддержка принятия решений при планировании мероприятий по противодействию информационным операциям</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Украина tsyganok@ipri.kiev.ua</string-name>
          <email>tsyganok@ipri.kiev.ua</email>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Vitaliy V. Tsyganok Institute for Information Recording of the National Academy of Sciences of Ukraine</institution>
          ,
          <addr-line>Kyiv</addr-line>
          ,
          <country country="UA">Ukraine</country>
        </aff>
      </contrib-group>
      <fpage>24</fpage>
      <lpage>31</lpage>
      <abstract>
        <p>Современные методы поддержки принятия решений, основанные на наиболее полном использовании знаний в определенной предметной области (как формализованных, так и экспертных) предлагаются к применению при долгосрочном планировании. Предложен формальный подход к построению стратегических планов, который описан на примере разработки оборонительной информационной операции. Описано сущность процесса создания стратегии и его общие этапы. Процесс включает этап построения базы знаний, на основе которой в дальнейшем генерируются рекомендации для лиц, принимающих решения в области противодействия информационным операциям. На этом этапе, предварительно сформированными группами удаленно работающих экспертов под руководством инженера по знаниям, производится иерархическая декомпозиция проблемы, связанной с целью, достигаемой в результате выполнения стратегического плана. Предусматривается, что относительные взаимные влияния объектов базы знаний (целей в декомпозиции) определяются либо инженером по знаниям, при наличии достоверных знаний об уровне этого влияния, или же, в противном случае, - группой принимавших участие в декомпозиции экспертов, путем парных сравнений степени соответствующих влияний. Для повышения достоверности результатов экспертизы, разработан специальный программный инструментарий, который предоставляет эксперту возможность выполнять каждое отдельное парное сравнение в вербальной шкале оценивания, наиболее адекватно отражающей представление/знание эксперта в обсуждаемом вопросе и уровень его/ее уверенности в собственных знаниях. Агрегация групповых неполных парных сравнений, представленных в разных шкалах, выполняется комбинаторным методом при достаточной согласованности экспертных сравнений, которая достигается в результате возможной обратной связи с членами экспертной группы. На заключительном этапе в качестве оптимальной стратегии предлагается избирать рациональный вариант распределения ресурсов между возможными мероприятиями противодействия информационной операции. Поиск рационального на определенный момент времени варианта распределения ресурсов производится с помощью Генетического алгоритма, функцией приспособленности которого является степень достижения стратегической цели, рассчитанная с помощью метода целевого динамического оценивания альтернатив.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>одновременно к наступательным и оборонительным. Особенностью наступательных ИО (информационных
атак) есть то, что объекты влияния таких операций определены и планирование основывается на довольно
точной информации об этих объектах. Информационная атака чаще всего требует нахождения или создания
информационного повода (для оборонительных ИО поводом может быть сама информационная атака
неприятеля), раскручивание этого повода, т.е. пропаганда (в отличие от мероприятий контрпропаганды при
оборонительных ИО), а также необходимость применения мероприятий по противостоянию
информационному воздействию. Таким образом, ИО, вне зависимости от ее типа, можно разделить на
следующие этапы: оценка, планирование, выполнение и завершающая фаза. Далее, в соответствии с целью
данного исследования, более детально рассмотрим оборонительную ИО, соответствующую доктрине
большинства прогрессивно развивающихся государств.</p>
      <p>Типичная оборонительная ИО охватывает такие основные этапы:
 Оценка:
- Анализ возможных уязвимостей (целей);
- Сбор информации о возможных операциях;
- Определение возможных «заказчиков» информационных влияний:
 определение сфер общего интереса объекта и потенциальных «заказчиков»;
 ранжирование потенциальных заказчиков за их интересами;
 Планирование:
- Стратегическое планирование оборонительной операции (явное или неявное):
 Определение критериев информационных влияний;
 Моделирование информационных влияний с учетом:
 связей объекта;
 динамики влияния;
 «особых» (критических) точек влияния;
 Прогнозирование следующих шагов;
 Расчет следствий;
- Тактическое планирование контр-операций;
 Выполнение – реализация информационного влияния:
- Выявление и «сглаживание» информационного повода;
- Контрпропаганда;
- Оперативная разведка;
- Оценка информационной среды;
- Корректирование информационного противодействия;
 Завершающая фаза:
- Анализ эффективности;
- Использование положительных результатов информационного влияния;
- Противодействие отрицательным результатам.</p>
      <p>Как можно видеть из предложенной детализации оборонительной ИО, основополагающим
компонентом является стратегическое планирование. Очевидно, не существует единого «стандартного»
плана проведения ИО. Можно лишь рассмотреть образцовую, полученную путем обобщения некоторых уже
реализованных ИО, последовательность действий при их осуществлении. Причем выбор оптимального
набора таких мероприятий в определенный момент времени зависит в первую очередь от наличия ресурсов
для их проведения в этот текущий момент, а так же от результатов выполнения ранее выбранных
мероприятий. Оптимальность здесь следует рассматривать с точки зрения эффективности достижения целей
проведения той, или иной оборонительной ИО.</p>
      <p>Целью данного исследования есть усовершенствование имеющегося аппарата поддержки принятия
решений (ППР) с учетом особенностей процесса стратегического планирования в слабо структурированных
предметных областях. В контексте данной работы была поставлена более конкретная цель: разработать
комплексную методику ППР, позволяющая повысить качество процесса стратегического планирования
оборонительной ИО. Итак, в статье предлагаются методика формального построения стратегии ИО с
привлечением группы специалистов, компетентных в этой области. На основе современных методов
экспертной ППР предлагается возможность наиболее полного и без искажения получения знаний от
специалистов, и использования их для построения адекватной модели предметной области. Работу методики
предлагается показать на иллюстративном примере.</p>
      <p>2 Сущность и общие этапы процесса построения стратегии
Как известно, в общем понимании стратегия представляет собой не детализированный план
действий, рассчитанный на продолжительный период времени и направленный на достижение
определенной главной цели. В то же время, план должен быть гибким, конструктивным, стойким к
неопределенности условий среды и таким, что предусматривает конкретизацию путем декомпозиции этой
главной цели.
В слабо структурированных предметных областях, к которым относятся управление, охрана
окружающей среды, производство, социальная сфера и др., неотложной есть проблема построения
долгосрочных не детализированных планов деятельности этих областей. Не возникает сомнений в том, что
при создании таких стратегических планов нужно опираться на все имеющиеся знания в определенной
предметной области. Поскольку, знание в каждой такой области не являются полностью формализованными
и, поэтому, большей частью, находятся лишь в головах специалистов, то было бы безрассудно при
планировании не использовать информацию, полученную от экспертов. Тем более, было бы
неосмотрительным сводить оценки вариантов планирования только лишь к количественным (например,
финансовым) показателям. Чтобы иметь реалистичные долгосрочные планы, их нужно адаптировать к
неминуемым изменениям текущей ситуации и учитывать наличие ресурсов для их осуществления,
необходимых в каждый определенный момент. Поэтому стратегические планы могут быть рациональными
лишь на определенном интервале времени.</p>
      <p>Цель данного исследования – создать технологию, которая бы включала формальные механизмы
построения стратегических планов в слабо структурированных предметных областях с привлечением групп
экспертов и инженеров по знаниям.</p>
      <p>Учитывая выше очерченные требования к стратегиям, а именно необходимость в реалистичных и
динамических планах, предлагается при их построении использовать инструментарий распределения
ограниченных ресурсов для определенных предложенных мероприятий. Ресурсы распределяются на
заданный момент времени в зависимости от потенциального вклада определенного мероприятия в
достижение стратегической цели. Фактически, результаты проведенной работы должны давать ответ на
вопрос: «какие мероприятия должны быть выполнены при текущих условиях для наиболее эффективного
достижения стратегической цели?».</p>
      <p>Учитывая вышеуказанное, разработанная технология построения стратегии предусматривает
несколько этапов.</p>
      <p>1) Построение базы знаний (БЗ).</p>
      <p>Этот этап реализован в виде веб-ориентированной программной системы, которая позволяет лицу,
принимающему решение (ЛПР), инженерам по знаниям и экспертам работать удаленно для создания БЗ без
необходимости собираться вместе.</p>
      <p>Этот этап включает ряд под-этапов:
а. Подбор групп экспертов для проведения экспертизы.</p>
      <p>Задача выбора экспертов в общем случае возлагается на ЛПР и на инженеров по знаниям. Причем, в
рамках экспертизы при решении разных вопросов формируются разные группы специалистов, наиболее
компетентных в каждой определенной области.</p>
      <p>б. Построение (в ходе диалога с экспертами) иерархии целей, которая описывает предметную
область.</p>
      <p>На этом под-этапе ЛПР формулирует стратегическую цель, которая, в ходе проведения экспертиз
инженерами по знаниям, подлежит декомпозиции на локальные цели (факторы), которые существенно
влияют на ее достижение. В процессе декомпозиции, удаленно работающие в веб-ориентированной системе
«Консенсус» [3] эксперты согласовывают свои мнения относительно состава множеств факторов влияния на
ту или иную цель и приходят к консенсусу в каждом вопросе. Инженеры по знаниям, имея функции
организаторов экспертиз, для каждой декомпозиции локальной цели формируют отдельную группу
экспертов. Созданная программная система позволяет разным экспертным группам работать одновременно,
при этом каждый из экспертов может быть включен в состав разных групп. Преимуществом удаленного
подхода является то, что в группе могут сотрудничать и предоставлять свои знания специалисты, которые
могут быть несовместимыми при непосредственном личном контакте (работа предусматривает анонимность
экспертов и это, в свою очередь, исключает диктаторское влияние суждений определенных “авторитетов”).
Круг приобщенных к экспертизе специалистов может быть значительно расширен благодаря возможности в
системе для каждого пользователя избирать наиболее удобный язык для общения, т.е. в экспертизе могут
принимать участие специалисты, которые даже не смогли бы работать и общаться между собой без
переводчика.</p>
      <p>Решение о достаточном уровне детализации и прекращение дальнейшей декомпозиции
стратегической цели принимают организаторы экспертизы в случае, когда нижний уровень иерархии целей
будут составлять только лишь цели (факторы), представляющие собой готовые к реализации конкретные
мероприятия (проекты).</p>
      <p>Результатом данного этапа построения стратегии есть иерархическая структура, которая, в
соответствии с мнением данной экспертной группы, в полной мере описывает предметную область.</p>
      <p>Общий вид иерархии целей в СППР «Солон» [4] представлен на рис. 1. Демонстрационная версия
СППР доступна на сайте лаборатории СППР (http://dss-lab.org.ua/).</p>
      <p>в. Оценка экспертами относительных влияний целей в иерархии.</p>
      <p>
        Относительное влияние каждой цели в графе иерархии определяется инженером по знаниям в
случае наличия достоверных знаний об уровне этого влияния на достижение определенной цели, или же, в
противном случае, – группой экспертов путем парных сравнений влияний целей (факторов).
Рис. 1. Интерфейс СППР «Солон» и вид иерархии целей
Для повышения достоверности результатов экспертизы, разработано специальный программный
инструментарий, который предоставляет эксперту возможность выполнять каждое отдельное парное
сравнение в вербальной шкале оценивания, которая наиболее адекватно отображает представление/знание
эксперта в обсуждаемом вопросе и уровень его/ее уверенности в собственных знаниях [
        <xref ref-type="bibr" rid="ref2">5, 6</xref>
        ]. Созданный для
этого программный инструмент позволяет в процессе оценивания постепенно увеличивать уровень
детализации шкалы, и уже окончательную оценку выполнить в наиболее приемлемой шкале (рис. 2).
      </p>
      <p>
        Рис. 2. Выбор экспертом уровня детальности шкалы парных сравнений
Результатом данного подэтапа есть относительные величины взаимных влияний целей, получаемые
в результате агрегации индивидуальных экспертных оценок, выполненных в шкалах разной подробности
(детальности) и представленных в виде неполных матриц парных сравнений (МПС) влияний в рамках
группы. Агрегацию предлагается производить разработанным В.В.Цыганком комбинаторным методом [7],
преимущества которого в эффективности по сравнению с другими методами, подтверждено
соответствующим экспериментальным исследованием [
        <xref ref-type="bibr" rid="ref3">8</xref>
        ].
      </p>
      <p>
        Этот метод агрегации имеет несколько преимуществ над имеющимися подходами к обработке
МПС:
 В методе максимально полно используется избыточность информации.
 Метод позволяет определять весомость альтернатив в случаях, когда часть элементов МПС
отсутствуют (не заданы). Т.е., для определения весов альтернатив не является обязательным
требованием наличие всех парных сравнений в матрицах. Необходимым условием есть лишь
связность графа, соответствующего обобщенной МПС.
 Метод есть одноэтапным (в отличие от известных подходов, применяемых для вычисления весов в
групповых методах оценивания [
        <xref ref-type="bibr" rid="ref4">9</xref>
        ]). Агрегация парных сравнений в таких групповых методах
ППР представляет собой двухэтапную процедуру: или (1) сначала агрегируются индивидуальные
МПС, а потом – на основе обобщенной матрицы вычисляется вектор весов альтернатив, или (2)
сначала за каждой МПС вычисляется вектор весов, а потом все векторы агрегируются. В случае
(1) согласованность всех индивидуальных МПС не гарантирует согласованности итоговой МПС. В
случае (2) согласованность индивидуальных МПС не гарантирует согласованности векторов
весов, вычисленных по каждой МПС. Если уровень согласованности недостаточный для
корректного выполнения агрегирования и расчета весов, то в таком случае двухэтапность
процедур делает невозможным организацию обратной связи с экспертами для повышения
согласованности. При применении комбинаторного метода нет надобности в поэтапном
достижении желательного уровня согласованности и, поэтому, не имеет места конфликт между
двумя последовательными процессами согласования. Если нужно повысить согласованность
парных сравнений, то определенные элементы индивидуальных МПС корректируются по
согласию с экспертами, сформировавшими соответствующие МПС.
      </p>
      <p>
        Заметим, что агрегацию допустимо выполнять лишь при достаточной согласованности [
        <xref ref-type="bibr" rid="ref5">10</xref>
        ]
экспертных суждений. Для оценки уровня согласованности парных сравнений предлагается использовать
Дважды-Энтропийный индекс согласованности [
        <xref ref-type="bibr" rid="ref6">11</xref>
        ], который на основе сформированного спектра
экспертных оценок весов каждого из влияний определяет степень согласованности и отвечает всем
поставленным требованиям, что положительно отличает его от других известных индексов. В случае
недостаточной согласованности метод предусматривает возможность повышать уровень согласованности
путем обратной связи с экспертами.
      </p>
      <p>На этом построение БЗ заканчивается и предлагается этап построения оптимальной стратегии на
основе знаний заложенных в БЗ.</p>
      <p>2) Определение оптимальной стратегии.</p>
      <p>Очевидно, что чем больше весомость определенного проекта, или мероприятия, тем существеннее
он влияет на достижение стратегической цели. Поэтому, направление ресурсов на этот проект будет
приносить более весомые и ощутимые результаты. В тот же время, не следует выделять на проект ресурсов
меньше, чем необходимо для его старта и существования. Следовательно, в качестве оптимальной стратегии
предлагается избирать оптимальный вариант распределения ресурсов между проектами (т.е. тот, который
обеспечивает наиболее эффективное достижение стратегической цели).</p>
      <p>Задача выбора оптимального распределения ресурсов между проектами является предметом
отдельного исследования. Следует отметить, что поскольку проекты могут характеризоваться разными
сроками реализации и, кроме того, цели могут иметь разные временные задержки влияния на главную цель,
то оптимальное распределение ресурсов имеет место только для определенного заданного момента времени.
Благодаря применению метода целевого динамического оценивания альтернатив [12, 13] в рамках заданного
стратегического плана есть возможность оценить и сравнить совершенно разноплановые
проекты/мероприятия: те, что дают моментальный (неотложный) эффект с теми, эффект от выполнения
которых может появиться в далекой стратегической перспективе. Другой важный параметр, который
характеризует проекты – диапазон необходимых объемов ресурсов. Например, если минимальный
необходимый объем финансирования для осуществления проекта составляет 1 млн. грн., а запрашиваемый –
2 млн. грн., то нет смысла выделять на этот проект сумму, которая не принадлежит этому диапазону.</p>
      <p>
        Учитывая указанные особенности, наиболее рациональным способом решения задачи
распределению ресурсов между проектами на заданный период усматривается целенаправленный перебор
всех возможных распределений ресурсов с заданной точностью (предположим, до 10 тыс. грн.), например, с
использованием Генетического алгоритма [
        <xref ref-type="bibr" rid="ref7">14</xref>
        ].
      </p>
      <p>В зависимости от сложности предметной области и сформулированной цели, которая должна быть
достигнута, процесс построения стратегического плана может быть более простым, или более сложным.
Впрочем, предложенный математический аппарат и разработанные программные средства ППР дают
возможность, опираясь на все доступные знания о предметной области, создавать довольно масштабные и
содержательные, и главное, реалистичные перспективные планы.</p>
      <p>3 Пример
Далее предлагается гипотетический пример, который показывает заключительные этапы процесса
построения оптимального стратегического плана по обеспечению противодействия информационным
операциям на 5-летнюю перспективу, при условии наличия финансовых ресурсов в объеме 200 млн. грн.</p>
      <p>В рамках примера считаем, что иерархию с главной целью «Обеспечить достаточный уровень
противодействия информационным атакам» уже построено и продолжается под-этап в) построения
стратегического плана – оценка относительных влияний проектов на некоторую цель из графа иерархии
целей.</p>
      <p>Допустим, что оценивание на этом этапе примера выполняется группой из трех
ровнокомпетентных экспертов. Каждому эксперту формально предоставляется возможность определить наличие
превосходства в каждой паре из 4-х проектов – выполнить ординальное сравнение („&gt;”– больше; „&lt;”–
меньше), определиться с вербальной шкалой оценивания, выбрать количество делений для этой шкалы и,
собственно, избрать номер конкретного деления.</p>
      <p>В таблице 1 приведены данные экспертного оценивания важности мероприятий, входящих в состав
цели «Реализация информационного влияния»: C1 – Выявление и «сглаживание» информационного повода;
C2 – Контрпропаганда; C3 – Оперативная разведка; и C4 – Оценка информационной среды. Символом «*» в
матрицах обозначены элементы, по которым эксперты, по той или иной причине, не предоставили
информации.
Таблица 1. Пример экспертного оценивания относительных влияний проектов
Эксперт 1
Эксперт 2
Эксперт 3
Ординальное
сравнение
Количество
делений
шкалы
Номер
деления
Номер
шкалы</p>
      <p>C1
C2
C3
C4
C1
C2
C3
C4
C1
C2
C3
C4
C1
C2
C3
C4
C2
C3
C4</p>
      <p>Таблица 2. Рассчитанные относительные веса влияний проектов
Пометка проекта 0.4455</p>
      <p>Нормализованное значение веса</p>
      <p>C1
Для построения оптимальной стратегии на 5-летнюю перспективу воспользуемся инструментарием
распределения ресурсов СППР «Солон» (см. рис. 4).</p>
      <p>Рис. 4. Рассчитанное распределение ресурсов между проектами
Из изображенной экранной формы можно увидеть, что для каждого проекта, который претендует на
финансирование, вводятся экспертные оценки: минимально необходимое количество ресурсов для
существования проекта (R min), процент выполнения проекта при минимальном финансировании (% min),
количество ресурсов, которое запрашивается (R max) и запланированный процент выполнения при этом
(% max – по обыкновению, равняется 100%). После выполнения расчетов (кнопка &lt;Распределить&gt;),
количества выделенных ресурсов отображаются в колонке «выделено».</p>
      <p>Список рекомендованных действий для ЛПР в виде набора проектов с рассчитанными объемами
финансирования будет базисом для оптимального стратегического плана по обеспечению достаточного
уровня противодействия информационным атакам в 5-летней перспективе при условии обеспечения
определенным количеством финансовых ресурсов.</p>
      <p>4 Выводы
Предложена технология стратегического планирования в слабо структурированных предметных
областях, которая основывается на использовании аппарата поддержки принятия решений.
Преимуществами технологии есть возможность использования всех имеющихся знаний о предметной
области (включая знания экспертов) и учет количественных и качественных факторов, влияющих на
достижение стратегической цели, высокая достоверность групповых экспертиз за счет наличия механизма
обеспечения достаточной согласованности экспертных данных, в том числе, неполных и полученных с
использованием разных шкал оценивания, а также, возможность учета временных рамок выполнения
проектов и наличия необходимых ресурсов. Данная технология позволяет на основе построенной базы
знаний путем целенаправленного поиска, базирующегося на Генетическом алгоритме, среди множества
вариантов определять рациональное на некоторый момент времени распределение ресурсов для исходного
множества возможных мероприятий с целью обеспечения наиболее эффективного достижения
стратегической цели.</p>
      <p>Перечисленные особенности делают технологию универсальным, удобным и гибким инструментом
стратегического планирования. В качестве примера применения технологии рассмотрена текущая оценка
конкретных мероприятий, направленных на противодействие возможным информационным операциям.</p>
      <p>Дальнейшие исследования в данном направлении могут быть посвящены разработке новых
алгоритмов определения оптимального распределения ресурсов в контексте заданной стратегического цели.</p>
      <p>Исследования выполнены в рамках проекта Ф73/23558 «Разработка методов и средств поддержки
принятия решений при выявлении информационных операций» Государственного фонда фундаментальных
исследований Украины и Белорусского республиканского фонда фундаментальных исследований
Литература</p>
      <p>Decision-Making Support during Planning of Measures for
Counteracting Informational Operations</p>
      <p>The paper describes modern decision support methods, based on the most thorough utilization of
knowledge (both, expert and formalized) in the given subject domain. The suggested methods are intended for usage
in long-term planning. A formal approach to building of strategic plans is suggested. It is illustrated by an example
of defensive informational operation development. The essence of strategy development process and its key phases
are described. The process includes such phase as knowledge base building. The knowledge base provides the
foundation for recommendations on informational operation counteracting, issued to decision-makers. During this
phase the preliminarily formed expert group, supervised by knowledge engineer, works remotely on hierarchic
decomposition of the problem, associated with the main goal that is to be achieved through strategic plan
implementation. It is assumed that relative mutual impacts of knowledge base objects (sub-goals, formulated during
decomposition) are defined by either the knowledge engineer (providing credible data on the levels of these impacts
is available) or by the group of experts, who participated in the decomposition process (otherwise), through
pairwise comparisons of the respective impacts. In order to increase the credibility of expert examination results, special
software tools have been developed. They allow an expert to perform every single pair-wise comparison in the
verbal estimation scale that reflects the level of his/her confidence in his/her knowledge most adequately.
Aggregation of group incomplete pair-wise comparisons, made in different scales, is performed using the
combinatorial method, under condition of sufficient consistency of expert-made pair-wise comparisons. Sufficient
consistency can be achieved through feedback with expert group members (if feedback is necessary). During the
final phase it is suggested to select a reasonable variant of resource allocation to projects, intended for counteracting
the informational operation. This resource allocation will be the optimal strategy. Selection of the rational resource
allocation (at a given moment in time) is performed using the genetic algorithm. Its fitness function is determined by
the level of strategic goal achievement, calculated by the method of target-oriented dynamic estimation of
alternatives.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1. Information operations roadmap. -
          <source>DoD USA</source>
          , 30 october
          <year>2003</year>
          . - 78 p.
          <source>Retrieved</source>
          <volume>20</volume>
          /11/2016 from http://nsarchive.gwu.edu/NSAEBB/NSAEBB177/info_ops_roadmap.pdf .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          6.
          <string-name>
            <surname>Tsyganok</surname>
            <given-names>V.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kadenko</surname>
            <given-names>S.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Andriichuk</surname>
            <given-names>O.V.</given-names>
          </string-name>
          <article-title>Using Different Pair-wise Comparison Scales for Developing Industrial Strategies / Int</article-title>
          . J. Management and
          <string-name>
            <given-names>Decision</given-names>
            <surname>Making</surname>
          </string-name>
          .
          <article-title>-</article-title>
          <year>2015</year>
          . - Vol.
          <volume>14</volume>
          , No.3. - pp.
          <fpage>224</fpage>
          -
          <lpage>250</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          8.
          <string-name>
            <surname>Tsyganok</surname>
            <given-names>V.V.</given-names>
          </string-name>
          <article-title>Investigation of the aggregation effectiveness of expert estimates obtained by the pair-wise comparison method / Mathematical</article-title>
          and
          <string-name>
            <given-names>Computer</given-names>
            <surname>Modelling</surname>
          </string-name>
          . -
          <year>2010</year>
          . - Vol.
          <volume>52</volume>
          (
          <issue>3</issue>
          -
          <fpage>4</fpage>
          ). - pp.
          <fpage>538</fpage>
          -
          <lpage>544</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          9.
          <string-name>
            <surname>Forman</surname>
            <given-names>E.</given-names>
          </string-name>
          and
          <string-name>
            <surname>Peniwati</surname>
            <given-names>K.</given-names>
          </string-name>
          <article-title>Aggregating individual judgments and priorities with the analytic hierarchy process / European Jouranl of Operational Research</article-title>
          . -
          <year>1998</year>
          . - Vol.
          <volume>108</volume>
          . - pp.
          <fpage>131</fpage>
          -
          <lpage>145</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          10.
          <string-name>
            <surname>Tsyganok</surname>
            <given-names>V.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kadenko S</surname>
          </string-name>
          .V.
          <source>On Sufficiency of the Consistency Level of Group Ordinal Estimates / Journal of Automation and Information Sciences. - 2010</source>
          . - v.
          <volume>42</volume>
          , issue 8.- P.
          <fpage>42</fpage>
          <lpage>47</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          11.
          <string-name>
            <surname>Andriy</surname>
            <given-names>Olenko</given-names>
          </string-name>
          &amp;
          <string-name>
            <surname>Vitaliy Tsyganok Double Entropy Inter-Rater Agreement</surname>
          </string-name>
          Indices / Applied Psychological Measurement.
          <article-title>-</article-title>
          <year>2016</year>
          . - v.
          <volume>40</volume>
          (
          <issue>1</issue>
          ). - pp.
          <fpage>37</fpage>
          -
          <lpage>55</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          14.
          <string-name>
            <surname>Holland</surname>
            <given-names>J.H.</given-names>
          </string-name>
          <article-title>Adaptation in natural and artificial systems. An introductory analysis with application to biology, control</article-title>
          ,
          <source>and artificial intelligence / London: Bradford book edition</source>
          .
          <source>- 1994</source>
          . - 211 p.
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>