<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>ВОПРОСЫ ПОСТРОЕНИЯ ПРОГРАММНЫХ СИСТЕМ ОЦЕНКИ КАЧЕСТВА СТОХАСТИЧЕСКИХ АЛГОРИТМОВ*</article-title>
      </title-group>
      <contrib-group>
        <aff id="aff0">
          <label>0</label>
          <institution>National Research Nuclear University MEPhI (Moscow Engineering Physics Institute)</institution>
          ,
          <addr-line>Moscow</addr-line>
          ,
          <country country="RU">Russia</country>
        </aff>
      </contrib-group>
      <fpage>280</fpage>
      <lpage>289</lpage>
      <abstract>
        <p>Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва, Россия В статье обсуждаются вопросы исследования свойств генераторов псевдослучайных чисел (ГПСЧ). Определяется роль ГПСЧ при построении компьютерных систем, в том числе защищенных. Перечисляются наиболее значимые задачи, решаемые с использованием генераторов. Приводятся требования, предъявляемые к качественным ГПСЧ, обсуждаются проблемы, возникающие при оценке их непредсказуемости. Рассматривается один из вариантов решения данных проблем, заключающийся в сведении задачи построения криптостойкого ГПСЧ к задаче построения статистически безопасного генератора. Определяются требования к статистически безопасному ГПСЧ. Показана необходимость комплексного исследования статистических свойств формируемых ГПСЧ последовательностей. Анализируются существующие наборы статистических тестов, выявляются их недостатки, не позволяющие осуществлять полнофункциональное тестирование псевдослучайных последовательностей. В частности, подвергается критике методика оценки результатов прохождения тестов, не обладающая должной гибкостью в вопросах совместного использования частных оценок конкретного теста и совокупной оценки результатов прохождения набора тестов. Формулируются требования к качественной системе оценки статистической безопасности ГПСЧ. Показана необходимость использования графических тестов наряду с оценочными. Предлагается структура полнофункциональной системы оценки статистической безопасности ГПСЧ и криптоалгоритмов, определяется назначение входящих в нее модулей, приводятся примеры работы системы. Также рассматриваются возможные пути повышения эффективности оценочных тестов, в частности, обсуждаются вопросы сокращения объемов необходимой для реализации теста памяти, а также возможность повышения быстродействия тестов и одновременного тестирования нескольких последовательностей за счет использования гибридных технологий (совместного использования вычислительных ресурсов центрального процессора и ядер графических видеокарт).</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>reducing the problem of cryptographically strong PRNG constructing to the task of statistically
secure generator constructing is considered. Requirements to statistically secure PRNG are
defined. Need of complex statistical properties assessment of sequences formed by PRNG are
shown. Sets of existing statistical tests are analyzed, its disadvantages which aren’t allows to
carry out full-function pseudorandom sequences testing are revealed. In particular, the passing
tests estimation method without adequate flexibility in question of concrete test private estimate
and tests set passing results cumulative assessment sharing are criticized. Requirements to
PRNG’s quality assessment systems are formulated. The need of graph test using along with
estimated is shown. The structure of full-function PRNG statistical safety assessment system is
offered, the assignment of modules entered it is defined and examples of system work are
proposed. Possible ways to improve assessment test are also considered. In particular, the
decreasing of memory volumes needed for the test implementation as well as the possibility of
test speed increasing and several sequences simultaneous testing due to hybrid technology using
(sharing of central processor computing resources and graphic video cards kernels) are
discussed.</p>
      <p>Pseudo-random number generators; statistical tests; quality assessment system.</p>
      <p>
        Однои из основных характеристик любои компьютернои системы, независимо от ее уровня
сложности и функционального назначения, является безопасность процессов сбора, хранения,
обработки и передачи информации. Важнеишую роль в реализации данных процессов играют
генераторы псевдослучаиных чисел (ГПСЧ), которые используются для решения следующих задач
[
        <xref ref-type="bibr" rid="ref13">1</xref>
        ]:
закономерностеи, иными словами, ее неотличимость от истинно случаинои;
 отсутствие корреляции между формируемыми ГПСЧ последовательностями.
      </p>
      <p>
        Таким образом, возникает актуальная задача разработки методов и средств оценки
статистическои безопасности стохастических алгоритмов, то есть алгоритмов, основанных на
использовании ГПСЧ. Более того, данныи подход можно применять и к оценке качества
криптографических алгоритмов. Не случаино при проведении конкурса AES (Advanced Encryption
Standard), победителем которого стал Rijndael [
        <xref ref-type="bibr" rid="ref16 ref16 ref3 ref3">4</xref>
        ] – де-факто являющиися в настоящии момент
международным стандартом шифрования, для оценки качества алгоритмов-участников активно
использовались результаты их статистического тестирования.
      </p>
      <p>
        Можно выделить следующие активно использующиеся системы оценки статистических
своиств ГПСЧ:
 A statistical test suite for random and pseudorandom number generators for cryptographic
applications Национального института стандартов и технологии США (Руководство NIST)
[
        <xref ref-type="bibr" rid="ref17 ref17 ref4 ref4">5</xref>
        ];
 система DIEHARD Дж. Марсалья [
        <xref ref-type="bibr" rid="ref18 ref18 ref5 ref5">6</xref>
        ];
 подборка тестов Д. Кнута [
        <xref ref-type="bibr" rid="ref19 ref19 ref6 ref6">7</xref>
        ];
 система CRYPT-X [
        <xref ref-type="bibr" rid="ref20 ref20 ref7 ref7">8</xref>
        ].
      </p>
      <p>Однако, для полнофункционального исследования ГПСЧ данных систем недостаточно.
Связано это с тем, что все вышеупомянутые системы имеют жестко заданные параметры
тестирования. В результате, система может просто не поддерживать анализ определенного типа
неслучаиности, требуемыи пользователю, или поддерживать, но не применительно к заданным
параметрам генератора.</p>
      <p>Еще однои проблемои существующих систем является ориентированность последних на
генераторы определенного вида. К примеру, DIEHARD предназначен для исследования
32разрядных конгруэнтных генераторов, и большинство его тестов рассматривают наборы,
состоящие именно из 32-разрядных чисел. Руководство НИСТ требует, чтобы исследуемая
последовательность была битовои. Предположим, необходимо оценить статистические своиства
8разрядного генератора. Как в этом случае формировать последовательность для тестирования? Ни
одна из существующих систем никаких рекомендации на этот счет не дает. В результате, при
тестировании системои DIEHARD или Руководством НИСТ могут быть упущены некоторые
особенности, присущие 8-разрядным генераторам и выявляемые только тестами,
ориентированными именно на 8-разрядные последовательности. Разрабатывать же генераторы,
формирующие последовательности, подходящие для тои или инои системы, также неправильно,
так как генератор предназначен для решения других задач, и это система тестирования должна
подстраиваться под структуру генератора, а не наоборот.</p>
      <p>
        Таким образом, процесс создания средства для исследования ГПСЧ является чрезвычаино
сложным и требует учета разного рода нюансов и факторов. Можно сформулировать следующие
требования к системе оценки качества ГПСЧ, позволяющеи еи быть не только эффективнои, но и,
насколько это возможно, универсальнои:
 наличие эмпирических и теоретических критериев. Процесс тестирования
последовательностеи занимает значительное время, особенно в случае
последовательностеи большои длины. Теоретические критерии позволяют дать
заключения о своиствах генератора еще до тестирования последовательностеи,
следовательно, их наличие позволит сразу отбраковать генераторы с параметрами,
заведомо приводящими к неудовлетворительным результатам. К сожалению,
теоретические критерии ориентированы на генераторы конкретного типа, а иногда даже и
на конкретные параметры данных генераторов, и поэтому могут быть непригодны для
тестирования остальных генераторов. Собственно говоря, именно этим фактом и
объясняется необходимость создания собственнои системы для тестирования нового
генератора. Одним из вариантов универсализации системы является создание и
пополнение базы данных теоретических критериев, а затем обмен полученными данными
с другими пользователями. Идеальным вариантом было бы создание сетевои или
распределеннои базы данных теоретических критериев, пополняемои пользователями.
При наличии двух типов критериев пользователю, наряду с непосредственно
последовательностью, необходимо будет ввести параметры генератора, ее
сформировавшего. Сначала данные параметры обрабатываются при помощи теоретических
критериев, отфильтровывая тем самым заведомо некачественные последовательности;
оставшиеся после фильтрации последовательности обрабатываются при помощи
эмпирических критериев;
наличие оценочных и графических тестов. И те, и другие тесты играют важную роль в
исследовании статистических своиств последовательности. Оценочные тесты возвращают
результат своеи работы в виде численнои статистики, позволяя тем самым
автоматизировать процесс тестирования. Кроме того, данные значения можно сопоставить
с аналогичными показателями для других последовательностеи, проведя тем самым
сравнительныи анализ генераторов. Графические же тесты позволяют увидеть общую
картину, а кроме того, как показано в ряде работ [1; 9], позволяют выявить статистические
слабости, не обнаруживаемые статистическими тестами. Также графические тесты могут
использоваться для оценки изменении, вносимых нелинеиными преобразованиями, а
также для оценки автокорреляции и корреляции между последовательностями;
градация тестов по их силе. При анализе последовательности может использоваться
несколько десятков тестов. Выполнение каждого теста требует некоторого времени,
которое для некоторых тестов (например, «Сжатие при помощи Алгоритма Лемпела-Зива»)
может быть значительным. В ряде случае для получения заключения о своиствах
генератора необходимо провести исследование сотен или тысяч последовательностеи.
Таким образом, время до получения предварительных итогов исследования может быть
значительным. Данное время можно сократить, если ввести градацию тестов по их силе.
Более того, можно вести категории для тестов, например «быстрыи», «медленныи»,
«обязательныи», «вспомогательныи». Это позволит ввести политику тестирования.
Например, вначале выполняются «быстрые обязательные» тесты, то есть тесты,
непрохождение которых однозначно свидетельствует о непрохождении других тестов
(например, если не проиден «частотныи тест», то не будут проидены «проверка серии»,
«проверка равномерности» и так далее). При успешном прохождении «быстрых
обязательных» тестов будут выполняться тесты следующеи категории и так вплоть до
самых сложных специфических тестов. Каждую категорию тестов также можно
проранжировать, останавливая тестирование в случае неудачных результатов для даннои
категории или реализую ветвящееся тестирование, когда выбор следующеи категории
зависит от результатов выполнения текущеи;
наличие средств оценки периода тестируемои последовательности. Возможны ситуации,
когда в последовательности заданнои длины содержится несколько периодов,
предпериоды, вырожденные циклы и так далее. Для генераторов, ориентированных на
использование в системах ответственного назначения, краине нежелательны повторения в
гамме, поэтому необходимо отслеживать, чтобы в формируемои последовательности не
было периодичности. Кроме того, в случае периодичности тест работает вхолостую – ведь
он фактически дублирует тут статистику, которую уже собрал в предыдущем периоде.
Поэтому основное, с чего нужно начать исследование последовательности – это
определение периода. В том случае, если система оценка качества является надстроикои
над генератором, проблем с определением периода нет – расстояние в тактах между двумя
повторяющимися внутренними состояниями генератора и будет период. Несколько
сложнее определить период, анализируя непосредственно последовательность. В качестве
одного из вариантов определения периода в данном случае можно предложить следующии.
Запоминается первыи элемент последовательности. Двигаясь по последовательности,
находим элемент, равныи первому. Анализируем следующии за ним, сравнивая со вторым и
так далее до конца последовательности. Если все соответствующие элементы совпадают,
это означает наличие периодичности. В данном случае необходимо определить значение
периода и при тестировании анализировать только элементы, входящие в период,
предварительно выдав информационное сообщение. Данныи подход может не сработать в
случае наличия предпериода или вырожденных циклов, поэтому имеет смысл сделать
несколько испытании, например, проити от конца последовательности к началу или начать
анализ с заданного элемента последовательности. Для того, чтобы сократить время
тестирования, рекомендуется включить оценку периода в один из обязательных
последовательных тестов, например, в «Проверку равномерности». Данныи тест
последовательно обрабатывает элементы последовательности, соответственно, может
заодно осуществлять определение периодичности;
определение области тестирования. В ряде случаев имеется необходимость тестировать не
всю последовательность, а ее часть (например, предпериод или период), или же отдельные
части элементов последовательности (например, младшие биты каждого элемента). Для
реализации даннои возможности в составе системы должен быть модуль, позволяющии
определять начальную и конечную точку тестирования, значения интервалов в том случае,
если элементы последовательности анализируются не последовательно, а через
определенные расстояния и так далее. Данныи модуль должен быть связан со средствами
оценки периода, чтобы иметь возможность задавать в качестве области тестирования
период или предпериод.
настроики параметров тестов. Каждыи тест анализирует число появлении/отсутствия
определенного набора, которыи, в свою очередь, может состоять из поднаборов. Кроме того,
тест для получения статистики или статистик, может оперировать несколькими такими
наборами. В системе должно быть предусмотрено средство, максимально гибко
позволяющее настраивать конфигурацию теста. Например, для теста «проверка серии»
данная конфигурация может содержать следующие поля:
 разрядность серии: 1, 2, …, разрядность элемента последовательности;
 серии смежные/несмежные
 последовательность анализируется целиком и/или разбивается на блоки и тест
применяется к блоку, в последнем случае необходимо также определить параметры
блока;
 уровень значимости теста.
 расширения для проверки категории;
 расширения для проверки отсутствующих наборов;
настроики параметров тестирования. Данныи блок определяет всю политику
тестирования. Указывается, в каком порядке применяются тесты, для каких областеи,
уровень значимости один для всех тестов или для каждого индивидуальныи и так далее.
Максимальная проработка блока настроек параметров тестов и параметров тестирования
обеспечит наиболее эффективное исследование генератора;
наличие тестов с проверкои категории. Большинство тестов возвращают интегральную
оценку результатов исследовании, при этом зачастую сглаживаются локальные
статистические отклонения. Для выявления этих отклонение необходимо оценивать не
только конечную статистику теста, но и промежуточные статистики. Большинство
существующих систем скрывают данные значения, чтобы не перегружать пользователя
излишнеи информациеи, однако данная статистика участвует в определении интегральнои
оценки, а, следовательно, вычисляется, так что получение данных оценок никак не скажется
на производительности тестов;
возможность получения интегральнои оценки. Данное требование решает обратную задачу.
В ходе исследовании может анализироваться сотни и тысячи последовательностеи, причем
каждая последовательность набором из нескольких десятков тестов. Для ускорения
процесса анализа желательно ввести интегральную оценку, которая оценит как
прохождение последовательностью набора тестов, так и прохождение испытания
генераторов. Каждыи тест возвращает значение P-value, равномерно распределенное на
интервале [
        <xref ref-type="bibr" rid="ref13">0, 1</xref>
        ], следовательно, можно применить критерии Колмогорова-Смирнова или
Андерсона-Дарлинга и получить значение P-value для оценки прохождения
последовательностью группы тестов. Данные значения, полученные для всех
последовательностеи тестируемого генератора, опять обрабатываются при помощи
указанных критериев и вычисляется значение P-value, характеризующее успешность
прохожднения генератором испытания;
возможность тестирования нескольких последовательностеи. Для принятия решения о
своиствах генератора недостаточно протестировать одну последовательность – требуется
испытание множества последовательностеи, как правило, обратно пропорционального
уровню значимости теста. В связи с этим, система оценки качества должна иметь
возможность тестировать группу последовательностеи (в идеале – несколько генераторов
с группами последовательностеи). Результат должен представлять как отчеты по каждому
испытанию, так и интегральную оценку для сокращения времени анализа;
развернутыи отчет по каждому тесту. Учитывая, что параметры тестирования допускают
использование различных настроек для различных тестов, необходимо иметь развернутыи
отчет по каждому тесту. В состав такого отчета должны входить следующие позиции:
 детальное описание теста;
 параметры тестирования;
 область тестирования;
 значения промежуточных статистик;
 интегральная статистика;
заключение системы о результате прохождения даннои последовательностью данного
теста;
общии отчет. Если детальныи отчет по каждому тесту применяется для анализа
прохождения последовательностью конкретного теста, то общии отчет необходим для
просмотра сведении о тестировании генератора/генераторов. В состав общего отчета
должны входить следующие позиции:
 время начала и окончания тестирования;
 наименование объектов тестирования (то есть наименование генераторов с указанием
параметров, использовавшихся при формировании набора последовательностеи);
 параметры тестирования;
 интегральная статистика прохождения набором последовательностеи набора тестов;
 интегральная статистика прохождения каждои последовательностью набора каждого
теста;
 заключение системы о результатах испытания.
 В связи с большим количеством информации, представленнои в общем отчете,
последнии желательно сделать многоуровневым. В качестве примера можно
предложить следующую градацию по уровням:
 обобщенныи отчет о тестировании группы генераторов;
 обобщенныи отчет о тестировании конкретного генератора;
 обобщенныи отчет о прохождении конкретным генератором конкретного теста;
 и так далее. Идеальным вариантом общего отчета является ситуация, когда верхним
уровнем является отчет о тестировании целиком, а нижним – развернутыи отчет по
каждому тесту;
база данных тестирования. Большое количество информации, полученнои в результате
выполнения тестирования, делает необходимым создание специализированнои базы
данных. При помощи даннои базы будет удобно создавать многоуровневые вложенные
общие отчеты, а также осуществлять сравнительныи анализ результатов тестирования
разных генераторов или разных версии генераторов. Краине желательно, чтобы данная
база была накопительнои, то есть постоянно пополнялась результатами новых испытании.
Еще одним неплохим решением является создания сетевои базы результатов тестирования
с целью обмена достижениями географически распределенных разработчиков;
наличие средств оценки корреляции. Система оценки качества может применяться не
только к последовательностям, сформированным генераторами псевдослучаиных чисел, но
и к результатам преобразования нелинеиных функции криптосистем. В связи с этим
необходимо наличие средств, позволяющих оценить, какие изменения вносит данное
криптографическое преобразование на основе анализа зависимости между входом и
выходом данного преобразования;
возможность добавления новых тестов. Каждыи генератор обладает оригинальными
особенностями, требующими дополнительнои проверки при помощи тестов, учитывающих
данную особенность. Для того, чтобы каждыи раз не переделывать систему должен быть
разработан удобныи механизм добавления новых тестов, позволяющии оперативно
обновлять информацию о настроиках, параметрах тестирования и так далее;
наличие встроенных генераторов псевдослучаиных чисел. Оценка своиств генераторов
будет происходить значительно эффективнее, если система оценки будет являться
надстроикои над генератором или же генератор будет частью системы. В этом случае
появится возможность более развернутого применения теоретических критериев, а также
оценки своиств периодичности исследуемых генераторов;
возможность онлаин-тестирования. Обилие всевозможных критериев, как эмпирических,
так и теоретических, накапливаемые в ходе тестирования сведения о своиствах тех или
иных генераторов – все это делает необходимым создание системы онлаин-тестирования
генераторов псевдослучаиных чисел. В идеале данная система должна представлять собои
клиент-серверную архитектуру. На стороне клиента находится приложение, которое
занимается тестированием генераторов псевдослучаиных чисел, а также сбором
полученнои статистики и отправкои последнеи на сервер. На сервере хранится информация
об эмпирических и теоретических критериях, а также результаты тестирования различных
генераторов, полученные от пользователеи системы. Возможно развитие даннои
структуры в виде распределеннои вычислительнои системы, позволяющеи обрабатывать
большие объемы информации, используя ресурсы всех компьютеров, подключенных к
системе.
      </p>
      <p>Структурную схему программного комплекса для оценки качества стохастических и
кроптографических алгоритмов можно представить следующим образом (рис. 1).</p>
      <p>File_1
File_N
Файловый
блок
Блок
настроек
ГГГрррааафффииччеескскиииеее</p>
      <p>ическ
тттееесстсттыыы
ГОГррцааеффниоиччченесысккеииее</p>
      <p>тттееесстсттыыы
Блок
управления
Система
оценки
периода
Система
оценки
корреляции
Тестовый блок
Блок
формирования
отчета
Рис. 1. Структура программного комплекса для оценки качества стохастических и криптографических
алгоритмов</p>
      <p>В состав комплекса входят следующие блоки:
 фаиловыи блок. Данныи блок предназначен для считывания последовательностеи из
фаилов и передачи их для обработки в тестовыи блок;
 тестовыи блок. Данныи блок служит для анализа статистических своиств формируемых
ГПСЧ последовательностеи. В его состав входят три модуля:
 система оценки качества – набор графических и оценочных тестов;
 система оценки периода. Данная программа определяет период анализируемои
последовательности. Результаты работы данного модуля используются системои
оценки качества для определения длины анализируемого фрагмента
последовательности;
 система оценки корреляции. Данная программа предназначена для определения
значения корреляции между фаилами;
 блок настроек. Данныи блок предназначен для определения имен тестируемых фаилов или
директории, а также параметров тестов (границ для P-value, размеров серии и т.д.) и
параметров тестирования (размера области тестирования, набора тестов и т.д.);
 блок отчета. Данныи блок предназначен для просмотра, записи и печати результатов
тестирования;
 блок управления. Данныи блок служит для согласованнои работы всех блоков устроиств и
для организации взаимодеиствия с пользователем.</p>
      <p>В настоящее время реализована большая часть данного программного комплекса, а именно:
система оценки качества (все тесты Руководства NIST, DIEHARD, Д.Кнута, CRYPT-X, как
оригинальные, так и модифицированные, графические тесты, собственные оценочные и
графические тесты), система оценки корреляции, система обнаружения периодичности. Примеры
работы программного комплекса приведены на рис. 2-3.
Рис. 2. Примеры графических тестов
Рис. 3. Пример общего отчета о тестировании генератора</p>
      <p>
        287


В качестве дальнеиших направлении исследовании можно предложить следующие:
уменьшение объема памяти, требуемои для реализации теста. Практически все оценочные
тесты производят расчет тестовои статистики на основе частоты встречаемости того или
иного вида шаблона. Соответственно, чем длиннее тестируемая последовательность, тем
большии объем памяти необходим для хранения числа появлении шаблона определенного
типа. Рано или поздно может наступить ситуация, когда размер необходимои для
реализации теста памяти превысит предельныи размер памяти вычислительнои системы,
что автоматически приведет к невозможности выполнения теста. В качестве варианта
решения даннои проблемы можно предложить вычисление промежуточных результатов,
либо подсчет числа отсутствующих шаблонов [
        <xref ref-type="bibr" rid="ref22 ref22 ref9 ref9">10</xref>
        ]. Второи вариант представляется более
предпочтительным, так как позволит избежать зависимости объема необходимои для
реализации теста памяти от длины исследуемои последовательности.
повышение быстродеиствия статистических тестов. Стремительное развитие средств
вычислительнои техники, повышение скорости передачи данных, а также появление так
называемои легковеснои криптографии – все эти факторы приводят к необходимости
существенно сокращать время выполнения ряда алгоритмов. Особенно это актуально для
стохастических и криптографических алгоритмов, ведь зачастую они применяются для
преобразования информации «на лету». В качестве одного из вариантов повышения
быстродеиствия тестов можно предложить выполнение последних при помощи
вычислительных ресурсов графических процессоров (технология nVidia CUDA) [
        <xref ref-type="bibr" rid="ref10 ref10 ref11 ref11 ref12 ref12 ref23 ref23 ref24 ref24 ref25 ref25">11-13</xref>
        ]. Если
число ядер центрального процессора исчисляется единицами, то количество
вычислительных узлов современных видеокарт может достигать нескольких сотен, что
позволит многократно увеличить скорость выполнения статистических тестов, а также
увеличит гибкость процесса тестирования
Исследование стохастических алгоритмов и методов анализа их качества проводились в рамках
реализации Программы повышения конкурентоспособности Национального исследовательского
ядерного университета «МИФИ».
      </p>
      <p>References</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          2.
          <string-name>
            <surname>Epishkina</surname>
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kogos</surname>
            <given-names>K.</given-names>
          </string-name>
          <article-title>Quantum random number generator for secure communications</article-title>
          // 2016 International Siberian Conference on Control and Communications,
          <source>SIBCON 2016 - Proceedings. - Moscow</source>
          ,
          <year>2016</year>
          .
          <volume>10</volume>
          .1109/SIBCON.
          <year>2016</year>
          .
          <volume>7491712</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          3.
          <string-name>
            <surname>Silnov</surname>
            <given-names>D.S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tarakanov</surname>
            <given-names>O.V.</given-names>
          </string-name>
          <article-title>Analysis of modern attacks on antiviruses //</article-title>
          <source>Journal of Theoretical and Applied Information Technology. - Volume 76, Issue</source>
          <volume>1</volume>
          ,
          <year>2015</year>
          , Pages
          <fpage>59</fpage>
          -
          <lpage>63</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          4. NIST:
          <article-title>Advanced Encryption Standard (AES) (FIPS PUB 197)</article-title>
          .
          <source>National Institute of Standards and Technology (Nov</source>
          <year>2001</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          <article-title>5. A statistical test suite for random and pseudorandom number generators for cryptographic applications</article-title>
          ,
          <source>NIST Special Publications 800-22. Revision 1.a. April</source>
          ,
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          6.
          <string-name>
            <surname>Marsaglia</surname>
            <given-names>G.</given-names>
          </string-name>
          <article-title>DIEHARD: Battery of tests of randomness [Online]</article-title>
          . Available: http://stat.fsu.edu/pub/diehard/.
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          7.
          <string-name>
            <surname>Knuth</surname>
            <given-names>D.</given-names>
          </string-name>
          <article-title>The Art of computer programming</article-title>
          . Volume
          <volume>2</volume>
          :
          <string-name>
            <given-names>Seminumerical</given-names>
            <surname>Algorithms. Third Edition</surname>
          </string-name>
          . -
          <string-name>
            <surname>Addison-Wesley</surname>
          </string-name>
          ,
          <year>1997</year>
          . - 762 pp.
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          8.
          <string-name>
            <surname>Gustafson</surname>
            <given-names>H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dawson</surname>
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nielsen</surname>
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Caelli</surname>
            <given-names>W.</given-names>
          </string-name>
          <article-title>A computer package for measuring the strength of encryption algorithms /</article-title>
          / Computer. &amp;
          <string-name>
            <surname>Security</surname>
          </string-name>
          , -
          <year>1994</year>
          ., vol.
          <volume>13</volume>
          , issue 8. - pp.
          <fpage>687</fpage>
          -
          <lpage>697</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          9.
          <string-name>
            <surname>Chugunkov</surname>
            <given-names>I.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Muleys R</surname>
          </string-name>
          .B.
          <article-title>Pseudorandom numbers generators quality assessment using graphic tests // Proceedings of the 2014 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2014</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2014</year>
          . - pp.
          <fpage>8</fpage>
          -
          <lpage>13</lpage>
          . DOI:
          <volume>10</volume>
          .1109/ElConRusNW.
          <year>2014</year>
          .
          <volume>6839187</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          10.
          <string-name>
            <surname>Chugunkov</surname>
            <given-names>I.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Prokofiev</surname>
            <given-names>A.O.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strelchenko</surname>
            <given-names>P.A.</given-names>
          </string-name>
          <article-title>The optimization of statistical tests for pseudorandom number generators // Proceedings of the 2016 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2016</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2016</year>
          . - pp.
          <fpage>190</fpage>
          -
          <lpage>193</lpage>
          . DOI:
          <volume>10</volume>
          .1109/EIConRusNW.
          <year>2016</year>
          .
          <volume>7448151</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          11.
          <string-name>
            <surname>Chugunkov</surname>
            <given-names>I.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dyumin</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Maksutov</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Smirnova</surname>
            <given-names>I.S.</given-names>
          </string-name>
          <article-title>Parallelization of test for assessing pseudorandom number generators using CUDA technology // Proceedings of the 2015 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2015</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2015</year>
          . - pp.
          <fpage>60</fpage>
          -
          <lpage>64</lpage>
          . DOI:
          <volume>10</volume>
          .1109/EIConRusNW.
          <year>2015</year>
          .
          <volume>7102232</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          12.
          <string-name>
            <surname>Dyumin</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kuznetsov</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rovnyagin M.M.</surname>
          </string-name>
          <article-title>Evaluation of statistical properties of a modified Bloom filter for heterogeneous GPGPU-systems // Proceedings of the 2015 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2015</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2015</year>
          . - pp.
          <fpage>190</fpage>
          -
          <lpage>193</lpage>
          . DOI:
          <volume>10</volume>
          .1109/EIConRusNW.
          <year>2015</year>
          .
          <volume>7102234</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          13.
          <string-name>
            <surname>Vasilyev</surname>
            <given-names>N.P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rovnyagin M.M.</surname>
          </string-name>
          <article-title>Software platform VAR for heterogeneous GPGPU-systems // 2016 6th International Conference - Cloud System and Big Data Engineering (Confluence)</article-title>
          .
          <source>- Noida</source>
          ,
          <year>2016</year>
          . - pp.
          <fpage>624</fpage>
          -
          <lpage>629</lpage>
          . doi:
          <volume>10</volume>
          .1109/CONFLUENCE.
          <year>2016</year>
          .
          <volume>7508194</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          1.
          <string-name>
            <surname>Chugunkov</surname>
            <given-names>I.V.</given-names>
          </string-name>
          <article-title>Metody i sredstva otsenki kachestva generatorov psevdosluchaynykh posledovatel'nostey, orientirovannykh na reshenie zadach zashchity informatsii</article-title>
          . - M.:
          <string-name>
            <surname>NIYaU</surname>
            <given-names>MIFI</given-names>
          </string-name>
          ,
          <year>2012</year>
          . - 236 p.
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          2.
          <string-name>
            <surname>Epishkina</surname>
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kogos</surname>
            <given-names>K.</given-names>
          </string-name>
          <article-title>Quantum random number generator for secure communications</article-title>
          // 2016 International Siberian Conference on Control and Communications,
          <source>SIBCON 2016 - Proceedings. - Moscow</source>
          ,
          <year>2016</year>
          .
          <volume>10</volume>
          .1109/SIBCON.
          <year>2016</year>
          .
          <volume>7491712</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          3.
          <string-name>
            <surname>Silnov</surname>
            <given-names>D.S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Tarakanov</surname>
            <given-names>O.V.</given-names>
          </string-name>
          <article-title>Analysis of modern attacks on antiviruses //</article-title>
          <source>Journal of Theoretical and Applied Information Technology. - Volume 76, Issue</source>
          <volume>1</volume>
          ,
          <year>2015</year>
          , Pages
          <fpage>59</fpage>
          -
          <lpage>63</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          4. NIST:
          <article-title>Advanced Encryption Standard (AES) (FIPS PUB 197)</article-title>
          .
          <source>National Institute of Standards and Technology (Nov</source>
          <year>2001</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          <article-title>5. A statistical test suite for random and pseudorandom number generators for cryptographic applications</article-title>
          ,
          <source>NIST Special Publications 800-22. Revision 1.a. April</source>
          ,
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          6.
          <string-name>
            <surname>Marsaglia</surname>
            <given-names>G.</given-names>
          </string-name>
          <article-title>DIEHARD: Battery of tests of randomness [Online]</article-title>
          . Available: http://stat.fsu.edu/pub/diehard/.
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          7.
          <string-name>
            <surname>Knuth</surname>
            <given-names>D.</given-names>
          </string-name>
          <article-title>The Art of computer programming</article-title>
          . Volume
          <volume>2</volume>
          :
          <string-name>
            <given-names>Seminumerical</given-names>
            <surname>Algorithms. Third Edition</surname>
          </string-name>
          . -
          <string-name>
            <surname>Addison-Wesley</surname>
          </string-name>
          ,
          <year>1997</year>
          . - 762 pp.
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          8.
          <string-name>
            <surname>Gustafson</surname>
            <given-names>H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dawson</surname>
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nielsen</surname>
            <given-names>L.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Caelli</surname>
            <given-names>W.</given-names>
          </string-name>
          <article-title>A computer package for measuring the strength of encryption algorithms /</article-title>
          / Computer. &amp;
          <string-name>
            <surname>Security</surname>
          </string-name>
          , -
          <year>1994</year>
          ., vol.
          <volume>13</volume>
          , issue 8. - pp.
          <fpage>687</fpage>
          -
          <lpage>697</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          9.
          <string-name>
            <surname>Chugunkov</surname>
            <given-names>I.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Muleys R</surname>
          </string-name>
          .B.
          <article-title>Pseudorandom numbers generators quality assessment using graphic tests // Proceedings of the 2014 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2014</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2014</year>
          . - pp.
          <fpage>8</fpage>
          -
          <lpage>13</lpage>
          . DOI:
          <volume>10</volume>
          .1109/ElConRusNW.
          <year>2014</year>
          .
          <volume>6839187</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          10.
          <string-name>
            <surname>Chugunkov</surname>
            <given-names>I.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Prokofiev</surname>
            <given-names>A.O.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Strelchenko</surname>
            <given-names>P.A.</given-names>
          </string-name>
          <article-title>The optimization of statistical tests for pseudorandom number generators // Proceedings of the 2016 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2016</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2016</year>
          . - pp.
          <fpage>190</fpage>
          -
          <lpage>193</lpage>
          . DOI:
          <volume>10</volume>
          .1109/EIConRusNW.
          <year>2016</year>
          .
          <volume>7448151</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          11.
          <string-name>
            <surname>Chugunkov</surname>
            <given-names>I.V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dyumin</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Maksutov</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Smirnova</surname>
            <given-names>I.S.</given-names>
          </string-name>
          <article-title>Parallelization of test for assessing pseudorandom number generators using CUDA technology // Proceedings of the 2015 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2015</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2015</year>
          . - pp.
          <fpage>60</fpage>
          -
          <lpage>64</lpage>
          . DOI:
          <volume>10</volume>
          .1109/EIConRusNW.
          <year>2015</year>
          .
          <volume>7102232</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          12.
          <string-name>
            <surname>Dyumin</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kuznetsov</surname>
            <given-names>A.A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rovnyagin M.M.</surname>
          </string-name>
          <article-title>Evaluation of statistical properties of a modified Bloom filter for heterogeneous GPGPU-systems // Proceedings of the 2015 IEEE North West Russia Young Researchers in Electrical</article-title>
          and Electronic Engineering Conference, ElConRusNW
          <year>2015</year>
          .
          <article-title>- St.</article-title>
          <string-name>
            <surname>Petersburg</surname>
          </string-name>
          ,
          <year>2015</year>
          . - pp.
          <fpage>190</fpage>
          -
          <lpage>193</lpage>
          . DOI:
          <volume>10</volume>
          .1109/EIConRusNW.
          <year>2015</year>
          .
          <volume>7102234</volume>
          .
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          13.
          <string-name>
            <surname>Vasilyev</surname>
            <given-names>N.P.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rovnyagin M.M.</surname>
          </string-name>
          <article-title>Software platform VAR for heterogeneous GPGPU-systems // 2016 6th International Conference - Cloud System and Big Data Engineering (Confluence)</article-title>
          .
          <source>- Noida</source>
          ,
          <year>2016</year>
          . - pp.
          <fpage>624</fpage>
          -
          <lpage>629</lpage>
          . doi:
          <volume>10</volume>
          .1109/CONFLUENCE.
          <year>2016</year>
          .
          <volume>7508194</volume>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>