МОДЕЛЬ ГЕТЕРОГЕННОЙ СЕТИ ДЛЯ СИМУЛЯЦИИ НЕЙРОДИНАМИЧЕСКИХ ЗАДАЧ*

Abstract

Для симуляции нейродинамических задач предложен подход, основанный на функционально-структурной модели гетерогенной сети, состоящей из информационной и управляющей подсетей, и её объектно-ориентированной программной реализации. Для каждой из подсетей описаны активные структурные элементы, а также способ их объединения в общую гетерогенную многосвязную сеть. Определены основные функции активных структурных элементов такой сети. Представлено краткое описание архитектуры программного комплекса, предназначенного для работы на кластерах универсальных и/или графических процессоров. Выполнена апробация разработанной модели на основе решения ряда известных нейродинамических задач высокой размерности.

-

NetLab, CONNECT [ 1 ]). По мнению экспертов, перспективным инструментарием при создании универсальных моделеи сложных сетеи следует считать объектно-ориентированное программирование [ 2, 3 ], а также использование кластеров универсальных и графических процессоров [ 4-6 ].

В последние годы повышенное внимание уделяется вопросам управляемости сложными сетями в классическои постановке [ 7 ], при которои управляющие сигналы через, так называемые, ведущие узлы, воздеиствуют на другие узлы, определяющие функциональное состояние сети [810]. Так, например, в работе [ 11 ] при исследовании влияния атак на управляемость вычислительнои сети обнаружено, что целенаправленная атака на связи (ребра) узлов является более эффективнои, чем случаиная атака на сами узлы. В дополнение к этому в работах [ 12, 13 ] предложен новыи подход к моделированию, в котором рассматривается и динамика связеи, с которыми соотносится вектор состояния сети.

Следует отметить, что вопросам организации управления динамикои сети через настроику весов связеи посвящено большое количество теоретических работ. При этом для естественнонаучных приложении наиболее часто привлекается аппарат дифференциальных (рекуррентных) сетеи [ 14 ].

Представляется целесообразным предложить новыи подход к построению формальнои модели сети, в архитектуре которои объединены информационные компоненты и элементы управления связями, в совокупности поддерживающие её функциональность и гибкость при реализации на кластерах универсальных и/или графических процессоров. Предпосылками для создания такои универсальнои сетевои модели, ориентированнои на решение достаточно широкого круга задач сетевои динамики, служат известные результаты ранее опубликованных работ [ 4-6 ].

В связи с этим, в настоящеи работе решается задача моделирования на функциональноструктурном уровне гетерогеннои многосвязнои сети, состоящеи из информационнои и управляющеи подсетеи, образованных большим числом активных элементов, а также – построения объектно-ориентированного программного комплекса, реализующего данную модель на кластерах универсальных и/или графических процессоров.

Конечнои целью работы является создание гибкого инструмента симуляции задач сетевои динамики на кластерах универсальных и/или графических процессоров.

Развиваемыи в статье подход сложился в результате обобщения многолетнего опыта собственных прикладных исследовании, а также под влиянием идеи, получивших обоснование в неиробиологических работах зарубежных авторов [ 15-17 ].

Однако, по сравнению с существующими подходами, где описана лишь идея обмена потоками кальция и неиромедиаторов между синапсами и астроцитами, в работе предлагается обобщение в виде взаимодеиствия двух подсетеи, одна из которых образована коммутаторами и связывающими их коннекторами, а другая – контроллерами. В модели каждыи контроллер опрашивает несколько коннекторов, получая информацию об их состояниях, после чего настраивает их параметры.

Введение подсети контроллеров позволит экспериментально изучать вопросы управления связями сетеи, формирования различных сетевых кластеров, их влияние на процессы обучения сетеи, а также – повысить надежность их функционирования. Использование нескольких контроллеров позволяет также распараллелить процесс управления для сетеи с большим количеством связеи (≥ 108).

Основу методологии настоящего исследования составили базовые положения и принципы системного анализа, методы теории графов, а также методы функционально-структурного моделирования и объектно-ориентированного программирования. Результаты Структурные элементы сети и ее топология

Информационная подсеть включает: коммутаторы («Comm», N) и коннекторы («Conn», N x N).

Коммутатор «Comm» имеет входные и выходные информационные порты, соединенные с внешними и внутренними входами и выходами концентраторами, а также – порты внешнего управления.

К входному порту коммутатора через концентраторы подключено множество входов, а к выходному порту – множество выходов.

Коннектор «Conn» имеет входные и выходные информационные порты, а также – порт внешнего управления и порт внутреннего управления. Управляющая подсеть образована контроллерами («Contr», M ≥ N).

В управляющеи подсети контроллеры «Contr» имеют входные и выходные информационные порты, а также – порт внешнего управления и порт внутреннего управления. Данные порты соединяются коммуникационными каналами через концентраторы. Фрагмент структуры предлагаемои сети показан на рисунке 1.

Настройка всех активных структурных элементов гетерогенной сети осуществляется через магистраль внешнего управления.

В информационнои подсети происходит обмен информационными потоками Icomm и Iconn данных, преобразуемых коммутаторами и коннекторами по соответствующим внутренним магистралям (связям) коммутаторов и коннекторов.

На вход каждого коммутатора «Comm» через внутреннюю магистраль коммутаторов подключены выходы группы коннекторов «Conn».

Информационныи выход каждого коммутатора Comm соединен через внутреннюю магистраль коммутаторов с группои коннекторов. Так, например, выход коммутатора Comm1 – информационныи поток Icomm1 данных воздеиствует на входы коннекторов Conn1,1, …, Conn1,N .

В управляющеи подсети происходит обмен потоками Sconn и C данных через магистраль внутреннего управления (Trunk of the internal control). Поток Sconn данных описывает состояние коннекторов, а C – управление коннекторами со стороны контроллеров.

Межконтроллерныи обмен информационными потоками Icontr данных осуществляется через внутреннюю магистраль (Trunk of the communication exchange).

Так как число M контроллеров намного меньше числа N x N коннекторов, то каждыи контроллер управляет группои (множеством) коннекторов. Например, коннекторами группы {1,1}, …, {1,N} (Conn1,1, …, Conn1,N) управляет контроллер Contr1, которыи поочередно опрашивает состояния (S1,1, …, S1,N) соответствующих коннекторов и вырабатывает сигналы управления (C1,1, …, C1,N) управления. Несколько коннекторов получают сигнал управления от одного контроллера через магистраль внутреннего управления.

Рисунок 1 – Структура гетерогенной многосвязной сети Функциональные модели компонентов сети

Активные структурные элементы рассмотреннои выше сети обладают следующими функциями.

Коммутатор («Comm») осуществляет функции пространственнои и временнои интеграции входных информационных сигналов, а также формирования выходного информационного сигнала.

Для описания передаточнои функции элемента могут быть использованы как статические логические выражения, так и динамические уравнения, рассмотренные, например, в [ 10, 14 ]. В последнем случае в n-ом коммутаторе Commn осуществляется интегрирование системы

, (1), … , ( ), _ , (1) ( ) (1), … , где Icomm(n) – выходнои информационныи сигнал n-го коммутатора (n = 1, …, N); Iconn(1), …, Iconn(K) – входные информационные сигналы от K коннекторов; Iin – внешнии входнои информационныи сигнал; ( ) – внутренняя векторная переменная. В (1) конкретныи вид скалярнои функции F, векторнои функции G, векторов параметров Par1 и ParZ задаются через магистраль внешнего управления.

Для задач неиродинамики условие формирования выходного значения сигнала Icomm может быть задано, например, в виде: if Icomm  Ithr , Iout; otherwise Icomm = 0, где Ithr – пороговое значение сигнала.

Коннектор («Conn») осуществляет функции временнои интеграции входного информационного сигнала и формирования выходного сигнала, формирование функции состояния, а также функции запоминания параметров настроики со стороны контроллера.

Для описания передаточных функции элемента могут быть использованы как статические логические выражения, так и динамические уравнения, рассмотренные, например, в работах [ 15, 16 ]. В последнем случае в k,l-ом коннекторе Connk,l (k, l = 1, 2, …, NxN), соединяющем k-и и l-и коммутаторы (см. рисунок 1), осуществляется интегрирование динамических уравнении, описывающих скорость изменения выходного информационного сигнала Iconn(k,l) и скорость изменения функции Sconn(k,l) его состояния в зависимости от входного информационныи сигнала Icomm(k) от k-го коммутатора и управляющего сигнала Ccontrm от m-го контроллера (m = 1, …, M; N ≤ M << N x N).

Контроллер («Contr») реализует вычислительные и управляющие функции для группы коннекторов. Для описания его работы могут быть использованы как статические логические выражения, так и динамические уравнения, рассмотренные, например, в статьях [ 16, 17 ]. В последнем случае в m-м контроллере Contrm осуществляется интегрирование динамических уравнении.

Входным управляющим сигналом для контроллера является функция Sconn(k,l) состояния опрашиваемого k,l-го коннектора, а выходным – управляющии сигнал Сcontr.

Каждыи m-ыи контроллер вырабатывает выходнои информационныи сигнал Icontr(m) в зависимости от информационных сигналов Icontr(m-k), Icontr(m+k), связанных с ним через магистраль Trunk of the communication exchange. Связь по информационным каналам необходима для резервирования управляющих функции в случае отказа каких-либо контроллеров. Использование нескольких контроллеров позволяет осуществить распараллеливание процесса управления в сетях с большим количеством коммутаторов.

Сигналы управление Сcontr(m) формируются в зависимости от функции (1), … , ( ) состояния K коннекторов, связанных с ним через магистраль Trunk of the internal control внутреннего управления.

Рассмотренная функционально-структурная модель гетерогеннои сети активных элементов позволяет осуществить их физическую реализацию на базе интегральных микросхем. В частности, для сети с большим количеством активных элементов (N ≥ 105), представляет интерес универсальная технология на основе графических процессоров (GPU) и кластера универсальных процессоров (CPU).

Ниже рассмотрен объектно-ориентированныи подход к программнои реализации предложеннои модели на кластере универсальных процессоров и видеокарт. Объектно-ориентированный подход к программной реализации модели

Библиотека для моделирования элементов гетерогенной многосвязной сети активных элементов содержит следующие группы классов:

Communicator – содержит классы, моделирующие коммуникаторы «Comm»: Comms, CommsCPU, CommsGPU, … .

Connector – содержит классы, моделирующие коннекторы (соединения) «Conn»: Conns, ConnsCPU, ConnsGPU, … .

Controller – содержит классы, моделирующие контроллеры «Contr»: Contrs, ContrCPU, ContrsGPU, … . Каждый класс использует программно-аппаратные решения для реализации параллельной обработки данных.

Иерархии классов построены с применением принципов объектно-ориентированного программирования. Группы Communicator, Connector и Controller инкапсулируют базовые интерфейсы для своих классов.

Для создания классов, содержащих конкретные реализации методов, связанных с реализацией конкретных математических моделей для конкретной архитектуры, используется схема наследования, представленная на рисунке 2.

На рисунке 2 представлено создание конкретных наследников класса Comms для выполнения на кластерах CPU и GPU.

Класс Comms предоставляет общии интерфеис для всех классов, моделирующих работу коммутатора. Он является предком для классов CommCPU и CommGPU, содержащих специализированные структуры для хранения данных для универсальных и графических процессоров.

Рисунок 2 – Схема создания конкретных наследников для выполнения на кластерах CPU и GPU Для разработки конкретных классов, реализующих конкретные математические модели, создается базовыи класс SomeComms, содержащии поля и методы, необходимые для реализации необходимои математическои модели. Затем, разрабатываются классы SomeCommsCPU и SomeCommsGPU, выполняющие расчеты на универсальных и графических процессорах.

Принцип полиморфизма, принятый в объектно-ориентированном программировании, позволяет разрабатывать алгоритмы, работая с указателями на базовые классы. Так, сеть, представленная на рисунке 3, программируется с использованием указателей на базовые классы, которым в ходе реализации различных сценариев выполнения программы могут передаваться любые наследники.

Рисунок 3 – Схема обработки потоков данных узлами программных модулей Рисунок отражает циклическии обмен информационными (Icomm, Iconn) и управляющими (Sconn, Ccontr) потоками данных.

Каждыи из классов CommsPerNode, ConnsPerNode и ContrsPerNode занимается обработкои порции объектов, приходящихся на один узел кластера. Последнее позволяет выполнять симуляцию работы больших сетеи на кластере универсальных и (или) графических процессоров.

Далее представлены результаты компьютерного эксперимента, демонстрирующие, что на одном узле сети одновременно можно обрабатывать порядка 106 объектов. Это позволяет в 102 Примеры решения нейродинамических задач

В качестве примера ниже рассмотрено решение задач моделирования неиродинамического процесса с использованием кластера на основе центральных процессоров Intel Core i5-2300 и графических процессоров GM206 (NVidia Geforce GTX 950).

Рассмотрим результаты вычислительных экспериментов с сетью коммутаторов. Для проверки разработанного объектно-ориентированного подхода в качестве коммутатора «Comm» был выбран неирон с динамическим уравнением (1) в виде модели Е.М. Ижикевича [ 19 ], в качестве коннектора «Conn» – синапс с безынерционным откликом и регулируемыми амплитудои и временем conn спада его отклика, в качестве контроллера «Contr» – астроцит с функциеи регулятора амплитуды времени conn спада.

В ходе проведения расчетов на кластере, были выполнены замеры времени выполнения одного шага численного интегрирования уравнения (1) на CPU и GPU для различного числа неиронов, приходящихся на один узел кластера N_NeursPerNode=N_neurs/Nodes_CPU. Здесь N_neurs – число неиронов в моделируемои сети, Nodes_CPU – число узлов кластера.

Исследовалась зависимость времени расчета одного шага решения уравнения (1) от числа N_neurs моделируемых нейронов на одном CPU и GPU. Данные зависимости приведены на рисунке 4.

Для построения графика зависимости использовалось среднее время работы универсальных или графических процессоров кластера при выполнении 1000 шагов интегрирования.

В ходе эксперимента исследован также процесс генерации возбуждении (спаиков) 100 неиронов при их связи в виде полного графа и разных настроиках времен conn релаксации откликов синапсов.

На рисунке 5 показана диаграмма активности неиронов при одинаковых для всех 104 синапсов настроиках времен спада conn = 4 мс.

Из диаграммы видно, что все неироны генерируют спаики (импульсы возбуждения) практически синхронно.

На рисунке 6 приведена диаграмма активности неиронов, разделенных на группы (34, 33, 33), с интервалами времени релаксации синаптических откликов 0,4 мс, 4 мс и 40 мс соответственно.

Рисунок 4 – Зависимость времени расчета одного шага решения уравнения (1) на CPU (1 процессорное ядро) и GPU от числа Nneurs моделируемых нейронов Рисунок 5 – Диаграмма активности нейронов при одинаковых для всех 104 синапсов настройках времен conn = 4 мс релаксации их откликов (кружками отмечены спайки нейронов в соответствующие моменты времени) Из диаграммы видно, что неироны с большими временами релаксации синаптических откликов генерируют спаики чаще.

При дополнительном тестировании использовалась полносвязная сеть из 1000 неиронов, построенная на основе математическои модели, реализованнои в пакете Matlab численным методом Эилера [ 20 ]. Результаты работы этои модели были сравнены с результатами, полученными нами на GPU и CPU (рисунок 7).

В имитационном эксперименте также как и в [ 21 ], наблюдались альфа-ритм (10 Гц) и гаммаритм (40 Гц). Тем самым, подтверждена правильность функционирования разработаннои модели и ее реализации, как на графическом, так и универсальном процессорах.

Представим результаты эксперимента по взаимодеиствию подсетеи коммутаторов и контроллеров.

Рисунок 6 – Диаграмма активности нейронов неоднородной сети из трех групп различных нейронов (0,4 мс, 4 мс и 40 мс) В процессе апробации разработаннои модели на качественном уровне был проведён анализ взаимодеиствия коннекторов сети Conns с контроллерами Contr. В эксперименте в качестве модели (1) коммутаторов Comms была взята устоичивая к помехам модель неирона «Накопление-Сброс» («Integrate and Fire») [ 18 ], а в качестве моделеи регуляторного взаимодеиствия синапса и астроцита – известные модели обмена неиро- и глиапередатчиками [ 15–17 ]. В эксперименте неироны-коммутаторы соединялись друг с другом через коннекторы, к которым были подключены контроллеры.

На внешние информационные входы коммутаторов подавалась случаиная последовательность возбуждающих импульсов, а к их выходам была добавлена аддитивная равномерно распределенная помеха, которая через коннекторы передавалась на внутренние информационные входы коммутаторов.

Рисунок 8 – Схема эксперимента по влиянию сети контроллеров на работу сети коммутаторов В отсутствии петли управляющеи связи и при превышении возбуждающими импульсами порогового значения коммутаторы генерировали устоичивые спаики на всем временном интервале возбуждающих импульсов (0 …100 мс), независимо от изменения амплитуды помехи в широком диапазоне значении, как показано на рисунке 8. Рисунок 9 – Диаграмма спайков, генерируемых коммутаторами (модель нейрона «Накопление-отжиг») в отсутствии петли управляющей связи Установлено, что при включении петли управляющеи связи, функционирующеи по регуляторным моделям обмена неиро- и глиапередатчиками [ 15–17 ], для некоторых реализации помехи происходят срывы генерации. На рисунках 10 и 11 приведены примеры воздеиствия различных реализации помехи (0,5 мкA/см2) при различных уровнях связи коннекторов и контроллеров.

Рисунок 10 – Диаграмма спайков, генерируемых коммутаторами при заданной «жесткости» петли управляющей связи, функционирующей по моделям [ 15–17 ] Рисунок 11 – Диаграмма спайков, генерируемых коммутаторами при повышении «жесткости» петли управляющей связи, функционирующей по моделям [ 15–17 ] Заключение

Проведенные имитационные эксперименты показали, что разработанная функциональноструктурная модель гетерогенной многосвязной сети активных элементов и её объектноориентированная программная реализация составляют основу достаточно гибкого и универсального инструмента для симуляции задач нейродинамики. Достоверность результатов исследования подтверждается их совпадением с результатами, полученными другими учёными в процессе решения аналогичных задач. Например, приведенные в статье авторские результаты симуляции нейробиологической сети полностью совпали с результатами известных работ Е.М. Ижикевича. Аналогичным образом в результате серии модельных экспериментов была подтверждена принципиальная возможность обеспечения управляемости сети со стороны контроллеров.

По данным вычислительного эксперимента, переход к использованию графических процессоров и технологии параллельного программирования CUDA (от компании NVIDIA), позволит обеспечить более высокую производительность на больших объёмах данных. Последнее обусловлено высокои эффективностью графических процессоров (по сравнению с универсальными процессорами) в условиях осуществления принципа компьютерных вычислении SIMD (Single Instruction Multiple Data). Детальное изучение влияния этих механизмов на производительность рассматриваемои гетерогеннои сетевои модели и её многовариантное тестирование на современнои линеике графических процессоров (NVIDIA Pascal) планируется в продолжение настоящеи работы.

В дальнейшем разработанная сетевая модель и её усовершенствованная программная реализация могут быть использованы для экспериментального анализа и оценки устойчивости динамического процесса управления сетью в области критических значений параметров связей, а также для конструирования гетерогенных сетей на базе оптоэлектронных технологий [ 22 ].

References Калачев Алексей Александрович, ведущий программист Федерального государственного автономного учреждения «Государственный научно-исследовательский институт информационных технологий и телекоммуникаций», [e-mail]; Об авторах

References

1. Kock G. , Becher T . Simulation kunstlicher neuronaler Netze auf der Basis abstrakter Netzwerkbeschreibungen // GMDSpiegel. 1997 . V. 1. P. 29 - 31 .

2. Nicol J. R. , Wilkes C. T. , Manola F. A. Object orientation in heterogeneous distributed computing systems / / Computer. 2002 . V. 26, I. 6 . P. 29 - 31 .

3. Binkert N.L. , Hallnor E.G. , Reinhardt S.K. Network-Oriented Full-System Simulation using M5 // Sixth Workshop on Computer Architecture Evaluation using Commercial Workloads (CAECW) , New York. ACM SIGARCH Computer Architecture News. 2003 .

4. Hall J.D. , Hart J.C. GPU acceleration of iterative clustering // Proc. SIGGRAPH . 2004 . - 13p.

5. Ohmer J. , Maire F. , Brown R . Implementation of kernel methods on the GPU // Proc. DICTA . 2005 , Cairns, Australia, 2005 . - 8 p.

6. Bahrampour S. , et all. Comparative study of Caffe , Neon, Theano, and torch for deep learning // Workshop track - ICLR. 2016 . P. 1- 11 .

7. Kalman R . E. Mathematical description of linear dynamical systems // J. Soc. Indus. Appl. Math. 1963. Ser. A 1 . P. 152 - 192 .

8. Gao X.-D. et al. Control efficacy of complex networks // Sci. Rep . 2016 . V 6, Article number : 28037 .

9. Yang-Yu L. , Jean-Jacques S. , Barabasi A .-L. Controllability of complex networks // Nature. 2011 . Vol 473. P. 167 - 173 .

10. Gao J. , Barzel B. , Barabasi A .-L. Universal resilience patterns in complex networks // Nature. 2016 . Vol 530. P. 307 - 312 .

11. Pu C.-L. , Pei W .-J., Michaelsond A . Robustness analysis of network controllability / / Physica. 2012 . A 391. P. 4420 - 4425 .

12. Nepusz T. , Vicsek T . Controlling edge dynamics in complex networks // Nature Physics. 2012 . V 8. P. 568 - 573 .

13. Slotine J.-J. , Liu Y.-Y. The missing link // Nature Physics. 2012 . V 9. P. 1- 2 .

14. Poznyak A.S. , Sancbez E.N. , Yu W. Differential Neural Networks for Robust Nonlinear Control . Identification, State Estimation and Trajectory Tracking . - Singapore. World Scientific publishing. 2001 . - 422 p.

15. Ghanim U. , et all. Anti-phase calcium oscillations in astrocytes via inositol (1, 4 , 5)-trisphosphate regeneration // Cell Calcium. 2006 . № 39. P. 197 - 208 .

16. Nazari S. , et all. A digital implementation of neuron-astrocyte interaction for neuromorphic applications // Neural Networks. 2015 . V. 66, P. 79 - 90 .

17. Agulhon C. , et all. What Is the Role of Astrocyte Calcium in Neurophysiology? // Neuron. 2008 . V. 59. I. 6. P. 932 - 946 .

18. Izhikevich E.M. Hybrid spiking models . // Philosophical transactions. 2010 . Series A , Mathematical, physical, and engineering sciences. V. 368 , № 1930 . P. 5061 - 5070 .

19. Izhikevich E.M. Dynamical Systems in Neuroscience: The Geometry of Excitability and Bursting . Cambridge, Massachusetts London, England. The MIT Press. 2007 . - 497 р .

20. Izhikevich E.M. Simple model of spiking neurons // IEEE Transactions on neural networks . 2003 . V. 14 , № 6. P. 1569 - 1572 .

21. Pu C.-L. , Pei W .-J., Michaelsond A . Robustness analysis of network controllability / / Physica. 2012 . A 391. P. 4420 - 4425 .

22. Kompanets I.N. , Neevina T.A. , Kompanets S.I. Method of parallel switching of optical channels // QUANTUM ELECTRON . 2012 , V. 42 ( 12 ). C. 1093 - 1096 .

1. Kock G . Becher T. Simulation kunstlicher neuronaler Netze auf der Basis abstrakter Netzwerkbeschreibungen // GMDSpiegel. 1997 . V. 1. P. 29 - 31 .

2. Nicol J. R. Wilkes C. T. , Manola F. A. Object orientation in heterogeneous distributed computing systems / / Computer. 2002 . V. 26. I. 6. P. 29 - 31 .

3. Binkert N.L. Hallnor E.G. , Reinhardt S.K. Network-Oriented Full-System Simulation using M5 // Sixth Workshop on Computer Architecture Evaluation using Commercial Workloads (CAECW) . New York. ACM SIGARCH Computer Architecture News. 2003 .

4. Hall J.D. , Hart J.C. GPU acceleration of iterative clustering // Proc. SIGGRAPH . 2004 . - 13p.

5. Ohmer J. , Maire F. , Brown R . Implementation of kernel methods on the GPU // Proc. DICTA . 2005 . Cairns. Australia. 2005 . - 8 p.

6. Bahrampour S. , et all. Comparative study of Caffe . Neon. Theano. and torch for deep learning // Workshop track - ICLR. 2016 . P. 1- 11 .

7. Kalman R . E. Mathematical description of linear dynamical systems // J. Soc. Indus. Appl. Math. 1963. Ser. A 1 . P. 152 - 192 .

8. Gao X.-D. , et al. Control efficacy of complex networks // Sci. Rep . 2016 . V 6. Article number: 28037 .

9. Yang-Yu L. , Jean-Jacques S. , Barabasi A .-L. Controllability of complex networks // Nature. 2011 . Vol 473. P. 167 - 173 .

10. Gao J. , Barzel B. , Barabasi A .-L. Universal resilience patterns in complex networks // Nature. 2016 . Vol 530. P. 307 - 312 .

11. Pu C.-L. , Pei W .-J., Michaelsond A . Robustness analysis of network controllability / / Physica. 2012 . A 391. P. 4420 - 4425 .

12. Nepusz T. , Vicsek T . Controlling edge dynamics in complex networks // Nature Physics. 2012 . V 8. P. 568 - 573 .

13. Slotine J.-J. , Liu Y.-Y. The missing link // Nature Physics. 2012 . V 9. P. 1- 2 .

14. Poznyak A.S. , Sancbez E.N. , Yu W. Differential Neural Networks for Robust Nonlinear Control . Identification. State Estimation and Trajectory Tracking . - Singapore. World Scientific publishing. 2001 . - 422 p.

15. Ghanim U. , et all. Anti-phase calcium oscillations in astrocytes via inositol (1. 4 . 5)-trisphosphate regeneration // Cell Calcium. 2006 . № 39. P. 197 - 208 .

16. Nazari S. , et all. A digital implementation of neuron-astrocyte interaction for neuromorphic applications // Neural Networks. 2015 . V. 66. P. 79 ? 90 .

17. Agulhon C. , et all. What Is the Role of Astrocyte Calcium in Neurophysiology? // Neuron. 2008 . V. 59. I. 6. P. 932 - 946 .

18. Izhikevich E.M. Hybrid spiking models . // Philosophical transactions. 2010. Series A. Mathematical. physical. and engineering sciences. V . 368 . № 1930 . P. 5061 - 5070 .

19. Izhikevich E.M. Dynamical Systems in Neuroscience: The Geometry of Excitability and Bursting . Cambridge. Massachusetts London. England. The MIT Press. 2007 . - 497 р .

20. Izhikevich E.M. Simple model of spiking neurons // IEEE Transactions on neural networks . 2003 . V. 14 . № 6. P. 1569 - 1572 .

21. Pu C.-L. , Pei W .-J., Michaelsond A . Robustness analysis of network controllability / / Physica. 2012 . A 391. P. 4420 - 4425 .

22. Kompanets I.N. , Neevina T.A. , Kompanets S.I. Method of parallel switching of optical channels // QUANTUM ELECTRON . 2012 . V. 42 ( 12 ). C. 1093 - 1096 .