<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Уральский федеральный университет1, Институт математики и механики УрО РАН2</article-title>
      </title-group>
      <contrib-group>
        <aff id="aff0">
          <label>0</label>
          <institution>: Трехмерные изображения</institution>
          , подповерхностная радиолокация
          <addr-line>, быст- рое преобразование Фурье, параллельные вычисления, CUDA, OpenMP, обратные за- дачи, уравнения Фредгольма, итеративная регуляризация, принцип максимума эн- тропии</addr-line>
        </aff>
      </contrib-group>
      <pub-date>
        <year>2016</year>
      </pub-date>
      <fpage>521</fpage>
      <lpage>529</lpage>
      <abstract>
        <p>В работе рассматривается алгоритм синтеза трехмерных радиоголографических изображений. Оценена вычислительная сложность алгоритма. Проведено распараллеливание алгоритма для многоядерных процессоров и графических успорителей. Приводятся результаты численных экспериментов, дающие оценку производительности алгоритма в реальных задачах. Предлагается дальнейший путь повышения качества синтезируемых изображений.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>Параллельные алгоритмы построения и обработки
трехмерных радиоголографических изображений*
В данной работе проводится оценка производительности параллельных вариантов
алгоритма синтеза трехмерного изображения, с использованием ресурсов центрального и
графического процессора, а также оценивается разрешающая способность локатора и предлагается
способ ее повышения.</p>
      <p>Рис. 1. Фотография (в центре) и трехмерные радиочастотные изображения человека без предметов
(слева) и со скрытыми предметами (справа).
2. Алгоритм синтеза изображений
передатчика (xk , yk ,zk ) .</p>
      <p>
        Sk ( f )  F sk (t) .
Алгоритм синтеза изображений состоит из следующих этапов [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ]:
1. Имеется набор K сигналов биений sk (t) для различных положений антенн
приемо2. Вычисляем комплексные спектры сигналов биений с помощью преобразования Фурье:
Учитывая, что задержка   f Tm / f , получим набор Sk ( ) . Здесь Tm – период
модуляции, f – девиация частоты сигнала. Вычислительная сложность этапа O(N  log(N )  K ) ,
где N – количество дискретов одного сигнала.
      </p>
      <p>3. Выполняем фазирование для всего набора:
Sk ( )  Sk ( )  e j0 ( ) ,
где 0 ( )  2 ( f0  f / 2)  . Вычислительная сложность этапа O(N  K ) .
4. Для всех координат требуемого объема  x, y,z  выполняется накопление:</p>
      <p>I (x, y, z) |  Sk ( k ) | ,</p>
      <p>K
где  k – суммарная задержка отраженного сигнала от точки пространства с координатами
x, y, z с учетов возможного преломления на границе сред. Вычислительная сложность этапа
составляет O(M  K ) , где M  X Y  Z – общее количество вокселей синтезируемого
изображения, X ,Y , Z – разрешение по каждому из измерений изображения.</p>
      <p>Таким образом, общая вычислительная сложность алгоритма
O(K (N log(N )  M )) .</p>
      <p>Для достижения требуемых характеристик по разрешению синтезируемых изображений
накладываются определенные ограничения на все компоненты формулы.</p>
      <p>При использовании систем с последовательным зондированием возможно использование
распараллеливания при обработке каждого отдельного сигнала на этапах вычисления БПФ и
накопления для одновременного вычисления значений для различных координат объема, что</p>
      <p>K
уменьшает сложность до O( (N log(N )  M )).</p>
      <p>T
3. Распараллеливание и результаты численных экспериментов
При выполнении вычислений с многопоточной системой данные от каждого канала могут
быть обработаны независимо от остальных, что, при одновременном выполнении T потоков,
позволяет уменьшить сложность до того же значения. Но при этом в T раз увеличивается
объемная сложность алгоритма, что обусловлено необходимость хранения различных копий
данных для каждого потока.</p>
      <p>Также возможны комбинации обоих подходов в зависимости от решаемой задачи. В
данном случае был выполнен синтез изображения со следующими параметрами: размер
изображения 100×100×300 в вокселях, длина набора сигналов биений K равнялась 2048, количество
дискретов в сигнале взято 216.</p>
      <p>При реализации обоих подходов были получены идентичные результаты. На рис. 2
представлены результаты при выполнении в 4 потока. Можно видеть, что время выполнения растет
линейно с увеличением количества сигналов.</p>
      <p>Рис. 2. Время выполнения при различных реализациях алгоритма выполнения в зависимости от
количества сигналов
Еще одним путем повышения производительности при реализации является использование
различных оптимизаций, зависящих от выбранной архитектуры ЭВМ. Например, современные
процессоры Intel поддерживают векторные инструкции, позволяющие существенно повысить
производительность при использовании операций с плавающей точкой.
Рис. 3. Время выполнения в зависимости от количества используемых потоков, количество сигналов</p>
      <p>K=2048
Результаты выполнения алгоритма с автоматической оптимизацией под процессоры Intel
Core i7, выполненной компилятором Intel C++ compiler 14.0, представлены на рис. 3 в виде
зависимости времени выполнения от количества потоков. Распределение на потоки реализовано с
использованием OpenMP. Количество сигналов K=2048.</p>
      <p>Рис. 4. Время выполнения на видеоускорителе Nvidia GTX 780Ti.</p>
      <p>Также алгоритм был реализован для выполнения на GPU с использованием технологии
CUDA и проведено исследование эффективности с использованием видеокарты Nvidia GTX
780Ti, имеющей 2880 ядер CUDA и тактовую частоту 875МГц. На рис. 4 видно, что
реализованная система позволяет получать изображение с частотой 15 кадров в секунду.</p>
      <p>Измерения производительности произведены на ПК с процессором Intel Core i7 3610M с
тактовой частотой 2.3ГГц с восемью потоками выполнения, с доступными 16 ГБ оперативной
памяти. Параметры алгоритма: M=106, N=262144. Указанное время – минимальное среди
тысячи замеров при одних условиях. В качестве реализации алгоритма БПФ использованы
библиотеки FFTW и cuFFT.
4. Оценка разрешающей способности</p>
      <p>Трехмерная аппаратная функция системы (изображение идеального точечного отражателя)
характеризует пространственную разрешающую способность локатора. При этом ее диаметры
по уровню 0.5 от максимума определяют возможность разрешения рядом расположенных
отражателей. Боковые лепестки определяют возможность обнаружения слабых отражателей на
фоне мощных.</p>
      <p>Цель эксперимента состояла в оценке того, насколько далека форма реальной аппаратной
функции от идеальной формы. Изображение идеальной аппаратной функции получено с
помощью имитационной цифровой модели. Реальная аппаратная функция прибора оценивается с
помощью небольшой металлической пластинки.</p>
      <p>Параметры зондирования:
 апертура синтеза 1,3 х 1,2 м, всего 600 точек;
 девиация частоты ЛЧМ-сигнала 0,85 ГГц;
 центральная частота 2,163 ГГц.</p>
      <p>На рис. 5 показаны результаты сравнения. Изображены поверхности, «натянутые» на
разные уровни изображения. Сторона куба на рисунках равна 40 см. Показано, что поперечное
и продольное разрешение реальной системы практически максимально при данных параметрах
зондирования. Для заданных параметров реальная разрешающая способность в поперечном
направлении составила 5,5 см, в продольном – 15 см. Идеальная разрешающая способность в
поперечном направлении составит 4,8 см, в продольном – 7 см.</p>
      <p>Рис. 5. Вид аппаратной функции идеальной (слева) и реальной (справа) системы</p>
      <p>по различным уровням.</p>
      <p>Уровень боковых лепестков и фоновой засветки существенно больше теоретического
значения. Основные причины этого состоят в следующем:
 сигнал прямого прохождения и переотражения в приемо-передающем тракте;
 паразитная амплитудная модуляция сигнала биений и остаточная нелинейность
частотной модуляции;
 статическая и динамическая ошибки позиционирования антенн.
5. Повышение разрешающей способности</p>
      <p>
        Дальнейшее повышение качества изображений требует применения вторичной обработки
изображений. Для этого предлагается воспользоваться аппаратом решения обратных задач
восстановления изображений [
        <xref ref-type="bibr" rid="ref8">8</xref>
        ]. Задача будет описываться трехмерным уравнением вида:
где f  x, y, z  — функция, описывающая исходное трехмерное изображение, g  , ,  —
функция, описывающая полученное изображение, A — некий интегральный оператор
преобразования.
      </p>
      <p>
        Относительно f задача является трехмерным интегральным уравнением Фредгольма
первого рода, и поэтому является сущеcтвенно некорректной задачей. Для ее решения
предполагается построить алгоритмы, использующие идеи итерационной регуляризации [
        <xref ref-type="bibr" rid="ref10 ref11 ref9">9–11</xref>
        ] или
принцип максимальной энтропии [
        <xref ref-type="bibr" rid="ref12 ref13">12, 13</xref>
        ].
      </p>
      <p>В рамках первого подхода, исходное уравнение регуляризуется, например, методом
Тихонова:</p>
      <p>A(u)  (u  u* )  f ,
где u* — начальное приближение искомой функции (изображения), f — правая часть
уравнения (полученное изображение), g( , , )  f   ,  — параметр регуляризации.</p>
      <p>
        Для решения данного уравнения можно использовать регуляризованный метод
наискорейшего спуска [
        <xref ref-type="bibr" rid="ref14">14</xref>
        ]
u k 1  uk   k

      </p>
      <p>S u k 
 </p>
      <p>2
2
A u k  S u k   S u k 
    </p>
      <p>S u k  ,
2  
*
где S u k   A u k   A u k   f   u k  u*  , A — производная Фреше
оператора A , uk — приближенное регуляризованное решение (искомое изображение) на k  ой
итерации, k — демпфирующие множители.</p>
      <p>Поскольку решение обратных задач восстановления трехмерных изображений большого
разрешения потребует значительных объемов вычислений, будет актуальным применение
мощных вычислителей, например, видеоускорителей или сопроцессоров.
6. Заключение</p>
      <p>Проведен анализ вычислительной сложности алгоритма синтеза трехмерных
радиоголографических изображений при последовательной и параллельной реализации. Проведено
экспериментальное исследование возможностей повышения производительности алгоритма,
использующих распараллеливание вычислений и использование специализированных
инструкций процессора. Показана возможность применения видеоускорителей для достижения
производительности, достаточной для синтеза изображений в реальном времени.
Литература
Parallel algorithms for synthesizing and processing</p>
      <p>of 3D radio holographic images
Yeltsin Ural Federal University1, Krasovskii Institute of Mathematics and Mechanics of Ural</p>
      <p>Branch of the Russian Academy of Sciences2
This paper is devoted to the algorithm for synthesizing of 3D radio holographic images.
Computational complexity of the algorithm is estimated. The algorithm was parallelized for
multicore processors and GPUs. The numerical experiments estimating the algorithm
performance for real applications were carried out. The further way to improve the quality of
synthesized images is proposed.</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Grinyov</surname>
            <given-names>A. U.</given-names>
          </string-name>
          <article-title>Voprosy podpoverhnostnoi radiolocatsii [Questions of subsurface radiolocation]</article-title>
          . Moscow: Radiotechnika,
          <year>2005</year>
          . 416 P.
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Dobryak</surname>
            <given-names>V. A.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>Al</surname>
          </string-name>
          .
          <string-name>
            <surname>A.</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>An</surname>
          </string-name>
          . A.,
          <string-name>
            <surname>Kurilenko</surname>
            <given-names>A. S.</given-names>
          </string-name>
          <article-title>Georadar s synthezom trehmernyh izobrazhenii [Georadar with 3D images synthesis]. Trudy XI mezhdunarodnoi nauchno-technicheskoi conferencii “Physica i technicheskie prilozheniya volnovyh processov” [</article-title>
          <source>Proceedings of XI international scientific and technical conference “Physics and technical applications of wave processes”]. Yekaterinburg</source>
          ,
          <year>2012</year>
          . P.
          <volume>160</volume>
          -
          <fpage>162</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Dobryak</surname>
            <given-names>V. A.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>Al</surname>
          </string-name>
          .
          <string-name>
            <surname>A.</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>An</surname>
          </string-name>
          . A.,
          <string-name>
            <surname>Kurilenko</surname>
            <given-names>A. S. Theory</given-names>
          </string-name>
          <article-title>and practice of three-dimensional radio frequency visualization of objects</article-title>
          .
          <source>2013 23nd Int. Crimean Conf. “Microwave &amp; Telecommunication Technology” (CriMiCo</source>
          '
          <year>2013</year>
          ). Sevastopol,
          <year>2013</year>
          , P.
          <fpage>1169</fpage>
          -
          <lpage>1170</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Dobryak</surname>
            <given-names>V. A.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>Al</surname>
          </string-name>
          .
          <string-name>
            <surname>A.</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>An</surname>
          </string-name>
          . A.,
          <string-name>
            <surname>Kurilenko</surname>
            <given-names>A. S.</given-names>
          </string-name>
          <article-title>Application of MIMOlines in the problem of three-dimensional radio frequency visualizations of subsurface objects</article-title>
          .
          <source>2013 23nd Int. Crimean Conf. “Micro-wave &amp; Telecommunication Technology” (CriMiCo</source>
          '
          <year>2013</year>
          ). Sevastopol,
          <year>2013</year>
          , P.
          <fpage>1195</fpage>
          -
          <lpage>1196</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Dobryak</surname>
            <given-names>V. A.</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>Al</surname>
          </string-name>
          .
          <string-name>
            <surname>A.</surname>
          </string-name>
          ,
          <string-name>
            <given-names>Kalmykov</given-names>
            <surname>An</surname>
          </string-name>
          . A.,
          <string-name>
            <surname>Kurilenko</surname>
            <given-names>A. S.</given-names>
          </string-name>
          <article-title>Additional focusing in the problem of three-dimensional radio frequency visualizations of subsurface objects</article-title>
          .
          <source>2013 23nd Int. Crimean Conf. “Microwave &amp; Telecommunication Technology” (CriMiCo</source>
          '
          <year>2013</year>
          ). Sevastopol,
          <year>2013</year>
          , P.
          <fpage>1185</fpage>
          -
          <lpage>1186</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Barhatov</surname>
            <given-names>A. V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Kozlov</surname>
            <given-names>A. S.</given-names>
          </string-name>
          <article-title>Bystroe vychislenie chastotno-vremennoi functsii v radiolocatsionnoi stantsii na graphicheskih processorah. [Fast calculation of time-frequency function in radar using GPUs]</article-title>
          .
          <source>Radiolocatsiya i radionavigatsiya [Radiolocation &amp; Radionavigation]</source>
          .
          <year>2015</year>
          . P.
          <volume>42</volume>
          -
          <fpage>46</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <surname>Ampilov</surname>
            <given-names>O. V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pyatkin</surname>
            <given-names>A. K.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Topchiev</surname>
            <given-names>S. A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Nikitin</surname>
            <given-names>M. V.</given-names>
          </string-name>
          <article-title>Ustroistvo tsifrovoi obrabotki signalov v coherentnoi monoimpulsnoi RLS [Digital signal processing in coherent monopulse radar]</article-title>
          . Moscow: OAO “Radiophysica”,
          <year>2005</year>
          . 2 P.
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Vasilenko</surname>
            ,
            <given-names>G. I.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Taratorin</surname>
            <given-names>A. M.</given-names>
          </string-name>
          <article-title>Vosstanovlenie izobragenii [Image restoration]</article-title>
          .
          <source>Moscow: Radio i svyaz</source>
          ,
          <year>1986</year>
          . 304 P.
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <surname>Bakushinsky</surname>
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Goncharsky</surname>
            <given-names>A</given-names>
          </string-name>
          .
          <string-name>
            <surname>Ill-Posed</surname>
            <given-names>Problems</given-names>
          </string-name>
          :
          <article-title>Theory and Applications</article-title>
          . London: Kluwer Akad. Publ.
          <year>1994</year>
          . 240 P.
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Vasin</surname>
            <given-names>V. V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Eremin</surname>
            <given-names>I. I.</given-names>
          </string-name>
          <article-title>Operators and iterative processes of Fejér type: theory and applications</article-title>
          . Walter de Gruyter.
          <year>2009</year>
          . Vol.
          <volume>53</volume>
          . 218 P.
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Kaltenbacher</surname>
            <given-names>B.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Neubauer</surname>
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Scherzer</surname>
            <given-names>O</given-names>
          </string-name>
          .
          <article-title>Iterative regularization methods for nonlinear illposed</article-title>
          problems // Walter de Gruyter.
          <year>2008</year>
          . Vol.
          <volume>6</volume>
          . 200 P.
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Ables J. G. Maximum Entropy</surname>
          </string-name>
          Spectral Analysis // Astronomy and Astrophysics Supplement Series.
          <year>1974</year>
          . Vol.
          <volume>15</volume>
          . P.
          <volume>383</volume>
          -
          <fpage>393</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Friden</surname>
            <given-names>B. R.</given-names>
          </string-name>
          <article-title>Restoration with maximum likelihood and</article-title>
          maximum entropy // JOSA.
          <year>1972</year>
          . Vol.
          <volume>62</volume>
          , No. 4. P.
          <volume>511</volume>
          -
          <fpage>518</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Vasin</surname>
            <given-names>V. V.</given-names>
          </string-name>
          <article-title>Irregular nonlinear operator equations: Tikhonov's regularization and</article-title>
          iterative approximation // J. Inverse &amp;
          <string-name>
            <surname>Ill-Posed Problems</surname>
          </string-name>
          .
          <year>2013</year>
          . Vol.
          <volume>21</volume>
          , No. 1. P.
          <volume>109</volume>
          -
          <fpage>123</fpage>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>