=Paper=
{{Paper
|id=Vol-2743/paper-6
|storemode=property
|title=Алгоритмы на Базе Нейросетевого Подхода для Сегментации Изображения при Исследовании Морфофункциональных Изменений ЦНС Algorithms Based on Neural Network Approach for Image Segmentation in Research Morphofunctional Changes in the Central Nervous System
|pdfUrl=https://ceur-ws.org/Vol-2743/39-47-paper-6.pdf
|volume=Vol-2743
|authors=Aleksey Stadnik,Aleksey Streltsov,Oksana Streltsova
}}
==Алгоритмы на Базе Нейросетевого Подхода для Сегментации Изображения при Исследовании Морфофункциональных Изменений ЦНС Algorithms Based on Neural Network Approach for Image Segmentation in Research Morphofunctional Changes in the Central Nervous System==
https://ceur-ws.org/Vol-2743/39-47-paper-6.pdf
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
АЛГОРИТМЫ НА БАЗЕ НЕЙРОСЕТЕВОГО ПОДХОДА
ДЛЯ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ ПРИ
ИССЛЕДОВАНИИ МОРФОФУНКЦИОНАЛЬНЫХ
ИЗМЕНЕНИЙ ЦНС
А.В. Стадник1,2, А.И. Стрельцов3, О.И. Стрельцова1,2
1
Лаборатория информационных технологий, Объединенный институт ядерных
исследований,. Дубна, Россия
2
Университет «Дубна», г. Дубна Московской области, ул. Университетская, 19
3
SAP SE, Germany
E-mail: alexey.stadnik@gmail.com
В статье рассматриваются возможности автоматизации процесса выделения,
сегментации и классификации типа нейронов на изображениях срезов головного мозга
лабораторных животных. В качестве основного инструмента предлагается
использование различных архитектур глубоких нейронных сетей, для обучения
которых создан набор данных, состоящий из предварительно размеченных экспертами
из ЛРБ ОИЯИ изображений, с выделенными классами нейронов как без изменений
(нормохромные), так и согласно типу их нарушения: с дистрофическими и
морфофункциональными изменениями. В работе представлены результаты обучения
нейросетевых архитектур, проведена оценка текущей эффективности, предложены
направления дальнейшего развития с построением двухэтапной схемы анализа с
отдельными этапами сегментации и классификации нейронов.
Ключевые слова: нейронные сети, сегментация изображений, алгоритмы
классификации
Алексей Стадник, Алексей Стрельцов, Оксана Стрельцова
Copyright © 2020 for this paper by its authors.
Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0).
39
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
1. Введение
Эксперименты, проводимые в ЛРБ ОИЯИ группой физиологов, направлены на
исследование радиобиологических эффектов воздействия разных видов
ионизирующего излучения на центральную нервную систему (ЦНС) мелких
лабораторных животных. Результаты таких исследований актуальны по ряду причин. В
настоящее время широкое применение источников ионизирующего излучения в
различных сферах деятельности человека повышает вероятность поражения организма
как при авариях и инцидентах на объектах ядерной энергетики, так и в условиях
повседневной жизни.
Использование пучков протонов и ядер других химических элементов в
радиационной медицине является очень перспективным направлением терапии рака.
Важной проблемой онкорадиологии является отсутствие эмпирических данных о
специфике и тяжести поражений, которые могут возникнуть в результате применения
ускоренных ионов.
Анализ экспериментальных данных в световом микроскопе, получение
изображений нервной ткани, проведение вручную морфологического анализа нейронов
(анализ может включать от 200 в гиппокампе до 1000 и более нейронов в
сенсомоторной коре у одного объекта) занимает 15-30 дней в зависимости от числа
исследуемых структур. Современные информационные технологии и средства ядерной
медицины являются важнейшими составляющими прогресса в области медицинских
технологий. Исследования в этой области невозможны без высокопроизводительных
вычислительных комплексов и адекватного математического и программного
обеспечения. Общее быстрое развитие технологий и исследований в области
нейросетевого подхода и глубокого обучения приводит к появлению новых разработок
в области автоматизации медицинских и биологических исследований.
Разработка алгоритмов и обучение нейросетевых моделей проводится на базе
гетерогенной вычислительной платформы HybriLIT (ЛИТ, ОИЯИ) в рамках
экосистемы для задач машинного и глубокого обучения [1, 2].
2. Обоснование выбора архитектуры нейросетевой модели и
формирование обучающей выборки
Для построения нейросетевых моделей ключевым этапом являет формирование
обучающей выборки, которая в задаче сегментации и классификации типов нейронов
на изображениях срезов головного мозга лабораторных животных, подвергнутых
воздействию ионизирующего излучения и/или фармакологическими агентами, связана
с разметкой изображений экспертом. Пример изображения, полученного с помощью
микроскопа и цифровой камеры представлен на Рис.1.a, а размеченные экспертом
данные с использованием программы ImageJ на Рис.1.б., где проставлены метки
характеризующие тип нарушения нейронов головного мозга.
40
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
Рис. 1. а) Исходные данные, б) Пример разметки данных экспертом
С таким типом разметки работа по оценке количества морфофункциональных
нарушений возможно проводить в ручном режиме, что занимает существенное время.
Для автоматизации данного процесса и привлечению методов машинного обучения к
решению данной задачи сегментации мы должны сформировать обучающую выборку,
разметка которой определяется выбором нейросетевой модели, поскольку обучающая
выборка, это исходное изображение и соответствующий файл с разметкой. Несмотря
на то, что при ручной разметке экспертом, нейроны помечаются точками, фактически
задача состоит в соотнесении всех пикселей изображения принадлежащих
конкретному нейрону как к отдельному сегменту, то есть задача относится к классу
задач сегментации. Отметим, что для изображений хорошо зарекомендовали себя
нейросетвые архитектуры базирующиеся на сети аналогичной U-Net, которая
изначально была представлена для анализа медицинских изображений [1].
U-Net считается одной из стандартных архитектур сверточных нейронных сетей
для задач сегментации изображений, когда нужно не только определить класс
изображения целиком, но и сегментировать его области по классу, т. е. создать маску,
которая будет разделять изображение на несколько классов. Архитектура состоит (см.
Рис.2), из так называемого стягивающего пути, для захвата контекста, и
симметричного расширяющегося пути, который позволяет осуществить точную
пространственную локализацию объектов.
Рис. 2. Архитектура U-Net (взят из работы [3])
41
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
Для решения поставленной задачи в качестве начального инструмента нами
используется именно архитектура U-Net. Соответственно, требуется разметка для
многоклассовой сегментации – набор бинарных масок отдельно для каждого из типов
нарушений. Пример формирования масок для одного изображения представлен на
Рис.3.
Рис. 3. Пример бинарных масок, соответствующих изображению для формирования
обучающей выборки
Таким образом, для всех накопленных экспериментальных данных возникла
необходимость осуществления дополнительной разметки, которая осуществлялась
экспертами ЛРБ ОИЯИ.
3. Предварительные результаты обучения нейросетевой модели
Для задач сегментации с использованием архитектуры U-Net в качестве метрики
обучения был выбран коэффициент Дайса [3], характеризующий степень перекрытия
сегментов разметки, предсказанных моделью сегментов, соответствующих
классифицируемым нейронам:
2 ∙ (𝐴 ∩ 𝐵)
𝑑𝑖𝑐𝑒𝑐𝑜𝑒𝑓 = ,
𝐴+𝐵
где 𝐴 -множество пикселей изображения, соответствующих сегменту маски в
размеченных данных,
𝐵 – множество пикселей сегмента, полученных при обучении нейросетевой
модели. Как ясно из представленной формулы, при полном воспроизведении моделью
сегмента изображения коэффициент равен 1, а при полном несовпадении коэффициент
Дайса равен нулю, поэтому в качестве функции потерь выбирается сумма по всем
обучающим примерам:
𝑙𝑜𝑠𝑠 = ∑(1 − 𝑑𝑖𝑐𝑒𝑐𝑜𝑒𝑓𝑓 ).
42
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
На Рис. 4 представлены зависимости, полученные в результате обучения нейросетевой
модели, функции потерь от количества эпох обучения для обучающего и
валидационного множеств (слева) и соответствующий коэффициент Дайса (справа).
Из представленных кривых обучения видно, что первые результаты обучения смогли
привести к максимуму на валидационной выборке в интервале порядка 0.4 для
коэффициента Дайса, после которого кривые обучающего и валидационного
множества расходятся характерным для переобучения образом. А именно,
переобучение наблюдается с 80-90 эпохи, и по кривой, соответствующей обучающему
множеству, можно понять, что дальнейшее обратное распространение ошибки
приводит к запоминанию обучающего множества за счет емкости сети, которая в
данной конфигурации содержала порядка 600 тысяч обучаемых параметров.
Рис. 4. Первые результаты обучения
На Рис. 5 приведен пример из тестового множества, который позволяет
визуально оценить полученное решение. Из данного примера, очевидно, что на этом
этапе результат далек от удовлетворительного.
Рис. 5. Пример полученного после обучения результата сегментации изображения
43
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
Эксперименты по обучению также показали, что выборка недостаточно
сбалансирована и требует корректировки. Наблюдаемый эффект может быть
следствием одной или нескольких возможных причин:
недостаточное количество данных;
систематическая ошибка в данных;
неудачная архитектура сети;
недостаточная полнота данных;
несбалансированные данные (по классам).
4. Исследование, направленное на улучшение нейросетевой модели
Для анализа возможных причин переобучения модели, представленных выше,
рассмотрим поэтапно полученные результаты.
Обратимся к Рис.5, из которого видно, что классификация сегментов
происходит довольно плохо, на различных масках соответствующим классам основные
клетки попали лишь в один класс, при этом с явной ошибочно, тогда как бинарные
маски, соответствующие другим классам, практически не заполнены, а найденные
сегменты визуально соответствуют нейронам, которые не были размечены в исходной
выборке. Это наблюдение позволяет сделать вывод о том, что требуется
дополнительная разметка всего изображения, включающая в себя разметку не только
нейронов с морфофункциональными изменениями, которые интересуют нас в данном
контексте, но и все остальные объекты, присутствующие на изображении, также
должны быть размечены аналогичным образом.
Также из анализа результатов видно, что недостаточная полнота данных и
несбалансированность классов, также вносит свой вклад в наблюдаемую картину.
Насколько сильно влияет точность разметки данных для обучения и возможное
наличие систематической ошибки в разметке данных можно проверить на модельном
эксперименте.
Модельный эксперимент представляет собой обучение нейросетевой модели на
двух наборах данных, которые отличаются только разметкой, и идентичны по входным
изображениям выборки. Принципиально в данном случае как различие в самих данных
разметки, так и различный способ получения размеченных данных в каждом из
случаев, что имитирует наличие систематической ошибки в данных. В этом случае,
разница в желаемом отклике модели позволит оценить влияние обоих факторов, как
различие самих входных данных, так и различный способ их разметки, на результат в
виде конечной модели сегментации. Также для дополнительной проверки гипотезы о
том, что емкость выбранной нейросети велика для задачи, были редуцированы слои и
количество обучаемых параметров сведено до 55347.
Графики кривых обучения представлены на Рис. 6, из которого видно, что
переобучение снова наблюдается, но кривая потерь на обучающем множестве уже не
сходится к нулю как в предыдущем случае, а максимум на валидационном множестве
выше по сравнению с более емкой нейросетью, использовавшейся ранее, и достигает
порядка 0.502 для коэффициента Дайса. Момент переобучения наступает позже,
примерно на 100-й эпохе обучения.
44
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
Рис.6. Кривые обучения для модельной задачи сегментации
Таким образом, при недостаточном количество данных, целесообразно
использовать нейросетевую модель меньшей емкости, которая по своему смыслу
обладает большей обобщающей способностью. Результаты обучения такой модели
меньшей емкости представлены на Рис. 7. для одного их характерных изображений.
Рис. 7. Результат сегментации тестового изображения сетью меньшей ёмкости
Качественно картина работы сети немного поменялась, видно, что в результатах
сегментации в одном из слоёв маски (на Рис.7. вверху справа) оказались все сегменты,
соответствующие всем представленным на исходном изображении нейронам, вне
зависимости от того, были ли данные нейроны размечены экспертом.
Этот факт наводит на мысль разбить задачу на два этапа, первым из которых
обязательно должен идти этап сегментации клеток всех типов без учета их классовой
принадлежности, то есть бинарная сегментация.
Дальнейшие действия могут быть как отдельной классификацией сегментов по
типу нарушения, так и использование данного слоя как дополнительного входного
слоя в схожей постановке задаче многоклассовой сегментации.
Методические исследования, касательно подробного рассмотрения всех
возможностей улучшения нейросетевых моделей, будут представлены в отдельной
работе.
45
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
Заключение
В работе представлен текущий статус исследований по разработке алгоритма
автоматизации разметки и классификации изображений срезов головного мозга
лабораторных животных.
Рассмотрены возникающие проблемы и сформулированы предварительные
результаты. В частности, предложена поэтапная схема анализа с отдельной фазой
сегментации и последующим учетом этой информации на следующих этапах. Для
отдельной задачи сегментации планируется рассмотреть влияние систематических и
случайных ошибок в разметке данных, и подбор эффективной нейросетевой
архитектуры для этой задачи.
Рассмотрены причины переобучения моделей, исследовано влияние емкости
нейросети на результаты работы модели.
Направление дальнейших исследований предполагает анализ других
нейросетевых архитектур для задачи сегментации, таких как: W-Net, Linknet,
PSPNet [5-7].
В частности, двухэтапный анализ с применением W-Net, где дополнительный
слой сегментации на входе сети может существенно уточнять картину для задачи
корректной сегментации с учетом классов, выглядит достаточно многообещающим.
В качестве отдельного классификатора сегментов по типам нарушений можно
рассмотреть простую сверточную нейросеть и подход основанный на использовании
архитектуры сиамских нейросетей.
Также, как показала практика, требуется продолжить работы по расширению
набора данных с разметкой экспертами.
Список литературы
[1] Гетерогенная вычислительная платформа HybriLIT, http://hlit.jinr.ru/ecosystem-for-
ml_dl_bigdataanalysis-tasks
[2] Gh. Adam et al., IT‑ecosystem of the HybriLIT heterogeneous platform for
high‑performance computing and training of IT‑specialists // CEUR Workshop Proceedings,
Selected Papers of the 8th International Conference «Distributed Computing and Grid-
technologies in Science and Education» (GRID 2018), Dubna, Russia, September 10‑14,
2018, http://ceur-ws.org/Vol-2267/638-644-paper-122.pdf
[3] Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net: Convolutional Networks for
Biomedical Image Segmentation. https://arxiv.org/abs/1505.04597
[4] Fausto Milletari, Nassir Navab, Seyed-Ahmad Ahmadi, V-Net: Fully Convolutional
Neural Networks for Volumetric Medical Image Segmentation,
https://arxiv.org/pdf/1606.04797
[5] Xide Xia, Brian Kulis, W-Net: A Deep Model for Fully Unsupervised Image
Segmentation, https://arxiv.org/abs/1711.08506
[6] Abhishek Chaurasia, Eugenio Culurciello, LinkNet: Exploiting Encoder Representations
for Efficient Semantic Segmentation, arXiv:1707.03718v1 [cs.CV] 14 Jun 2017
[7] Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, Jiaya Jia, Pyramid Scene
Parsing Network, Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), 2017, pp. 2881-2890
46
Proceedings of the Information System for the Tasks of Radiation Biology Workshop (ISRB2020)
Dubna, Russia, June 18, 2020
ALGORITHMS BASED ON THE NEURAL NETWORK
APPROACH FOR IMAGE SEGMENTATION WHEN
STUDYING MORPHOFUNCTIONAL CHANGES OF THE
CNS
A.V. Stadnik1,2, A.I. Streltsov3, O.I. Streltsova1,2
1
Laboratory of Information Technologies, Joint Institute for Nuclear Research, Dubna,
Russia
2
Federal State-Funded Educational Institution of Higher Education of Moscow Region
"Dubna University", Dubna, Russia
3
SAP SE, Germany
E-mail: alexey.stadnik@gmail.com
The article discusses the possibilities of automating the process of isolation, segmentation
and classification of the type of neurons in images of slices of laboratory animals’ brain. The
use of different architectures of deep neural networks is proposed as the major tool. To train
them, a data set is created, it comprises images preliminary marked by JINR LRB experts
with selected classes of neurons both without changes (normochromic) and, according to the
type of their violation, with dystrophic and morphofunctional changes. The results of training
neural network architectures are presented, the current effectiveness is assessed, and
directions for further development with the construction of a two-stage analysis scheme with
separate stages of neuron segmentation and classification are proposed.
Keywords: neural networks, image segmentation, classification algorithms
Alexey Stadnik, Alexej Streltsov, Oksana Streltsova
Copyright © 2020 for this paper by its authors.
Use permitted under Creative Commons License Attribution 4.0 International (CC BY 4.0).
47