Аннотация. Исследуются подходы к решению задачи создания реалистичных интерактивных 3D веб-коллекций музейных экспонатов. Рассматриваются представление 3D-моделей объектов, на основе ориентированных полигональных структур. Описан метод создания виртуальной коллекции 3D-моделей по технологии интерактивной мультипликации. Предложено на основе такого же набора данных (отдельные кадры экспозиции) построить полноценную 3D-модель с помощью методов фотограмметрии. Методы фотограмметрии разработанные для построения карт рельефа по космическим и аэрофотоснимкам могут быть применимы для построения качественной 3D-моделей музейных предметов. Алгоритмы фотограмметрии используя другую, известную заранее, информацию об объекте: например, симметрию элементов объекта, в некоторых случаях, позволяют реконструировать пространственные координаты точек объекта только по одному фотографическому изображению. Анализируется оценка вычислительной сложности построения реалистичных 3D моделей. Приведены результаты расчетов для реальных музейных экспонатов. Метод фотограмметрии дает возможность построения качественной 3D-модели с меньшими материальными затратами на дополнительное оборудование по сравнению с другими методами визуализации. Полученные результаты легли в основу технологии создания 3D-моделей для объектов из фондов Государственного биологического музея им. К. А. Тимирязева и формирования на их основе средствами электронной библиотеки «Научное наследие России» виртуальной выставки, посвященной научной деятельности М. М. Герасимова и его антропологическим реконструкциям Ключевые слова: фотограмметрия, 3D-моделирование, интерактивная мультипликация, web-дизайн, полигональное моделирование.
1 Joint Supercomputer Center of the Russian Academy of Sciences - Branch of Federal State Institution "Scientific Research Institute for System Analysis of the
Russian Academy of Sciences" Попытки представить более полную информацию об объекте, чем простая фотография, начались с создания технологии стереоизображений, технически представляющих собой снимки объекта, сделанные камерами с разных позиций. С появлением технологии компьютерной графики развитие этой идеи сделало качественный скачок – стало возможным хранить и представлять образ объекта не только с 2-х фиксированных точек, но и с любой точки, определяемой пользователем.
Очевидно, что полное, качественное и подробное цифровое 3Dмоделирование объекта достаточно сложная задача, требующая использования мощных вычислительных ресурсов и специального оборудования. Такое моделирование открывает новые возможности по формированию 3D-моделей, их представлению и использованию. Например, при наличии качественно сделанной 3D-модели с помощью 3D-принтера, можно получить копию музейного объекта на другом конце света, не подвергая риску повреждения или утраты основного артефакта. Такая технология использовалась Государственным Дарвиновским музеем (ГБУК ГДМ) для пополнения своей коллекции уникальными экспонатами образцов оцифрованных элементов скелета доисторического человека из коллекции музея, находящегося в ЮАР [1].
На данный момент, основным методом представления 3D-моделей объектов, является полигональное моделирование [2]. Суть метода заключается в представлении поверхности объекта с помощью координат точек на поверхности объекта и векторов нормалей в них, которые позволяют максимально точно аппроксимировать полигонами воссоздаваемую поверхность. В терминах аппарата линейной алгебры 3D-модель представляется как связанное множество неплоских ориентированных полигонов. Для представления элементов 3D-объектов используется 4х мерное аффинное пространство и однородная система координат.
Однородная система координат обладает тем свойством, что определяемый в этих координатах объект не меняется при умножении всех координат на одно и то же ненулевое число. Количество координат, необходимое для представления точек, всегда на одну больше, чем размерность пространства, в котором эти координаты используются. Например, для представления точки в двумерном пространстве необходимы 3 координаты и 4 координаты для представления точки в трехмерном пространстве [3]. Таким образом, выражение в (1) задает положение точки в трехмерном пространстве:
P =P0 +α1x +α 2 y +α3z , (1)
где задает систему координат, в центре которой расположена камера,
смотрящая на объект (фрейм). Таким образом, появляется возможность
разделить систему координат модели и систему координат наблюдателя:
x
P =[α1,α 2,α3,1]× zy . (
- задает систему координат, в которых P0 происходит рассмотрение объекта.
Таким образом, для манипуляций с 3D-моделями, построенными в однородных координатах, например, для выполнения элементарных операций поворота-сдвига-масштабирования, требуются квадратные матрицы 4-го порядка, применяемые ко всем элементам модели.
Геометрия полигонов и их количество являются основными параметрами, определяющими качество модели 3D объекта. Существуют два подхода к определению значений этих параметров, которые, в основном, зависят от вычислительной мощности процессоров, занятых прорисовкой моделей. Первый подход характеризуется увеличением количества полигонов минимальной сложности (треугольников), что сопровождается ростом объема данных для отображения 3D-модели.
Второй подход основан на построении сложных полигонов, максимально приближающих поверхность моделируемого объекта.
Алгоритм визуализации, основанный на использовании математического аппарата построения кусочно-полиномиальных функций (сплайнов) для формирования поверхностей неаналитических форм, описываемых сложными функциями, является одним из наиболее широко применяемых инструментов в системах автоматизированного проектирования и программ компьютерной графики. Это связано с тем, что сплайн – это гладкая кривая, состоящая из вершин и сегментов, проходящая, по крайней мере, через две опорные точки, и имеющая, не лежащие на этой кривой, управляющие точки, определяющие форму сплайна. При этом каждая вершина сплайна имеет касательные векторы, проходящие через управляющие точки. Каждый касательный вектор имеет, так называемый, маркер. Этот маркер управляет кривизной сегментов сплайна при входе в вершину, которой принадлежат касательный вектор и при выходе из нее. Наиболее общие типы сплайнов, используемые в компьютерной графике – кривые Безье и B-сплайны. Использование сплайнов в методах построения 3Dмоделей позволяет повышать качество моделируемой поверхности, однако, увеличивает сложность расчета, что требует больших вычислительных мощностей. В вычислительном плане построение 3D-моделей из набора изображений методом фотограмметрии достаточно трудоемкая задача. Например, обработка 124-х фотографий на одном из узлов кластера МВС-10П (МСЦ РАН) [4] заняла 41 час расчетов.
Рис 1. 3D модель, полученная методом фотограмметрии.
На рисунке 1 представлена построенная методом фотограмметрии цифровая 3D-модель антропологической реконструкции М.М. Герасимова, находящегося в Государственном биологическом музее им. К.А. Тимирязева. Недостатки этого метода, в частности, заключаются в невозможности контроля процесса создания 3D-модели, в длительном ожидании обработки исходных данных, в необходимости использовании достаточно больших вычислительных мощностей. Таким образом, проблема формирования качественной 3D-моделей из набора «плоских» изображений требует решения следующих задач: • повышение производительности обработки данных модели, как за счет повышения мощных вычислительных средств, так и создания эффективных алгоритмов и программ; • сокращение времени сборки модели; Эти задачи остаются актуальными и их решения предполагают дальнейшее развитие методов цифровой визуализации объектов.
Современные видеопроцессоры способны обработать огромное количество потоков данных для прорисовки простых графических примитивов. Графические процессоры помимо повышенной производительности, позволяют в реальном времени выполнять алгоритмы сглаживанья, аппроксимации, оптимизации полигонов, что приводит к уменьшению выводимого объема данных 3D-модели и улучшению визуального восприятия.
Для создания виртуальной коллекции 3D-моделей с целью предоставления ее широкому кругу пользователей через интернет может быть использована и более простая технология интерактивной мультипликации. Эта технология не предполагает построение полноценной 3D-модели, а основана на программной смене (прокручивании) фиксированного набора видов объекта (кадров) с помощью специализированных интерактивных программ отображения, имитирующих смену точки взгляда на исходный объект. Для создания такого интерактивного мультфильма, необходим набор заранее снятых сцен, которые будут использоваться как отдельные кадры экспозиции (рис. 2).
Рис 2. Набор изображений для создания интерактивного мультфильма.
Технология интерактивной мультипликации применялась, например, в таких проектах, как «Интерактивная прогулка по Кремлю» или «Виртуальная прогулка по саду жизни», посвященная 160-летию И.В. Мичурина [5].
На основе такого же набора данных (отдельные кадры экспозиции) может быть построена и полноценная 3D-модель с помощью методов фотограмметрии, которые активно разрабатывались в 70-е годы для построения карт рельефа по космическим и аэрофотоснимкам. Фотограмметрия использует способы и приёмы различных дисциплин, в основном, заимствованные из оптики и проективной геометрии [6].
В простейшем случае пространственные координаты точек объекта определяются путём измерений, выполняемых по двум или более фотографиям, снятым из разных положений. Основной задачей в этом случае является определение общих точек на двух соседних изображениях. После создания массива общих точек, формируется набор лучей, проходящих через каждую общую точку и местоположение фотоаппарата – точки съемки. Пересечение этих лучей и определяет расположение точки на поверхности исходного объекта в пространстве. Более сложные алгоритмы могут использовать другую, известную заранее, информацию об объекте: например, симметрию элементов объекта, что, в некоторых случаях, позволяет реконструировать пространственные координаты точек объекта только по одному фотографическому изображению. Алгоритмы, применяемые в фотограмметрии, имеют целью минимизировать ошибки, возникающие в результате получения набора последовательных кадров, а также ошибки измерения. Задача минимизации множества ошибок решается обычно с помощью алгоритма Левенберга— Марквардта [7] (или метода связок), основанного на решении систем нелинейных уравнений методом наименьших квадратов.
При процессе ручного создания моделей объекты, с которыми мы сталкиваемся в жизни, можно разделить на простые и сложные. Простой объект – это объект, который можно описать заданной (описываемой заданным уравнением) поверхностью вращения кривой не выше 3-го порядка. Примером простого объекта может служить параллелепипед или цилиндр. Сложный объект – это объект, состоящий из комбинации простых объектов. Примером сложного объекта служит практически любой объемный музейный экспонат, такой, как чучело мамонта, или археологическая находка в виде амфоры.
Кроме описанных выше способов моделирования в трехмерной графике, относится работа с редактируемыми поверхностями [8].
Существует несколько способов создания 3D-моделей при помощи редактируемых поверхностей.
Эти способы основаны на формировании модели, состоящей из: 1. Треугольных граней. В этом случае изменяемыми параметрами будут вершины треугольников, их стороны (ребра), вся поверхность треугольника (используется, например, для наложения/изменения текстуры); 2. Многоугольников. В этом случае изменяемыми параметрами будут вершины многоугольников, их стороны (ребра), вся поверхность многоугольника; 3. Комбинации треугольных или четырехугольных граней, которые создаются сплайнами Безье. Двумерный сплайн Безье определяется четырьмя точками: двумя конечными, к которым привязаны концы кривой, и двумя контрольными, которые выступают в роли «магнитов» для оттягивания кривой от прямой, соединяющей две крайние точки. «Удобство» применения сплайнов Безье на практике, при создании 3D-моделей, определяется возможностью перемещения управляющих точек (точек «сшивки» элементарных парабол) самим пользователем по экрану компьютера. Особенность этого типа редактируемой поверхности - гибкость управления формой создаваемого объекта; 4. Объектов, созданных при помощи булевых операций. Булева операция предназначена для создания нового объекта на основе двух или нескольких уже существующих объектов. В результате применения Булевых операций формируется новое тело, представляющее собой комбинацию исходных тел. Комбинирование исходных тел может происходить путем выполнения операций сложения, вычитания и пересечения. С ростом количества вложений Булевых операций одной в другую, возрастает сложность и их сложность, что ведет к увеличению вычислительных затрат. Поэтому создать трехмерную модель головы человека (особенно – лица) с помощью данного метода практически невозможно. 5. NURBS (Non-Uniform Rational B-Spline – NURBS) - моделирование на основе неоднородных нерациональных B-сплайнов. Этот вид 3Dмоделирования является частным случаем сплайнов Безье и используется для генерации и представления кривых и поверхностей. Кривые типа NURBS создаются либо на основе контрольных точек (в этом случае кривая располагается относительно точек, и проходит непосредственно через них), либо на основе управляющих вершин (в этом случае кривая располагается относительно вершин, и плавно изгибается между этими вершинами, играющими роль узлов решетки деформации) [9]. Главное отличие NURBS трёхмерного моделирования от других методов визуализации – это работа не с огромным числом точек связанных в полигоны, которые превращаются в большие поверхности, а работа с кривыми, заданными управляющими вершинами, лежащими на вспомогательной кривой. Если исходная модель имеет большое количество изгибов и «поворотов» кривых, то NURBS-кривые являются более эффективными для расчета и построения визуального 3D-образа объекта. Основное преимущество использования кривых вместо полигональных сеток – это задание меньшего объема исходных данных для построения кривой, что позволяет производить расчеты при моделировании, используя меньше памяти, времени и дискового пространства. В то же время, этот процедурный подход для создания 3D-модели повышает требования к техническим данным процессора (к видеокарте, оперативной памяти и т.п.) [10].
При формировании визуального образа 3D-объекта учитываются особенности его геометрии и текстуры. Каждый объект может быть смоделирован несколькими способами. При выборе способов создания цифровой модели 3D-объекта учитываются несколько основных параметров: параметр времени создания объекта и ресурсоемкость (объем памяти, необходимый для создания и хранения модели). Поэтому одной из основных задач формирования цифровых 3D-моделей является задача оптимизации процессов моделирования и визуализации объектов. Метод фотограмметрии дает возможность построения качественной 3D-модели с меньшими материальными затратами на дополнительное оборудование по сравнению с другими методами визуализации. Анализ и развитие методов формирования 3D моделей в направлении получения реалистичного представления 3D коллекций в Web-пространстве открывает возможности для формирования 3D коллекций музейных объектов высокого качества, как для обеспечения сохранности оригиналов, так и расширения доступности высококачественных цифровых копий музейных экспонатов. Полученные результаты легли в основу технологии создания 3Dмоделей для объектов из фондов Государственного биологического музея им. К. А. Тимирязева и формирования на их основе средствами электронной библиотеки «Научное наследие России» виртуальной выставки, посвященной научной деятельности М. М. Герасимова и его антропологическим реконструкциям.
Работа выполнена в МСЦ РАН-филиале ФГУ ФНЦ НИИСИ РАН при поддержке РФФИ (Проект № 18-07-00893 А). При построении 3D моделей использовались вычислительные мощности МСЦ РАН, в частности, кластер МВС 100К.