Интеграция программных систем поддержки астрофизических наблюдений © О. П. Желенкова © В. Н. Черненков © Т. А. Пляскина © В. С. Шергин © В. В. Витковский Специальная астрофизическая обсерватория РАН, Нижний Архыз zhe@sao.ru vch@sao.ru taap@sao.ru vsher@sao.ru vvv@sao.ru телекоммуникаций позволяет астрономам активно Аннотация участвовать в наблюдениях со своего рабочего мес- та вне зависимости от географического положения. За десятилетие существования виртуальной обсерватории (ВО) обеспечен удобный дос- Адаптация дистанционного режима наблюдений туп к цифровым астрономическим ресурсам. требует разработки как новых эксплуатационных Успех этого международного проекта, дея- принципов для телескопов, так и реализации пото- тельность которого координируется Между- кового или сквозного (end-to-end) процесса наблю- народным альянсом «Виртуальная обсерва- дений, который для конечного пользователя начина- тория», определяет все большую интегра- ется с момента постановки задачи и поиска имею- цию данных обсерваторий в эту информаци- щейся информации, продолжается подготовкой онную инфраструктуру. К последней долж- заявки на наблюдательное время, затем планиро- на добавиться инфраструктура телескопов, вание и проведение наблюдений, архивизация и что потребует стандартизации всех этапов обработка полученных данных и завершается анали- наблюдательного цикла, который включает зом данных и публикацией результатов. планирование наблюдательного времени, обеспечение наблюдений, архивирование и 1.1 Потоковое проведение наблюдений предварительная обработка данных. В САО В ведущих обсерваториях мира достаточно дав- РАН разработаны и действуют несколько но используется понятие наблюдательного цикла. информационных систем, обеспечивающих Он рассматривается как единый технологический поддержку наблюдательного цикла. Архи- процесс, состоящий из отдельных взаимосвязанных тектура систем многослойная. Они реализо- этапов. Сюда входит подача заявок на наблюда- ваны с использованием веб-технологий и тельное время, составление расписания, подготовка технологий СУБД. Поддержка дистанци- к наблюдениям, сам процесс наблюдений, архивиро- онных наблюдений требует интеграции этих вание необработанных данных, подготовка и программных средств в единую систему с проверка калибровочного материала, верификация учетом тенденций в разработках ВО. правильности и полноты заполнения заголовков файлов, обработка, архивирование научных данных. Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследова- Впервые система автоматизированного потоко- ний (гранты №№ 10-07-00412, 11-07-00108 и вого выполнения наблюдений, а точнее управление 12-07-00503). расписанием наблюдений была разработана для космического телескопа HST. Программный комп- лекс Spike [1] обеспечивает управление от десяти до тридцати тысяч наблюдений в год. Заявители 1 Информационное обеспечение наблюдательных программ на космическом теле- наблюдений скопе определяют большое количество параметров на различные варианты наблюдений, чтобы Технический прогресс позволяет сделать получить результат. Опыт, накопленный при качественный скачок в автоматизации наблюдений и повысить эффективность использования дорого- разработке программного обеспечения, поддержи- стоящих инструментов. Существующий уровень вающего наблюдения на телескопе Хаббла, был использован при проектировании системы потоко- вых наблюдений на телескопах Европейской южной Труды 14-й Всероссийской научной конференции обсерватории (European Southern Observatory). ESO «Электронные библиотеки: перспективные методы и является межправительственной исследовательской технологии, электронные коллекции» — RCDL-2012, организацией, включающей 11 европейских стран и Переславль-Залесский, Россия, 15-18 октября 2012 г. выполняющей наблюдения на обсерваториях, 180 расположенных в Чили. Эффективное использова- обеспечением проверки качества и создание ние времени телескопов и создание архива данных, готовых к научному анализу данных; (7) долгосроч- готовых для научных исследований, привели к ное хранение данных с обеспечением быстрого разработке в ESO системы потокового получения доступа; (8) предоставление данных заявителям данных Data Flow System (DFS) [2]. программ, а также исследователям, работающим с DFS является набором программных средств архивными данными. и процессов для сквозного управления потоком DFS опирается на три ключевые технологии: данных, включающем как планирование, так и основанные на веб-технологиях средства управле- проведение астрономических наблюдений, а также ния информацией, архитектура клиент-сервер и сохранение наблюдательных данных в научном системы управления реляционными базами данных архиве ESO. На самом нижнем своем уровне DFS в промышленного класса. В этом смысле ESO не значительной мере опирается на технологию систем отличается от других провайдеров, обеспечивающих управления реляционными базами данных, так как круглосуточный сервис на географически распреде- базы данных используются в качестве постоянного ленной основе. хранилища для большинства объектов и информа- Следуя опыту ESO, другие наземные ции, проходящих сквозь систему. На верхних своих обсерватории применяют подобный подход. Так уровнях система использует комбинацию веб- система управления данными (Data Management ориентированных средств и клиент-серверных System) NOAO (National Optical Astronomical приложений на Java и C++. В частности, надежная и Observatory, USA) разрабатывается для обеспечения быстрая репликация баз данных, располагающихся потока получаемых от телескопов данных к на трансконтинентальных расстояниях, имеет пользователю виртуальной обсерватории [3]. DMS решающее значение при своевременной реакции на является end-to-end (E2E) системой, которая быстроменяющиеся погодные условия для опера- собирает необработанные данные от разных тивного решения возникающих проблем. Атмосфер- инструментов, установленных на телескопах в трех ные условия непредсказуемым образом меняются от географически разнесенных точках, передает эти часа к часу. Чтобы уменьшить эту проблему, в ESO данные на архивные сайты, автоматически их была разработана концепция сервисных или обрабатывает и передает на ВО-портал. Части этой дистанционных наблюдений. Такой подход приме- системы уже используются, обслуживая четыре няется в ESO с 1997. При таком подходе астрономы обсерватории CTIO, KPNO, SOAR и WIYN, используют программные средства, разработанные входящие в состав NOAO. Особое внимание при таким образом, чтобы подготовка наблюдательных разработке системы уделялось возможности программ могла выполняться астрономами непо- настраивать систему для обслуживания других средственно со своих рабочих мест в институте. наземных обсерватории в будущем. Параметры программы пересылается в ESO, где Следующим примером разработки E2E-системы после проверки они передаются непосредственно к является проект NRAO (National Radio Astronomical телескопам в Чили, где сохраняются в локальных Observatory) OEO (Office of End to End Operations) базах данных. При указанных в программе погод- [4], направленный на упрощение и повышение ных условиях наблюдения проводятся. Полученные эффективности наблюдательного процесса, данные передаются в штаб-квартиру ESO. После охватывающего все телескопы обсерватории. обработки и контроля качества данные отправля- Комплекс включает следующие подсистемы: (1) ются к заявителю программы, завершая тем самым среда для обработки данных; (2) система управления наблюдательный цикл. В течение года в ESO выпол- заявками; (3) хранилище данных NRAO — веб- няются более тысячи таких сессий, причем около платформа для получения, как исторического среза половины сессий проводятся в дистанционной данных, так и данных с авторским доступом, в сервисной моде, при которой заявитель программы сочетании с распределенной информационной проводит наблюдения, находясь не на телескопе . инфраструктурой с поддержкой долгосрочного Основным инструментом пользователя для подго- хранения данных; (4) Google Sky - визуальный товки и управления наблюдательными программами поиск и поиск по координатам с включением ВО- является клиентское приложение на Java, запуска- сервисов, как для исследователей, так и для широ- емый с рабочей машины пользователя и обменива- кой общественности, (5) интерактивные сервисы ющийся информацией с сервером, расположенным в NRAO - панель инструментов для астрономов, штаб-квартире ESO в Германии. включающая управление телескопом, личным DFS поддерживает следующие сервисы: (1) профилем, данными, заявками и наблюдениями, подготовка заявок на наблюдения; (2) проверка и получить доступ к документации и справочной рецензирование заявок с планированием наблюде- информации. ний; (3) создание описания условий наблюдений для Наблюдательный цикл и функциональность принятых заявок и передача их в систему для отдельных подсистем, обеспечивающих его выпол- последующего выполнения; (4) динамическое нение, в общих чертах совпадают в приведенных планирование наблюдений с учетом требований выше проектах, однако нет разработок стандартов пользователя и погодных условий; (5) сбор данных на отдельные этапы наблюдательного цикла, и on-line архивирование; (6) обработка данных с 181 которые являлись бы аналогом стандартов IVOA архивную систему. Исторически сложилось так, что для виртуальной обсерватории. система управления телескопом и системы управления наблюдательными приборами и 2 Наблюдательный цикл в САО РАН системой сбора, которые поставляют основной набор параметров в наблюдательные данные, Инструменты Специальной астрофизической разрабатывались в разных подразделениях обсерва- обсерватории РАН вступили в строй в первой тории. Идеология сквозной передачи параметров половине 70-х годов 20 века, когда уровень развития через системы не была достаточно продумана для информационных технологий и автоматизации конфигурирования и настройки систем при смене обеспечивал только управление телескопами. наблюдательных инструментов. В настоящее время Технологическая структура наблюдательного для ряда методов наблюдений происходит некор- процесса включала и включает несколько ректная передача информации, а в некоторых слу- взаимосвязанных этапов: чаях и потеря ряда параметров. Эти сложности  постановка астрофизической задачи; связаны с межплатформенным взаимодействием.  планирование наблюдательного времени (подго- Работа по интеграции систем, о которых говорится товка, подача, рецензирование заявки, составле- далее, позволит формализовать этапы потоковой ние расписания); передачи информации к конечному продукту – наблюдательному файлу. Далее мы приводим  подготовка наблюдательного эксперимента; краткое описание разработок, результаты и  наблюдение (управление телескопом и прием- проблемы. никами излучения, регистрация и сбор наблюда- тельных данных и сопутствующей информа- 3 Планирование наблюдений ции); Планирование наблюдаемого времени включает в  архивизация наблюдательных данных; себя подачу конкурсных заявок, их рецензирование  обработка, и составление расписания наблюдений. Из  долговременное хранение и доступ к данным. рассмотренных и принятых КТБТ (Комитет по тематике больших телескопов) заявок составляется Подготовка наблюдений имеет свою специфику для календарный план наблюдений на полгода. Для разных инструментов. Это определяется конструк- автоматизации планирования наблюдений создана тивными особенностями телескопов и различными информационная система [6], реализованная на в методами наблюдений. трехзвенной архитектуре «клиент»-«сервер прило- Каждый астрофизический эксперимент, жений»-«сервер БД». проводимый на инструментах САО РАН, описы- Для пользования веб-интерфейсом системы вается несколькими десятками параметров, которые требуется регистрация и авторизация при входе. надо учитывать при наблюдениях и обработке. Для Определены три ролевые группы, различающиеся успешной реализации наблюдательного цикла надо по сервисам и правам доступа к данным. Роль определять приоритеты наблюдательных программ, «пользователь» дает право на чтение/запись/редак- приоритеты наблюдательного времени, связанные с тирование только своих заявок, регистрацию и качеством изображения, прозрачностью атмосферы, настройку персонального бюджета, просмотр распи- фазами Луны, и уровни доступа для удаленных сания наблюдений, получение краткой информации наблюдений. об инструментах. Выполняется контроль по времени Наблюдения на телескопах САО РАН в общих при редактировании подаваемой заявки, поскольку чертах выполняются так же, как и в других заявочная кампания имеет определенные сроки. наземных обсерваториях, а именно: планирование и Роль «эксперт» включает все привилегии и функции проведение наблюдений, архивизация данных, «пользователя» и еще просмотр базы данных заявок, журналирование наблюдений, потоковая обработка получение статистики и генерацию отчетов о данных и др. [5]. В течение ряда лет в обсерватории программах, участвующих в наблюдениях, затребо- ведутся работы, опирающиеся на существующий ванном количестве ночей, программах наблюдений, международный опыт, по созданию информацион- публикациях. Роль эксперта предоставляется членам ных систем поддержки отдельных этапов наблюде- КТБТ. Для роли «администратор» разрешены все ний, правда, только в самых общих концептуальных функции экспертов. В дополнение к ним админи- и технологических подходах, поскольку нет готовых стратор может редактировать базу данных заявок, программных решений применительно к конкрет- управлять бюджетами пользователей, заносить и ному наблюдательному комплексу. редактировать заявки, поданные в текстовом виде, Разработка систем поддержки наблюдений составлять расписание наблюдений, управлять проводилась в разное время и не в едином контексте бюджетами пользователей, выполнять профилак- E2E-систем. Одна из проблем связана с передачей тику базы данных и др. параметров от разных программных систем, дейст- Названия принятых заявок (наблюдательных вующих в наблюдательном цикле, к конечному программ) и их заявители должны передаваться в результату – наблюдательному файлу, который качестве параметров в заголовки наблюдательных помещается для долговременного хранения в файлов при накоплении данных, то есть в систему 182 управления сбором. Эта функция не реализована, но версию БД. Оригинальная копия A0 и наличие на уровне таблиц базы данных расписания и тестовой схемы позволяют выполнять модерни- поисковой системы архива реализована связь этих зацию ИПС даже на уровне таблиц. параметров для поддержки запросов по названию Архивная система включает 16 цифровых программы наблюдений и заявителям. коллекций, полученных на разных наблюдательных приборах. Часть коллекций не пополняется из-за 4 Архивирование данных того, что некоторые приборы уже не используются Архивная система общего архива на телескопах, но данные, хранящиеся в них, наблюдательных данных [7] состоит из хранилища остаются востребованными для научного анализа. цифровых данных и информационно-поисковой Для подготовки «science-ready» данных требует- системы (ИПС) на базе СУБД PostgreSQL, которая ся коррекция некоторых параметров в заголовках поддерживает 16 цифровых коллекций. Для наблюдательных файлов. Это касается, прежде все- обеспечения сохранности данных при возникающих го, координатной привязки. Частично такая коррек- дефектах на носителях или сбоев оборудования ция выполняется сервисом архивной системы, кото- имеются несколько копий данных — две копии на рая по имени объекта обращается в международный CD/DVD-дисках и две копии архива на жестких центр данных и получает его координаты. Для более дисках. Одна реплицирует оптические диски (A0), а точной астрометрической калибровки цифровых другая копия (A1), несколько по структуре катало- изображений разрабатывается система координат- гов модифицированная, собственно используется ной привязки, о которой говорится в следующем ИПС. В настоящее время все цифровые носители и разделе. устройства чтения-записи данных нельзя отнести к устройствам длительного хранения, поэтому для 4.1 Система поддержки электронного журнала обеспечения сохранности цифровых данных на наблюдений долгий срок необходимо планировать периодичес- Система предназначена для интерактивного кое переписывание информации. Копии архива A0 и заполнения журналов наблюдений на 6-м опти- A1 поддерживаются также и для такой процедуры ческом телескопе. Электронный журнал наблюде- переписывания. Вариант архивных данных (A1) ний реализован в трехзвенной архитектуре, где в повторен на USB-диске с добавлением дампа таблиц качестве клиента используется стандартный брау- ИПС и программ. Он является резервной копией для зер, сервера приложений – сервер Apache и сервер восстановления информационной системы при базы данных под управлением СУБД PostgreSQL. аварийных ситуациях на сервере и/или переносе системы на другую платформу. Заполнение журнала имеет подготовительный этап. После утверждения расписания наблюдений Информационно-поисковая система общего БТА подготавливаются шаблоны журналов с архива реализована в трехзвенной архитектуре частично внесенной информацией из базы данных «клиент»-«сервер приложений»-«сервер БД» и обес- расписания наблюдений (дата наблюдения, название печивает открытый веб-доступ к наблюдательным программы, заявитель, ответственный наблюда- данным в соответствии с резолюцией МАС о тель), чтобы облегчить работу наблюдателя и доступе к архивам наблюдений [8]. Каждый файл с уменьшить количество ошибок при внесении наблюдениями описывается в таблицах базы данных информации. 60 параметрами. Они используются для динами- ческого формирования веб-интерфейса, установ- В системе определены следующие роли: ления соответствия параметров FITS-заголовка и  пользователи — регистрация, вход по паро- атрибутов таблиц ИПС, идентификации файлов, лю, просмотр и поиск журналов наблюдений по определения типа файла и т.п. дате; Часть таблиц схемы базы данных являются  ответственные наблюдатели — регистра- справочниками (словарями) и содержат информа- ция, вход по паролю, просмотр и поиск журна- цию, собранную при анализе данных локальных лов, заполнение журналов, подпись журнала. архивов. Она позволяет интегрировать разнородные Это – группа пользователей, ограниченная цифровые коллекции в одной ИПС. Другая часть поименным списком; таблиц содержит параметры, описывающие каждый  администраторы - регистрация, вход по наблюдательный файл, включенный в архив. Таб- паролю, просмотр и поиск журналов, предва- лицы пополняются по мере поступления оптических рительная подготовка текстовых шаблонов дисков с новыми данными. В архиве нет жестких протоколов наблюдений, управление информа- ограничений на формат файлов, поэтому добавление цией о регистрации пользователей: просмотр новых локальных архивов не вызывает трудностей данных, удаление пользователей, изменение при соблюдении достаточно простых правил. списка ответственных наблюдателей, напоми- Для проведения модернизации ИПС поддержива- нание пароля. ются две схемы базы данных — тестовая и рабочая. Разработки ведутся на тестовой схеме. После ее проверки ИПС переключается на обновленную 183 5 Обработка данных Мы воспользовались открытыми программными разработками проекта, чтобы приспособить его для Для рабочего инструмента, которым становится наших целей, так появился проект Soupi. Основ- виртуальная обсерватория, нужен специальным ными, отличительными от Youpi, особенностями образом подготовленный контент – данные должны Soupi является использование СУБД PostgreSQL с быть готовы для научного анализа, то есть расширением PostGIS, что позволяет повысить исправлены от инструментальных погрешностей и масштабируемость процесса обработки данных. привязаны к координатной и фотометрической Встраиваемые модули и описания наблюдательных системам. Для этих целей разрабатываются системы инструментов включают новые настройки для потоковой автоматической обработки. приборов, используемых в обсерватории. 5.1 Координатная привязка прямых снимков Soupi - это универсальный "frontend" для интер- нет-грида, который подходит как для обработки Более половины наблюдений на 6-м оптическом больших объемов архивного наблюдательного мате- телескопе проводятся дистанционно. При удален- риала, так и персональных данных. Soupi предназ- ных наблюдениях важно оперативно контролиро- начен для запуска заданий и контроля всех этапов и вать наведения телескопа, а также отслеживать параметров в процессе обработки. Цикл начинается наблюдательные условия (прозрачность и качество с загрузки FITS-файлов. Виджеты с функцией select изображений), которые используются при выборе позволяют выбирать пользователю один или объектов из заявленного программой списка. Для несколько каналов (фильтров) для FITS-изображе- контроля наведения телескопа и уточнения астро- ний, доступных как локально, так и из сетевых метрической калибровки разработана технология ресурсов, таких как NFS, FTP. При этом Soupi автоматизированной координатной привязки пря- считывает текстовые заголовки и погружает мых изображений. Реализован и внедрен программ- информацию в базу данных, затем сообщает ный комплекс экспресс-обработки изображений с пользователю, в том числе и по E-mail, об использованием авторского пакета программ по окончании загрузки. масштабно-инвариантному и корреляционному Soupi является инструментом, который действует методам привязки координат в соответствии с как высокоуровневая оболочка для свободных требованиями FITS-формата. низкоуровневых программных пакетов обработки Система экспресс-обработки построена на астрономических изображений, таких как принципах многослойной архитектуры для программные пакеты QualityFITS - оценка качества реализации взаимодействия в распределенной среде изображения, SCAMP - астрометрическая и между клиентом, сервером приложений и сервером- фотометрическая калибровка инструмента, SWarp - SkyNode, обеспечивающим доступ к базе данных интерполяция и сложение изображений, а также астрономических каталогов. Алгоритм потока задач SExtractor -- инструмент для извлечения точечных протестирован на основе наблюдательного источников и каталогизации [10]. Все модули материала вспомогательных телескопов и по архив- обработки доступны изнутри в качестве плагинов. ным прямым снимкам БТА. Он показывает устойчи- Некоторые из них могут быть отключены для какой- вые результаты для разных по качеству и динами- либо конкретной или фрагментированной последо- ческому диапазону данных. Планируется дальней- вательности обработки по желанию пользователя. шее развитие программного комплекса и его При необходимости можно добавлять собственные применение при подготовке научных данных, плагины и расширить возможности обработки, для коррекции координатных параметров наблюдатель- чего имеется скелетный шаблон с описанием API. ных файлов и контроля наведения телескопа. Soupi управляет доступом данных и защиты прав путем реализации Unix-тегов, аналогичных атри- 5.2 Потоковая обработка прямых снимков бутам файловой системы. Каждый пользователь Проект Youpi [9] - You Pipe - конвейер обработки имеет персональный, защищенный паролем про- наблюдений c гибким, ориентированным на филь. где наборы данных и результаты могут иметь астронома веб-интерфейсом приложений обеспечи- пользовательские разрешения для владельца, вает развитую функциональность для обработки группы и прочих. Разрешения могут быть изменены, наблюдательных данных. Он построен на основе чтобы делиться изображениями, результатами обра- открытых программных инструментов. Интерфейс ботки и даже файлами конфигурации конвейера. позволяет управлять заданиями обработки в режиме Загруженные заранее списки изображений реального времени. На стороне сервера работают выбираются пользователем. Некоторые критерии скрипты на языке программирования Python поиска можно объединять вместе, учитывая иденти- вызываемые веб-фреймворком Django. На стороне фикаторы фильтров/каналов и типы инструментов. клиента используется Ajax - технология на основе Селекцию можно отредактировать и при необходи- библиотек Javascript Prototype script.aculo.us. Youpi мости сохранить текущее выделение. Сохраненные используется при дистанционной обработке матери- выборки могут быть удалены или объединены с ала обзора неба, проводимого на 4-м телескопе другими списками. В целях повышения гибкости французско-канадской обсерватории. настроек селектора добавлена функция загрузки одного текстового файла описания настроек (имена 184 файлов изображений и контрольные MD5-суммы поддержкой полноценных транзакций, а описания этих файлов) или целого пакета таких файлов, геометрических объектов -- точек и вырезок из находящихся в каталоге. Это позволяет организ- небесной сферы типа POLYGON в нотации овать полуавтоматическую пакетную обработку без расширения PostGIS. СУБД PostgreSQL теперь необходимости множества ручных операций. Что разрешает множественность запросов и независи- представляет значительные удобства при обработке мых модификаций базы данных состояния процедур наблюдений с очень большим количеством изобра- из Django. жений, поскольку всю необходимую выборку мож- Набор инструментальных таблиц расширен но подготовит заранее. параметрами наблюдательного прибора БТА Перед запуском любой обработки в Soupi все Scorpio. В ближайшей перспективе - расширение входные данные, параметры конфигурации для пла- набора подключаемых плагинов программами гинов и набор заданий сначала совместно связы- предварительной обработки архивных прямых ваются в элемент процессинговой корзины. Процес- снимков БТА и их координатной привязки. синговая корзина, по сути, аналогична корзине интернет-магазина, в которую помещают покупки. 6 Интеграция информационных систем Это удобный инструмент для обмена между поль- поддержки наблюдений зователями элементами, описывающими наборы данных и этапы их обработки. Каждый элемент в Фокус разработок ВО сдвигается от разработки корзине может быть сохранен для последующего стандартов и прототипов сервисов, обеспечивающих использования или загружен обратно в процесс- базовые основы инфраструктуры, к активно исполь- синговую корзину в любое время. Механизм зуемому «инструменту». Компоненты ВО как процессинговой корзины позволяет также менять полноценного инструмента должны обеспечивать набор опций обработки в реальном времени перед астронома программными средствами для анализа и запуском заданий в кластере. визуализации, прозрачным доступом к данным и Soupi для организации кластерных вычислений интерфейсами и, конечно же, контентом. ВО не использует программный пакет Condor. Condor занимается производством контента, но контент, управляет распределением заданий на локальном конечно же, должен быть подготовлен так, чтобы компьютере, узлах кластера и Интернет-грид. соответствовать требованиям ВО. Загрузка заданий на выполнение в среде Condor Успешная деятельность альянса IVOA в осуществляется через процессинговую корзину. создании инфраструктуры виртуальной Soupi собирает все необходимые входные парамет- обсерватории, поддержанная МАС, направлена на ры и передает их в Condor через сгенерированный объединение всех имеющихся астрономических стандартный файл - текстовый скрипт, специфици- данных, включая и архивы обсерваторий. Такое рующий параметры задания, переменные окруже- «отчуждение» данных предъявляет более жесткие ния, командные строки. В зависимости от требова- требования, как к организации данных, так и к ний конкретная конфигурация кластера может описанию наблюдений, чем было ранее, когда включать только необходимые узлы кластера с данные являлись чаще всего собственностью автора указанными параметрами. В Soupi есть специальная программы. Судя по востребованности астрономи- страница для Condor, где специфицируется набор ческих ресурсов, доступных в настоящее время требований в виде настраиваемых политик и пользователю с помощью средств ВО, все больше селекторов. Пользовательские политики определяют обсерваторий будет подготавливать свои данные для динамические правила, из которых некоторые могут добавления в контент ВО. быть описаны регулярными выражениями, причем В САО РАН не поддерживалась стратегия будут вычислены только перед тем, как задания бу- наблюдения как единого технологического цикла от дут загружены в запуск. В отличие от пользователь- постановки задачи до получения научного ских, некий набор доступных узлов кластера может результата, поскольку инструменты обсерватории быть выбран статически и отображен на экране. были введены в строй в 70-е годы прошлого века. Состояние запланированных заданий Condor можно Дистанционные наблюдения требуют все большей наблюдать на соответствующей страничке монито- автоматизации отдельных частей наблюдательного ринга. Описание задания на удаленном хосте, время цикла. В обсерватории активно разрабатывались работы, владелец и текущий статус отображается и программные средства, обеспечивающие отдельные обновляется в реальном времени без перезагрузки этапы наблюдательного цикла. Эти системы страницы. приходилось неоднократно менять и модернизи- Soupi является универсальным средством орга- ровать из-за быстрого развития компьютерных и низации конвейера процедур обработки данных, цифровых технологий. который может быт построен на персональном Еще нет стандартов на отдельные этапы компьютере или на крупных вычислительных наблюдательного цикла, но они появятся в кластерах и грид. Программа является открытой в недалеком будущем стараниями разных рабочих соответствии с GPL использует Django 1.2 и выше. групп IVOA. В настоящее время, когда одна из Вместо MySQL СУБД-ориентированные вызовы целей развития ВО состоит в активном наполнении переписаны под использование PostgreSQL с контентом и, следовательно, разработке стандартов 185 для архивов обсерваторий. Это напрямую связано с обсерватории // Bulletin of the Special наблюдательным циклом и стандартизацией его Astrophysical Observatory (Известия САО). 2005. отдельных этапов. Т. 58, С. 52-63. [8] Public Access to Astronomical Archives // The Resolution of 5 Commission of IAU. 2003 Литература [Электронный ресурс]. – Режим доступа: http://www.atnf.csiro.au/people/rnorris/WGAD/Res [1] Mark D. Johnston and Glenn E. Miller. SPIKE: olution.htm. Intelligent Scheduling of Hubble Space Telescope [9] Monnerville M., Sémah G. Youpi: A Web-based Observations. Draft, p. 1-27, 1993. Astronomical Image Processing Pipeline // Proc. of [2] Michele Peron. The ESO Data Flow System. In ADASS-XIX. Ed. by Y. Mizumoto, K.-Ich. Morita, Proceedings of the Twenty Eighth Conference on and M. Ohishi. ASP Conference Series. 2010. V. Astronomical Data Analysis Software and 434, P. 495-499. Systems (ADASS-2011), p. 42–52, Washington, [10] Bertin E., Arnouts S. SExtractor: Software for DC, USA, November 2011. source extraction // Astronomy and Astrophysics [3] R. Chris Smith, Mark Dickinson, Sonya Lowry, Supplement. 1996. V. 117, P. 393-404. Christopher J. Miller, Mark Trueblood, Frank Valdes, and the NOAO/DPP Team. The NOAO End-to-End Data Management System: An Integration of software systems for support Overview. Astronomical Data Analysis Software and Systems XVI ASP Conference Series, Vol. 376, of astrophysical observations p.615-618, 2007. Olga Zhelenkova, Vladimir Chernenkov, [4] Nicole M. Radziwill. End to End Operations at the Tatyana Plyaskina, Vladimir Shergin, National Radio Astronomy Observatory. Proc. of Vladimir Vitkovskij SPIE Vol. 7016 701612-1, 2011. Over the decade of its existence, the Virtual [5] Витковский В.В., Желенкова О.П., Кайсина Observatory (VO) has been providing convenient access Е.И., Калинина Н.А., Комаров В.В., Малькова to digital astronomical resources. Success of this Г.А., Моисеев С.Г., Назаренко А.Ф., Павлов international project which activity is coordinated by the С.В., Пляскина Т.А., Рудешко С.И., Черненков International Alliance Virtual Observatory, defines ever В.Н., Шергин В.С., Шрамко Ю.С., Удаленный increasing integration of data of the observatories into доступ к экспериментальным комплексам САО the VO infrastructure. An infrastructure of telescopes РАН для образования и научных исследований. will be added to this process requiring standardization Всероссийская научная конференция "Научный of all steps of an observational cycle which include сервис в сети Интернет", Новороссийск, 1999, scheduling of observation time, providing of тезис. observations, data archiving and preliminary processing. [6] Витковский В.В., Желенкова О.П., Малхасян In SAO RAS there are several information systems С.В. Комплексная web-система подачи заявки на supporting of an observational cycle. The systems have наблюдательное время и работы с расписанием multi-tiers architecture. They use web and DBMS наблюдений на телескопах САО РАН. // Научно- technologies. The support of remote observations needs технический отчет САО РАН N293. 2003. 23с. integration this software into a unified system taking [7] Витковский В.В., Желенкова О.П., Малькова into account trends in the VO development. Г.А., Пляскина Т.А., Шергин В.С. Состояние и перспективы развития архива наблюдений 186