Управление технологией наполнения электронной библиотеки «Научное наследие России» НЕКаленов nek@benran.ru Управление технологией наполнения электронной библиотеки «Научное наследие России» 69BACFC8D933A8ED39E88B820BF2DD27 GROBID - A machine learning software for extracting information from scholarly documents
Аннотация

Система поддержки технологии подготовки метаданных устроена так, что каждый участник может, войдя в нее по своему паролю, осуществлять поиск и просмотр всей информации, введенной в систему; вводить новые данные и редактировать старые, но только введенные под его именем. При поиске может быть задано ограничениевыбирать записи, введенные данным пользователем (в меню предлагается список имен, зарегистрированных в системе). Пользователь, наделенный правами администратора, может редактировать информацию, введенную любым участником системы.

Распределенная технология подготовки данных для ЭБ организована следующим образом (рис. 1).

Руководствуясь согласованными подходами к принципам наполнения ЭБ, каждая организацияучастник Программы, определяет издания из своих фондов, которые она считает целесообразным включить в ЭБ. После этого зарегистрированный представитель этой организации входит в систему диспетчеризации и проверяет, не зарегистрирована ли уже в ней данная публикация и ее автор(ы). Если в системе публикация отсутствует, он вводит в предлагаемый шаблон ее метаданные и сведения об авторе (если автор не был введен ранее). При этом поле шаблона "Текущий статус" принимает значение "предложено к оцифровке". Представитель редакторской группы периодически входит в систему диспетчеризации и получает список документов, имеющих статус "Предложено к оцифровке". Редакторская группа принимает решение по каждому из них о целесообразности ввода в ЭБ. Если документ подлежит оцифровке, значение поля "Текущий статус" меняется на "зарегистрировано", и в запись автоматически вводится номер данного документа, под которым он будет введен в ЭБ. В дальнейшем этот номер (поле «Номер МСЦ») изменению не подлежит. Если по какой-либо причине документ оцифровывать нецелесообразно, значение поля "Текущий статус" меняется на "Оцифровке не подлежит".

Представитель организации, формирующей контент ЭБ, входит в систему диспетчеризации и выбирает свои записи, имеющие текущий статус "зарегистрировано". После подбора изданий и отправки на оцифровку их текущий статус меняется в это поле вводится значение "в работе". После завершения процесса оцифровки статус записей меняется на "оцифровано", после передачи в редакторскую группу МСЦна "сдано".

Таким образом, в каждый момент времени административная группа ЭБ может получить сведения, сколько и каких изданий находится в работе, сколько и кем оцифровано и т.п.

Технологическое

Рис. 1Здесь приняты следующие обозначения. Цифры внутри блоков соответствуют номерам процессов, приведенных в таблице 1. «С» -внешние справочно-информационные ресурсы, которыми пользуются поставщики контента при поиске изданий (каталоги библиотек, библиографические издания и т.п.); «Ф» -фонды библиотек, где хранятся печатные издания; «БП» -библиографы поставщика; «ТБД» -технологическая база данных; «РГ» -редакторская группа»; «ТП» -технологи поставщика, обеспечивающие сканирование и обработку изображений; «БДИ» -база данных изображений (отсканированных страниц); «ГТП» -группа технической поддержки. Сплошные линии означают перемещение материальных объектов (издания, включаемые в ЭБ, библиографические материалы, выписки из каталогов), пунктирныеввод данных в компьютер. Наиболее узкое место в технологии (и это можно заметить на схеме) связано с возможностью обнаружения на этапе 8 ошибок, связанных со сканированием (в первую очередь, пропущенные страницы). В этом случае приходится снова заказывать книгу (возвращаться к этапу 4) в фондах библиотеки и направлять ее на сканирование. Эта проблема встает достаточно остро в случае, когда сканируются издания, находящиеся в удаленных хранилищах, что характерно для БЕН РАН, фонды которой распределены по 60 отделам в академических организациях московского региона. Поэтому сканирование изданий (процесс 6) требует очень тщательного контроля и должно выполняться высококвалифицированными специалистами. В настоящее время в технологическую базу данных ЭБ «Научное наследие России» загружены данные о более чем 5000 ученых и более чем 18000 их публикаций. По многим ученым в ЭБ введены оцифрованные портреты, архивные материалы. В ЭБ также введены описания ряда, коллекций ГГМ им. В.И. Вернадского РАН, метаданные отдельных входящих в них экспонатов, ссылки на ученых, связанных с этими экспонатами. Основное направление развития проекта связано с модификацией пользовательского интерфейса ЭБ, интеграцией с другими отечественными и зарубежными электронными библиотеками, включением в контент мультимедиа.
Труды 16-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL-2014, Дубна, Россия, 13-16 октября 2014 г.исключением публикаций, авторы которых родились в 18 веке, оглавления, по которомуСпецифика технологии создания ЭБ ННР ещеобеспечивается или список ученых в области математики, которые навигация внутри издания),более обостряет эти проблемы. Это обусловлено тем,передача обработанных материалов в редакторскую публиковали свои работы на французском языкечто,во-первых,вкачествеучастников,группу. (естественно. речь идет о материалах, введенных вформирующих контент, выступают не толькоЭБ). Система обеспечивает навигацию по связанным Принцип распределенной подготовки данных требует разработки специальных записям. Например, получив в результате обработки средств, обеспечивающих исключение запроса список публикаций, можно выбрать автора возможности дублирования материалов (когда одной из них и получить список всех его разные публикаций; аналогично от списка авторов можно организации сканируют одни и те же издания или перейти к списку их работ. вводят данные об одном и том же ученом), достаточно жесткий контроль соблюдения «технологической дисциплины» и оперативное Результаты поиска могут быть отсортированы по любому полю выдаваемой сущности.разнородные организации, но и представители различных регионов (в настоящее время -Москва, Санкт-Петербург, Екатеринбург, Борок), а, во-вторых, тем, что подготовка информации для отражения в ЭБ включает ряд растянутых во времени процессов, в которые вовлечены различные службы. Технологические процессы формирования контента ЭБ ННР на примере подготовки изданий (висправление ошибок. Метаданныеперсонысодержатпредположении, что данные об ученом уже введеныВ организационная структура управления докладе рассматриваются проектом создания ЭБ «Научное наследие России», основные решения по организации процесса распределенного наполнения метаданными ЭБ, контролю технологической дисциплины, получению динамической статистической информации о ходе реализации проекта. Начиная с 2007 г., в рамках целевой научной программы РАН разрабатывается интегрированная Электронная библиотека «Научное наследие России» (ЭБ ННР), представленная в открытом доступе в Интернет (http://e-heritage.ru) [2-4]. информирование пользователей о выдающихся ученых, внесших вклад в развитие российской науки, и их научных достижениях. В ЭБ ННР отражаются биографические данные (библиография и отсканированные полные тексты), архивная и музейная информация, относящаяся к деятельности ученого. принцип распределенной подготовки данных с централизованной редакторской обработкой, загрузкой и поддержкой контента. Головным исполнителем работ по созданию ЭБ является Межведомственный суперкомпьютерный центр (МСЦ) РАН, разработчиками технологии и программного обеспечения -МСЦ РАН, Вычислительный центр им. А.А. Дородницына (ВЦ) РАН, Библиотека по естественным наукам (БЕН) РАН. В число участников проекта, обеспечивающих подготовки контента для ЭБ ННР, входит достаточно большое количество академических организаций -центральные библиотеки (БАН, БЕН, ИНИОН, ЦНБ УрО РАН), использующие как программный комплекс SCIRUS описывающих взаимосвязанные Реализация SCIRUS, настроенная диспетчеризацию технологии создания (http://meta.e-heritage.ru/), полями метаданных; «персона», описываемая 11 которых: «публикация / документ», описываемая 24 свойства 5 взаимосвязанных сущностей, среди технологическую базу данных (ТБД), отражающую поддерживает ЭБ на на данной конференции). приведено в докладе М.М.Якшина, представленном (детальное описание последней версии комплекса характеризуемые различным набором полей сущности, обеспечивающий ввод, поиск и экспорт данных, [5, 6], система, основой которой является настраиваемый специалистами БЕН РАН разработана специальная децентрализованной подготовки данных ННР, а также для управления процессами применительно ко всем объектам, отражаемым в ЭБ Для реализации перечисленных процессов В основу функционирования ЭБ ННР положен оглавления и полного текста издания в ЭБ принятой технологии; загрузка метаданных, Группа технической поддержки, включающая сотрудников ВЦ РАН и БЕН РАН, обеспечивает сохранность информации, работоспособность программных и технических средств, поддерживающих все элементы ЭБ. В задачи поставщиков контента входит отбор материалов в соответствии с установленными принципами, формирование метаданных о принятых к включению в ЭБ объектах (персоналии, издания, архивные документы, музейные предметы, фотографии, мультимедийные материалы), оцифровка изданий и обработка информации в соответствии с правилами системы (для ЭБ ННР принято решение, согласно которому отсканированный текст не распознается, за запросу. Например, можно получить список сущности удовлетворяют сформулированному заданная сущность, все связанные с которой обработки запроса. Результатом поиска является сущность, которая должна быть выдана в результате При формировании запроса пользователь задает сущностей и их булевым комбинациям. Поиск в системе возможен по любым полям всех входящих без пароля под именем guest. данных система открыта для пользователей, администратором. Однако для поиска и просмотра зависимости от их прав. Настроенных доступны только авторизованным пользователям в системы, вводом и корректировкой данных Функции SCIRUS, связанные с настройкой пользователям по адресу http://e-heritage.ru. описываемый 2 полями (название и URL). оболочку демонстрационной части ЭБ, доступную публикация), описываемый 6 полями; «файл», контроль издания для загрузки в программную -сборник, журнал и т.п., в который может входить оцифрованного издания, подготавливает прошедшие «источник» (метаданные издания на сводном уровне метаданных и качества (постранично) каждого полями; «организация», описываемая 6 полями; информации, включающий проверку правильности осуществляет «выходной контроль» подготовленной решение о включении в ЭБ тех или иных изданий, сотрудников МСЦ РАН, принимает окончательное 10 Формирование издания для отражения в ЭБ по Группа технической поддержки Редакторская группа, состоящая из штатных 9 [Исправление обнаруженных ошибок] Поставщик контента (библиограф, технолог) об ученых, наиболее значительные их публикации рассматривает планы и отчеты участников проекта. Поставщика об ошибках или принятии издания технологическими процессами наполнения ЭБ, отсканированных страниц, информирование МСЦ РАН, осуществляет общее руководство 8 Контроль качества метаданных и Редакционная группа собой временный научный коллектив в составе материалов в редакторскую группу Административная группа, представляющая с отсканированным текстом, передача Основной целью создания Библиотеки является в систему) представлены в табл. 1. «идентифицирующие» сведения об ученом собственные фонды, так и фонды своих отделений в академических институтах; Архив РАН со своими филиалами Государственный геологический музей им. В. И. Вернадского (ГГМ) РАН и ряд институтов Москвы и Санкт-петербурга. Наряду с поставщиками контента организационная структура ЭБ как действующей автоматизированной системы включает Совет Системы, в состав которого входят авторитетные представители организаций -участников; административную группу, редакторскую группу, группу технической поддержки. Совет Системы определяет принципы формирования контента и предоставления его пользователям, основные направления развития ЭБ, 7 Обработка оглавления издания. связывание его Поставщик контента (технолог) Библиотеки новых организаций. изображений по принятой в ЭБ ННР технологии решает вопросы привлечения к созданию (фамилия, имя, отчество, годы жизни и т.п.), Таблица 1 Номер Наименование процесса перечень научных направлений, в которых он Организационная структура ЭБ работал, а также его развернутую биографию. процесса 1 Библиографический поиск изданий конкретного Метаданные публикации включают, наряду с Поставщик контента (библиограф) элементами библиографического описания, поля, автора 2 Формирование предложений для ввода изданий характеризующие этапы технологической обработки Поставщик контента (библиограф) издания -текстовые поля «Отсутствующие в ЭБ, передача их в редакторскую группу 3 Рассмотрение предложений, информирование страницы» и «Комментарии к проблеме» и Редакционная группа списковые поля «Статус записи» и «Статус Поставщика об их принятии или отклонении 4 Заказ и получение из фондов библиотеки приемки». Значения и функции последних двух Поставщик контента (библиограф) полей используются для задач диспетчеризации принятого к сканированию издания 5 Формирование развернутых метаданных об технологических процессов, они достаточно Поставщик контента (библиограф) подробно описываются в докладе, представленном издании 6 Сканирование издания и обработка Поставщик контента (технолог) М.М.Якшиным.
Management of the Technology for Filling the Digital Library Entitled "The Scientific Heritage of Russia"

Nikolay E. Kalenov The main decisions on the management of the Digital Library project "Scientific Heritage of Russia", on the processes of filling of distributed metadata for the DL, technological discipline of control of the DL filling are considered.

ААБездушный АНБездушный ВАСеребряков ВФилиппов Интеграция метаданных Единого Научного Информационного Пространства РАН // Материалы Международной : Монография / ВЦ РАН 2005 238 НЕКаленов ГИСавин Сотников А.Н. Электронная библиотека «Научное наследие России» // Информационные ресурсы России 2009 НЕКаленов ГИСавин ВАСеребряков АСотников Принципы построения и формирования электронной библиотеки «Научное наследие России» // Программные продукты и системы 2012 НЕКаленов АНСотников ИИльина Архивная информация в электронной библиотеке «Научное наследие России» // Фундаментальная наука: проблемы изучения, сохранения и реставрации документального наследия научной конференции / отв. ред. В Афиани. -М Архив РАН 2013 АСенько Информационная система SciRus: принципы построения и перспективы развития // Научный серис в сети ИНТЕРНЕТ: технологии параллельного программирования
Новороссийск
 2006. 2006 Всероссийская науч. конф. МЯкшин WEB-интерфейс системы «Наука России» // Современные технологии в информационном обеспечении науки: Cб. науч. тр. / под ред Каленова. -М 2003