Представлена система сервисов автоматической обработки коллекций научных документов. Эти сервисы обеспечивают проверку соответствия документов принятым правилам формирования коллекций и их преобразование в установленные форматы; структурный анализ документов и извлечение метаданных, а также их интеграцию в научное информационное пространство. Система позволяет автоматически выполнять набор операций, который не реализуем за практически приемлемое время при традиционной «ручной» обработке электронного контента, и предназначена для больших коллекций научных документов.
Сегодня одной из актуальных проблем, стоящих перед человечеством, стала проблема накопления и последующей обработки огромных массивов данных. Под данными традиционно подразумевают различные необработанные информационные материалы, в том числе, данные различных наблюдений и научных экспериментов, персональные данные, а также различную статистическую информацию. По сведениям, приведенным в [1], уже в 2011 году каждый день создавалось около 15 PB новых данных, а за три года до этого момента времени человечество произвело информации больше, чем за всю историю своего существования до 2008 года, причем прирост данных происходил экспоненциально: это были и научные данные, и сведения о проведенных операцияхтранзакциях, отчеты в социальных сетях и многое другое. Сегодня мировой объем данных увеличивается более чем в два раза каждые два года, а большие объемы данных (которые с 2008 года стали обозначать термином «большие данные» (Big Data)) открывают новые возможности и существенно влияют на развитие информационнокоммуникационных технологий (ИКТ). Труды XVIII Международной конференции DAMDID/RCDL’2016 «Аналитика и управление данными в областях с интенсивным использованием данных», Ершово, 11-14 октября 2016
Не менее актуальна проблема учета
значительного роста объёмов данных, получаемых,
хранимых и обрабатываемых в ходе научной
деятельности. В настоящее время благодаря
внедрению ИКТ в научно-исследовательскую
деятельность стало возможным при проведении
новых исследований использовать весь корпус
накопленных научных знаний. Это предполагает
создание комплекса технологий, обеспечивающих
оптимальное управление имеющимися знаниями,
организацию эффективного доступа к ним, а также
совместное и многократное использование новых
видов структур знаний. В результате формируются
разнообразные электронные научные коллекции и
библиотеки, такие, например, как архивы научных
журналов и отчетов, сборники научных трудов,
диссертации и др. Они являются составной частью
электронных научных библиотек и представляют
собой наборы документов, имеющих различную
структуру и разные форматы представления
текстовых и графических материалов,
библиографических списков, математической
нотации. Эти различия затрудняют организацию
информационных сервисов, опирающихся на
машиноориентированную обработку информации
(см., например, [
На рис. 1 представлена архитектура созданной автоматизированной системы сервисов обработки больших коллекций научных документов. Она состоит из модулей, выполняющих следующие функции: извлечение метаданных из документов коллекции на основе анализа их структуры и форматов представления информации; автоматический выбор документов согласно установленному порядку, например, лексикографическому, по спискам авторов; извлечение блоков аннотаций из документов коллекции, подготовка алфавитного указателя и формирование сборника аннотаций; автоматическое формирование библиографического описания статьи коллекции с записью этой информации в блок колонтитулов документа; конвертация документов в pdf-формат в соответствии с установленными параметрами; формирование оригинал-макетов планируемых изданий с автоматической выборкой статей, расстановкой страниц, подготовкой алфавитного указателя и содержания; подготовка метаданных для экспорта в базы данных Российского индекса научного цитирования (РИНЦ). Машиноориентированная обработка электронных коллекций предполагает наличие семантической разметки их документов. Такая разметка частично присутствует в документах, использующих TEX-нотацию, при условии, что используются соответствующие макрокоманды (например, \title, \author, \abstract, \keywords) и стилевое окружение, характерное для каждой коллекции. В электронных научных коллекциях, представленных в офисных форматах (.doc, .docx и др.), а также .pdf, семантическая разметка отсутствует. Тем не менее, выполнить такую разметку можно в автоматическом режиме на основе информации о структурном строении каждого документа и особенностях его форматирования.
Прежде всего, коллекция разбивается на классы сходных по структуре документов, для каждого класса производится преобразование документов к семантическому представлению. С помощью набора паттернов регулярных выражений, специфичных для каждого класса документов, производится выделение информационных блоков (названия статьи, списка авторов, блока литературы и т. д.). В свою очередь, это дает возможность не только использовать семантические инструменты работы с электронным контентом, но и формировать в автоматическом режиме новые виды документов.
В хранилище организована навигация по названию, авторам и т. д. Реализация этих сервисов основана на структурном анализе документов в коллекции (см. раздел 5). 4 Сервис валидации и стилевого приведения
Под валидацией документов коллекции понимается процесс проверки наличия и расположения ключевых блоков (название статьи, список авторов, аффилиация, ключевые слова и т. д.), указанных в регламентируемых документах.
Сервис стилевого приведения реализует следующие шаги: единообразное представление названий статей; списка авторов (например, вместо Хайдаров Ш.М. записывается Ш.М. Хайдаров); единообразное представление аффилиации авторов, например, записи «КФУ», «К(П)ФУ», «Казанский университет», «Казанский (Приволжский) федеральный университет» и «Казанский федеральный университет» приводятся к единому виду «Казанский (Приволжский) федеральный университет»; для этого создается словарь синонимов; единообразное шрифтовое оформление разделов текста статей; происходит учет регистра при записи ключевых блоков, например, название статьи записывается прописными буквами; осуществляется выбор форматов рисунков, схем, диаграмм; производится набор математических формул и системы ссылок на них; списки литературы приводятся к выбранному формату библиографического описания. оформляются ссылки на поддержку исследований грантами, благодарности. 5 Формирование семантического представления коллекции на основе структурного анализа
Для извлечения метаданных статьи по
характерным признакам (см. таблицу 1)
определяются правила выделения блоков статьи. К
таким признакам относятся стилевое оформление
статей (шрифт, размер шрифта, выделение и т. д.).
Кроме того, такие дополнительные признаки, как
шаблонность текста (например, слово «Аннотация»
перед блоком аннотаций или шаблонный вид
электронной почты) и положение блока в тексте
(например, документ начинается с названия статьи),
позволяют повысить качество извлечения. В
качестве таких признаков могут использоваться
положение блока в документе, а также шрифт
используемый в данном блоке (см., например, [
Модуль реализован в виде PHP-скрипта, и его
работа состоит из следующих шагов. Из файла
статьи, хранящегося в формате docx, извлекается
файл document.xml (см., например, [
Для выделения семантических элементов разработан набор регулярных выражений, например, для выделения списка авторов используется выражение /([А-ЯA-Z]\.(?:[А-ЯA-Z]\.)?\s[А-ЯA-Z][a-zа-я]+) (,\s)?(?1)?(,\s)?(?1)?/
Кроме того, проверяются наличие ключевых конструкций и их соответствие заданному формату. Результатом работы описываемого модуля является XML-документ, содержащий метаданные статей размечаемой коллекции. Таблица 1 Характерные признаки для извлечения метаданных Блок статьи Название статьи Список авторов Аффилиация Электронная почта Аннотация Признаки блока Шрифт: Times New Roman, 12 пт, полужирный, выравнивание по центру. Положение: в начале документа Шрифт: Times New Roman, 12 пт, выравнивание по центру Положение: после названия Шаблон имеют вид: И.О. Фамилия или И. Фамилия, перечисляются через запятую Шрифт: Times New Roman, 12 пт, курсив, выравнивание по центру. Положение: после списка авторов. Шрифт: Times New Roman, 9 пт, выравнивание по центру Положение: после аффилиации Шаблон содержат символ @ и имеют заданный вид Шрифт: Times New Roman, 9 пт, выравнивание по ширине Положение: после адреса электронной почты Шаблон начинается со слова «Аннотация». Рисунок 2 Пример статьи, где 1 – название, 2 – блок списка авторов, 3 – блок аффилиации, 4 – блок электронной почты и 5 – блок аннотации. Стилевое оформлении соответствует таблице 1 <?xml version="1.0" encoding="UTF-8"?> <articles> <article> <eachauthors> <author>S.N. Antontsev</author> <author>H.B. Oliveira</author> <workplace>University of Lisbon; University of Algarve, Portugal</workplace> <mails>antontsevsn@mail.ru</mails> </eachauthors> <artTitles> <artTitle>GENERALIZED ANISOTROPIC NAVIER-STOKES EQUATIONS</artTitle> </artTitles> <abstracts> <abstract><p style="text-indent: 20px;">In this talk, we consider the evolution problem for the Navier– Stokes equations of non-Newtonian type and with an anisotropic diffusion. ... </p></abstract> </abstracts> <files> <furl>F:\Desktop\doc/00001.pdf</furl> </files> </article> … </articles> Рисунок 3 Фрагмент сгенерированного XML-файла 6 Модуль формирования оригиналмакета научного издания
Этот модуль позволяет в автоматическом режиме подготовить из файлов электронной коллекции оригинал-макет научного издания (сборник материалов, труды и т. д.). Порядок размещения статей определяется семантическим представлением коллекции, хранящемся в XML-файле (см. раздел 5). Алгоритм реализован в виде макроса VBA и включает следующие шаги: сначала для задания диапазона страниц статей определяются счетчики начальной и конечной страниц и задаются их начальные значения (см. рис. 4–6). Далее последовательно открываются документы коллекции в соответствии с порядком, заданным в XML-файле в соответствии с правилами извлечения. Вычисляются начальные и конечные страницы, после чего формируется библиографическое описание статьи, которое записывается в колонтитул данного документа. Полученный документ конвертируется в PDF-формат. Также библиографическое описание сохраняется в XMLфайле. На рис. 6 приведен фрагмент кода, выполняющий описанные операции. Рисунок 4 Фрагмент документа до обработки модулем Рисунок 5 Фрагмент документа после обработки модулем (создан колонтитул с выходными данными)
Sub Макрос1() ' ' Макрос1 Макрос ' ' Рисунок 7 Пример автоматически сгенерированного содержания сборника трудов Съезда
После обработки всех документов коллекции формируются содержание издания и авторский указатель. При этом используются данные, сохраненные в XML-файле на этапе формирования колонтитулов. На рисунках 7 и 8 приведены автоматически сформированные содержание издания и авторский указатель.
1. из извлечены публикации; Рисунок 8 Пример автоматически сгенерированного авторского указателя сборника трудов Cъезда 7 Сервис извлечения библиографических метаданных и загрузки в РИНЦ
Алгоритм извлечения библиографических метаданных и загрузки их в РИНЦ состоит из следующих шагов (проиллюстрированных на примере материалов Съезда):
оригинал-макета сборника трудов библиографические описания каждой 2. соответствующий скрипт находит в документе блок библиографических описаний и с помощью регулярных выражений разделяет их по видам изданий (например, отличительным признаком библиографического описания статьи является наличие знака //);
3. проводится разбор основных метаданных – выделяются список авторов, названия статей, изданий и т. д.;
4. с помощью разработанного вебприложения генерируется XML-файл в соответствии с правилами РИНЦ, содержащий набор метаданных публикации. Заключение
Предложен метод автоматической обработки больших коллекций физико-математических документов, включающий их валидацию и семантический анализ, извлечение метаданных, подготовку различных видов оригинал-макетов научных изданий. Метод позволяет выполнять автоматическую обработку больших коллекций электронных документов с набором операций, который не реализуем при традиционной «ручной» работе с электронным контентом.
Приведен пример успешной его реализации при организации ХI Всероссийского съезда по фундаментальным проблемам теоретической и прикладной механики (Казань, 20–24 августа 2015 г.). Благодарности
Работа выполнена при финансовой поддержке РФФИ (проекты №№ 15-07-08522, 15-47-02472). Литература [1] IBM’s Top Storage Predictions for 2011, January 2011, StorageNewsletter.com. [2] MIKE2.0. The open source standard for information management. Big Data definition. http://mike2.openmethodology.org/wiki/Big_Data_ Definition [3] А Manyika J., M. Chui, B. Brown, J. Bughin, R. Dobbs, C. Roxburgh, A. H. Byers. Big data: The next frontier for innovation, competition, and productivity: McKinsey Global Institute Report, 2011. http://www.mckinsey.com/insights/mgi/ research/technology_and_innovation/big_data_the_ next_frontier_for_innovation Automated system of services for processing of large collections of scientific documents