Разработка информационных систем (ИС), предназначенных для сбора и хранения информации о результатах научной деятельности, в настоящее время крайне актуальна [1]. К таким системам относятся научные сети (например, Scopus [2], Web of Science [3], ResearchGate [4], SciVerse [5], Cross-Ref [6]), и целый класс информационных систем CRIS (Current Research Information Systems) [7]. Предметом рассмотрения в данной работе будут CRIS-системы.
С Использование семантических связей при создании и отображении CERIF-документов рассматривается также в работах С.И. Паринова [17].
Вопросы интеграции информационных ресурсов, формирования наборов метаданных и онтологий для научных информационных ресурсов рассматриваются в работах А.Н. Бездушного, М.В. Кулагина, В.А. Серебрякова и др. [18,19].
Задача создания собственной CRIS-системы, в которой производится идентификация персон, рассматривается также в работах А.С. Умарова и др. [1].
Различные
Описание задачи идентификации
Имеется несколько независимых источников, содержащие данные о научно-исследовательской деятельности. Данные из источников агрегируются в выделенную базу данных (репозиторий). Агрегированные данные могут содержать дублетное описание базовых сущностей, т.е. описывать один объект реального мира в различных вариантах. Это отражается на качестве поиска, так как результаты поиска документов, относящихся к отдельной сущности, не будут достаточно полными. Необходимо решить задачу идентификации объектов реального мира в данных.
Варианты идентификации объектов
Идентификацию объектов реального мира можно организовать различными способами, в зависимости от наличия авторитетных данных:
1. Существует авторитетная база данных (своя или сторонняя), в ней описываются объекты, которые необходимо идентифицировать. Задача сводится к установлению связи с авторитетным документом путем указания его идентификатора.
Нет такой базы, необходимо создавать ее в процессе идентификации.
Первый вариант идентификации актуален для организаций, в которых существуют развитые авторитетные базы данных (библиотек, архивов) и не всегда подходит для научно-исследовательских институтов, в которых такие базы, зачастую, не сформированы на этапе разработки CRIS-систем.
Использование сторонних баз данных для идентификации сущностей может быть особенно полезным в тех случаях, когда в самих документах приводится мало информации об объекте. Тогда можно идентифицировать объект (например, персону) не столько по его описанию, сколько по его связям с другими объектами (персонами, организациями и т.п. Каждый временный авторитетный документ затем сравнивается с теми, что уже находятся в авторитетной базе данных. Если такого документа (или похожего на него) в базе нет, то он загружается в нее и перестает быть «временным». Если для временного документа был найден нечеткий дубликат, то возможны два варианта:
• Во временном документе нет новой информацииавторитетная база данных остается без изменения.
• Временный документ не противоречит найденному в базе данных, но при этом содержит часть неучтенной информациидокумент из базы данных дополняется этой новой информацией.
Поиск подобных документов в авторитетной базе данных
Сравнение временного авторитетного документа с каждым из документов, уже содержащихся в базе данных, может оказаться неоправданно трудоемким. В частности, при работе «на лету» может потребоваться сократить количество авторитетных документов, которые будут сопоставляться с временным документом. Существует множество способов ограничить круг документов для сопоставления. Приведем некоторые из них:
1. Метод стандартных блоков выделяет документы в один блок в том случае, если они содержат идентичный блочный ключ [24]. Блочные ключи формируются на основе атрибутов документов, например, первые 4 символа фамилии. Кроме того, блочный ключ может быть и составным, например, атрибут «фамилия» может сочетаться с атрибутом «год рождения». Ключи должны быть выбраны таким образом, чтобы блоки не были ни слишком большими, ни слишком мелкими. [25] сортирует документы на основе сортирующего ключа и затем двигает окно фиксированного размера последовательно по всем документам. Документы внутри окна составляют пары друг с другом и включаются в список пар-кандидатов. Метод может некорректно работать в том случае, если количество документов с одним значением ключа превышает размер окна, поскольку в такой ситуации будут сравниваться не все нужные документы.
Метод ближайших соседей
Метод
Bigram-индексирования [26] предназначен для нечеткого разбиения на блоки. Основная идея заключается в том, что значения блочных ключей конвертируются в лист биграм (подстрок, состоящих из двух символов) и затем из этих биграм формируются списки на основе заданного порога (например, выбираются все документы, в которых встречается 80% биграм).
В рамках данной работы использовался метод Bigram-индексирования на основе фамилии персоны на русском языке. Использование этого метода позволяет найти документы с опечатками в фамилии, что позволяет повысить качество идентификации.
Результаты поиска выдаются в порядке релевантности, то есть в начале списка результатов помещаются документы с точным соответствием (если они есть), а затем все менее и менее похожие (в смысле совпадения по фамилии). Таким образом, ограничение круга документов задается путем установления порога, после которого документы признаются слишком отличающимися и не передаются для более подробного анализа.
В нашей работе такой порог был установлен с помощью расстояния редактирования Левенштейна [27]. Документы с различием в фамилии больше чем в 2 символа считались непохожими исключались из дальнейшего рассмотрения. Оставшиеся документы, являющиеся потенциальными дубликатами рассматриваемого документа, формируют множество документов для сравнения.
Описание процедуры сравнения документов
Рассмотрим более подробно процедуру сравнения временного авторитетного документа с документами из множества для сравнения.
Прежде всего производится вычисление строгого соответствия для всех полей документа. В зависимости от результатов сравнения возможны следующие варианты:
Оценка качества идентификации
Оценивать качество идентификации персон в рамках данной работы предлагается с помощью широко распространенных показателей: полноты и точности [28].
Показатель
Литература
Обзор работ в области идентификации объектов
Перечисленные адачи актуальны для широкого здиапазона ресурс , распределенных локальных. ов иВ самых разноо азных данных час встречаются бр тоупоминания одних и тех же объектов реальногомира, которые необходимо связывать между собойдля обеспечения более качественной работы синформацией. В частности, в нашей работеиспользуются методы нечеткого сопоставлениястрок и общие принципы связывания документов.2 Для идентификации объектов в CRIS-системах внастоящее время используется подход, основанныйна принципах LOD 2 . Он позволяет использоватьсобственные идентификаторы, которые при этомстановятся внешними. Созданные идентификаторымогут однозначно разрешаться и сторонними системами благодаря использованию механизма URI. Такой подход разрабатывается в рамках проекта CERIF-Linked-Data 3 . В дальнейшем связать данные CRIS-систем, преобразованные в соответствии с принципами LOD, можно связать с другими источниками LOD (например, библиографическими) с помощью инструмента автоматического установления RDF-ссылок Silk 4 .рамками. В EuroCRIS более 300 делегатов из 43 стран. Членами данной организации являются пять российских организаций: Центральный экономико-математический институт РАН, Институт вычислительных технологий СО РАН, Институт нефтегазовой геологии и геофизики им. А.А. Трофимука СО РАН, Уральский федеральный университет и Научная библиотека «КиберЛенинка». Разработкой CRIS-системзанимаются также Астраханский государственныйуниверситет [8], Институт математики и механикиим. Н.Н. КрасовскогоУрОРАН,Институтвычислительных технологий СО РАН [9] и другие.Существуют также системы, взаимодействующие слокальными CRIS-системами и расширяющие ихфункциональность. В качестве примера можнопривести систему, разрабатываемую в средекрупного отечественного онлайнового научно-образовательного пространства, поддерживаемогосистемой Соционет [10, 11].Исходя из широкого диапазона пользователейвозникаетнеобходимостьучетасамойразнообразнойнаучно-исследовательскойинформации, а также и большой набор требований кCRIS-системам.Вданнойстатьеописываетсясистемаидентификации персон, которая разрабатывалась врамках создания системы агрегирования данных понаучным проектам в Институте вычислительных2000 года существует организация EuroCRIS, объединяющая разработчиков и исследователей ИС текущих исследований в странах Европейского Союза. EuroCRIS занимается созданием и поддержкой стандартов и методологий создания CRIS-систем.технологий СО РАН 1 . Задача идентификации персон в данных CRIS-систем, объединенных в единый репозитори , близка к задачам идентификации сущностей (entity identification) [12], установления связей (record linkage) [13], выявления дубликатов (duplicate detection) [14-16].В настоящее время распространение CRIS-системнеограничиваетсягеографическими
й 1 Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации (Государственный контракт № 14.521.11.0004 от 14.08.2013 «Разработка системы агрегирования данных по научным проектам из различных источников для обеспечения мониторинга реализации мероприятий и программ», шифр 2013-2.1-14-521-0017-002). Труды 16-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL-2014, Дубна, Россия, 13-16 октября 2014 г.
3 Постановка задачи 3.1 Источники данныхРоссийский гуманитарный научный фонд (РГНФ), ФГБНУ «Дирекция научнотехнических программ», Национальный фонд подготовки кадров, ООО «Инконсалт», ФГАНУ «Центр информационных технологий и систем органов исполнительной власти».
объединяет данные по научным проектамнесколькихорганизаций:ФГБНУ«Научно-исследовательский институт -Республиканскийисследовательский научно-консультационный центрэкспертизы», Российский фонд фундаментальныхисследований (РФФИ),системы учета публикаций, например,Scopus, Web of Science, SCIENCE INDEX (на базеРИНЦ) используют различные идентификационныекодыавторов 5 .Обзорразличныхсистемидентификаторов и их сравнительный анализприводится в работах [20, 21].В процессе работы использовались данныеЕдиногорепозиториярезультатовнаучно-техническойдеятельности( РНТД),разрабатываемого в ИВТ СО РАН. РНТД
4 Идентификация персон для РНТД 4.1 Входные требования к документам
В данной статье рассматривается второй вариант документ подвергается формальному контролю. Наданных с описаниями персон Persons и своднуюидентификации, этом этапе необходимо проверить его корректность при котором создаютсябазу данных документов CERIF, для которыхавторитетные базы данных. Он может быть полезен с точки зрения соответствия схеме данных CERIFустановлены связи с соответствующими персонами.в том случае, если нет готовых авторитетных баз [23]. Также возможна и проверка отдельных полей сданных и при этом нет уверенности, что пользователи уже зарегистрированы в социальных сетях или в системах учета публикаций. Для помощью словарей допустимых значений. Далее из входного документа извлекаем определения базовых сущностей CERIF (в данной реализации данного подхода необходимо решать работе рассматривается сущность типа «Персона»). следующие задачи: 1. Формальный контроль входных данных. Извлечение означает, что создается временный авторитетный документ, в который помещается вся информация о сущности, содержащаяся во входном 2. Автоматическое формирование авторитетных документе CERIF. При этом, как правило, во баз данных, которые содержат документы, описывающие идентифицируемые объекты. 3. Авторитетный контроль входных данных входном документе упоминается более одной персоны (в проекте участвует сразу несколько исполнителей), временные документы создаются (установление связи). Предлагается технология связывания для каждой из них.Источники данных } 1 2 .. n Единый репозиторий результатов научно-технической деятельности (РНТД)документов, которую можно использовать длясвязывания с уже существующими системами идентификаторов, при условии, что в данных системах существуют профили идентифицируемых объектов.Система идентификации персонPersonsПри этом не идет речь о создании собственнойсистемы универсальных идентификаторов. Длятехнических нужд в процессе работы используютсяисключительно документов и объектов. внутренниеидентификаторыСводная БД (CERIF)3.4 Формат данныхДанные, используемые в работе, поступают в виде документов в формате CERIF 6 . Данный форматРис. 1. Взаимодействие системы идентификации персон и РНТДявляется официальной рекомендацией для членов Европейской комиссии (European Commission). Он определяет набор обязательных и дополнительных полей, которые должны использоваться для описания научных проектов, в том числе название проекта, краткое описание, описание участников, наименование финансирующей организации и т.п. В качестве дополнительной информации могут быть указаны ссылки на другие проекты и на публикации в рамках данного проекта [22].Основные придерживались идентификации сущностей: принципы, при разработке которых • Сохранение исходных данных обеспечивает мы модели возможность возвращения входных документов к предыдущему состоянию, до того, как они были связаны. Если будет сделана ошибка при установлении связи, ее легко можно будет исправить. На практике это требование означает, что вместо того чтобы изменять документы висходной базе данных, создается новая база данныхс установленными связями.• Использование меток содержимого, т.е.К следующие требования: входным документам • документы должны требованиям формата CERIF; • в упоминании персоны должны быть как предъявляются соответствовать минимум указаны фамилия и первый инициал на одном из двух языков (русском или английском).лексем, которые несут смысловую нагрузку и описывают данные. Этот принцип позволяет получать данные из системы без изменений (в их первоначальном виде) и, в то же время, при необходимости осуществлять более сложную навигацию по ним. Таким образом, мы дополняем данные и решаем проблему идентификации ). С этой точки зрения могут быть полезны социальные сети, которые активно сущностей.4.2 Краткое описание алгоритма работы Место системы идентификации персон в РНТД представлено на рисунке 1. Система работает с данными РНТД, формирует авторитетную базуразвиваются в настоящее время, например, LinkedIn, Facebook, ВКонтакте и др. Поскольку основное В процессе обработки входных документов создается ресурс авторитетной базы, который внимание в них уделяется именно связям между объектами. Можно использовать профили пользователей для их идентификации при условии, что существует API. Этот подход представляется содержит документы с описанием персон. Авторитетные документы наполняются только той информацией, которая есть во входных данных, без привлечения сторонних источников. перспективным и будет развиваться в нашей В общем виде алгоритм работы программного дальнейшей работе. комплекса выглядит следующим образом. Входной
ИВТ СО РАН. Особенностью данной системы является то, что в процессе ее работы создается авторитетная база данных с описаниями персон в автоматическом режиме, без участия пользователя. Первое встреченное упоминание ложится в основу авторитетного документа, а последующие могут при необходимости дополнять этот документ. Такой подход был выбран из-за того, что при создании системы в нашем распоряжении не было готовой авторитетной базы данных. Однако допускается и возможность подключения готовой базы данных, если она доступна.В качестве формата авторитетных данных был выбран формат RUSMARC/Authorities[29], широко распространенный в библиотечном сообществе. Такой выбор позволяет в дальнейшем осуществлять простую интеграцию с библиотечными данными.
документы для поиска среди них нечеткихбы рассчитать количество ошибок и вернодубликатов.установленных связей между документами.В работе модуля cfwrk предусмотрены несколькоПри этом можно оценивать полноту и точность вэтапов сравнения для выявление нечеткихдвух вариантах. Если рассматривать все возможныедубликатов. При этом можно изменить функциикомбинации документов как потенциальные связи,сравнения и использовать другие методы сравнения,то в результате получим оценку метода в целом. Ане нарушая логики работы программногоесли среди связей рассматривать только те, которыекомплекса.были отобраны как потенциальные с помощьюМодуль cfupdate предназначен для дополнения авторитетного документа отсутствующей информацией или вариантными значениями отдельных полей. Программный комплекс cflib являетсяпроцедуры поиска подобных документов, то получим оценку работы механизма сопоставления документов. Второй вариант подходит в том случае, если на этапе сужения круга документов для сравнения не происходит потери нужных связей.платформо-независимым и может работать под управлением различных операционных систем или6 Описание программного комплексасред, включая Cygwin для MS Windows. Комплекс cflib написан на нескольких языках программирования: C, Perl и XSLT6.1 Функциональное описание программного комплекса cflib7 ЗаключениеВ качестве системы идентификации персон (рис. 1) в данной работе выступает программныйВ данной работе приводится описание системы идентификации персон, которая создавалась в процессе разработки Единого репозитория результатов научно-технической деятельностикомплекс cflib, состоящий из следующих модулей: • cfchk -проверка и коррекция входных документов, внедрение временных меток содержимого;(РНТД) в Для выявления нечетких дубликатов в полноты можно рассчитать с упоминаниях персон использовались помощью следующей формулы: индексирование по биграммам и расстояние• cfwrk -сравнение временного и найденного документов; • cfsearch -поиск в авторитетной базе данных; • cfupdate -дополнение документа из авторитетной базы данных. Основные модули программного комплекса cflib представлены на рисунке 2. Inbox cfsearch Persons cfchk cfwrk cfupdate Outboxive редактирования. Сравнение состоит из нескольких FalseNegat e TruePostiv e TruePostiv ecall R , (1) этапов. При необходимости можно предусмотреть и где TruePositive -количество верно установленных связей с созданными авторитетными документами, FalseNegative -количество упущенных связей. Точность оценивается по формуле ve FalsePosti e TruePostiv e TruePostiv ecision Pr , (2) где FalsePositive -количество неверно установленных связей. больше вариантов сравнения документов, а также изменить используемые для сравнения методы -логика работы системы от этого не пострадает. В дальнейшей работе планируется рассмотреть различные методы сравнения документов, исследовать возможность построения обучающих выборок из документов в формате CERIF, а также использовать различные сторонние системы для идентификации персон (в частности, систему Silk).Рис. 2. Основные модули программного комплекса Модуль cfchk кроме проверки входного документа на корректность также осуществляет внедрение меток содержимого, используемых для работы. К таким меткам относятся временные идентификаторы для отдельных персон, наборы биграмм и другая информация, которая понадобится при дальнейшей работе. При помещении документа в базу данных Persons он индексируется в соответствии сДля расчета описанных показателей необходима тестовая выборка, на основе которой можно былоподготовленным профилем индексирования. В этот профиль включено индексирование по биграммам, что позволяет модулю cfsearch извлекать подобные
Linked Open Data.http://code.google.com/p/cerif-linked-data/Silk Link Discovery Framework -http://www4.wiwiss.fuberlin.de/bizer/silk/ 5 ORCID, ResearcherID, SPIN-код соответственно.CERIF -формат обмена научно-исследовательскими данными, разработанный EuroCRIS
Experience of Person Identification for CRIS-Systems
Anna A. Knyazeva, Igor Y. Turchanovsky, Oleg S. Kolobov, Oleg L. Zhizhimov The system of persons identification which was created in the process of development of a unified repository of scientific and technical activities (RSTA) in ICT SB RAS is described in this paper. The principles and methods used to create the system as well as its structure are briefly described. An algorithm for establishing an authoritative database with descriptions of persons automatically, without user intervention, is given. Indexing with bigrams and editing distance were used for detecting near-duplicate references to persons.
АСУмаровНВПоповаВЗелепухинаНекоторые аспекты создания информационных систем для сбора и хранения научной и наукометрической информации // Прикаспийский журнал: управление и высокие технологии20133ResearchgateCRIS concept and CRIS benefitsАстраханский государственный университетРезультаты научной деятельностиRuCRIS: A Pilot CERIF based System to Aggregate Heterogeneous Data of Russian Research ProjectsAEGuskovOLZhizhimovVKikhtenkoDMSkachkovDKosyakovProcedia Computer Science1877-050933СИПариновМКогаловскийТехнология семантического структурирования контента научных электронных библиотек // Труды XIII Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL-2011Воронеж19-22 окт. 2011. 2011Воронежский государственныйун-тКлассификация и использование семантических связей между информационными объектами в научных электронных библиотеках // Информатика и ее примененияМРКогаловскийСПаринов20126вып. 3JTalburtEntity resolution and information qualityJohnRTalburtSan FranciscoMorgan Kaufmann/Elsevier2011256Overview of record linkage and current research directionsWEWinkler-44Electronic resourceWEWinklerUSCensusBureauWashington2006tech. reportStat. res. divDuplicate Record Detection: A surveyAElmagarmidPIpeirotisVVerykiosIEEE Transactions on Knowledge and Data Engineering1912007Learning to Combine Trained Distance Metrics for Duplicate Detection in DatabasesMBilenkoAI-02-296M. Bilenko, R. Mooney2002Artificial Intelligence Lab, University of Texas at AustinTechnical ReportInteractive deduplication using active learning / S. Sarawagi, A. BhamidipatSSarawagiProceedings of the eighth ACM SIGKDD international conference on Knowledge discovery and data miningthe eighth ACM SIGKDD international conference on Knowledge discovery and data miningOpen Repository of Semantic LinkagesSParinovProceedings of 11th International Conference on Current Research Information Systems e-Infrastructure for Research and Innovations (CRIS 2012)11th International Conference on Current Research Information Systems e-Infrastructure for Research and Innovations (CRIS 2012)Prague2012АНБездушныйМВКулагинВСеребряков-T. 10и др. Предложения по наборам метаданных для научных информационных ресурсов // Вычислительные технологии2005МВКулагинАЛопатенкоС. Научные информационные системы и электронные библиотеки. Потребность в интеграции // Сборник трудов Третьей Всероссийской конференции по электронным библиотекам -RCDL'20012001НАМазовВГуреев-4Проблемы идентификации метаданных в наукометрических базах данных Web of Knowledge, Scopus и РИНЦ на примере профилей авторов // Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса: 19-я междунар. конф. «Крым 2012ТрудыКонф2-10 июня 2012. 20121Изд-во ГПНТБ РоссииВНГуреевНМазовИдентификация в информационных библиографических системах: проблемы и решения // Библиотеки и информационные ресурсы в современном мире науки, культуры, образования и бизнеса: 21-я междунар. конф. «Крым 2014ТрудыКонф7-15 июня 2014. 2014Изд-во ГПНТБ РоссииCERIF in BriefAdvances in Record Linkage Methodology as Applied to Matching the 1985 Census of Tampa, FloridaMAJaroJournal of the American Statistical Society844061989Real-world data is dirty: data cleansing and the merge/purge problemMAHernandezSJStolfoJournal of Data Mining and Knowledge Discovery121998ChristenPChurchesTFebrl: Freely extensible biomedical record linkage ManualNovember 2003release 0.2.2 editionВЛевенштейнДвоичные коды с исправлением выпадений, вставок и замещений символов // Докл1965163Introduction to Information RetrievalCManningPRaghavanHSchütze2008Cambridge University PressФедерацииНац. служба развития системы форматов RUSMARCРоссийский коммуникативный формат (RUSMARC)