В данной работе приводится описание системы идентификации персон, которая создавалась в процессе разработки Единого репозитория результатов научнотехнической деятельности (РНТД) в ИВТ СО РАН. Кратко описываются принципы и методы, используемые при создании системы, а также ее структура. Описан алгоритм создания авторитетной базы данных с описаниями персон в автоматическом режиме, без участия пользователя. Для выявления нечетких дубликатов в упоминаниях персон использовались индексирование по биграммам и расстояние редактирования.
Разработка информационных систем (ИС),
предназначенных для сбора и хранения информации
о результатах научной деятельности, в настоящее
время крайне актуальна [1]. К таким системам
относятся научные сети (например, Scopus [
С 2000 года существует организация EuroCRIS, объединяющая разработчиков и исследователей ИС текущих исследований в странах Европейского Союза. EuroCRIS занимается созданием и поддержкой стандартов и методологий создания CRIS-систем.
В настоящее время распространение CRISсистем не ограничивается географическими Труды 16-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» — RCDL-2014, Дубна, Россия, 13–16 октября 2014 г.
Исходя из широкого диапазона пользователей возникает необходимость учета самой разнообразной научно-исследовательской информации, а также и большой набор требований к CRIS-системам.
В данной статье описывается система
идентификации персон, которая разрабатывалась в
рамках создания системы агрегирования данных по
научным проектам в Институте вычислительных
технологий СО РАН1. Задача идентификации
персон в данных CRIS-систем, объединенных в
единый репозиторий, близка к задачам
идентификации сущностей (entity identification) [
Для идентификации объектов в CRIS-системах в настоящее время используется подход, основанный на принципах LOD2. Он позволяет использовать собственные идентификаторы, которые при этом становятся внешними. Созданные идентификаторы могут однозначно разрешаться и сторонними системами благодаря использованию механизма URI. Такой подход разрабатывается в рамках проекта CERIF-Linked-Data3. В дальнейшем связать данные CRIS-систем, преобразованные в соответствии с принципами LOD, можно связать с другими источниками LOD (например, библиографическими) с помощью инструмента автоматического установления RDF-ссылок Silk4.
Использование семантических связей при
создании и отображении CERIF-документов
рассматривается также в работах С.И. Паринова
[
Вопросы интеграции информационных ресурсов,
формирования наборов метаданных и онтологий для
научных информационных ресурсов
рассматриваются в работах А.Н. Бездушного,
М.В. Кулагина, В.А. Серебрякова и др. [
Задача создания собственной CRIS-системы, в которой производится идентификация персон, рассматривается также в работах А.С. Умарова и др. [1].
Различные системы учета публикаций, например,
Scopus, Web of Science, SCIENCE INDEX (на базе
РИНЦ) используют различные идентификационные
коды авторов5. Обзор различных систем
идентификаторов и их сравнительный анализ
приводится в работах [
В процессе работы использовались данные Единого репозитория результатов научнотехнической деятельности (РНТД), разрабатываемого в ИВТ СО РАН. РНТД 2 Linked Open Data. 3 http://code.google.com/p/cerif-linked-data/ 4 Silk Link Discovery Framework – http://www4.wiwiss.fuberlin.de/bizer/silk/ 5 ORCID, ResearcherID, SPIN-код соответственно. объединяет данные по научным проектам нескольких организаций: ФГБНУ «Научноисследовательский институт – Республиканский исследовательский научно-консультационный центр экспертизы», Российский фонд фундаментальных исследований (РФФИ), Российский гуманитарный научный фонд (РГНФ), ФГБНУ «Дирекция научнотехнических программ», Национальный фонд подготовки кадров, ООО «Инконсалт», ФГАНУ «Центр информационных технологий и систем органов исполнительной власти». 3.2 Описание задачи идентификации
Имеется несколько независимых источников, содержащие данные о научно-исследовательской деятельности. Данные из источников агрегируются в выделенную базу данных (репозиторий). Агрегированные данные могут содержать дублетное описание базовых сущностей, т.е. описывать один объект реального мира в различных вариантах. Это отражается на качестве поиска, так как результаты поиска документов, относящихся к отдельной сущности, не будут достаточно полными. Необходимо решить задачу идентификации объектов реального мира в данных. 3.3 Варианты идентификации объектов
Идентификацию объектов реального мира можно организовать различными способами, в зависимости от наличия авторитетных данных:
1. Существует авторитетная база данных (своя или сторонняя), в ней описываются объекты, которые необходимо идентифицировать. Задача сводится к установлению связи с авторитетным документом путем указания его идентификатора.
2. Нет такой базы, необходимо создавать ее в процессе идентификации.
Первый вариант идентификации актуален для организаций, в которых существуют развитые авторитетные базы данных (библиотек, архивов) и не всегда подходит для научно-исследовательских институтов, в которых такие базы, зачастую, не сформированы на этапе разработки CRIS-систем.
Использование сторонних баз данных для идентификации сущностей может быть особенно полезным в тех случаях, когда в самих документах приводится мало информации об объекте. Тогда можно идентифицировать объект (например, персону) не столько по его описанию, сколько по его связям с другими объектами (персонами, организациями и т.п.). С этой точки зрения могут быть полезны социальные сети, которые активно развиваются в настоящее время, например, LinkedIn, Facebook, ВКонтакте и др. Поскольку основное внимание в них уделяется именно связям между объектами. Можно использовать профили пользователей для их идентификации при условии, что существует API. Этот подход представляется перспективным и будет развиваться в нашей дальнейшей работе. данных с описаниями персон Persons и сводную базу данных документов CERIF, для которых установлены связи с соответствующими персонами.
Источники данных 1
2 Единый репозиторий результатов научно-технической деятельности (РНТД) В данной статье рассматривается второй вариант идентификации, при котором создаются авторитетные базы данных. Он может быть полезен в том случае, если нет готовых авторитетных баз данных и при этом нет уверенности, что пользователи уже зарегистрированы в социальных сетях или в системах учета публикаций. Для реализации данного подхода необходимо решать следующие задачи: 1. Формальный контроль входных данных. 2. Автоматическое формирование авторитетных баз данных, которые содержат документы, описывающие идентифицируемые объекты.
контроль входных данных 3. Авторитетный (установление связи).
Предлагается технология связывания документов, которую можно использовать для связывания с уже существующими системами идентификаторов, при условии, что в данных системах существуют профили идентифицируемых объектов.
При этом не идет речь о создании собственной системы универсальных идентификаторов. Для технических нужд в процессе работы используются исключительно внутренние идентификаторы документов и объектов. 3.4 Формат данных
Данные, используемые в работе, поступают в
виде документов в формате CERIF6. Данный формат
является официальной рекомендацией для членов
Европейской комиссии (European Commission). Он
определяет набор обязательных и дополнительных
полей, которые должны использоваться для
описания научных проектов, в том числе название
проекта, краткое описание, описание участников,
наименование финансирующей организации и т.п. В
качестве дополнительной информации могут быть
указаны ссылки на другие проекты и на публикации
в рамках данного проекта [
К входным документам следующие требования:
• документы должны требованиям формата CERIF; предъявляются соответствовать • в упоминании персоны должны быть как минимум указаны фамилия и первый инициал на одном из двух языков (русском или английском). 4.2 Краткое описание алгоритма работы Место системы идентификации персон в РНТД представлено на рисунке 1. Система работает с данными РНТД, формирует авторитетную базу 6 CERIF – формат обмена научно-исследовательскими данными, разработанный EuroCRIS ..
n
} Рис. 1. Взаимодействие системы идентификации персон и РНТД Основные принципы, придерживались при идентификации сущностей: которых разработке
мы модели • Сохранение исходных данных обеспечивает возможность возвращения входных документов к предыдущему состоянию, до того, как они были связаны. Если будет сделана ошибка при установлении связи, ее легко можно будет исправить. На практике это требование означает, что вместо того чтобы изменять документы в исходной базе данных, создается новая база данных с установленными связями.
• Использование меток содержимого, т.е. лексем, которые несут смысловую нагрузку и описывают данные. Этот принцип позволяет получать данные из системы без изменений (в их первоначальном виде) и, в то же время, при необходимости осуществлять более сложную навигацию по ним. Таким образом, мы дополняем данные и решаем проблему идентификации сущностей.
В процессе обработки входных документов создается ресурс авторитетной базы, который содержит документы с описанием персон. Авторитетные документы наполняются только той информацией, которая есть во входных данных, без привлечения сторонних источников.
В общем виде алгоритм работы программного
комплекса выглядит следующим образом. Входной
документ подвергается формальному контролю. На
этом этапе необходимо проверить его корректность
с точки зрения соответствия схеме данных CERIF
[
Далее из входного документа извлекаем определения базовых сущностей CERIF (в данной работе рассматривается сущность типа «Персона»). Извлечение означает, что создается временный авторитетный документ, в который помещается вся информация о сущности, содержащаяся во входном документе CERIF. При этом, как правило, во входном документе упоминается более одной персоны (в проекте участвует сразу несколько исполнителей), временные документы создаются для каждой из них.
Каждый временный авторитетный документ затем сравнивается с теми, что уже находятся в авторитетной базе данных. Если такого документа (или похожего на него) в базе нет, то он загружается в нее и перестает быть «временным». Если для временного документа был найден нечеткий дубликат, то возможны два варианта:
• Во временном документе нет новой информации – авторитетная база данных остается без изменения.
• Временный документ не противоречит найденному в базе данных, но при этом содержит часть неучтенной информации – документ из базы данных дополняется этой новой информацией. 4.3 Поиск подобных документов в авторитетной базе данных
Сравнение временного авторитетного документа
с каждым из документов, уже содержащихся в базе
данных, может оказаться неоправданно трудоемким.
В частности, при работе «на лету» может
потребоваться сократить количество авторитетных
документов, которые будут сопоставляться с
временным документом. Существует множество
способов ограничить круг документов для
сопоставления. Приведем некоторые из них:
1. Метод стандартных блоков выделяет
документы в один блок в том случае, если они
содержат идентичный блочный ключ [
2. Метод ближайших соседей [
3. Метод Bigram-индексирования [
В рамках данной работы использовался метод Bigram-индексирования на основе фамилии персоны на русском языке. Использование этого метода позволяет найти документы с опечатками в фамилии, что позволяет повысить качество идентификации.
Результаты поиска выдаются в порядке релевантности, то есть в начале списка результатов помещаются документы с точным соответствием (если они есть), а затем все менее и менее похожие (в смысле совпадения по фамилии). Таким образом, ограничение круга документов задается путем установления порога, после которого документы признаются слишком отличающимися и не передаются для более подробного анализа.
В нашей работе такой порог был установлен с помощью расстояния редактирования Левенштейна [27]. Документы с различием в фамилии больше чем в 2 символа считались непохожими исключались из дальнейшего рассмотрения. Оставшиеся документы, являющиеся потенциальными дубликатами рассматриваемого документа, формируют множество документов для сравнения. 4.4 Описание процедуры сравнения документов Рассмотрим более подробно процедуру сравнения временного авторитетного документа с документами из множества для сравнения.
Прежде всего производится вычисление строгого соответствия для всех полей документа. В зависимости от результатов сравнения возможны следующие варианты:
1. Если все поля точно равны, делается вывод, что текущий документ является точным дубликатом найденного. Из найденного документа извлекается его идентификатор и возвращается для установления связи. Временный документ не помещается в авторитетную базу данных.
2. Если точного равенства нет, то следует нечеткое сравнение (см. таблицу 1). Допускается расхождение в одном из перечисленных полей (кроме поля с указанием пола):
(a) Если расхождение в одном поле, и не превышает границы, то делается вывод о нечетком дубликате. В найденный авторитетный документ вносится информация о вариантном наименовании, возвращается код найденного документа. Временный авторитетный документ не помещается в базу данных;
(b) Если не было обнаружено ни точного, ни нечеткого сравнения, переходим к анализу следующего найденного документа.
Таблица 1. Способы сравнения Признак Фамилия (рус. яз.) Фамилия (англ. яз.) Имя (рус. яз.) Имя (англ. яз.) Пол Место работы (организация) Поле док-та 200$a 400$a 200$g 400$g 120$a 601$a
Способ сравнения Порог.
значение Расстояние редактирования Строгое равенство Относительное
расстояние редактирования 2 0 30% Если временный авторитетный документ прошел процедуру сравнения с каждым документом из множества для сравнения, но при этом не было найдено ни одного строгого или нестрогого дубликата, то он помещается в авторитетную базу данных.
Относительное определяется как редактирования к сравниваемых строк.
расстояние
отношение
длине первой
редактирования
расстояния
из двух
Пороговые значения были установлены
эмпирически. В дальнейшем планируется провести
более подробное исследование для выбора
пороговых значений.
5 Оценка качества идентификации
Оценивать качество идентификации персон в
рамках данной работы предлагается с помощью
широко распространенных показателей: полноты и
точности [
Показатель полноты можно помощью следующей формулы: рассчитать с
где TruePositive – количество верно установленных связей с созданными авторитетными документами, FalseNegative – количество упущенных связей. Точность оценивается по формуле
TruePostive FalsePostive , где FalsePositive установленных связей.
Для расчета описанных показателей необходима тестовая выборка, на основе которой можно было – количество неверно бы рассчитать количество ошибок и верно установленных связей между документами.
При этом можно оценивать полноту и точность в двух вариантах. Если рассматривать все возможные комбинации документов как потенциальные связи, то в результате получим оценку метода в целом. А если среди связей рассматривать только те, которые были отобраны как потенциальные с помощью процедуры поиска подобных документов, то получим оценку работы механизма сопоставления документов. Второй вариант подходит в том случае, если на этапе сужения круга документов для сравнения не происходит потери нужных связей. 6 Описание программного комплекса 6.1 Функциональное описание программного комплекса cflib
В качестве системы идентификации персон (рис. 1) в данной работе выступает программный комплекс cflib, состоящий из следующих модулей: • cfchk – проверка и коррекция входных документов, внедрение временных меток содержимого;
• cfwrk – сравнение временного и найденного документов; • cfsearch – поиск в авторитетной базе данных; • cfupdate – дополнение авторитетной базы данных.
Основные модули программного комплекса cflib представлены на рисунке 2. документа из
cfsearch
cfchk cfwrk
cfupdate
Outbox Рис. 2. Основные модули программного комплекса Модуль cfchk кроме проверки входного документа на корректность также осуществляет внедрение меток содержимого, используемых для работы. К таким меткам относятся временные идентификаторы для отдельных персон, наборы биграмм и другая информация, которая понадобится при дальнейшей работе.
При помещении документа в базу данных Persons он индексируется в соответствии с подготовленным профилем индексирования. В этот профиль включено индексирование по биграммам, что позволяет модулю cfsearch извлекать подобные для поиска среди них нечетких Литература документы дубликатов.
В работе модуля cfwrk предусмотрены несколько этапов сравнения для выявление нечетких дубликатов. При этом можно изменить функции сравнения и использовать другие методы сравнения, не нарушая логики работы программного комплекса.
Модуль cfupdate предназначен для дополнения авторитетного документа отсутствующей информацией или вариантными значениями отдельных полей.
Программный комплекс cflib является платформо-независимым и может работать под управлением различных операционных систем или сред, включая Cygwin для MS Windows. Комплекс cflib написан на нескольких языках программирования: C, Perl и XSLT 7 Заключение
В данной работе приводится описание системы идентификации персон, которая создавалась в процессе разработки Единого репозитория результатов научно-технической деятельности (РНТД) в ИВТ СО РАН.
Особенностью данной системы является то, что в процессе ее работы создается авторитетная база данных с описаниями персон в автоматическом режиме, без участия пользователя. Первое встреченное упоминание ложится в основу авторитетного документа, а последующие могут при необходимости дополнять этот документ. Такой подход был выбран из-за того, что при создании системы в нашем распоряжении не было готовой авторитетной базы данных. Однако допускается и возможность подключения готовой базы данных, если она доступна.
В качестве формата авторитетных данных был
выбран формат RUSMARC/Authorities [
Для выявления нечетких дубликатов в упоминаниях персон использовались индексирование по биграммам и расстояние редактирования. Сравнение состоит из нескольких этапов. При необходимости можно предусмотреть и больше вариантов сравнения документов, а также изменить используемые для сравнения методы – логика работы системы от этого не пострадает.
В дальнейшей работе планируется рассмотреть различные методы сравнения документов, исследовать возможность построения обучающих выборок из документов в формате CERIF, а также использовать различные сторонние системы для идентификации персон (в частности, систему Silk).
The system of persons identification which was created in the process of development of a unified repository of scientific and technical activities (RSTA) in ICT SB RAS is described in this paper. The principles and methods used to create the system as well as its structure are briefly described. An algorithm for establishing an authoritative database with descriptions of persons automatically, without user intervention, is given. Indexing with bigrams and editing distance were used for detecting near-duplicate references to persons.