Структуры заимствований в диссертациях по историческим наукам ©П ВБотов ©Д ВВьючнов ©Н ССуровенко ©А СХританков ©С ВЦарьков ©Ю ВЧехович Зао«Анти-Плагиат Структуры заимствований в диссертациях по историческим наукам 8CAAD17E526C876F2C60242948110DA9 GROBID - A machine learning software for extracting information from scholarly documents
Аннотация

Алгоритм объединения блоков составлял из двух блоков, разделенных менее чем 30 символами, один блок, включающий оригинальные блоки и символы между ними (рис. 4).

После объединения блоков из них были исключены корректно оформленные цитаты, сформированы новые блоки, которые были повторно объединены тем же алгоритмом.

Предварительный анализ расположения и размера блоков заимствований (рис. 2) показал, что большая часть совпадающих блоков находится в титульном листе и, по-видимому, области библиографии диссертации. Предполагая, что эти блоки связаны с общим форматом титульного листа и сходными источниками в списке литературы, исключены блоки, находящиеся в первых 1000 символов и последних 10% текста диссертации.

j i j i j i ij c c m k k A m Q           , где A ij -вес дуги между i и j, -сумма весов дуг, связанных с вершиной i, c i -сообщество, к которому принадлежит вершина i, δ-функция δ(u,v) равна 1, если u = v, и 0 иначе, и   j ij i A k  ij ij A 2 1  m .

Алгоритм выделения сообществ [2] состоит из итеративно повторяющихся двух шагов.

На первом шаге каждая вершина графа приписывается к своему уникальному сообществу. Затем для каждой вершины i рассматривается возможность её переноса в сообщество вершины j, до которой из i есть ребро, при условии, что модульность увеличивается. Процесс повторяется, пока модульность не достигнет локального максимума.

На втором шаге из полученных сообществ получают вершины для нового графа, веса ребер которого определяются суммой весов ребер вершин, входящих в сообщество. Таким образом, первый шаг можно заново выполнить для нового графа.

Итерации продолжаются до тех пор, пока с новой итерацией не перестанет изменяться состав сообществ.

Всего в исходном графе получилось порядка 13 000 вершин и 164 000 ребер. В исходном графе, при отсутствии фильтрации, присутствовала гигантская компонента (giant component) размером в 12000 вершин, что указывало на наличие большого числа «шумовых» ребер. Предполагая, что шумовые ребра имеют небольшой вес, можно подобрать пороговое значение, отсекающее большинство таких ребер. С другой стороны, завышение порога отсечения могло привести к удалению значимых связей между вершинами, образующих сообщества и искажении структуры сообществ в графе. Поэтому необходимо было подобрать порог минимального допустимого веса ребра для выделения сообществ.

В эксперименте были проанализированы зависимости следующих параметров от порога отсечения:

количество выделяемых сообществ, количество слабо связанных компонент в графе, максимальный размер связанного компонента (рис. 5-6).

При увеличении порога количество сообществ и связанных компонент возрастало за счет «развала» гигантской связанной компоненты (см. рис. 5), достигло максимума, а затем начало убывать. Эта точка максимума и определила искомый порог отсечения, так как дальнейшее его увеличение приводило к удалению значимых связей между вершинами и уменьшению количества сообществ.

Рис. 2 .Размер и позиция блоков до предварительной обработки. Изоденсы обозначают размер блоков, значения выбраны экспертно По результатам анализа распределения блоков по размеру в разных частях документа, были исключены блоки размером менее 250 символов как незначительные заимствования, по большей части относящиеся к введению и библиографии. В дальнейшем при построении графа заимствований были исключены блоки размером менее 750 символов, в результате пропадает зависимость между размером блока и его положением в документе. В результате были построены распределение блоков по размеру и положению в документе (рис. 3), направленный граф заимствований, составлен список диссертаций с наибольшей долей заимствованного текста. Рис. 3. Размер и позиция блоков после фильтрации, исключения цитат и объединения блоков. Изоденсы обозначают размер блоков, значения выбраны экспертно В текстах диссертаций были замечены и исследованы аномалиичаще всего связанные с ошибками оцифровки или обработки документов. В частности, около 50 документов состояло из склеенных в одном тексте нескольких диссертаций, которые также встречались отдельно. Рис. 4. К описанию алгоритма слияния блоков 5 Выделение групп диссертаций Анализ групп и сообществ диссертаций позволяет установить «контекст» заимствований между ними, выделить скрытые внутренние структуры заимствований. Для проведения такого анализа заимствования между диссертациями в данной работе был построен граф, в котором в качестве вершин были диссертации, а ребра определялись заимствованиями из этих работ. Вес ребра рассчитывался как количество совпадающего текста в символах. Для анализа графов и сетей используются специализированные алгоритмы объединения вершин графа в кластеры, называемые сообществами (community). В работе [2] предложен быстрый алгоритм поиска сообществ в графах, основанный на максимизации внутреннего критерия качествамодульности (modularity):
Рис. 5 .Зависимость количества связанных компонент и количества сообществ от порога веса ребра Рис. 6. Зависимость максимального размера связанного компонента от порога веса ребра В результате порог веса ребра выбран равным 0,05, что соответствует суммарному заимствованию в 7500 символов между диссертациями. При данном пороге в графе выделяется 748 сообществ. Полученные сообщества характеризуются более высоким уровнем заимствования среди диссертаций сообщества, чем из диссертаций вне сообщества. Пример сообщества и заимствований между диссертациями показан на рис. 7. Рис. 7. Пример найденного сообщества. Диссертации представлены вершинами графа и пронумерованы, заимствования показаны ребрами, толщина ребра пропорциональна объему заимствования В сообществах диссертации могут выполнять две функции: являться источниками для заимствований и получателями заимствований из других источников. На рис. 7 диссертации 24, 16, 22 можно назвать популярными источниками в данном сообществе. Диссертации 2, 3, 7, 13 -получатели заимствований. Заметим, что 2, 3 и 13 при этом так же используются в качестве источников для заимствования другими диссертациями. Жирная стрелка между работами 2 и 16 указывает на большой объем заимствованного текста. Источники и получатели заимствований можно найти в большинстве сообществ. В таких сообществах существенны заимствования текста между диссертациями, что указывает на наличие коллективов, занимающихся подготовкой диссертаций путем компиляции из других работ. Отнесение источников заимствования к сообществу позволяет увидеть сообщество в целом и не указывает на автора источника как участника коллектива. Если все сообщества диссертаций расположить на диаграмме с зависимостью полного объема заимствования от среднего их объема по заимствованиям внутри сообщества (рис. 8), то среди них можно выделить три вида. Небольшие сообщества диссертаций с высоким средним объемом заимствований, по-видимому, скомпилированных в индивидуальном порядке из небольшого числа работ назовём «индивидуальными предпринимателями». Большие сообщества с умеренным средним размером заимствований -«фабрики диссертаций», а также «странные сообщества», которые не получается однозначно отнести к предыдущим двум видам. Диссертации из сообществ, не относящихся к указанным, полагаются подготовленными научными группами, не основанными на систематических заимствованиях текстов диссертаций. Рис. 8. Сообщества диссертаций по среднему объему заимствования (по вертикали) и суммарному объему (по горизонтали) с условной классификацией по видам. Площадь метки соответствует размеру сообществ, на диаграммеот 4 до 169 диссертаций При анализе заимствований в диссертациях, вследствие использования только ЭБД РГБ в качестве источника данных, не учитывались заимствования из других источников, статей, в них имеется общий текст из стороннего источника.
Труды 16-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL-2014, Дубна, Россия, 13-16 октября 2014 г.оформления, а также списка литературы (см.раздел 4).После предварительной обработки, возможнопроведение более глубокого анализа и проверкагипотез (см. раздел 5).источников. Совпадения фрагментов текстовдокумента и источниковобозначаются какВ работе описано исследование структуры взаимных заимствований текстовых фрагментов в диссертациях кандидатов и докторов наук по историческим специальностям рубрикатора ВАК (07.хх.хх). С помощью алгоритмических, статистических методов и методов анализа графов и сетей были обнаружены группы сильно связанных по заимствованиям между собой диссертаций, обнаружены «скомпилированные» работы и указаны предполагаемые источники таких компиляций.«заимствования». При этом практически совпадения могут иметь различную интерпретацию: цитирование источника, цитирование третьего неизвестного текста в обеих работах, академический плагиат, использование общеупотребимых словосочетаний, случайное совпадение и т.д. Результат работы системы обычно анализируется экспертом, который и принимает решение о том, как квалифицировать обнаруженные системой заимствования и об академической ценности работы в целом [21]. Работа эксперта требует значительных затрат времени для квалифицированного анализа объемной диссертации -от нескольких часов до нескольких дней на одну работу. С учетом того, что1 Введениев России ежегодно защищается около 25 тысяч диссертаций, проверка всего потока работВ данной статье представлены результатыоказывается практически неподъемной задачей.исследования диссертаций на соискание степеней кандидатов и докторов наук по историческим наукам (коды специальностей ВАК: 07.хх.хх), проведенного по заказу Российской Государственной Библиотеки с использованием Электронной библиотеки диссертаций РГБ (ЭБД РГБ), системы «Антиплагиат» и специального программного обеспечения обработки данных и машинного обучения.Основной целью проведенного исследования, таким образом, стала проверка технической возможности глубокого автоматического анализа заимствований в больших текстовых коллекциях для формирования «грубого фильтра» работ для последующего экспертного анализа. Такой фильтр позволил бы выделять часть работ, проведение экспертного анализа которых необходимо. В настоящем исследовании авторы главным образомЭБД РГБ [7] содержит библиографическиесосредоточилисьнавыборепроцедурописания и полные тексты авторефератов и диссертаций по различным специальностям ВАК,предобработки исходных данных, постобработки результатов и настройках параметров системы, сполученныепутемсканированиятекстовыхцелью автоматизации и уточнения результатовдокументов.последующей экспертной обработки.Система «Антиплагиат» [1, 4, 6, 20] позволяетИнициатором и заказчиком исследованияпроводить для текста проверяемого документа ивыступилаРГБ.Основныенаправленияпроизвольнойколлекцииисточниковисследования были сформулированы в видесравнительный анализ. Результатом такого анализанескольких гипотез. В данной статье представленыявляется список всех значимых фрагментоврезультаты по гипотезам и исследовательскимпроверяемого документа, совпадающих полностьювопросам, приведенным в разделе 2.или частично с фрагментами в коллекцииДлякорректногоучетазаимствованийнеобходимобылоисключитьизсоставаобнаруженных совпадений корректно оформленныецитаты (см. раздел 3) и технические заимствования-общие фрагменты диссертаций вследствиеиспользования общего формата, шаблона и правил
2 Гипотезы и цели исследованияВ ходе исследования предполагалось проверитьследующие гипотезы и дать ответы на вопросы:− определитьвозможностьпроведенияглубокого анализа заимствований в объемныхтекстовых коллекциях на наличие некорректныхзаимствований;− оценить долю работ с существеннымизаимствованиями текста из других диссертаций;− понять, является ли подготовка таких работчастью процессов систематической компиляции,либо это единичные не связанные случаи.
3 Выделение корректно оформленных цитатесли после текста цитаты в пределах одного предложения встретилось слово, написанное слитно с числом, или число следует сразу после закрывающей кавычки в блоке-кандидате, то значение признака равно 1, иначе 0. Таких признаков было построено более 60, однако в результате отбора, о котором будет рассказано ниже, было оставлено только 23. Для этого была разработана программа разметки корректно оформленных цитат среди блоков текстов с графическим интерфейсом. Всего исходные данные составили 24479 блоков, в которых 4277 корректно оформленных цитат. Набор данных был разделен на обучающие данные из 16320 блоков (из которых 2848 корректно оформленных цитат) и тестовые из 8159 блоков (из которых 1429 цитат). из ЭБД РГБ. Были исключены 51 документ с ошибками выделения текста и 114 документов размером менее 15 тысяч символов. Бимодальное распределение документов по годам соответствует содержанию ЭБД РГБ и, по видимому, является следствием порядка оцифровки документов в РГБ. Количество диссертаций по годам защиты При поиске заимствований между документами одной коллекции возникает проблема установления направления заимствования и формирования набора источников. В данном исследовании проблема была решена следующим образом. Для каждой диссертации отбиралось 100 источников с наибольшим количеством заимствований из них в данной диссертации. Минимальный размер блока заимствования варьировался от трёх до семи слов вВ тексте диссертации автор может дословно цитировать фрагменты других произведений. Цитаты оформляются в соответствии с правилами русского языка [15], библиографические ссылки к ним -согласно стандарту [16]. Так как цитата дословно повторяет часть другого текста, она может быть распознана поисковыми модулями системы «Антиплагиат» как заимствованный блок, поэтому нужно выделять корректно оформленные цитаты и исключать их из блоков заимствований. Для выделения цитат предлагается подход, основанный на применении методов машинного обучения и состоящий из трех этапов: 1. Выделение текстовых блоков-кандидатов при помощи эвристик. докторских диссертаций, защищенных преимущественно в 1999-2012 гг. (рис. 1). Атрибуты библиографического описания диссертаций также получены зависимости от контекста. Направление заимствования устанавливалось эвристически по году защиты диссертации. Полагалось, что источником заимствования является диссертация, год защиты который предшествует году зашиты рассматриваемой диссертации.признак, что На третьем этапе к рассчитанным значениям признаков блоков применяется обученная модель дерева решений, выполняющая бинарную классификацию, является ли блок корректно оформленной цитатой или нет. Для построения и настройки модели были вручную размечены тексты диссертаций по историческим наукам. Далее, на обучающих данных с помощью программы Weka [17] были проанализированы признаки и с применением критерия «Gain Ratio» [18] отобрано 23 признака для классификации блоков. Для построения дерева решений был использован алгоритм C4.5 [18]. Модель дерева решений использована потому, что ее можно интерпретировать в виде правил «если -то», понятных даже не специалисту в области машинного обучения. Глубина дерева была ограничена значением 7. Оценка качества проводилась по двум критериям: точность и полнота.2. Расчет значений признаков для блоков-кандидатов. 3. Бинарная классификация блоков-кандидатов по принадлежности к классу корректно оформленных цитат. На первом этапе текстовые блоки выделяются согласно правилам русского языка [15]. Практически во всех случаях цитируемый текст должен быть заключен в кавычки. Исключением из этого правила являются стихотворения, которые Вычисления блоков заимствований проводились на сервере с восемью виртуальными ядрами Xeon 1,6 ГГц, 6 ГБ ОЗУ в течение четырех дней. Было проведено три итерации вычислений блоков с различными параметрами. Полное время проведения вычисления блоков с учетом пауз между итерации составило две недели. Общий несжатый объем блоков заимствований в XML формате составил около 4 ГБ. Полученные блоки заимствования были дополнительно обработаны: выполнено можно цитировать без кавычек в случае сохранения авторских переносов строк. Так как цитирование стихов не свойственно диссертациям объединение блоков, исключение корректных цитирований, повторное объединение, фильтрация по качестве блока-кандидата выделяется на основе правил оформления цитат библиографических ссылок. Например, реализован и признаков блоков-кандидатов. Признаки построены На втором этапе происходит расчет значений одни блоки могут быть вложены в другие. заключенный в кавычки. При этом учитывается, что текст, распознавания и снижения сложности системы в историческим наукам, то для повышения точности по размеру блока.Точность -это доля верно выделенных моделью корректно оформленных цитат среди всех выделенных моделью текстовых блоков. Полнота -это доля верно выделенных моделью корректно оформленных цитат среди всех корректно оформленных цитат. В результате для использованной в работе модели на обучающей выборке точность составила 96,8%, полнота -73,5%, на тестовой выборке точность составила 95,8%, полнота -43,8%. 4 Предварительная обработка данных 07.хх.хх, всего более 14 тыс. кандидатских и коллекции ЭБД РГБ по историческим наукам На вход были поданы тексты диссертаций индексе. нахождения потенциально совпадающих блоков в грамм) [19] и сравнивает документы попарно после индекс групп последовательно идущих слов (n-документов, строит по ним инвертированный Система «Антиплагиат» анализирует тексты
Рис. 1.
6 Сходные исследованияполученного графа. Причем наличие текстовыхзаимствований, с нашей точки зрения, указывает наобщность в подготовке текстов диссертаций.Определение общности научных работ потекстовымзаимствованиям-достаточнораспространенный метод [1, 5], однако известны идругие подходы, основанные на методах анализатекстов [13] и рассмотрении совместногобиблиографическогоцитированиямеждудокументами [14].7 ЗаключениеНасколько известно авторам, проведенноеисследованиепоопределениюструктурзаимствований в диссертациях является первым всвоем роде. Исследованные гипотезы и вопросыранее не выдвигались. Поэтому так же важно, чтобыли отработаны методы исследования.Проведенное исследование продемонстрировалотехническую возможность проведения анализазаимствований в крупных текстовых коллекциях сприменениемсистемы«Антиплагиат»всовокупности с методами анализа данных дляфильтрации потока диссертационных работ ивыделения документов, для которых необходимпоследующий экспертный анализ.Былообнаружено,чтобольшинствопроверенных диссертаций не имеют значимыхзаимствований. Однако не менее 500 работ имеютсущественный объем более 33% общих текстовыхфрагментов с другими диссертациями, что можетуказывать либо на наличие общих источниковзаимствования, либо на прямое заимствование.Впостроенномграфезаимствованийобнаруженыколлективыи«сообщества»диссертаций, по-видимому, связанные с процессомих подготовки. Сообщества с большим объемомзаимствований между диссертациями отнесены кколлективам, в которых налажен процесс подготовки текстов диссертаций путем компиляции из готовых источников. Результаты исследований были предоставлены на рассмотрение экспертам РГБ и получили положительную оценку. В дальнейшем планируется проведение подобных исследований и в других областях науки.Диссертации, защищаемые в области наук, в целом отражают структуру и состояние исследований в своей области, и представляют отдельный интерес как объект научного исследования. Исследования диссертаций и научных работ, связей между ними проводились ранее в других областях [8-13]. В работах [8, 9] проведено исследование диссертаций и авторефератов с цельювыявления научных школ, связей между научнымируководителями и диссертантами, использованыметодыанализатекстов.Висследованииавторефератовдокторскихдиссертаций [10]проведен анализ качества подготовки диссертацийза 2008-2011 годы по материалам, опубликованнымна сайте ВАК.Проведенноеисследованиеотличаетсяиспользованием данных ЭБД РГБ [7], полныхтекстов диссертаций, рассмотрением диссертацийпоисторическимнаукамимеханизмомустановления связей между диссертациями -потекстовым заимствованиям, и методами анализа
НВАвдеева ПВБотов АСБукаев АИВислый ИГруздев Чехович Ю.В. Внедрение системы «Антиплагиат» в Российской государственной библиотеке // Интеллектуализация обработки информации: 8-я международная конференция. Республика Кипр, г. Пафос Макс Пресс 2010. 2010 Fast unfolding of communities in large networks VDBlondel J.-LGuillaume RLambiotte ELefebvre Journal of Statistical Mechanics: Theory and Experiment 10 P10008 2008. 2008 RLambiotte JCDelvenne MBarahona arXiv:0812.1770 Laplacian dynamics and multiscale modular structure in networks 2008 Arxiv preprint Система «Антиплагиат ЗАО Анти-Плагиат Plagiarism prevention engine LlcIparadigms Turnitin РВШарапов ЕШарапова .В. Система проверки текстов на заимствования из других источников // Труды 13-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL'2011 Воронеж 2011 ОАЛавренова Развитие проекта библиотеки электронных диссертаций и авторефератов в открытом доступе // Образовательные технологии и общество Educational Technology & Society 2006 9 -Казань: Изд-во Казанский государственный технологический университет ЮВЛеонова АМФедотов -Ярославль: ЯрГУ Извлечение знаний и фактов из текстов диссертаций и авторефератов для изучения связей научных сообществ // Труды 15-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL-2013
Ярославль, Россия
 14-17 октября 2013. 2013 ЮВЛеонова ААДобрынин АВеснин .Ю. Построение графа диссертаций // XIV Российская конференция с участием иностранных ученых «Распределенные информационные и вычислительные ресурсы» (DICR-2012): программа конференции и тезисы докладов (Новосибирск, Россия 2012. 2012 17 Новосибирск: ИВТ СО РАН СДонецкая Статистическое исследование структуры и качества подготовки докторских диссертаций в России // Вопросы статистики 2012 12 ЕВБескаравайная ИМитрошин Анализ базы данных диссертаций ПНЦ РАН // Информационное обеспечение науки НТр ЕНауч Каленов Научный Мир 2011 Новые технологии: cб Количественноинформационный анализ потока публикаций по библиотекам и библиотековедению на основе поиска по ключевым словам ЮН в базе данных Science-Direct // Межотраслевая информационная служба Климов. 2011 ВНЗахаров ААХорошилов окт. 2012 г. -С. 189-195 Автоматическая оценка подобия тематического содержания текстов на основе сравнения их формализованных смысловых описаний // Труды 14-й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL-2012 Citation Proximity Analysis (CPA) -A new approach for identifying related work based on Co-Citation Analysis BelaGipp JoeranBeel Proceedings of the 12th International Conference on Scientometrics and Informetrics (ISSI'09) BirgerLarsen JacquelineLeta the 12th International Conference on Scientometrics and Informetrics (ISSI'09)
Rio de Janeiro (Brazil
 2009. July 2009 2 ДЭРозенталь ЕВДжанджакова НКабанова .П. Справочник по правописанию, произношению, литературному редактированию. -Издание второе, исправленное 1998 400 Библиографическая ссылка, общие требования и правила составления 7 Weka Toolkit University of Waitako Programs for Machine learning JRossQuinlan 1993 Morgan Kaufmann Publishers 4 КДМаннинг ПРагхаван ХШютце Введение в информационный поиск 2011 528 НВАвдеева ОНикулина Сологубов А.М. Система «Антиплагиат.РГБ» и недобросовестные авторы диссертаций: кто победит? // Научная периодика: проблемы и решения 2012 НВАвдеева ГЛобанова according to HAC classification). Using algorithmic, statistical and network analysis methods we discovered groups of highly related dissertations, which intensely borrowed from each other, which we call "science SS VSurovenko DVTsarkov 2014 .А. Классификация фрагментов текста при экспертизе диссертаций на предмет заимствований (плагиата) // «Информационные ресурсы России»: науч.-практ. shops", found so-called "compiled" works and probable sources of such compilations