Аннотация. Описана архитектура системы интеллектуального анализа текстов в юриспруденции, которая способна помечать важные места, на которые следует обращать внимание при процессуальных действиях с использованием инструментов текстовой аналитики. Создана модель для извлечения из корпуса юридических текстов значимых сущностей и фактов. На корпусе юридических текстов проведено обучение алгоритма автоматического извлечения сущностей на базе рекуррентной нейронной сети. В результате было выявлено, что рекуррентная нейронная сеть предсказывает сущности, которые не были размечены вручную либо размечены некорректно и требуется проверка разметки. Важной функцией системы является поиск и предоставления аналогичных решений по схожим судебным искам. Для правильного определения категории судебного спора решается задача классификации. Было выявлено более 80 различных категорий судебных споров, которые встречаются с разной частотой. Процесс классификации с ростом количества обрабатываемых документов может быть очень затратным по времени, поэтому данная функциональность реализуется отдельный микросервис с обменом с другими модулями системы в асинхронном режиме. Отдельным модулем системы представлен сайт - шаблонизатор исковых заявлений, позволяющий корректно формировать типовые исковые заявления. Разработка системы ведется вместе с практикующими юристами, в качестве специалистов из предметной области привлекаются судьи Арбитражного суда Республики Татарстан, преподаватели и обучающиеся юридического факультета Казанского федерального университета.
1 Kazan National Research Technical University
2 Kazan Volga Region Federal University
Annotation. The architecture of the system for the intellectual analysis of texts in jurisprudence, which is capable of marking important places to which attention should be paid during procedural actions using text analytics tools, is described. To extract meaningful entities and facts from a corpus of legal texts we created a model. An algorithm for automatic extraction of entities based on a recurrent neural network was trained on the corpus of legal texts. As a result, it was revealed that the recurrent neural network predicts entities that were not manually labeled or incorrectly labeled and markup checking is required. An important function of the system is to search for and provide similar solutions for similar lawsuits. For the correct determination of the category of lawsuit, the task of classification of entities is solved. More than 80 different categories of lawsuits identified, occurring with varying frequency. The classification process with an increase in the number of processed documents can be very time consuming, so this functionality is implemented by a separate microservice with integration with other modules of the system in asynchronous mode. A separate module of the system is a website - template of claim statements, which allows to filling correctly typical claims. The development of the system is carried out together with practicing lawyers, as experts from the subject area. Judges of the Arbitration Court of the Republic of Tatarstan, teachers and students of the law faculty of Kazan Federal University are also involved.
Keywords: data analytics and data management, data intensive domains, digital libraries, recommender system, decision support systems.
Как известно, информационное общество характеризуется высоким уровнем развития информационно-коммуникационных технологий (ИКТ) и их интенсивным использованием всеми и всюду. Развитие облачных технологий позволило принципиально изменить подходы к созданию сложных программных систем практически для всех предметных областей. Хотя в области судопроизводства в России постоянно повышается уровень использования информационных технологий, но, тем не менее, информационная и производственная нагрузки на судей по-прежнему остаются чрезмерно высокими. Без использования специализированных автоматизированных информационных систем существенное повышение эффективности работы судов просто невозможно.
Одним из приложений технологий машинного обучения в судопроизводстве является создание интеллектуальных систем, способных на имеющейся базе данных судебных документов выявлять общие зависимости, предоставлять судьям для ознакомления близкие по тематике дела, рекомендовать наиболее вероятные исходы или помечать важные места, на которые судебным работникам следует обращать внимание при процессуальных действиях.
В [
Проведенные исследования по семантическому структурированию
информации в других предметных областях (см., например, [
Разработка системы ведется вместе с практикующими юристами, в частности, в качестве специалистов из предметной области привлекаются судьи Арбитражного суда Республики Татарстан, преподаватели и обучающиеся юридического факультета Казанского федерального университета.
Для достижения поставленных целей поставлены следующие задачи. • создание портала для формирования шаблонов исковых заявлений с отслеживанием их жизненного цикла; • разметка и анализ существующей базы судебных решений, исковых заявлений (отбор значимых признаков для определенных категорий судебного спора, классификация заявлений и решений, извлечение сущностей и фактов); • подбор аналогичных дел и решений, рекомендательный сервис; • сопоставление исковых заявлений и судебных решений; • распределение судебных дел между судьями с учетом их специализации и текущей загрузки.
Фактически каждая из выделенных задач является автономным модулем разрабатываемой информационной системы, а сама система – практической демонстрацией совместного использования ряда семантических технологий и инструментов текстовой аналитики.
Текущие парадигмы разработки предусматривают два концептуально различных подхода к дизайну приложений. Первый вариант – «монолитные приложения». Это довольно очевидный способ построения информационных систем, в которой запросы обрабатываются в рамках единственного процесса, при этом используются возможности конкретного языка программирования для разделения приложения на классы и функции. Подобный подход порождает ряд проблем: любые изменения, даже самые небольшие, требуют перекомпиляции всего дистрибутива информационной системы и последующего обновления всех ее модулей, с течением времени изменения в логике работы одного модуля начинают влиять на функции других модулей, возникают проблемы с масштабированием приложения.
Другой подход – это построение среды, в которой отдается предпочтение
слабым связям, абстрагированию низкоуровневой логики, гибкости, а также
возможности многократного использования и обнаружения компонентов [
С учетом достаточно большого количества модулей системы необходимо
было выбрать подход к организации всего приложения и минимизировать
зависимости, связанные с изменениями внутри отдельных модулей. При этом
очевидно, что модули текстовой аналитики со временем будут изменяться,
возможна реализация различных алгоритмов классификации и аналитики в
зависимости от массива обрабатываемых документов. Для создания
«Роботаюриста» нами был выбран архитектурный стиль микросервисов. Архитектура
разрабатываемой системы приведена в [
3. Сервисы системы Разметка документов и извлечение сущностей. Для построения зависимостей и извлечения сущностей и фактов создан сервис разметки и анализа документов и выделено несколько подзадач: • разметка существующего массива документа для поиска зависимостей и построения модели, списка справочников служебной онтологии; • извлечение сущностей и фактов; • запись в базу данных и отображение массива документов с выделенными сущностями для дальнейшей обработки.
Разметка существующего массива документов необходима для дальнейшего обучения сервисов системы. Для реализации этой задачи использовался инструмент для быстрого структурированного аннотирования текстов BRAT [10].
Для разметки документов были привлечены специалисты из предметной области, размечено около 3000 судебных актов с ручным выделением значимых сущностей. Необходимо заметить, что процесс разметки документов весьма затратен по времени, хотя и не требует глубокого знания предметной области и вполне по силам студентам старших курсов профильных факультетов. Однако надо понимать, что точность алгоритма извлечения сущностей зависит от количества выборки и качества разметки текстов.
На данном корпусе текстов проведено обучение алгоритма автоматического извлечения сущностей на базе рекуррентной нейронной сети. Общий массив размеченных документов был разделен на обучающую и тестовую выборки в соотношении 80% на 20%, что соответствует общей практике решения подобных задач. В результате на текущем шаге было выявлено, что рекуррентная нейронная сеть предсказывает сущности, которые не были размечены вручную либо размечены некорректно. Таким образом, были подготовлены данные, требующие дальнейшего уточнения. На данный момент производятся повторная проверка размеченных документов и корректировка для дальнейшего обучения сети.
Рекомендательный сервис. Этот сервис предназначен для поиска и предоставления аналогичных решений по схожим судебным искам.
Существуют два основных типа рекомендательных систем:
контенториентированные и социальные (коллаборативной фильтрации) (см., например,
[
2) получает на вход документ и выдает список документов, близких к входному.
По сравнению с поисковыми системами рекомендательные системы наиболее полезны, когда у пользователя возникают трудности с формулировкой эффективного поискового запроса.
Подходы к организации рекомендательных сервисов могут быть разными,
в [
Алгоритм работы сервиса можно разделить на два этапа: • подготовительный этап – обработка массива документов и обучение модели; • основной этап – получение аналогов входного текста по заданному идентификатору документа.
На подготовительном этапе обрабатываются все имеющиеся документы:
вырезаются знаки пунктуации, термы приводятся к единому виду (для слов с
разными окончаниями и суффиксами). Далее документ приводится к
векторному виду. Для представления массива документов в виде числовых векторов,
отражающих важность использования каждого слова из некоторого набора слов
(количество слов набора определяет размерность вектора), в каждом документе
используется мера TF-IDF [
На первом шаге необходимо определить количество K кластеров,
логичным представляется использовать для этого формулу = , где Ndoc – общее
10
количество обрабатываемых документов. Далее производится собственно
кластерный анализ по методу K-means (метод К-средних, [
На основном этапе работы на вход сервису подается идентификатор документа. Производится приведение его к векторной форме, которая обрабатывается моделью, причисляется к определенному кластеру. На выход алгоритм выдает первые 10 документов из того же кластера, что и входной документ, хотя данный параметр является настраиваемым и может быть изменен в настройках сервиса.
Процесс переобучения модели следует проводить периодически, например, раз в сутки, либо после существенного изменения всего корпуса документов. Сервис реализован на языке Python, взаимодействие с другими модулями системы происходит по внутреннему согласованному протоколу взаимодействия.
Классификация судебных дел. Одной из проблем судебного делопроизводства является процедура определения категории и характера спора. Правильное определение категории судебного спора важно, поскольку влияет на назначение судьи на соответствующий процесс, а назначаемый судья должен иметь опыт рассмотрения подобных споров, знать и понимать их особенности. На текущий момент выявлено более 80 различных категорий судебных споров, которые встречаются с разной частотой. Процесс классификации с ростом количества обрабатываемых документов может быть очень затратным по времени, поэтому с архитектурной точки зрения было решено вынести данную функциональность как отдельный микросервис с реализацией обмена с другими модулями системы в асинхронном режиме. К тому же определение категории спора (судебного дела) не является задачей, требующей мгновенного ответа.
Для первого этапа реализации системы было принято решение провести анализ судебных документов по четырем категориям: оспаривание решений антимонопольных органов, оспаривание действий судебных приставов, привлечение к ответственности за нарушение условий лицензирования, споры о неисполнении или ненадлежащем исполнении обязательств по договорам поставки.
Методы классификации текстовой информации основаны на предположении, что документы, относящиеся к одной категории, содержат одинаковые признаки (слова или словосочетания), и наличие или отсутствие таких признаков в документе говорит о его принадлежности или непринадлежности к той или иной теме [14]. Для выявления схожей структуры и одинаковых признаков (терминов) документов одного класса применялся латентно-семантический анализ (ЛСА) [15].
Нами были рассмотрены несколько известных методов классификации и проведены испытания на тестовой выборке: наивный байесовский классификатор [14], метод k ближайшего соседа (k-means) [13] и деревья решений [16]. Результаты работы классификаторов показали наличие ошибок на тестовой выборке: классификатор Байеса – 4%, точность классификации 96%; k-means – 2%, точность классификации – 98%; деревьев решений – 2%, точность классификации – 98%, что не является приемлемым результатом в рамках системы разрабатываемой системы, поскольку с увеличением количества рассматриваемых категорий дел (а их около 100), получаемые ошибки будут накапливаться, и точность работы сервиса в целом будет падать.
Для улучшения точности классификации разрабатывается алгоритм на основе искусственной нейронной сети. Алгоритм реализуется на языке R с помощью искусственной нейронной сети и имеет следующие параметры: 40 нейронов во входном слое, 1 скрытый слой с 4 нейронами, 4 выхо дных нейрона, активационная функция: сигмоида.
Алгоритм обработки документа выглядит следующим образом: • на вход подается идентификатор документа; • из документа выделяются ключевые слова и их количество; • проводятся анализ и подбор класса дела; • в качестве результата алгоритм возвращает идентификатор класса судебного дела, который становится дополнительным свойством документа.
При добавлении нового класса проводятся анализ допустимых ключевых слов и повторное обучение нейронной сети.
Создание шаблонов исковых заявлений. Отдельной задачей является сопоставление судебных актов и заявлений по рассмотренным делам, поскольку сами исковые заявления, в отличие от базы знаний принятых решений, являются закрытыми и не публикуются в интернете. Вообще говоря, установление связи искового заявления и судебного решения в общем случае не представляет сложности и не имеет особого смысла, поскольку они связаны связью один-к-одному, однако в рамках разработки системы «Робот-Юрист» актуальной является задача связывания вновь поданного искового заявления и близких результатов судебных процессов для дальнейшей обработки. В этом случае необходимо иметь заявление в виде, удобном для машинной обработки.
Для получения экземпляров исковых заявлений сразу в электронном виде был предложен механизм веб-портала – шаблонизатора заявлений. При подаче пользователем системы искового заявления система формирует печатную версию заявления в соответствии с регламентирующими нормативными документами РФ, а электронная копия документа автоматически размечается и сохраняется в базе данных системы с определенным статусом. Далее задействуются внутренние функции системы по классификации и кластеризации. После завершения регламентных заданий становится возможным задействовать функции системы для поиска и просмотра близких судебных дел или присваиванию категории судебному спору.
Веб-портал предусматривает несколько ролей пользователей с различной функциональностью, также предложена и реализована статусная модель судебного дела для удобства отслеживания жизненного цикла документа в системе. Заключение На данный момент система находится на начальном этапе развития – закончено проектирование системы «Робот-Юрист», произведена первоначальная разметка документов. После первых прогонов алгоритма по извлечению сущностей из документов выявлены неточности в разметке, которые сейчас исправляются.
В рамках решения задачи классификации проведены предварительный анализ судебных документов, отбор значимых признаков для определенных категорий судебного спора, проведен латентно-семантический анализ для выявления общей структуры типовых документов. На тестовой выборке проверены алгоритмы байесовской классификации, k ближайшего соседа и деревьев решений, разрабатывается модель на основе искусственной нейронной сети. На следующем этапе планируется увеличить выборку исковых арбитражных заявлений и рассмотреть большее число типов возможных судебных споров, а также разработать программные модули, выполняющие задачи отбора информативных признаков и классификации.
Работа выполнена за счет средств субсидии, выделенной Казанскому федеральному университету для выполнения государственного задания в сфере научной деятельности, проект 2.8712.2017/8.9. 13.https://ru.wikipedia.org/wiki/K-means 14.14. A. A. Barsegyan, M. S. Kupriyanov, I. I. Kholod, M. D. Tess, S. I. Yelizarov Analiz dannykh i protsessov: ucheb. posobiye – 3-ye izd., pererab. i dop. – SPb.: BKHV-Peterburg, 2009. – 512 s.: il. + CD-ROM. 15.T.K. Landauer, P.Foltz,D. Laham An Introduction to Latent Semantic Analysis. Discours Processes, 25, 1998 — P. 259-284. 16.C. C. Aggarwal. Data Classification: Algorithms and Applications. Text Classification. Chapman & Hall/CRC, 2014, ISBN:1466586745 9781466586741