Идентификационный набор Идентификационная
матрица Эти составляющие являются основои всего процесса идентификации данным способом, так как от них зависят эффективность и условия применения его программнои реализации. Ниже детально рассматривается разработка указанных компонентов, что позволяет показать возможные варианты и модификации как самого набора, так и идентификационнои матрицы.
Идентификационные маркеры формируются программои на основании списка идентифицирующих элементов, которые сопоставляются с определённым языком или группои в идентификационном наборе. Для простоты восприятия в следующих примерах будут использоваться только формы наиболее употребительных и вспомогательных глаголов.
Идентификационныи набор может быть представлен в нескольких формах и различных
вариациях. Например, в виде списка с определённои структурои, таблицы или многомерного
массива, где имеется одна или несколько групп идентифицирующих элементов каждого
определяемого языка, указана связь этих групп с конкретным языком и языковои группои (и/или
подгруппои), а также языковои ветвью, семьёи или макросемьёи по мере необходимости.
Конкретная схема деления зависит от выбраннои классификации языков и требуемых ассоциации.
В даннои статье за основу берётся генеалогическая классификация [5], но в идентификационном
наборе могут использоваться и другие, например: реляционная, морфологическая
(типологическая) или структурная [
На рисунке 2 демонстрируется упрощённыи вариант линеинои структуры идентификационного набора для языков различных генеалогических групп. Деление идентификаторов для вариантов и диалектов не производится, идентифицирующие элементы заменены отточием.
Язык: список идентифицирующих элементов русский: ……………………………………………………………….…….. польский: …………………………………………………….………..…….. латинский: ……………………………………………..…………….……… кастильский: ……………………………...………………………….……… гаэльский: ………………………………………..………………….………. валлийский: ……………………………………………………………….…. литовский: …………………………………………………………………… эстонский: …………………………………………………..……………….. венгерский: ………………………………………………….………………. албанский: …………………………………………………………………… английский: …………………………………………………..……………… немецкий: ……………………………………………………….………….… шведский: …………………………………………………………………….. волапюк: …………………………………………………………………….… эсперанто: ……………………………………………………..……….……… Языковая группа: список идентифицирующих элементов славянская: ……………………………………………………..…….… романская: ……………………………………………………..……..… кельтская: ……………………………………………………..………… балтийская: ……………………………………………………..………. финно-угорская: ……………………………………………………..…. палеобалканская: ……………………………………………………….
германская: ……………………………………………………..………. Преимущество такои структуры в простоте реализации и обработки. Однако она не позволяет определять языковые группы и подгруппы в случае, если язык определить не удалось. Поэтому требуется использовать дополнительныи идентификационныи набор, в котором элементы идентифицируют только группы и/или подгруппы (Рисунок 2), или усложнять предыдущии набор, что изменит его структуру и алгоритм обработки.
Германские языки Северогерманская (скандинавская) подгруппа Фарерский Исландскии Норвежский Северные диалекты ……………………… Южные диалекты …………………… Северные диалекты ……………………… Восточные диалекты …………………… Южные диалекты …………………… Западные диалекты …………………… Датский Западные диалекты …………………… Восточные диалекты …………………… Островные диалекты …………………… Шведский Норладские диалекты …………………… Этские диалекты …………………… Дальские диалекты …………………… Южные диалекты …………………… Рис. 4. Часть иерархической структуры идентификационного набора На рисунке 4 схематически изображена возможная структура иерархического идентификационного набора на примере севернои (скандинавскои) подгруппы германских языков, которые объединены по генеалогическим признакам. Языки, варианты и диалектные группы здесь различаются условно, так как их общепринятои градации не существует. Для краткости отдельные диалекты не указываются, а списки идентифицирующих элементов для каждои группы диалектов заменены отточием.
Такая структура идентификационного набора позволяет определять языковые ветви, группы или подгруппы без определения самого языка анализируемого текста, так как позволяет объединять идентифицирующие элементы, а также может включать совпадающие формы идентификаторов на разных уровнях иерархии, которые обычно не используются в линеиных наборах и, следовательно, не участвуют в идентификации отдельных языков.
Ниже приводится несколько примеров рассмотренных идентификационных наборов с линеинои структурои, созданных на основе простого текстового фаила (приводятся в сокращённом и упрощённом виде с комментариями), где идентификаторы записываются в одну строку после названия языка и определённого разделителя, а первые 2 строки служат для оформления контента и программои не анализируются. В качестве идентифицирующих элементов используются формы наиболее употребительных глаголов.
Язык Идентифицирующие элементы русскии быть, есть, был, была, было, были, иметь, имею, имеешь и т.д. болгарскии съм, си, сме, сте, имам, имаш, има, имаме и т.д. сербскии бити, је, имати, имамо, имају, немам, немаш и т.д. польскии jestem, jest, mam, masz, mamy, macie и т.д. немецкии sein, bin, ist, sind, war, gewesen, haben, habe и т.д. латинскии esse, sum, sunt, fui, habere, habeo и т.д. гаэльскии bi, ta, taim, taimid, bhfuil, nil, tha и т.д. латышскии but, esmu, esam, esat, darit и т.д. эстонскии olla, olen, oled, on, oleme, olete, evima, omama и т.д. венгерскии lenni, vagyok, vagy, vagyunk, vagytok, vannak и т.д. эсперанто esti, estas, estos, estis, estus, havi, havas, havos и т.д.
В данном примере для определения языка используются грамматические формы нескольких наиболее употребительных глаголов каждого идентифицируемого языка различных генеалогических групп Европы (без указания на эти группы). В качестве разделителя выбран знак «» (стрелка) для наглядности, хотя может использоваться любои другои символ или сочетание, например: знаки препинания, цифры и т.д.. С помощью такого набора идентифицирующих элементов можно определить язык текста, если формы глаголов в анализируемом тексте не имеют совпадении со словами других языков. В противном случае язык не будет идентифицирован или результат будет ошибочным. Хотя эта проблема может быть решена усложнением алгоритма обработки данного набора, но применение такого решения не всегда оправдано и рационально.
При необходимости определения принадлежности языка текста к однои из языковых групп приведённыи выше набор может быть изменён следующим образом (показан в сокращённом и упрощённом виде): Группа (Язык) Идентифицирующие элементы славянская (русскии) быть, есть, был, была, иметь, имею, имеешь и т.д. славянская (болгарскии) съм, си, сме, сте, имам, имаш, има, имаме и т.д. славянская (сербскии) бити, је, имати, имамо, имају, немам, немаш и т.д. славянская (польскии) jestem, jest, mam, masz, ma, mamy, macie и т.д. германская (немецкии) sein, bin, ist, sind, war, gewesen, haben, habe и т.д. искусственные (эсперанто) esti, estas, estos, estis, havi, havas, havos и т.д.
В приведённых примерах сознательно исключены совпадающие формы глаголов в близкородственных языках (например, южнославянских: сербском и болгарском), чтобы избежать возникновения ошибок в программе. Для краткости и наглядности здесь деление на подгруппы не производится, хотя оно может быть добавлено по мере необходимости, а названия языков указаны в скобках для уточнения принадлежности идентификаторов. Как явствует из приведённого набора, наличие совпадении форм глаголов в языках однои группы (например, славянскои) не повлияет на результат, если целью анализа текста является только определение языковои группы. В таком случае указания на конкретныи язык могут быть исключены из набора идентифицирующих элементов, а совпадающие формы глаголов в близкородственных языках в него добавлены, что улучшит результат определения языковои группы.
Теоретически, линеиная структура может усложняться и дальше, однако количество повторяющихся названии групп и необходимость их обработки делают применение подобнои структуры нетехнологичным, поэтому в подобных случаях её предлагается заменять на иерархическую. Образец возможнои иерархии такого набора в текстовом виде на примере северогерманскои генеалогическои подгруппы приведён ниже (идентификационные маркеры заменены отточием).
Германские языки –> Cеверогерманские –> –> Фарерскии –> –> –> : ………………………………………………………………………. –> –> Исландскии –> –> –> южные диалекты: ……………………………………………………… –> –> –> северные диалекты: ……………………………..................................... –> –> Норвежскии –> –> –> южные диалекты: ……………………………………………………… –> –> –> западные диалекты: ……………………………..................................... –> –> –> северные диалекты: ……………………………..................................... –> –> –> восточные диалекты: ……………………………..................................... –> –> Датскии –> –> –> островные диалекты: ………………………………………………….. –> –> –> западные диалекты: ……………………………..................................... –> –> –> восточные диалекты: ……………………………................................... –> –> Шведскии –> –> –> южные диалекты: ……………………………………………………… –> –> –> этские диалекты: …………………………….......................................... –> –> –> дальские диалекты: ……………………………..................................... –> –> –> норландсике диалекты: ……………………………................................ англиискии : be : are : were : have : has : had : does : did ………………………………………. немецкии : sein : bin : ist : sind : war : gewesen : haben : habe : hatte : gehabt …………….…… голландскии : zijn : ben : bent : geweest : hebben : heb : hebt : gehad ……………..………....… Шведскии : vara : var : voro : varit : hava : har : haver ………………………………………..… искуственные языки волапюк : binob : binol : binor : binof : binos : binom : binon : binobs : binols …………….…… эсперанто : esti : estas : estos : estis : estus : havi : havas : havos : havis : fari ……………..…… Идо : esar : esor : esir : esas : esos : esis : havar : havir : havor : facar …………………….….… Такои идентификационныи набор может быть размещён в простом текстовом фаиле, которыи при считывании программои будет преобразован в многомерныи массив данных, представляющии собои двухуровневую идентификационную матрицу, где на первом уровне находятся названия языковых групп (выделены полужирным шрифтом), а на втором – язык, определяемыи первым местом в списке, и его идентификационные маркеры. В данном случае маркеры являются уникальными, поэтому язык будет определяться однозначно за один проход программы по элементам. Для определения только языковои группы при недостатке идентификаторов в данныи набор должны быть включены все совпадающие формы в родственных языках, а названия самих языков могут исключаться. Таким образом, идентификационныи набор приобретает следующии вид (приводится в сокращении). Группа | Идентифицирующие элементы славянская быть : есть : был : была : было : были : буду : будешь : будет : будем : будут : иметь : имею : имеешь : имеет : имеем : имеют : имел : имела : имели : делать : сделать : делал : делала : сделал : сделала : делает : сделает : делают : сделают : делаем : сделаем съм : си : сме : сте : са : съ : имам : имаш : има : имаме : имате : имат : правя : правиш : прави : правим : правите : правят бити : сам : смо : су : jесам : jеси : jесте : jесмо : jесте : jесу : нисам : ниси : ниjе : нисмо : нисте : нису: имати : имамо : имају : немам : немаш : нема : немамо : немате : немају jestem : jest : mam : masz : mamy : macie : delaе : delas : dela : delame романская esse : sum : est : sunt : fui : habere : habeo : habes : habet : habemus : habetis : habent : habui : facere : facio : facis : facit : facimus : facitis essere : sono : siamo : siete : hai : habbiamo : avete : hanno : fare : faccio : fai : facciamo : fate : soc : ets : som : sou : estat : fer : faig : fas : fem : feu : fan ser : soy : eres : somos : son : haber : has : hemos : han : hecho : hay : hacer : hago : haces : hace sou : haver : hei : havemos : fazer : faz : fazemos : fazem : fazendo etre : suis : sommes : sont : avoir : ai : avons : avez : ont : faire : fais : fait : faisons : faites кельтская bi : ta : taim : taimid : bhfuil : nil : tha bod : dw : wyt : mae : dyn : dych : maen : dydy : dydyn : gwneud : gwnaf : gwnei : gwna : gwnawn : gwnewch : gwnant балтийская buti : esu : yra : esame : esate : nesu : nesi : nesame : nesate but : esmu : esi : esam : esat : darit финно-угорская olla : olen : oled : oleme : olete : evima : omama : teha : teen : teed : teeb : teeme : teete : teevad lenni : vagyok : vagy : vagyunk : vagytok : vannak : nincs : nincsenek германская be : are : is : were : have : has : had : does : did : I sein : bin : ist : sind : war : gewesen : haben : habe : hatte : gehabt : 179d war : mache : macht : gemacht : tun : tue : tut : tat : getan zijn : ben : bent : geweest : hebben : heb : hebt : gehad : maken : maak : maakt : maakten : vara : var : voro : varit : hava : har : haver искусственные языки binob : binol : binor : binof : binos : binom : binon : binobs : binols : binofs : binoms : binons : binors : labob : labol : labom : labof : labon : labobs : labols : laboms : labons : labofs esti : estas : estos : estis : estus : havi : havas : havos : havis : fari : faras : faros : faris esar : esor : esir : esas : esos : esis : havar : havir : havor : facar : facas : facos : facor : facir не определена Как видно из примера, в наборе разделителем идентифицирующих элементов является двоеточие, а каждая строка содержит глагольные формы одного из языков указаннои выше группы. Названия групп выделены в отдельные строки для простоты обработки, последняя запись выводится в том случае, если языковую группу определить не удалось.
Здесь следует отметить, что в рабочем варианте идентифицирующие элементы могут записываться наиболее рациональным образом для даннои программы или её конкретнои реализации. Например, если идентификация проводится по формам таких глаголов как «делать», «иметь» и т.д., то они могут быть записаны в следующих вариациях: 1. … делать, делаю, делаешь, делает, делаем, делаете, делают …….
2. … дела|ть|ю|ешь|ет|ем|ете|ют …….
То есть, основа глагола может выделяться и больше не повторяться в наборе, что существенно сократит его длину и время считывания, но потребует дополнительных ресурсов для генерации идентификационных маркеров. Также основы могут храниться отдельно от аффиксов, например, в разных строках, фаилах или таблицах. Построчно это может быть реализовано следующим образом: основы: дела, име …………………………; аффиксы: ть, ю, ешь, ет, ем, ете, ют ……… После считывания и объединения основ со всеми аффиксами получится два набора идентификационных маркеров: 1. … делать, делаю, делаешь, делает, делаем, делаете, делают …….; 2. … иметь, имею, имеешь, имеет, имеем, имеете, имеют …………. В рабочем варианте идентификационного набора это может выглядеть примерно следующим образом (приводится фрагмент). Группа / Язык | Идентифицирующие элементы (основы : аффиксы) искусственные языки волапюк : bin, lab : ob|ol|or|of|os|om|on|obs|ols|ofs|oms|ons|ors эсперанто : est, hav, far : i|as|os|is|us идо : es, hav, far : ar|or|ir|as|os|is
Для примера взята группа искусственных языков, так как в них отсутствуют изменения корня при спряжении глаголов, но для естественных языков потребуется более сложная система морфологических сокращении. В приведённом фрагменте видно, что при таком подходе структура каждои строки идентифицирующих элементов существенно меняется и требует более сложнои обработки, так как список теперь включает комплексные разнородные составляющие. Но при этом размер записи идентификаторов сократился с 299 знаков (при полнои записи) до 127, то есть более чем в 2 раза, что существенно экономит ресурсы.
Таким образом, варианты записи идентифицирующих элементов могут влиять на размеры идентификационных наборов и ресурсоёмкость их обработки. Поэтому вопрос формирования идентификационных маркеров должен решаться до или во время планирования структуры идентификационного набора и учитываться при расчёте ресурсоёмкости всеи системы языковои идентификации.
Рассмотренные варианты идентификационного набора могут модифицироваться в зависимости от целеи и задач, поставленных перед программои-определителем, а также от алгоритма и конкретнои реализации процесса языковои идентификации. Но в итоге обработки такого набора в памяти компьютера должна быть сформирована идентификационная матрица (фильтр), позволяющая решить поставленные задачи. При этом её структура может не соответствовать структуре идентификационного набора в силу особенностеи алгоритма обработки или выбранных программистом технологии, что не должно отражаться на результате.
Из приведённых примеров наборов идентифицирующих элементов следует, что предлагаемая технологическая реализация не зависит от используемои в анализируемом тексте системы письма или фиксации информации, так как в самом наборе могут быть использованы различные системы письма и фиксации информации (например, слоговые знаки, идеограммы или комбинации точек шрифта Браиля). Кроме того, сам идентификационныи набор может быть многократно транслитерирован, что позволяет работать именно с языковыми маркерами, а не с символами письменнои системы, как это делается в большинстве современных определителеи языковои принадлежности текста. Кроме того, текстовыи тип данных легко обрабатывается и редактируется, не требуя специализированных программ и систем, например, СУБД (систем управления базами данных), что существенно упрощает применение таких систем в различных областях и уменьшает ресурсозатраты.
Статья написана по материалам диссертации автора «Автоматическая идентификация языковой принадлежности текста по формам предикатов». Научный руководитель: Зубарев Юрий Борисович, доктор технических наук, профессор, член-корреспондент РАН. Научный консультант: Фархадов Маис Паша оглы, доктор технических наук, старший научный сотрудник.
References Калегин Сергей Николаевич, аспирант, начальник сектора НТО ЗАО «МНИТИ», e-mail: ksn@mniti.ru.