Spracovanie prirodzeného jazyka pre interaktívne recˇové rozhrania v slovencˇine

Abstract

Abstrakt: V príspevku sú zhrnuté priebežné výsledky aplikovaného výskumu v oblasti spracovania prirodzeného jazyka v úlohách orientovaných na výskum a vývoj modulov recˇových rozhraní medzi cˇlovekom a strojom, ktorý prebieha v Laboratóriu recˇových a mobilných technológií na KEMT FEI TU v Košiciach. Zahrnutie hovorenej recˇi, ako najprirodzenejšieho komunikacˇného nástroja medzi l'ud'mi, má svoje nezastupitel'né miesto aj pri návrhu a vývoji interaktívnych recˇových rozhraní. Pri prechode od rozpoznávania l'udskej recˇi k jej porozumeniu strojom je potom nevyhnutné vykonat' aj dodatocˇnú analýzu textu po automatickom prepise. To zahr´nˇa aj proces transformácie textu po rozpoznaní na reprezentáciu urcˇitého typu znalostí, ktorému dokáže stroj porozumiet'. Tento zložitý proces všeobecne pozostáva z tokenizácie, automatickej korekcie a dodatocˇnej morfologickej, syntaktickej a sémantickej analýzy textu. Nami navrhnuté moduly a výsledky automatického spracovania textu v slovenskom jazyku budú postupne predstavené v tomto príspevku.

-

S príchodom výpocˇtovej techniky sa stala potreba pocˇítacˇového spracovania prirodzeného jazyka aktuálnou celosvetovou témou. Vedci sa po celom svete snažia podchytit’ charakter takmer každého jazyka s ciel’om zjednodušit’ interakciu medzi l’ud’mi a strojmi a komunikáciu medzi l’udmi samotnými. Oblast’ spracovania prirodzeného jazyka zahr´nˇa širokú škálu disciplín, ako napr. vyhl’adávanie informácií, štatistické modelovanie jazyka, strojový preklad, automatické rozpoznávanie a porozumenie recˇi a pod. Jednotlivé disciplíny však vo väcˇšine prípadov úzko súvisia, dop´lnˇajú sa, a pomocou nich je možné l’ud’om ul’ahcˇit’ prácu, štúdium, komunikáciu, cˇi zábavu. Jednou z najaktuálnejších úloh v oblasti spracovania prirodzeného jazyka je aj automatické rozpoznávanie recˇi (ARR), ktorému sa v našom laboratóriu intenzívne venujeme. Vd’aka viacerým zlepšeniam v oblasti automatického rozpoznávania recˇi v slovencˇine sme schopní rozpoznat’ l’udskú recˇ s dostatocˇnou presnost’ou v mnohých aplikacˇných úlohách, avšak komplexné porozumenie významu je v súcˇasnosti jednou z najnárocˇnejších úloh pri návrhu rôznych interaktívnych recˇových rozhraní a to nielen v slovencˇine. V tomto cˇlánku budú predstavené nami navrhnuté prístupy na spracovanie prirodzeného jazyka pre interaktívne recˇové rozhrania v slovencˇine. 2 2.1 Rozsiahly korpus písaných textov použitý vo viacerých oblastiach spracovania prirodzeného jazyka v Laboratóriu recˇových a mobilných technológií bol vytvorený pomocou nami navrhnutého systému na dolovanie a spracovanie textových dokumentov z webových stránok dostupných na sieti Internet s názvom webAgent [ 1, 2 ]. Systém doluje textové dáta z rôznych domén a elektronických zdrojov písaných v slovencˇine a pomocou preddefinovaných pravidiel na prepis cˇísloviek, symbolov a skratiek ich spracúva do ich vyslovovanej podoby. Systém je navyše rozšírený o metódy tokenizácie, segmentácie na vety, metódy na kontrolu duplicity na úrovni adresy zdroja textu a obsahu dokumentu, a tiež o metódy filtrácie viet obsahujúcich vel’ké množstvo gramaticky nespisovných slov, cˇíslic, akronymov, symbolov, skratiek, a iných cudzojazycˇných a mimoslovníkových slov. Spracovaný text je následne rozdelený do menších celkov, t.j. podkorpusov, pomocou úcˇinných metód na kategorizáciu textových dokumentov. Súcˇasný korpus písaných textov v slovencˇine obsahuje približne 2,25 mld. tokenov obsiahnutých v 125 mil. vetách. 2.2

Kategorizácia textu

S narastajúcim množstvom textových dokumentov stiahnutých zo siete Internet a potrebou vytvárat’ cˇoraz presnejšie doménovo orientované interaktívne recˇovozaložené systémy a rozhrania, sa vynorila otázka kategorizovat’ textové dáta nielen podl’a adresy (URL) zdroja textu, odkial’ daný textový dokument pochádza, ale aj na úrovni jeho obsahu. Navyše webová adresa zdroja textu nemusí byt’ hned’ jednoznacˇným identifikátorom obsahu dokumentu, vychádzajúc tiež z predpokladu, že jeden dokument môže pojednávat’ o viacerých témach. Kategorizácia textu má preto vel’ký význam pri návrhu a tvorbe robustných doménovo orientovaných systémov na automatické rozpoznávanie recˇi, ale aj v iných úlohách využívajúcich textové dáta ako zdroj informácií, napr. pri návrhu a vývoji interaktívnych recˇovo-založených rozhraní.

Narozdiel od metód zhlukovania, kde dokumenty s využitím štatistických prístupov spájame do urcˇitého pocˇtu zhlukov, v ktorých tému vopred nepoznáme, pri kategorizácii dokumentov sa snažíme zadelit’ dokumenty do dvoch alebo viacerých tried na základe ich minimálnej vzdialenosti, resp. sémantickej podobnosti, udávajúcej prienik slov alebo celých fráz medzi dokumentami. V oboch prípadoch je nutné identifikovat’ tému v danom zhluku, resp. triede, a to bud’ pomocou prístupov založených na extrakcii kl’úcˇových slov, pravdepodobnostných prístupov založených na výpocˇte podobnosti dokumentov pomocou dištancˇných metrík, alebo ich kombináciou.

Pocˇiatocˇný výskum v oblasti kategorizácie textových dokumentov bol venovaný metódam zhlukovania pomocou iteracˇných algoritmov založených na k-means a k-medoid zhlukovaní a na hierarchickom zhlukovaní využívajúcom aglomeracˇné a divizívne kritérium [ 3 ]. Ako najvhodnejším prístupom sa ukázalo hierarchické zhlukovanie textu s využitím aglomeracˇného kritéria pri zhlukovaní cˇlánkov zo slovenskej Wikipédie. Tento spôsob zhlukovania dokumentov sme porovnali s nami navrhnutou metódou založenou na klasifikácii textových dokumentov pomocou kl’úcˇových fráz využívajúcou F-skóre ako hodnotiace kritérium [ 4 ]. Nami navrhnutý spôsob klasifikácie sa výsledkami ukázal porovnatel’ný k hierarchickému zhlukovaniu, avšak hlavnou nevýhodou navrhnutej metódy je nutnost’ mat’ k dispozícii zoznamy kl’úcˇových slov, resp. fráz pre jednotlivé domény a v procese klasifikácie textu je nutné správne (v ideálnom prípade automaticky) nastavit’ vhodný prah delenia. Tento typ klasifikácie sme v nasledujúcom výskume zameranom na kategorizáciu textu v úlohe robustného doménovo orientovaného modelovania jazyka rozšírili o d’alšie tri metriky urcˇujúce vzdialenost’, resp. podobnost’ medzi dokumentami, konkrétne o Bhattacharyyaov koeficient, Jaccardov index a Jensenovu-Shannonovu divergenciu. Ako najvhodnejšou mierou v úlohe klasifikácie textu sa javí použitie Jaccardovho indexu pri výpocˇte podobnosti dokumentov [ 5 ].

Iným spôsobom je použitie metód nekontrolovaného ucˇenia v úlohe kategorizácie textových dokumentov. Vo viacerých súcˇasných výskumoch zaoberajúcich sa modelovaním jazyka sme pri kategorizácii dokumentov siahli po latentnej Dirichletovej alokácii (z angl. „ latent Dirichlet allocation“, skr. LDA). LDA je charakterizovaná ako generatívny pravdepodobnostný model, ktorý vychádza z multinomického a Dirichletovho rozdelenia pravdepodobnosti [ 6 ]. Zavedenie LDA v úlohe modelovania slovenského jazyka pri automatickom prepise diktovaných súdnych rozhodnutí prinieslo tiež výrazné zníženie perplexity modelov a miery chybovosti systému ARR [ 7 ].

3 Identifikácia tokenov a vetných hraníc

Prvým krokom v spracovaní textu je jeho príprava a prepis cˇíslic, symbolov a skratiek do ich vyslovovanej podoby. Úlohou je pomocou sústavy pravidiel identifikovat’ také textové jednotky, ktoré sú zaujímavé z hl’adiska d’alšieho spracovania, t.j. úprava na jednotný spôsob zápisu a eliminácia nepodstatných cˇastí. Predspracovanie je tak nevyhnutným krokom pre akékol’vek d’alšie štatistické spracovanie, zvlášt’ v prípade textov stiahnutých z Internetu.

Najdôležitejšou cˇast’ou predspracovania textu je jeho tokenizácia. Jej ciel’om je identifikácia jednotlivých slov a vetných hraníc, ktoré môžu slúžit’ ako vstup do dalšieho spracovania. V tomto kroku sa tiež snažíme zjednotit’ spôsob zápisu cˇíslic, diakritiky, interpunkcie, akronymov, symbolov, skratiek a iných významových jednotiek.

Tokenizácia sa zvycˇajne vykonáva postupnou aplikáciou vhodne zapísaných regulárnych výrazov, ktoré obsahujú pravidlá pre identifikáciu textových jednotiek, dôležitých pre d’alšie spracovanie. Nepodstatné cˇasti textu, ktoré nie sú pokryté pravidlami, sú z textu vynechané. Nami navrhnutý tokenizátor identifikuje tieto cˇasti textu: diaktritika, slová, akronymy, symboly, skratky, zoznamy, odseky, cˇísla, e-mailové adresy a adresy URL. Identifkácia vetných hraníc je d’alej vykonávaná pomocou rozlíšenia významu bodky, jej desambiguáciou. V slovenských textoch môže byt’ bodka súcˇast’ou oznacˇenia cˇíselného poradia, skratky alebo e-mailovej alebo webovej adresy.

Na zacˇiatku procesu identifikácie významovýchcˇastí je vstupný ret’azec porovnaný so všetkými pravidlami v databáze. Pravidlo, ktoré vyhovuje najdlhšiemu textu, je vybraté a jeho zodpovedajúci text je prepísaný podl’a požiadaviek. Tento text je potom odstránený zo vstupného ret’azca. Ak nevyhovuje žiadne pravidlo, vstupný ret’azec je skrátený o jeden znak a prehl’adávanie bázy pravidiel pokracˇuje. Výsledkom tokenizácie je text, kde sú textové jednotky oddelené medzerou a vety novým riadkom.

Proces identifikácie tokenov je zvycˇajne výpocˇtovo nárocˇný. Pre urýchlenie sme všetky pravidlá zapísali v špeciálnom jazyku Ragel [ 8 ] a spojili do jediného stavového automatu v programovacom jazyku C, z ktorého je zvycˇajným spôsobom vytvorený spustitel’ný súbor resp. knižnica [ 9 ]. Podrobnejšie informácie možno nájst’ v [ 1 ]. 4

Anotácia textu

Tam kde to je možné, využívame pre anotáciu textu prístupy založené na štatistickom modelovaní. V trénovacej databáze sú zvycˇajne tokenom priradené urcˇité triedy alebo morfologické znacˇky. Štatistický klasifikátor analyzuje trénovací korpus a je schopný priradit’ najpravdepodobnejšiu znacˇku aj takým kontextom, ktoré sa v trénovacej databáze nevyskytujú. Slovencˇina sa vyznacˇuje relatívne vol’ným poradím slov vo vetách, vysokým pocˇtom morfologických tvarov slov a gramatických výnimiek. Pocˇet možných kontextov tak môže byt’ vel’mi vysoký, a to st’ažuje úlohu natrénovania cˇo možno najpresnejšieho štatistického klasifikátora. 4.1

Rozpoznávanie pomenovaných entít

Z dôvodu nedostatku trénovacích dát pre rozpoznávanie pomenovaných entít v súcˇasnosti využívame systém založený na pravidlách. Systém využíva sadu slovníkov, regulárnych výrazov a viacslovných pomenovaní, ktoré sú spojené do unifikovaného systému na automatický prepis Národný korpus jazyka pol’ského Cˇeský akademický korpus (v2.0)

Slovenská cˇast’ korpusu W2C

Mad’arský webový korpus korpus

TreeTagger

Dagger anotácia manuálna manuálna automatická automatická pomenovaných entít. Tento na pravidlách založený systém pracuje podobne ako tokenizátor, pomocou stavového automatu. Rozpoznané pomenované entity je možné využit’ v rôznych úlohách spracovania prirodzeného jazyka v slovencˇine. Vzhl’adom na to, že autorom systému na rozpoznávanie pomenovaných entít nie je v súcˇasnosti známy žiaden iný porovnatel’ný nástroj vytvorený pre slovencˇinu, ani databáza vhodná na testovanie, nie je preto možné tento nástroj správne ohodnotit’ a vycˇíslit’ jeho úspešnost’. 4.2

Morfologická analýza textu

Morfologické znacˇky sú jedným z najdôležitejších príznakov v spracovaní prirodzeného jazyka. Z toho dôvodu sme morfologický klasifikátorDagger [ 10 ] navrhli tak, aby bral do úvahy špecifické vlastnosti flektívnych jazykov. Klasifikátor je založený na skrytom Markovovom modeli (z angl. „ hidden Markov model“, skr. HMM) druhého rádu a najpravdepodobnejšia postuponost’ morfologických znacˇiek je vyhl’adávaná Viterbiho algoritmom.

Nami navrhnutý HMM klasifikátor Dagger pre morfologickú analýzu flektívnych jazykov sa skladá z nasledujúcich štyroch cˇastí: 1. lexikón, ktorý navrhuje množinu možných znacˇiek na základe slova alebo jeho koncovky; 2. model prechodov, ktorý vyjadruje pravdepodobnost’ nasledujúcej znacˇky na základe dvoch predchádzajúcich, 3. model pozorovaní, ktorý vyjadruje pravdepodobnost’ slova na základe možnej znacˇky; 4. a v prípade, že skúmané slovo sa nenachádza v trénovacej databáze, využije sa dodatocˇný model pozorovaní, ktorý vyjadruje pravdepodobnost’ stavu na základe koncovky daného slova.

Je vhodné poznamenat’, že algoritmus obsiahnutý v morfologickom analyzátore Dagger využíva vlastný algoritmus na automatickú identifikáciu koncoviek slov založený na minimálnej opisnej d´lžke.

Na natrénovanie klasifikátora pre slovenský jazyk sme využili pocˇetnosti trigramov slov z rucˇne morgologicky anotovaného korpusu r-mak-2.0 1 a množinu morfologických znacˇiek 2, získaných zo Slovenského národného korpusu Jazykovedného ústavu L’udovíta Štúra na Slovenskej akadémii vied v Bratislave. Algoritmus sme uplatnili 1http://korpus.sk/ver_r(2d)mak.html 2http://korpus.juls.savba.sk/attachments/morpho/tagset-www.pdf najmä pri morfologickej analýze korpusu písaných textov v slovencˇine a pri trénovaní štatistických modelov jazyka založených na triedach slov v systémoch na automatické rozpoznávanie plynulej recˇi v slovencˇine [ 11, 12 ].

Presnost’ klasifikácie nami navrhnutého morfologického analyzátora Dagger sme porovnali s dobre známym slovnodruhovým (z angl. „ part-of-speech“, skr. PoS) znacˇkovacˇom TreeTagger [ 13 ], ktorého algoritmus je založený na rozhodovacích stromoch. Pre porovnanie presnosti klasifikácie sme morfologické analyzátory vyhodnotili na štyroch rôznych manuálne resp. automaticky anotovaných textových korpusoch, a to na Národnom korpuse jazyka pol’ského [ 14 ], Cˇ eskom akademickom korpuse, vo verzii 2.0 [ 15 ], Mad’arskom webovom korpuse [ 16 ], a na slovenskej cˇasti textového korpusu Web to Corpora [ 17 ]3. V Tab. 1 sú znázornené výsledky miery chybnej klasifikácie, ktoré ukazujú, že nami navrhnutý algoritmus morfologickej analýzy dosahuje porovnatel’nú presnost’ s klasifikáciou obsiahnutou v nástroji TreeTagger. 4.3

Doplnˇovanie diakritiky

Cˇ astým javom pri komunikácii medzi l’udmi prebiehajúcej na sieti Internet je vysoký výskyt preklepov a chýbajúca diakritika. Hoci cˇloveku to väcˇšinou pri porozumení správy nerobí problém, pri pocˇítacˇovom spracovaní prirodzeného jazyka je potrebné nájst’ vhodný spôsob pre rozlíšenie významu nejednoznacˇných zápisov na základe okolitého kontextu. Z toho dôvodu sme sa venovali aj problému automatického doplnˇovania diakritiky slov [ 18 ].

Podobne ako pri návrhu morfologického analyzátora sme pri rekonštrukcii diakritiky využili algoritmus využívajúci skrytý Markovov model. V tomto prípade je však matica prechodov tvorená trigramovým jazykovým modelom a matica pozorovaní je trénovaná pomocou algoritmu pre generovanie nesprávnych zápisov na texte, ktorý je pokladaný za správny. Úspešnost’ navrhnutého systému na automatické doplnˇovanie diakritiky v korpusoch textov z blogov písaných v slovenskom jazyku dosahuje úrovenˇ až 85%. Podobný nástroj na rekonštrukciu diakritiky pre slovencˇinu, využívajúci štatistické modely jazyka vysokého rádu, bol vytvorený tiež tímom pracovníkov v Slovenskom národnom korpuse Jazykovedného ústavu L’udovíta Štúra na Slovenskej akadémii vied v Bratislave4. 3https://lindat.mff.cuni.cz/repository/xmlui/ 4http://korpus.juls.savba.sk/diakritik.html Obr. 1: Webové rozhranie k systémom na spracovanie prirodzeného jazyka na KEMT FEI TU v Košiciach 4.4

On-line webové rozhranie

Pre úcˇely demonštrácie a testovania presnosti tokenizácie, morfologickej analýzy a automatického doplnˇovania diakritiky slov sme k nami navrhnutým nástrojom na pocˇítacˇové spracovanie prirodzeného jazyka v slovencˇine vytvorili aj jednoduché on-line webové rozhranie5, ktoré je znázornené na Obr. 1 a opísané v cˇlánku [ 11 ]. 5

Aktivity v oblasti aplikovaného výskumu

5.1 Štatistické modelovanie jazyka

Konštrukcia štatistického modelu jazyka pre slovencˇinu, ktorá patrí do skupiny vysoko flektívnych jazykov, je ovel’a obtiažnejšia, než vytvorenie štatistického modelu pre jazyk anglický. Prvým dôvodom je neusporiadanost’ slovenského jazyka, cˇo vedie k vol’nejším pravidlám ret’azenia slov do viet. Druhým je samotná flektívnost’ jazyka, ktorá vytvára predpoklad pre mnohonásobne väcˇší slovník, než je to v prípade jazyka anglického.

Súcˇasný stav v oblasti štatistického modelovania jazyka v slovencˇine v doposial’ navrhnutých systémoch na interakciu cˇloveka so strojom hovorenou recˇou a automatické rozpoznávanie a prepis plynulej recˇi to textu sa opiera o poznatky z oblasti modelovania príbuzných jazykov, najmä jazyka cˇeského, pol’ského, slovinského, srbochorvátskeho, cˇi ruského. Cˇ o sa týka samotného modelovania pomocou štatistických metód, hlavným predpokladom pri tvorbe kvalitného jazykového modelu je dôsledné predspracovanie textového korpusu, ktorý vstupuje do procesu trénovania. Zvýšenú pozornost’ je vhodné preto venovat’ najmä prepisu cˇísloviek a skratiek, a v neposled5http://nlp.web.tuke.sk/ nom rade aj generovaniu ohybných tvarov vlastných podstatných mien, ktoré tvoria kritickú cˇast’ pri tvorbe akéhokol’vek štatistického modelu jazyka. Taktiež slovník, ktorý vstupuje do procesu trénovania, ale aj samotného rozpoznávania recˇi, musí byt’ v podmienkach reálneho nasadenia systému ARR obmedzený cˇo do pocˇtu slov. Ukázalo sa, že dobré výsledky modelovania slovenského jazyka sa dosahujú už pri vel’kosti 100–150 tisíc slov pri doménovo orientovanom automatickom prepise diktovanej recˇi do textu a 300–400 tisíc slov v úlohách všeobecného rozpoznávania spontánnej recˇi [ 19 ].

V oblasti adaptácie modelov jazyka na vybranú tému alebo prehovor recˇníka sa ukázalo, že metódy, ktoré vykazovali pozoruhodné výsledky pre štatisticky viac závislé jazyky (ako napr. anglicˇitna), v prípade slovencˇiny nebolo pozorované výrazné zlepšenie. Z toho dôvodu je použitie metódy lineárnej interpolácie tematicky zameraných modelov jazyka viac než postacˇujúce, pricˇom výpocˇet interpolacˇných váh by mal byt’ urcˇený minimalizáciou perplexity modelov na množine odložených dát. Ako adaptacˇné dáta je vhodné použit’ bud’ textové dáta získané z prepisov recˇových nahrávok obsiahnutých v recˇových databázach, alebo písané texty cˇo možno najviac príbuzné doméne, v ktorej rozpoznávanie recˇi prebieha [ 20 ].

Kvalitu jazykového modelu, ako aj úspešnost’ samotného rozpoznávania recˇi je možné zlepšovat’ množstvom optimalizacˇných techník. Jednou z možností je modelovat’ vysoko frekventované javy pomocou viacslovných výrazov. Takéto výrazy pokrývajú zväcˇša kontext dvoch–troch slov a zvycˇajne sú tvorené odbornými termínmi, resp. spojením predložky s podstatným, cˇi prídavným menom. Na základe experimentov opísaných v [ 19 ] konštatujeme, že viacslovné výrazy, aj ked’ len v malej miere, dokážu prispiet’ k zlepšeniu presnosti rozpoznávania plynulej recˇi, a to najmä na zacˇiatku recˇového prejavu pri rozpoznávaní krátkych jednoslabicˇných slov a nadobúdajú na význame aj v cˇiastkových úlohách pri reprezentácii viacslovných pomenovaní v jazykovom modeli, a tým prispievajú aj k postspracovaniu dát po rozpoznaní systémom ARR.

Dˇalšou možnost’ou je modelovat’ málopocˇetné javy v jazyku pomocou morfémových modelov. Delením singletónov a javov s vel’mi malým výskytom vo vybranom jazyku na subslovné jednotky (korenˇ a koncovku), je možné štatisticky pokryt’ aj také javy, ktoré sa priamo v jazykovom modeli nevyskytujú. Výsledky modelovania slovenského jazyka pomocou morfémových modelov ukazujú výraznú redukciu pocˇtu mimoslovníkových tvarov a perplexity modelov približne o jednu tretinu [ 21 ].

Naopak javy, ktoré sa v danom jazyku menia dynamicky a pocˇet všetkých možných tvarov ohybných slov nie je v jazyku limitovaný, je vhodné modelovat’ pomocou modelov založených na triedach slov. Medzi takéto javy možno zahrnút’ najmä vlastné podstatné mená, ako sú krstné mená, priezviská, geografické názvy alebo cˇíslovky. Experimentálne výsledky modelovania slovenského jazyka pomocou slovných tried odvodených od koncoviek slov ukazujú mierne zlepšenie presnosti rozpoznávania recˇi oproti štandardným modelom približne o 5% v relatívnej miere a sú urcˇitým kompromisom medzi modelmi založenými na slovných druhoch a štandardnými modelmi, cˇo do pocˇtu slovných tried, percenta mimoslovníkových slov, cˇi perplexity jazykového modelu [ 22 ].

Pri tvorbe jazykových modelov použitel’ných v systémoch na automatický prepis spontánnej recˇi je cˇasto nevyhnutné sa vysporiadat’ aj s rôznymi mimorecˇovými prejavmi, ktoré pochádzajú priamo do recˇníka. Tie sú spôsobené zlou výslovnost’ou, nevhodnou artikuláciou a nedokonalost’ou recˇového prejavu. Modely vložených páuz a dysfluentných javov sa preto snažia podchytit’ a zahrnút’ do jazykového modelu rôzne suprasegmentálne javy obsiahnuté v recˇovom prejave, ako napr. zaváhanie, prolongovanie a opakovanie slov resp. fráz, skomolenie slov, cˇi cˇasté dýchanie. Tieto javy vo vysokej miere vplývajú aj na celkovú chybovost’ systému ARR. Bolo dokázané, že vhodným výberom a správnou reprezentáciou vybraných typov vložených páuz a dysfluentných javov v slovníku výslovnosti a v modeli jazyka je možné dosiahnut’ zlepšenie presnosti rozpoznávania recˇi relatívne až do 10%.

V neposlednom rade, kvalitu jazykového modelu je možné zvýšit’ aj na úrovni rozširovania štatistík pomocou internetových vyhl’adávacˇov [ 7 ], prekladom slov alebo slovných párov z príbuzných jazykov a pod.

Oblast’ štatistického modelovania slovenského jazyka má za sebou krátku minulost’ a donedávna jej nebola venovaná taká pozornost’ ako napr. v susednej Cˇ eskej republike. Z toho dôvodu bolo nevyhnutné pri tvorbe štatistických modelov slovenského jazyka, ako aj pri samotnom spracovaní textových dát, ktoré sa používajú najmä v procese ich trénovania a adaptácie, podrobne naštudovat’ aj oblast’ komputacˇnej lingvistiky, a vytvorit’ tak rad programových nástrojov na pocˇítacˇové spracovanie slovenského jazyka. Absencia dostupnosti niektorých kl’úcˇových nástrojov slúžiacich najmä k morfologickej cˇi syntaktickej analýze tiež obmedzili použitie jazykových modelov založených na triedach slov v plnom rozsahu, aj ked’ prvé kroky v tejto oblasti už boli uskutocˇnené. Napriek týmto obmedzeniam, modely slovenského jazyka dosahujú vysokú úspešnost’ na úrovni 84–95% v reálnych aplikáciách systému ARR, ktorých výsledky sú zhrnuté v Tab. 2, od jednoduchých hlasových rozhraní slúžiacich na ovládanie robotických systémov, cez jednoduché recˇové dialógové manažéry poskytujúce hlasové, interaktívne, cˇi multimodálne služby, až ku komplexným diktacˇným a transkripcˇným systémom, ktoré pracujú s vel’mi vel’kými slovníkmi, nezávisle od recˇníka, dokážu sa adaptovat’ na vybranú tému, cˇi konkretného recˇníka, sú robustné a prebiehajú v reálnom cˇase [ 7, 12, 20, 23 ].

Vd’aka narastajúcemu záujmu o interaktívne recˇové technológie v slovenskom jazyku sa d’alšie smerovanie v tejto oblasti uberá cestou využitia doménovo orientovaných modelov jazyka pri tvorbe diktacˇných systémov aj pre takú oblast’ ako je medicína, d’alej systémov na automatický prepis akademických prednášok, spravodajských relácií, športových prenosov, televíznych, rozhlasových, cˇi parlamentných debát, resp. obchodných rokovaní v malých konferencˇných miestnostiach s viacerými úcˇastníkmi, a to s využitím robustných algoritmov na adaptáciu jazykových modelov na vybranú tému alebo recˇníka [ 20 ], ale aj d’alších aplikácií urcˇených pre robotické systémy. úloha * Presnost’ (z angl. „ accuracy“, Acc) automatického prepisu vychádza z miery chybovosti slov (z angl. „ word error rate“), definovanej ako minimálna vzdialenost’ medzi referencˇnou sekvenciou slov a automatickým prepisom po rozpoznaní.

Tabul’ka 2: Celková presnost’ jazykových modelov v doposial’ navrhnutých systémoch na automatické rozpoznávanie a prepis recˇi do textu v slovenskom jazyku

5.2 Porozumenie prirodzeného jazyka

K tomu, aby bolo možné obohatit’ pocˇítacˇové systémy o schopnost’ skutocˇného porozumenia prirodzenej recˇi a jazyka, je potrebné realizovat’ proces sémantickej analýzy, a získaný význam tak vhodným spôsobom zachytit’ a zosúladit’ s databázou znalostí. Je možné konštatovat’, že ide o nel’ahkú úlohu, vzhl’adom na komplexnost’ slovenského jazyka, jej sémantiky a ostatných faktorov, ktoré súvisia s porozumením. Aj ked’ sémantická analýza nie je hlavným zameraním nášho laboratória, pre využitie systému ARR v aplikáciách interakcie cˇloveka so strojom hovorenou recˇou, je nevyhnutné sa vysporiadat’ s interpretáciou vyjadrení tiež v prirodzenom jazyku.

V systéme IRKR [ 24 ] sme na tento úcˇel implementovali v jednotke riadenia dialógu podporu jazyka pre sémantickú analýzu – W3C SISR, ktorý umožnˇuje vložit’ interpretacˇné inštrukcie priamo do deterministických gramatík, napísaných podl’a W3C odporúcˇania SRGS. V danom prípade sa jednalo iba o limitované porozumenie, ktoré bolo zamerané skôr na naplnenie doménovo špecifických sémantických slotov hodnotami získanými z recˇoveho prejavu používatel’a. Takéto riešenie bolo v tom cˇase pomerne komfortné a postacˇujúce pre celý rad recˇových aplikácií a rozhraní, ktoré poskytujú tzv. recˇovo-založené dialógové systémy.

Pri riešení projektu zameraného na implementáciu hlasového ovládania do robotickej platformy, kde kvôli kompaktnosti a rýchlosti systému na limitovanom hardvéri nebolo možné použit’ recˇové gramatiky, ked’že komplexnost’ riadiacich povelov bola omnoho väcˇšia, implementovali sme pre tento úcˇel tzv. „ keyword-spotting“ techniku sémantickej analýzy. Vytvorili sme viacero doménovošpecifických sémantických slotov, ktoré zachytávali preddefinované slová z recˇového dopytu používatel’a [ 23 ].

Spolu s návrhom a vývojom systémov ARR, nielen pre rozpoznávanie jednoduchých povelov a fráz, ale aj pre diktovanú a spontánnu recˇ, vzrastali nároky na ich interpretáciu a predchádzajúce prístupy pre ne neboli použitel’né. Pre potreby rozpoznávania plynulej recˇi sa namiesto deterministických gramatík zacˇali vo vel’kom využívat’ štatistické modely jazyka, nakol’ko plynulá recˇ poskytuje podstatne väcˇšiu výrazovú variabilitu.

Zvlášt’ dôležitou sa sémantická analýza a interpretácia ukázala pri experimentovaní s virtuálnym konverzacˇným agentom, ktorý má l’udský zjav [ 25 ]. Pri takomto druhu komunikácie má cˇlovek tendenciu ocˇakávat’ od virtuálneho konverzacˇného agenta podobné výrazové prostriedky ako majú l’udia, predovšetkým v oblasti komunikacˇných schopností a porozumenia, ktoré spolu úzko súvisia. Dˇalším špecifikom je, že systémy s hlasovým rozhraním sa stávajú viac doménovo nezávislými, teda umožnˇujú dialógovú interakciu v rámci množstva tém (ako napr. Apple SIRI6 a pod.), cˇo posúva interpretáciu významu d’alej, od relatívne „bezpe cˇných“ doménových sémantických slotov k viac všeobecným sémantickým roliam.

T. E. Payne v [ 26 ] definuje sémantické roly nasledovne: „ Sémantická rola predstavuje základný vzt’ah, ktorý daná entita má k hlavnému slovesu vo vete.“ Dˇalej vysvetl’uje, že: „ Sémantická rola je aktuálna rola, ktorú participant hrá v nejakej reálnej alebo imaginárnej situácii, bez ohl’adu na lingvistickú realizáciu danej situácie.“

Aj ked’ je teória sémantických rolí a s nimi súvisiacich valencˇných rámcov slovies pomerne dobre rozpracovaná pre rôzne jazyky, neexistujú však žiadne systémy na automatické urcˇovanie sémantických rolí (z angl. „ automatic semantic roles labeling“, skr. ASRL) v sloven cˇine. Za vel’mi dôležitú prácu v oblasti automatického urcˇovania sémantických rolí pre slovencˇinu možno považovat’ prácu E. Paleša, ktorý detailne opísal proces porozumenia prirodzeného jazyka na jednotlivých vrstvách a vyvinul prvý systém SAPFO – Parafrázovacˇ slovencˇiny, ktorého súcˇast’ou bol aj modul pre urcˇovanie sémantických rolí [ 27 ]. Tento systém však nie je podl’a našich vedomostí vol’ne dostupný. Navyše sa jedná o deterministický systém, ktorý ako konštatuje M. Laclavík [ 28 ], nie je možné uspokojivo skonštruovat’ pre analýzu slovenského jazyka, z dôvodu vel’kého množstva výnimiek. Z tohto pohl’adu sú štatistické metódy jednoznacˇne lepšou vol’bou.

Štatistické metódy pre systémy ASRL využívajú tzv. štatistické modelovanie typické pre rôzne úlohy v oblasti spracovania prirodzeného jazyka. Pre natrénovanie štatistických modelov je potrebná textová databáza anotovaná na úrovni sémantických rolí, ktorá v prípade slovencˇiny doposial’ prakticky neexistovala. Oznacˇenie vetných participantov pomocou sémantických rolí je nárocˇná úloha a vyžaduje tiež dobré lingvistické znalosti.

Vzhl’adom na neexistenciu databázy pre slovencˇinu anotovanej na úrovni sémantických rolí, sme sa rozhodli vytvorit’ aj takýto druh korpusu. Korpus SEMIENKO [ 29 ] 6https://www.apple.com/ios/siri/ aktuálne obsahuje tristo viet v slovenskom jazyku anotovaných podl’a nami modifikovanej dvojúrovnˇovej schémy na oznacˇovanie sémantických rolí, prevzatej z anotacˇnej schémy podl’a E. Paleša [ 27 ] a upravenej pre potreby automatickej sémantickej analýzy. Sémantická anotácia korpusu SEMIENKO je ilustrovaná na nasledujúcom príklade:

AGS|KOG[Ján] VRB[spoznal] PAC|FEN[Máriu] . Úloha automatického urcˇovania sémantických rolí všeobecne pozostáva z dvoch základných cˇastí, a to z rozdelenia viet na vetné participanty a následného priradenia sémantických rolí daným participantom. Pre klasifikáciu vetných participantov sme experimentálne vyskúšali dve techniky. Prvá metóda modeluje jednotlivé pravdepodobnosti nepriamo pomocou n-gramových modelov [ 30 ], pricˇom úcˇinnost’ klasifikácie na danom korpuse dosahuje úspešnost’ na úrovni 48%. Druhá metóda využíva modifikovaný HMM klasifikátor, obsiahnutý v nástroji Dagger [ 10 ], ktorý v procese prehl’adávania výstupnej sekvencie implementuje Viterbiho dekódovanie. Úspešnost’ tohto typu klasifikácie v súcˇasnosti dosahuje úrovenˇ až 56%, cˇo je vzhl’adom na vel’kost’ trénovacej množiny adekvátne. Na základe predbežných výsledkov sémantickej analýzy v slovenskom jazyku môžeme konštatovat’, že pre d’alšie zlepšenie je nevyhnutné významne rozšírit’ manuálne anotovaný korpus, cˇo je však nel’ahká a vel’mi pracná úloha. 6

Záver V tomto príspevku boli predstavené úlohy z oblasti spracovania a modelovania slovenského jazyka, ktorým sa v Laboratóriu recˇových a mobilných technológií na KEMT FEI TU v Košiciach v súcˇasnosti intenzívne venujeme. Je možné konštatovat’, že úspešnost’ nami navrhnutých algoritmov stále dobieha úrovenˇ svetových výskumov, avšak súcˇasné výsledky je možné už teraz aplikovat’ v rôznych systémoch na rozpoznávanie a porozumenie recˇi, ale aj v iných systémoch intrakcie cˇloveka so strojom hovorenou recˇou, ktoré na našom pracovisku vyvíjame.

Pod’akovanie

Táto práca vznikla realizáciou projektu Univerzitný vedecký park TECHNICOM pre inovacˇné aplikácie s podporou znalostných technológií (kód ITMS: 26220220182) vd’aka podpore operacˇného programu Výskum a vývoj spolufinancovaného zo zdrojov Európskeho fondu regionálneho rozvoja (25%) a výskumných projektov: Výskum a vývoj modulov pre jazykovo-adaptívne multimodálne rozhrania na základe Zmluvy cˇ. SK-HU-2013-0015 podporujúcej spoluprácu medzi organizáciami v Slovenskej republike a v Mad’arsku (50%), a Slovník viacslovných pomenovaní (lexikografický, lexikologický a komparatívny výskum) v rámci projektu APVV-0342-11 (25%), realizovaných vd’aka podpore Agentúry na podporu výskumu a vývoja financovanej z prostriedkov Ministerstva školstva, vedy, výskumu a športu Slovenskej republiky. Literatúra

References

[1] Hládek , D. , Staš , J.: Text mining and processing for corpora creation in Slovak language . Journal of Computer Science and Control Systems . 3 , 1 ( 2010 ) 65 - 68

[2] Hládek , D. , Staš , J. , Juhár , J.: Building organized text corpora for speech technologies in the Slovak language. Jazykovedné štúdie XXXI: Rozvoj jazykových technológií a zdrojov na Slovensku a vo svete (10 rokov Slovenského ná- rodného korpusu) . 31 ( 2014 ) 173 - 181

[3] Zlacký , D. , Staš , J. , Juhár , J. , Cˇižmár , A.: Slovak text document clustering . Acta Electrotechnica et Informatica . 13 , 2 ( 2013 ) 3 - 7

[4] Zlacký , D. , Staš , J. , Cˇ ižmár, A.: Supervised text document clustering algorithm with keywords in Slovak . In Proc. of the 7th Int. Workshop on Multimedia and Signal Processing , Redžúr 2013 . Smolenice, Slovakia ( 2013 ) 31 - 34

[5] Staš , J. , Juhár , J. , Hládek , D. : Classification of heterogeneous text data for robust domain-specific language modeling . EURASIP Journal on Audio, Speech and Music Processing . 2014 , 14 ( 2014 ) 1 - 12

[6] Zlacký , D. , Staš , J. , Juhár , J. , Cˇižmár , A.: Text categorization with latent Dirichlet allocation . Journal of Electrical and Electronics Engineering . 7 , 1 ( 2014 ) 161 - 164

[7] Staš , J. , Hládek , D. , Juhár , J.: Recent advances in the statistical modeling of the Slovak language . In Proc. of the 56th Int. Symp. ELMAR 2014 . Zadar, Croatia ( 2014 ) 39 - 42

[8] Thurson , A. : Parsing computer languages with an automaton compiled from a single regular expression . In Implementation and Application of Automata: Proc. of the 18th Intl. Conf. CIAA 2013 , Halifax , NS , Canada. Ibarra, O. H. , Yen , H. Ch . (Eds.). LNCS 4094 . Springer Berlin Heidelberg ( 2006 ) 285 - 286

[9] C ´avar , D. , Jazbec , I.-P. , Stojanov , T.: CroMo - Morphological analysis for standard Croatian and its synchronic and diachronic dialects and variants . In Proc. of the 8th Int. Conf. on Finite-State Methods and Natural Language Processing , FSMNLP 2009 . Pretoria, South Africa ( 2009 ) 183 - 190

[10] Hládek , D. , Staš , J. , Juhár , J.: Dagger: The Slovak morphological classifier . In Proc. of the 54th Int. Symp. ELMAR 2012 . Zadar, Croatia ( 2012 ) 195 - 198

[11] Hládek , D. , Ondáš , S. , Staš , J.: Online natural language processing of the Slovak language . In Proc. of the 5th IEEE Int. Conf. on Cognitive Infocommunications , CogInfoCom 2014 . Vietri sul Mare , Italy ( 2014 ) 315 - 316

[12] Rusko , M. , Juhár , J. , Trnka , M. , Staš , J. , Darjaa , S. , Hlá- dek, D., Sabo , R. , Pleva , M. , Ritomský , M. , Ondáš , S. : Recent advances in the Slovak dictation system for judicial domain . In Proc. of the 6th Language and Technology Conference: Human Language Technologies as a Challenge for Computer Science and Linguistics, LTC 2013 , Poznan´, Poland ( 2013 ) 555 - 560

[13] Schmid , H. : Probabilistic part-of-speech tagging using decision trees . In Proc. of Int. Conf. on New Methods in Language Processing . Manchester, UK ( 1994 ) 44 - 49

[14] Przepiórkowski , A. , Górski , R. L. , Łazi n´ski, Pe˛zik, P.: Recent developments in the National corpus of Polish . In Proc. of the 7th Int. Conf. on Language Resources and Evaluation , LREC 2010 . Valletta, Malta ( 2010 ) 994 - 997

[15] Hladká , B. , Hajicˇ , J., Hana , J. , Hlavácˇová, J., Mírovský , J. , Raab , J. : The Czech academic corpus 2.0 guide. The Prague Bulletin of Mathematical Linguistics . 89 ( 2008 ) 41 - 96

[16] Halácsy , P. , Kornai , A. , Németh , L. , Rung , A. , Szakadát , I. , Trón , V. : Creating open language resources for Hungarian . In Proc. of the 4th Int. Conf. on Language Resources and Evaluation , LREC 2004 . Lisbon, Portugal ( 2004 )

[17] Majliš , M. : W2C - Web to Corpus - Corpora. LINDAT/CLARIN Digital Library at Institute of Formal and Applied Linguistics, UFAL , Charles University in Prague, Czech Republic ( 2011 )

[18] Hládek , D. , Staš , J. , Juhár , J.: Unsupervised spelling correction for the Slovak text . Advances in Electrical and Electronics Engineering . 11 , 5 ( 2013 ) 392 - 397

[19] Juhár , J. , Staš , J. , Hládek , D. : Recent progress in development of language model for Slovak large vocabulary continuous speech recognition . In New Technologies - Trends, Innovations and Research , Volosencu, C. (Ed.). InTech Open Access, Rijeka, Croatia ( 2012 ) 261 - 276

[20] Staš , J. , Hládek , D. , Juhár , J. : Language model speaker adaptation for transcription of Slovak parliament proceedings . In Proc. of the 17th Int. Conf. on Speech and Computer , SPECOM 2015 , Athens, Greece ( 2015 ) to be published

[21] Staš , J. , Hládek , D. , Juhár , J. , Zlacký , D. : Analysis of morph-based language modeling and speech recognition in Slovak . Advances in Electrical and Electronic Engineering . 10 , 4 ( 2012 ) 291 - 296

[22] Staš , J. , Hládek , D. , Juhár , J.: Morphologically motivated language modeling for Slovak continuous speech recognition . Journal of Electrical and Electronics Engineering . 5 , 1 ( 2012 ) 233 - 236

[23] Ondáš , S. , Juhár , J. , Holcer , R.: Methodology for training small domain-specific language models and its application in service robot speech interface . Journal of Electrical and Electronics Engineering . 7 , 1 ( 2014 ) 107 - 110

[24] Ondáš , S. , Juhár , J. : Development and evaluation of the spoken dialogue system based on the W3C recommendations . In Product and Services; from R&D to Final Solutions, Fuerstner, I. (Ed.). Scyio, Rijeka, Croatia ( 2010 ) 315 - 330

[25] Ondáš , S. , Juhár , J. , Trnka , M.: SIMONA - The Slovak embodied conversational agent . Intelligent Decision Technologies. 8 , 4 ( 2014 ) 277 - 288

[26] Payne , T. E. : Describing morphosyntax: A guide for field linguists . Cambridge University Press, Cambridge ( 1997 )

[27] Páleš , E. : SAPFO - Parafrázovacˇ slovencˇiny. Veda. Bratislava, Slovenská republika ( 1994 )

[28] Laclavík , M. , Ciglan , M. , Krajcˇi , S. , Hluchý , L. , Furdík , K. : Dostupné zdroje a výzvy pre pocˇítacˇové spracovanie informacˇných zdrojov v slovenskom jazyku . In Proc. of the 1st Workshop on Intelligent and Knowledge Oriented Technologies , WIKT 2006 . Bratislava, Slovakia ( 2006 ) 92 - 98

[29] Staš , J. , Hládek , D. , Ondáš , S. , Juhár , J.: On building the Slovak example-based meaning corpus . In Proc. of the 8th Int. Conf. on NLP , Corpus Linguistics , Lexicography, Slovko 2015 . Bratislava, Slovakia ( 2015 ) to be published

[30] Ondáš , S. , Hládek , D. , Juhár , J.: Semantic roles labeling system for Slovak sentences . In Proc. of the 5th IEEE Int. Conf. on Cognitive Infocommunications , CogInfoCom 2014 . Vietri sul Mare , Italy ( 2014 ) 161 - 166