!"#$&%')(&*+,&-./012 ( 64 3 587:9<;>=!?A@CBEDTWRSN64Z?W[!9ÀaÁ ·Ã~Ä1Å&Æ!Á·ÇîÀ 4È`aBK­“FEJ€8JVF:¬8;S9<`ÉRM5 µF:JL^&¬WB:N±9i^²RS5]„ FEJL`0BxVRSFE5²JL9LJVRS9<‰xBE;Ê ‚“bË6RŠNZÌ*ÍKÎVÏxÐzÑҊÓÑaÔKÕ×ÖsØÙÍKÎZÚxÍUÖsÔEÛ<Ü]ÝMÔKÎÞZßCÎVÍEÛ<ÝMà<Ñâá ãxä ? Y9´]RS\UBK;EåW7ET8JL9UN BEN> ª 9QNV†O5WFE5n†n`Z†ƒBK5W^Z€HF:;M†]NV9<`Z†ƒ\µF:JL^8N*TWNV9U^0LF^89UNL\JLRM¬A9 BaLFE€8RŠ\KGCBK5H^²BKJL9VFnF~¬8JLF:B:^VF~JL9LJVRS9<‰:9ŒJL9<;S9<‰xBK5O^]F]\?!íT89UJV† 9<´n€HBK5WNVRMF:5l`a9 ª F]^8N ª Bq‰:9¬A9<9U5&RM5n‰E9iN“LRM7OBxL9U^0„ F:J6BK;S`aF:N±cB:N!;MF:5870BEN! ª 9ŒN“LTW^]†~FE„ RS5]„ FEJL`0BxLRMF:5lJL9VJLRS9<‰xBK; ? ©Qª RSN L9U\ ª 58RŠçOT890RS5O‰:FE;S‰E9iN«“µ!F&¬WBENVRŠ\N±V9U€WNUîŒ9´]€WBE5W^]RS587 ª 90F:JVRS7ERS5WBK;+çOT89UJV† µcRæ ª 5W9<µïV9UJV`0NUGBK5H^ JL9<µ!9BK;M ª F:T87 ª G RS51\F:5:LJLB:N“c ª 9®\BK€8€8JLF:B:\ ª 9<´]RSN±6VF \GABK5W^RM\?êë96BENLNVT8`a9 ª 96µ!9<;S;æ‡×¯n58Fxµc5Z‰:9U\VFEJ+NV€WB:\9Q`aFn^89<; GE¬8T]*çOT89UJVRS9UN·BEJV9!åWJsN±+9´]€WBK5H^]9U^®VF ª 9U;M€0RS`a€8JLFx‰E9  ª 9JV9<VJLRM9U‰xBK;C€H9UJ±„ F:JV`0BE5W\9:? ô õ0Árö«÷ø÷ùÇ<À&ú íT89UJV†a9<´n€HBK5WNVRMF:50 ª JVF:T87 ª JV9U;SBKVRSFE5WBE;H`aFEJL€ ª F:;MF:7E†¬H9 ª Bq‰E9iNB:NQB®N±V9U``aRS587€8JVF]\<9U^]T8JL9EG]BE5W^0LJVRS9UNVF7E9U58958F]^]9ZBEJV9\ ª 9!BE€8€8;SRS\UBxLRMF:5FK„WBc ª 9UNLBKTWJVTWNU?4 7E9U589? [!9VV9UJ0JV9iN±T8;MLNlBKJL9 F:¬]LBERM589i^ RM„ ª 9UNLBKTWJVR GF:J0FK ª 9?ê ª 9<5  ª 9  ª 9UNLBKT8JLTWN RŠN+\F:5WN“LJVTH\V9i^®BET]VF:`0BxVRŠ\GENV9<‰:9ñ  ìKä×? 5 ˆ«NV9®FE„^]F]\T8`a9U5:\;ŠBENLNVRæåH\UBxLRMF:5 áæñä ?  F]\T8`a9<5OsNBKJL9ŒåWJsN“ƒ\;ŠBENLN±RMåW9i^ BK5H^²RM58„ JV9iç:TW9<5OL9’«’ZG>4«’ZG-9L\E? Ë?Z‘ ª JLB:N±9iN6RS51 ª 9®L9´nŒBKJL9ZRŠ^]9<5OLRæåW9i^ BE5W^  ª 9U† BKJL9BENLN±F]\^]9iNV\ ª 9V9UJV`0N«µcRæ ª²ª RM7 ª JL9<;ŠBxL9U^~‰xBE;MT89iNcBKJL9N±9U;M9i\V9i^~„ F:Jc9UB:\ ª FEJLRS7ERS5WBK;-çOT89G:µ96`®TWN±!NLBq†Œ ª BxJL9UNVT8;MLN*FE5aV9UJV`9<´n€HBK5WNVRMF:5aTWN±RS587 ª 9UNLBKTWJVRA^]Ræ¶C9?>ñ  ìKä×?íT89î © BK58RS`aFKLFWGCIFON±RS589ZBE5W^  RS\<9 áMñ  ä×GH¬WT]UG-^]T89ZVF~;SRS`RMLNRS5² ª 9®5nT8`Z¬A9? © BK5WRM`aFKLFWÊ !"$#i&Ë %  ' # (# ) *# IF:NVRM589:Ê !"$#i+Ë % , ' -*# #  RŠ\9OÊ !"$#i+Ë % ° - ' (# # ' ' ' ' ' ' ' µ ª 9UJV9 ' cBE5W^ ' #aBKJL9® ª 9a5nT8`Z¬A9JL9UNV€H9i\VRS‰E9U;M†:G>BK5W^ ' (#aRŠN2 ª 9 5nT8`®¬H9UJZFK„6^]F]\9U;M9U`a9<5OLN2BKJL9 9iç:THBK;CVF&ñ:? $1 2 "3"4"568739 ©Qª 9ŒNVRS`RS;ŠBKJLR恓† `aBKVJLRæ´`a9UBENVT8JL9UN!L9?ƒêð9TWNV9Z ª 9NLBK`a9\="?+@ABDCFEGDCH7 ©Qª 9aF:¬]­“9U\VRS‰E9VF&TWNV9 ª 9~B:NVNVF]\RŠBxVRSFE5ðFEJNVRM`aRS;SBEJVRM“†1`0BxLJVRM´ RŠNƒ9´]€WBK5H^1 ª 909<5OVRSJL9açOT89UJV†:G>58FEŒFE58;S† NV9<€WBEJLBKV9 L9? çOT89UJV†0L9G89UB:\ ª L9JL9<;ŠBxL9U^ L9JV9U;SBKV9U^0V9 ª 92çOT89UJV†:?   6ö Â+ÇU÷"ö«ÀÁ 0 ©Qª 9Œã  çOT89UJVRS9UNQFE„ ª 9®I!Y_=r° E °Z‹n€WBE58RŠN ª `aFE58F:;MRS587:TWBK;-\F:;M;S9U\VRSFE5µ9UJV9ƒ9<´n9i\T]L9U^RS5l„ F:T8J6`aF]^8BK;SRæLRM9iN<î 5 µcRæ ª FET]«N±V9U`a`RS587a„ F:J6BK;S;>ç:TW9N±V9U``aRS587a„ FEJ6BE;M;ç:TW9µ90\G Bq‰:9?êð9lRM5W\<;MTH^]90 ª 9~;SB:N“Œ`a9iBENVT8JV9U`a9<5O ¬A9U\UBKTWNV92V9<5²^]F]\VF0N ª FxµéRS5  ª 9TWNV9N±V9<`a`aRS5871ÊóBE;M;>çOT89UJV†0åH9<;Š^8NLË? 1 No stemming (usalNNTDN) Inflectional stemming (usalFNTDN) 0.8 0.6 Precision 0.4 0.2 0 0 0.2 0.4 0.6 0.8 1 Recall =RS7ETWJV9añEî+b69UNVT8;æsNQFK„rF ~\RŠBK;-JLT85WNU? D$1  CHG=4 "?EGDC 7C <=>=" êë9~\F:`€WT]V9 ª 9~BENLN±F]\RŠBxLRMF:5ðBE5W^.N±RS`aRM;ŠBKJLR恓†& ª 9UNLBKTWJVRr„ JLFE`  ª 9~^]F]\TW`9U5OZ\FE;S;S9U\LRMF:5>? ©Qª 90FE¬8­“9U\LRM‰:9aRSN2LF F:¬]LBERM5  ª 91RM`a€8JLFx‰E9U`a9<5O0LBE¯ORS587ÙRS5OVF BE\U\F:T85O~FE58;S†  ª 9 "$%&('&*)!+ åW9<;Š^ FK„ŒçOT89V9N±V9U``aRS587W? = RM7:T8JL9ƒ°N ª Fxµ6N*€WJV9i\RŠN±RSFE5]‡×JL9U\îçOT89UJVRS9UN®BKJL9aåWJsN“9´]€WBK5H^]9U^ëLF ª 9<;S€ RS`a€8JVFx‰:9a ª 9 JV9<VJLRM9U‰xBK;*€A9? ©Qª 9ZåHJLN±29<´]€H9UJVRS`a9<5O2µQBEN2\ ª 9!RM`a€8JLFx‰E9<‡ `a9<5O«RŠN  ? nŽ GWBE5W^1°  ?  㠄 F:J«N±RS`aRM;ŠBKJLRM“†~ ª 9UNLBKT8JLTWNU?‚“N«RM`a€AFEJVLBK5O6LFlN ª Fxµé ª 9ŒRS`a€8JVFx‰:9<`a9<5O6RS51Bq‰E9UJLBE7E9U^ €8JL9U\¬H9iN±RŠ^]9iN«LF\GWV9UN±^]RM¶C9VF~^]9<V9?‚z5.’Z?>XW? [!9<;S¯nRM5G+‘r?‚z587:µ9UJLNV9<5GrBE5W^ 4Z?r¹ ? ‘r9±­zV9G·9i^]RæLFEJsN<G !ÎLÍUÖsàsàsÏxҖ!ý 7KÓ&Í 6~Õ Ø8à xÕ Ø ýWýWÜWÔKÝ ýWÕzàÎýCÔxÕ ÒóÍxýAÔKÝ  ·ÍKý 6à<ÎVà<ýAÖsàÍx ý «àÓ<àLÔKÎVÖsØ ÔKýAÏ àÚxàÝSÍLßAÑ0à<ýWշҖý ý6ÍKÎÑaÔKÕ|ÒóÍKý «à<Õ|ÎÒóà<ÚqÔKÝ ·Ísß8à<ýnØWÔ 7Oà*ý ®à<ýWÐ Ñ0ÔxÎ :!OÜ]ýA#à "$x%Ð "'&(*)*)*"EGA€WBK7:9UN ŽE'Ž +nE ?O4«I!¹ G>ñ   °]? á °qä®I?*P?+= RS7ET89UJVF:;SBW?.YB RS5n‰E9iN“LRM7OBE\R FE3 5üN±F:¬8JV9 JV9i\T8€A9?8‹OV9U``aRS587ƒBK5W^58‡ 7:JLBE`aNRM5a‹n€WBE58RSN ª îBE5 9U‰qBE;MTHBxVRSFE5&FE„ ª 9²ÍxÎ :xÓ±ØWÍLß Í 6ŒÕ Ø8@à rÎVÍqÓsÓ8Ð 7ÔK!ý 7EÜWÔ 7O#à 5!ÚxÔxÝ ÜWÔKÕ|ÒóÍK:ý AÍxÎÜ]Ñ 175A3"$BB** ÔxÎÑ®ÓsÕzÔEÏKÕ C6àÎÑ0ÔxýHÞ CàzßAÕzà<ÑaÛsà<#Î "$BB*àÐ ÚiҊÓ<àLÏQß8Ôsß8à<ÎsÓGE€WBE7E9iN °:ã D + ° WñE?U‹n€WJVRS587E9UJ±E‡ .·9Gx9<L\E?MG:° E ñE?CÊóY>9i\LT8JV9Q’6FEV9iNRS5~IFE`a€8T]L9[!9U;M¯nRS5>G‘r?-‚z587:µ9UJLNV9<5G>BK5W^ë4Œ?¹ ?>‘r9“­zV9UJLNV9<5G>9U^]RMVF:JLNUG !ÎLÍUÖsàsàsÏxҖ!ý 7KÓ~Í 6aÕ Ø8Fà *xÕ GØ ýHýWÜWÔKHÝ ýWÕzàÎýCÔxÐ Õ ÒóÍxýCÔx$Ý  IJKL+ÍKý 6à<ÎVàýCÖsàÍKý «àÓ<àLÔKÎVÖsØ0ÔxýC4Ï ®à<ÚxàÝMÍsßAÑ0àýHÕҖý ý6ÍKÎÑaÔKÕ|ÒóÍKMý «à<Õ ÎÒóàÚxÔxÝ  +Ísß8à<ýnØWÔ 7Oà*ý  àýHÑaÔKÎ :OÜ]ýC9 à "$K%Ð "N&OP))P":GW€WBE7E9UN  D+OŽ ?n4«I!¹ÙG>ñ  °]? á Ž ä®I?K»BK5>GE»Z?x=8Tx­“RSR|GOBK5W^®êº?:IJLFK„–U?]4«T]VF:`aBKVRŠ\Qç:TW99U^89î i„–L€>? \UN4Œ?>»«T8;M; ?0‹OV9U``aRS587²BK;S7EF:JVRM ª `0NUî«4\ñ  ìW? áMñEñ<äƒb? ƒJLFx‰E9<VDE? .RM9UµcRM5W7 ¹²F:JV€ ª FE;SFE7E†BEN2BK51‚z58„ 9GHBE5W^&[?-@ARS``a9UJV`0BK5?465²9U‰xBK;STWBxLRMF:5FE„rçOT89UJV† 9´]€WBE5WN±RSFE5¬n†~ ª 9ZBE^W^]RæLRMF:5 FE„C\<;MTWN±V9UJV9i^ŒL9NV†]N“L9<`0NUO? ]ÍKÜ]ÎýAÔxÝ Í 6ƒÕ Ø8à Ñaà<ÎÒóÖsÔx:ý -ÍUÖ<Òóà<Õ|1Þ 6ÍKÎ ý6ÍxÎÑ0ÔxÕ ÒóÍxý CÖ<ÒóàýCÖLà?W‚z65 !ÎLÍUÖsàsàsÏxҖ!ý 7KÓ2Í 6cՖØW1à HÒæþ:Õ×àsà<ýWÕ #Ø ýWÕzàÎýCÔxÕ ÒóÍxýAÔKÝ  ²EÐ JP K ·ÍKý 6à<ÎVà<ýAÖsàðÍKý «àÓ<àsÔxÎVÖsØ ÔxýC: Ï ®à<ÚxàÝMÍsßAÑ0àýHծҖ?ý ý6ÍKÎÑaÔKÕ|ÒóÍKý «à<Õ ÎÒóàÚxÔxÝ G!€WBE7E9UNñ  D + ñ   G ‘*RæVLNV¬8T8JL7 ª Êóˆ‹WËGñ : ? áMñ Käƒ4Z?C¹ ?Cb6FE¬A9? ©Qª 96JL9LJVRS9<‰xBK;W9¶C9U\sN+FE„-çOT89UJV†9´]€WBE5WNVRMF:5F:5~B2„ 9<9i^]¬WBE\s¯a^]F]\TW`9U5O JL9LJVRS9<‰xBK;>NV†]N“L9<`&? 2CØ8@à +ÍxÑ«ßAÜ]Õzà#Î ]ÍxÜ]ÎýCÔxÝ GA° WÊ  Ëî °  D+ °x!ì 8G8ñ EE ? á °E°xäŒI?‰qBE5ÙbcR ­±NV¬A9? ]ÍxÜ]ÎýCÔxÝÍ 6ƒÕ–ØWCà Ñ0à<ÎÒóÖLÔK:ý -ÍUÖ<ÒóàÕ 8Þ 6ÍK1Î ý6ÍKÎÑaÔKÕ|ÒóÍKGý -ÖÒóà<ýAÖsàÔxýCÏ 2HàLÖsØnýCÍxÝMÍ 7EÞxGCã:°8ʓñq°EËîMñ OŽx + ñ OŽ ìHGE° : ñE? á °EãxäƒXH"? %«T²BE5W^êº?H[2?AIJLFK„–U?IF:JV€WTWN“‡×¬WB:N±9i^lN±V9<`a`aRS587~TWNVRM5W7a\