!
!
"# # $ % ## & # &' (
) # * "* ##
# + * *# , '
( # # $ * #
# % " % # $ #
" "* $ * *# $ $
# * - #'
& *
. $ # # ' / #
*"# # # " "# $ # #
# *# "* $ # ' ( *
# *" ## * & ) " #
& '
( * "# # & #
# % # ! 0 #
' 1 # # # &# # $ # *
# # # ' ( $
# # * #
* # ' / + ' '2
# * * *# $ # *
' ' * . $ #
.'
/ & * *#
( # # ##
2
3 24 * *# ## " # "
' ( Æ& *
# # % ' *#
% # ' # (5
% *# #
# &# '2'26
# * *# $ # *
* '2'6
# #
" # * *# $ "
* '2'7'
0 % ## # * # 2 *#
*8 ' #
*8 Æ ' 9
## *# %& Æ& #
' ( * *# $ %& Æ&
) * *# * * *#
%& Æ&'
( # & #$# * *#
*8 ' '' % 2' * *8
Stem
+ Derivation ML
Word
+
Generic Generic
Prefix Suffix
! 25 * *# $'
# ## *# '
%& Æ& # * : '
; :
: 5 : * ## *# %& Æ&
£
; : : ; 5 : ## %& Æ& # '
( : * ## 5
£ ¾
¾
: & : &
: &
¾
2
* # < =# * * * : 2
; # # ## >
& - '
9 # # & *" # *
## 5 %& #$# * # *
Æ& #$# # ' !
# # 5 # %
6 *8
#
' 1 % %& Æ& 6
%& Æ&
' ?
# ! # ## *#
# # # * ! '
! $ # # # * #
* *# #' ( ##
ability read
ompiled
ation comput er compil
omputer c omputation
ed
ompilation
accus
! 5 & # # # '
* *# * %& Æ&
* *# * # * *# $'
( # # * & # * *# 5
: :
¾ ¾
: :
¾ ¾
5
* *# %& %& * '
#
# * *# Æ& Æ& *
6
# * *# %& Æ& ' @ "
6
## %& ## Æ&'
! 7 ( # * ## 5
Æ # * # $ # *
# * %& Æ& ) '
# * # # # ' (
## * *#5
:
: 5 :
:
* Æ& 6
SPLIT Stemmer
word (prefix, suffix)
(stem, derivation)
collection Prefix/Suffix collection Stem/Derivation
Estimator Estimator
word
! 75 9 ( # '
:
:
5 :
:
*
* %& 6
( # # 5
:
¾
:
¾
: 2
* *#'
# # ##
# ) 2' # #
# ' ) 2 #
5
¾
& :
¾
&
& ¾
2
& ¾
2 %& Æ& * *# * ) "
* *#
* * $ #"
* # # ' ( * "
* *#
# * *#' # # "
# # * #
'
A ## # $ # #
# %& * # # Æ& *
'
/ ! ## #
# ## ' 9 ##
* # 5
5 2 : B : B6
! 5 : 2 : 76
0 5 2 : B : B6
# 5 : 2 : 76
5 2 : 7 : 7'
/ & # * . $
# . 374' . %" * #
* * *# ' 9 * # * *#'
. ## * * # * * #
* # ' ( ## % . 5
* *# * # % # * *#
* *# * #'
! " #
. # # # # # $ * *
* ) * #' ! ) #
# * ) * # * .' ( .
# ) *
# # % # ' # )
# ' *# * *#
* *# ' ( *# ##
Æ # &5 @ * '
# . *# #$
( # ) # * #
*) # 5 %& Æ&' 9 #
. A 5
% Æ *# #
Æ&' ! " # *
#5
# *# # " '' # 6
Æ&" " # ## * *#
'' * # Æ&6
% # *# * '' * + *
# Æ&'
9 # . # #%## ! B'
stem−set split point suffix−set
11
00
00
11
00
11
00
11 111
000
000
111
000
111
000
111
00
11
11
00
00
11
11
00 00
11
00
11 00
11
00
11
00
11
11
00
00
11
= initial state 00 = final state
11
00
11
00
11
! B5 . # # " Æ&"'
1 # . # *# # * #
) * # * .' 9 %
* *# * ' (
# # "
Æ&" ## ' #"
Æ& ) # * * #" $
* $ Æ&'
!
( # % * # *#
*# # % # ## *# ' C ## * *#
. * ' (
## * < "/# & "
& - # ' 9 ( # # ##
) # $' (
#- # # # ## # *#'
/ . # #
# ' ( * $ *
# *# & ' *
#" * *# #
Æ& ' / # A
$ # * # # > ' ( $
*# # * + Æ& #
* + ' Æ& # ) * # *
.' ( # #
Æ&" * * * + # 5
" ## # % 6
& * *# 6 % # ' ( & #
& # *# Æ&' 9 # # # " #
* # * * + "-
# " * *#' ( # # '
& # # Æ&" ! D & #
Æ& # # # '
111
000
000
111
000
111
000
111
11
00
00
11
a 000
111 00
11
111
000 00
11
000
111
000
111
000
111 000
111
111
000
000
111
000
111
000
111
111
000
000
111
000
111
000
111
000
111
000
111
111
000
000
111
000
111
000
111
b 11
00
00
11
00
11
00
11
00
11
000
111
111
000
000
111
000
111 111
000
000
111
000
111
000
111
000
111
000
111
111
000
000
111
000
111
000
111
c
000
111
111
000 000
111
111
000 00 111
11
11
00 000
111
000 000
111
000
111
000
111
000
111 000
111
000
111 00
11
00 111
11 000
000 000
111 111
000
111
111
000
000
111
= initial state 000 = final state
111
000
111
000
111
! D5 ( # . * '
9 % Æ&" # . * #"
' 0 #$# ) #
Æ& ## * )# ' !
# ## Æ&" * *# #
) Æ&' ! & # Æ&" "
## * *# # # "
## # ) # # '
1 # *
) ) # & * *# * #
* *# '
$%
/ # # (1? # #
+ ' (1? +"# # "
* # ' 9 (1?
) # #" '
. (1? 5
! 5 $ ##
# . % *
## *# (1?
£ :
&
# 5
¾
( * # # *# #
## '
5 # # (1?
* *# * @ * "
5
£ :
&
* # '
1 * *# £ #"
# * * #
Æ&"'
1 *"# # # #
# + # $ & $ # *
*# #$ * * + ##
'2' ( * - ## '
! * # *# /* * # ' /
* # *# ' 1
* * ' *
# * * ' ( ## *# - -
'
' #
0 EFGGH 7'EH
! HG2H 'HF
2DEHF 7'D
# GHDG 7'H7
! "# ## % ) ## $
& 8 ) ## $ )#
A * A $ ' ( *#
# )# ## # # '
## # *# * # #
## * ' * #
# * & # #
& '
( # * * & &
* # ' 9 & # #
* *# ' * *
* # * # ' % #
# * # %
: : : : # * #
* # ' / %
&
* #
' / & # &
' 1 * 2
# &
+ ' # # # #
-
: '
( * *# # # % * & ''
* *# & # &' ( *
#- * # & * # * *# ''
#
0 # # #
%
:
:
9 ) ## &
*# # ' ( * # # &
# & # * ' (
* # & #
& * # # * $ &' ( #
# * & * #
& # * * & ' ( ## #
% 5
:
:
* *# # &
* *# # &'
( * *# * $ # ) "
# ' ( & # # * ' (
, # #
# * # # & ' ! "
& + * &
# ' 9 * 2DI I' C $
'
( & "# # $ # +
# ## # "
* " # $ # 8 , *
# ' ( * *#
+ # , ' # #
= # #
+ ## * ) #'
! !
# # & # #
## =1? = # 1? * % !
* ## " ! 7' ( #
# # *#
+ = '' ## # #"
& ' A #" = # *#
& ## ' *# 2'7
= 2 #* " & #* # J '
=1? # # 8*
* #* + ## ##
#" = # #& # #- #& ' ! & # *#
## + & 6
* + # #
* ' * ##
/* ' # Æ #& J!#&
2'7'D #& J J ' ( #& *# ##
' # # ## *
B'2'2'
GUI
IRON
(Lucene 1.3 RC1)
LAN WebIRON
Tomcat 4.1
! E5 9 =1?'
9 % E =1? # * + 5 #
0 0 # # =1? # * " #
# ' ( ## J # * /* #
## /* =1?' /* =1? * (
B'2 /* $ =1? /*
# - # ##
= ## =
& '
=1? /* =1? J * #"# 6
# ) = . &
# ) / K *
$ # ## '
& ' (
* > !7 & # '
J * #& # #- ' 9 #& #-
"#$ ## ## $ #& ' ( $
% * # & * #' ##
L#& , * '
# * '
( # " #& * # ## 5
# ## + 6
# + # *# "
# #& * + # # 6
# ## ) Æ #&
# #$ !7 #& * ##
A #& ## * #
'
1 % # 5
2' / #& # #- *# ! ##
+ # 6
' $ #& # * *# - * #
## # #-6
7' $ #& Æ # ! '
9 *# # - ## %# ## '
. ## & # %#5
! "#
$ ! "# $ %& ! "%&
%'$ ( %'$
$&$"$&$
)% ")%
** + , -""**
&.& ))' / 0 1 (
2 0 / /
&.&
! "# !
$ ! "# !$
. # $ % #
1
! "#
) % 1 ?1 %& % #
* & # * L0., ) ## ' #
) ## $ !7 5
5 9 ?.
#5 0. 9
! 5 9( 1?
0 5 != 0 9
# 5 90M 9(9 9
5 !
9 *# % 5 #& *#
- + ## # ##' / ) #
& L , #& % *" *# # ##
! F'
## # * *# # #&
# ## " * * #&
& &' ( 0 # ! % # #
## # * #$
(K( N(K( ## * & #'
Dutch
Glasgow Herald
Algemeen GH
Dagblad
AD
Glasgow
nrc Herald
NH handelsblad DocNo
YYINITIAL
Glasgow
GH English
LA Glasgow
Herald
Glasgow
Herald
Title
Glasgow
LosAngeles Herald
Times Text
! F5 = 9 & # !9 !7' 9 # " #&
0# . # ## '
1 # $ * Æ #& ' # J!#& #&
## & ' / Æ
J # ' 9 * # #
<+ # ' 9 <+ # *# ) #$
* * % ' 9 # ) *
# ) * ## <+
* # # 9 '
9 # # * 3B4'
"#
/ ## # # $5 ! 0 # '
! $ + # 5
% 5 # # 6
5 # + # # # *#
* ## /* * ' 6
5 # # * # "
6
$%5 # # * . $ #'
9 " & '' ##
"# # *# ' (
"# * ! ! '
$ #
! # # * - # ## )
## '
( *# 2 * # ## +
# & '
# '
) ) * +,
- # .
% 2B2H GH'HG GEH H2'GE 277 F'GG BGG E'7 GB GG'2
2B H'B GGE H7'EE 27FE FD'B BHF E2'B7 2 GH'E2
$% 27GE GF'77 GH2 HB'2H 27GB FD'GB D7 E'2G 2BG H'F2
2B2E GH'FH H22 HE'7 2B7B FG'DG BH E'G H'HH
) - 2DFF HBE 2GD GH 7EG
( *# 25 =# * ## 7 ( '
? # ## * #
# * # *
# ' & * (1?
# # '
( *# # *
# '
) *+,
- # .
% B'22 B'GE 7B'H 7B'FE 7H'F
B'GB BD'E 7F'22 7G'2F 7G'D
$% B'DF BD'EF 7E'EG 7B'EE B'DE
B7'BH BD'GF 7F'GG 7D'D7 B7'B
( *# 5 9 7 ( '
( *# 7 # & =" *
= * = * #
'
/( ' *+,
- # .
% B'D2 7H'BD 7E'DH 7E'7 B'E
B2'DB B7' 7F'G 7G'7H 7H'GD
$% 7H'EE B' 7F'D7 77'E 7H'H
B'DD B2'EG 7G'F7 7B'FH B'F
( *# 75 & =" 7 (
? ! 0 # # +
## 6 ##
' ! # # +
( (1? + # , ' ( & #
% *# * *# #
## $ # * # ' / # #
% + * # # '
( & # # #
# ) # ' ( *
"# # $ # * *"# # $' (
# * ) # *
* *# #' / * *# # %
# * # # ) # &
% '
324 ' 9 ' < ?' ! ' #' 9 = #
(& ' ' ' <
# J' 0 - # ' O#$
" # $ %& ' " #
( & " ( )**)& $ ' < #N. #* 7'
34 ' < ?' ! ' #' ( + 0 "* 9#
' ' ' ' ! ' ' 0' O .' ' 9' ! & ' =' ' (
+ & , & %& - . "
/ & "/ )**) 22F82G' ?
? DDD < #N. #* '
374 ' = * <'.' J ' ( . ## #
#+ ?J 7287GH 2HH7'
3B4 0'' ?- ' " ()**0 - 9 # *# 30'