=Paper=
{{Paper
|id=Vol-1174/CLEF2008wn-Robust-Appendix_C
|storemode=property
|title=None
|pdfUrl=https://ceur-ws.org/Vol-1174/CLEF2008wn-Robust-Appendix_C.pdf
|volume=Vol-1174
}}
==None==
https://ceur-ws.org/Vol-1174/CLEF2008wn-Robust-Appendix_C.pdf
Appendix C
Results of the Robust Track
Prepared by:
Giorgio Maria Di Nunzio and Nicola Ferro
{dinunzio, ferro}@dei.unipd.it
Department of Information Engineering
University of Padua
Italy
1
2
Introduction
3
4
Results for CLEF 2008 Ad-hoc Robust Track
The following pages contain the results and graphs for all the experiments that have been officially submitted to the CLEF 2007
campaign for the Ad-hoc Robust track.
This document is divided in three main parts:
1. List of submitted experiments
2. Track overview results and graphs
3. Individual experiment results and graphs
1. List of Submitted Experiments
This section gives a listing of all experiments and their characteristics:
Participant: name of the participant who submitted the experiment.
Country: country of the participant.
Expeirment DOI: Digital Object Identifier (DOI) for each experiment.
Task: track/task to which the experiment belongs.
Lang.: language of the topics used to create the experiment (ISO identifiers for language).
Fields: identifies the parts of the topics used to create the experiment (T = title, D = Description, N = Narrative).
Constr.: identifies how the query has been constructed from topic fields (manual/automatic).
Pool: specifies if experiment was used for relevance assessment pooling.
2. Track Overview Results and Graphs
For each track/task graphs and tables are shown in order to compare the experiments.
The graphs and tables contain the following information:
- Best experiments of at most top five participants
- Interpolated recall vs precision averages plot
- Average precision comparison to median plot
- All experiments
- Average precision box plot
- Average precision Tukey t-test plot
- Best experiments of at most top five participants
- Document cutoff levels (DCL) vs precision at DCL plot
- R-Precision comparison to median plot
- All experiments
- R-Precision box plot
- R-Precision Tukey t-test plot
- A table with descriptive statistics of performance figures for each topic
- Min: The minimum of a set of observations
- 1st Q: The first quartile of a set of observations
- 2nd Q: The second quartile (median) of a set of observations
- 3rd Q: The third quartile of a set of observations
- Max: The maximum of a set of observations
- Mean: The arithmetic mean of a set of observations
- Std: The standard deviation of a set of observations
- IQR: Interquartile range, the difference between the 3rd and 1st quartiles
- Range: The difference between the maximum and the minimum of a set of observations
- C.Var: Coefficient of variation, the spread of a set of data as a proportion of its mean
- Geom.: The geometric mean of a set of observations
- Harm.: The harmonic mean of a set of observations
- MAO: The mean of absolute deviation of the values in a set of observations
- LOT: The lower threshold below which values of a set of observations are considered outliers
- UOT: The upper threshold below which values of a set of observations are considered outliers
- MNO: Mean without outliers, the arithmetic mean of a set of observations without outliers
- SNO: Std without outliers, the standard deviation a set of observations without outliers
5
3. Individual Experiment Results and Graphs
This section provides the individual results for each official experiment. For each experiment the following tables and graphs are
shown:
- Overall statistics and information
- Interpolated recall vs precision averages plot
- Average precision statistics and box plot
- Average precision comparison to median plot
- Document cutoff levels vs precision at DCL plot
- R-Precision statistics and box plot
- R-Precision comparison to median plot
Topics are identified with DOIs, as well as the experiments. The prefix for the DOI of a topic is 10.2452. The following example
shows how to build the DOI for a topic given its number: for topic 200-AH, the corresponding DOI is 10.2452/200-AH
6
List of Submitted Experiments
7
8
Participant Country Experiment DOI Task Lang. Fields Constr. Pool
geneva Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.GENEVA.ISILEMTD
geneva Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.GENEVA.ISILEMTDN
inaoe Mexico 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.INAOE.INAOEF
inaoe Mexico 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.INAOE.INAOEV
ixa Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.IXA.EN2ENNOWSD
ixa Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.IXA.EN2ENNOWSDPSREL
know-center Austria 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.KNOW-CENTER.ASSO
ucm Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_BASELINE
ucm Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_BO1
ucm Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_BO1_AVICTF
ucm Spain 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_KLD
ufrgs Brazil 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_MONO1_TEST
ufrgs Brazil 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_MONO2_TEST
uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.UNIBA.MONO11NUS2F
uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.UNIBA.MONO12NUS2FOUT
uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.UNIBA.MONO13NUS2F
uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.UNIBA.MONO14NUS2F
uniba Italy 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNIBA.MONO1TDNUS2F
unine Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNINE.UNINEROBUST1
unine Switzerland 10.2415/AH-ROBUST-MONO-EN-TEST- AH-ROBUST-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNINE.UNINEROBUST4
geneva Switzerland 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 es TD AUTOMATIC no
CLEF2008.GENEVA.ISIESENTD
ixa Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.IXA.ES2ENNOWSD
ixa Spain 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 es TD AUTOMATIC no
CLEF2008.IXA.ES2ENNOWSDPSREL
ufrgs Brazil 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 es TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_BI1_TEST
ufrgs Brazil 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 es TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_BI2_TEST
ufrgs Brazil 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 es TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_BI3_TEST
uniba Italy 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 es TDN AUTOMATIC no
CLEF2008.UNIBA.CROSS1NUS2F
uniba Italy 10.2415/AH-ROBUST-BILI-X2EN-TEST- AH-ROBUST-BILI-X2EN-TEST-CLEF2008 es TD AUTOMATIC no
CLEF2008.UNIBA.CROSS1TDNUS2F
geneva Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.GENEVA.ISINUSLWTDN
geneva Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.GENEVA.ISINUSWDTD
geneva Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.GENEVA.ISINUSWDTDN
geneva Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.GENEVA.ISIUBCWSDTDN
ixa Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.IXA.EN2ENFULLSTRUCTOPSNUSDOCSPSR
EL
ixa Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 es TD AUTOMATIC no
CLEF2008.IXA.EN2ENNUSDOCSPSREL
ixa Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.IXA.EN2ENUBCDOCSPSREL
know-center Austria 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.KNOW-CENTER.ASSO_WSD
ucm Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_BO1_CLAUSES_00
ucm Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_BO1_CLAUSES_03
ucm Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_BO1_CLAUSES_06
ucm Spain 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UCM.BM25_BO1_CLAUSES_09
9
Participant Country Experiment DOI Task Lang. Fields Constr. Pool
ufrgs Brazil 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_MONO_WSD1_TEST
ufrgs Brazil 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_MONO_WSD2_TEST
ufrgs Brazil 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_MONO_WSD3_TEST
ufrgs Brazil 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_MONO_WSD4_TEST
ufrgs Brazil 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_MONO_WSD5_TEST
uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNIBA.MONOWSD11NUS2F
uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.UNIBA.MONOWSD12NUS2F
uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TDN AUTOMATIC no
CLEF2008.UNIBA.MONOWSD13NUS2F
uniba Italy 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNIBA.MONOWSD1NUS2F
unine Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNINE.UNINEROBUST2
unine Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNINE.UNINEROBUST3
unine Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNINE.UNINEROBUST5
unine Switzerland 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008 en TD AUTOMATIC no
CLEF2008.UNINE.UNINEROBUST6
geneva Switzerland 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no
CLEF2008.GENEVA.ISIESPWSDTD CLEF2008
geneva Switzerland 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no
CLEF2008.GENEVA.ISIESPWSDTDN CLEF2008
ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- pt TD AUTOMATIC no
CLEF2008.IXA.ES2EN1STTOPSNUSDOCSPSREL CLEF2008
ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no
CLEF2008.IXA.ES2EN1STTOPSUBCDOCSPSREL CLEF2008
ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no
CLEF2008.IXA.ES2ENNUSDOCSPSREL CLEF2008
ixa Spain 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no
CLEF2008.IXA.ES2ENUBCDOCSPSREL CLEF2008
ufrgs Brazil 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no
CLEF2008.UFRGS.UFRGS_R_BI_WSD1_TEST CLEF2008
uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no
CLEF2008.UNIBA.CROSSWSD11NUS2F CLEF2008
uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TDN AUTOMATIC no
CLEF2008.UNIBA.CROSSWSD12NUS2F CLEF2008
uniba Italy 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST- es TD AUTOMATIC no
CLEF2008.UNIBA.CROSSWSD1NUS2F CLEF2008
10
Track Overview Results and Graphs
11
12
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
90% ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
13
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Ad−Hoc Robust Monolingual English Test Task − Box Plot of the Topics
unine [Experiment UNINEROBUST4; MAP 45.15%; Not Pooled]
unine [Experiment UNINEROBUST1; MAP 43.17%; Not Pooled]
geneva [Experiment ISILEMTDN; MAP 39.17%; Not Pooled]
ucm [Experiment BM25_BO1; MAP 38.35%; Not Pooled]
ucm [Experiment BM25_KLD; MAP 38.33%; Not Pooled]
ucm [Experiment BM25_BO1_AVICTF; MAP 38.11%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; MAP 38.10%; Not Pooled]
geneva [Experiment ISILEMTD; MAP 36.94%; Not Pooled]
ucm [Experiment BM25_BASELINE; MAP 36.14%; Not Pooled]
ixa [Experiment EN2ENNOWSD; MAP 35.34%; Not Pooled]
Experiments
ufrgs [Experiment UFRGS_R_MONO2_TEST; MAP 33.95%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO1_TEST; MAP 31.20%; Not Pooled]
inaoe [Experiment INAOEF; MAP 28.46%; Not Pooled]
know−center [Experiment ASSO; MAP 27.72%; Not Pooled]
inaoe [Experiment INAOEV; MAP 25.82%; Not Pooled]
uniba [Experiment MONO11NUS2F; MAP 19.24%; Not Pooled]
uniba [Experiment MONO1TDNUS2F; MAP 16.81%; Not Pooled]
uniba [Experiment MONO13NUS2F; MAP 15.48%; Not Pooled]
uniba [Experiment MONO12NUS2FOUT; MAP 14.57%; Not Pooled]
uniba [Experiment MONO14NUS2F; MAP 6.87%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
14
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
10.2455/TUKEY_T_TEST.488B4DC45C240AEDD7AED91CF79383BE
Ad−Hoc Robust Monolingual English Test Task − Tukey T test with "top group" highlighted
UNINEROBUST4
UNINEROBUST1
ISILEMTDN
EN2ENNOWSDPSREL
BM25_BO1
BM25_KLD
BM25_BO1_AVICTF
Experiments
ISILEMTD
BM25_BASELINE
EN2ENNOWSD
UFRGS_R_MONO2_TEST
UFRGS_R_MONO1_TEST
INAOEF
ASSO
INAOEV
MONO11NUS2F
MONO1TDNUS2F
MONO13NUS2F
MONO12NUS2FOUT
MONO14NUS2F
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
arcsin(sqrt(Average Precsion))
15
16
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
90% ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
0.5 geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
Difference
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
17
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Ad−Hoc Robust Monolingual English Test Task − Box Plot of the Topics
unine [Experiment UNINEROBUST4; R−Prec 42.99%; Not Pooled]
unine [Experiment UNINEROBUST1; R−Prec 41.70%; Not Pooled]
geneva [Experiment ISILEMTDN; R−Prec 38.05%; Not Pooled]
ucm [Experiment BM25_KLD; R−Prec 36.47%; Not Pooled]
geneva [Experiment ISILEMTD; R−Prec 36.35%; Not Pooled]
ucm [Experiment BM25_BO1; R−Prec 36.15%; Not Pooled]
ixa [Experiment EN2ENNOWSDPSREL; R−Prec 36.12%; Not Pooled]
ucm [Experiment BM25_BO1_AVICTF; R−Prec 35.87%; Not Pooled]
ucm [Experiment BM25_BASELINE; R−Prec 35.24%; Not Pooled]
ixa [Experiment EN2ENNOWSD; R−Prec 33.14%; Not Pooled]
Experiments
ufrgs [Experiment UFRGS_R_MONO2_TEST; R−Prec 32.81%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO1_TEST; R−Prec 30.43%; Not Pooled]
know−center [Experiment ASSO; R−Prec 27.45%; Not Pooled]
inaoe [Experiment INAOEF; R−Prec 27.35%; Not Pooled]
inaoe [Experiment INAOEV; R−Prec 25.53%; Not Pooled]
uniba [Experiment MONO11NUS2F; R−Prec 21.20%; Not Pooled]
uniba [Experiment MONO1TDNUS2F; R−Prec 19.00%; Not Pooled]
uniba [Experiment MONO13NUS2F; R−Prec 17.01%; Not Pooled]
uniba [Experiment MONO12NUS2FOUT; R−Prec 16.43%; Not Pooled]
uniba [Experiment MONO14NUS2F; R−Prec 8.57%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
18
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Ad−Hoc Robust Monolingual English Test Task − Tukey T test with "top group" highlighted
UNINEROBUST4
UNINEROBUST1
ISILEMTDN
ISILEMTD
EN2ENNOWSDPSREL
BM25_KLD
BM25_BO1
Experiments
BM25_BO1_AVICTF
BM25_BASELINE
EN2ENNOWSD
UFRGS_R_MONO2_TEST
UFRGS_R_MONO1_TEST
ASSO
INAOEF
INAOEV
MONO11NUS2F
MONO1TDNUS2F
MONO13NUS2F
MONO12NUS2FOUT
MONO14NUS2F
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
arcsin(sqrt(R−Precision))
19
20
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.44 0.50 1.00 0.59 0.06 0.00 0.38 0.00 1.00 0.75 0.44
142-AH 6.00 7.50 8.00 8.00 8.00 7.55 0.83 0.50 2.00 0.11 7.50 7.45 0.68 7.00 8.00 7.94 0.25
143-AH 10.00 28.50 39.00 39.00 39.00 33.45 9.41 10.50 29.00 0.28 31.63 29.04 7.72 20.00 39.00 34.68 7.82
144-AH 1.00 2.50 3.00 3.00 3.00 2.70 0.57 0.50 2.00 0.21 2.62 2.50 0.45 2.00 3.00 2.79 0.42
145-AH 17.00 31.50 37.00 37.00 37.00 33.50 6.06 5.50 20.00 0.18 32.84 32.02 4.85 26.00 37.00 35.00 4.01
146-AH 1.00 1.50 2.00 2.00 2.00 1.75 0.44 0.50 1.00 0.25 1.68 1.60 0.38 1.00 2.00 1.75 0.44
147-AH 30.00 41.00 50.50 51.00 51.00 46.05 7.74 10.00 21.00 0.17 45.33 44.52 6.43 30.00 51.00 46.05 7.74
148-AH 3.00 5.00 6.00 6.00 6.00 5.55 0.83 1.00 3.00 0.15 5.48 5.38 0.63 4.00 6.00 5.68 0.58
149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
150-AH 0.00 4.00 10.00 10.00 10.00 7.25 4.24 6.00 10.00 0.58 0.54 0.00 3.55 0.00 10.00 7.25 4.24
151-AH 1.00 7.00 9.00 9.50 10.00 8.15 2.28 2.50 9.00 0.28 7.52 6.01 1.69 5.00 10.00 8.53 1.58
152-AH 4.00 9.50 11.00 11.00 11.00 9.95 1.73 1.50 7.00 0.17 9.74 9.42 1.18 8.00 11.00 10.26 1.05
153-AH 0.00 0.00 0.00 1.00 1.00 0.45 0.51 1.00 1.00 1.13 0.00 0.00 0.50 0.00 1.00 0.45 0.51
154-AH 14.00 18.00 20.00 20.00 21.00 19.10 1.77 2.00 7.00 0.09 19.01 18.92 1.38 17.00 21.00 19.37 1.34
155-AH 0.00 1.50 3.00 3.00 3.00 2.25 1.33 1.50 3.00 0.59 0.13 0.00 1.12 0.00 3.00 2.25 1.33
156-AH 7.00 11.00 18.50 20.00 21.00 15.80 5.33 9.00 14.00 0.34 14.68 13.35 4.56 7.00 21.00 15.80 5.33
157-AH 70.00 104.50 125.00 134.50 139.00 120.50 17.67 30.00 69.00 0.15 119.06 117.37 13.80 70.00 139.00 120.50 17.67
158-AH 1.00 23.00 32.00 33.00 34.00 28.05 7.82 10.00 33.00 0.28 24.58 12.03 5.74 22.00 34.00 29.47 4.67
159-AH 12.00 30.50 45.00 50.50 54.00 41.50 11.89 20.00 42.00 0.29 39.29 36.15 9.50 12.00 54.00 41.50 11.89
160-AH 1.00 1.50 2.00 2.00 2.00 1.75 0.44 0.50 1.00 0.25 1.68 1.60 0.38 1.00 2.00 1.75 0.44
161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
162-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
163-AH 54.00 88.00 120.00 121.00 121.00 104.55 27.63 33.00 67.00 0.26 100.07 94.65 23.28 54.00 121.00 104.55 27.63
164-AH 2.00 11.50 22.50 25.00 27.00 18.40 9.63 13.50 25.00 0.52 13.28 7.14 8.00 2.00 27.00 18.40 9.63
165-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
167-AH 0.00 2.50 5.00 5.00 5.00 3.90 1.86 2.50 5.00 0.48 1.86 0.00 1.55 0.00 5.00 3.90 1.86
168-AH 9.00 18.00 18.00 18.00 18.00 17.40 2.01 0.00 9.00 0.12 17.24 17.00 0.96 18.00 18.00 18.00 0.00
169-AH 1.00 2.00 4.00 5.00 6.00 3.60 1.85 3.00 5.00 0.51 3.02 2.40 1.58 1.00 6.00 3.60 1.85
170-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
171-AH 4.00 16.00 18.00 19.00 19.00 15.95 4.77 3.00 15.00 0.30 14.72 12.63 3.28 15.00 19.00 17.82 1.24
172-AH 6.00 7.00 7.00 7.00 7.00 6.90 0.31 0.00 1.00 0.04 6.89 6.89 0.18 7.00 7.00 7.00 0.00
173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
174-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
175-AH 5.00 5.50 7.00 7.00 7.00 6.40 0.88 1.50 2.00 0.14 6.34 6.27 0.78 5.00 7.00 6.40 0.88
176-AH 29.00 39.00 39.00 39.00 39.00 38.50 2.24 0.00 10.00 0.06 38.43 38.34 0.95 39.00 39.00 39.00 0.00
177-AH 8.00 9.50 12.00 13.00 13.00 11.20 2.02 3.50 5.00 0.18 11.01 10.79 1.66 8.00 13.00 11.20 2.02
178-AH 0.00 1.50 3.00 4.00 4.00 2.60 1.35 2.50 4.00 0.52 0.75 0.00 1.12 0.00 4.00 2.60 1.35
179-AH 4.00 13.50 21.00 22.00 22.00 17.85 6.00 8.50 18.00 0.34 16.38 14.22 4.92 4.00 22.00 17.85 6.00
180-AH 12.00 27.00 36.00 40.00 40.00 32.55 9.76 13.00 28.00 0.30 30.59 27.97 7.88 12.00 40.00 32.55 9.76
181-AH 13.00 68.00 91.00 91.00 92.00 78.20 23.49 23.00 79.00 0.30 72.29 61.19 18.90 45.00 92.00 81.63 18.27
182-AH 3.00 4.00 4.00 4.00 4.00 3.90 0.31 0.00 1.00 0.08 3.89 3.87 0.18 4.00 4.00 4.00 0.00
183-AH 1.00 2.50 4.00 4.00 4.00 3.25 1.33 1.50 3.00 0.41 2.83 2.29 1.12 1.00 4.00 3.25 1.33
184-AH 4.00 7.00 9.00 9.00 9.00 8.15 1.31 2.00 5.00 0.16 8.02 7.85 1.02 4.00 9.00 8.15 1.31
185-AH 0.00 1.00 1.00 1.00 1.00 0.95 0.22 0.00 1.00 0.24 0.56 0.00 0.10 1.00 1.00 1.00 0.00
186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
187-AH 0.00 1.00 1.00 1.00 1.00 0.90 0.31 0.00 1.00 0.34 0.32 0.00 0.18 1.00 1.00 1.00 0.00
188-AH 0.00 0.00 1.00 1.00 1.00 0.70 0.47 1.00 1.00 0.67 0.03 0.00 0.42 0.00 1.00 0.70 0.47
189-AH 0.00 3.50 7.00 7.00 7.00 5.25 3.11 3.50 7.00 0.59 0.24 0.00 2.62 0.00 7.00 5.25 3.11
190-AH 5.00 7.00 7.00 8.00 9.00 7.25 0.79 1.00 4.00 0.11 7.21 7.16 0.55 7.00 9.00 7.37 0.60
21
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
192-AH 4.00 4.00 6.00 6.00 6.00 5.35 0.93 2.00 2.00 0.17 5.26 5.17 0.84 4.00 6.00 5.35 0.93
193-AH 3.00 5.00 7.00 7.00 7.00 6.00 1.78 2.00 4.00 0.30 5.66 5.25 1.50 3.00 7.00 6.00 1.78
194-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
196-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
197-AH 3.00 46.50 50.00 50.00 50.00 45.30 11.03 3.50 47.00 0.24 41.17 27.10 6.85 44.00 50.00 49.50 1.51
198-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.44 0.50 1.00 0.59 0.06 0.00 0.38 0.00 1.00 0.75 0.44
199-AH 7.00 9.50 10.00 10.00 10.00 9.60 0.82 0.50 3.00 0.09 9.56 9.52 0.60 9.00 10.00 9.83 0.38
200-AH 6.00 8.00 9.00 9.00 9.00 8.45 1.00 1.00 3.00 0.12 8.39 8.32 0.83 7.00 9.00 8.58 0.84
251-AH 21.00 38.50 56.50 60.00 61.00 49.15 15.52 21.50 40.00 0.32 45.99 42.10 12.88 21.00 61.00 49.15 15.52
252-AH 25.00 28.00 28.50 29.00 29.00 28.15 1.14 1.00 4.00 0.04 28.13 28.10 0.85 27.00 29.00 28.44 0.70
253-AH 14.00 64.00 109.50 140.00 153.00 103.30 41.88 76.00 139.00 0.41 91.43 72.64 36.00 14.00 153.00 103.30 41.88
254-AH 5.00 61.00 145.00 172.00 189.00 119.35 63.61 111.00 184.00 0.53 87.76 42.61 53.48 5.00 189.00 119.35 63.61
255-AH 3.00 4.00 4.00 4.00 4.00 3.90 0.31 0.00 1.00 0.08 3.89 3.87 0.18 4.00 4.00 4.00 0.00
256-AH 4.00 30.00 34.00 34.00 34.00 30.45 7.37 4.00 30.00 0.24 28.44 23.26 4.57 24.00 34.00 32.56 2.66
257-AH 39.00 52.50 54.50 59.00 62.00 54.60 5.65 6.50 23.00 0.10 54.30 53.97 4.20 47.00 62.00 55.42 4.41
258-AH 1.00 2.00 2.00 3.00 4.00 2.45 1.05 1.00 3.00 0.43 2.21 1.97 0.89 1.00 4.00 2.45 1.05
259-AH 2.00 3.00 3.00 3.00 3.00 2.85 0.37 0.00 1.00 0.13 2.82 2.79 0.26 3.00 3.00 3.00 0.00
260-AH 18.00 52.00 62.00 62.00 62.00 55.40 12.55 10.00 44.00 0.23 53.39 50.29 9.80 39.00 62.00 58.56 7.82
261-AH 11.00 14.50 19.00 21.00 24.00 17.70 4.16 6.50 13.00 0.23 17.20 16.68 3.63 11.00 24.00 17.70 4.16
262-AH 13.00 46.50 57.50 66.00 80.00 55.00 16.75 19.50 67.00 0.30 51.60 46.38 13.20 31.00 80.00 57.21 13.89
263-AH 4.00 19.00 39.00 46.50 47.00 32.80 15.08 27.50 43.00 0.46 27.77 20.69 13.22 4.00 47.00 32.80 15.08
264-AH 9.00 17.50 20.50 21.00 22.00 19.15 3.41 3.50 13.00 0.18 18.78 18.29 2.59 15.00 22.00 19.68 2.50
265-AH 3.00 4.50 6.00 6.00 6.00 5.35 0.99 1.50 3.00 0.18 5.25 5.13 0.84 3.00 6.00 5.35 0.99
266-AH 0.00 1.00 2.50 4.00 4.00 2.40 1.64 3.00 4.00 0.68 0.13 0.00 1.40 0.00 4.00 2.40 1.64
267-AH 14.00 19.00 20.00 21.00 21.00 19.65 1.69 2.00 7.00 0.09 19.57 19.48 1.22 18.00 21.00 19.95 1.08
268-AH 2.00 3.00 3.00 3.00 3.00 2.80 0.41 0.00 1.00 0.15 2.77 2.73 0.32 3.00 3.00 3.00 0.00
269-AH 4.00 7.50 8.00 8.00 8.00 7.45 1.10 0.50 4.00 0.15 7.35 7.23 0.82 7.00 8.00 7.94 0.25
270-AH 20.00 52.00 55.50 56.50 57.00 53.15 8.06 4.50 37.00 0.15 52.16 50.43 3.99 51.00 57.00 54.89 2.08
271-AH 3.00 18.00 24.00 24.00 24.00 20.85 5.42 6.00 21.00 0.26 19.46 16.20 4.01 13.00 24.00 21.79 3.52
272-AH 1.00 11.00 13.00 14.00 14.00 12.20 3.05 3.00 13.00 0.25 11.17 7.97 2.02 10.00 14.00 12.79 1.58
273-AH 21.00 45.50 80.00 81.50 83.00 66.50 21.18 36.00 62.00 0.32 62.14 56.51 18.45 21.00 83.00 66.50 21.18
274-AH 4.00 11.50 14.00 16.00 16.00 13.20 3.52 4.50 12.00 0.27 12.55 11.61 2.72 7.00 16.00 13.68 2.85
275-AH 11.00 29.50 57.00 63.00 66.00 48.45 20.21 33.50 55.00 0.42 42.20 34.16 17.07 11.00 66.00 48.45 20.21
276-AH 41.00 48.00 56.00 59.00 59.00 53.60 6.46 11.00 18.00 0.12 53.20 52.77 5.42 41.00 59.00 53.60 6.46
277-AH 2.00 10.00 16.50 19.00 22.00 14.25 6.08 9.00 20.00 0.43 12.16 9.07 4.85 2.00 22.00 14.25 6.08
278-AH 5.00 10.00 14.50 18.50 21.00 14.25 4.81 8.50 16.00 0.34 13.39 12.42 4.05 5.00 21.00 14.25 4.81
279-AH 0.00 2.50 4.00 4.00 4.00 3.30 1.22 1.50 4.00 0.37 1.74 0.00 0.98 1.00 4.00 3.47 0.96
280-AH 6.00 12.00 17.00 19.00 22.00 15.25 4.63 7.00 16.00 0.30 14.44 13.48 4.02 6.00 22.00 15.25 4.63
281-AH 27.00 41.00 42.00 42.00 42.00 40.45 3.43 1.00 15.00 0.08 40.28 40.07 1.98 41.00 42.00 41.69 0.48
282-AH 10.00 20.00 28.00 30.00 31.00 24.80 6.78 10.00 21.00 0.27 23.66 22.25 5.48 10.00 31.00 24.80 6.78
283-AH 12.00 20.50 24.00 31.00 36.00 25.20 7.26 10.50 24.00 0.29 24.11 22.92 5.94 12.00 36.00 25.20 7.26
284-AH 0.00 24.00 38.00 38.00 38.00 30.20 13.98 14.00 38.00 0.46 13.19 0.00 11.70 8.00 38.00 31.79 12.36
285-AH 33.00 48.50 63.00 67.50 68.00 58.55 10.44 19.00 35.00 0.18 57.54 56.40 9.14 33.00 68.00 58.55 10.44
286-AH 1.00 5.00 8.50 9.00 10.00 7.10 2.73 4.00 9.00 0.38 6.34 5.10 2.39 1.00 10.00 7.10 2.73
287-AH 5.00 36.00 48.00 48.00 49.00 40.80 12.24 12.00 44.00 0.30 37.33 29.64 9.50 22.00 49.00 42.68 9.12
288-AH 22.00 36.50 46.50 60.00 71.00 48.95 14.46 23.50 49.00 0.30 46.84 44.64 12.04 22.00 71.00 48.95 14.46
289-AH 5.00 15.50 18.00 18.00 18.00 16.20 3.33 2.50 13.00 0.21 15.68 14.79 2.40 12.00 18.00 16.79 2.10
290-AH 12.00 26.50 46.50 49.00 49.00 38.65 13.14 22.50 37.00 0.34 35.75 32.09 11.16 12.00 49.00 38.65 13.14
22
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 18.00 25.50 27.50 28.00 29.00 26.15 2.83 2.50 11.00 0.11 25.98 25.80 2.12 22.00 29.00 26.58 2.14
292-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
293-AH 20.00 27.50 34.00 34.00 34.00 30.75 5.67 6.50 14.00 0.18 30.16 29.49 4.78 20.00 34.00 30.75 5.67
294-AH 1.00 18.00 27.00 27.00 27.00 22.05 8.94 9.00 26.00 0.41 18.27 9.93 7.42 8.00 27.00 23.16 7.65
295-AH 18.00 30.00 35.50 41.00 50.00 35.45 9.07 11.00 32.00 0.26 34.24 32.92 7.05 18.00 50.00 35.45 9.07
296-AH 1.00 16.00 24.00 24.00 24.00 20.35 6.11 8.00 23.00 0.30 17.96 10.35 4.71 14.00 24.00 21.37 4.18
297-AH 6.00 10.00 11.00 12.00 12.00 10.55 1.88 2.00 6.00 0.18 10.36 10.14 1.48 7.00 12.00 10.79 1.58
298-AH 9.00 17.00 27.50 28.50 30.00 23.20 8.51 11.50 21.00 0.37 21.02 18.28 7.10 9.00 30.00 23.20 8.51
299-AH 25.00 60.00 70.50 74.50 76.00 65.55 13.04 14.50 51.00 0.20 63.81 61.25 9.73 49.00 76.00 67.68 9.12
300-AH 3.00 28.50 42.00 42.00 42.00 33.45 15.15 13.50 39.00 0.45 26.82 16.96 12.62 17.00 42.00 40.31 6.24
301-AH 1.00 4.00 4.50 5.50 16.00 5.95 3.80 1.50 15.00 0.64 5.06 4.21 2.72 4.00 6.00 4.47 0.64
302-AH 8.00 13.50 17.00 17.00 17.00 15.20 2.82 3.50 9.00 0.19 14.89 14.52 2.34 10.00 17.00 15.58 2.32
303-AH 9.00 10.00 11.50 14.00 14.00 11.85 1.84 4.00 5.00 0.16 11.71 11.57 1.65 9.00 14.00 11.85 1.84
304-AH 1.00 4.00 11.50 13.50 15.00 9.40 5.10 9.50 14.00 0.54 7.20 4.60 4.42 1.00 15.00 9.40 5.10
305-AH 15.00 29.50 59.50 61.00 61.00 48.05 17.07 31.50 46.00 0.36 44.14 39.30 14.64 15.00 61.00 48.05 17.07
306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
307-AH 20.00 37.50 54.00 67.00 75.00 52.55 16.73 29.50 55.00 0.32 49.60 46.23 14.00 20.00 75.00 52.55 16.73
308-AH 6.00 8.50 10.00 10.00 11.00 9.25 1.86 1.50 5.00 0.20 9.04 8.80 1.52 7.00 11.00 10.06 0.93
309-AH 7.00 8.00 10.00 10.00 10.00 9.20 1.06 2.00 3.00 0.11 9.14 9.07 0.96 7.00 10.00 9.20 1.06
310-AH 8.00 14.50 31.00 40.00 48.00 27.45 14.17 25.50 40.00 0.52 23.28 19.04 12.60 8.00 48.00 27.45 14.17
311-AH 30.00 41.00 47.00 50.00 52.00 45.55 5.75 9.00 22.00 0.13 45.17 44.73 4.59 30.00 52.00 45.55 5.75
312-AH 4.00 19.00 31.00 31.00 31.00 24.25 9.85 12.00 27.00 0.41 21.03 16.35 8.18 4.00 31.00 24.25 9.85
313-AH 5.00 9.00 13.50 16.00 17.00 12.30 3.96 7.00 12.00 0.32 11.58 10.76 3.47 5.00 17.00 12.30 3.96
314-AH 3.00 11.50 17.00 17.00 17.00 14.20 4.82 5.50 14.00 0.34 12.97 11.15 4.00 7.00 17.00 14.79 4.14
315-AH 12.00 21.50 47.50 55.00 58.00 41.45 16.91 33.50 46.00 0.41 36.92 31.51 14.51 12.00 58.00 41.45 16.91
316-AH 1.00 18.00 81.00 92.50 106.00 64.65 38.22 74.50 105.00 0.59 41.49 11.40 34.05 1.00 106.00 64.65 38.22
317-AH 18.00 22.50 27.00 29.00 30.00 25.55 4.10 6.50 12.00 0.16 25.21 24.84 3.49 18.00 30.00 25.55 4.10
318-AH 2.00 8.50 9.00 9.00 9.00 8.05 2.11 0.50 7.00 0.26 7.58 6.78 1.42 8.00 9.00 8.88 0.33
319-AH 10.00 11.00 13.50 15.00 18.00 13.50 2.33 4.00 8.00 0.17 13.31 13.11 2.00 10.00 18.00 13.50 2.33
320-AH 3.00 7.00 10.00 11.00 11.00 9.20 2.44 4.00 8.00 0.27 8.77 8.17 2.02 3.00 11.00 9.20 2.44
321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
322-AH 6.00 6.50 9.00 11.00 14.00 9.05 2.67 4.50 8.00 0.29 8.69 8.35 2.16 6.00 14.00 9.05 2.67
323-AH 7.00 18.00 22.00 24.50 26.00 21.05 4.48 6.50 19.00 0.21 20.40 19.37 3.34 17.00 26.00 21.79 3.10
324-AH 9.00 31.00 45.50 67.50 70.00 47.70 20.08 36.50 61.00 0.42 42.68 36.19 18.40 9.00 70.00 47.70 20.08
325-AH 45.00 57.00 59.00 59.50 60.00 56.95 4.54 2.50 15.00 0.08 56.76 56.56 3.38 57.00 60.00 59.06 0.93
326-AH 0.00 2.00 3.00 3.00 4.00 2.65 1.04 1.00 4.00 0.39 1.41 0.00 0.79 1.00 4.00 2.79 0.85
327-AH 0.00 1.00 3.00 4.00 4.00 2.70 1.49 3.00 4.00 0.55 0.76 0.00 1.29 0.00 4.00 2.70 1.49
328-AH 13.00 22.00 23.00 23.00 23.00 22.05 2.33 1.00 10.00 0.11 21.90 21.69 1.42 21.00 23.00 22.67 0.77
329-AH 13.00 17.00 17.00 17.00 17.00 16.65 0.93 0.00 4.00 0.06 16.62 16.59 0.56 17.00 17.00 17.00 0.00
330-AH 10.00 44.00 49.00 51.00 51.00 46.30 9.19 7.00 41.00 0.20 44.45 40.30 5.38 42.00 51.00 48.21 3.49
331-AH 12.00 16.00 17.00 17.00 17.00 16.15 1.60 1.00 5.00 0.10 16.07 15.97 1.28 15.00 17.00 16.88 0.50
332-AH 1.00 8.00 8.00 8.00 8.00 7.50 1.57 0.00 7.00 0.21 7.07 5.83 0.80 8.00 8.00 8.00 0.00
333-AH 2.00 5.00 5.00 5.00 5.00 4.85 0.67 0.00 3.00 0.14 4.78 4.65 0.29 5.00 5.00 5.00 0.00
334-AH 4.00 5.00 5.00 5.00 5.00 4.95 0.22 0.00 1.00 0.05 4.94 4.94 0.09 5.00 5.00 5.00 0.00
335-AH 10.00 13.00 13.00 14.50 15.00 13.30 1.30 1.50 5.00 0.10 13.24 13.17 0.99 12.00 15.00 13.47 1.07
336-AH 4.00 8.50 11.50 13.00 15.00 10.80 3.38 4.50 11.00 0.31 10.18 9.44 2.66 4.00 15.00 10.80 3.38
337-AH 5.00 9.00 20.00 20.00 20.00 15.65 6.57 11.00 15.00 0.42 13.64 11.15 5.66 5.00 20.00 15.65 6.57
338-AH 6.00 9.00 10.00 10.00 10.00 9.35 1.09 1.00 4.00 0.12 9.28 9.20 0.84 8.00 10.00 9.53 0.77
339-AH 14.00 19.00 19.00 19.00 19.00 18.70 1.13 0.00 5.00 0.06 18.66 18.62 0.54 19.00 19.00 19.00 0.00
340-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00
23
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 4.00 6.00 6.00 6.00 6.00 5.80 0.62 0.00 2.00 0.11 5.76 5.71 0.36 6.00 6.00 6.00 0.00
342-AH 52.00 76.50 92.00 95.00 96.00 84.40 15.28 18.50 44.00 0.18 82.86 81.08 12.50 52.00 96.00 84.40 15.28
343-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
344-AH 23.00 27.50 33.00 33.00 33.00 30.45 3.98 5.50 10.00 0.13 30.18 29.87 3.33 23.00 33.00 30.45 3.98
345-AH 3.00 5.50 9.00 9.00 9.00 7.30 2.41 3.50 6.00 0.33 6.79 6.17 2.11 3.00 9.00 7.30 2.41
346-AH 7.00 8.00 11.00 11.00 11.00 9.70 1.66 3.00 4.00 0.17 9.55 9.40 1.49 7.00 11.00 9.70 1.66
347-AH 6.00 6.00 8.00 8.00 9.00 7.40 1.05 2.00 3.00 0.14 7.33 7.25 0.92 6.00 9.00 7.40 1.05
348-AH 0.00 2.00 2.00 2.00 2.00 1.90 0.45 0.00 2.00 0.24 1.09 0.00 0.19 2.00 2.00 2.00 0.00
349-AH 23.00 26.00 27.00 27.00 27.00 26.40 1.05 1.00 4.00 0.04 26.38 26.36 0.78 25.00 27.00 26.58 0.69
350-AH 4.00 8.00 10.00 10.00 10.00 9.05 1.54 2.00 6.00 0.17 8.88 8.64 1.14 7.00 10.00 9.32 1.00
24
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.2661 0.7277 0.8921 0.9386 1.0000 0.8144 0.2057 0.2110 0.7339 0.2526 0.7789 0.7275 0.1591 0.4679 1.0000 0.8433 0.1646
143-AH 0.0051 0.3013 0.6779 0.7607 0.8865 0.5541 0.3094 0.4595 0.8814 0.5583 0.3344 0.0628 0.2584 0.0051 0.8865 0.5541 0.3094
144-AH 0.0011 0.0452 0.3611 0.4662 0.7556 0.3228 0.2349 0.4210 0.7545 0.7276 0.1523 0.0165 0.1878 0.0011 0.7556 0.3228 0.2349
145-AH 0.0179 0.2263 0.4370 0.6200 0.7198 0.4134 0.2425 0.3937 0.7019 0.5866 0.2795 0.1237 0.1897 0.0179 0.7198 0.4134 0.2425
146-AH 0.0072 0.0673 0.1756 0.2674 0.5062 0.2137 0.1729 0.2001 0.4990 0.8090 0.1325 0.0573 0.1400 0.0072 0.5062 0.2137 0.1729
147-AH 0.0830 0.3023 0.5581 0.6844 0.8399 0.5173 0.2366 0.3821 0.7569 0.4573 0.4443 0.3480 0.1957 0.0830 0.8399 0.5173 0.2366
148-AH 0.0093 0.0562 0.1162 0.1932 0.1971 0.1180 0.0707 0.1370 0.1878 0.5994 0.0902 0.0576 0.0640 0.0093 0.1971 0.1180 0.0707
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0145 0.0756 0.1449 0.1650 0.0742 0.0597 0.1303 0.1650 0.8038 0.0120 0.0000 0.0491 0.0000 0.1650 0.0742 0.0597
151-AH 0.0002 0.0364 0.0746 0.1754 0.3922 0.1114 0.1019 0.1390 0.3920 0.9149 0.0611 0.0040 0.0817 0.0002 0.2514 0.0966 0.0797
152-AH 0.0030 0.2779 0.5227 0.5829 0.8259 0.4511 0.2073 0.3050 0.8228 0.4595 0.3324 0.0522 0.1654 0.0030 0.8259 0.4511 0.2073
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0962 0.2633 0.3331 0.3732 0.4169 0.3089 0.0868 0.1099 0.3207 0.2809 0.2936 0.2728 0.0710 0.1985 0.4169 0.3201 0.0728
155-AH 0.0000 0.0122 0.0923 0.1627 0.3768 0.1103 0.1050 0.1504 0.3768 0.9515 0.0115 0.0000 0.0799 0.0000 0.3768 0.1103 0.1050
156-AH 0.0074 0.0259 0.0769 0.0960 0.1679 0.0721 0.0461 0.0701 0.1606 0.6401 0.0519 0.0308 0.0351 0.0074 0.1679 0.0721 0.0461
157-AH 0.1388 0.3722 0.4454 0.5667 0.7063 0.4478 0.1563 0.1946 0.5675 0.3489 0.4164 0.3776 0.1130 0.1388 0.7063 0.4478 0.1563
158-AH 0.0001 0.1346 0.3247 0.4746 0.6300 0.3044 0.1879 0.3399 0.6299 0.6171 0.1673 0.0015 0.1614 0.0001 0.6300 0.3044 0.1879
159-AH 0.0021 0.0592 0.1299 0.3537 0.6580 0.2208 0.2333 0.2945 0.6559 1.0566 0.1102 0.0278 0.1907 0.0021 0.6580 0.2208 0.2333
160-AH 0.0017 0.0219 0.0478 0.0673 0.1769 0.0585 0.0547 0.0454 0.1752 0.9359 0.0287 0.0082 0.0377 0.0017 0.0731 0.0382 0.0255
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0681 0.3865 0.8069 0.8632 0.9024 0.6403 0.3185 0.4768 0.8343 0.4975 0.4893 0.2897 0.2670 0.0681 0.9024 0.6403 0.3185
164-AH 0.0006 0.0188 0.0603 0.0825 0.3667 0.0831 0.0963 0.0637 0.3660 1.1592 0.0282 0.0038 0.0663 0.0006 0.1509 0.0482 0.0398
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0086 0.0882 0.1438 0.2828 0.0917 0.0864 0.1352 0.2828 0.9419 0.0245 0.0002 0.0678 0.0000 0.2828 0.0917 0.0864
168-AH 0.0389 0.2687 0.3634 0.4004 0.4583 0.3231 0.1155 0.1316 0.4193 0.3574 0.2882 0.2227 0.0890 0.1170 0.4583 0.3381 0.0967
169-AH 0.0008 0.0045 0.0296 0.0571 0.1667 0.0396 0.0421 0.0526 0.1659 1.0636 0.0182 0.0052 0.0312 0.0008 0.1005 0.0329 0.0305
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0016 0.0436 0.0702 0.1236 0.1995 0.0853 0.0612 0.0800 0.1979 0.7179 0.0517 0.0122 0.0477 0.0016 0.1995 0.0853 0.0612
172-AH 0.0256 0.0599 0.0954 0.1236 0.2058 0.0951 0.0485 0.0637 0.1802 0.5095 0.0830 0.0704 0.0367 0.0256 0.2058 0.0951 0.0485
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.2583 0.7812 1.0000 1.0000 1.0000 0.8567 0.2645 0.2188 0.7417 0.3088 0.7959 0.7061 0.2150 0.5016 1.0000 0.9231 0.1772
175-AH 0.3038 0.5564 0.7180 0.8119 0.8874 0.6766 0.1761 0.2555 0.5836 0.2602 0.6501 0.6184 0.1379 0.3038 0.8874 0.6766 0.1761
176-AH 0.4959 0.6777 0.8285 0.9013 0.9470 0.7942 0.1313 0.2236 0.4511 0.1653 0.7828 0.7703 0.1100 0.4959 0.9470 0.7942 0.1313
177-AH 0.0576 0.1252 0.1295 0.1842 0.6192 0.1976 0.1610 0.0590 0.5617 0.8147 0.1586 0.1358 0.1186 0.0576 0.2369 0.1260 0.0369
178-AH 0.0000 0.0054 0.0150 0.1041 0.4405 0.0765 0.1201 0.0987 0.4405 1.5713 0.0094 0.0001 0.0882 0.0000 0.1523 0.0323 0.0459
179-AH 0.0019 0.0840 0.3073 0.6505 0.8881 0.3486 0.2827 0.5665 0.8863 0.8112 0.1606 0.0234 0.2359 0.0019 0.8881 0.3486 0.2827
180-AH 0.0073 0.0956 0.2584 0.6331 0.7285 0.3322 0.2731 0.5375 0.7212 0.8221 0.1998 0.0762 0.2416 0.0073 0.7285 0.3322 0.2731
181-AH 0.0023 0.3427 0.7587 0.8394 0.8762 0.6176 0.2832 0.4967 0.8739 0.4585 0.4393 0.0419 0.2444 0.0023 0.8762 0.6176 0.2832
182-AH 0.0427 0.0591 0.1517 0.3552 0.5095 0.2182 0.1587 0.2961 0.4668 0.7270 0.1562 0.1074 0.1449 0.0427 0.5095 0.2182 0.1587
183-AH 0.0014 0.0121 0.0227 0.0852 0.4770 0.0765 0.1151 0.0731 0.4756 1.5039 0.0295 0.0101 0.0779 0.0014 0.1869 0.0384 0.0473
184-AH 0.0036 0.3032 0.4422 0.5728 0.6427 0.4221 0.1788 0.2696 0.6391 0.4237 0.3271 0.0610 0.1489 0.0036 0.6427 0.4221 0.1788
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.3138 0.8522 0.9088 0.9617 0.6518 0.3926 0.5951 0.9617 0.6023 0.0504 0.0000 0.3283 0.0000 0.9617 0.6518 0.3926
190-AH 0.0381 0.3633 0.4880 0.7269 0.7802 0.5023 0.2512 0.3636 0.7421 0.5001 0.3984 0.2459 0.2049 0.0381 0.7802 0.5023 0.2512
25
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0269 0.1916 0.4107 0.5685 0.8656 0.4171 0.2683 0.3769 0.8387 0.6432 0.3066 0.1746 0.2063 0.0269 0.8656 0.4171 0.2683
193-AH 0.2612 0.3715 0.4489 0.4731 0.7498 0.4436 0.1340 0.1016 0.4886 0.3021 0.4253 0.4074 0.0858 0.2612 0.5475 0.4096 0.0884
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0002 0.4457 0.5444 0.6360 0.8836 0.5251 0.2112 0.1903 0.8834 0.4023 0.3561 0.0049 0.1516 0.2257 0.8836 0.5527 0.1761
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0164 0.3779 0.6328 0.6779 0.7315 0.5286 0.2117 0.3000 0.7151 0.4004 0.4270 0.1855 0.1708 0.0164 0.7315 0.5286 0.2117
200-AH 0.0569 0.0858 0.2725 0.4028 0.7090 0.2743 0.2011 0.3171 0.6521 0.7331 0.1986 0.1383 0.1610 0.0569 0.7090 0.2743 0.2011
251-AH 0.0301 0.2959 0.5162 0.5619 0.6087 0.4180 0.2050 0.2660 0.5786 0.4905 0.3104 0.1537 0.1659 0.0301 0.6087 0.4180 0.2050
252-AH 0.1358 0.2291 0.3273 0.4934 0.5848 0.3473 0.1420 0.2643 0.4490 0.4089 0.3179 0.2886 0.1259 0.1358 0.5848 0.3473 0.1420
253-AH 0.0027 0.0919 0.2214 0.3161 0.4726 0.2207 0.1452 0.2242 0.4698 0.6576 0.1468 0.0375 0.1216 0.0027 0.4726 0.2207 0.1452
254-AH 0.0003 0.0352 0.1831 0.2203 0.3313 0.1485 0.1074 0.1851 0.3310 0.7234 0.0578 0.0039 0.0937 0.0003 0.3313 0.1485 0.1074
255-AH 0.0364 0.1025 0.2722 0.4559 0.6179 0.3022 0.1904 0.3533 0.5815 0.6299 0.2265 0.1497 0.1604 0.0364 0.6179 0.3022 0.1904
256-AH 0.0007 0.5702 0.7750 0.8742 0.9097 0.7018 0.2204 0.3040 0.9091 0.3141 0.5098 0.0133 0.1668 0.4720 0.9097 0.7387 0.1501
257-AH 0.1076 0.1731 0.2109 0.2664 0.3035 0.2163 0.0591 0.0933 0.1959 0.2735 0.2077 0.1982 0.0476 0.1076 0.3035 0.2163 0.0591
258-AH 0.0008 0.0043 0.0077 0.0403 0.2094 0.0438 0.0720 0.0359 0.2086 1.6426 0.0113 0.0041 0.0562 0.0008 0.0640 0.0099 0.0150
259-AH 0.0096 0.3866 0.4887 0.6709 0.6823 0.4869 0.1780 0.2843 0.6727 0.3656 0.4040 0.1385 0.1371 0.0096 0.6823 0.4869 0.1780
260-AH 0.0069 0.4087 0.6118 0.6828 0.7514 0.5236 0.2201 0.2741 0.7445 0.4204 0.4083 0.1069 0.1740 0.0069 0.7514 0.5236 0.2201
261-AH 0.0213 0.0510 0.1307 0.1610 0.2784 0.1173 0.0709 0.1100 0.2571 0.6040 0.0940 0.0712 0.0578 0.0213 0.2784 0.1173 0.0709
262-AH 0.0050 0.0992 0.1509 0.2102 0.4528 0.1889 0.1397 0.1110 0.4478 0.7392 0.1351 0.0577 0.1045 0.0050 0.2102 0.1263 0.0610
263-AH 0.0037 0.0292 0.1355 0.2054 0.2623 0.1239 0.0934 0.1762 0.2586 0.7536 0.0661 0.0214 0.0812 0.0037 0.2623 0.1239 0.0934
264-AH 0.0302 0.2818 0.4659 0.6097 0.6819 0.4248 0.2174 0.3279 0.6517 0.5116 0.3327 0.1974 0.1827 0.0302 0.6819 0.4248 0.2174
265-AH 0.0052 0.0531 0.3368 0.5028 0.6944 0.3024 0.2357 0.4497 0.6892 0.7794 0.1426 0.0298 0.2047 0.0052 0.6944 0.3024 0.2357
266-AH 0.0000 0.0035 0.0159 0.0295 0.1225 0.0220 0.0274 0.0261 0.1225 1.2488 0.0033 0.0000 0.0167 0.0000 0.0521 0.0167 0.0143
267-AH 0.0133 0.1859 0.2475 0.3128 0.4589 0.2513 0.1071 0.1269 0.4456 0.4261 0.2124 0.1245 0.0777 0.0133 0.4589 0.2513 0.1071
268-AH 0.0264 0.1774 0.3922 0.6667 0.7101 0.3947 0.2444 0.4893 0.6837 0.6191 0.2814 0.1442 0.2054 0.0264 0.7101 0.3947 0.2444
269-AH 0.0258 0.1320 0.1681 0.2738 0.4503 0.2065 0.1113 0.1418 0.4246 0.5391 0.1763 0.1374 0.0872 0.0258 0.4503 0.2065 0.1113
270-AH 0.0232 0.5510 0.6645 0.7469 0.8140 0.6116 0.1890 0.1960 0.7908 0.3090 0.5318 0.2693 0.1366 0.3218 0.8140 0.6425 0.1321
271-AH 0.0482 0.2977 0.5098 0.5856 0.6310 0.4169 0.1949 0.2879 0.5828 0.4675 0.3450 0.2410 0.1697 0.0482 0.6310 0.4169 0.1949
272-AH 0.0051 0.1789 0.2611 0.2740 0.3343 0.2292 0.0880 0.0952 0.3292 0.3840 0.1884 0.0700 0.0685 0.1020 0.3343 0.2409 0.0724
273-AH 0.0577 0.1595 0.6446 0.7466 0.8791 0.5170 0.2948 0.5871 0.8214 0.5701 0.3739 0.2130 0.2561 0.0577 0.8791 0.5170 0.2948
274-AH 0.0074 0.1393 0.1981 0.3018 0.3952 0.2203 0.1086 0.1626 0.3878 0.4932 0.1771 0.0841 0.0890 0.0074 0.3952 0.2203 0.1086
275-AH 0.0168 0.0854 0.2388 0.3915 0.5197 0.2520 0.1626 0.3061 0.5029 0.6451 0.1852 0.1108 0.1401 0.0168 0.5197 0.2520 0.1626
276-AH 0.1182 0.1894 0.3378 0.3600 0.5087 0.3130 0.1172 0.1705 0.3905 0.3744 0.2902 0.2663 0.0944 0.1182 0.5087 0.3130 0.1172
277-AH 0.0008 0.0444 0.1293 0.1673 0.3538 0.1316 0.0900 0.1230 0.3531 0.6841 0.0877 0.0131 0.0692 0.0008 0.2883 0.1199 0.0753
278-AH 0.0041 0.0653 0.1326 0.2186 0.3542 0.1533 0.1110 0.1532 0.3501 0.7245 0.1038 0.0412 0.0895 0.0041 0.3542 0.1533 0.1110
279-AH 0.0000 0.0621 0.1062 0.2997 0.7615 0.1821 0.1875 0.2375 0.7615 1.0296 0.0640 0.0002 0.1448 0.0000 0.4162 0.1516 0.1322
280-AH 0.0050 0.0107 0.0307 0.0367 0.1018 0.0290 0.0215 0.0260 0.0968 0.7416 0.0221 0.0158 0.0141 0.0050 0.0418 0.0252 0.0134
281-AH 0.0351 0.2637 0.3111 0.4667 0.5891 0.3498 0.1445 0.2030 0.5541 0.4130 0.3070 0.2282 0.1190 0.0351 0.5891 0.3498 0.1445
282-AH 0.0184 0.0683 0.1460 0.2260 0.2912 0.1453 0.0891 0.1577 0.2728 0.6134 0.1066 0.0646 0.0723 0.0184 0.2912 0.1453 0.0891
283-AH 0.0105 0.0396 0.1547 0.2299 0.6792 0.1820 0.1934 0.1904 0.6687 1.0625 0.0971 0.0441 0.1386 0.0105 0.3661 0.1293 0.1110
284-AH 0.0000 0.2094 0.5166 0.5404 0.5919 0.3948 0.2270 0.3310 0.5919 0.5751 0.1553 0.0002 0.1910 0.0000 0.5919 0.3948 0.2270
285-AH 0.0552 0.2280 0.4537 0.7123 0.8339 0.4554 0.2603 0.4843 0.7787 0.5716 0.3582 0.2474 0.2191 0.0552 0.8339 0.4554 0.2603
286-AH 0.0002 0.0081 0.0257 0.0294 0.0399 0.0212 0.0117 0.0213 0.0396 0.5518 0.0149 0.0034 0.0099 0.0002 0.0399 0.0212 0.0117
287-AH 0.0005 0.1256 0.3710 0.4069 0.4651 0.2832 0.1661 0.2813 0.4646 0.5865 0.1595 0.0092 0.1435 0.0005 0.4651 0.2832 0.1661
288-AH 0.0095 0.0781 0.1233 0.2232 0.5463 0.1881 0.1720 0.1452 0.5368 0.9142 0.1233 0.0688 0.1290 0.0095 0.3444 0.1255 0.0860
289-AH 0.0030 0.4694 0.6158 0.7842 0.8692 0.5936 0.2294 0.3148 0.8662 0.3865 0.4571 0.0546 0.1842 0.0030 0.8692 0.5936 0.2294
290-AH 0.0049 0.0400 0.1570 0.2433 0.4092 0.1703 0.1230 0.2033 0.4043 0.7226 0.1034 0.0389 0.1016 0.0049 0.4092 0.1703 0.1230
26
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0255 0.1411 0.3697 0.5422 0.6287 0.3411 0.2142 0.4011 0.6032 0.6280 0.2343 0.1194 0.1876 0.0255 0.6287 0.3411 0.2142
292-AH 0.0118 0.2812 0.6149 0.7608 1.0000 0.5524 0.3515 0.4796 0.9882 0.6363 0.2907 0.0664 0.2711 0.0118 1.0000 0.5524 0.3515
293-AH 0.0695 0.3328 0.5434 0.6512 0.7228 0.4768 0.2317 0.3184 0.6533 0.4859 0.3791 0.2498 0.1854 0.0695 0.7228 0.4768 0.2317
294-AH 0.0001 0.2607 0.6287 0.6832 0.7540 0.4990 0.2579 0.4224 0.7539 0.5169 0.2839 0.0022 0.2174 0.0001 0.7540 0.4990 0.2579
295-AH 0.0712 0.1342 0.1628 0.2196 0.4190 0.1871 0.0930 0.0854 0.3478 0.4970 0.1677 0.1509 0.0705 0.0712 0.3070 0.1644 0.0642
296-AH 0.0001 0.1702 0.3604 0.4009 0.6393 0.3388 0.1786 0.2307 0.6392 0.5271 0.2097 0.0015 0.1411 0.0001 0.6393 0.3388 0.1786
297-AH 0.0391 0.1970 0.3759 0.3884 0.4897 0.3034 0.1329 0.1915 0.4506 0.4380 0.2606 0.1975 0.1126 0.0391 0.4897 0.3034 0.1329
298-AH 0.0081 0.0983 0.1912 0.2345 0.3565 0.1737 0.0905 0.1362 0.3484 0.5212 0.1302 0.0559 0.0740 0.0081 0.3565 0.1737 0.0905
299-AH 0.0194 0.1621 0.3822 0.4866 0.5838 0.3411 0.1875 0.3244 0.5644 0.5496 0.2641 0.1531 0.1626 0.0194 0.5838 0.3411 0.1875
300-AH 0.0016 0.0631 0.2132 0.2381 0.2950 0.1688 0.1039 0.1750 0.2934 0.6157 0.0827 0.0135 0.0876 0.0016 0.2950 0.1688 0.1039
301-AH 0.0001 0.0103 0.0185 0.0211 0.5170 0.0852 0.1581 0.0108 0.5168 1.8554 0.0193 0.0021 0.1143 0.0001 0.0211 0.0138 0.0072
302-AH 0.0488 0.1651 0.2490 0.3416 0.4401 0.2532 0.1112 0.1765 0.3914 0.4392 0.2216 0.1805 0.0955 0.0488 0.4401 0.2532 0.1112
303-AH 0.0480 0.1414 0.2359 0.3237 0.4397 0.2318 0.1107 0.1823 0.3917 0.4776 0.2008 0.1649 0.0951 0.0480 0.4397 0.2318 0.1107
304-AH 0.0002 0.0761 0.3014 0.3454 0.3880 0.2388 0.1497 0.2692 0.3878 0.6271 0.0572 0.0014 0.1279 0.0002 0.3880 0.2388 0.1497
305-AH 0.0066 0.0699 0.2408 0.3144 0.4818 0.2138 0.1397 0.2445 0.4753 0.6534 0.1365 0.0524 0.1149 0.0066 0.4818 0.2138 0.1397
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0090 0.0457 0.1275 0.1737 0.4041 0.1463 0.1221 0.1281 0.3950 0.8347 0.0938 0.0486 0.0915 0.0090 0.3640 0.1327 0.1088
308-AH 0.0076 0.4137 0.6753 0.7543 0.8395 0.5590 0.2931 0.3407 0.8319 0.5242 0.3698 0.0969 0.2413 0.0076 0.8395 0.5590 0.2931
309-AH 0.0321 0.0496 0.0818 0.0877 0.1514 0.0750 0.0325 0.0381 0.1193 0.4328 0.0685 0.0623 0.0260 0.0321 0.1326 0.0710 0.0278
310-AH 0.0063 0.0212 0.0500 0.0721 0.1167 0.0513 0.0353 0.0509 0.1105 0.6876 0.0369 0.0229 0.0289 0.0063 0.1167 0.0513 0.0353
311-AH 0.0391 0.1941 0.2385 0.2753 0.3772 0.2386 0.0739 0.0812 0.3381 0.3098 0.2217 0.1893 0.0521 0.1806 0.3772 0.2491 0.0586
312-AH 0.0007 0.1047 0.3267 0.5047 0.7196 0.3211 0.2428 0.4000 0.7189 0.7562 0.1378 0.0084 0.2162 0.0007 0.7196 0.3211 0.2428
313-AH 0.0034 0.0177 0.0726 0.1057 0.1316 0.0628 0.0469 0.0880 0.1281 0.7467 0.0387 0.0178 0.0418 0.0034 0.1316 0.0628 0.0469
314-AH 0.0047 0.0268 0.0551 0.0817 0.0990 0.0545 0.0323 0.0549 0.0944 0.5936 0.0396 0.0223 0.0280 0.0047 0.0990 0.0545 0.0323
315-AH 0.0035 0.0851 0.2873 0.4063 0.5332 0.2521 0.1701 0.3212 0.5297 0.6745 0.1374 0.0333 0.1459 0.0035 0.5332 0.2521 0.1701
316-AH 0.0001 0.0059 0.0921 0.1165 0.2312 0.0828 0.0707 0.1105 0.2310 0.8535 0.0314 0.0019 0.0567 0.0001 0.2312 0.0828 0.0707
317-AH 0.0715 0.1987 0.2154 0.2383 0.3007 0.2143 0.0498 0.0396 0.2291 0.2322 0.2065 0.1950 0.0333 0.1893 0.2637 0.2231 0.0239
318-AH 0.0019 0.0690 0.0839 0.1106 0.3657 0.0968 0.0764 0.0416 0.3638 0.7891 0.0666 0.0224 0.0459 0.0074 0.1513 0.0814 0.0334
319-AH 0.0988 0.1820 0.2163 0.3530 0.5108 0.2582 0.1189 0.1710 0.4120 0.4607 0.2331 0.2099 0.0976 0.0988 0.5108 0.2582 0.1189
320-AH 0.0053 0.0125 0.0245 0.0295 0.0879 0.0278 0.0225 0.0169 0.0826 0.8096 0.0208 0.0152 0.0146 0.0053 0.0452 0.0214 0.0114
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0045 0.0196 0.0342 0.0420 0.0767 0.0330 0.0189 0.0224 0.0722 0.5747 0.0263 0.0184 0.0150 0.0045 0.0603 0.0307 0.0163
323-AH 0.0096 0.1376 0.2149 0.2487 0.3117 0.1952 0.0746 0.1111 0.3021 0.3824 0.1677 0.0963 0.0588 0.0096 0.3117 0.1952 0.0746
324-AH 0.0015 0.1397 0.2342 0.5216 0.5825 0.2929 0.2008 0.3819 0.5810 0.6858 0.1840 0.0249 0.1768 0.0015 0.5825 0.2929 0.2008
325-AH 0.1921 0.4122 0.5231 0.5717 0.6677 0.4896 0.1152 0.1595 0.4756 0.2353 0.4733 0.4519 0.0904 0.1921 0.6677 0.4896 0.1152
326-AH 0.0000 0.0397 0.1036 0.1910 0.5137 0.1591 0.1666 0.1512 0.5137 1.0470 0.0476 0.0002 0.1208 0.0000 0.2287 0.0970 0.0748
327-AH 0.0000 0.0025 0.0097 0.0729 0.6071 0.1228 0.2119 0.0704 0.6071 1.7248 0.0108 0.0001 0.1624 0.0000 0.0788 0.0213 0.0285
328-AH 0.1586 0.3209 0.4768 0.5239 0.5770 0.4227 0.1437 0.2030 0.4184 0.3399 0.3913 0.3526 0.1155 0.1586 0.5770 0.4227 0.1437
329-AH 0.2267 0.5303 0.6531 0.7294 0.7542 0.6264 0.1356 0.1991 0.5275 0.2164 0.6074 0.5798 0.1065 0.4966 0.7542 0.6475 0.1003
330-AH 0.0142 0.5299 0.6961 0.7574 0.8207 0.6182 0.2055 0.2275 0.8065 0.3324 0.5190 0.1956 0.1540 0.2518 0.8207 0.6500 0.1524
331-AH 0.0165 0.1781 0.1974 0.2515 0.4799 0.2036 0.1066 0.0734 0.4634 0.5238 0.1569 0.0858 0.0701 0.1754 0.3406 0.2208 0.0471
332-AH 0.0003 0.1154 0.3899 0.4395 0.5173 0.3095 0.1790 0.3242 0.5169 0.5782 0.1727 0.0064 0.1515 0.0003 0.5173 0.3095 0.1790
333-AH 0.0039 0.7933 1.0000 1.0000 1.0000 0.8561 0.2780 0.2067 0.9961 0.3248 0.6667 0.0711 0.2159 0.5000 1.0000 0.9009 0.1978
334-AH 0.0581 0.1413 0.2490 0.3630 0.5177 0.2649 0.1546 0.2216 0.4596 0.5837 0.2179 0.1719 0.1307 0.0581 0.5177 0.2649 0.1546
335-AH 0.0236 0.0954 0.1487 0.2071 0.2523 0.1422 0.0719 0.1117 0.2287 0.5055 0.1192 0.0897 0.0588 0.0236 0.2523 0.1422 0.0719
336-AH 0.0016 0.0108 0.0206 0.0589 0.3142 0.0769 0.1161 0.0480 0.3126 1.5099 0.0277 0.0118 0.0893 0.0016 0.0668 0.0211 0.0171
337-AH 0.0114 0.0976 0.7029 0.7573 0.8793 0.5050 0.3352 0.6597 0.8679 0.6637 0.3004 0.1029 0.3056 0.0114 0.8793 0.5050 0.3352
338-AH 0.0620 0.3790 0.5613 0.7956 0.8691 0.5568 0.2486 0.4166 0.8071 0.4465 0.4756 0.3505 0.2082 0.0620 0.8691 0.5568 0.2486
339-AH 0.1766 0.3956 0.5296 0.6597 0.8805 0.5302 0.1750 0.2641 0.7039 0.3301 0.5002 0.4655 0.1346 0.1766 0.8805 0.5302 0.1750
340-AH 0.1183 0.3000 0.3605 0.4527 0.8314 0.3971 0.1800 0.1527 0.7131 0.4534 0.3603 0.3238 0.1318 0.1183 0.6393 0.3543 0.1286
27
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.3072 0.4941 0.6915 0.8460 0.8833 0.6587 0.2130 0.3519 0.5761 0.3234 0.6170 0.5677 0.1700 0.3072 0.8833 0.6587 0.2130
342-AH 0.1613 0.4076 0.5126 0.6786 0.7661 0.5062 0.1855 0.2710 0.6047 0.3665 0.4652 0.4149 0.1521 0.1613 0.7661 0.5062 0.1855
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.2007 0.2910 0.3796 0.5274 0.6495 0.4049 0.1338 0.2364 0.4488 0.3306 0.3834 0.3623 0.1123 0.2007 0.6495 0.4049 0.1338
345-AH 0.0155 0.0467 0.0792 0.1675 0.3182 0.1096 0.0844 0.1208 0.3026 0.7698 0.0806 0.0563 0.0686 0.0155 0.3182 0.1096 0.0844
346-AH 0.0224 0.0454 0.0572 0.0932 0.1267 0.0663 0.0313 0.0478 0.1043 0.4726 0.0596 0.0532 0.0256 0.0224 0.1267 0.0663 0.0313
347-AH 0.0161 0.0457 0.0657 0.0946 0.1955 0.0778 0.0478 0.0490 0.1794 0.6150 0.0658 0.0550 0.0343 0.0161 0.1371 0.0651 0.0292
348-AH 0.0000 0.4216 1.0000 1.0000 1.0000 0.7435 0.4377 0.5784 1.0000 0.5887 0.2162 0.0002 0.3681 0.0000 1.0000 0.7435 0.4377
349-AH 0.0398 0.2236 0.3014 0.3368 0.5710 0.2942 0.1100 0.1132 0.5312 0.3740 0.2669 0.2170 0.0777 0.1724 0.4301 0.2930 0.0722
350-AH 0.0202 0.2897 0.6135 0.6505 0.7334 0.5079 0.2079 0.3609 0.7132 0.4093 0.4263 0.2214 0.1781 0.0202 0.7334 0.5079 0.2079
28
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.3750 0.6875 0.8750 0.8750 1.0000 0.8062 0.1543 0.1875 0.6250 0.1914 0.7886 0.7659 0.1212 0.6250 1.0000 0.8289 0.1194
143-AH 0.0000 0.3846 0.6026 0.6667 0.7949 0.5128 0.2469 0.2821 0.7949 0.4815 0.2615 0.0002 0.1949 0.0000 0.7949 0.5128 0.2469
144-AH 0.0000 0.0000 0.3333 0.3333 0.6667 0.3000 0.2394 0.3333 0.6667 0.7980 0.0168 0.0000 0.1800 0.0000 0.6667 0.3000 0.2394
145-AH 0.0263 0.2500 0.4474 0.5658 0.5789 0.3882 0.1984 0.3158 0.5526 0.5111 0.2870 0.1425 0.1592 0.0263 0.5789 0.3882 0.1984
146-AH 0.0000 0.0000 0.0000 0.5000 0.5000 0.2250 0.2552 0.5000 0.5000 1.1343 0.0013 0.0000 0.2475 0.0000 0.5000 0.2250 0.2552
147-AH 0.1765 0.3824 0.5490 0.5980 0.8235 0.5059 0.1829 0.2157 0.6471 0.3615 0.4645 0.4127 0.1408 0.1765 0.8235 0.5059 0.1829
148-AH 0.0000 0.0000 0.1667 0.1667 0.3333 0.1250 0.0917 0.1667 0.3333 0.7335 0.0093 0.0000 0.0750 0.0000 0.3333 0.1250 0.0917
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0821 0.0000 0.2000 2.0520 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0833 0.2917 0.3333 0.1375 0.1386 0.2917 0.3333 1.0079 0.0058 0.0000 0.1233 0.0000 0.3333 0.1375 0.1386
152-AH 0.0000 0.3182 0.4545 0.5455 0.8182 0.4273 0.1936 0.2273 0.8182 0.4532 0.2422 0.0002 0.1418 0.0000 0.8182 0.4273 0.1936
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.1429 0.2619 0.3333 0.3810 0.4762 0.3214 0.0938 0.1190 0.3333 0.2919 0.3065 0.2896 0.0762 0.1429 0.4762 0.3214 0.0938
155-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0500 0.1221 0.0000 0.3333 2.4423 0.0000 0.0000 0.0850 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0682 0.1136 0.1364 0.2273 0.1091 0.0560 0.0682 0.2273 0.5130 0.0649 0.0002 0.0455 0.0000 0.2273 0.1091 0.0560
157-AH 0.2374 0.4496 0.4964 0.5755 0.6619 0.4878 0.1149 0.1259 0.4245 0.2355 0.4723 0.4537 0.0823 0.3237 0.6619 0.5144 0.0850
158-AH 0.0000 0.2206 0.3824 0.4853 0.5882 0.3265 0.1840 0.2647 0.5882 0.5637 0.0742 0.0001 0.1497 0.0000 0.5882 0.3265 0.1840
159-AH 0.0000 0.0926 0.1481 0.3981 0.6111 0.2287 0.2010 0.3056 0.6111 0.8789 0.0471 0.0001 0.1640 0.0000 0.6111 0.2287 0.2010
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0500 0.2236 0.0000 1.0000 4.4721 0.0000 0.0000 0.0950 0.0000 0.0000 0.0000 0.0000
163-AH 0.1475 0.4016 0.7213 0.7787 0.8279 0.6033 0.2468 0.3770 0.6803 0.4091 0.5286 0.4305 0.2054 0.1475 0.8279 0.6033 0.2468
164-AH 0.0000 0.0000 0.0556 0.0926 0.3704 0.0796 0.1116 0.0926 0.3704 1.4017 0.0025 0.0000 0.0750 0.0000 0.1852 0.0473 0.0536
165-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3500 0.4894 1.0000 1.0000 1.3982 0.0006 0.0000 0.4550 0.0000 1.0000 0.3500 0.4894
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1196 0.2000 0.4000 1.4956 0.0003 0.0000 0.1040 0.0000 0.4000 0.0800 0.1196
168-AH 0.0556 0.3056 0.3889 0.3889 0.5000 0.3528 0.1055 0.0833 0.4444 0.2991 0.3265 0.2745 0.0767 0.2778 0.5000 0.3796 0.0667
169-AH 0.0000 0.0000 0.0000 0.1667 0.1667 0.0500 0.0784 0.1667 0.1667 1.5672 0.0002 0.0000 0.0700 0.0000 0.1667 0.0500 0.0784
170-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6500 0.4894 1.0000 1.0000 0.7529 0.0178 0.0000 0.4550 0.0000 1.0000 0.6500 0.4894
171-AH 0.0000 0.0263 0.0789 0.1316 0.2632 0.1000 0.0949 0.1053 0.2632 0.9492 0.0107 0.0000 0.0737 0.0000 0.2632 0.1000 0.0949
172-AH 0.0000 0.0000 0.0000 0.1429 0.2857 0.0786 0.0980 0.1429 0.2857 1.2479 0.0008 0.0000 0.0864 0.0000 0.2857 0.0786 0.0980
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8750 0.2221 0.2500 0.5000 0.2539 0.8409 0.8000 0.1875 0.5000 1.0000 0.8750 0.2221
175-AH 0.2857 0.5000 0.7143 0.7857 0.8571 0.6357 0.1881 0.2857 0.5714 0.2959 0.6042 0.5676 0.1579 0.2857 0.8571 0.6357 0.1881
176-AH 0.5128 0.5897 0.7179 0.8205 0.8462 0.7038 0.1157 0.2308 0.3333 0.1644 0.6945 0.6850 0.1038 0.5128 0.8462 0.7038 0.1157
177-AH 0.0769 0.0769 0.1923 0.2692 0.6154 0.2192 0.1734 0.1923 0.5385 0.7910 0.1643 0.1280 0.1346 0.0769 0.5385 0.1984 0.1502
178-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.0875 0.1468 0.2500 0.5000 1.6776 0.0002 0.0000 0.1225 0.0000 0.5000 0.0875 0.1468
179-AH 0.0000 0.1364 0.3409 0.5455 0.8182 0.3477 0.2356 0.4091 0.8182 0.6776 0.1631 0.0002 0.1932 0.0000 0.8182 0.3477 0.2356
180-AH 0.0000 0.1500 0.2500 0.5500 0.7250 0.3375 0.2260 0.4000 0.7250 0.6697 0.1760 0.0002 0.1962 0.0000 0.7250 0.3375 0.2260
181-AH 0.0000 0.3804 0.7337 0.7826 0.8152 0.6163 0.2435 0.4022 0.8152 0.3952 0.3504 0.0002 0.2042 0.0000 0.8152 0.6163 0.2435
182-AH 0.0000 0.0000 0.1250 0.2500 0.7500 0.1750 0.2161 0.2500 0.7500 1.2350 0.0018 0.0000 0.1750 0.0000 0.5000 0.1447 0.1731
183-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0125 0.0559 0.0000 0.2500 4.4721 0.0000 0.0000 0.0238 0.0000 0.0000 0.0000 0.0000
184-AH 0.0000 0.3333 0.4444 0.5556 0.6667 0.4389 0.1820 0.2222 0.6667 0.4146 0.2526 0.0002 0.1400 0.0000 0.6667 0.4389 0.1820
185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0500 0.2236 0.0000 1.0000 4.4721 0.0000 0.0000 0.0950 0.0000 0.0000 0.0000 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0500 0.2236 0.0000 1.0000 4.4721 0.0000 0.0000 0.0950 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.2857 0.7143 0.7857 0.8571 0.5643 0.3421 0.5000 0.8571 0.6062 0.0452 0.0000 0.2821 0.0000 0.8571 0.5643 0.3421
190-AH 0.0000 0.3333 0.5556 0.7222 0.7778 0.5111 0.2508 0.3889 0.7778 0.4907 0.2743 0.0002 0.2089 0.0000 0.7778 0.5111 0.2508
29
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.1667 0.3333 0.5833 0.8333 0.3833 0.2709 0.4167 0.8333 0.7067 0.0807 0.0001 0.2150 0.0000 0.8333 0.3833 0.2709
193-AH 0.2857 0.2857 0.2857 0.4286 0.5714 0.3429 0.0972 0.1429 0.2857 0.2836 0.3321 0.3235 0.0800 0.2857 0.5714 0.3429 0.0972
194-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3500 0.4894 1.0000 1.0000 1.3982 0.0006 0.0000 0.4550 0.0000 1.0000 0.3500 0.4894
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2000 0.4104 0.0000 1.0000 2.0520 0.0001 0.0000 0.3200 0.0000 0.0000 0.0000 0.0000
197-AH 0.0000 0.3600 0.5200 0.6000 0.7800 0.4880 0.1882 0.2400 0.7800 0.3857 0.2861 0.0002 0.1492 0.0000 0.7800 0.4880 0.1882
198-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4500 0.5104 1.0000 1.0000 1.1343 0.0018 0.0000 0.4950 0.0000 1.0000 0.4500 0.5104
199-AH 0.0000 0.3000 0.5000 0.6000 0.7000 0.4550 0.2064 0.3000 0.7000 0.4536 0.2549 0.0002 0.1695 0.0000 0.7000 0.4550 0.2064
200-AH 0.0000 0.1111 0.3333 0.5556 0.7778 0.3333 0.2574 0.4444 0.7778 0.7723 0.0433 0.0000 0.2111 0.0000 0.7778 0.3333 0.2574
251-AH 0.0923 0.3231 0.4846 0.5462 0.5846 0.4215 0.1721 0.2231 0.4923 0.4082 0.3656 0.2868 0.1391 0.0923 0.5846 0.4215 0.1721
252-AH 0.1379 0.2414 0.3621 0.4828 0.4828 0.3586 0.1268 0.2414 0.3448 0.3535 0.3332 0.3046 0.1103 0.1379 0.4828 0.3586 0.1268
253-AH 0.0368 0.1763 0.3158 0.3868 0.5105 0.2950 0.1418 0.2105 0.4737 0.4806 0.2507 0.1891 0.1197 0.0368 0.5105 0.2950 0.1418
254-AH 0.0087 0.0939 0.2882 0.3319 0.3930 0.2301 0.1388 0.2380 0.3843 0.6031 0.1508 0.0632 0.1221 0.0087 0.3930 0.2301 0.1388
255-AH 0.0000 0.1250 0.2500 0.2500 0.5000 0.2250 0.1602 0.1250 0.5000 0.7119 0.0221 0.0000 0.1125 0.0000 0.2500 0.1765 0.1174
256-AH 0.0000 0.5588 0.6912 0.7353 0.7647 0.6250 0.1777 0.1765 0.7647 0.2844 0.3731 0.0002 0.1221 0.4412 0.7647 0.6579 0.1025
257-AH 0.1905 0.2540 0.2857 0.3810 0.3968 0.3040 0.0707 0.1270 0.2063 0.2325 0.2959 0.2876 0.0584 0.1905 0.3968 0.3040 0.0707
258-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0500 0.1026 0.0000 0.2500 2.0520 0.0001 0.0000 0.0800 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.3333 0.3333 0.6667 0.6667 0.4500 0.1957 0.3333 0.6667 0.4349 0.2613 0.0002 0.1733 0.0000 0.6667 0.4500 0.1957
260-AH 0.0317 0.4524 0.5397 0.6349 0.6825 0.5111 0.1616 0.1825 0.6508 0.3162 0.4538 0.2896 0.1187 0.3016 0.6825 0.5363 0.1189
261-AH 0.0882 0.1324 0.2059 0.2353 0.3824 0.2000 0.0857 0.1029 0.2941 0.4283 0.1826 0.1658 0.0653 0.0882 0.3824 0.2000 0.0857
262-AH 0.0235 0.1706 0.1941 0.3529 0.4941 0.2512 0.1330 0.1824 0.4706 0.5295 0.2123 0.1543 0.1089 0.0235 0.4941 0.2512 0.1330
263-AH 0.0208 0.0625 0.1875 0.2708 0.3542 0.1677 0.1118 0.2083 0.3333 0.6665 0.1158 0.0661 0.0967 0.0208 0.3542 0.1677 0.1118
264-AH 0.0455 0.2955 0.5000 0.5682 0.6818 0.4341 0.1748 0.2727 0.6364 0.4027 0.3796 0.2823 0.1473 0.0455 0.6818 0.4341 0.1748
265-AH 0.0000 0.0000 0.3333 0.5000 0.6667 0.2750 0.2312 0.5000 0.6667 0.8406 0.0098 0.0000 0.2033 0.0000 0.6667 0.2750 0.2312
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.1905 0.3333 0.3333 0.4286 0.2738 0.1102 0.1429 0.4286 0.4025 0.1596 0.0002 0.0869 0.0000 0.4286 0.2738 0.1102
268-AH 0.0000 0.0000 0.6667 0.6667 0.6667 0.4333 0.3078 0.6667 0.6667 0.7103 0.0222 0.0000 0.2800 0.0000 0.6667 0.4333 0.3078
269-AH 0.0000 0.1111 0.2222 0.2778 0.3333 0.2111 0.0947 0.1667 0.3333 0.4485 0.1254 0.0002 0.0711 0.0000 0.3333 0.2111 0.0947
270-AH 0.1053 0.4912 0.6228 0.6579 0.7368 0.5588 0.1553 0.1667 0.6316 0.2779 0.5239 0.4578 0.1175 0.3684 0.7368 0.5826 0.1159
271-AH 0.1250 0.3125 0.4792 0.5417 0.5833 0.4083 0.1580 0.2292 0.4583 0.3869 0.3673 0.3141 0.1350 0.1250 0.5833 0.4083 0.1580
272-AH 0.0714 0.2143 0.2857 0.2857 0.3571 0.2464 0.0675 0.0714 0.2857 0.2738 0.2341 0.2159 0.0543 0.1429 0.3571 0.2556 0.0549
273-AH 0.1325 0.2289 0.6024 0.6747 0.8434 0.5084 0.2358 0.4458 0.7108 0.4638 0.4343 0.3482 0.2029 0.1325 0.8434 0.5084 0.2358
274-AH 0.0625 0.2500 0.3125 0.4062 0.4375 0.3000 0.1046 0.1562 0.3750 0.3486 0.2773 0.2436 0.0825 0.0625 0.4375 0.3000 0.1046
275-AH 0.0606 0.1667 0.3030 0.4242 0.5758 0.3121 0.1434 0.2576 0.5152 0.4596 0.2751 0.2310 0.1206 0.0606 0.5758 0.3121 0.1434
276-AH 0.1864 0.2966 0.3390 0.3983 0.5085 0.3517 0.0812 0.1017 0.3220 0.2308 0.3426 0.3331 0.0614 0.1864 0.5085 0.3517 0.0812
277-AH 0.0000 0.0577 0.2692 0.3077 0.3846 0.2077 0.1287 0.2500 0.3846 0.6197 0.1032 0.0002 0.1138 0.0000 0.3846 0.2077 0.1287
278-AH 0.0000 0.1429 0.1905 0.2381 0.3810 0.1976 0.0980 0.0952 0.3810 0.4961 0.1149 0.0002 0.0752 0.0476 0.3333 0.1984 0.0804
279-AH 0.0000 0.0000 0.2500 0.2500 0.7500 0.1875 0.2127 0.2500 0.7500 1.1343 0.0030 0.0000 0.1688 0.0000 0.5000 0.1579 0.1710
280-AH 0.0000 0.0000 0.0400 0.0800 0.2000 0.0500 0.0483 0.0800 0.2000 0.9668 0.0046 0.0000 0.0360 0.0000 0.0800 0.0421 0.0339
281-AH 0.0714 0.2857 0.3333 0.4643 0.5714 0.3571 0.1309 0.1786 0.5000 0.3664 0.3280 0.2855 0.1024 0.0714 0.5714 0.3571 0.1309
282-AH 0.0000 0.0968 0.1452 0.2903 0.3548 0.1823 0.1124 0.1935 0.3548 0.6165 0.0664 0.0001 0.1005 0.0000 0.3548 0.1823 0.1124
283-AH 0.0263 0.1053 0.2105 0.3158 0.6316 0.2224 0.1661 0.2105 0.6053 0.7470 0.1659 0.1164 0.1274 0.0263 0.6316 0.2224 0.1661
284-AH 0.0000 0.2500 0.4737 0.5132 0.5526 0.3816 0.1940 0.2632 0.5526 0.5085 0.1939 0.0002 0.1605 0.0000 0.5526 0.3816 0.1940
285-AH 0.1449 0.2754 0.4855 0.6667 0.7391 0.4681 0.2064 0.3913 0.5942 0.4408 0.4145 0.3550 0.1768 0.1449 0.7391 0.4681 0.2064
286-AH 0.0000 0.0000 0.0000 0.0417 0.0833 0.0208 0.0370 0.0417 0.0833 1.7770 0.0001 0.0000 0.0313 0.0000 0.0833 0.0208 0.0370
287-AH 0.0000 0.1531 0.4286 0.5102 0.5714 0.3408 0.1964 0.3571 0.5714 0.5764 0.1667 0.0002 0.1692 0.0000 0.5714 0.3408 0.1964
288-AH 0.0263 0.1513 0.2303 0.3421 0.5395 0.2618 0.1516 0.1908 0.5132 0.5789 0.2135 0.1523 0.1195 0.0263 0.5395 0.2618 0.1516
289-AH 0.0000 0.3889 0.6389 0.7222 0.7778 0.5583 0.2043 0.3333 0.7778 0.3659 0.3265 0.0002 0.1689 0.0000 0.7778 0.5583 0.2043
290-AH 0.0000 0.0612 0.2245 0.3469 0.5102 0.2235 0.1565 0.2857 0.5102 0.7002 0.1075 0.0002 0.1337 0.0000 0.5102 0.2235 0.1565
30
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.1667 0.4167 0.5333 0.6333 0.3483 0.2082 0.3667 0.6333 0.5976 0.1667 0.0002 0.1820 0.0000 0.6333 0.3483 0.2082
292-AH 0.0000 0.2500 0.5000 0.5000 1.0000 0.4750 0.3432 0.2500 1.0000 0.7225 0.0384 0.0000 0.2375 0.0000 0.5000 0.3438 0.2394
293-AH 0.1176 0.3971 0.5588 0.5882 0.7059 0.4765 0.1857 0.1912 0.5882 0.3897 0.4223 0.3466 0.1453 0.1176 0.7059 0.4765 0.1857
294-AH 0.0000 0.2778 0.5741 0.6667 0.7037 0.4741 0.2279 0.3889 0.7037 0.4807 0.2549 0.0002 0.1911 0.0000 0.7037 0.4741 0.2279
295-AH 0.1373 0.1961 0.2647 0.3333 0.4902 0.2775 0.0903 0.1373 0.3529 0.3253 0.2641 0.2513 0.0705 0.1373 0.4902 0.2775 0.0903
296-AH 0.0000 0.2083 0.3750 0.4375 0.6250 0.3500 0.1502 0.2292 0.6250 0.4291 0.2054 0.0002 0.1192 0.0000 0.6250 0.3500 0.1502
297-AH 0.0833 0.2500 0.4167 0.4167 0.5000 0.3292 0.1193 0.1667 0.4167 0.3625 0.3019 0.2667 0.1050 0.0833 0.5000 0.3292 0.1193
298-AH 0.0000 0.1833 0.2333 0.2833 0.4333 0.2283 0.1061 0.1000 0.4333 0.4647 0.0885 0.0001 0.0737 0.1333 0.4333 0.2537 0.0760
299-AH 0.0658 0.2303 0.4211 0.4868 0.5789 0.3717 0.1608 0.2566 0.5132 0.4326 0.3256 0.2644 0.1382 0.0658 0.5789 0.3717 0.1608
300-AH 0.0000 0.0833 0.1905 0.2857 0.3333 0.1786 0.1157 0.2024 0.3333 0.6482 0.0412 0.0001 0.0964 0.0000 0.3333 0.1786 0.1157
301-AH 0.0000 0.0000 0.0000 0.0625 0.5000 0.0875 0.1713 0.0625 0.5000 1.9582 0.0001 0.0000 0.1312 0.0000 0.1250 0.0078 0.0312
302-AH 0.0588 0.1765 0.2941 0.3529 0.4706 0.2794 0.1111 0.1765 0.4118 0.3975 0.2528 0.2177 0.0926 0.0588 0.4706 0.2794 0.1111
303-AH 0.0714 0.1786 0.2857 0.3214 0.5000 0.2714 0.1261 0.1429 0.4286 0.4645 0.2391 0.2021 0.0957 0.0714 0.5000 0.2714 0.1261
304-AH 0.0000 0.1333 0.2667 0.3333 0.4000 0.2333 0.1427 0.2000 0.4000 0.6114 0.0233 0.0000 0.1167 0.0000 0.4000 0.2333 0.1427
305-AH 0.0328 0.1393 0.3033 0.3361 0.4426 0.2492 0.1335 0.1967 0.4098 0.5356 0.1919 0.1241 0.1079 0.0328 0.4426 0.2492 0.1335
306-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4500 0.5104 1.0000 1.0000 1.1343 0.0018 0.0000 0.4950 0.0000 1.0000 0.4500 0.5104
307-AH 0.0260 0.1104 0.1818 0.2662 0.4805 0.2169 0.1444 0.1558 0.4545 0.6657 0.1641 0.1079 0.1096 0.0260 0.4805 0.2169 0.1444
308-AH 0.0000 0.3636 0.5909 0.7273 0.8182 0.5318 0.2473 0.3636 0.8182 0.4649 0.2907 0.0002 0.1932 0.0000 0.8182 0.5318 0.2473
309-AH 0.0000 0.0000 0.0500 0.2000 0.3000 0.0850 0.0988 0.2000 0.3000 1.1625 0.0013 0.0000 0.0850 0.0000 0.3000 0.0850 0.0988
310-AH 0.0159 0.0397 0.1111 0.1508 0.2222 0.1024 0.0613 0.1111 0.2063 0.5983 0.0798 0.0559 0.0509 0.0159 0.2222 0.1024 0.0613
311-AH 0.0556 0.2963 0.3426 0.3704 0.4630 0.3315 0.0868 0.0741 0.4074 0.2620 0.3116 0.2686 0.0580 0.2593 0.4630 0.3460 0.0592
312-AH 0.0000 0.2097 0.3548 0.4677 0.7097 0.3435 0.2196 0.2581 0.7097 0.6392 0.0757 0.0001 0.1855 0.0000 0.7097 0.3435 0.2196
313-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1175 0.1055 0.2000 0.3000 0.8977 0.0082 0.0000 0.0893 0.0000 0.3000 0.1175 0.1055
314-AH 0.0000 0.0000 0.0000 0.0556 0.1111 0.0306 0.0422 0.0556 0.1111 1.3803 0.0003 0.0000 0.0367 0.0000 0.1111 0.0306 0.0422
315-AH 0.0169 0.1441 0.3390 0.4915 0.5932 0.3127 0.1786 0.3475 0.5763 0.5710 0.2350 0.1301 0.1485 0.0169 0.5932 0.3127 0.1786
316-AH 0.0085 0.0466 0.0975 0.1737 0.3051 0.1195 0.0940 0.1271 0.2966 0.7867 0.0807 0.0435 0.0739 0.0085 0.3051 0.1195 0.0940
317-AH 0.1333 0.2500 0.3000 0.3333 0.4000 0.2900 0.0632 0.0833 0.2667 0.2178 0.2826 0.2738 0.0477 0.1333 0.4000 0.2900 0.0632
318-AH 0.0000 0.0000 0.0000 0.1111 0.4444 0.0722 0.1098 0.1111 0.4444 1.5201 0.0007 0.0000 0.0794 0.0000 0.2222 0.0526 0.0680
319-AH 0.1053 0.2105 0.2632 0.3158 0.4737 0.2763 0.0902 0.1053 0.3684 0.3263 0.2612 0.2445 0.0684 0.1053 0.4211 0.2659 0.0794
320-AH 0.0000 0.0000 0.0625 0.0625 0.2500 0.0531 0.0739 0.0625 0.2500 1.3907 0.0014 0.0000 0.0478 0.0000 0.0625 0.0312 0.0322
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0357 0.0714 0.1429 0.0500 0.0572 0.0714 0.1429 1.1447 0.0010 0.0000 0.0500 0.0000 0.1429 0.0500 0.0572
323-AH 0.0385 0.1538 0.2308 0.2308 0.2692 0.2000 0.0631 0.0769 0.2308 0.3157 0.1852 0.1604 0.0515 0.1154 0.2692 0.2085 0.0518
324-AH 0.0135 0.1959 0.3108 0.5000 0.6216 0.3405 0.1796 0.3041 0.6081 0.5273 0.2715 0.1407 0.1530 0.0135 0.6216 0.3405 0.1796
325-AH 0.2951 0.4426 0.5000 0.5574 0.6230 0.4943 0.0850 0.1148 0.3279 0.1719 0.4865 0.4779 0.0664 0.2951 0.6230 0.4943 0.0850
326-AH 0.0000 0.0000 0.2500 0.2500 0.5000 0.2000 0.1919 0.2500 0.5000 0.9597 0.0050 0.0000 0.1600 0.0000 0.5000 0.2000 0.1919
327-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0625 0.1375 0.0000 0.5000 2.2005 0.0001 0.0000 0.1000 0.0000 0.0000 0.0000 0.0000
328-AH 0.2609 0.3913 0.5217 0.5435 0.6522 0.4761 0.1115 0.1522 0.3913 0.2342 0.4613 0.4441 0.0900 0.2609 0.6522 0.4761 0.1115
329-AH 0.2941 0.5882 0.6471 0.7059 0.7647 0.6471 0.1045 0.1176 0.4706 0.1615 0.6363 0.6211 0.0647 0.5882 0.7647 0.6656 0.0652
330-AH 0.0196 0.5294 0.6471 0.7255 0.7843 0.5990 0.1877 0.1961 0.7647 0.3133 0.5160 0.2406 0.1370 0.2941 0.7843 0.6295 0.1325
331-AH 0.0000 0.0882 0.2353 0.2647 0.4118 0.2000 0.1314 0.1765 0.4118 0.6570 0.0466 0.0001 0.1035 0.0000 0.4118 0.2000 0.1314
332-AH 0.0000 0.1250 0.3750 0.3750 0.5000 0.2812 0.1808 0.2500 0.5000 0.6428 0.0265 0.0000 0.1500 0.0000 0.5000 0.2812 0.1808
333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8400 0.3016 0.2000 1.0000 0.3590 0.4778 0.0002 0.2400 0.6000 1.0000 0.9750 0.1000
334-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2500 0.1433 0.2000 0.4000 0.5731 0.0597 0.0001 0.1200 0.0000 0.4000 0.2500 0.1433
335-AH 0.0000 0.0667 0.2000 0.2000 0.2667 0.1600 0.0821 0.1333 0.2667 0.5130 0.0923 0.0002 0.0707 0.0000 0.2667 0.1600 0.0821
336-AH 0.0000 0.0000 0.0000 0.0588 0.3529 0.0824 0.1341 0.0588 0.3529 1.6288 0.0007 0.0000 0.1024 0.0000 0.0588 0.0184 0.0282
337-AH 0.0500 0.1750 0.6000 0.7000 0.8500 0.4925 0.2730 0.5250 0.8000 0.5544 0.3829 0.2543 0.2397 0.0500 0.8500 0.4925 0.2730
338-AH 0.1000 0.4000 0.5500 0.7000 0.8000 0.5350 0.2007 0.3000 0.7000 0.3752 0.4835 0.4076 0.1650 0.1000 0.8000 0.5350 0.2007
339-AH 0.1579 0.4211 0.4474 0.6579 0.7895 0.5026 0.1606 0.2368 0.6316 0.3196 0.4753 0.4421 0.1295 0.1579 0.7895 0.5026 0.1606
340-AH 0.0000 0.2000 0.4000 0.5000 0.8000 0.3400 0.2257 0.3000 0.8000 0.6639 0.0744 0.0001 0.1860 0.0000 0.8000 0.3400 0.2257
31
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1667 0.5833 0.6667 0.8333 0.8333 0.6250 0.2154 0.2500 0.6667 0.3447 0.5707 0.4914 0.1625 0.3333 0.8333 0.6759 0.1563
342-AH 0.1979 0.4688 0.5104 0.6250 0.7708 0.5146 0.1540 0.1562 0.5729 0.2992 0.4873 0.4533 0.1150 0.2708 0.7708 0.5480 0.1209
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.2424 0.3030 0.3939 0.5000 0.6364 0.4121 0.1110 0.1970 0.3939 0.2693 0.3978 0.3838 0.0970 0.2424 0.6364 0.4121 0.1110
345-AH 0.0000 0.0000 0.1111 0.2222 0.3333 0.1111 0.1081 0.2222 0.3333 0.9733 0.0035 0.0000 0.0889 0.0000 0.3333 0.1111 0.1081
346-AH 0.0000 0.0000 0.0000 0.0909 0.0909 0.0409 0.0464 0.0909 0.0909 1.1343 0.0006 0.0000 0.0450 0.0000 0.0909 0.0409 0.0464
347-AH 0.0000 0.0000 0.1111 0.1111 0.1111 0.0667 0.0558 0.1111 0.1111 0.8377 0.0027 0.0000 0.0533 0.0000 0.1111 0.0667 0.0558
348-AH 0.0000 0.2500 1.0000 1.0000 1.0000 0.7250 0.4435 0.7500 1.0000 0.6118 0.0543 0.0000 0.3850 0.0000 1.0000 0.7250 0.4435
349-AH 0.0370 0.2407 0.4074 0.4444 0.5556 0.3481 0.1274 0.2037 0.5185 0.3659 0.3106 0.2356 0.1044 0.0370 0.5556 0.3481 0.1274
350-AH 0.0000 0.2500 0.5000 0.6000 0.7000 0.4450 0.2089 0.3500 0.7000 0.4695 0.2502 0.0002 0.1805 0.0000 0.7000 0.4450 0.2089
32
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.3125 0.6875 0.8750 0.8984 1.0000 0.8047 0.1829 0.2109 0.6875 0.2273 0.7785 0.7432 0.1438 0.5469 1.0000 0.8306 0.1454
143-AH 0.1341 0.3803 0.6828 0.7396 0.8882 0.5934 0.2332 0.3593 0.7541 0.3930 0.5322 0.4526 0.1948 0.1341 0.8882 0.5934 0.2332
144-AH 0.0000 0.0000 0.2222 0.3333 0.6667 0.2500 0.2159 0.3333 0.6667 0.8637 0.0145 0.0000 0.1667 0.0000 0.6667 0.2500 0.2159
145-AH 0.1032 0.2261 0.4214 0.5426 0.6489 0.3948 0.1938 0.3165 0.5457 0.4910 0.3308 0.2570 0.1545 0.1032 0.6489 0.3948 0.1938
146-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1625 0.2032 0.2500 0.5000 1.2504 0.0011 0.0000 0.1788 0.0000 0.5000 0.1625 0.2032
147-AH 0.2834 0.3591 0.5684 0.6405 0.8235 0.5453 0.1776 0.2814 0.5402 0.3257 0.5163 0.4869 0.1483 0.2834 0.8235 0.5453 0.1776
148-AH 0.0000 0.0000 0.1111 0.1667 0.1667 0.0972 0.0718 0.1667 0.1667 0.7387 0.0077 0.0000 0.0625 0.0000 0.1667 0.0972 0.0718
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0100 0.1200 0.0210 0.0423 0.0100 0.1200 2.0138 0.0001 0.0000 0.0316 0.0000 0.0200 0.0012 0.0050
151-AH 0.0000 0.0000 0.0382 0.2882 0.3681 0.1163 0.1408 0.2882 0.3681 1.2109 0.0042 0.0000 0.1276 0.0000 0.3681 0.1163 0.1408
152-AH 0.0000 0.2810 0.4669 0.5455 0.8182 0.4310 0.1916 0.2645 0.8182 0.4446 0.2463 0.0002 0.1489 0.0000 0.8182 0.4310 0.1916
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0952 0.2494 0.3390 0.3628 0.3855 0.2961 0.0892 0.1134 0.2902 0.3011 0.2786 0.2553 0.0737 0.0952 0.3855 0.2961 0.0892
155-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0278 0.0796 0.0000 0.3333 2.8654 0.0000 0.0000 0.0472 0.0000 0.0000 0.0000 0.0000
156-AH 0.0413 0.0579 0.0785 0.1012 0.1591 0.0831 0.0326 0.0434 0.1178 0.3930 0.0774 0.0722 0.0262 0.0413 0.1591 0.0831 0.0326
157-AH 0.4323 0.5532 0.5797 0.6863 0.7491 0.6025 0.0905 0.1331 0.3168 0.1503 0.5961 0.5899 0.0720 0.4323 0.7491 0.6025 0.0905
158-AH 0.0277 0.1773 0.3499 0.4485 0.5484 0.3050 0.1557 0.2712 0.5208 0.5104 0.2466 0.1655 0.1331 0.0277 0.5484 0.3050 0.1557
159-AH 0.0216 0.0981 0.1413 0.3236 0.6067 0.2195 0.2002 0.2255 0.5850 0.9119 0.1486 0.0993 0.1646 0.0216 0.6067 0.2195 0.2002
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0500 0.2236 0.0000 1.0000 4.4721 0.0000 0.0000 0.0950 0.0000 0.0000 0.0000 0.0000
163-AH 0.3666 0.6440 0.8899 0.9237 0.9418 0.7804 0.2222 0.2797 0.5752 0.2847 0.7408 0.6923 0.1861 0.3666 0.9418 0.7804 0.2222
164-AH 0.0000 0.0055 0.0192 0.0439 0.3594 0.0580 0.1014 0.0384 0.3594 1.7489 0.0107 0.0001 0.0683 0.0000 0.0590 0.0153 0.0153
165-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3500 0.4894 1.0000 1.0000 1.3982 0.0006 0.0000 0.4550 0.0000 1.0000 0.3500 0.4894
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.1400 0.3200 0.0640 0.0975 0.1400 0.3200 1.5229 0.0003 0.0000 0.0832 0.0000 0.3200 0.0640 0.0975
168-AH 0.1049 0.2747 0.3071 0.3302 0.4630 0.2906 0.0888 0.0556 0.3580 0.3057 0.2747 0.2547 0.0628 0.1944 0.3642 0.3004 0.0396
169-AH 0.0000 0.0000 0.0139 0.0833 0.1667 0.0472 0.0592 0.0833 0.1667 1.2529 0.0009 0.0000 0.0511 0.0000 0.1667 0.0472 0.0592
170-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
171-AH 0.0000 0.0263 0.0803 0.1191 0.1773 0.0789 0.0588 0.0928 0.1773 0.7452 0.0272 0.0001 0.0481 0.0000 0.1773 0.0789 0.0588
172-AH 0.0000 0.0000 0.0102 0.0816 0.1429 0.0408 0.0538 0.0816 0.1429 1.3179 0.0008 0.0000 0.0449 0.0000 0.1429 0.0408 0.0538
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8750 0.2221 0.2500 0.5000 0.2539 0.8409 0.8000 0.1875 0.5000 1.0000 0.8750 0.2221
175-AH 0.2041 0.5102 0.6633 0.8061 0.8571 0.6469 0.1771 0.2959 0.6531 0.2737 0.6166 0.5749 0.1365 0.2041 0.8571 0.6469 0.1771
176-AH 0.5759 0.6318 0.7837 0.8807 0.9408 0.7680 0.1279 0.2488 0.3649 0.1665 0.7575 0.7468 0.1128 0.5759 0.9408 0.7680 0.1279
177-AH 0.0473 0.0769 0.0888 0.2396 0.5621 0.1849 0.1612 0.1627 0.5148 0.8718 0.1359 0.1074 0.1241 0.0473 0.3905 0.1443 0.1076
178-AH 0.0000 0.0000 0.0000 0.1250 0.3750 0.0688 0.1127 0.1250 0.3750 1.6396 0.0003 0.0000 0.0900 0.0000 0.2500 0.0526 0.0890
179-AH 0.0000 0.1436 0.3130 0.5723 0.8740 0.3465 0.2437 0.4287 0.8740 0.7034 0.1720 0.0002 0.2009 0.0000 0.8740 0.3465 0.2437
180-AH 0.0738 0.1741 0.3288 0.6300 0.8431 0.3868 0.2674 0.4559 0.7694 0.6913 0.2922 0.2095 0.2255 0.0738 0.8431 0.3868 0.2674
181-AH 0.1170 0.5810 0.8406 0.8726 0.9038 0.7294 0.2216 0.2916 0.7869 0.3038 0.6734 0.5667 0.1758 0.4262 0.9038 0.7616 0.1729
182-AH 0.0000 0.0000 0.0938 0.2500 0.5625 0.1438 0.1661 0.2500 0.5625 1.1555 0.0017 0.0000 0.1438 0.0000 0.5625 0.1438 0.1661
183-AH 0.0000 0.0000 0.0000 0.0000 0.3125 0.0156 0.0699 0.0000 0.3125 4.4721 0.0000 0.0000 0.0297 0.0000 0.0000 0.0000 0.0000
184-AH 0.0000 0.3580 0.4383 0.5370 0.6173 0.4198 0.1614 0.1790 0.6173 0.3845 0.2451 0.0002 0.1235 0.1235 0.6173 0.4418 0.1311
185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0500 0.2236 0.0000 1.0000 4.4721 0.0000 0.0000 0.0950 0.0000 0.0000 0.0000 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0500 0.2236 0.0000 1.0000 4.4721 0.0000 0.0000 0.0950 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.2857 0.7857 0.8776 0.9592 0.6173 0.3755 0.5918 0.9592 0.6083 0.0483 0.0000 0.3133 0.0000 0.9592 0.6173 0.3755
190-AH 0.1111 0.3765 0.5309 0.7284 0.7778 0.5204 0.2270 0.3519 0.6667 0.4362 0.4501 0.3557 0.1844 0.1111 0.7778 0.5204 0.2270
33
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.2222 0.3611 0.5139 0.8333 0.3958 0.2618 0.2917 0.8333 0.6614 0.1304 0.0001 0.2000 0.0000 0.8333 0.3958 0.2618
193-AH 0.2653 0.2857 0.2959 0.3571 0.6939 0.3480 0.1273 0.0714 0.4286 0.3658 0.3324 0.3215 0.0872 0.2653 0.4490 0.3095 0.0496
194-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3500 0.4894 1.0000 1.0000 1.3982 0.0006 0.0000 0.4550 0.0000 1.0000 0.3500 0.4894
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2000 0.4104 0.0000 1.0000 2.0520 0.0001 0.0000 0.3200 0.0000 0.0000 0.0000 0.0000
197-AH 0.0460 0.4796 0.6206 0.7478 0.8820 0.5989 0.2059 0.2682 0.8360 0.3438 0.5331 0.3685 0.1559 0.3652 0.8820 0.6280 0.1639
198-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4500 0.5104 1.0000 1.0000 1.1343 0.0018 0.0000 0.4950 0.0000 1.0000 0.4500 0.5104
199-AH 0.0000 0.3200 0.5200 0.6400 0.7500 0.4715 0.2213 0.3200 0.7500 0.4693 0.2586 0.0002 0.1843 0.0000 0.7500 0.4715 0.2213
200-AH 0.0000 0.0617 0.2531 0.4938 0.6790 0.2790 0.2275 0.4321 0.6790 0.8153 0.1167 0.0002 0.1889 0.0000 0.6790 0.2790 0.2275
251-AH 0.2114 0.3446 0.5198 0.5580 0.5964 0.4523 0.1434 0.2134 0.3851 0.3171 0.4237 0.3892 0.1171 0.2114 0.5964 0.4523 0.1434
252-AH 0.1153 0.2289 0.3092 0.4501 0.4875 0.3168 0.1288 0.2212 0.3722 0.4064 0.2868 0.2533 0.1080 0.1153 0.4875 0.3168 0.1288
253-AH 0.0714 0.3193 0.4937 0.6121 0.6649 0.4635 0.1704 0.2928 0.5935 0.3676 0.4189 0.3454 0.1449 0.0714 0.6649 0.4635 0.1704
254-AH 0.0217 0.2316 0.4655 0.5072 0.6046 0.3794 0.1868 0.2756 0.5830 0.4923 0.2970 0.1686 0.1572 0.0217 0.6046 0.3794 0.1868
255-AH 0.0000 0.0938 0.2500 0.2500 0.4375 0.2062 0.1331 0.1562 0.4375 0.6455 0.0318 0.0000 0.1050 0.0000 0.4375 0.2062 0.1331
256-AH 0.0614 0.7042 0.7859 0.8577 0.8927 0.7253 0.1924 0.1535 0.8313 0.2652 0.6625 0.4766 0.1243 0.4922 0.8927 0.7603 0.1153
257-AH 0.1476 0.1911 0.2252 0.2962 0.3976 0.2454 0.0730 0.1051 0.2499 0.2973 0.2359 0.2272 0.0581 0.1476 0.3976 0.2454 0.0730
258-AH 0.0000 0.0000 0.0000 0.0000 0.1875 0.0250 0.0552 0.0000 0.1875 2.2064 0.0001 0.0000 0.0400 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.3333 0.4444 0.6667 0.6667 0.4500 0.1890 0.3333 0.6667 0.4199 0.2620 0.0002 0.1517 0.0000 0.6667 0.4500 0.1890
260-AH 0.1668 0.4554 0.6329 0.6901 0.7483 0.5725 0.1629 0.2347 0.5815 0.2845 0.5421 0.4990 0.1313 0.1668 0.7483 0.5725 0.1629
261-AH 0.1038 0.1522 0.2167 0.2517 0.4317 0.2224 0.0909 0.0995 0.3279 0.4087 0.2057 0.1904 0.0681 0.1038 0.3581 0.2113 0.0785
262-AH 0.1334 0.1948 0.2414 0.3947 0.5487 0.2954 0.1289 0.1999 0.4152 0.4363 0.2711 0.2504 0.1096 0.1334 0.5487 0.2954 0.1289
263-AH 0.0655 0.0946 0.1903 0.2185 0.2856 0.1655 0.0706 0.1239 0.2201 0.4264 0.1492 0.1327 0.0634 0.0655 0.2856 0.1655 0.0706
264-AH 0.2376 0.4101 0.4566 0.5795 0.6488 0.4698 0.1244 0.1694 0.4112 0.2648 0.4524 0.4331 0.1006 0.2376 0.6488 0.4698 0.1244
265-AH 0.0000 0.0694 0.2500 0.4306 0.6111 0.2514 0.2139 0.3611 0.6111 0.8510 0.0325 0.0000 0.1847 0.0000 0.6111 0.2514 0.2139
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0249 0.1814 0.2585 0.3073 0.3900 0.2413 0.0929 0.1259 0.3651 0.3849 0.2092 0.1477 0.0708 0.0249 0.3900 0.2413 0.0929
268-AH 0.0000 0.0000 0.4444 0.6667 0.6667 0.3611 0.2836 0.6667 0.6667 0.7853 0.0187 0.0000 0.2556 0.0000 0.6667 0.3611 0.2836
269-AH 0.0000 0.1296 0.1605 0.2284 0.3951 0.1821 0.0933 0.0988 0.3951 0.5125 0.1075 0.0002 0.0713 0.0000 0.3333 0.1709 0.0809
270-AH 0.3112 0.6333 0.7067 0.7392 0.8123 0.6766 0.1070 0.1059 0.5011 0.1582 0.6656 0.6501 0.0729 0.5534 0.8123 0.6958 0.0654
271-AH 0.1024 0.3212 0.4852 0.5174 0.5816 0.4106 0.1458 0.1962 0.4792 0.3551 0.3749 0.3243 0.1234 0.1024 0.5816 0.4106 0.1458
272-AH 0.0663 0.1403 0.1505 0.2092 0.2500 0.1645 0.0538 0.0689 0.1837 0.3271 0.1559 0.1468 0.0429 0.0663 0.2500 0.1645 0.0538
273-AH 0.2173 0.4472 0.6743 0.7503 0.8717 0.6142 0.1801 0.3031 0.6544 0.2931 0.5827 0.5432 0.1476 0.2173 0.8717 0.6142 0.1801
274-AH 0.0430 0.1680 0.1895 0.3125 0.3828 0.2258 0.0954 0.1445 0.3398 0.4224 0.2037 0.1748 0.0795 0.0430 0.3828 0.2258 0.0954
275-AH 0.1281 0.2006 0.3061 0.4495 0.5443 0.3246 0.1316 0.2489 0.4162 0.4054 0.2982 0.2727 0.1155 0.1281 0.5443 0.3246 0.1316
276-AH 0.3137 0.3285 0.3614 0.3709 0.4843 0.3712 0.0556 0.0424 0.1706 0.1497 0.3676 0.3643 0.0410 0.3137 0.3729 0.3456 0.0203
277-AH 0.0355 0.0740 0.2019 0.2374 0.3388 0.1747 0.0951 0.1635 0.3033 0.5445 0.1409 0.1042 0.0794 0.0355 0.3388 0.1747 0.0951
278-AH 0.0363 0.1179 0.1769 0.2347 0.3061 0.1825 0.0813 0.1168 0.2698 0.4451 0.1623 0.1375 0.0664 0.0363 0.3061 0.1825 0.0813
279-AH 0.0000 0.0000 0.0938 0.2500 0.7500 0.1500 0.1939 0.2500 0.7500 1.2924 0.0025 0.0000 0.1488 0.0000 0.3750 0.1184 0.1364
280-AH 0.0000 0.0264 0.0328 0.0488 0.1056 0.0362 0.0235 0.0224 0.1056 0.6508 0.0157 0.0001 0.0167 0.0000 0.0560 0.0325 0.0174
281-AH 0.1071 0.2137 0.2741 0.4399 0.5556 0.3160 0.1399 0.2262 0.4484 0.4427 0.2860 0.2568 0.1186 0.1071 0.5556 0.3160 0.1399
282-AH 0.0614 0.0827 0.1223 0.2378 0.3340 0.1581 0.0831 0.1550 0.2726 0.5256 0.1379 0.1206 0.0740 0.0614 0.3340 0.1581 0.0831
283-AH 0.0332 0.0744 0.1939 0.2545 0.6406 0.2115 0.1670 0.1801 0.6073 0.7895 0.1559 0.1110 0.1159 0.0332 0.3525 0.1666 0.0987
284-AH 0.0000 0.2566 0.4373 0.4761 0.5125 0.3654 0.1671 0.2195 0.5125 0.4573 0.2021 0.0002 0.1362 0.0000 0.5125 0.3654 0.1671
285-AH 0.2350 0.3163 0.5242 0.7062 0.8452 0.5373 0.2066 0.3898 0.6102 0.3846 0.4946 0.4497 0.1732 0.2350 0.8452 0.5373 0.2066
286-AH 0.0000 0.0000 0.0000 0.0243 0.0694 0.0135 0.0238 0.0243 0.0694 1.7567 0.0001 0.0000 0.0190 0.0000 0.0556 0.0077 0.0165
287-AH 0.0275 0.1647 0.3582 0.4273 0.4690 0.2961 0.1531 0.2626 0.4415 0.5170 0.2241 0.1247 0.1297 0.0275 0.4690 0.2961 0.1531
288-AH 0.1586 0.1931 0.2187 0.2962 0.5815 0.2771 0.1381 0.1031 0.4230 0.4984 0.2526 0.2352 0.1025 0.1586 0.3776 0.2249 0.0582
289-AH 0.0000 0.4043 0.5725 0.7793 0.8519 0.5710 0.2290 0.3750 0.8519 0.4010 0.3302 0.0002 0.1870 0.0000 0.8519 0.5710 0.2290
290-AH 0.0308 0.0870 0.1728 0.2622 0.4627 0.1913 0.1221 0.1751 0.4319 0.6386 0.1499 0.1098 0.0994 0.0308 0.4627 0.1913 0.1221
34
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.1467 0.4678 0.5867 0.6422 0.3685 0.2293 0.4400 0.6422 0.6222 0.1714 0.0002 0.2061 0.0000 0.6422 0.3685 0.2293
292-AH 0.0000 0.1875 0.5000 0.6250 1.0000 0.4750 0.3497 0.4375 1.0000 0.7362 0.0381 0.0000 0.2550 0.0000 1.0000 0.4750 0.3497
293-AH 0.2664 0.3932 0.5359 0.6129 0.6765 0.4994 0.1344 0.2197 0.4100 0.2692 0.4793 0.4569 0.1101 0.2664 0.6765 0.4994 0.1344
294-AH 0.0233 0.2737 0.5912 0.6859 0.7229 0.4981 0.2341 0.4122 0.6996 0.4700 0.3932 0.2086 0.1966 0.0233 0.7229 0.4981 0.2341
295-AH 0.1749 0.1990 0.2280 0.3274 0.4260 0.2578 0.0778 0.1284 0.2511 0.3020 0.2477 0.2388 0.0656 0.1749 0.4260 0.2578 0.0778
296-AH 0.0000 0.1623 0.3125 0.3993 0.6545 0.3237 0.1714 0.2370 0.6545 0.5296 0.1822 0.0002 0.1332 0.0000 0.6545 0.3237 0.1714
297-AH 0.0833 0.2500 0.3576 0.4097 0.4861 0.3128 0.1183 0.1597 0.4028 0.3780 0.2834 0.2455 0.0982 0.0833 0.4861 0.3128 0.1183
298-AH 0.1311 0.1644 0.1956 0.2511 0.3667 0.2104 0.0650 0.0867 0.2356 0.3090 0.2018 0.1940 0.0508 0.1311 0.3667 0.2104 0.0650
299-AH 0.2164 0.2722 0.4579 0.5134 0.6008 0.4112 0.1355 0.2412 0.3843 0.3294 0.3884 0.3653 0.1211 0.2164 0.6008 0.4112 0.1355
300-AH 0.0437 0.1236 0.1321 0.2163 0.3090 0.1670 0.0787 0.0927 0.2653 0.4710 0.1473 0.1259 0.0654 0.0437 0.3090 0.1670 0.0787
301-AH 0.0000 0.0000 0.0000 0.0137 0.5078 0.0789 0.1647 0.0137 0.5078 2.0867 0.0001 0.0000 0.1235 0.0000 0.0273 0.0017 0.0068
302-AH 0.0830 0.1817 0.2491 0.2924 0.3875 0.2426 0.0801 0.1107 0.3045 0.3302 0.2279 0.2105 0.0633 0.0830 0.3875 0.2426 0.0801
303-AH 0.0612 0.1658 0.1888 0.2908 0.3980 0.2196 0.1034 0.1250 0.3367 0.4706 0.1919 0.1603 0.0865 0.0612 0.3980 0.2196 0.1034
304-AH 0.0000 0.1156 0.2844 0.3044 0.3600 0.2198 0.1328 0.1889 0.3600 0.6042 0.0223 0.0000 0.1099 0.0000 0.3600 0.2198 0.1328
305-AH 0.0739 0.1465 0.2564 0.2923 0.4077 0.2291 0.1013 0.1458 0.3338 0.4422 0.2007 0.1676 0.0809 0.0739 0.4077 0.2291 0.1013
306-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4500 0.5104 1.0000 1.0000 1.1343 0.0018 0.0000 0.4950 0.0000 1.0000 0.4500 0.5104
307-AH 0.1262 0.1674 0.2746 0.3083 0.4357 0.2604 0.0945 0.1409 0.3095 0.3629 0.2432 0.2257 0.0757 0.1262 0.4357 0.2604 0.0945
308-AH 0.0496 0.4669 0.6116 0.7066 0.8182 0.5707 0.2065 0.2397 0.7686 0.3618 0.5012 0.3532 0.1556 0.1818 0.8182 0.5981 0.1707
309-AH 0.0000 0.0000 0.0300 0.0800 0.1700 0.0475 0.0530 0.0800 0.1700 1.1158 0.0019 0.0000 0.0455 0.0000 0.1700 0.0475 0.0530
310-AH 0.0524 0.0814 0.1116 0.1246 0.1681 0.1049 0.0307 0.0432 0.1156 0.2931 0.0999 0.0942 0.0239 0.0524 0.1681 0.1049 0.0307
311-AH 0.1907 0.2862 0.3301 0.3510 0.3807 0.3149 0.0481 0.0648 0.1900 0.1527 0.3110 0.3065 0.0386 0.1907 0.3807 0.3149 0.0481
312-AH 0.0094 0.1733 0.3522 0.4225 0.7138 0.3355 0.2144 0.2492 0.7045 0.6391 0.2394 0.0998 0.1759 0.0094 0.7138 0.3355 0.2144
313-AH 0.0000 0.0450 0.0837 0.1150 0.1725 0.0770 0.0513 0.0700 0.1725 0.6664 0.0145 0.0000 0.0408 0.0000 0.1725 0.0770 0.0513
314-AH 0.0000 0.0000 0.0000 0.0278 0.0648 0.0148 0.0216 0.0278 0.0648 1.4554 0.0003 0.0000 0.0178 0.0000 0.0648 0.0148 0.0216
315-AH 0.0718 0.1418 0.3288 0.4309 0.5404 0.3019 0.1570 0.2891 0.4685 0.5201 0.2491 0.1908 0.1347 0.0718 0.5404 0.3019 0.1570
316-AH 0.0085 0.1112 0.1335 0.1945 0.3086 0.1461 0.0804 0.0833 0.3001 0.5501 0.1153 0.0666 0.0593 0.0085 0.3086 0.1461 0.0804
317-AH 0.1256 0.1972 0.2472 0.2822 0.2989 0.2372 0.0512 0.0850 0.1733 0.2160 0.2311 0.2240 0.0408 0.1256 0.2989 0.2372 0.0512
318-AH 0.0000 0.0000 0.0000 0.0556 0.4568 0.0444 0.1026 0.0556 0.4568 2.3090 0.0005 0.0000 0.0568 0.0000 0.0988 0.0227 0.0342
319-AH 0.1108 0.1981 0.2548 0.3047 0.4848 0.2598 0.0889 0.1066 0.3740 0.3423 0.2456 0.2313 0.0657 0.1108 0.3961 0.2480 0.0734
320-AH 0.0000 0.0039 0.0254 0.0469 0.1445 0.0330 0.0399 0.0430 0.1445 1.2090 0.0042 0.0000 0.0275 0.0000 0.0547 0.0215 0.0191
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0128 0.0561 0.1071 0.0301 0.0329 0.0561 0.1071 1.0942 0.0026 0.0000 0.0290 0.0000 0.1071 0.0301 0.0329
323-AH 0.0873 0.1346 0.2086 0.2197 0.2470 0.1840 0.0517 0.0851 0.1598 0.2811 0.1757 0.1660 0.0441 0.0873 0.2470 0.1840 0.0517
324-AH 0.0626 0.2083 0.3106 0.5009 0.6474 0.3561 0.1784 0.2926 0.5847 0.5008 0.3086 0.2542 0.1529 0.0626 0.6474 0.3561 0.1784
325-AH 0.3521 0.4628 0.5365 0.5660 0.6719 0.5227 0.0781 0.1032 0.3198 0.1495 0.5169 0.5108 0.0634 0.3521 0.6719 0.5227 0.0781
326-AH 0.0000 0.0000 0.1250 0.2500 0.5000 0.1594 0.1750 0.2500 0.5000 1.0980 0.0042 0.0000 0.1378 0.0000 0.5000 0.1594 0.1750
327-AH 0.0000 0.0000 0.0000 0.0000 0.4375 0.0688 0.1447 0.0000 0.4375 2.1043 0.0001 0.0000 0.1100 0.0000 0.0000 0.0000 0.0000
328-AH 0.1588 0.3601 0.4754 0.5208 0.6408 0.4302 0.1363 0.1607 0.4820 0.3169 0.4029 0.3683 0.1057 0.1588 0.6408 0.4302 0.1363
329-AH 0.5017 0.6073 0.6488 0.7059 0.7197 0.6483 0.0655 0.0986 0.2180 0.1010 0.6449 0.6414 0.0510 0.5017 0.7197 0.6483 0.0655
330-AH 0.0884 0.6044 0.7311 0.8041 0.8301 0.6771 0.1754 0.1997 0.7416 0.2590 0.6301 0.5138 0.1221 0.4268 0.8301 0.7081 0.1105
331-AH 0.0311 0.0657 0.1228 0.3581 0.4948 0.1917 0.1644 0.2924 0.4637 0.8577 0.1324 0.0938 0.1386 0.0311 0.4948 0.1917 0.1644
332-AH 0.0000 0.0703 0.2969 0.3281 0.4375 0.2273 0.1537 0.2578 0.4375 0.6762 0.0222 0.0000 0.1334 0.0000 0.4375 0.2273 0.1537
333-AH 0.0000 0.7600 1.0000 1.0000 1.0000 0.8440 0.2939 0.2400 1.0000 0.3482 0.4833 0.0002 0.2340 0.4400 1.0000 0.8884 0.2225
334-AH 0.0000 0.1400 0.2000 0.3200 0.4000 0.2060 0.1332 0.1800 0.4000 0.6464 0.0490 0.0001 0.1038 0.0000 0.4000 0.2060 0.1332
335-AH 0.0000 0.0711 0.1089 0.1867 0.2267 0.1229 0.0660 0.1156 0.2267 0.5370 0.0717 0.0002 0.0565 0.0000 0.2267 0.1229 0.0660
336-AH 0.0000 0.0000 0.0467 0.1073 0.3149 0.0874 0.1141 0.1073 0.3149 1.3056 0.0051 0.0000 0.0884 0.0000 0.2491 0.0472 0.0635
337-AH 0.0325 0.1512 0.6900 0.7625 0.8850 0.5271 0.3170 0.6112 0.8525 0.6014 0.3723 0.2008 0.2857 0.0325 0.8850 0.5271 0.3170
338-AH 0.0900 0.3400 0.5500 0.7350 0.8500 0.5260 0.2335 0.3950 0.7600 0.4440 0.4555 0.3613 0.1944 0.0900 0.8500 0.5260 0.2335
339-AH 0.2604 0.3809 0.4820 0.6274 0.8587 0.4922 0.1590 0.2465 0.5983 0.3229 0.4692 0.4478 0.1261 0.2604 0.8587 0.4922 0.1590
340-AH 0.0000 0.1200 0.2200 0.3600 0.7600 0.2680 0.2176 0.2400 0.7600 0.8119 0.0566 0.0001 0.1668 0.0000 0.6000 0.2421 0.1893
35
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1667 0.5278 0.6667 0.8333 0.8333 0.6222 0.2254 0.3056 0.6667 0.3622 0.5635 0.4813 0.1750 0.1667 0.8333 0.6222 0.2254
342-AH 0.2903 0.4878 0.5923 0.7514 0.8452 0.5919 0.1666 0.2636 0.5549 0.2816 0.5671 0.5400 0.1431 0.2903 0.8452 0.5919 0.1666
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.1882 0.2746 0.3691 0.4679 0.6143 0.3832 0.1228 0.1933 0.4261 0.3205 0.3643 0.3454 0.0958 0.1882 0.6143 0.3832 0.1228
345-AH 0.0000 0.0000 0.0432 0.0864 0.2840 0.0599 0.0759 0.0864 0.2840 1.2680 0.0022 0.0000 0.0558 0.0000 0.1975 0.0481 0.0561
346-AH 0.0000 0.0000 0.0000 0.0537 0.1074 0.0289 0.0362 0.0537 0.1074 1.2523 0.0005 0.0000 0.0318 0.0000 0.1074 0.0289 0.0362
347-AH 0.0000 0.0000 0.0309 0.0864 0.1111 0.0420 0.0441 0.0864 0.1111 1.0514 0.0018 0.0000 0.0393 0.0000 0.1111 0.0420 0.0441
348-AH 0.0000 0.3750 1.0000 1.0000 1.0000 0.7375 0.4404 0.6250 1.0000 0.5971 0.0554 0.0000 0.3688 0.0000 1.0000 0.7375 0.4404
349-AH 0.1440 0.2071 0.3052 0.3203 0.5350 0.2840 0.0933 0.1132 0.3909 0.3286 0.2696 0.2553 0.0702 0.1440 0.4033 0.2707 0.0742
350-AH 0.1600 0.2550 0.5450 0.6050 0.6800 0.4555 0.1941 0.3500 0.5200 0.4260 0.4080 0.3574 0.1770 0.1600 0.6800 0.4555 0.1941
36
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9833 0.0513 0.0000 0.1667 0.0522 0.9819 0.9804 0.0300 1.0000 1.0000 1.0000 0.0000
143-AH 0.0289 0.7778 1.0000 1.0000 1.0000 0.8065 0.3488 0.2222 0.9711 0.4324 0.6000 0.2424 0.2700 0.5000 1.0000 0.9391 0.1411
144-AH 0.0033 0.0940 0.5000 1.0000 1.0000 0.5233 0.3797 0.9060 0.9967 0.7255 0.2756 0.0461 0.3003 0.0033 1.0000 0.5233 0.3797
145-AH 0.0933 0.6000 1.0000 1.0000 1.0000 0.7866 0.3800 0.4000 0.9067 0.4831 0.6104 0.3769 0.3202 0.0933 1.0000 0.7866 0.3800
146-AH 0.0145 0.1270 0.3333 0.5000 1.0000 0.4126 0.3444 0.3730 0.9855 0.8347 0.2530 0.1117 0.2787 0.0145 1.0000 0.4126 0.3444
147-AH 0.2113 1.0000 1.0000 1.0000 1.0000 0.9356 0.1870 0.0000 0.7887 0.1998 0.8990 0.8197 0.1095 1.0000 1.0000 1.0000 0.0000
148-AH 0.0187 0.1181 0.3333 1.0000 1.0000 0.5201 0.4165 0.8819 0.9813 0.8007 0.3166 0.1455 0.3839 0.0187 1.0000 0.5201 0.4165
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0479 0.1320 0.2265 0.3333 0.1436 0.1104 0.1786 0.3333 0.7689 0.0222 0.0000 0.0925 0.0000 0.3333 0.1436 0.1104
151-AH 0.0026 0.0697 0.1667 0.5000 1.0000 0.3266 0.3439 0.4303 0.9974 1.0532 0.1641 0.0368 0.2881 0.0026 1.0000 0.3266 0.3439
152-AH 0.0114 1.0000 1.0000 1.0000 1.0000 0.8922 0.2857 0.0000 0.9886 0.3202 0.7162 0.1778 0.1832 1.0000 1.0000 1.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.8571 1.0000 1.0000 1.0000 1.0000 0.9929 0.0319 0.0000 0.1429 0.0322 0.9923 0.9917 0.0136 1.0000 1.0000 1.0000 0.0000
155-AH 0.0000 0.0161 0.1548 0.2500 0.5000 0.1638 0.1431 0.2339 0.5000 0.8739 0.0158 0.0000 0.1095 0.0000 0.5000 0.1638 0.1431
156-AH 0.0340 0.1394 0.2222 0.3095 0.5000 0.2328 0.1263 0.1701 0.4660 0.5427 0.1985 0.1585 0.0988 0.0340 0.5000 0.2328 0.1263
157-AH 0.7143 0.9286 1.0000 1.0000 1.0000 0.9418 0.1072 0.0714 0.2857 0.1138 0.9353 0.9281 0.0873 0.8571 1.0000 0.9911 0.0357
158-AH 0.0026 1.0000 1.0000 1.0000 1.0000 0.8333 0.3537 0.0000 0.9974 0.4244 0.5584 0.0472 0.2668 1.0000 1.0000 1.0000 0.0000
159-AH 0.0130 0.2500 1.0000 1.0000 1.0000 0.6429 0.4185 0.7500 0.9870 0.6509 0.3999 0.1293 0.3928 0.0130 1.0000 0.6429 0.4185
160-AH 0.0034 0.0286 0.0667 0.0889 0.3333 0.0819 0.0797 0.0603 0.3299 0.9733 0.0437 0.0157 0.0519 0.0034 0.1111 0.0543 0.0358
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.3846 1.0000 1.0000 1.0000 1.0000 0.9692 0.1376 0.0000 0.6154 0.1420 0.9533 0.9259 0.0585 1.0000 1.0000 1.0000 0.0000
164-AH 0.0083 0.0455 0.1012 0.1789 0.6667 0.1784 0.2093 0.1334 0.6583 1.1730 0.0923 0.0435 0.1530 0.0083 0.3333 0.0988 0.0812
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0166 0.1742 0.4167 1.0000 0.2356 0.2586 0.4000 1.0000 1.0974 0.0627 0.0002 0.2017 0.0000 1.0000 0.2356 0.2586
168-AH 0.2500 0.4514 0.4781 0.5000 0.6000 0.4703 0.0793 0.0486 0.3500 0.1687 0.4627 0.4534 0.0529 0.3846 0.5652 0.4837 0.0450
169-AH 0.0026 0.0212 0.0769 0.2250 1.0000 0.1515 0.2240 0.2038 0.9974 1.4786 0.0599 0.0187 0.1374 0.0026 0.3333 0.1069 0.1043
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0083 0.0847 0.2679 1.0000 1.0000 0.4274 0.4034 0.9153 0.9917 0.9438 0.2106 0.0582 0.3508 0.0083 1.0000 0.4274 0.4034
172-AH 0.0367 0.1056 0.1429 0.2500 0.5000 0.1870 0.1317 0.1444 0.4633 0.7043 0.1498 0.1176 0.0997 0.0367 0.3333 0.1522 0.0810
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9500 0.1539 0.0000 0.5000 0.1620 0.9330 0.9091 0.0900 1.0000 1.0000 1.0000 0.0000
175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.2143 0.5000 1.0000 1.0000 1.0000 0.7514 0.3018 0.5000 0.7857 0.4016 0.6751 0.5825 0.2734 0.2143 1.0000 0.7514 0.3018
178-AH 0.0000 0.0158 0.0455 0.3333 1.0000 0.2386 0.3552 0.3175 1.0000 1.4886 0.0275 0.0001 0.2735 0.0000 0.5000 0.1043 0.1481
179-AH 0.0125 0.4667 1.0000 1.0000 1.0000 0.7413 0.3933 0.5333 0.9875 0.5306 0.4888 0.1417 0.3363 0.0125 1.0000 0.7413 0.3933
180-AH 0.0471 0.2778 1.0000 1.0000 1.0000 0.7424 0.3828 0.7222 0.9529 0.5157 0.5668 0.3264 0.3357 0.0471 1.0000 0.7424 0.3828
181-AH 0.0251 1.0000 1.0000 1.0000 1.0000 0.9396 0.2215 0.0000 0.9749 0.2357 0.8208 0.3384 0.1088 1.0000 1.0000 1.0000 0.0000
182-AH 0.0625 0.1056 0.3500 0.5833 1.0000 0.4036 0.3369 0.4778 0.9375 0.8347 0.2646 0.1697 0.2880 0.0625 1.0000 0.4036 0.3369
183-AH 0.0056 0.0161 0.0682 0.1667 1.0000 0.1312 0.2200 0.1505 0.9944 1.6772 0.0533 0.0245 0.1239 0.0056 0.2353 0.0854 0.0833
184-AH 0.0104 0.7500 1.0000 1.0000 1.0000 0.8469 0.2774 0.2500 0.9896 0.3276 0.6917 0.1681 0.2143 0.4286 1.0000 0.8910 0.2008
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
190-AH 0.0909 1.0000 1.0000 1.0000 1.0000 0.9212 0.2457 0.0000 0.9091 0.2667 0.8396 0.6250 0.1418 1.0000 1.0000 1.0000 0.0000
37
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0476 0.3553 1.0000 1.0000 1.0000 0.7647 0.3771 0.6447 0.9524 0.4931 0.5903 0.3361 0.3294 0.0476 1.0000 0.7647 0.3771
193-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9750 0.1118 0.0000 0.5000 0.1147 0.9659 0.9524 0.0475 1.0000 1.0000 1.0000 0.0000
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0051 1.0000 1.0000 1.0000 1.0000 0.8931 0.2728 0.0000 0.9949 0.3055 0.7057 0.0921 0.1817 1.0000 1.0000 1.0000 0.0000
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0423 1.0000 1.0000 1.0000 1.0000 0.8623 0.2945 0.0000 0.9577 0.3416 0.7396 0.4178 0.2203 1.0000 1.0000 1.0000 0.0000
200-AH 0.1333 0.1909 0.5000 0.7917 1.0000 0.5298 0.3199 0.6008 0.8667 0.6037 0.4219 0.3227 0.2815 0.1333 1.0000 0.5298 0.3199
251-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9000 0.2487 0.0000 0.7500 0.2763 0.8409 0.7407 0.1700 1.0000 1.0000 1.0000 0.0000
252-AH 0.2500 0.4643 1.0000 1.0000 1.0000 0.7449 0.3041 0.5357 0.7500 0.4083 0.6708 0.5882 0.2806 0.2500 1.0000 0.7449 0.3041
253-AH 0.0909 0.8000 1.0000 1.0000 1.0000 0.8732 0.2313 0.2000 0.9091 0.2649 0.8035 0.6159 0.1649 0.7000 1.0000 0.9374 0.1060
254-AH 0.0165 0.1583 0.4310 0.5000 0.8182 0.3812 0.2376 0.3417 0.8017 0.6233 0.2463 0.1019 0.1899 0.0165 0.8182 0.3812 0.2376
255-AH 0.0769 0.2250 0.7500 1.0000 1.0000 0.6497 0.3798 0.7750 0.9231 0.5845 0.4983 0.3361 0.3503 0.0769 1.0000 0.6497 0.3798
256-AH 0.0087 1.0000 1.0000 1.0000 1.0000 0.9504 0.2217 0.0000 0.9913 0.2332 0.7888 0.1493 0.0942 1.0000 1.0000 1.0000 0.0000
257-AH 0.2857 0.4868 0.5000 1.0000 1.0000 0.6559 0.2516 0.5132 0.7143 0.3836 0.6113 0.5697 0.2180 0.2857 1.0000 0.6559 0.2516
258-AH 0.0030 0.0121 0.0172 0.1215 0.5000 0.0933 0.1456 0.1094 0.4970 1.5606 0.0293 0.0130 0.1138 0.0030 0.2500 0.0411 0.0689
259-AH 0.0200 1.0000 1.0000 1.0000 1.0000 0.9093 0.2468 0.0000 0.9800 0.2714 0.7784 0.2837 0.1541 1.0000 1.0000 1.0000 0.0000
260-AH 0.0500 1.0000 1.0000 1.0000 1.0000 0.8988 0.2590 0.0000 0.9500 0.2882 0.7971 0.4840 0.1721 1.0000 1.0000 1.0000 0.0000
261-AH 0.1429 0.4000 0.6333 0.8000 1.0000 0.6196 0.2521 0.4000 0.8571 0.4069 0.5590 0.4834 0.2048 0.1429 1.0000 0.6196 0.2521
262-AH 0.1000 1.0000 1.0000 1.0000 1.0000 0.8879 0.2825 0.0000 0.9000 0.3182 0.7852 0.5666 0.1905 1.0000 1.0000 1.0000 0.0000
263-AH 0.0588 0.1617 0.4643 0.8000 1.0000 0.4766 0.3537 0.6383 0.9412 0.7421 0.3237 0.1913 0.2834 0.0588 1.0000 0.4766 0.3537
264-AH 0.1818 1.0000 1.0000 1.0000 1.0000 0.8682 0.2802 0.0000 0.8182 0.3227 0.7868 0.6452 0.2109 1.0000 1.0000 1.0000 0.0000
265-AH 0.0125 0.1250 0.5500 1.0000 1.0000 0.5431 0.4187 0.8750 0.9875 0.7709 0.2814 0.0715 0.3769 0.0125 1.0000 0.5431 0.4187
266-AH 0.0000 0.0086 0.0464 0.0667 0.1538 0.0438 0.0385 0.0580 0.1538 0.8784 0.0060 0.0000 0.0297 0.0000 0.0800 0.0380 0.0293
267-AH 0.0316 0.7083 1.0000 1.0000 1.0000 0.8224 0.2616 0.2917 0.9684 0.3181 0.7112 0.3612 0.1964 0.3333 1.0000 0.8640 0.1888
268-AH 0.0333 0.3333 0.6667 1.0000 1.0000 0.6260 0.3680 0.6667 0.9667 0.5878 0.4390 0.1970 0.3154 0.0333 1.0000 0.6260 0.3680
269-AH 0.0690 0.3667 0.5000 1.0000 1.0000 0.6152 0.3179 0.6333 0.9310 0.5167 0.5182 0.3883 0.2796 0.0690 1.0000 0.6152 0.3179
270-AH 0.1176 1.0000 1.0000 1.0000 1.0000 0.9559 0.1973 0.0000 0.8824 0.2064 0.8985 0.7273 0.0838 1.0000 1.0000 1.0000 0.0000
271-AH 0.1395 1.0000 1.0000 1.0000 1.0000 0.9403 0.2026 0.0000 0.8605 0.2155 0.8880 0.7500 0.1074 1.0000 1.0000 1.0000 0.0000
272-AH 0.0714 0.3229 0.3724 1.0000 1.0000 0.5871 0.3527 0.6771 0.9286 0.6008 0.4764 0.3592 0.3303 0.0714 1.0000 0.5871 0.3527
273-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.8950 0.2625 0.0000 0.8000 0.2933 0.8223 0.6897 0.1785 1.0000 1.0000 1.0000 0.0000
274-AH 0.0909 0.3818 0.5000 0.6667 0.8000 0.5206 0.1798 0.2848 0.7091 0.3453 0.4775 0.4062 0.1395 0.0909 0.8000 0.5206 0.1798
275-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8058 0.2462 0.5000 0.6667 0.3055 0.7620 0.7113 0.2136 0.3333 1.0000 0.8058 0.2462
276-AH 0.4286 1.0000 1.0000 1.0000 1.0000 0.9381 0.1666 0.0000 0.5714 0.1776 0.9175 0.8876 0.1052 1.0000 1.0000 1.0000 0.0000
277-AH 0.0172 0.3675 0.5000 1.0000 1.0000 0.5979 0.3277 0.6325 0.9828 0.5482 0.4673 0.2063 0.2883 0.0172 1.0000 0.5979 0.3277
278-AH 0.0286 0.5000 1.0000 1.0000 1.0000 0.7421 0.3488 0.5000 0.9714 0.4700 0.5797 0.2784 0.3094 0.0286 1.0000 0.7421 0.3488
279-AH 0.0000 0.1429 0.2917 0.8333 1.0000 0.4261 0.3791 0.6905 1.0000 0.8896 0.1552 0.0002 0.3258 0.0000 1.0000 0.4261 0.3791
280-AH 0.0168 0.0441 0.1032 0.1667 1.0000 0.1677 0.2253 0.1226 0.9832 1.3435 0.0962 0.0579 0.1329 0.0168 0.2500 0.1030 0.0712
281-AH 0.1000 0.5978 1.0000 1.0000 1.0000 0.8079 0.3005 0.4022 0.9000 0.3719 0.7142 0.5501 0.2498 0.1000 1.0000 0.8079 0.3005
282-AH 0.0694 0.2364 1.0000 1.0000 1.0000 0.6796 0.3895 0.7636 0.9306 0.5731 0.5024 0.2982 0.3525 0.0694 1.0000 0.6796 0.3895
283-AH 0.0541 0.2500 1.0000 1.0000 1.0000 0.7058 0.3920 0.7500 0.9459 0.5553 0.5163 0.2787 0.3530 0.0541 1.0000 0.7058 0.3920
284-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.8058 0.3656 0.1667 1.0000 0.4537 0.4084 0.0002 0.2912 0.6667 1.0000 0.9792 0.0833
285-AH 0.1778 0.6250 1.0000 1.0000 1.0000 0.8074 0.2892 0.3750 0.8222 0.3582 0.7315 0.6235 0.2386 0.1778 1.0000 0.8074 0.2892
286-AH 0.0027 0.0417 0.0909 0.1181 0.3333 0.0947 0.0716 0.0764 0.3307 0.7563 0.0672 0.0290 0.0473 0.0027 0.1667 0.0821 0.0456
287-AH 0.0056 0.4167 0.6667 1.0000 1.0000 0.6605 0.3431 0.5833 0.9944 0.5195 0.4511 0.0865 0.2738 0.0056 1.0000 0.6605 0.3431
288-AH 0.0423 0.3094 0.5000 1.0000 1.0000 0.5808 0.3442 0.6906 0.9577 0.5927 0.4514 0.2817 0.2985 0.0423 1.0000 0.5808 0.3442
289-AH 0.0132 1.0000 1.0000 1.0000 1.0000 0.9391 0.2240 0.0000 0.9868 0.2385 0.7948 0.2099 0.1096 1.0000 1.0000 1.0000 0.0000
290-AH 0.0256 0.2971 0.3953 0.7500 1.0000 0.4909 0.3269 0.4529 0.9744 0.6658 0.3502 0.1826 0.2606 0.0256 1.0000 0.4909 0.3269
38
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0447 0.6250 1.0000 1.0000 1.0000 0.8010 0.3448 0.3750 0.9553 0.4304 0.6324 0.3349 0.2786 0.1000 1.0000 0.8408 0.3034
292-AH 0.0233 0.3699 1.0000 1.0000 1.0000 0.7424 0.4248 0.6301 0.9767 0.5721 0.4174 0.1116 0.3606 0.0233 1.0000 0.7424 0.4248
293-AH 0.1538 0.6985 1.0000 1.0000 1.0000 0.8009 0.2849 0.3015 0.8462 0.3558 0.7149 0.5707 0.2236 0.4167 1.0000 0.8728 0.1898
294-AH 0.0030 1.0000 1.0000 1.0000 1.0000 0.9251 0.2441 0.0000 0.9970 0.2638 0.7222 0.0562 0.1347 1.0000 1.0000 1.0000 0.0000
295-AH 0.3846 0.5000 0.8000 1.0000 1.0000 0.7405 0.2715 0.5000 0.6154 0.3666 0.6895 0.6391 0.2595 0.3846 1.0000 0.7405 0.2715
296-AH 0.0018 0.7071 0.7321 1.0000 1.0000 0.7773 0.2379 0.2929 0.9982 0.3061 0.5929 0.0353 0.1661 0.5000 1.0000 0.8182 0.1568
297-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.8950 0.2580 0.0000 0.7500 0.2882 0.8316 0.7273 0.1785 1.0000 1.0000 1.0000 0.0000
298-AH 0.0370 0.4853 0.5409 1.0000 1.0000 0.6213 0.3112 0.5147 0.9630 0.5009 0.4824 0.2379 0.2541 0.0370 1.0000 0.6213 0.3112
299-AH 0.3214 1.0000 1.0000 1.0000 1.0000 0.8994 0.2139 0.0000 0.6786 0.2378 0.8639 0.8126 0.1610 1.0000 1.0000 1.0000 0.0000
300-AH 0.0292 0.1494 0.6458 1.0000 1.0000 0.5968 0.4173 0.8506 0.9708 0.6992 0.3424 0.1234 0.3727 0.0292 1.0000 0.5968 0.4173
301-AH 0.0020 0.0512 0.0968 0.1142 1.0000 0.2405 0.3548 0.0630 0.9980 1.4754 0.0912 0.0239 0.2705 0.0020 0.1250 0.0714 0.0382
302-AH 0.2500 0.5000 0.5833 1.0000 1.0000 0.6500 0.2657 0.5000 0.7500 0.4088 0.5962 0.5430 0.2250 0.2500 1.0000 0.6500 0.2657
303-AH 0.1765 0.5000 1.0000 1.0000 1.0000 0.7898 0.2936 0.5000 0.8235 0.3718 0.7134 0.6085 0.2566 0.1765 1.0000 0.7898 0.2936
304-AH 0.0023 0.3771 1.0000 1.0000 1.0000 0.7384 0.4388 0.6229 0.9977 0.5944 0.2374 0.0131 0.3675 0.0023 1.0000 0.7384 0.4388
305-AH 0.0513 1.0000 1.0000 1.0000 1.0000 0.8645 0.3093 0.0000 0.9487 0.3578 0.7210 0.4061 0.2168 1.0000 1.0000 1.0000 0.0000
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0704 0.2014 0.3128 0.8125 1.0000 0.4537 0.3515 0.6111 0.9296 0.7749 0.3339 0.2459 0.2996 0.0704 1.0000 0.4537 0.3515
308-AH 0.0203 1.0000 1.0000 1.0000 1.0000 0.8385 0.3345 0.0000 0.9797 0.3989 0.6684 0.2586 0.2584 1.0000 1.0000 1.0000 0.0000
309-AH 0.0750 0.0997 0.1678 0.2500 1.0000 0.2167 0.2019 0.1503 0.9250 0.9315 0.1716 0.1456 0.1141 0.0750 0.3333 0.1755 0.0845
310-AH 0.0446 0.2000 0.3667 1.0000 1.0000 0.4909 0.3665 0.8000 0.9554 0.7467 0.3425 0.2035 0.3082 0.0446 1.0000 0.4909 0.3665
311-AH 0.1250 0.5000 0.5359 0.8333 1.0000 0.6352 0.2409 0.3333 0.8750 0.3793 0.5841 0.5107 0.1888 0.1250 1.0000 0.6352 0.2409
312-AH 0.0084 0.4018 1.0000 1.0000 1.0000 0.7138 0.3889 0.5982 0.9916 0.5449 0.4269 0.0782 0.3434 0.0084 1.0000 0.7138 0.3889
313-AH 0.0116 0.0607 0.2159 0.3101 1.0000 0.2976 0.3201 0.2494 0.9884 1.0757 0.1667 0.0770 0.2187 0.0116 0.3529 0.1736 0.1134
314-AH 0.0283 0.0694 0.0955 0.1244 0.2000 0.0991 0.0444 0.0550 0.1717 0.4478 0.0886 0.0768 0.0356 0.0283 0.2000 0.0991 0.0444
315-AH 0.0244 0.4205 1.0000 1.0000 1.0000 0.7576 0.3948 0.5795 0.9756 0.5212 0.5305 0.2169 0.3394 0.0244 1.0000 0.7576 0.3948
316-AH 0.0092 0.0778 0.1821 0.3148 0.5000 0.2144 0.1572 0.2370 0.4908 0.7330 0.1486 0.0762 0.1262 0.0092 0.5000 0.2144 0.1572
317-AH 0.2000 0.6458 1.0000 1.0000 1.0000 0.8375 0.2727 0.3542 0.8000 0.3256 0.7702 0.6676 0.2274 0.2000 1.0000 0.8375 0.2727
318-AH 0.0116 0.1142 0.1352 0.2188 0.5000 0.1673 0.1139 0.1045 0.4884 0.6807 0.1284 0.0802 0.0812 0.0116 0.3333 0.1498 0.0850
319-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
320-AH 0.0244 0.0536 0.0825 0.1595 0.2632 0.1085 0.0791 0.1059 0.2388 0.7290 0.0844 0.0659 0.0634 0.0244 0.2632 0.1085 0.0791
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0169 0.0462 0.1080 0.2361 0.3333 0.1340 0.0976 0.1899 0.3164 0.7283 0.0956 0.0624 0.0850 0.0169 0.3333 0.1340 0.0976
323-AH 0.1000 1.0000 1.0000 1.0000 1.0000 0.8941 0.2729 0.0000 0.9000 0.3052 0.7978 0.5854 0.1800 1.0000 1.0000 1.0000 0.0000
324-AH 0.0230 0.8248 1.0000 1.0000 1.0000 0.8636 0.2743 0.1752 0.9770 0.3176 0.7282 0.2988 0.1909 0.6000 1.0000 0.9444 0.1160
325-AH 0.8500 1.0000 1.0000 1.0000 1.0000 0.9854 0.0451 0.0000 0.1500 0.0458 0.9843 0.9831 0.0264 1.0000 1.0000 1.0000 0.0000
326-AH 0.0000 0.0909 0.3095 0.5000 1.0000 0.3565 0.3212 0.4091 1.0000 0.9011 0.1164 0.0002 0.2404 0.0000 1.0000 0.3565 0.3212
327-AH 0.0000 0.0099 0.0212 0.1458 1.0000 0.2084 0.3593 0.1359 1.0000 1.7239 0.0220 0.0001 0.2666 0.0000 0.1667 0.0417 0.0535
328-AH 0.3077 0.5263 0.6548 1.0000 1.0000 0.7072 0.2193 0.4737 0.6923 0.3101 0.6740 0.6399 0.1842 0.3077 1.0000 0.7072 0.2193
329-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
330-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9694 0.1132 0.0000 0.5000 0.1168 0.9603 0.9467 0.0550 1.0000 1.0000 1.0000 0.0000
331-AH 0.0309 0.2386 0.2992 0.3333 1.0000 0.3684 0.2925 0.0947 0.9691 0.7939 0.2699 0.1707 0.2026 0.2353 0.3333 0.2859 0.0388
332-AH 0.0027 0.2436 1.0000 1.0000 1.0000 0.7350 0.4198 0.7564 0.9973 0.5711 0.4221 0.0448 0.3709 0.0027 1.0000 0.7350 0.4198
333-AH 0.0172 1.0000 1.0000 1.0000 1.0000 0.9509 0.2198 0.0000 0.9828 0.2311 0.8163 0.2597 0.0934 1.0000 1.0000 1.0000 0.0000
334-AH 0.1000 0.3030 0.5000 1.0000 1.0000 0.6370 0.3538 0.6970 0.9000 0.5554 0.5191 0.3922 0.3267 0.1000 1.0000 0.6370 0.3538
335-AH 0.0463 0.2667 0.7500 1.0000 1.0000 0.6478 0.3845 0.7333 0.9537 0.5936 0.4761 0.2755 0.3522 0.0463 1.0000 0.6478 0.3845
336-AH 0.0090 0.0400 0.0607 0.3750 1.0000 0.2708 0.3894 0.3350 0.9910 1.4381 0.1001 0.0504 0.3146 0.0090 0.5000 0.0885 0.1218
337-AH 0.1176 0.8333 1.0000 1.0000 1.0000 0.8606 0.2644 0.1667 0.8824 0.3072 0.7874 0.6383 0.2090 0.6667 1.0000 0.9792 0.0833
338-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9265 0.2012 0.0000 0.6667 0.2172 0.8917 0.8351 0.1249 1.0000 1.0000 1.0000 0.0000
339-AH 0.4545 0.7557 1.0000 1.0000 1.0000 0.8919 0.1830 0.2443 0.5455 0.2052 0.8698 0.8430 0.1513 0.4545 1.0000 0.8919 0.1830
340-AH 0.1500 0.3452 0.5000 0.8333 1.0000 0.5515 0.2935 0.4881 0.8500 0.5322 0.4787 0.4115 0.2406 0.1500 1.0000 0.5515 0.2935
39
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
342-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.3235 1.0000 1.0000 1.0000 1.0000 0.9248 0.1868 0.0000 0.6765 0.2020 0.8963 0.8508 0.1203 1.0000 1.0000 1.0000 0.0000
345-AH 0.0325 0.1213 0.2321 0.3095 1.0000 0.2531 0.2108 0.1882 0.9675 0.8331 0.1895 0.1318 0.1295 0.0325 0.5000 0.2137 0.1195
346-AH 0.0455 0.0709 0.0935 0.1875 1.0000 0.1902 0.2238 0.1166 0.9545 1.1767 0.1291 0.1010 0.1416 0.0455 0.3333 0.1280 0.0874
347-AH 0.0325 0.1109 0.1833 0.2500 1.0000 0.2843 0.3157 0.1391 0.9675 1.1104 0.1862 0.1328 0.2147 0.0325 0.2500 0.1580 0.0730
348-AH 0.0000 0.5067 1.0000 1.0000 1.0000 0.7524 0.4401 0.4933 1.0000 0.5849 0.2301 0.0002 0.3715 0.0000 1.0000 0.7524 0.4401
349-AH 0.0667 0.4180 0.5000 1.0000 1.0000 0.6073 0.2913 0.5820 0.9333 0.4797 0.5245 0.3986 0.2475 0.0667 1.0000 0.6073 0.2913
350-AH 0.1111 1.0000 1.0000 1.0000 1.0000 0.9139 0.2298 0.0000 0.8889 0.2514 0.8481 0.6780 0.1464 1.0000 1.0000 1.0000 0.0000
40
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9833 0.0513 0.0000 0.1667 0.0522 0.9819 0.9804 0.0300 1.0000 1.0000 1.0000 0.0000
143-AH 0.0289 0.6667 1.0000 1.0000 1.0000 0.7904 0.3619 0.3333 0.9711 0.4579 0.5815 0.2388 0.2942 0.4000 1.0000 0.9201 0.1905
144-AH 0.0033 0.0940 0.5000 1.0000 1.0000 0.5233 0.3797 0.9060 0.9967 0.7255 0.2756 0.0461 0.3003 0.0033 1.0000 0.5233 0.3797
145-AH 0.0548 0.5195 1.0000 1.0000 1.0000 0.7722 0.3900 0.4805 0.9452 0.5051 0.5677 0.3008 0.3275 0.0548 1.0000 0.7722 0.3900
146-AH 0.0145 0.1270 0.3333 0.5000 1.0000 0.4126 0.3444 0.3730 0.9855 0.8347 0.2530 0.1117 0.2787 0.0145 1.0000 0.4126 0.3444
147-AH 0.2113 0.7250 0.8730 1.0000 1.0000 0.7963 0.2567 0.2750 0.7887 0.3224 0.7343 0.6424 0.1965 0.6667 1.0000 0.8904 0.1236
148-AH 0.0187 0.1181 0.3333 1.0000 1.0000 0.5201 0.4165 0.8819 0.9813 0.8007 0.3166 0.1455 0.3839 0.0187 1.0000 0.5201 0.4165
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0479 0.1320 0.2265 0.3333 0.1436 0.1104 0.1786 0.3333 0.7689 0.0222 0.0000 0.0925 0.0000 0.3333 0.1436 0.1104
151-AH 0.0000 0.0697 0.1519 0.5000 1.0000 0.2786 0.2800 0.4303 1.0000 1.0048 0.1146 0.0002 0.2300 0.0000 1.0000 0.2786 0.2800
152-AH 0.0089 1.0000 1.0000 1.0000 1.0000 0.8915 0.2878 0.0000 0.9911 0.3228 0.7048 0.1460 0.1845 1.0000 1.0000 1.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.1875 0.7571 1.0000 1.0000 1.0000 0.8553 0.2154 0.2429 0.8125 0.2518 0.8114 0.7297 0.1614 0.5714 1.0000 0.8904 0.1513
155-AH 0.0000 0.0161 0.1548 0.2500 0.5000 0.1638 0.1431 0.2339 0.5000 0.8739 0.0158 0.0000 0.1095 0.0000 0.5000 0.1638 0.1431
156-AH 0.0201 0.0726 0.1481 0.1862 0.3750 0.1473 0.0991 0.1136 0.3549 0.6730 0.1097 0.0725 0.0718 0.0201 0.3333 0.1353 0.0857
157-AH 0.3784 0.5976 0.7358 0.8286 0.9444 0.7119 0.1739 0.2310 0.5661 0.2442 0.6886 0.6619 0.1372 0.3784 0.9444 0.7119 0.1739
158-AH 0.0000 0.4038 0.6795 1.0000 1.0000 0.6675 0.3597 0.5962 1.0000 0.5389 0.3319 0.0002 0.3018 0.0000 1.0000 0.6675 0.3597
159-AH 0.0130 0.0996 0.2407 0.5580 1.0000 0.3613 0.3681 0.4584 0.9870 1.0186 0.2039 0.0968 0.3012 0.0130 1.0000 0.3613 0.3681
160-AH 0.0034 0.0286 0.0667 0.0889 0.3333 0.0819 0.0797 0.0603 0.3299 0.9733 0.0437 0.0157 0.0519 0.0034 0.1111 0.0543 0.0358
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.1915 0.8611 1.0000 1.0000 1.0000 0.8520 0.2941 0.1389 0.8085 0.3451 0.7595 0.6078 0.2220 0.7222 1.0000 0.9673 0.0923
164-AH 0.0000 0.0369 0.1007 0.1789 0.6154 0.1463 0.1682 0.1420 0.6154 1.1499 0.0248 0.0001 0.1138 0.0000 0.2727 0.0975 0.0794
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0166 0.1742 0.4167 1.0000 0.2356 0.2586 0.4000 1.0000 1.0974 0.0627 0.0002 0.2017 0.0000 1.0000 0.2356 0.2586
168-AH 0.0566 0.4408 0.4688 0.5000 0.6000 0.4462 0.1208 0.0592 0.5434 0.2708 0.4133 0.3337 0.0773 0.3846 0.5652 0.4802 0.0463
169-AH 0.0026 0.0212 0.0769 0.2250 1.0000 0.1515 0.2240 0.2038 0.9974 1.4786 0.0599 0.0187 0.1374 0.0026 0.3333 0.1069 0.1043
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0083 0.0840 0.1504 0.3137 0.5000 0.1932 0.1498 0.2297 0.4917 0.7754 0.1250 0.0528 0.1234 0.0083 0.5000 0.1932 0.1498
172-AH 0.0367 0.1056 0.1429 0.2500 0.5000 0.1870 0.1317 0.1444 0.4633 0.7043 0.1498 0.1176 0.0997 0.0367 0.3333 0.1522 0.0810
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9500 0.1539 0.0000 0.5000 0.1620 0.9330 0.9091 0.0900 1.0000 1.0000 1.0000 0.0000
175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.0755 0.1114 0.2225 0.5000 1.0000 0.3736 0.3086 0.3886 0.9245 0.8262 0.2606 0.1857 0.2638 0.0755 1.0000 0.3736 0.3086
178-AH 0.0000 0.0158 0.0455 0.3333 1.0000 0.2386 0.3552 0.3175 1.0000 1.4886 0.0275 0.0001 0.2735 0.0000 0.5000 0.1043 0.1481
179-AH 0.0125 0.1833 0.7500 1.0000 1.0000 0.6307 0.3950 0.8167 0.9875 0.6263 0.3785 0.1143 0.3363 0.0125 1.0000 0.6307 0.3950
180-AH 0.0471 0.1862 0.6429 1.0000 1.0000 0.5766 0.3942 0.8138 0.9529 0.6836 0.4099 0.2572 0.3672 0.0471 1.0000 0.5766 0.3942
181-AH 0.0137 0.7676 0.8932 0.9630 1.0000 0.8219 0.2310 0.1954 0.9863 0.2810 0.6935 0.2092 0.1520 0.4783 1.0000 0.8645 0.1346
182-AH 0.0625 0.1056 0.3500 0.5833 1.0000 0.4036 0.3369 0.4778 0.9375 0.8347 0.2646 0.1697 0.2880 0.0625 1.0000 0.4036 0.3369
183-AH 0.0056 0.0161 0.0682 0.1667 1.0000 0.1312 0.2200 0.1505 0.9944 1.6772 0.0533 0.0245 0.1239 0.0056 0.2353 0.0854 0.0833
184-AH 0.0104 0.7500 1.0000 1.0000 1.0000 0.8469 0.2774 0.2500 0.9896 0.3276 0.6917 0.1681 0.2143 0.4286 1.0000 0.8910 0.2008
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
190-AH 0.0909 1.0000 1.0000 1.0000 1.0000 0.9212 0.2457 0.0000 0.9091 0.2667 0.8396 0.6250 0.1418 1.0000 1.0000 1.0000 0.0000
41
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0476 0.3553 1.0000 1.0000 1.0000 0.7647 0.3771 0.6447 0.9524 0.4931 0.5903 0.3361 0.3294 0.0476 1.0000 0.7647 0.3771
193-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9750 0.1118 0.0000 0.5000 0.1147 0.9659 0.9524 0.0475 1.0000 1.0000 1.0000 0.0000
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8865 0.2739 0.0000 1.0000 0.3089 0.5127 0.0002 0.1818 1.0000 1.0000 1.0000 0.0000
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0423 1.0000 1.0000 1.0000 1.0000 0.8623 0.2945 0.0000 0.9577 0.3416 0.7396 0.4178 0.2203 1.0000 1.0000 1.0000 0.0000
200-AH 0.1333 0.1909 0.5000 0.7917 1.0000 0.5298 0.3199 0.6008 0.8667 0.6037 0.4219 0.3227 0.2815 0.1333 1.0000 0.5298 0.3199
251-AH 0.1053 0.8758 1.0000 1.0000 1.0000 0.8356 0.3148 0.1242 0.8947 0.3767 0.7083 0.4791 0.2337 0.8182 1.0000 0.9806 0.0486
252-AH 0.2105 0.3810 0.7083 0.9000 1.0000 0.6463 0.2758 0.5190 0.7895 0.4267 0.5811 0.5113 0.2358 0.2105 1.0000 0.6463 0.2758
253-AH 0.0000 0.2877 0.6447 0.7244 0.8621 0.5323 0.2625 0.4367 0.8621 0.4932 0.2870 0.0002 0.2301 0.0000 0.8621 0.5323 0.2625
254-AH 0.0000 0.1198 0.3883 0.4730 0.6410 0.3093 0.2040 0.3532 0.6410 0.6594 0.0425 0.0000 0.1754 0.0000 0.6410 0.3093 0.2040
255-AH 0.0769 0.2250 0.7500 1.0000 1.0000 0.6497 0.3798 0.7750 0.9231 0.5845 0.4983 0.3361 0.3503 0.0769 1.0000 0.6497 0.3798
256-AH 0.0040 1.0000 1.0000 1.0000 1.0000 0.9402 0.2248 0.0000 0.9960 0.2391 0.7505 0.0746 0.1076 1.0000 1.0000 1.0000 0.0000
257-AH 0.2222 0.3191 0.3981 0.4570 0.6667 0.4018 0.1180 0.1379 0.4444 0.2936 0.3862 0.3712 0.0873 0.2222 0.4800 0.3724 0.0799
258-AH 0.0030 0.0121 0.0172 0.1215 0.5000 0.0933 0.1456 0.1094 0.4970 1.5606 0.0293 0.0130 0.1138 0.0030 0.2500 0.0411 0.0689
259-AH 0.0200 1.0000 1.0000 1.0000 1.0000 0.9093 0.2468 0.0000 0.9800 0.2714 0.7784 0.2837 0.1541 1.0000 1.0000 1.0000 0.0000
260-AH 0.0227 0.7418 1.0000 1.0000 1.0000 0.8320 0.2727 0.2582 0.9773 0.3278 0.7063 0.2960 0.2093 0.4615 1.0000 0.8746 0.2005
261-AH 0.0532 0.2565 0.5635 0.6833 0.8333 0.4903 0.2580 0.4268 0.7801 0.5262 0.3829 0.2390 0.2176 0.0532 0.8333 0.4903 0.2580
262-AH 0.0260 0.2218 0.3214 0.4179 0.9167 0.3805 0.2461 0.1961 0.8906 0.6469 0.3021 0.1965 0.1796 0.0260 0.6098 0.2941 0.1361
263-AH 0.0000 0.0464 0.2413 0.3233 0.4444 0.2035 0.1500 0.2769 0.4444 0.7369 0.0914 0.0002 0.1311 0.0000 0.4444 0.2035 0.1500
264-AH 0.0219 0.7083 1.0000 1.0000 1.0000 0.7912 0.3185 0.2917 0.9781 0.4026 0.6332 0.2629 0.2445 0.5000 1.0000 0.9082 0.1501
265-AH 0.0125 0.1250 0.5500 1.0000 1.0000 0.5431 0.4187 0.8750 0.9875 0.7709 0.2814 0.0715 0.3769 0.0125 1.0000 0.5431 0.4187
266-AH 0.0000 0.0086 0.0464 0.0667 0.1538 0.0438 0.0385 0.0580 0.1538 0.8784 0.0060 0.0000 0.0297 0.0000 0.0800 0.0380 0.0293
267-AH 0.0316 0.5727 0.7500 0.9167 1.0000 0.7026 0.2764 0.3439 0.9684 0.3935 0.5855 0.3121 0.2064 0.1351 1.0000 0.7379 0.2331
268-AH 0.0333 0.3333 0.6667 1.0000 1.0000 0.6260 0.3680 0.6667 0.9667 0.5878 0.4390 0.1970 0.3154 0.0333 1.0000 0.6260 0.3680
269-AH 0.0690 0.3667 0.5000 1.0000 1.0000 0.6152 0.3179 0.6333 0.9310 0.5167 0.5182 0.3883 0.2796 0.0690 1.0000 0.6152 0.3179
270-AH 0.1176 1.0000 1.0000 1.0000 1.0000 0.9211 0.2316 0.0000 0.8824 0.2514 0.8542 0.6876 0.1341 1.0000 1.0000 1.0000 0.0000
271-AH 0.1395 0.6750 1.0000 1.0000 1.0000 0.8323 0.2867 0.3250 0.8605 0.3444 0.7506 0.6138 0.2348 0.2500 1.0000 0.8687 0.2422
272-AH 0.0000 0.2857 0.3229 0.4222 1.0000 0.4107 0.2717 0.1365 1.0000 0.6616 0.2255 0.0002 0.1891 0.2105 0.5000 0.3258 0.0714
273-AH 0.1791 0.7714 1.0000 1.0000 1.0000 0.8211 0.3196 0.2286 0.8209 0.3893 0.7157 0.5621 0.2584 0.6429 1.0000 0.9714 0.0911
274-AH 0.0130 0.3485 0.5000 0.6667 0.8000 0.4876 0.2062 0.3182 0.7870 0.4228 0.4018 0.1677 0.1717 0.0130 0.8000 0.4876 0.2062
275-AH 0.0119 0.3925 0.5417 0.6351 0.7500 0.5061 0.1840 0.2425 0.7381 0.3637 0.4234 0.1631 0.1484 0.2727 0.7500 0.5321 0.1465
276-AH 0.3548 0.4643 0.6667 0.8571 1.0000 0.6522 0.2019 0.3929 0.6452 0.3096 0.6212 0.5902 0.1715 0.3548 1.0000 0.6522 0.2019
277-AH 0.0000 0.1012 0.3524 0.4444 0.7500 0.3172 0.2340 0.3433 0.7500 0.7376 0.1213 0.0002 0.1870 0.0000 0.7500 0.3172 0.2340
278-AH 0.0173 0.2308 0.4143 0.6333 0.7500 0.4248 0.2351 0.4026 0.7327 0.5534 0.3103 0.1349 0.1980 0.0173 0.7500 0.4248 0.2351
279-AH 0.0000 0.1429 0.2917 0.8333 1.0000 0.4261 0.3791 0.6905 1.0000 0.8896 0.1552 0.0002 0.3258 0.0000 1.0000 0.4261 0.3791
280-AH 0.0102 0.0312 0.0630 0.0690 0.2105 0.0634 0.0456 0.0377 0.2004 0.7198 0.0497 0.0373 0.0300 0.0102 0.1071 0.0557 0.0305
281-AH 0.0690 0.4620 0.6587 0.8571 1.0000 0.6413 0.2693 0.3952 0.9310 0.4199 0.5591 0.4190 0.2185 0.0690 1.0000 0.6413 0.2693
282-AH 0.0367 0.1340 0.3038 0.3944 0.5833 0.2747 0.1638 0.2605 0.5466 0.5961 0.2160 0.1547 0.1455 0.0367 0.5833 0.2747 0.1638
283-AH 0.0235 0.1255 0.5000 0.6429 1.0000 0.4432 0.3544 0.5174 0.9765 0.7995 0.2629 0.1132 0.2966 0.0235 1.0000 0.4432 0.3544
284-AH 0.0000 0.4971 0.9167 1.0000 1.0000 0.7253 0.3767 0.5029 1.0000 0.5194 0.3484 0.0002 0.3080 0.0000 1.0000 0.7253 0.3767
285-AH 0.1778 0.4126 0.8889 1.0000 1.0000 0.7524 0.3112 0.5874 0.8222 0.4136 0.6638 0.5531 0.2712 0.1778 1.0000 0.7524 0.3112
286-AH 0.0000 0.0269 0.0626 0.0909 0.1111 0.0603 0.0360 0.0640 0.1111 0.5963 0.0343 0.0002 0.0303 0.0000 0.1111 0.0603 0.0360
287-AH 0.0056 0.2415 0.5556 0.6077 0.8571 0.4567 0.2518 0.3662 0.8515 0.5514 0.3054 0.0774 0.2038 0.0056 0.8571 0.4567 0.2518
288-AH 0.0423 0.2008 0.3470 0.5895 0.9474 0.4111 0.2828 0.3887 0.9051 0.6880 0.3146 0.2156 0.2250 0.0423 0.9474 0.4111 0.2828
289-AH 0.0125 0.9583 1.0000 1.0000 1.0000 0.8956 0.2459 0.0417 0.9875 0.2746 0.7498 0.1989 0.1586 0.9167 1.0000 0.9948 0.0208
290-AH 0.0251 0.0845 0.3272 0.4477 0.8333 0.3004 0.2175 0.3632 0.8083 0.7242 0.2048 0.1169 0.1784 0.0251 0.8333 0.3004 0.2175
42
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0447 0.2500 0.8920 1.0000 1.0000 0.6904 0.3948 0.7500 0.9553 0.5718 0.4626 0.2047 0.3418 0.0447 1.0000 0.6904 0.3948
292-AH 0.0233 0.3699 1.0000 1.0000 1.0000 0.7424 0.4248 0.6301 0.9767 0.5721 0.4174 0.1116 0.3606 0.0233 1.0000 0.7424 0.4248
293-AH 0.1538 0.5319 0.8231 1.0000 1.0000 0.7349 0.3053 0.4681 0.8462 0.4155 0.6372 0.4993 0.2450 0.1538 1.0000 0.7349 0.3053
294-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7465 0.3064 0.4000 1.0000 0.4104 0.3759 0.0002 0.2232 0.0151 1.0000 0.7858 0.2578
295-AH 0.1944 0.2857 0.4511 0.5227 0.7500 0.4369 0.1650 0.2370 0.5556 0.3776 0.4058 0.3744 0.1350 0.1944 0.7500 0.4369 0.1650
296-AH 0.0000 0.3864 0.7143 0.7500 0.8333 0.5984 0.2438 0.3636 0.8333 0.4075 0.3384 0.0002 0.2018 0.0000 0.8333 0.5984 0.2438
297-AH 0.0492 0.7000 1.0000 1.0000 1.0000 0.8175 0.3311 0.3000 0.9508 0.4050 0.6833 0.4138 0.2738 0.4000 1.0000 0.9294 0.1993
298-AH 0.0370 0.3786 0.5132 0.6000 0.8000 0.4655 0.2055 0.2214 0.7630 0.4415 0.3750 0.2117 0.1586 0.1452 0.8000 0.5132 0.1524
299-AH 0.0339 0.3338 0.7614 0.8421 1.0000 0.6184 0.2852 0.5083 0.9661 0.4611 0.5077 0.2996 0.2444 0.0339 1.0000 0.6184 0.2852
300-AH 0.0000 0.0825 0.2632 0.3741 0.6250 0.2589 0.1719 0.2916 0.6250 0.6637 0.1187 0.0002 0.1364 0.0000 0.6250 0.2589 0.1719
301-AH 0.0000 0.0512 0.0968 0.1142 1.0000 0.2404 0.3548 0.0630 1.0000 1.4763 0.0699 0.0002 0.2705 0.0000 0.1250 0.0713 0.0384
302-AH 0.1176 0.3542 0.5000 0.6667 0.7500 0.4972 0.1874 0.3125 0.6324 0.3768 0.4540 0.3979 0.1533 0.1176 0.7500 0.4972 0.1874
303-AH 0.1136 0.3095 0.5778 1.0000 1.0000 0.6089 0.3410 0.6905 0.8864 0.5601 0.4985 0.3855 0.3020 0.1136 1.0000 0.6089 0.3410
304-AH 0.0000 0.3765 1.0000 1.0000 1.0000 0.7381 0.4394 0.6235 1.0000 0.5953 0.1708 0.0002 0.3679 0.0000 1.0000 0.7381 0.4394
305-AH 0.0208 0.1869 0.4472 0.6548 0.9000 0.4389 0.2820 0.4679 0.8792 0.6425 0.2801 0.1174 0.2232 0.0208 0.9000 0.4389 0.2820
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0272 0.1186 0.2314 0.4496 0.5263 0.2706 0.1722 0.3310 0.4991 0.6364 0.2010 0.1268 0.1467 0.0272 0.5263 0.2706 0.1722
308-AH 0.0203 1.0000 1.0000 1.0000 1.0000 0.8385 0.3345 0.0000 0.9797 0.3989 0.6684 0.2586 0.2584 1.0000 1.0000 1.0000 0.0000
309-AH 0.0750 0.0997 0.1678 0.2500 1.0000 0.2167 0.2019 0.1503 0.9250 0.9315 0.1716 0.1456 0.1141 0.0750 0.3333 0.1755 0.0845
310-AH 0.0090 0.0277 0.1209 0.2249 0.3333 0.1298 0.1075 0.1972 0.3243 0.8281 0.0756 0.0355 0.0907 0.0090 0.3333 0.1298 0.1075
311-AH 0.1250 0.4575 0.5000 0.5385 0.6364 0.4890 0.1077 0.0809 0.5114 0.2202 0.4699 0.4343 0.0688 0.3784 0.6364 0.5081 0.0670
312-AH 0.0043 0.2462 0.5000 0.7833 1.0000 0.4993 0.3375 0.5371 0.9957 0.6760 0.2817 0.0475 0.2858 0.0043 1.0000 0.4993 0.3375
313-AH 0.0116 0.0500 0.1742 0.2855 1.0000 0.2407 0.2810 0.2355 0.9884 1.1672 0.1339 0.0682 0.1831 0.0116 0.3529 0.1564 0.1135
314-AH 0.0037 0.0637 0.0830 0.1244 0.2000 0.0935 0.0496 0.0607 0.1963 0.5300 0.0744 0.0381 0.0405 0.0037 0.2000 0.0935 0.0496
315-AH 0.0205 0.2250 0.5955 0.7250 0.8571 0.5013 0.2857 0.5000 0.8367 0.5698 0.3388 0.1442 0.2440 0.0205 0.8571 0.5013 0.2857
316-AH 0.0000 0.0455 0.1524 0.2050 0.4058 0.1494 0.1116 0.1596 0.4058 0.7471 0.0492 0.0001 0.0868 0.0000 0.4058 0.1494 0.1116
317-AH 0.2000 0.5000 0.6000 0.6458 0.7500 0.5503 0.1502 0.1458 0.5500 0.2729 0.5239 0.4886 0.1147 0.2963 0.7500 0.5859 0.1080
318-AH 0.0116 0.1142 0.1352 0.2188 0.5000 0.1673 0.1139 0.1045 0.4884 0.6807 0.1284 0.0802 0.0812 0.0116 0.3333 0.1498 0.0850
319-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8636 0.2451 0.2000 0.8000 0.2838 0.8096 0.7207 0.1910 0.5714 1.0000 0.9513 0.1181
320-AH 0.0042 0.0338 0.0562 0.0825 0.2632 0.0753 0.0694 0.0486 0.2590 0.9215 0.0505 0.0285 0.0461 0.0042 0.1190 0.0552 0.0329
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0101 0.0434 0.0667 0.1458 0.3333 0.0965 0.0798 0.1024 0.3232 0.8272 0.0697 0.0459 0.0602 0.0101 0.2222 0.0840 0.0587
323-AH 0.1000 0.7500 1.0000 1.0000 1.0000 0.8227 0.2757 0.2500 0.9000 0.3351 0.7324 0.5517 0.2128 0.5714 1.0000 0.8984 0.1549
324-AH 0.0105 0.5147 0.7596 0.8518 0.9167 0.6377 0.2761 0.3371 0.9062 0.4329 0.4932 0.1500 0.2205 0.0105 0.9167 0.6377 0.2761
325-AH 0.3462 0.8209 0.8750 0.9000 1.0000 0.8462 0.1327 0.0791 0.6538 0.1568 0.8311 0.8074 0.0756 0.7778 1.0000 0.8725 0.0630
326-AH 0.0000 0.0909 0.3095 0.5000 1.0000 0.3565 0.3212 0.4091 1.0000 0.9011 0.1164 0.0002 0.2404 0.0000 1.0000 0.3565 0.3212
327-AH 0.0000 0.0099 0.0212 0.1458 1.0000 0.2084 0.3593 0.1359 1.0000 1.7239 0.0220 0.0001 0.2666 0.0000 0.1667 0.0417 0.0535
328-AH 0.3000 0.5224 0.6080 0.6548 0.7500 0.5727 0.1299 0.1323 0.4500 0.2269 0.5564 0.5372 0.1035 0.4286 0.7500 0.6026 0.0970
329-AH 0.4167 0.7513 1.0000 1.0000 1.0000 0.8839 0.1642 0.2487 0.5833 0.1857 0.8658 0.8426 0.1393 0.4167 1.0000 0.8839 0.1642
330-AH 0.0230 0.8461 1.0000 1.0000 1.0000 0.8648 0.2550 0.1539 0.9770 0.2949 0.7395 0.3043 0.1647 0.6667 1.0000 0.9402 0.0970
331-AH 0.0309 0.2353 0.2871 0.3274 1.0000 0.3319 0.2327 0.0921 0.9691 0.7013 0.2548 0.1673 0.1555 0.2222 0.3333 0.2774 0.0397
332-AH 0.0027 0.2436 1.0000 1.0000 1.0000 0.7350 0.4198 0.7564 0.9973 0.5711 0.4221 0.0448 0.3709 0.0027 1.0000 0.7350 0.4198
333-AH 0.0172 1.0000 1.0000 1.0000 1.0000 0.9509 0.2198 0.0000 0.9828 0.2311 0.8163 0.2597 0.0934 1.0000 1.0000 1.0000 0.0000
334-AH 0.1000 0.3030 0.5000 1.0000 1.0000 0.6370 0.3538 0.6970 0.9000 0.5554 0.5191 0.3922 0.3267 0.1000 1.0000 0.6370 0.3538
335-AH 0.0463 0.1366 0.2154 0.5833 1.0000 0.3695 0.3273 0.4467 0.9537 0.8857 0.2532 0.1761 0.2747 0.0463 1.0000 0.3695 0.3273
336-AH 0.0082 0.0390 0.0511 0.0977 1.0000 0.2385 0.3913 0.0586 0.9918 1.6408 0.0768 0.0377 0.3046 0.0082 0.1143 0.0481 0.0257
337-AH 0.0952 0.3052 1.0000 1.0000 1.0000 0.7177 0.3769 0.6948 0.9048 0.5252 0.5613 0.3750 0.3388 0.0952 1.0000 0.7177 0.3769
338-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9265 0.2012 0.0000 0.6667 0.2172 0.8917 0.8351 0.1249 1.0000 1.0000 1.0000 0.0000
339-AH 0.2308 0.6364 1.0000 1.0000 1.0000 0.8335 0.2370 0.3636 0.7692 0.2843 0.7880 0.7214 0.2040 0.2308 1.0000 0.8335 0.2370
340-AH 0.1500 0.3452 0.5000 0.8333 1.0000 0.5515 0.2935 0.4881 0.8500 0.5322 0.4787 0.4115 0.2406 0.1500 1.0000 0.5515 0.2935
43
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
342-AH 0.5000 0.7647 0.8944 0.9091 0.9412 0.8324 0.1302 0.1444 0.4412 0.1564 0.8206 0.8063 0.1009 0.6800 0.9412 0.8679 0.0748
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.3182 0.7059 0.8000 0.9615 1.0000 0.7906 0.1986 0.2557 0.6818 0.2512 0.7582 0.7134 0.1442 0.3235 1.0000 0.8155 0.1690
345-AH 0.0325 0.1213 0.2321 0.3095 1.0000 0.2531 0.2108 0.1882 0.9675 0.8331 0.1895 0.1318 0.1295 0.0325 0.5000 0.2137 0.1195
346-AH 0.0455 0.0674 0.0870 0.1464 0.2000 0.1039 0.0463 0.0790 0.1545 0.4460 0.0949 0.0871 0.0390 0.0455 0.2000 0.1039 0.0463
347-AH 0.0325 0.1109 0.1833 0.2500 1.0000 0.2843 0.3157 0.1391 0.9675 1.1104 0.1862 0.1328 0.2147 0.0325 0.2500 0.1580 0.0730
348-AH 0.0000 0.5067 1.0000 1.0000 1.0000 0.7524 0.4401 0.4933 1.0000 0.5849 0.2301 0.0002 0.3715 0.0000 1.0000 0.7524 0.4401
349-AH 0.0570 0.3806 0.4566 0.5278 1.0000 0.4823 0.2132 0.1472 0.9430 0.4420 0.4296 0.3384 0.1362 0.3125 0.6000 0.4464 0.0882
350-AH 0.1111 1.0000 1.0000 1.0000 1.0000 0.9139 0.2298 0.0000 0.8889 0.2514 0.8481 0.6780 0.1464 1.0000 1.0000 1.0000 0.0000
44
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9583 0.1194 0.0000 0.5000 0.1246 0.9485 0.9346 0.0708 1.0000 1.0000 1.0000 0.0000
143-AH 0.0178 0.6169 1.0000 1.0000 1.0000 0.7769 0.3713 0.3831 0.9822 0.4779 0.5520 0.1874 0.3061 0.0686 1.0000 0.8168 0.3343
144-AH 0.0033 0.0940 0.5000 1.0000 1.0000 0.5233 0.3797 0.9060 0.9967 0.7255 0.2756 0.0461 0.3003 0.0033 1.0000 0.5233 0.3797
145-AH 0.0300 0.3766 0.7758 1.0000 1.0000 0.6764 0.3737 0.6234 0.9700 0.5525 0.4810 0.2266 0.3161 0.0300 1.0000 0.6764 0.3737
146-AH 0.0145 0.1270 0.3333 0.5000 1.0000 0.4126 0.3444 0.3730 0.9855 0.8347 0.2530 0.1117 0.2787 0.0145 1.0000 0.4126 0.3444
147-AH 0.2113 0.5369 0.7981 1.0000 1.0000 0.7365 0.2712 0.4631 0.7887 0.3683 0.6728 0.5921 0.2286 0.2113 1.0000 0.7365 0.2712
148-AH 0.0187 0.0491 0.0732 0.0863 0.3333 0.0812 0.0639 0.0372 0.3146 0.7869 0.0683 0.0589 0.0330 0.0187 0.1111 0.0680 0.0245
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0234 0.1320 0.2265 0.3333 0.1404 0.1135 0.2031 0.3333 0.8083 0.0145 0.0000 0.0956 0.0000 0.3333 0.1404 0.1135
151-AH 0.0000 0.0697 0.1500 0.5000 1.0000 0.2720 0.2773 0.4303 1.0000 1.0195 0.1111 0.0002 0.2280 0.0000 1.0000 0.2720 0.2773
152-AH 0.0089 0.7500 1.0000 1.0000 1.0000 0.8215 0.3224 0.2500 0.9911 0.3924 0.6314 0.1418 0.2499 0.5000 1.0000 0.9412 0.1406
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.1429 0.3454 0.7000 0.8661 1.0000 0.6152 0.2940 0.5207 0.8571 0.4780 0.5234 0.4174 0.2548 0.1429 1.0000 0.6152 0.2940
155-AH 0.0000 0.0161 0.1548 0.2500 0.5000 0.1638 0.1431 0.2339 0.5000 0.8739 0.0158 0.0000 0.1095 0.0000 0.5000 0.1638 0.1431
156-AH 0.0201 0.0513 0.1356 0.1582 0.2632 0.1156 0.0713 0.1070 0.2431 0.6165 0.0885 0.0613 0.0595 0.0201 0.2632 0.1156 0.0713
157-AH 0.2774 0.5717 0.6699 0.8000 0.9091 0.6560 0.1783 0.2283 0.6317 0.2718 0.6270 0.5911 0.1414 0.2774 0.9091 0.6560 0.1783
158-AH 0.0000 0.2281 0.5724 0.9375 1.0000 0.5466 0.3547 0.7094 1.0000 0.6490 0.2612 0.0002 0.3050 0.0000 1.0000 0.5466 0.3547
159-AH 0.0130 0.0918 0.2097 0.5418 1.0000 0.3362 0.3433 0.4500 0.9870 1.0213 0.1894 0.0928 0.2799 0.0130 1.0000 0.3362 0.3433
160-AH 0.0034 0.0286 0.0667 0.0889 0.3333 0.0819 0.0797 0.0603 0.3299 0.9733 0.0437 0.0157 0.0519 0.0034 0.1111 0.0543 0.0358
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.1497 0.6443 1.0000 1.0000 1.0000 0.8029 0.3349 0.3557 0.8503 0.4171 0.6853 0.5194 0.2794 0.1497 1.0000 0.8029 0.3349
164-AH 0.0000 0.0261 0.0909 0.1399 0.6154 0.1305 0.1610 0.1138 0.6154 1.2340 0.0123 0.0000 0.1049 0.0000 0.2281 0.0830 0.0687
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0166 0.1742 0.4167 1.0000 0.2356 0.2586 0.4000 1.0000 1.0974 0.0627 0.0002 0.2017 0.0000 1.0000 0.2356 0.2586
168-AH 0.0296 0.4408 0.4688 0.5000 0.6000 0.4448 0.1255 0.0592 0.5704 0.2821 0.4001 0.2629 0.0793 0.3846 0.5652 0.4802 0.0463
169-AH 0.0000 0.0055 0.0159 0.0598 0.1429 0.0332 0.0388 0.0542 0.1429 1.1690 0.0054 0.0000 0.0307 0.0000 0.0833 0.0274 0.0298
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0083 0.0728 0.0961 0.1768 0.3077 0.1289 0.0956 0.1040 0.2994 0.7419 0.0898 0.0461 0.0763 0.0083 0.3077 0.1289 0.0956
172-AH 0.0367 0.0893 0.1381 0.2500 0.3333 0.1582 0.0898 0.1607 0.2966 0.5675 0.1328 0.1079 0.0737 0.0367 0.3333 0.1582 0.0898
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9500 0.1539 0.0000 0.5000 0.1620 0.9330 0.9091 0.0900 1.0000 1.0000 1.0000 0.0000
175-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9292 0.1673 0.0000 0.6667 0.1800 0.9066 0.8696 0.1133 1.0000 1.0000 1.0000 0.0000
176-AH 0.9333 1.0000 1.0000 1.0000 1.0000 0.9967 0.0149 0.0000 0.0667 0.0150 0.9966 0.9964 0.0063 1.0000 1.0000 1.0000 0.0000
177-AH 0.0755 0.1114 0.2225 0.5000 1.0000 0.3736 0.3086 0.3886 0.9245 0.8262 0.2606 0.1857 0.2638 0.0755 1.0000 0.3736 0.3086
178-AH 0.0000 0.0158 0.0455 0.3333 1.0000 0.2386 0.3552 0.3175 1.0000 1.4886 0.0275 0.0001 0.2735 0.0000 0.5000 0.1043 0.1481
179-AH 0.0000 0.1110 0.5278 1.0000 1.0000 0.5293 0.3969 0.8890 1.0000 0.7498 0.1833 0.0002 0.3401 0.0000 1.0000 0.5293 0.3969
180-AH 0.0211 0.1521 0.3957 0.8464 1.0000 0.4779 0.3523 0.6943 0.9789 0.7372 0.3211 0.1677 0.3263 0.0211 1.0000 0.4779 0.3523
181-AH 0.0000 0.7348 0.8741 0.9597 1.0000 0.7845 0.2638 0.2249 1.0000 0.3363 0.4472 0.0002 0.1789 0.5758 1.0000 0.8619 0.1160
182-AH 0.0625 0.1056 0.3500 0.5833 1.0000 0.4036 0.3369 0.4778 0.9375 0.8347 0.2646 0.1697 0.2880 0.0625 1.0000 0.4036 0.3369
183-AH 0.0056 0.0161 0.0682 0.1667 1.0000 0.1312 0.2200 0.1505 0.9944 1.6772 0.0533 0.0245 0.1239 0.0056 0.2353 0.0854 0.0833
184-AH 0.0104 0.6667 1.0000 1.0000 1.0000 0.7835 0.2963 0.3333 0.9896 0.3782 0.6262 0.1628 0.2382 0.2308 1.0000 0.8242 0.2403
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
190-AH 0.0323 0.7083 1.0000 1.0000 1.0000 0.7703 0.3544 0.2917 0.9677 0.4602 0.5590 0.2139 0.2757 0.3333 1.0000 0.8971 0.1876
45
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0476 0.2303 0.8333 1.0000 1.0000 0.6540 0.3806 0.7697 0.9524 0.5819 0.4913 0.2941 0.3472 0.0476 1.0000 0.6540 0.3806
193-AH 0.4286 0.7083 1.0000 1.0000 1.0000 0.8839 0.1923 0.2917 0.5714 0.2176 0.8588 0.8276 0.1625 0.4286 1.0000 0.8839 0.1923
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.6458 1.0000 1.0000 1.0000 0.8201 0.2944 0.3542 1.0000 0.3590 0.4671 0.0002 0.2351 0.3448 1.0000 0.8632 0.2284
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0423 0.5500 0.8333 1.0000 1.0000 0.7602 0.3022 0.4500 0.9577 0.3975 0.6310 0.3562 0.2417 0.0423 1.0000 0.7602 0.3022
200-AH 0.0606 0.1584 0.4365 0.7143 1.0000 0.4613 0.2958 0.5559 0.9394 0.6411 0.3523 0.2488 0.2531 0.0606 1.0000 0.4613 0.2958
251-AH 0.0516 0.6042 0.9375 0.9535 0.9565 0.7464 0.3508 0.3493 0.9049 0.4700 0.5572 0.2697 0.2903 0.3171 0.9565 0.8676 0.2051
252-AH 0.1471 0.3038 0.4750 0.6250 1.0000 0.4778 0.2252 0.3212 0.8529 0.4713 0.4249 0.3723 0.1873 0.1471 1.0000 0.4778 0.2252
253-AH 0.0000 0.1714 0.4253 0.6016 0.8085 0.4077 0.2592 0.4301 0.8085 0.6358 0.2040 0.0002 0.2270 0.0000 0.8085 0.4077 0.2592
254-AH 0.0000 0.0744 0.3452 0.3898 0.4887 0.2609 0.1792 0.3153 0.4887 0.6868 0.0244 0.0000 0.1600 0.0000 0.4887 0.2609 0.1792
255-AH 0.0769 0.2250 0.7500 1.0000 1.0000 0.6497 0.3798 0.7750 0.9231 0.5845 0.4983 0.3361 0.3503 0.0769 1.0000 0.6497 0.3798
256-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9329 0.2325 0.0000 1.0000 0.2492 0.5507 0.0002 0.1208 1.0000 1.0000 1.0000 0.0000
257-AH 0.1923 0.2894 0.3233 0.4439 0.6364 0.3600 0.1229 0.1545 0.4441 0.3414 0.3419 0.3253 0.0929 0.1923 0.6364 0.3600 0.1229
258-AH 0.0030 0.0121 0.0172 0.1215 0.5000 0.0933 0.1456 0.1094 0.4970 1.5606 0.0293 0.0130 0.1138 0.0030 0.2500 0.0411 0.0689
259-AH 0.0200 1.0000 1.0000 1.0000 1.0000 0.9093 0.2468 0.0000 0.9800 0.2714 0.7784 0.2837 0.1541 1.0000 1.0000 1.0000 0.0000
260-AH 0.0182 0.6429 0.8708 0.9349 1.0000 0.7605 0.2500 0.2920 0.9818 0.3287 0.6429 0.2487 0.1881 0.4324 1.0000 0.7996 0.1837
261-AH 0.0219 0.0464 0.2587 0.3959 0.7273 0.2601 0.2284 0.3495 0.7054 0.8781 0.1498 0.0764 0.1818 0.0219 0.7273 0.2601 0.2284
262-AH 0.0000 0.1795 0.2083 0.4179 0.7931 0.3217 0.2367 0.2384 0.7931 0.7358 0.1653 0.0002 0.1885 0.0000 0.7500 0.2702 0.1858
263-AH 0.0000 0.0294 0.2112 0.3233 0.4194 0.1882 0.1522 0.2939 0.4194 0.8087 0.0720 0.0002 0.1313 0.0000 0.4194 0.1882 0.1522
264-AH 0.0201 0.4808 0.8661 1.0000 1.0000 0.7179 0.3215 0.5192 0.9799 0.4479 0.5600 0.2328 0.2640 0.0201 1.0000 0.7179 0.3215
265-AH 0.0066 0.0700 0.4222 0.8000 1.0000 0.4435 0.3817 0.7300 0.9934 0.8607 0.1879 0.0364 0.3098 0.0066 1.0000 0.4435 0.3817
266-AH 0.0000 0.0086 0.0464 0.0667 0.1538 0.0438 0.0385 0.0580 0.1538 0.8784 0.0060 0.0000 0.0297 0.0000 0.0800 0.0380 0.0293
267-AH 0.0316 0.2304 0.5000 0.6364 0.8571 0.4722 0.2555 0.4059 0.8256 0.5411 0.3777 0.2380 0.2207 0.0316 0.8571 0.4722 0.2555
268-AH 0.0333 0.3333 0.6667 1.0000 1.0000 0.6260 0.3680 0.6667 0.9667 0.5878 0.4390 0.1970 0.3154 0.0333 1.0000 0.6260 0.3680
269-AH 0.0690 0.2143 0.4000 0.6667 1.0000 0.4533 0.2905 0.4524 0.9310 0.6410 0.3666 0.2844 0.2327 0.0690 1.0000 0.4533 0.2905
270-AH 0.0597 1.0000 1.0000 1.0000 1.0000 0.9012 0.2456 0.0000 0.9403 0.2725 0.8096 0.5291 0.1580 1.0000 1.0000 1.0000 0.0000
271-AH 0.0000 0.4423 0.7778 0.8661 1.0000 0.6290 0.3071 0.4238 1.0000 0.4882 0.3243 0.0002 0.2615 0.0000 1.0000 0.6290 0.3071
272-AH 0.0000 0.2857 0.3090 0.3724 0.4444 0.3138 0.0979 0.0867 0.4444 0.3118 0.1929 0.0002 0.0631 0.2105 0.4444 0.3303 0.0659
273-AH 0.0367 0.2824 0.9472 0.9808 1.0000 0.7230 0.3755 0.6984 0.9633 0.5194 0.5387 0.2825 0.3303 0.0367 1.0000 0.7230 0.3755
274-AH 0.0059 0.2679 0.3485 0.5278 0.8000 0.3935 0.1958 0.2599 0.7941 0.4975 0.3095 0.0894 0.1500 0.0059 0.8000 0.3935 0.1958
275-AH 0.0000 0.1136 0.3525 0.5556 0.7500 0.3564 0.2424 0.4419 0.7500 0.6803 0.1605 0.0002 0.2076 0.0000 0.7500 0.3564 0.2424
276-AH 0.2133 0.4643 0.5336 0.6432 0.8000 0.5393 0.1433 0.1789 0.5867 0.2658 0.5182 0.4927 0.1113 0.2133 0.8000 0.5393 0.1433
277-AH 0.0000 0.0369 0.3170 0.3600 0.5385 0.2303 0.1705 0.3231 0.5385 0.7403 0.0555 0.0001 0.1509 0.0000 0.5385 0.2303 0.1705
278-AH 0.0060 0.0856 0.1808 0.3786 0.6000 0.2460 0.1969 0.2930 0.5940 0.8002 0.1541 0.0587 0.1629 0.0060 0.6000 0.2460 0.1969
279-AH 0.0000 0.1429 0.2917 0.8333 1.0000 0.4261 0.3791 0.6905 1.0000 0.8896 0.1552 0.0002 0.3258 0.0000 1.0000 0.4261 0.3791
280-AH 0.0070 0.0236 0.0528 0.0597 0.2083 0.0503 0.0421 0.0362 0.2013 0.8366 0.0385 0.0280 0.0240 0.0070 0.0654 0.0420 0.0202
281-AH 0.0690 0.3045 0.4673 0.7145 0.9000 0.5074 0.2491 0.4100 0.8310 0.4910 0.4339 0.3389 0.2255 0.0690 0.9000 0.5074 0.2491
282-AH 0.0357 0.0990 0.1722 0.3288 0.5833 0.2259 0.1567 0.2298 0.5476 0.6935 0.1703 0.1215 0.1344 0.0357 0.5833 0.2259 0.1567
283-AH 0.0180 0.0514 0.2829 0.4917 1.0000 0.3087 0.3040 0.4403 0.9820 0.9845 0.1600 0.0753 0.2408 0.0180 1.0000 0.3087 0.3040
284-AH 0.0000 0.2477 0.6277 0.6923 0.8182 0.4969 0.2963 0.4446 0.8182 0.5962 0.1703 0.0002 0.2456 0.0000 0.8182 0.4969 0.2963
285-AH 0.1456 0.3751 0.7326 0.9232 1.0000 0.6521 0.3147 0.5481 0.8544 0.4825 0.5479 0.4247 0.2723 0.1456 1.0000 0.6521 0.3147
286-AH 0.0000 0.0261 0.0445 0.0600 0.1071 0.0474 0.0311 0.0339 0.1071 0.6569 0.0276 0.0002 0.0235 0.0000 0.1071 0.0474 0.0311
287-AH 0.0000 0.1929 0.5218 0.5556 0.5882 0.3937 0.2160 0.3627 0.5882 0.5488 0.1965 0.0002 0.1855 0.0000 0.5882 0.3937 0.2160
288-AH 0.0266 0.1416 0.2614 0.4403 0.9474 0.3494 0.2967 0.2986 0.9208 0.8491 0.2382 0.1453 0.2253 0.0266 0.6296 0.2440 0.1609
289-AH 0.0125 0.7846 0.9583 1.0000 1.0000 0.8503 0.2407 0.2154 0.9875 0.2831 0.7128 0.1967 0.1609 0.5000 1.0000 0.8944 0.1418
290-AH 0.0217 0.0706 0.2699 0.3953 0.5238 0.2582 0.1781 0.3247 0.5021 0.6896 0.1751 0.0985 0.1582 0.0217 0.5238 0.2582 0.1781
46
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0447 0.2040 0.7468 1.0000 1.0000 0.6328 0.3872 0.7960 0.9553 0.6119 0.4178 0.1895 0.3316 0.0447 1.0000 0.6328 0.3872
292-AH 0.0233 0.3699 1.0000 1.0000 1.0000 0.7424 0.4248 0.6301 0.9767 0.5721 0.4174 0.1116 0.3606 0.0233 1.0000 0.7424 0.4248
293-AH 0.1429 0.5281 0.7386 0.8889 0.9167 0.6706 0.2800 0.3608 0.7738 0.4176 0.5781 0.4489 0.2235 0.1429 0.9167 0.6706 0.2800
294-AH 0.0000 0.3228 0.7285 0.7778 1.0000 0.5924 0.3023 0.4549 1.0000 0.5103 0.2866 0.0002 0.2483 0.0000 1.0000 0.5924 0.3023
295-AH 0.1111 0.2055 0.2842 0.4613 0.7333 0.3374 0.1575 0.2558 0.6222 0.4668 0.3031 0.2702 0.1297 0.1111 0.7333 0.3374 0.1575
296-AH 0.0000 0.3816 0.7143 0.7500 0.8333 0.5848 0.2521 0.3684 0.8333 0.4311 0.3250 0.0002 0.2094 0.0000 0.8333 0.5848 0.2521
297-AH 0.0492 0.3000 0.7500 1.0000 1.0000 0.6592 0.3709 0.7000 0.9508 0.5626 0.4967 0.2963 0.3256 0.0492 1.0000 0.6592 0.3709
298-AH 0.0326 0.1982 0.4105 0.5455 0.6667 0.3766 0.2062 0.3473 0.6341 0.5475 0.2873 0.1666 0.1772 0.0326 0.6667 0.3766 0.2062
299-AH 0.0289 0.2527 0.5330 0.7864 0.8500 0.5023 0.2826 0.5336 0.8211 0.5626 0.3833 0.2174 0.2432 0.0289 0.8500 0.5023 0.2826
300-AH 0.0000 0.0775 0.2632 0.3320 0.5000 0.2282 0.1536 0.2546 0.5000 0.6730 0.0327 0.0000 0.1223 0.0000 0.5000 0.2282 0.1536
301-AH 0.0000 0.0315 0.0656 0.1026 1.0000 0.2076 0.3315 0.0711 1.0000 1.5965 0.0552 0.0002 0.2470 0.0000 0.1026 0.0533 0.0306
302-AH 0.0533 0.2727 0.3417 0.5000 0.6667 0.3574 0.1724 0.2273 0.6133 0.4822 0.3021 0.2290 0.1392 0.0533 0.6667 0.3574 0.1724
303-AH 0.1136 0.2337 0.3333 0.7500 1.0000 0.4953 0.3164 0.5163 0.8864 0.6388 0.4021 0.3244 0.2698 0.1136 1.0000 0.4953 0.3164
304-AH 0.0000 0.3750 1.0000 1.0000 1.0000 0.7375 0.4404 0.6250 1.0000 0.5971 0.0554 0.0000 0.3688 0.0000 1.0000 0.7375 0.4404
305-AH 0.0203 0.1473 0.3840 0.5100 0.6190 0.3351 0.2051 0.3627 0.5987 0.6121 0.2266 0.1095 0.1752 0.0203 0.6190 0.3351 0.2051
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0246 0.1186 0.2024 0.3462 0.5000 0.2386 0.1590 0.2275 0.4754 0.6663 0.1791 0.1169 0.1255 0.0246 0.5000 0.2386 0.1590
308-AH 0.0203 0.5577 1.0000 1.0000 1.0000 0.7700 0.4093 0.4423 0.9797 0.5315 0.5025 0.1669 0.3450 0.0203 1.0000 0.7700 0.4093
309-AH 0.0750 0.0997 0.1304 0.2222 0.4000 0.1683 0.0943 0.1225 0.3250 0.5602 0.1479 0.1325 0.0746 0.0750 0.4000 0.1683 0.0943
310-AH 0.0000 0.0151 0.0873 0.1364 0.2407 0.0822 0.0712 0.1213 0.2407 0.8666 0.0178 0.0001 0.0587 0.0000 0.2407 0.0822 0.0712
311-AH 0.1250 0.3827 0.4828 0.5167 0.6364 0.4532 0.1059 0.1339 0.5114 0.2337 0.4353 0.4050 0.0760 0.3636 0.6364 0.4705 0.0745
312-AH 0.0000 0.2389 0.4949 0.7833 0.8889 0.4712 0.3191 0.5445 0.8889 0.6772 0.1867 0.0002 0.2756 0.0000 0.8889 0.4712 0.3191
313-AH 0.0116 0.0229 0.0842 0.2583 0.3529 0.1333 0.1195 0.2355 0.3413 0.8963 0.0767 0.0408 0.1054 0.0116 0.3529 0.1333 0.1195
314-AH 0.0000 0.0374 0.0830 0.1146 0.1481 0.0777 0.0473 0.0772 0.1481 0.6092 0.0407 0.0002 0.0400 0.0000 0.1481 0.0777 0.0473
315-AH 0.0141 0.1242 0.4071 0.5812 0.6667 0.3750 0.2381 0.4569 0.6525 0.6349 0.2396 0.0963 0.1994 0.0141 0.6667 0.3750 0.2381
316-AH 0.0000 0.0000 0.1317 0.1978 0.4058 0.1348 0.1196 0.1978 0.4058 0.8867 0.0093 0.0000 0.0932 0.0000 0.4058 0.1348 0.1196
317-AH 0.2000 0.3148 0.4606 0.5000 0.6667 0.4325 0.1384 0.1852 0.4667 0.3201 0.4106 0.3882 0.1144 0.2000 0.6667 0.4325 0.1384
318-AH 0.0054 0.0957 0.1307 0.1667 0.5000 0.1428 0.1059 0.0709 0.4946 0.7417 0.1025 0.0480 0.0651 0.0054 0.1875 0.1151 0.0550
319-AH 0.0800 0.3000 0.8000 1.0000 1.0000 0.6409 0.3489 0.7000 0.9200 0.5444 0.5092 0.3534 0.3150 0.0800 1.0000 0.6409 0.3489
320-AH 0.0000 0.0178 0.0556 0.0617 0.2632 0.0652 0.0710 0.0438 0.2632 1.0891 0.0310 0.0002 0.0453 0.0000 0.1190 0.0440 0.0291
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0101 0.0391 0.0552 0.0668 0.1667 0.0581 0.0330 0.0277 0.1565 0.5680 0.0494 0.0389 0.0214 0.0101 0.0909 0.0523 0.0214
323-AH 0.0097 0.1096 0.4072 0.6000 0.8571 0.3836 0.2824 0.4904 0.8474 0.7363 0.2347 0.0891 0.2425 0.0097 0.8571 0.3836 0.2824
324-AH 0.0000 0.2172 0.5556 0.7961 0.8636 0.5029 0.3092 0.5789 0.8636 0.6147 0.2468 0.0002 0.2752 0.0000 0.8636 0.5029 0.3092
325-AH 0.3462 0.7421 0.8125 0.8328 0.9333 0.7721 0.1338 0.0908 0.5872 0.1733 0.7571 0.7361 0.0922 0.6500 0.9333 0.8089 0.0680
326-AH 0.0000 0.0909 0.3095 0.5000 1.0000 0.3565 0.3212 0.4091 1.0000 0.9011 0.1164 0.0002 0.2404 0.0000 1.0000 0.3565 0.3212
327-AH 0.0000 0.0099 0.0212 0.1458 1.0000 0.2084 0.3593 0.1359 1.0000 1.7239 0.0220 0.0001 0.2666 0.0000 0.1667 0.0417 0.0535
328-AH 0.2857 0.5224 0.5713 0.6250 0.6667 0.5446 0.1154 0.1026 0.3810 0.2119 0.5300 0.5120 0.0871 0.3750 0.6667 0.5733 0.0783
329-AH 0.4167 0.7513 0.9167 1.0000 1.0000 0.8656 0.1603 0.2487 0.5833 0.1851 0.8484 0.8269 0.1344 0.4167 1.0000 0.8656 0.1603
330-AH 0.0000 0.8065 0.8875 0.9750 1.0000 0.8187 0.2477 0.1685 1.0000 0.3025 0.4768 0.0002 0.1530 0.6667 1.0000 0.8921 0.0929
331-AH 0.0309 0.2270 0.2650 0.3207 0.7143 0.2946 0.1784 0.0937 0.6834 0.6056 0.2363 0.1622 0.1169 0.2105 0.3333 0.2724 0.0424
332-AH 0.0000 0.2198 0.6667 1.0000 1.0000 0.5801 0.3844 0.7802 1.0000 0.6627 0.2543 0.0002 0.3372 0.0000 1.0000 0.5801 0.3844
333-AH 0.0172 1.0000 1.0000 1.0000 1.0000 0.9509 0.2198 0.0000 0.9828 0.2311 0.8163 0.2597 0.0934 1.0000 1.0000 1.0000 0.0000
334-AH 0.1000 0.3030 0.5000 1.0000 1.0000 0.6370 0.3538 0.6970 0.9000 0.5554 0.5191 0.3922 0.3267 0.1000 1.0000 0.6370 0.3538
335-AH 0.0435 0.1300 0.2000 0.3205 0.5000 0.2242 0.1374 0.1905 0.4565 0.6130 0.1835 0.1435 0.1086 0.0435 0.5000 0.2242 0.1374
336-AH 0.0054 0.0201 0.0425 0.0977 0.7143 0.1635 0.2598 0.0776 0.7089 1.5889 0.0546 0.0254 0.1989 0.0054 0.1143 0.0392 0.0289
337-AH 0.0063 0.1692 0.8452 0.9500 1.0000 0.6193 0.3980 0.7808 0.9937 0.6426 0.3457 0.0754 0.3554 0.0063 1.0000 0.6193 0.3980
338-AH 0.1818 0.8333 1.0000 1.0000 1.0000 0.8584 0.2526 0.1667 0.8182 0.2943 0.7977 0.6950 0.1872 0.6667 1.0000 0.9542 0.0947
339-AH 0.2250 0.6182 0.8000 1.0000 1.0000 0.7756 0.2325 0.3818 0.7750 0.2997 0.7323 0.6733 0.1945 0.2250 1.0000 0.7756 0.2325
340-AH 0.1500 0.3452 0.5000 0.8333 1.0000 0.5515 0.2935 0.4881 0.8500 0.5322 0.4787 0.4115 0.2406 0.1500 1.0000 0.5515 0.2935
47
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2500 0.8333 1.0000 1.0000 1.0000 0.8583 0.2650 0.1667 0.7500 0.3088 0.7960 0.7018 0.2125 0.6667 1.0000 0.9792 0.0833
342-AH 0.1897 0.6586 0.7275 0.8194 0.9200 0.6918 0.2006 0.1608 0.7303 0.2900 0.6491 0.5839 0.1393 0.6250 0.9200 0.7653 0.0922
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.3182 0.5192 0.5917 0.8819 1.0000 0.6492 0.2209 0.3627 0.6818 0.3403 0.6113 0.5721 0.1851 0.3182 1.0000 0.6492 0.2209
345-AH 0.0299 0.1145 0.1954 0.2762 0.5000 0.2123 0.1342 0.1617 0.4701 0.6321 0.1671 0.1183 0.1041 0.0299 0.5000 0.2123 0.1342
346-AH 0.0429 0.0620 0.0743 0.1036 0.2000 0.0917 0.0457 0.0416 0.1571 0.4980 0.0829 0.0762 0.0349 0.0429 0.1500 0.0760 0.0264
347-AH 0.0325 0.0670 0.1396 0.1893 0.2308 0.1300 0.0604 0.1223 0.1983 0.4642 0.1145 0.0979 0.0516 0.0325 0.2308 0.1300 0.0604
348-AH 0.0000 0.5067 1.0000 1.0000 1.0000 0.7524 0.4401 0.4933 1.0000 0.5849 0.2301 0.0002 0.3715 0.0000 1.0000 0.7524 0.4401
349-AH 0.0570 0.3141 0.4566 0.5192 0.7500 0.4193 0.1530 0.2051 0.6930 0.3649 0.3790 0.3061 0.1165 0.0570 0.7500 0.4193 0.1530
350-AH 0.1111 1.0000 1.0000 1.0000 1.0000 0.9139 0.2298 0.0000 0.8889 0.2514 0.8481 0.6780 0.1464 1.0000 1.0000 1.0000 0.0000
48
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9583 0.1194 0.0000 0.5000 0.1246 0.9485 0.9346 0.0708 1.0000 1.0000 1.0000 0.0000
143-AH 0.0000 0.5777 0.9773 1.0000 1.0000 0.7554 0.3676 0.4223 1.0000 0.4866 0.3702 0.0002 0.2995 0.0000 1.0000 0.7554 0.3676
144-AH 0.0033 0.0940 0.5000 1.0000 1.0000 0.5233 0.3797 0.9060 0.9967 0.7255 0.2756 0.0461 0.3003 0.0033 1.0000 0.5233 0.3797
145-AH 0.0245 0.3484 0.7083 0.8990 1.0000 0.6221 0.3509 0.5506 0.9755 0.5640 0.4340 0.1948 0.2875 0.0245 1.0000 0.6221 0.3509
146-AH 0.0145 0.1270 0.3333 0.5000 1.0000 0.4126 0.3444 0.3730 0.9855 0.8347 0.2530 0.1117 0.2787 0.0145 1.0000 0.4126 0.3444
147-AH 0.1978 0.4286 0.6812 0.8244 1.0000 0.6559 0.2548 0.3958 0.8022 0.3885 0.5975 0.5291 0.2045 0.1978 1.0000 0.6559 0.2548
148-AH 0.0187 0.0491 0.0732 0.0863 0.3333 0.0812 0.0639 0.0372 0.3146 0.7869 0.0683 0.0589 0.0330 0.0187 0.1111 0.0680 0.0245
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0233 0.1090 0.1762 0.2727 0.1085 0.0919 0.1529 0.2727 0.8470 0.0117 0.0000 0.0782 0.0000 0.2727 0.1085 0.0919
151-AH 0.0000 0.0697 0.1041 0.3068 0.8000 0.2042 0.2011 0.2372 0.8000 0.9849 0.0914 0.0002 0.1553 0.0000 0.4444 0.1728 0.1481
152-AH 0.0064 0.2750 0.6190 1.0000 1.0000 0.6176 0.3531 0.7250 0.9936 0.5717 0.4247 0.0974 0.2991 0.0064 1.0000 0.6176 0.3531
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0897 0.1411 0.5026 0.6682 0.8750 0.4483 0.2838 0.5271 0.7853 0.6331 0.3393 0.2371 0.2473 0.0897 0.8750 0.4483 0.2838
155-AH 0.0000 0.0161 0.1548 0.2500 0.5000 0.1638 0.1431 0.2339 0.5000 0.8739 0.0158 0.0000 0.1095 0.0000 0.5000 0.1638 0.1431
156-AH 0.0082 0.0187 0.0917 0.1417 0.2308 0.0909 0.0725 0.1230 0.2226 0.7977 0.0552 0.0271 0.0584 0.0082 0.2308 0.0909 0.0725
157-AH 0.1736 0.5355 0.6096 0.7697 0.7925 0.6053 0.1842 0.2343 0.6189 0.3042 0.5684 0.5169 0.1440 0.2774 0.7925 0.6280 0.1578
158-AH 0.0000 0.1602 0.4831 0.6583 0.8462 0.4255 0.2687 0.4981 0.8462 0.6315 0.2067 0.0002 0.2400 0.0000 0.8462 0.4255 0.2687
159-AH 0.0000 0.0714 0.1815 0.4756 0.8947 0.3067 0.3185 0.4043 0.8947 1.0386 0.1206 0.0002 0.2590 0.0000 0.8947 0.3067 0.3185
160-AH 0.0034 0.0286 0.0667 0.0889 0.3333 0.0819 0.0797 0.0603 0.3299 0.9733 0.0437 0.0157 0.0519 0.0034 0.1111 0.0543 0.0358
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.1076 0.5533 0.9756 0.9792 1.0000 0.7702 0.3634 0.4259 0.8924 0.4718 0.6145 0.4106 0.3055 0.1076 1.0000 0.7702 0.3634
164-AH 0.0000 0.0261 0.0867 0.1302 0.5625 0.1207 0.1433 0.1041 0.5625 1.1876 0.0118 0.0000 0.0945 0.0000 0.2281 0.0797 0.0674
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0082 0.0714 0.1818 0.5000 0.1157 0.1298 0.1736 0.5000 1.1213 0.0106 0.0000 0.0995 0.0000 0.3333 0.0955 0.0956
168-AH 0.0131 0.4408 0.4688 0.5000 0.6000 0.4347 0.1377 0.0592 0.5869 0.3168 0.3727 0.1658 0.0945 0.4333 0.5652 0.4866 0.0400
169-AH 0.0000 0.0055 0.0159 0.0598 0.1429 0.0332 0.0388 0.0542 0.1429 1.1690 0.0054 0.0000 0.0307 0.0000 0.0833 0.0274 0.0298
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0587 0.0727 0.1101 0.1702 0.0833 0.0480 0.0514 0.1702 0.5764 0.0335 0.0001 0.0380 0.0000 0.1702 0.0833 0.0480
172-AH 0.0211 0.0801 0.1113 0.1479 0.3000 0.1148 0.0649 0.0678 0.2789 0.5654 0.0974 0.0787 0.0471 0.0211 0.2143 0.1051 0.0494
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9500 0.1539 0.0000 0.5000 0.1620 0.9330 0.9091 0.0900 1.0000 1.0000 1.0000 0.0000
175-AH 0.3000 0.6750 1.0000 1.0000 1.0000 0.8331 0.2377 0.3250 0.7000 0.2853 0.7881 0.7264 0.2002 0.3000 1.0000 0.8331 0.2377
176-AH 0.8889 1.0000 1.0000 1.0000 1.0000 0.9844 0.0331 0.0000 0.1111 0.0336 0.9839 0.9833 0.0249 1.0000 1.0000 1.0000 0.0000
177-AH 0.0541 0.1003 0.1422 0.3130 1.0000 0.2776 0.3008 0.2128 0.9459 1.0834 0.1818 0.1372 0.2315 0.0541 0.6250 0.1697 0.1427
178-AH 0.0000 0.0019 0.0104 0.0300 0.5000 0.0408 0.1101 0.0282 0.5000 2.6966 0.0029 0.0000 0.0513 0.0000 0.0541 0.0134 0.0166
179-AH 0.0000 0.0634 0.3889 0.9643 1.0000 0.4629 0.4049 0.9009 1.0000 0.8747 0.1320 0.0002 0.3534 0.0000 1.0000 0.4629 0.4049
180-AH 0.0139 0.1379 0.2619 0.8130 0.9231 0.4146 0.3460 0.6751 0.9092 0.8344 0.2418 0.0954 0.3113 0.0139 0.9231 0.4146 0.3460
181-AH 0.0000 0.5024 0.8741 0.9389 0.9697 0.7353 0.2918 0.4365 0.9697 0.3969 0.4077 0.0002 0.2363 0.0000 0.9697 0.7353 0.2918
182-AH 0.0408 0.0714 0.1250 0.3875 0.7500 0.2347 0.2139 0.3161 0.7092 0.9112 0.1604 0.1163 0.1764 0.0408 0.7500 0.2347 0.2139
183-AH 0.0000 0.0043 0.0193 0.0921 0.4000 0.0746 0.1107 0.0878 0.4000 1.4847 0.0059 0.0000 0.0829 0.0000 0.2222 0.0365 0.0564
184-AH 0.0100 0.5000 0.8750 1.0000 1.0000 0.7424 0.3108 0.5000 0.9900 0.4186 0.5853 0.1546 0.2599 0.0100 1.0000 0.7424 0.3108
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
190-AH 0.0323 0.6750 0.8750 1.0000 1.0000 0.7273 0.3703 0.3250 0.9677 0.5091 0.4898 0.1802 0.2841 0.6000 1.0000 0.8969 0.1420
49
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0476 0.2303 0.8333 1.0000 1.0000 0.6540 0.3806 0.7697 0.9524 0.5819 0.4913 0.2941 0.3472 0.0476 1.0000 0.6540 0.3806
193-AH 0.2143 0.3000 0.3333 0.4643 1.0000 0.4346 0.2428 0.1643 0.7857 0.5587 0.3866 0.3528 0.1827 0.2143 0.5000 0.3244 0.0764
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.5463 0.7159 0.9533 1.0000 0.7102 0.2964 0.4071 1.0000 0.4174 0.3981 0.0002 0.2378 0.0000 1.0000 0.7102 0.2964
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0423 0.5000 0.6577 0.8167 1.0000 0.6335 0.2553 0.3167 0.9577 0.4031 0.5350 0.3300 0.2015 0.0423 1.0000 0.6335 0.2553
200-AH 0.0330 0.1240 0.4286 0.7143 1.0000 0.4373 0.3122 0.5902 0.9670 0.7140 0.3063 0.1867 0.2692 0.0330 1.0000 0.4373 0.3122
251-AH 0.0241 0.3695 0.8696 0.9535 0.9565 0.6734 0.3809 0.5840 0.9324 0.5656 0.4044 0.1330 0.3164 0.0241 0.9565 0.6734 0.3809
252-AH 0.1471 0.2934 0.4295 0.6250 0.9091 0.4499 0.2098 0.3316 0.7620 0.4664 0.4011 0.3530 0.1741 0.1471 0.9091 0.4499 0.2098
253-AH 0.0000 0.0942 0.3254 0.5158 0.7108 0.3312 0.2430 0.4216 0.7108 0.7338 0.1029 0.0001 0.2098 0.0000 0.7108 0.3312 0.2430
254-AH 0.0000 0.0522 0.2856 0.3403 0.4733 0.2289 0.1619 0.2882 0.4733 0.7071 0.0219 0.0000 0.1418 0.0000 0.4733 0.2289 0.1619
255-AH 0.0204 0.0545 0.2361 0.4444 0.6667 0.2682 0.2097 0.3900 0.6463 0.7817 0.1672 0.0871 0.1826 0.0204 0.6667 0.2682 0.2097
256-AH 0.0000 0.9583 1.0000 1.0000 1.0000 0.9174 0.2311 0.0417 1.0000 0.2519 0.5417 0.0002 0.1239 0.9167 1.0000 0.9902 0.0277
257-AH 0.1545 0.2739 0.3077 0.4176 0.5135 0.3279 0.1035 0.1438 0.3590 0.3157 0.3116 0.2945 0.0808 0.1545 0.5135 0.3279 0.1035
258-AH 0.0000 0.0054 0.0107 0.0227 0.2727 0.0458 0.0798 0.0173 0.2727 1.7408 0.0045 0.0000 0.0597 0.0000 0.0282 0.0085 0.0075
259-AH 0.0200 1.0000 1.0000 1.0000 1.0000 0.9093 0.2468 0.0000 0.9800 0.2714 0.7784 0.2837 0.1541 1.0000 1.0000 1.0000 0.0000
260-AH 0.0000 0.5565 0.7600 0.8426 0.9500 0.6777 0.2465 0.2860 0.9500 0.3637 0.3907 0.0002 0.1930 0.3086 0.9500 0.7133 0.1931
261-AH 0.0117 0.0224 0.0987 0.1626 0.6111 0.1379 0.1568 0.1403 0.5994 1.1372 0.0721 0.0386 0.1137 0.0117 0.3438 0.1130 0.1134
262-AH 0.0000 0.1362 0.2000 0.4179 0.7647 0.2843 0.2245 0.2817 0.7647 0.7898 0.1402 0.0002 0.1813 0.0000 0.7647 0.2843 0.2245
263-AH 0.0000 0.0153 0.1924 0.2864 0.3774 0.1656 0.1389 0.2711 0.3774 0.8385 0.0151 0.0000 0.1221 0.0000 0.3774 0.1656 0.1389
264-AH 0.0104 0.3267 0.7812 0.9500 1.0000 0.6388 0.3477 0.6233 0.9896 0.5443 0.4653 0.1437 0.3099 0.0104 1.0000 0.6388 0.3477
265-AH 0.0066 0.0700 0.4222 0.8000 1.0000 0.4435 0.3817 0.7300 0.9934 0.8607 0.1879 0.0364 0.3098 0.0066 1.0000 0.4435 0.3817
266-AH 0.0000 0.0017 0.0144 0.0410 0.1538 0.0276 0.0390 0.0393 0.1538 1.4116 0.0029 0.0000 0.0284 0.0000 0.0800 0.0210 0.0260
267-AH 0.0246 0.2094 0.3509 0.6364 0.7273 0.3889 0.2217 0.4270 0.7027 0.5700 0.3062 0.1871 0.1949 0.0246 0.7273 0.3889 0.2217
268-AH 0.0333 0.3333 0.6667 1.0000 1.0000 0.6260 0.3680 0.6667 0.9667 0.5878 0.4390 0.1970 0.3154 0.0333 1.0000 0.6260 0.3680
269-AH 0.0588 0.1753 0.2353 0.3229 1.0000 0.3038 0.2253 0.1476 0.9412 0.7416 0.2457 0.1993 0.1473 0.0588 0.5000 0.2403 0.1106
270-AH 0.0297 0.7866 0.9535 1.0000 1.0000 0.8401 0.2647 0.2134 0.9703 0.3151 0.7239 0.3517 0.1945 0.6786 1.0000 0.9370 0.1012
271-AH 0.0000 0.3406 0.6667 0.7418 0.8182 0.5158 0.2741 0.4012 0.8182 0.5314 0.2628 0.0002 0.2430 0.0000 0.8182 0.5158 0.2741
272-AH 0.0000 0.2632 0.3090 0.3448 0.3846 0.2780 0.0953 0.0817 0.3846 0.3429 0.1680 0.0002 0.0667 0.1714 0.3846 0.3040 0.0522
273-AH 0.0000 0.1876 0.8958 0.9623 1.0000 0.6825 0.3928 0.7747 1.0000 0.5755 0.3089 0.0002 0.3459 0.0000 1.0000 0.6825 0.3928
274-AH 0.0000 0.2404 0.3333 0.5000 0.7143 0.3456 0.2009 0.2596 0.7143 0.5811 0.1728 0.0002 0.1512 0.0000 0.7143 0.3456 0.2009
275-AH 0.0000 0.0636 0.3131 0.5366 0.6471 0.3173 0.2399 0.4729 0.6471 0.7561 0.0273 0.0000 0.2066 0.0000 0.6471 0.3173 0.2399
276-AH 0.1593 0.3107 0.4512 0.5071 0.6923 0.4244 0.1332 0.1964 0.5330 0.3138 0.4022 0.3770 0.1069 0.1593 0.6923 0.4244 0.1332
277-AH 0.0000 0.0338 0.2540 0.3391 0.5294 0.2119 0.1624 0.3052 0.5294 0.7667 0.0199 0.0000 0.1409 0.0000 0.5294 0.2119 0.1624
278-AH 0.0000 0.0302 0.0952 0.2436 0.5000 0.1663 0.1757 0.2134 0.5000 1.0570 0.0617 0.0002 0.1394 0.0000 0.5000 0.1663 0.1757
279-AH 0.0000 0.0415 0.0619 0.1429 1.0000 0.1828 0.2688 0.1013 1.0000 1.4709 0.0374 0.0001 0.1936 0.0000 0.1429 0.0618 0.0489
280-AH 0.0000 0.0180 0.0420 0.0510 0.1067 0.0381 0.0242 0.0331 0.1067 0.6348 0.0165 0.0001 0.0179 0.0000 0.0584 0.0345 0.0185
281-AH 0.0690 0.2913 0.3892 0.6500 0.8000 0.4431 0.2049 0.3587 0.7310 0.4624 0.3882 0.3160 0.1750 0.0690 0.8000 0.4431 0.2049
282-AH 0.0168 0.0682 0.1572 0.3104 0.4348 0.1856 0.1300 0.2422 0.4180 0.7001 0.1288 0.0753 0.1111 0.0168 0.4348 0.1856 0.1300
283-AH 0.0180 0.0422 0.1319 0.2791 1.0000 0.2382 0.3064 0.2368 0.9820 1.2861 0.1132 0.0620 0.2361 0.0180 0.5455 0.1273 0.1430
284-AH 0.0000 0.2222 0.5493 0.6000 0.7000 0.4273 0.2604 0.3778 0.7000 0.6095 0.0367 0.0000 0.2137 0.0000 0.7000 0.4273 0.2604
285-AH 0.1106 0.2946 0.6199 0.8800 0.9565 0.5813 0.3069 0.5854 0.8459 0.5279 0.4755 0.3560 0.2673 0.1106 0.9565 0.5813 0.3069
286-AH 0.0000 0.0072 0.0218 0.0430 0.0526 0.0245 0.0177 0.0358 0.0526 0.7209 0.0100 0.0001 0.0153 0.0000 0.0526 0.0245 0.0177
287-AH 0.0000 0.1428 0.4531 0.5456 0.5833 0.3666 0.2113 0.4028 0.5833 0.5766 0.1770 0.0002 0.1839 0.0000 0.5833 0.3666 0.2113
288-AH 0.0000 0.1038 0.1954 0.4003 0.7931 0.2820 0.2505 0.2965 0.7931 0.8883 0.1253 0.0002 0.1989 0.0000 0.7931 0.2820 0.2505
289-AH 0.0000 0.6667 0.8132 1.0000 1.0000 0.7823 0.2506 0.3333 1.0000 0.3203 0.4568 0.0002 0.1839 0.4118 1.0000 0.8235 0.1746
290-AH 0.0000 0.0615 0.2353 0.3953 0.5238 0.2332 0.1743 0.3338 0.5238 0.7472 0.0992 0.0002 0.1466 0.0000 0.5238 0.2332 0.1743
50
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0447 0.1553 0.6561 0.9129 1.0000 0.5587 0.3841 0.7576 0.9553 0.6875 0.3545 0.1715 0.3471 0.0447 1.0000 0.5587 0.3841
292-AH 0.0233 0.3366 1.0000 1.0000 1.0000 0.6891 0.4107 0.6634 0.9767 0.5959 0.3907 0.1106 0.3420 0.0233 1.0000 0.6891 0.4107
293-AH 0.1429 0.4417 0.6771 0.8462 0.9167 0.6245 0.2684 0.4045 0.7738 0.4297 0.5391 0.4261 0.2151 0.1429 0.9167 0.6245 0.2684
294-AH 0.0000 0.2251 0.6795 0.7574 0.9091 0.5212 0.3191 0.5322 0.9091 0.6122 0.1306 0.0001 0.2647 0.0000 0.9091 0.5212 0.3191
295-AH 0.0329 0.1690 0.2029 0.4000 0.5227 0.2647 0.1530 0.2310 0.4898 0.5782 0.2159 0.1595 0.1306 0.0329 0.5227 0.2647 0.1530
296-AH 0.0000 0.2224 0.4444 0.5577 0.8235 0.4194 0.2278 0.3353 0.8235 0.5431 0.2295 0.0002 0.1821 0.0000 0.8235 0.4194 0.2278
297-AH 0.0348 0.2565 0.5714 0.8000 1.0000 0.5161 0.3142 0.5435 0.9652 0.6088 0.3779 0.2156 0.2700 0.0348 1.0000 0.5161 0.3142
298-AH 0.0158 0.0838 0.2144 0.3015 0.5625 0.2236 0.1618 0.2177 0.5467 0.7235 0.1379 0.0594 0.1217 0.0158 0.5625 0.2236 0.1618
299-AH 0.0288 0.2057 0.4867 0.7308 0.7742 0.4588 0.2651 0.5252 0.7454 0.5778 0.3462 0.2002 0.2304 0.0288 0.7742 0.4588 0.2651
300-AH 0.0000 0.0775 0.2521 0.2860 0.3784 0.2027 0.1292 0.2086 0.3784 0.6372 0.0303 0.0000 0.1062 0.0000 0.3784 0.2027 0.1292
301-AH 0.0000 0.0000 0.0028 0.0075 0.8571 0.1367 0.2821 0.0075 0.8571 2.0630 0.0006 0.0000 0.2149 0.0000 0.0085 0.0024 0.0033
302-AH 0.0405 0.2333 0.3150 0.5000 0.6667 0.3342 0.1833 0.2667 0.6261 0.5484 0.2636 0.1748 0.1540 0.0405 0.6667 0.3342 0.1833
303-AH 0.0485 0.1303 0.2198 0.3810 0.8333 0.2821 0.2010 0.2506 0.7848 0.7127 0.2216 0.1704 0.1514 0.0485 0.5556 0.2531 0.1578
304-AH 0.0000 0.0051 0.2803 0.4545 0.7143 0.2596 0.2176 0.4495 0.7143 0.8381 0.0208 0.0000 0.1877 0.0000 0.7143 0.2596 0.2176
305-AH 0.0000 0.0637 0.2944 0.3551 0.4898 0.2456 0.1584 0.2914 0.4898 0.6452 0.1138 0.0002 0.1349 0.0000 0.4898 0.2456 0.1584
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0792 0.1648 0.2495 0.5000 0.2043 0.1654 0.1703 0.5000 0.8095 0.0974 0.0002 0.1251 0.0000 0.5000 0.2043 0.1654
308-AH 0.0203 0.5308 1.0000 1.0000 1.0000 0.7619 0.4231 0.4692 0.9797 0.5553 0.4573 0.1403 0.3571 0.0203 1.0000 0.7619 0.4231
309-AH 0.0309 0.0739 0.1071 0.1304 0.3333 0.1158 0.0674 0.0566 0.3024 0.5817 0.1014 0.0887 0.0448 0.0309 0.1500 0.0974 0.0340
310-AH 0.0000 0.0000 0.0597 0.1017 0.1528 0.0556 0.0533 0.1017 0.1528 0.9583 0.0023 0.0000 0.0458 0.0000 0.1528 0.0556 0.0533
311-AH 0.1250 0.3212 0.4268 0.4678 0.5238 0.3953 0.0971 0.1466 0.3988 0.2455 0.3799 0.3571 0.0778 0.1250 0.5238 0.3953 0.0971
312-AH 0.0000 0.1054 0.4327 0.5789 0.8667 0.3754 0.2848 0.4736 0.8667 0.7586 0.0474 0.0000 0.2566 0.0000 0.8667 0.3754 0.2848
313-AH 0.0000 0.0137 0.0469 0.1167 0.3529 0.0965 0.1145 0.1030 0.3529 1.1866 0.0333 0.0002 0.0877 0.0000 0.2500 0.0563 0.0636
314-AH 0.0000 0.0365 0.0816 0.1134 0.1404 0.0750 0.0451 0.0769 0.1404 0.6017 0.0392 0.0002 0.0378 0.0000 0.1404 0.0750 0.0451
315-AH 0.0000 0.0523 0.3800 0.5590 0.6471 0.3249 0.2383 0.5067 0.6471 0.7334 0.0277 0.0000 0.2052 0.0000 0.6471 0.3249 0.2383
316-AH 0.0000 0.0000 0.1317 0.1828 0.3333 0.1243 0.1047 0.1828 0.3333 0.8427 0.0088 0.0000 0.0850 0.0000 0.3333 0.1243 0.1047
317-AH 0.1698 0.2715 0.3107 0.3990 0.5000 0.3305 0.1002 0.1275 0.3302 0.3032 0.3154 0.2999 0.0822 0.1698 0.5000 0.3305 0.1002
318-AH 0.0000 0.0957 0.1307 0.1667 0.5000 0.1377 0.1026 0.0709 0.5000 0.7451 0.0719 0.0002 0.0604 0.0000 0.2143 0.1186 0.0586
319-AH 0.0341 0.0612 0.1193 0.3640 0.7500 0.2260 0.2047 0.3028 0.7159 0.9057 0.1454 0.0952 0.1751 0.0341 0.7500 0.2260 0.2047
320-AH 0.0000 0.0178 0.0452 0.0582 0.2632 0.0619 0.0700 0.0404 0.2632 1.1311 0.0289 0.0002 0.0446 0.0000 0.0735 0.0364 0.0214
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0100 0.0287 0.0425 0.0611 0.1136 0.0449 0.0244 0.0324 0.1036 0.5434 0.0386 0.0318 0.0183 0.0100 0.0781 0.0413 0.0188
323-AH 0.0000 0.0791 0.1400 0.1731 0.2571 0.1305 0.0719 0.0940 0.2571 0.5510 0.0730 0.0002 0.0575 0.0000 0.2571 0.1305 0.0719
324-AH 0.0000 0.0820 0.3128 0.7419 0.7619 0.3740 0.3084 0.6599 0.7619 0.8247 0.1496 0.0002 0.2795 0.0000 0.7619 0.3740 0.3084
325-AH 0.2794 0.6458 0.7067 0.7708 0.8636 0.6865 0.1400 0.1250 0.5842 0.2039 0.6682 0.6428 0.0980 0.5135 0.8636 0.7227 0.0851
326-AH 0.0000 0.0147 0.1769 0.3429 1.0000 0.2833 0.3404 0.3282 1.0000 1.2013 0.0351 0.0001 0.2491 0.0000 0.5000 0.1569 0.1558
327-AH 0.0000 0.0000 0.0212 0.1389 0.6667 0.1314 0.2072 0.1389 0.6667 1.5774 0.0049 0.0000 0.1576 0.0000 0.1667 0.0351 0.0497
328-AH 0.2857 0.4468 0.5415 0.6202 0.6667 0.5223 0.1209 0.1734 0.3810 0.2315 0.5064 0.4880 0.0937 0.2857 0.6667 0.5223 0.1209
329-AH 0.2857 0.7333 0.7596 0.9500 1.0000 0.8010 0.1733 0.2167 0.7143 0.2164 0.7770 0.7419 0.1316 0.6316 1.0000 0.8281 0.1272
330-AH 0.0000 0.7903 0.8848 0.9412 0.9524 0.7878 0.2502 0.1509 0.9524 0.3176 0.4566 0.0002 0.1642 0.7619 0.9524 0.8827 0.0632
331-AH 0.0228 0.2257 0.2650 0.3207 0.6667 0.2804 0.1664 0.0951 0.6438 0.5936 0.2084 0.1087 0.1135 0.1892 0.3333 0.2692 0.0463
332-AH 0.0000 0.1756 0.4018 0.4286 0.7500 0.3438 0.2087 0.2529 0.7500 0.6070 0.1724 0.0002 0.1624 0.0000 0.7500 0.3438 0.2087
333-AH 0.0021 1.0000 1.0000 1.0000 1.0000 0.9168 0.2384 0.0000 0.9979 0.2600 0.7053 0.0401 0.1415 1.0000 1.0000 1.0000 0.0000
334-AH 0.0741 0.1603 0.2792 0.5000 1.0000 0.4060 0.3275 0.3397 0.9259 0.8067 0.3013 0.2273 0.2564 0.0741 1.0000 0.4060 0.3275
335-AH 0.0309 0.0756 0.1417 0.2258 0.2941 0.1496 0.0797 0.1502 0.2633 0.5327 0.1267 0.1030 0.0681 0.0309 0.2941 0.1496 0.0797
336-AH 0.0000 0.0146 0.0352 0.0754 0.5455 0.1152 0.1893 0.0608 0.5455 1.6426 0.0298 0.0002 0.1350 0.0000 0.0811 0.0308 0.0232
337-AH 0.0000 0.1250 0.7525 0.8571 1.0000 0.5595 0.3784 0.7321 1.0000 0.6762 0.0431 0.0000 0.3381 0.0000 1.0000 0.5595 0.3784
338-AH 0.0226 0.7917 1.0000 1.0000 1.0000 0.8124 0.3150 0.2083 0.9774 0.3878 0.6511 0.2660 0.2370 0.7500 1.0000 0.9566 0.0818
339-AH 0.2250 0.4641 0.6364 0.8750 1.0000 0.6619 0.2341 0.4109 0.7750 0.3537 0.6186 0.5710 0.1999 0.2250 1.0000 0.6619 0.2341
340-AH 0.1500 0.3229 0.4000 0.5500 1.0000 0.4585 0.2307 0.2271 0.8500 0.5031 0.4111 0.3695 0.1724 0.1500 0.6667 0.3984 0.1455
51
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2500 0.8333 1.0000 1.0000 1.0000 0.8583 0.2650 0.1667 0.7500 0.3088 0.7960 0.7018 0.2125 0.6667 1.0000 0.9792 0.0833
342-AH 0.1325 0.5900 0.6213 0.7975 0.8696 0.6199 0.2171 0.2075 0.7371 0.3503 0.5620 0.4728 0.1553 0.4667 0.8696 0.6958 0.1206
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.2564 0.3333 0.5505 0.7101 0.9231 0.5584 0.2082 0.3768 0.6667 0.3728 0.5187 0.4787 0.1782 0.2564 0.9231 0.5584 0.2082
345-AH 0.0117 0.0729 0.1410 0.2225 0.5000 0.1596 0.1199 0.1497 0.4883 0.7510 0.1091 0.0580 0.0940 0.0117 0.2857 0.1417 0.0916
346-AH 0.0215 0.0523 0.0743 0.1036 0.2000 0.0858 0.0506 0.0513 0.1785 0.5901 0.0724 0.0602 0.0380 0.0215 0.1750 0.0798 0.0441
347-AH 0.0325 0.0663 0.1202 0.1893 0.2308 0.1228 0.0626 0.1230 0.1983 0.5095 0.1061 0.0895 0.0533 0.0325 0.2308 0.1228 0.0626
348-AH 0.0000 0.5067 1.0000 1.0000 1.0000 0.7524 0.4401 0.4933 1.0000 0.5849 0.2301 0.0002 0.3715 0.0000 1.0000 0.7524 0.4401
349-AH 0.0570 0.3005 0.4295 0.4807 0.6316 0.3948 0.1346 0.1803 0.5746 0.3410 0.3599 0.2955 0.1061 0.0570 0.6316 0.3948 0.1346
350-AH 0.0280 0.3611 0.9167 1.0000 1.0000 0.6919 0.3571 0.6389 0.9720 0.5160 0.5375 0.2748 0.3222 0.0280 1.0000 0.6919 0.3571
52
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.1081 1.0000 1.0000 1.0000 1.0000 0.9387 0.2021 0.0000 0.8919 0.2153 0.8786 0.6981 0.1041 1.0000 1.0000 1.0000 0.0000
143-AH 0.0000 0.4832 0.8114 1.0000 1.0000 0.6902 0.3776 0.5168 1.0000 0.5471 0.3032 0.0002 0.3038 0.0000 1.0000 0.6902 0.3776
144-AH 0.0000 0.0252 0.2361 0.5000 1.0000 0.3232 0.2912 0.4748 1.0000 0.9010 0.0894 0.0002 0.2491 0.0000 1.0000 0.3232 0.2912
145-AH 0.0184 0.2179 0.4722 0.7673 0.9444 0.5085 0.3237 0.5494 0.9260 0.6365 0.3505 0.1597 0.2771 0.0184 0.9444 0.5085 0.3237
146-AH 0.0145 0.1270 0.3333 0.5000 1.0000 0.4126 0.3444 0.3730 0.9855 0.8347 0.2530 0.1117 0.2787 0.0145 1.0000 0.4126 0.3444
147-AH 0.1382 0.3915 0.6131 0.7353 1.0000 0.5992 0.2432 0.3438 0.8618 0.4059 0.5394 0.4646 0.1914 0.1382 1.0000 0.5992 0.2432
148-AH 0.0167 0.0327 0.0432 0.0750 0.1364 0.0535 0.0287 0.0423 0.1197 0.5364 0.0470 0.0413 0.0228 0.0167 0.1364 0.0535 0.0287
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0233 0.1006 0.1731 0.2500 0.1016 0.0850 0.1498 0.2500 0.8366 0.0112 0.0000 0.0723 0.0000 0.2500 0.1016 0.0850
151-AH 0.0000 0.0644 0.0962 0.1794 0.3846 0.1278 0.1011 0.1150 0.3846 0.7913 0.0668 0.0002 0.0777 0.0000 0.3125 0.1143 0.0833
152-AH 0.0000 0.2221 0.5714 0.8333 1.0000 0.5458 0.3527 0.6113 1.0000 0.6461 0.2463 0.0002 0.3045 0.0000 1.0000 0.5458 0.3527
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0409 0.1092 0.2406 0.3286 0.5263 0.2469 0.1533 0.2193 0.4854 0.6210 0.1964 0.1472 0.1187 0.0409 0.5263 0.2469 0.1533
155-AH 0.0000 0.0161 0.0714 0.2250 0.5000 0.1364 0.1430 0.2089 0.5000 1.0486 0.0127 0.0000 0.1146 0.0000 0.5000 0.1364 0.1430
156-AH 0.0000 0.0183 0.0858 0.1218 0.2308 0.0831 0.0720 0.1035 0.2308 0.8665 0.0134 0.0000 0.0562 0.0000 0.2308 0.0831 0.0720
157-AH 0.1398 0.4898 0.5712 0.6934 0.7765 0.5489 0.1718 0.2035 0.6367 0.3130 0.5118 0.4572 0.1295 0.2305 0.7765 0.5704 0.1461
158-AH 0.0000 0.0851 0.4083 0.5717 0.6667 0.3500 0.2357 0.4866 0.6667 0.6735 0.1634 0.0002 0.2120 0.0000 0.6667 0.3500 0.2357
159-AH 0.0000 0.0579 0.1623 0.4266 0.7931 0.2672 0.2676 0.3687 0.7931 1.0016 0.1084 0.0002 0.2162 0.0000 0.7931 0.2672 0.2676
160-AH 0.0034 0.0286 0.0667 0.0889 0.3333 0.0819 0.0797 0.0603 0.3299 0.9733 0.0437 0.0157 0.0519 0.0034 0.1111 0.0543 0.0358
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0727 0.3761 0.9399 0.9619 0.9815 0.7231 0.3772 0.5858 0.9088 0.5217 0.5275 0.2921 0.3218 0.0727 0.9815 0.7231 0.3772
164-AH 0.0000 0.0261 0.0867 0.1244 0.3929 0.1059 0.1065 0.0982 0.3929 1.0056 0.0113 0.0000 0.0765 0.0000 0.2281 0.0783 0.0667
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0082 0.0714 0.1818 0.5000 0.1157 0.1298 0.1736 0.5000 1.1213 0.0106 0.0000 0.0995 0.0000 0.3333 0.0955 0.0956
168-AH 0.0129 0.4097 0.4580 0.4800 0.5652 0.4174 0.1326 0.0703 0.5523 0.3177 0.3581 0.1618 0.0917 0.4000 0.5652 0.4736 0.0485
169-AH 0.0000 0.0000 0.0107 0.0547 0.1429 0.0295 0.0403 0.0547 0.1429 1.3693 0.0017 0.0000 0.0320 0.0000 0.0833 0.0235 0.0311
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0495 0.0622 0.0805 0.1702 0.0703 0.0457 0.0309 0.1702 0.6502 0.0278 0.0001 0.0320 0.0090 0.0968 0.0622 0.0204
172-AH 0.0211 0.0801 0.1113 0.1479 0.3000 0.1148 0.0649 0.0678 0.2789 0.5654 0.0974 0.0787 0.0471 0.0211 0.2143 0.1051 0.0494
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9500 0.1539 0.0000 0.5000 0.1620 0.9330 0.9091 0.0900 1.0000 1.0000 1.0000 0.0000
175-AH 0.3000 0.6750 1.0000 1.0000 1.0000 0.8331 0.2377 0.3250 0.7000 0.2853 0.7881 0.7264 0.2002 0.3000 1.0000 0.8331 0.2377
176-AH 0.6800 0.8944 0.9722 1.0000 1.0000 0.9331 0.0855 0.1056 0.3200 0.0916 0.9290 0.9245 0.0680 0.8421 1.0000 0.9465 0.0630
177-AH 0.0424 0.0787 0.0904 0.3130 0.7500 0.2110 0.2293 0.2344 0.7076 1.0867 0.1333 0.0984 0.1838 0.0424 0.6000 0.1558 0.1620
178-AH 0.0000 0.0019 0.0104 0.0300 0.5000 0.0408 0.1101 0.0282 0.5000 2.6966 0.0029 0.0000 0.0513 0.0000 0.0541 0.0134 0.0166
179-AH 0.0000 0.0356 0.2563 0.8643 1.0000 0.4146 0.4046 0.8287 1.0000 0.9759 0.1117 0.0002 0.3560 0.0000 1.0000 0.4146 0.4046
180-AH 0.0000 0.1143 0.1938 0.7050 0.8889 0.3650 0.3257 0.5907 0.8889 0.8923 0.1012 0.0001 0.2895 0.0000 0.8889 0.3650 0.3257
181-AH 0.0000 0.3573 0.8476 0.9149 0.9512 0.6882 0.3141 0.5576 0.9512 0.4564 0.3667 0.0002 0.2670 0.0000 0.9512 0.6882 0.3141
182-AH 0.0408 0.0714 0.1250 0.3875 0.7500 0.2347 0.2139 0.3161 0.7092 0.9112 0.1604 0.1163 0.1764 0.0408 0.7500 0.2347 0.2139
183-AH 0.0000 0.0043 0.0193 0.0921 0.4000 0.0746 0.1107 0.0878 0.4000 1.4847 0.0059 0.0000 0.0829 0.0000 0.2222 0.0365 0.0564
184-AH 0.0063 0.3741 0.6190 1.0000 1.0000 0.6321 0.3241 0.6259 0.9937 0.5127 0.4730 0.1029 0.2812 0.0063 1.0000 0.6321 0.3241
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
190-AH 0.0323 0.3485 0.6905 1.0000 1.0000 0.6409 0.3782 0.6515 0.9677 0.5902 0.4169 0.1610 0.3190 0.0323 1.0000 0.6409 0.3782
53
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0380 0.2105 0.3590 0.6333 1.0000 0.4327 0.3219 0.4228 0.9620 0.7440 0.3027 0.1802 0.2638 0.0380 1.0000 0.4327 0.3219
193-AH 0.2143 0.3000 0.3333 0.4643 1.0000 0.4346 0.2428 0.1643 0.7857 0.5587 0.3866 0.3528 0.1827 0.2143 0.5000 0.3244 0.0764
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.4016 0.6797 0.9328 1.0000 0.6399 0.3151 0.5312 1.0000 0.4925 0.3499 0.0002 0.2792 0.0000 1.0000 0.6399 0.3151
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0274 0.4196 0.6410 0.8000 1.0000 0.5958 0.2559 0.3804 0.9726 0.4295 0.4863 0.2555 0.2046 0.0274 1.0000 0.5958 0.2559
200-AH 0.0260 0.1129 0.3413 0.7143 0.8571 0.3871 0.2911 0.6014 0.8312 0.7520 0.2684 0.1611 0.2471 0.0260 0.8571 0.3871 0.2911
251-AH 0.0000 0.3333 0.7410 0.8438 0.9032 0.5911 0.3578 0.5104 0.9032 0.6053 0.0468 0.0000 0.2955 0.0000 0.9032 0.5911 0.3578
252-AH 0.1471 0.2645 0.3880 0.5135 0.8000 0.4041 0.1797 0.2490 0.6529 0.4447 0.3646 0.3253 0.1497 0.1471 0.8000 0.4041 0.1797
253-AH 0.0000 0.0000 0.2000 0.3794 0.6496 0.2422 0.2320 0.3794 0.6496 0.9581 0.0086 0.0000 0.1967 0.0000 0.6496 0.2422 0.2320
254-AH 0.0000 0.0000 0.2618 0.3084 0.4033 0.1956 0.1454 0.3084 0.4033 0.7433 0.0126 0.0000 0.1281 0.0000 0.4033 0.1956 0.1454
255-AH 0.0204 0.0545 0.2361 0.4444 0.6667 0.2682 0.2097 0.3900 0.6463 0.7817 0.1672 0.0871 0.1826 0.0204 0.6667 0.2682 0.2097
256-AH 0.0000 0.7178 0.9354 1.0000 1.0000 0.8305 0.2475 0.2822 1.0000 0.2980 0.4867 0.0002 0.1782 0.5600 1.0000 0.8742 0.1559
257-AH 0.0850 0.2232 0.2335 0.3333 0.4062 0.2624 0.0889 0.1102 0.3213 0.3390 0.2461 0.2268 0.0722 0.0850 0.4062 0.2624 0.0889
258-AH 0.0000 0.0054 0.0107 0.0227 0.2727 0.0458 0.0798 0.0173 0.2727 1.7408 0.0045 0.0000 0.0597 0.0000 0.0282 0.0085 0.0075
259-AH 0.0041 0.2361 0.5000 1.0000 1.0000 0.5468 0.3806 0.7639 0.9959 0.6960 0.3087 0.0487 0.3292 0.0041 1.0000 0.5468 0.3806
260-AH 0.0000 0.4877 0.6708 0.7548 0.8966 0.6043 0.2288 0.2671 0.8966 0.3786 0.3487 0.0002 0.1795 0.2857 0.8966 0.6361 0.1841
261-AH 0.0000 0.0180 0.0395 0.1045 0.3500 0.0888 0.1125 0.0865 0.3500 1.2665 0.0115 0.0000 0.0848 0.0000 0.2000 0.0473 0.0526
262-AH 0.0000 0.1209 0.1496 0.3400 0.5645 0.2180 0.1831 0.2191 0.5645 0.8401 0.0702 0.0001 0.1505 0.0000 0.5645 0.2180 0.1831
263-AH 0.0000 0.0137 0.1707 0.2695 0.3774 0.1516 0.1302 0.2559 0.3774 0.8584 0.0138 0.0000 0.1139 0.0000 0.3774 0.1516 0.1302
264-AH 0.0096 0.2500 0.7009 0.9500 1.0000 0.6063 0.3553 0.7000 0.9904 0.5861 0.4260 0.1303 0.3151 0.0096 1.0000 0.6063 0.3553
265-AH 0.0054 0.0573 0.4040 0.6000 1.0000 0.3931 0.3275 0.5427 0.9946 0.8330 0.1688 0.0329 0.2702 0.0054 1.0000 0.3931 0.3275
266-AH 0.0000 0.0017 0.0144 0.0410 0.1538 0.0276 0.0390 0.0393 0.1538 1.4116 0.0029 0.0000 0.0284 0.0000 0.0800 0.0210 0.0260
267-AH 0.0197 0.1344 0.1713 0.2250 0.4737 0.1858 0.0936 0.0906 0.4540 0.5036 0.1596 0.1189 0.0651 0.0197 0.2727 0.1707 0.0663
268-AH 0.0235 0.2500 0.6667 1.0000 1.0000 0.5729 0.3648 0.7500 0.9765 0.6368 0.3739 0.1460 0.3125 0.0235 1.0000 0.5729 0.3648
269-AH 0.0541 0.0974 0.2013 0.2739 0.4545 0.2006 0.1204 0.1765 0.4005 0.5999 0.1653 0.1337 0.0995 0.0541 0.4545 0.2006 0.1204
270-AH 0.0000 0.7198 0.8571 0.9231 1.0000 0.7590 0.2660 0.2033 1.0000 0.3504 0.4362 0.0002 0.1978 0.6977 1.0000 0.8777 0.0845
271-AH 0.0000 0.2750 0.5556 0.6667 0.7692 0.4697 0.2579 0.3917 0.7692 0.5491 0.2304 0.0002 0.2245 0.0000 0.7692 0.4697 0.2579
272-AH 0.0000 0.2222 0.2651 0.3391 0.3636 0.2569 0.0954 0.1169 0.3636 0.3713 0.1537 0.0002 0.0707 0.0636 0.3636 0.2704 0.0758
273-AH 0.0000 0.1056 0.8252 0.9240 0.9714 0.6174 0.3888 0.8185 0.9714 0.6298 0.1679 0.0001 0.3412 0.0000 0.9714 0.6174 0.3888
274-AH 0.0000 0.2050 0.2764 0.4132 0.4706 0.2716 0.1552 0.2082 0.4706 0.5712 0.1320 0.0002 0.1176 0.0000 0.4706 0.2716 0.1552
275-AH 0.0000 0.0443 0.2632 0.4379 0.6327 0.2704 0.2121 0.3936 0.6327 0.7842 0.0239 0.0000 0.1804 0.0000 0.6327 0.2704 0.2121
276-AH 0.1429 0.2069 0.3215 0.4041 0.6000 0.3313 0.1375 0.1972 0.4571 0.4150 0.3030 0.2748 0.1089 0.1429 0.6000 0.3313 0.1375
277-AH 0.0000 0.0281 0.1660 0.3114 0.3871 0.1715 0.1422 0.2833 0.3871 0.8291 0.0164 0.0000 0.1250 0.0000 0.3871 0.1715 0.1422
278-AH 0.0000 0.0118 0.0623 0.1521 0.3214 0.1033 0.1170 0.1403 0.3214 1.1330 0.0256 0.0001 0.0937 0.0000 0.3214 0.1033 0.1170
279-AH 0.0000 0.0415 0.0619 0.1429 1.0000 0.1828 0.2688 0.1013 1.0000 1.4709 0.0374 0.0001 0.1936 0.0000 0.1429 0.0618 0.0489
280-AH 0.0000 0.0173 0.0291 0.0431 0.1042 0.0327 0.0230 0.0258 0.1042 0.7016 0.0142 0.0001 0.0167 0.0000 0.0556 0.0290 0.0161
281-AH 0.0605 0.2723 0.3436 0.5530 0.7826 0.3961 0.1869 0.2808 0.7221 0.4717 0.3477 0.2836 0.1465 0.0605 0.7826 0.3961 0.1869
282-AH 0.0000 0.0527 0.1329 0.2235 0.3824 0.1425 0.1023 0.1708 0.3824 0.7179 0.0700 0.0002 0.0810 0.0000 0.3824 0.1425 0.1023
283-AH 0.0000 0.0298 0.0708 0.1946 0.9444 0.1712 0.2711 0.1648 0.9444 1.5833 0.0365 0.0001 0.1793 0.0000 0.2881 0.0878 0.0915
284-AH 0.0000 0.1889 0.5111 0.5630 0.6538 0.4048 0.2484 0.3741 0.6538 0.6136 0.0352 0.0000 0.2051 0.0000 0.6538 0.4048 0.2484
285-AH 0.0401 0.2450 0.6090 0.8571 0.9211 0.5506 0.3112 0.6121 0.8809 0.5652 0.4192 0.2532 0.2723 0.0401 0.9211 0.5506 0.3112
286-AH 0.0000 0.0067 0.0165 0.0194 0.0391 0.0142 0.0101 0.0126 0.0391 0.7142 0.0037 0.0000 0.0079 0.0000 0.0272 0.0129 0.0085
287-AH 0.0000 0.1302 0.4531 0.5409 0.5833 0.3579 0.2136 0.4107 0.5833 0.5968 0.1637 0.0002 0.1851 0.0000 0.5833 0.3579 0.2136
288-AH 0.0000 0.0622 0.1317 0.3158 0.6889 0.2217 0.2296 0.2536 0.6889 1.0353 0.0929 0.0002 0.1830 0.0000 0.6889 0.2217 0.2296
289-AH 0.0000 0.3911 0.6795 0.9583 1.0000 0.6346 0.3267 0.5673 1.0000 0.5149 0.3304 0.0002 0.2718 0.0000 1.0000 0.6346 0.3267
290-AH 0.0000 0.0606 0.2222 0.3400 0.5238 0.2143 0.1646 0.2794 0.5238 0.7684 0.0628 0.0001 0.1360 0.0000 0.5238 0.2143 0.1646
54
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0423 0.1263 0.5035 0.8348 0.9286 0.4868 0.3498 0.7085 0.8862 0.7186 0.3028 0.1471 0.3158 0.0423 0.9286 0.4868 0.3498
292-AH 0.0233 0.3366 1.0000 1.0000 1.0000 0.6891 0.4107 0.6634 0.9767 0.5959 0.3907 0.1106 0.3420 0.0233 1.0000 0.6891 0.4107
293-AH 0.0819 0.4023 0.6594 0.7094 0.8889 0.5604 0.2653 0.3070 0.8070 0.4734 0.4564 0.3166 0.2164 0.0819 0.8889 0.5604 0.2653
294-AH 0.0000 0.2157 0.6681 0.7417 0.7778 0.5061 0.3127 0.5260 0.7778 0.6179 0.0415 0.0000 0.2605 0.0000 0.7778 0.5061 0.3127
295-AH 0.0000 0.1123 0.1510 0.3161 0.5227 0.2026 0.1389 0.2039 0.5227 0.6856 0.1055 0.0002 0.1132 0.0000 0.5227 0.2026 0.1389
296-AH 0.0000 0.1401 0.3326 0.4633 0.8235 0.3490 0.2414 0.3232 0.8235 0.6917 0.1672 0.0002 0.1913 0.0000 0.8235 0.3490 0.2414
297-AH 0.0092 0.0715 0.4356 0.5903 1.0000 0.3927 0.3056 0.5188 0.9908 0.7781 0.2115 0.0658 0.2579 0.0092 1.0000 0.3927 0.3056
298-AH 0.0000 0.0331 0.1327 0.2388 0.5455 0.1614 0.1453 0.2056 0.5455 0.9003 0.0159 0.0000 0.1118 0.0000 0.5455 0.1614 0.1453
299-AH 0.0000 0.1851 0.4295 0.5955 0.7442 0.3996 0.2398 0.4104 0.7442 0.6001 0.2051 0.0002 0.2046 0.0000 0.7442 0.3996 0.2398
300-AH 0.0000 0.0747 0.2243 0.2623 0.2787 0.1732 0.1076 0.1877 0.2787 0.6209 0.0269 0.0000 0.0931 0.0000 0.2787 0.1732 0.1076
301-AH 0.0000 0.0000 0.0000 0.0000 0.7778 0.0936 0.2333 0.0000 0.7778 2.4930 0.0001 0.0000 0.1530 0.0000 0.0000 0.0000 0.0000
302-AH 0.0251 0.2121 0.2991 0.4087 0.5833 0.2908 0.1573 0.1966 0.5582 0.5409 0.2254 0.1351 0.1270 0.0251 0.5833 0.2908 0.1573
303-AH 0.0324 0.0933 0.2049 0.3542 0.5385 0.2327 0.1597 0.2609 0.5060 0.6862 0.1797 0.1320 0.1279 0.0324 0.5385 0.2327 0.1597
304-AH 0.0000 0.0044 0.1364 0.2564 0.4000 0.1575 0.1377 0.2520 0.4000 0.8739 0.0140 0.0000 0.1184 0.0000 0.4000 0.1575 0.1377
305-AH 0.0000 0.0311 0.2255 0.3165 0.4630 0.2000 0.1493 0.2854 0.4630 0.7464 0.0194 0.0000 0.1256 0.0000 0.4630 0.2000 0.1493
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0589 0.1194 0.2466 0.5000 0.1816 0.1722 0.1877 0.5000 0.9483 0.0372 0.0001 0.1375 0.0000 0.5000 0.1816 0.1722
308-AH 0.0153 0.5278 1.0000 1.0000 1.0000 0.7601 0.4264 0.4722 0.9847 0.5610 0.4328 0.1088 0.3598 0.0153 1.0000 0.7601 0.4264
309-AH 0.0240 0.0528 0.0754 0.1233 0.1818 0.0901 0.0458 0.0705 0.1579 0.5077 0.0788 0.0677 0.0388 0.0240 0.1818 0.0901 0.0458
310-AH 0.0000 0.0000 0.0388 0.0728 0.1300 0.0418 0.0452 0.0728 0.1300 1.0808 0.0013 0.0000 0.0386 0.0000 0.1300 0.0418 0.0452
311-AH 0.0491 0.2543 0.2986 0.3670 0.5238 0.3006 0.1075 0.1126 0.4747 0.3576 0.2751 0.2320 0.0777 0.1571 0.5238 0.3139 0.0922
312-AH 0.0000 0.0659 0.3697 0.5387 0.8667 0.3441 0.2791 0.4728 0.8667 0.8110 0.0421 0.0000 0.2444 0.0000 0.8667 0.3441 0.2791
313-AH 0.0000 0.0131 0.0326 0.0853 0.2051 0.0569 0.0618 0.0721 0.2051 1.0867 0.0124 0.0001 0.0489 0.0000 0.1739 0.0491 0.0524
314-AH 0.0000 0.0301 0.0816 0.1134 0.1404 0.0725 0.0488 0.0833 0.1404 0.6726 0.0095 0.0000 0.0404 0.0000 0.1404 0.0725 0.0488
315-AH 0.0000 0.0357 0.3349 0.5455 0.6200 0.2975 0.2292 0.5097 0.6200 0.7703 0.0252 0.0000 0.1979 0.0000 0.6200 0.2975 0.2292
316-AH 0.0000 0.0000 0.1317 0.1763 0.2441 0.1086 0.0885 0.1763 0.2441 0.8148 0.0054 0.0000 0.0771 0.0000 0.2441 0.1086 0.0885
317-AH 0.0448 0.1440 0.2162 0.2762 0.4800 0.2199 0.1170 0.1322 0.4352 0.5323 0.1868 0.1495 0.0887 0.0448 0.4138 0.2062 0.1025
318-AH 0.0000 0.0763 0.1134 0.1497 0.5000 0.1217 0.1054 0.0734 0.5000 0.8660 0.0436 0.0001 0.0622 0.0000 0.2143 0.1018 0.0580
319-AH 0.0261 0.0351 0.0611 0.2424 0.5625 0.1652 0.1745 0.2074 0.5364 1.0568 0.0945 0.0602 0.1451 0.0261 0.5333 0.1442 0.1514
320-AH 0.0000 0.0117 0.0276 0.0560 0.0761 0.0317 0.0248 0.0443 0.0761 0.7836 0.0092 0.0001 0.0206 0.0000 0.0761 0.0317 0.0248
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0067 0.0176 0.0390 0.0499 0.0811 0.0363 0.0218 0.0324 0.0743 0.6003 0.0281 0.0196 0.0179 0.0067 0.0811 0.0363 0.0218
323-AH 0.0000 0.0356 0.0791 0.1318 0.2391 0.0913 0.0634 0.0962 0.2391 0.6940 0.0501 0.0002 0.0493 0.0000 0.2391 0.0913 0.0634
324-AH 0.0000 0.0340 0.1672 0.6458 0.7619 0.3040 0.3035 0.6118 0.7619 0.9983 0.0450 0.0001 0.2772 0.0000 0.7619 0.3040 0.3035
325-AH 0.2525 0.5102 0.6263 0.7429 0.8333 0.6074 0.1606 0.2327 0.5808 0.2644 0.5824 0.5516 0.1273 0.2525 0.8333 0.6074 0.1606
326-AH 0.0000 0.0147 0.1769 0.3429 1.0000 0.2833 0.3404 0.3282 1.0000 1.2013 0.0351 0.0001 0.2491 0.0000 0.5000 0.1569 0.1558
327-AH 0.0000 0.0000 0.0212 0.1389 0.6667 0.1314 0.2072 0.1389 0.6667 1.5774 0.0049 0.0000 0.1576 0.0000 0.1667 0.0351 0.0497
328-AH 0.0943 0.3908 0.5384 0.5871 0.6667 0.4753 0.1760 0.1963 0.5723 0.3702 0.4257 0.3531 0.1422 0.1642 0.6667 0.4954 0.1555
329-AH 0.2143 0.7128 0.7574 0.8875 1.0000 0.7698 0.1720 0.1747 0.7857 0.2234 0.7413 0.6918 0.1176 0.6316 1.0000 0.7990 0.1148
330-AH 0.0000 0.7778 0.7974 0.8229 0.9167 0.7171 0.2313 0.0451 0.9167 0.3225 0.4163 0.0002 0.1570 0.7778 0.8800 0.8084 0.0299
331-AH 0.0228 0.2257 0.2650 0.3191 0.5000 0.2598 0.1301 0.0934 0.4772 0.5008 0.1999 0.1077 0.0928 0.1892 0.4118 0.2761 0.0561
332-AH 0.0000 0.1478 0.2404 0.4000 0.5714 0.2671 0.1616 0.2522 0.5714 0.6050 0.1394 0.0002 0.1303 0.0000 0.5714 0.2671 0.1616
333-AH 0.0021 1.0000 1.0000 1.0000 1.0000 0.9168 0.2384 0.0000 0.9979 0.2600 0.7053 0.0401 0.1415 1.0000 1.0000 1.0000 0.0000
334-AH 0.0741 0.1603 0.2792 0.5000 1.0000 0.4060 0.3275 0.3397 0.9259 0.8067 0.3013 0.2273 0.2564 0.0741 1.0000 0.4060 0.3275
335-AH 0.0177 0.0753 0.1248 0.2069 0.2308 0.1332 0.0711 0.1316 0.2131 0.5336 0.1112 0.0848 0.0612 0.0177 0.2308 0.1332 0.0711
336-AH 0.0000 0.0119 0.0314 0.0620 0.1750 0.0534 0.0606 0.0501 0.1750 1.1345 0.0084 0.0000 0.0467 0.0000 0.0634 0.0253 0.0206
337-AH 0.0000 0.0440 0.7098 0.7802 0.9000 0.5055 0.3666 0.7362 0.9000 0.7253 0.0377 0.0000 0.3290 0.0000 0.9000 0.5055 0.3666
338-AH 0.0201 0.4722 0.8333 1.0000 1.0000 0.7297 0.3309 0.5278 0.9799 0.4535 0.5661 0.2327 0.2739 0.0201 1.0000 0.7297 0.3309
339-AH 0.2250 0.4444 0.5294 0.7750 1.0000 0.5799 0.2103 0.3306 0.7750 0.3626 0.5442 0.5089 0.1759 0.2250 1.0000 0.5799 0.2103
340-AH 0.1500 0.3229 0.4000 0.5500 1.0000 0.4585 0.2307 0.2271 0.8500 0.5031 0.4111 0.3695 0.1724 0.1500 0.6667 0.3984 0.1455
55
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2500 0.7500 1.0000 1.0000 1.0000 0.8381 0.2922 0.2500 0.7500 0.3486 0.7629 0.6593 0.2429 0.4286 1.0000 0.9370 0.1784
342-AH 0.1235 0.5486 0.5714 0.7340 0.8696 0.5772 0.2047 0.1854 0.7461 0.3547 0.5218 0.4356 0.1478 0.4444 0.8696 0.6478 0.1171
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.2500 0.2917 0.3932 0.5843 0.8750 0.4495 0.1844 0.2927 0.6250 0.4102 0.4166 0.3881 0.1553 0.2500 0.8750 0.4495 0.1844
345-AH 0.0000 0.0189 0.0967 0.1941 0.4167 0.1211 0.1180 0.1752 0.4167 0.9743 0.0224 0.0001 0.0948 0.0000 0.4167 0.1211 0.1180
346-AH 0.0215 0.0495 0.0743 0.1036 0.2000 0.0849 0.0507 0.0541 0.1785 0.5968 0.0714 0.0593 0.0382 0.0215 0.1750 0.0788 0.0440
347-AH 0.0325 0.0541 0.0638 0.0796 0.1786 0.0730 0.0356 0.0255 0.1461 0.4876 0.0668 0.0618 0.0242 0.0325 0.0976 0.0630 0.0180
348-AH 0.0000 0.5067 1.0000 1.0000 1.0000 0.7524 0.4401 0.4933 1.0000 0.5849 0.2301 0.0002 0.3715 0.0000 1.0000 0.7524 0.4401
349-AH 0.0570 0.2906 0.4152 0.4699 0.6316 0.3838 0.1316 0.1793 0.5746 0.3428 0.3504 0.2897 0.1046 0.0570 0.6316 0.3838 0.1316
350-AH 0.0044 0.3111 0.9167 1.0000 1.0000 0.6757 0.3678 0.6889 0.9956 0.5443 0.4751 0.0756 0.3401 0.0044 1.0000 0.6757 0.3678
56
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.1081 1.0000 1.0000 1.0000 1.0000 0.9387 0.2021 0.0000 0.8919 0.2153 0.8786 0.6981 0.1041 1.0000 1.0000 1.0000 0.0000
143-AH 0.0000 0.2240 0.6774 0.8939 1.0000 0.5930 0.3706 0.6700 1.0000 0.6250 0.2378 0.0002 0.3136 0.0000 1.0000 0.5930 0.3706
144-AH 0.0000 0.0252 0.2361 0.5000 1.0000 0.3232 0.2912 0.4748 1.0000 0.9010 0.0894 0.0002 0.2491 0.0000 1.0000 0.3232 0.2912
145-AH 0.0000 0.1892 0.3538 0.7047 0.9130 0.4250 0.3039 0.5155 0.9130 0.7150 0.1943 0.0002 0.2493 0.0000 0.9130 0.4250 0.3039
146-AH 0.0145 0.1270 0.3333 0.5000 1.0000 0.4126 0.3444 0.3730 0.9855 0.8347 0.2530 0.1117 0.2787 0.0145 1.0000 0.4126 0.3444
147-AH 0.0530 0.3686 0.5778 0.6747 0.8788 0.5454 0.2236 0.3061 0.8257 0.4099 0.4740 0.3448 0.1739 0.0530 0.8788 0.5454 0.2236
148-AH 0.0167 0.0327 0.0432 0.0750 0.1364 0.0535 0.0287 0.0423 0.1197 0.5364 0.0470 0.0413 0.0228 0.0167 0.1364 0.0535 0.0287
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0214 0.0713 0.1731 0.2500 0.0925 0.0851 0.1516 0.2500 0.9195 0.0101 0.0000 0.0692 0.0000 0.2500 0.0925 0.0851
151-AH 0.0000 0.0441 0.0638 0.0923 0.1591 0.0661 0.0443 0.0482 0.1591 0.6704 0.0181 0.0001 0.0337 0.0000 0.1591 0.0661 0.0443
152-AH 0.0000 0.1083 0.3529 0.6000 1.0000 0.4101 0.3170 0.4917 1.0000 0.7730 0.1710 0.0002 0.2690 0.0000 1.0000 0.4101 0.3170
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0286 0.1002 0.1766 0.2444 0.2895 0.1688 0.0793 0.1443 0.2608 0.4697 0.1453 0.1162 0.0672 0.0286 0.2895 0.1688 0.0793
155-AH 0.0000 0.0161 0.0714 0.2250 0.5000 0.1364 0.1430 0.2089 0.5000 1.0486 0.0127 0.0000 0.1146 0.0000 0.5000 0.1364 0.1430
156-AH 0.0000 0.0071 0.0839 0.1135 0.1757 0.0711 0.0592 0.1065 0.1757 0.8315 0.0084 0.0000 0.0508 0.0000 0.1757 0.0711 0.0592
157-AH 0.0725 0.3992 0.5000 0.6363 0.7742 0.4885 0.1788 0.2371 0.7017 0.3659 0.4402 0.3580 0.1309 0.0725 0.7742 0.4885 0.1788
158-AH 0.0000 0.0717 0.2469 0.4866 0.6000 0.2693 0.2047 0.4149 0.6000 0.7603 0.1209 0.0002 0.1777 0.0000 0.6000 0.2693 0.2047
159-AH 0.0000 0.0369 0.1482 0.3947 0.7105 0.2227 0.2314 0.3578 0.7105 1.0394 0.0583 0.0001 0.1863 0.0000 0.7105 0.2227 0.2314
160-AH 0.0034 0.0286 0.0667 0.0889 0.3333 0.0819 0.0797 0.0603 0.3299 0.9733 0.0437 0.0157 0.0519 0.0034 0.1111 0.0543 0.0358
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0000 0.3352 0.9092 0.9290 0.9531 0.6753 0.3990 0.5937 0.9531 0.5908 0.0804 0.0000 0.3381 0.0000 0.9531 0.6753 0.3990
164-AH 0.0000 0.0261 0.0753 0.1003 0.3684 0.0926 0.0938 0.0741 0.3684 1.0125 0.0102 0.0000 0.0647 0.0000 0.1852 0.0610 0.0498
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0082 0.0411 0.0905 0.5000 0.0707 0.1107 0.0822 0.5000 1.5658 0.0070 0.0000 0.0646 0.0000 0.1429 0.0481 0.0464
168-AH 0.0129 0.3597 0.4580 0.4800 0.5652 0.4076 0.1433 0.1203 0.5523 0.3516 0.3431 0.1563 0.1052 0.2500 0.5652 0.4454 0.0865
169-AH 0.0000 0.0000 0.0107 0.0547 0.1429 0.0295 0.0403 0.0547 0.1429 1.3693 0.0017 0.0000 0.0320 0.0000 0.0833 0.0235 0.0311
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0432 0.0622 0.0802 0.1124 0.0606 0.0344 0.0370 0.1124 0.5679 0.0180 0.0001 0.0265 0.0000 0.1124 0.0606 0.0344
172-AH 0.0211 0.0611 0.0860 0.1335 0.1600 0.0941 0.0447 0.0724 0.1389 0.4752 0.0822 0.0690 0.0385 0.0211 0.1600 0.0941 0.0447
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9500 0.1539 0.0000 0.5000 0.1620 0.9330 0.9091 0.0900 1.0000 1.0000 1.0000 0.0000
175-AH 0.1667 0.5833 1.0000 1.0000 1.0000 0.7930 0.2693 0.4167 0.8333 0.3396 0.7279 0.6296 0.2277 0.1667 1.0000 0.7930 0.2693
176-AH 0.5556 0.7692 0.9318 1.0000 1.0000 0.8763 0.1444 0.2308 0.4444 0.1648 0.8635 0.8490 0.1212 0.5556 1.0000 0.8763 0.1444
177-AH 0.0338 0.0787 0.0899 0.2000 0.6154 0.1727 0.1772 0.1213 0.5816 1.0263 0.1180 0.0901 0.1343 0.0338 0.3684 0.1084 0.0809
178-AH 0.0000 0.0019 0.0104 0.0300 0.5000 0.0408 0.1101 0.0282 0.5000 2.6966 0.0029 0.0000 0.0513 0.0000 0.0541 0.0134 0.0166
179-AH 0.0000 0.0268 0.2059 0.8643 1.0000 0.3968 0.4128 0.8375 1.0000 1.0402 0.0261 0.0000 0.3684 0.0000 1.0000 0.3968 0.4128
180-AH 0.0000 0.0407 0.1722 0.5746 0.8148 0.2952 0.2958 0.5339 0.8148 1.0022 0.0713 0.0001 0.2589 0.0000 0.8148 0.2952 0.2958
181-AH 0.0000 0.1949 0.8455 0.8693 0.9259 0.6228 0.3699 0.6744 0.9259 0.5940 0.1753 0.0001 0.3228 0.0000 0.9259 0.6228 0.3699
182-AH 0.0408 0.0714 0.1250 0.3875 0.7500 0.2347 0.2139 0.3161 0.7092 0.9112 0.1604 0.1163 0.1764 0.0408 0.7500 0.2347 0.2139
183-AH 0.0000 0.0043 0.0193 0.0921 0.4000 0.0746 0.1107 0.0878 0.4000 1.4847 0.0059 0.0000 0.0829 0.0000 0.2222 0.0365 0.0564
184-AH 0.0000 0.1786 0.4423 0.6667 0.8333 0.4501 0.2479 0.4881 0.8333 0.5507 0.2408 0.0002 0.2136 0.0000 0.8333 0.4501 0.2479
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.3333 1.0000 1.0000 1.0000 0.7233 0.4365 0.6667 1.0000 0.6035 0.0545 0.0000 0.3673 0.0000 1.0000 0.7233 0.4365
190-AH 0.0323 0.1999 0.6696 1.0000 1.0000 0.5932 0.3916 0.8001 0.9677 0.6601 0.3566 0.1319 0.3429 0.0323 1.0000 0.5932 0.3916
57
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0380 0.2105 0.3590 0.6333 1.0000 0.4327 0.3219 0.4228 0.9620 0.7440 0.3027 0.1802 0.2638 0.0380 1.0000 0.4327 0.3219
193-AH 0.0000 0.1176 0.3205 0.3741 1.0000 0.3224 0.2811 0.2565 1.0000 0.8718 0.0277 0.0000 0.1802 0.0000 0.5000 0.2471 0.1682
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.3684 0.5748 0.8065 1.0000 0.5732 0.2840 0.4380 1.0000 0.4955 0.3168 0.0002 0.2423 0.0000 1.0000 0.5732 0.2840
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0146 0.4196 0.6077 0.7071 0.8333 0.5466 0.2239 0.2876 0.8187 0.4096 0.4401 0.1783 0.1738 0.0146 0.8333 0.5466 0.2239
200-AH 0.0260 0.0918 0.2303 0.7143 0.8571 0.3457 0.3083 0.6225 0.8312 0.8919 0.2142 0.1261 0.2661 0.0260 0.8571 0.3457 0.3083
251-AH 0.0000 0.1231 0.4760 0.6834 0.7333 0.4153 0.2869 0.5602 0.7333 0.6910 0.0346 0.0000 0.2471 0.0000 0.7333 0.4153 0.2869
252-AH 0.1471 0.2439 0.2981 0.4924 0.5161 0.3428 0.1377 0.2485 0.3691 0.4017 0.3149 0.2877 0.1247 0.1471 0.5161 0.3428 0.1377
253-AH 0.0000 0.0000 0.1293 0.3104 0.5249 0.1858 0.1907 0.3104 0.5249 1.0259 0.0046 0.0000 0.1668 0.0000 0.5249 0.1858 0.1907
254-AH 0.0000 0.0000 0.2127 0.2599 0.3363 0.1613 0.1310 0.2599 0.3363 0.8117 0.0070 0.0000 0.1168 0.0000 0.3363 0.1613 0.1310
255-AH 0.0204 0.0545 0.2361 0.4444 0.6667 0.2682 0.2097 0.3900 0.6463 0.7817 0.1672 0.0871 0.1826 0.0204 0.6667 0.2682 0.2097
256-AH 0.0000 0.6504 0.7417 0.9750 1.0000 0.7633 0.2486 0.3246 1.0000 0.3257 0.4458 0.0002 0.1814 0.4750 1.0000 0.8035 0.1766
257-AH 0.0602 0.1775 0.1886 0.2559 0.3333 0.2054 0.0695 0.0784 0.2732 0.3386 0.1926 0.1766 0.0526 0.0602 0.3333 0.2054 0.0695
258-AH 0.0000 0.0054 0.0107 0.0227 0.2727 0.0458 0.0798 0.0173 0.2727 1.7408 0.0045 0.0000 0.0597 0.0000 0.0282 0.0085 0.0075
259-AH 0.0041 0.2361 0.5000 1.0000 1.0000 0.5468 0.3806 0.7639 0.9959 0.6960 0.3087 0.0487 0.3292 0.0041 1.0000 0.5468 0.3806
260-AH 0.0000 0.4071 0.5614 0.7319 0.8421 0.5395 0.2243 0.3248 0.8421 0.4158 0.3083 0.0002 0.1774 0.0000 0.8421 0.5395 0.2243
261-AH 0.0000 0.0000 0.0281 0.0442 0.1118 0.0307 0.0357 0.0442 0.1118 1.1631 0.0011 0.0000 0.0281 0.0000 0.0919 0.0264 0.0309
262-AH 0.0000 0.0787 0.1226 0.2529 0.4574 0.1677 0.1505 0.1742 0.4574 0.8974 0.0366 0.0001 0.1217 0.0000 0.4574 0.1677 0.1505
263-AH 0.0000 0.0130 0.1481 0.2365 0.2759 0.1319 0.1110 0.2235 0.2759 0.8412 0.0126 0.0000 0.1005 0.0000 0.2759 0.1319 0.1110
264-AH 0.0000 0.1390 0.6188 0.7929 0.8571 0.4954 0.3218 0.6539 0.8571 0.6496 0.2170 0.0002 0.2837 0.0000 0.8571 0.4954 0.3218
265-AH 0.0054 0.0573 0.4040 0.6000 1.0000 0.3931 0.3275 0.5427 0.9946 0.8330 0.1688 0.0329 0.2702 0.0054 1.0000 0.3931 0.3275
266-AH 0.0000 0.0017 0.0144 0.0410 0.1538 0.0276 0.0390 0.0393 0.1538 1.4116 0.0029 0.0000 0.0284 0.0000 0.0800 0.0210 0.0260
267-AH 0.0159 0.0818 0.1102 0.1310 0.3056 0.1181 0.0662 0.0492 0.2897 0.5603 0.1021 0.0818 0.0422 0.0159 0.1364 0.0991 0.0323
268-AH 0.0235 0.2500 0.6667 1.0000 1.0000 0.5729 0.3648 0.7500 0.9765 0.6368 0.3739 0.1460 0.3125 0.0235 1.0000 0.5729 0.3648
269-AH 0.0000 0.0856 0.1127 0.1968 0.4545 0.1526 0.1073 0.1112 0.4545 0.7034 0.0844 0.0002 0.0795 0.0000 0.3125 0.1367 0.0826
270-AH 0.0000 0.4902 0.7025 0.8292 0.9375 0.6374 0.2421 0.3390 0.9375 0.3799 0.3662 0.0002 0.1910 0.0000 0.9375 0.6374 0.2421
271-AH 0.0000 0.2727 0.4722 0.5955 0.6667 0.4013 0.2181 0.3227 0.6667 0.5435 0.1963 0.0002 0.1830 0.0000 0.6667 0.4013 0.2181
272-AH 0.0000 0.1518 0.2596 0.3391 0.3636 0.2343 0.1179 0.1873 0.3636 0.5030 0.1285 0.0002 0.0948 0.0000 0.3636 0.2343 0.1179
273-AH 0.0000 0.0419 0.7002 0.8936 0.9615 0.5579 0.3877 0.8517 0.9615 0.6949 0.0415 0.0000 0.3447 0.0000 0.9615 0.5579 0.3877
274-AH 0.0000 0.0920 0.2614 0.3923 0.4706 0.2442 0.1590 0.3004 0.4706 0.6511 0.0769 0.0001 0.1307 0.0000 0.4706 0.2442 0.1590
275-AH 0.0000 0.0353 0.2175 0.4151 0.6167 0.2480 0.2060 0.3799 0.6167 0.8304 0.0219 0.0000 0.1746 0.0000 0.6167 0.2480 0.2060
276-AH 0.0798 0.1243 0.2751 0.3386 0.5172 0.2676 0.1439 0.2142 0.4375 0.5379 0.2244 0.1806 0.1119 0.0798 0.5172 0.2676 0.1439
277-AH 0.0000 0.0140 0.1487 0.1915 0.3714 0.1211 0.1066 0.1776 0.3714 0.8801 0.0122 0.0000 0.0924 0.0000 0.3714 0.1211 0.1066
278-AH 0.0000 0.0000 0.0292 0.1062 0.2340 0.0687 0.0876 0.1062 0.2340 1.2756 0.0045 0.0000 0.0708 0.0000 0.2340 0.0687 0.0876
279-AH 0.0000 0.0415 0.0619 0.1429 1.0000 0.1828 0.2688 0.1013 1.0000 1.4709 0.0374 0.0001 0.1936 0.0000 0.1429 0.0618 0.0489
280-AH 0.0000 0.0000 0.0240 0.0381 0.0769 0.0231 0.0205 0.0381 0.0769 0.8857 0.0027 0.0000 0.0164 0.0000 0.0769 0.0231 0.0205
281-AH 0.0412 0.2296 0.2898 0.4748 0.6562 0.3453 0.1650 0.2452 0.6151 0.4778 0.2996 0.2322 0.1358 0.0412 0.6562 0.3453 0.1650
282-AH 0.0000 0.0440 0.1065 0.1939 0.3636 0.1156 0.0958 0.1500 0.3636 0.8285 0.0183 0.0000 0.0720 0.0000 0.3636 0.1156 0.0958
283-AH 0.0000 0.0246 0.0558 0.1256 0.8261 0.1410 0.2394 0.1010 0.8261 1.6975 0.0143 0.0000 0.1539 0.0000 0.2021 0.0541 0.0543
284-AH 0.0000 0.1266 0.4942 0.5278 0.6000 0.3750 0.2325 0.4012 0.6000 0.6199 0.0330 0.0000 0.1997 0.0000 0.6000 0.3750 0.2325
285-AH 0.0000 0.1985 0.4647 0.8537 0.9211 0.4964 0.3201 0.6552 0.9211 0.6450 0.2394 0.0002 0.2762 0.0000 0.9211 0.4964 0.3201
286-AH 0.0000 0.0000 0.0165 0.0191 0.0317 0.0122 0.0097 0.0191 0.0317 0.7953 0.0018 0.0000 0.0085 0.0000 0.0317 0.0122 0.0097
287-AH 0.0000 0.0981 0.4144 0.5278 0.5833 0.3344 0.2171 0.4297 0.5833 0.6493 0.0678 0.0001 0.1865 0.0000 0.5833 0.3344 0.2171
288-AH 0.0000 0.0212 0.0922 0.2207 0.5507 0.1630 0.1931 0.1996 0.5507 1.1849 0.0134 0.0000 0.1499 0.0000 0.3762 0.0946 0.1055
289-AH 0.0000 0.3911 0.6795 0.9583 1.0000 0.6242 0.3397 0.5673 1.0000 0.5442 0.2877 0.0002 0.2800 0.0000 1.0000 0.6242 0.3397
290-AH 0.0000 0.0419 0.1913 0.3333 0.5102 0.2002 0.1628 0.2914 0.5102 0.8135 0.0191 0.0000 0.1342 0.0000 0.5102 0.2002 0.1628
58
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0398 0.0983 0.3623 0.7381 0.8824 0.4050 0.3188 0.6398 0.8426 0.7873 0.2493 0.1295 0.2778 0.0398 0.8824 0.4050 0.3188
292-AH 0.0233 0.3366 1.0000 1.0000 1.0000 0.6891 0.4107 0.6634 0.9767 0.5959 0.3907 0.1106 0.3420 0.0233 1.0000 0.6891 0.4107
293-AH 0.0688 0.3107 0.6004 0.6538 0.7826 0.4972 0.2459 0.3431 0.7138 0.4946 0.3987 0.2745 0.1957 0.0688 0.7826 0.4972 0.2459
294-AH 0.0000 0.2157 0.6308 0.7250 0.7778 0.4974 0.3080 0.5093 0.7778 0.6192 0.0409 0.0000 0.2553 0.0000 0.7778 0.4974 0.3080
295-AH 0.0000 0.0674 0.1044 0.1871 0.5185 0.1492 0.1360 0.1198 0.5185 0.9113 0.0332 0.0001 0.0996 0.0000 0.3636 0.1298 0.1074
296-AH 0.0000 0.1224 0.3113 0.4464 0.8235 0.3288 0.2257 0.3240 0.8235 0.6864 0.1577 0.0002 0.1783 0.0000 0.8235 0.3288 0.2257
297-AH 0.0080 0.0381 0.1094 0.1847 0.6000 0.1310 0.1335 0.1466 0.5920 1.0192 0.0805 0.0440 0.0914 0.0080 0.2308 0.1063 0.0771
298-AH 0.0000 0.0300 0.1242 0.2162 0.4167 0.1369 0.1192 0.1862 0.4167 0.8702 0.0140 0.0000 0.0968 0.0000 0.4167 0.1369 0.1192
299-AH 0.0000 0.1651 0.3891 0.4907 0.6212 0.3393 0.1952 0.3256 0.6212 0.5752 0.1793 0.0002 0.1709 0.0000 0.6212 0.3393 0.1952
300-AH 0.0000 0.0539 0.2183 0.2337 0.2632 0.1614 0.1032 0.1798 0.2632 0.6392 0.0174 0.0000 0.0890 0.0000 0.2632 0.1614 0.1032
301-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0747 0.2043 0.0000 0.6667 2.7370 0.0001 0.0000 0.1229 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.1918 0.2626 0.3524 0.4286 0.2447 0.1339 0.1606 0.4286 0.5473 0.1210 0.0002 0.1123 0.0000 0.4286 0.2447 0.1339
303-AH 0.0262 0.0806 0.1731 0.2676 0.5385 0.1945 0.1428 0.1870 0.5122 0.7346 0.1445 0.1001 0.1065 0.0262 0.5385 0.1945 0.1428
304-AH 0.0000 0.0000 0.0342 0.1204 0.2857 0.0746 0.0869 0.1204 0.2857 1.1637 0.0036 0.0000 0.0719 0.0000 0.2857 0.0746 0.0869
305-AH 0.0000 0.0243 0.1760 0.2357 0.4571 0.1660 0.1344 0.2114 0.4571 0.8093 0.0165 0.0000 0.1053 0.0000 0.4571 0.1660 0.1344
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0000 0.0970 0.2286 0.4943 0.1591 0.1702 0.2286 0.4943 1.0696 0.0094 0.0000 0.1398 0.0000 0.4943 0.1591 0.1702
308-AH 0.0153 0.5278 1.0000 1.0000 1.0000 0.7601 0.4264 0.4722 0.9847 0.5610 0.4328 0.1088 0.3598 0.0153 1.0000 0.7601 0.4264
309-AH 0.0220 0.0355 0.0691 0.0901 0.1364 0.0683 0.0356 0.0546 0.1143 0.5207 0.0586 0.0492 0.0290 0.0220 0.1364 0.0683 0.0356
310-AH 0.0000 0.0000 0.0162 0.0614 0.1013 0.0319 0.0369 0.0614 0.1013 1.1570 0.0008 0.0000 0.0319 0.0000 0.1013 0.0319 0.0369
311-AH 0.0414 0.1491 0.1995 0.2571 0.4444 0.2179 0.0993 0.1081 0.4030 0.4559 0.1950 0.1666 0.0743 0.0414 0.3919 0.2060 0.0861
312-AH 0.0000 0.0560 0.3645 0.4857 0.8571 0.3287 0.2701 0.4297 0.8571 0.8217 0.0403 0.0000 0.2309 0.0000 0.8571 0.3287 0.2701
313-AH 0.0000 0.0000 0.0207 0.0714 0.1429 0.0401 0.0459 0.0714 0.1429 1.1449 0.0024 0.0000 0.0383 0.0000 0.1429 0.0401 0.0459
314-AH 0.0000 0.0285 0.0816 0.1134 0.1325 0.0706 0.0472 0.0849 0.1325 0.6681 0.0093 0.0000 0.0393 0.0000 0.1325 0.0706 0.0472
315-AH 0.0000 0.0000 0.2999 0.4615 0.6200 0.2647 0.2224 0.4615 0.6200 0.8401 0.0146 0.0000 0.1964 0.0000 0.6200 0.2647 0.2224
316-AH 0.0000 0.0000 0.1105 0.1696 0.2290 0.1010 0.0843 0.1696 0.2290 0.8344 0.0052 0.0000 0.0709 0.0000 0.2290 0.1010 0.0843
317-AH 0.0406 0.1231 0.1596 0.1895 0.3409 0.1562 0.0700 0.0664 0.3003 0.4478 0.1386 0.1169 0.0487 0.0406 0.2586 0.1465 0.0563
318-AH 0.0000 0.0412 0.0828 0.1422 0.5000 0.1072 0.1102 0.1010 0.5000 1.0273 0.0337 0.0001 0.0704 0.0000 0.2143 0.0866 0.0615
319-AH 0.0114 0.0239 0.0549 0.1887 0.5238 0.1305 0.1549 0.1648 0.5125 1.1870 0.0681 0.0392 0.1171 0.0114 0.4348 0.1098 0.1276
320-AH 0.0000 0.0000 0.0203 0.0295 0.0597 0.0214 0.0190 0.0295 0.0597 0.8895 0.0026 0.0000 0.0144 0.0000 0.0597 0.0214 0.0190
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0045 0.0281 0.0443 0.0631 0.0273 0.0211 0.0398 0.0631 0.7720 0.0043 0.0000 0.0170 0.0000 0.0631 0.0273 0.0211
323-AH 0.0000 0.0288 0.0617 0.0848 0.1287 0.0655 0.0368 0.0560 0.1287 0.5617 0.0389 0.0002 0.0291 0.0000 0.1287 0.0655 0.0368
324-AH 0.0000 0.0000 0.0768 0.5564 0.7037 0.2423 0.2883 0.5564 0.7037 1.1901 0.0031 0.0000 0.2638 0.0000 0.7037 0.2423 0.2883
325-AH 0.2081 0.3711 0.5219 0.6200 0.6800 0.4932 0.1510 0.2489 0.4719 0.3061 0.4665 0.4353 0.1238 0.2081 0.6800 0.4932 0.1510
326-AH 0.0000 0.0147 0.1769 0.3429 1.0000 0.2833 0.3404 0.3282 1.0000 1.2013 0.0351 0.0001 0.2491 0.0000 0.5000 0.1569 0.1558
327-AH 0.0000 0.0000 0.0212 0.1389 0.6667 0.1314 0.2072 0.1389 0.6667 1.5774 0.0049 0.0000 0.1576 0.0000 0.1667 0.0351 0.0497
328-AH 0.0338 0.3382 0.5349 0.5712 0.6667 0.4496 0.2000 0.2330 0.6329 0.4448 0.3675 0.2334 0.1650 0.0338 0.6667 0.4496 0.2000
329-AH 0.2143 0.7128 0.7574 0.7980 1.0000 0.7461 0.1568 0.0852 0.7857 0.2102 0.7210 0.6765 0.0941 0.6316 0.9091 0.7616 0.0825
330-AH 0.0000 0.6842 0.7355 0.7945 0.8750 0.6631 0.2244 0.1103 0.8750 0.3384 0.3835 0.0002 0.1543 0.5600 0.8750 0.7478 0.0735
331-AH 0.0228 0.1759 0.2460 0.2971 0.4815 0.2275 0.1170 0.1211 0.4587 0.5144 0.1747 0.0998 0.0868 0.0228 0.3214 0.2141 0.1034
332-AH 0.0000 0.1478 0.2404 0.4000 0.5714 0.2671 0.1616 0.2522 0.5714 0.6050 0.1394 0.0002 0.1303 0.0000 0.5714 0.2671 0.1616
333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8550 0.2800 0.2000 1.0000 0.3275 0.4940 0.0002 0.2175 0.6000 1.0000 0.9750 0.1000
334-AH 0.0192 0.0803 0.1667 0.2614 0.3750 0.1858 0.1181 0.1811 0.3558 0.6357 0.1451 0.1012 0.0967 0.0192 0.3750 0.1858 0.1181
335-AH 0.0170 0.0606 0.0865 0.1194 0.1538 0.0882 0.0366 0.0588 0.1368 0.4149 0.0790 0.0667 0.0314 0.0170 0.1538 0.0882 0.0366
336-AH 0.0000 0.0063 0.0277 0.0566 0.1087 0.0384 0.0391 0.0503 0.1087 1.0191 0.0050 0.0000 0.0318 0.0000 0.1087 0.0384 0.0391
337-AH 0.0000 0.0228 0.6496 0.7732 0.8750 0.4850 0.3554 0.7504 0.8750 0.7327 0.0356 0.0000 0.3196 0.0000 0.8750 0.4850 0.3554
338-AH 0.0201 0.3141 0.8333 1.0000 1.0000 0.6778 0.3634 0.6859 0.9799 0.5361 0.4695 0.1654 0.3067 0.0201 1.0000 0.6778 0.3634
339-AH 0.2037 0.4258 0.4800 0.7086 0.9091 0.5404 0.2112 0.2828 0.7054 0.3908 0.5002 0.4590 0.1676 0.2037 0.9091 0.5404 0.2112
340-AH 0.1500 0.2926 0.3661 0.5500 1.0000 0.4498 0.2354 0.2574 0.8500 0.5235 0.4003 0.3584 0.1785 0.1500 0.6667 0.3887 0.1496
59
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2500 0.7500 1.0000 1.0000 1.0000 0.8381 0.2922 0.2500 0.7500 0.3486 0.7629 0.6593 0.2429 0.4286 1.0000 0.9370 0.1784
342-AH 0.0642 0.4288 0.5217 0.7122 0.8167 0.5242 0.2196 0.2834 0.7524 0.4190 0.4501 0.3286 0.1725 0.0642 0.8167 0.5242 0.2196
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.2048 0.2273 0.3211 0.5143 0.6923 0.3691 0.1501 0.2870 0.4875 0.4068 0.3419 0.3179 0.1261 0.2048 0.6923 0.3691 0.1501
345-AH 0.0000 0.0135 0.0815 0.1862 0.4167 0.1061 0.1069 0.1727 0.4167 1.0073 0.0146 0.0000 0.0833 0.0000 0.4167 0.1061 0.1069
346-AH 0.0215 0.0396 0.0709 0.0870 0.1750 0.0774 0.0467 0.0474 0.1535 0.6024 0.0647 0.0536 0.0354 0.0215 0.1500 0.0671 0.0359
347-AH 0.0325 0.0422 0.0488 0.0694 0.1786 0.0597 0.0324 0.0272 0.1461 0.5425 0.0545 0.0510 0.0209 0.0325 0.0877 0.0534 0.0168
348-AH 0.0000 0.5067 1.0000 1.0000 1.0000 0.7524 0.4401 0.4933 1.0000 0.5849 0.2301 0.0002 0.3715 0.0000 1.0000 0.7524 0.4401
349-AH 0.0377 0.2581 0.3129 0.3889 0.5833 0.3202 0.1183 0.1308 0.5456 0.3694 0.2886 0.2266 0.0890 0.1772 0.5833 0.3351 0.1005
350-AH 0.0000 0.2806 0.7143 0.9167 1.0000 0.6032 0.3440 0.6360 1.0000 0.5702 0.3053 0.0002 0.3007 0.0000 1.0000 0.6032 0.3440
60
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.0862 1.0000 1.0000 1.0000 1.0000 0.9293 0.2075 0.0000 0.9138 0.2233 0.8608 0.6410 0.1131 1.0000 1.0000 1.0000 0.0000
143-AH 0.0000 0.1395 0.6243 0.7636 1.0000 0.5279 0.3698 0.6241 1.0000 0.7006 0.0413 0.0000 0.3143 0.0000 1.0000 0.5279 0.3698
144-AH 0.0000 0.0252 0.2361 0.5000 1.0000 0.3232 0.2912 0.4748 1.0000 0.9010 0.0894 0.0002 0.2491 0.0000 1.0000 0.3232 0.2912
145-AH 0.0000 0.1225 0.2825 0.4538 0.5897 0.2919 0.2002 0.3313 0.5897 0.6858 0.1346 0.0002 0.1641 0.0000 0.5897 0.2919 0.2002
146-AH 0.0000 0.0023 0.0113 0.0135 0.0741 0.0148 0.0182 0.0112 0.0741 1.2296 0.0024 0.0000 0.0120 0.0000 0.0270 0.0084 0.0073
147-AH 0.0000 0.2850 0.5318 0.6136 0.8421 0.4860 0.2349 0.3286 0.8421 0.4834 0.2703 0.0002 0.1890 0.0000 0.8421 0.4860 0.2349
148-AH 0.0000 0.0244 0.0337 0.0452 0.0816 0.0366 0.0227 0.0208 0.0816 0.6210 0.0218 0.0002 0.0172 0.0000 0.0575 0.0292 0.0149
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0137 0.0655 0.1626 0.2500 0.0887 0.0848 0.1490 0.2500 0.9556 0.0096 0.0000 0.0691 0.0000 0.2500 0.0887 0.0848
151-AH 0.0000 0.0000 0.0415 0.0565 0.1509 0.0444 0.0424 0.0565 0.1509 0.9569 0.0042 0.0000 0.0297 0.0000 0.1356 0.0387 0.0352
152-AH 0.0000 0.0532 0.2650 0.5714 1.0000 0.3325 0.2936 0.5182 1.0000 0.8829 0.1245 0.0002 0.2475 0.0000 1.0000 0.3325 0.2936
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0165 0.0637 0.1117 0.1494 0.2097 0.1167 0.0584 0.0857 0.1932 0.5009 0.0997 0.0784 0.0485 0.0165 0.2097 0.1167 0.0584
155-AH 0.0000 0.0161 0.0714 0.2250 0.5000 0.1364 0.1430 0.2089 0.5000 1.0486 0.0127 0.0000 0.1146 0.0000 0.5000 0.1364 0.1430
156-AH 0.0000 0.0000 0.0491 0.0950 0.1505 0.0552 0.0515 0.0950 0.1505 0.9325 0.0047 0.0000 0.0438 0.0000 0.1505 0.0552 0.0515
157-AH 0.0000 0.3226 0.3901 0.5626 0.7368 0.4101 0.1837 0.2399 0.7368 0.4479 0.2354 0.0002 0.1372 0.0000 0.7368 0.4101 0.1837
158-AH 0.0000 0.0540 0.1668 0.2979 0.5526 0.1974 0.1564 0.2439 0.5526 0.7924 0.0910 0.0002 0.1318 0.0000 0.5526 0.1974 0.1564
159-AH 0.0000 0.0167 0.1111 0.3198 0.6600 0.1926 0.2149 0.3031 0.6600 1.1160 0.0156 0.0000 0.1718 0.0000 0.6600 0.1926 0.2149
160-AH 0.0000 0.0018 0.0213 0.0506 0.1818 0.0403 0.0512 0.0488 0.1818 1.2707 0.0045 0.0000 0.0370 0.0000 0.0870 0.0261 0.0280
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0000 0.2164 0.8071 0.9056 0.9294 0.6199 0.3844 0.6892 0.9294 0.6200 0.0482 0.0000 0.3287 0.0000 0.9294 0.6199 0.3844
164-AH 0.0000 0.0168 0.0627 0.1003 0.3214 0.0788 0.0826 0.0835 0.3214 1.0473 0.0088 0.0000 0.0585 0.0000 0.2174 0.0661 0.0613
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0082 0.0411 0.0905 0.5000 0.0707 0.1107 0.0822 0.5000 1.5658 0.0070 0.0000 0.0646 0.0000 0.1429 0.0481 0.0464
168-AH 0.0000 0.2489 0.4580 0.4800 0.5652 0.3702 0.1872 0.2311 0.5652 0.5057 0.1866 0.0002 0.1526 0.0000 0.5652 0.3702 0.1872
169-AH 0.0000 0.0000 0.0056 0.0328 0.1429 0.0184 0.0324 0.0328 0.1429 1.7604 0.0009 0.0000 0.0199 0.0000 0.0348 0.0118 0.0141
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0317 0.0532 0.0697 0.0988 0.0512 0.0308 0.0380 0.0988 0.6021 0.0153 0.0001 0.0241 0.0000 0.0988 0.0512 0.0308
172-AH 0.0211 0.0476 0.0633 0.0866 0.1220 0.0684 0.0290 0.0390 0.1009 0.4237 0.0622 0.0556 0.0230 0.0211 0.1220 0.0684 0.0290
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.0031 0.5625 1.0000 1.0000 1.0000 0.7633 0.4214 0.4375 0.9969 0.5521 0.4003 0.0421 0.3550 0.0031 1.0000 0.7633 0.4214
175-AH 0.0130 0.3229 0.7321 0.8571 1.0000 0.6335 0.3154 0.5342 0.9870 0.4979 0.4852 0.1735 0.2659 0.0130 1.0000 0.6335 0.3154
176-AH 0.1938 0.5457 0.8016 0.9463 1.0000 0.7565 0.2251 0.4006 0.8062 0.2975 0.7129 0.6484 0.1922 0.1938 1.0000 0.7565 0.2251
177-AH 0.0159 0.0301 0.0528 0.1021 0.6154 0.1138 0.1681 0.0720 0.5995 1.4774 0.0641 0.0459 0.0997 0.0159 0.1452 0.0605 0.0383
178-AH 0.0000 0.0000 0.0038 0.0236 0.2500 0.0247 0.0568 0.0236 0.2500 2.2979 0.0011 0.0000 0.0322 0.0000 0.0469 0.0094 0.0148
179-AH 0.0000 0.0150 0.1160 0.4446 0.8824 0.2452 0.2747 0.4295 0.8824 1.1202 0.0183 0.0000 0.2268 0.0000 0.8824 0.2452 0.2747
180-AH 0.0000 0.0237 0.1646 0.5410 0.7647 0.2745 0.2815 0.5173 0.7647 1.0256 0.0207 0.0000 0.2449 0.0000 0.7647 0.2745 0.2815
181-AH 0.0000 0.1482 0.8324 0.8500 0.8636 0.5889 0.3736 0.7018 0.8636 0.6344 0.0459 0.0000 0.3276 0.0000 0.8636 0.5889 0.3736
182-AH 0.0212 0.0690 0.1154 0.3375 0.7500 0.2053 0.1845 0.2685 0.7288 0.8984 0.1414 0.0968 0.1492 0.0212 0.4286 0.1767 0.1363
183-AH 0.0000 0.0043 0.0186 0.0772 0.2727 0.0664 0.0931 0.0729 0.2727 1.4032 0.0056 0.0000 0.0722 0.0000 0.0789 0.0226 0.0261
184-AH 0.0000 0.0715 0.1668 0.3431 0.7500 0.2421 0.2481 0.2717 0.7500 1.0249 0.0856 0.0002 0.1984 0.0000 0.7500 0.2421 0.2481
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.2273 0.8036 1.0000 1.0000 0.6567 0.4136 0.7727 1.0000 0.6298 0.0501 0.0000 0.3485 0.0000 1.0000 0.6567 0.4136
190-AH 0.0000 0.1357 0.6000 0.8571 1.0000 0.5218 0.3842 0.7214 1.0000 0.7363 0.1937 0.0002 0.3452 0.0000 1.0000 0.5218 0.3842
61
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0052 0.0261 0.2105 0.5333 1.0000 0.3372 0.3595 0.5073 0.9948 1.0661 0.1391 0.0411 0.2891 0.0052 1.0000 0.3372 0.3595
193-AH 0.0000 0.0926 0.2705 0.3333 0.6000 0.2502 0.1868 0.2407 0.6000 0.7466 0.0235 0.0000 0.1374 0.0000 0.6000 0.2502 0.1868
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.3133 0.4555 0.6383 0.9677 0.4820 0.2554 0.3250 0.9677 0.5298 0.2664 0.0002 0.2085 0.0000 0.9677 0.4820 0.2554
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0116 0.3384 0.5727 0.6667 0.7500 0.4954 0.2309 0.3283 0.7384 0.4661 0.3740 0.1349 0.1819 0.0116 0.7500 0.4954 0.2309
200-AH 0.0090 0.0461 0.1791 0.6000 0.8571 0.2880 0.2921 0.5539 0.8481 1.0142 0.1300 0.0417 0.2533 0.0090 0.8571 0.2880 0.2921
251-AH 0.0000 0.0920 0.2918 0.4392 0.5797 0.2727 0.1938 0.3472 0.5797 0.7109 0.0252 0.0000 0.1591 0.0000 0.5797 0.2727 0.1938
252-AH 0.0692 0.2033 0.2966 0.4434 0.5135 0.3107 0.1426 0.2401 0.4443 0.4592 0.2746 0.2341 0.1255 0.0692 0.5135 0.3107 0.1426
253-AH 0.0000 0.0000 0.0625 0.2107 0.4244 0.1283 0.1472 0.2107 0.4244 1.1475 0.0016 0.0000 0.1286 0.0000 0.4244 0.1283 0.1472
254-AH 0.0000 0.0000 0.0860 0.2351 0.2645 0.1121 0.1170 0.2351 0.2645 1.0438 0.0015 0.0000 0.1121 0.0000 0.2645 0.1121 0.1170
255-AH 0.0083 0.0326 0.1267 0.2917 0.5714 0.1854 0.1753 0.2591 0.5631 0.9454 0.1038 0.0495 0.1442 0.0083 0.5714 0.1854 0.1753
256-AH 0.0000 0.5234 0.7405 0.8400 1.0000 0.6425 0.3089 0.3166 1.0000 0.4808 0.2034 0.0001 0.2344 0.4375 1.0000 0.7543 0.1572
257-AH 0.0401 0.1475 0.1693 0.2021 0.2316 0.1643 0.0488 0.0547 0.1915 0.2973 0.1543 0.1388 0.0355 0.0757 0.2316 0.1708 0.0402
258-AH 0.0000 0.0000 0.0000 0.0084 0.2727 0.0379 0.0793 0.0084 0.2727 2.0943 0.0003 0.0000 0.0579 0.0000 0.0088 0.0017 0.0029
259-AH 0.0041 0.2361 0.5000 1.0000 1.0000 0.5468 0.3806 0.7639 0.9959 0.6960 0.3087 0.0487 0.3292 0.0041 1.0000 0.5468 0.3806
260-AH 0.0000 0.2940 0.5285 0.6557 0.7091 0.4558 0.2414 0.3617 0.7091 0.5297 0.1531 0.0001 0.1938 0.0000 0.7091 0.4558 0.2414
261-AH 0.0000 0.0000 0.0000 0.0216 0.0493 0.0104 0.0143 0.0216 0.0493 1.3801 0.0002 0.0000 0.0124 0.0000 0.0493 0.0104 0.0143
262-AH 0.0000 0.0000 0.0819 0.0991 0.3889 0.0941 0.1209 0.0991 0.3889 1.2856 0.0019 0.0000 0.0871 0.0000 0.2394 0.0520 0.0667
263-AH 0.0000 0.0000 0.1297 0.1863 0.2400 0.1055 0.0950 0.1863 0.2400 0.9003 0.0034 0.0000 0.0864 0.0000 0.2400 0.1055 0.0950
264-AH 0.0000 0.0924 0.2582 0.4965 0.7895 0.2981 0.2367 0.4041 0.7895 0.7939 0.1289 0.0002 0.1947 0.0000 0.7895 0.2981 0.2367
265-AH 0.0000 0.0476 0.4040 0.4495 0.6667 0.2970 0.2229 0.4019 0.6667 0.7505 0.0972 0.0002 0.2012 0.0000 0.6667 0.2970 0.2229
266-AH 0.0000 0.0000 0.0029 0.0196 0.1379 0.0171 0.0320 0.0196 0.1379 1.8769 0.0005 0.0000 0.0196 0.0000 0.0471 0.0107 0.0152
267-AH 0.0142 0.0718 0.0818 0.0967 0.2653 0.0968 0.0591 0.0249 0.2511 0.6106 0.0836 0.0687 0.0358 0.0558 0.1154 0.0827 0.0164
268-AH 0.0235 0.2500 0.6667 1.0000 1.0000 0.5729 0.3648 0.7500 0.9765 0.6368 0.3739 0.1460 0.3125 0.0235 1.0000 0.5729 0.3648
269-AH 0.0000 0.0773 0.1034 0.1463 0.2143 0.1085 0.0527 0.0690 0.2143 0.4862 0.0655 0.0002 0.0393 0.0000 0.2143 0.1085 0.0527
270-AH 0.0000 0.3913 0.6284 0.6895 0.7451 0.5337 0.2063 0.2982 0.7451 0.3864 0.3079 0.0002 0.1646 0.0000 0.7451 0.5337 0.2063
271-AH 0.0000 0.1972 0.4245 0.5259 0.5769 0.3472 0.2052 0.3287 0.5769 0.5911 0.1115 0.0001 0.1811 0.0000 0.5769 0.3472 0.2052
272-AH 0.0000 0.1447 0.2446 0.3218 0.3448 0.2257 0.1177 0.1771 0.3448 0.5215 0.1207 0.0002 0.0937 0.0000 0.3448 0.2257 0.1177
273-AH 0.0000 0.0300 0.6024 0.8333 0.9615 0.5053 0.3678 0.8033 0.9615 0.7280 0.0376 0.0000 0.3183 0.0000 0.9615 0.5053 0.3678
274-AH 0.0000 0.0277 0.1935 0.2608 0.3704 0.1751 0.1210 0.2332 0.3704 0.6913 0.0378 0.0001 0.0971 0.0000 0.3704 0.1751 0.1210
275-AH 0.0000 0.0276 0.1836 0.3786 0.5233 0.2208 0.1880 0.3510 0.5233 0.8514 0.0197 0.0000 0.1602 0.0000 0.5233 0.2208 0.1880
276-AH 0.0562 0.0931 0.2279 0.2824 0.4512 0.2218 0.1301 0.1894 0.3951 0.5865 0.1806 0.1411 0.1011 0.0562 0.4512 0.2218 0.1301
277-AH 0.0000 0.0000 0.0419 0.0491 0.2909 0.0530 0.0741 0.0491 0.2909 1.3996 0.0020 0.0000 0.0504 0.0000 0.0491 0.0215 0.0229
278-AH 0.0000 0.0000 0.0216 0.0511 0.2000 0.0510 0.0741 0.0511 0.2000 1.4535 0.0012 0.0000 0.0563 0.0000 0.0570 0.0162 0.0206
279-AH 0.0000 0.0044 0.0469 0.0868 1.0000 0.1231 0.2367 0.0825 1.0000 1.9230 0.0084 0.0000 0.1401 0.0000 0.1429 0.0418 0.0395
280-AH 0.0000 0.0000 0.0184 0.0253 0.0658 0.0159 0.0179 0.0253 0.0658 1.1222 0.0008 0.0000 0.0144 0.0000 0.0404 0.0133 0.0139
281-AH 0.0297 0.1840 0.2453 0.3857 0.5909 0.2955 0.1440 0.2017 0.5612 0.4871 0.2544 0.1892 0.1162 0.0297 0.5909 0.2955 0.1440
282-AH 0.0000 0.0342 0.0784 0.1677 0.3115 0.1005 0.0863 0.1336 0.3115 0.8583 0.0114 0.0000 0.0670 0.0000 0.3115 0.1005 0.0863
283-AH 0.0000 0.0000 0.0319 0.0696 0.7419 0.1030 0.1978 0.0696 0.7419 1.9201 0.0050 0.0000 0.1213 0.0000 0.1018 0.0317 0.0313
284-AH 0.0000 0.0966 0.4615 0.5111 0.5610 0.3457 0.2206 0.4145 0.5610 0.6382 0.0308 0.0000 0.1881 0.0000 0.5610 0.3457 0.2206
285-AH 0.0000 0.1839 0.3739 0.7000 0.8958 0.4305 0.2929 0.5161 0.8958 0.6804 0.2072 0.0002 0.2528 0.0000 0.8958 0.4305 0.2929
286-AH 0.0000 0.0000 0.0113 0.0165 0.0200 0.0087 0.0084 0.0165 0.0200 0.9639 0.0006 0.0000 0.0079 0.0000 0.0200 0.0087 0.0084
287-AH 0.0000 0.0628 0.3335 0.4769 0.5172 0.2856 0.2006 0.4141 0.5172 0.7025 0.0259 0.0000 0.1707 0.0000 0.5172 0.2856 0.2006
288-AH 0.0000 0.0000 0.0360 0.1255 0.4946 0.1133 0.1697 0.1255 0.4946 1.4976 0.0013 0.0000 0.1278 0.0000 0.2930 0.0505 0.0789
289-AH 0.0000 0.3738 0.6667 0.8606 0.9167 0.5731 0.3065 0.4867 0.9167 0.5349 0.2610 0.0002 0.2585 0.0000 0.9167 0.5731 0.3065
290-AH 0.0000 0.0287 0.1326 0.2219 0.4688 0.1477 0.1257 0.1932 0.4688 0.8508 0.0151 0.0000 0.0974 0.0000 0.4688 0.1477 0.1257
62
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0195 0.0721 0.1398 0.2620 0.7200 0.2011 0.1929 0.1899 0.7005 0.9595 0.1333 0.0870 0.1399 0.0195 0.3673 0.1477 0.1062
292-AH 0.0052 0.0562 0.3818 0.6333 1.0000 0.4206 0.3581 0.5771 0.9948 0.8515 0.1972 0.0384 0.2870 0.0052 1.0000 0.4206 0.3581
293-AH 0.0000 0.2562 0.4889 0.5917 0.7188 0.4295 0.2398 0.3354 0.7188 0.5583 0.2025 0.0002 0.1920 0.0000 0.7188 0.4295 0.2398
294-AH 0.0000 0.2157 0.5901 0.6800 0.7500 0.4703 0.2879 0.4643 0.7500 0.6121 0.0393 0.0000 0.2390 0.0000 0.7500 0.4703 0.2879
295-AH 0.0000 0.0000 0.0701 0.1041 0.3605 0.0991 0.1156 0.1041 0.3605 1.1667 0.0067 0.0000 0.0862 0.0000 0.1062 0.0459 0.0397
296-AH 0.0000 0.0252 0.2870 0.3846 0.7895 0.2683 0.2294 0.3594 0.7895 0.8551 0.0227 0.0000 0.1843 0.0000 0.7895 0.2683 0.2294
297-AH 0.0000 0.0140 0.0625 0.0954 0.2051 0.0618 0.0556 0.0814 0.2051 0.8995 0.0204 0.0001 0.0418 0.0000 0.2051 0.0618 0.0556
298-AH 0.0000 0.0296 0.1242 0.1622 0.2727 0.1095 0.0852 0.1326 0.2727 0.7783 0.0123 0.0000 0.0709 0.0000 0.2727 0.1095 0.0852
299-AH 0.0000 0.1328 0.2871 0.4379 0.5897 0.2937 0.1898 0.3051 0.5897 0.6460 0.1497 0.0002 0.1630 0.0000 0.5897 0.2937 0.1898
300-AH 0.0000 0.0539 0.1966 0.2211 0.2632 0.1530 0.0986 0.1672 0.2632 0.6447 0.0167 0.0000 0.0832 0.0000 0.2632 0.1530 0.0986
301-AH 0.0000 0.0000 0.0000 0.0000 0.4167 0.0268 0.0936 0.0000 0.4167 3.4887 0.0000 0.0000 0.0456 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.1722 0.1945 0.3099 0.3793 0.2116 0.1186 0.1378 0.3793 0.5604 0.0749 0.0001 0.0948 0.0000 0.3793 0.2116 0.1186
303-AH 0.0182 0.0406 0.1053 0.1406 0.3913 0.1142 0.0978 0.1000 0.3731 0.8563 0.0804 0.0553 0.0706 0.0182 0.2727 0.0996 0.0749
304-AH 0.0000 0.0000 0.0251 0.0830 0.1500 0.0495 0.0551 0.0830 0.1500 1.1124 0.0027 0.0000 0.0474 0.0000 0.1500 0.0495 0.0551
305-AH 0.0000 0.0000 0.1625 0.2102 0.4176 0.1461 0.1253 0.2102 0.4176 0.8573 0.0099 0.0000 0.1011 0.0000 0.4176 0.1461 0.1253
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0000 0.0707 0.1874 0.4563 0.1318 0.1613 0.1874 0.4563 1.2245 0.0035 0.0000 0.1292 0.0000 0.4563 0.1318 0.1613
308-AH 0.0000 0.2548 0.5907 1.0000 1.0000 0.6023 0.4061 0.7452 1.0000 0.6742 0.0651 0.0000 0.3398 0.0000 1.0000 0.6023 0.4061
309-AH 0.0132 0.0315 0.0467 0.0504 0.1364 0.0509 0.0325 0.0189 0.1232 0.6392 0.0425 0.0350 0.0209 0.0132 0.0779 0.0419 0.0179
310-AH 0.0000 0.0000 0.0000 0.0284 0.0780 0.0163 0.0292 0.0284 0.0780 1.7921 0.0001 0.0000 0.0244 0.0000 0.0663 0.0130 0.0260
311-AH 0.0000 0.0835 0.1425 0.1873 0.3617 0.1584 0.0962 0.1038 0.3617 0.6069 0.0905 0.0002 0.0704 0.0000 0.3173 0.1361 0.0709
312-AH 0.0000 0.0151 0.3242 0.4628 0.7407 0.2850 0.2608 0.4477 0.7407 0.9152 0.0213 0.0000 0.2248 0.0000 0.7407 0.2850 0.2608
313-AH 0.0000 0.0000 0.0168 0.0656 0.1354 0.0353 0.0435 0.0656 0.1354 1.2340 0.0015 0.0000 0.0362 0.0000 0.1354 0.0353 0.0435
314-AH 0.0000 0.0285 0.0694 0.1044 0.1325 0.0669 0.0450 0.0759 0.1325 0.6727 0.0089 0.0000 0.0364 0.0000 0.1325 0.0669 0.0450
315-AH 0.0000 0.0000 0.2285 0.3498 0.5714 0.2145 0.1868 0.3498 0.5714 0.8710 0.0123 0.0000 0.1618 0.0000 0.5714 0.2145 0.1868
316-AH 0.0000 0.0000 0.0965 0.1460 0.2046 0.0907 0.0760 0.1460 0.2046 0.8379 0.0048 0.0000 0.0637 0.0000 0.2046 0.0907 0.0760
317-AH 0.0216 0.0438 0.1105 0.1460 0.1957 0.1050 0.0570 0.1023 0.1741 0.5431 0.0853 0.0639 0.0476 0.0216 0.1957 0.1050 0.0570
318-AH 0.0000 0.0327 0.0787 0.1316 0.5000 0.1042 0.1109 0.0989 0.5000 1.0641 0.0236 0.0001 0.0709 0.0000 0.2143 0.0834 0.0619
319-AH 0.0000 0.0000 0.0328 0.1000 0.4815 0.0846 0.1306 0.1000 0.4815 1.5426 0.0047 0.0000 0.0893 0.0000 0.1000 0.0352 0.0397
320-AH 0.0000 0.0000 0.0141 0.0182 0.0360 0.0134 0.0110 0.0182 0.0360 0.8201 0.0019 0.0000 0.0082 0.0000 0.0360 0.0134 0.0110
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0121 0.0194 0.0426 0.0115 0.0125 0.0194 0.0426 1.0862 0.0006 0.0000 0.0104 0.0000 0.0426 0.0115 0.0125
323-AH 0.0000 0.0197 0.0557 0.0744 0.1197 0.0541 0.0323 0.0546 0.1197 0.5966 0.0315 0.0002 0.0247 0.0000 0.1197 0.0541 0.0323
324-AH 0.0000 0.0000 0.0347 0.3991 0.6389 0.1859 0.2350 0.3991 0.6389 1.2642 0.0017 0.0000 0.2072 0.0000 0.6389 0.1859 0.2350
325-AH 0.0849 0.2468 0.4333 0.4699 0.6290 0.3849 0.1583 0.2231 0.5441 0.4112 0.3430 0.2885 0.1300 0.0849 0.6290 0.3849 0.1583
326-AH 0.0000 0.0000 0.0085 0.0304 0.0750 0.0178 0.0211 0.0304 0.0750 1.1820 0.0019 0.0000 0.0169 0.0000 0.0750 0.0178 0.0211
327-AH 0.0000 0.0000 0.0066 0.0575 0.5000 0.0986 0.1791 0.0575 0.5000 1.8163 0.0022 0.0000 0.1367 0.0000 0.0750 0.0132 0.0211
328-AH 0.0000 0.3172 0.5335 0.5712 0.6522 0.4387 0.2136 0.2540 0.6522 0.4869 0.2303 0.0002 0.1771 0.0000 0.6522 0.4387 0.2136
329-AH 0.1000 0.6213 0.7104 0.7574 0.7857 0.6654 0.1517 0.1360 0.6857 0.2281 0.6275 0.5312 0.0952 0.5500 0.7857 0.6951 0.0749
330-AH 0.0000 0.2679 0.6974 0.7777 0.8649 0.5751 0.2671 0.5097 0.8649 0.4645 0.3152 0.0002 0.2325 0.0000 0.8649 0.5751 0.2671
331-AH 0.0206 0.1266 0.2460 0.2810 0.4815 0.2107 0.1179 0.1544 0.4609 0.5598 0.1569 0.0888 0.0887 0.0206 0.4815 0.2107 0.1179
332-AH 0.0000 0.1016 0.2165 0.2390 0.3125 0.1800 0.0943 0.1375 0.3125 0.5241 0.0976 0.0002 0.0798 0.0000 0.3125 0.1800 0.0943
333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8550 0.2800 0.2000 1.0000 0.3275 0.4940 0.0002 0.2175 0.6000 1.0000 0.9750 0.1000
334-AH 0.0192 0.0803 0.1667 0.2614 0.3750 0.1858 0.1181 0.1811 0.3558 0.6357 0.1451 0.1012 0.0967 0.0192 0.3750 0.1858 0.1181
335-AH 0.0151 0.0520 0.0732 0.0938 0.1538 0.0734 0.0335 0.0417 0.1388 0.4559 0.0646 0.0532 0.0244 0.0151 0.1538 0.0734 0.0335
336-AH 0.0000 0.0000 0.0182 0.0310 0.0839 0.0258 0.0301 0.0310 0.0839 1.1659 0.0019 0.0000 0.0231 0.0000 0.0696 0.0156 0.0182
337-AH 0.0000 0.0103 0.6496 0.7684 0.8750 0.4754 0.3628 0.7581 0.8750 0.7632 0.0310 0.0000 0.3283 0.0000 0.8750 0.4754 0.3628
338-AH 0.0201 0.3008 0.6190 0.8730 1.0000 0.5647 0.3710 0.5723 0.9799 0.6570 0.3576 0.1314 0.3344 0.0201 1.0000 0.5647 0.3710
339-AH 0.1553 0.4212 0.4800 0.6842 0.8750 0.5111 0.1968 0.2630 0.7197 0.3851 0.4685 0.4170 0.1525 0.1553 0.8750 0.5111 0.1968
340-AH 0.1500 0.2926 0.3661 0.5500 1.0000 0.4498 0.2354 0.2574 0.8500 0.5235 0.4003 0.3584 0.1785 0.1500 0.6667 0.3887 0.1496
63
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0061 0.5000 1.0000 1.0000 1.0000 0.7616 0.4052 0.5000 0.9939 0.5320 0.4214 0.0568 0.3376 0.0061 1.0000 0.7616 0.4052
342-AH 0.0000 0.3338 0.3976 0.6470 0.8056 0.4434 0.2354 0.3131 0.8056 0.5310 0.1552 0.0001 0.1919 0.0000 0.8056 0.4434 0.2354
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.1681 0.1892 0.2692 0.4366 0.6364 0.3255 0.1471 0.2475 0.4683 0.4520 0.2972 0.2734 0.1206 0.1681 0.6364 0.3255 0.1471
345-AH 0.0000 0.0096 0.0811 0.1795 0.4000 0.1028 0.1041 0.1700 0.4000 1.0125 0.0103 0.0000 0.0811 0.0000 0.4000 0.1028 0.1041
346-AH 0.0196 0.0278 0.0642 0.0870 0.1750 0.0625 0.0385 0.0591 0.1554 0.6160 0.0519 0.0428 0.0293 0.0196 0.1750 0.0625 0.0385
347-AH 0.0100 0.0235 0.0350 0.0511 0.0875 0.0383 0.0200 0.0276 0.0775 0.5225 0.0327 0.0267 0.0156 0.0100 0.0875 0.0383 0.0200
348-AH 0.0000 0.3370 1.0000 1.0000 1.0000 0.7347 0.4383 0.6630 1.0000 0.5966 0.2026 0.0002 0.3715 0.0000 1.0000 0.7347 0.4383
349-AH 0.0372 0.2082 0.2613 0.2920 0.5143 0.2638 0.1029 0.0838 0.4771 0.3901 0.2388 0.1955 0.0672 0.1453 0.3393 0.2509 0.0537
350-AH 0.0000 0.2769 0.5227 0.6364 1.0000 0.5057 0.2809 0.3594 1.0000 0.5554 0.2651 0.0002 0.2205 0.0000 1.0000 0.5057 0.2809
64
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.0341 0.6364 1.0000 1.0000 1.0000 0.7962 0.3645 0.3636 0.9659 0.4577 0.6241 0.3191 0.3056 0.1935 1.0000 0.8363 0.3260
143-AH 0.0000 0.1111 0.5437 0.6512 0.9655 0.4598 0.3321 0.5401 0.9655 0.7222 0.0369 0.0000 0.2748 0.0000 0.9655 0.4598 0.3321
144-AH 0.0000 0.0165 0.1539 0.2404 0.6000 0.1553 0.1510 0.2239 0.6000 0.9726 0.0147 0.0000 0.1115 0.0000 0.3750 0.1319 0.1119
145-AH 0.0000 0.0677 0.1474 0.3721 0.5745 0.2167 0.1977 0.3044 0.5745 0.9123 0.0286 0.0000 0.1624 0.0000 0.5745 0.2167 0.1977
146-AH 0.0000 0.0023 0.0113 0.0135 0.0741 0.0148 0.0182 0.0112 0.0741 1.2296 0.0024 0.0000 0.0120 0.0000 0.0270 0.0084 0.0073
147-AH 0.0000 0.0584 0.4650 0.5727 0.8235 0.3791 0.2824 0.5143 0.8235 0.7448 0.0312 0.0000 0.2409 0.0000 0.8235 0.3791 0.2824
148-AH 0.0000 0.0154 0.0194 0.0337 0.0575 0.0233 0.0144 0.0183 0.0575 0.6179 0.0108 0.0001 0.0114 0.0000 0.0575 0.0233 0.0144
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0055 0.0596 0.1524 0.2222 0.0795 0.0791 0.1469 0.2222 0.9946 0.0084 0.0000 0.0655 0.0000 0.2222 0.0795 0.0791
151-AH 0.0000 0.0000 0.0193 0.0362 0.1184 0.0278 0.0305 0.0362 0.1184 1.0966 0.0029 0.0000 0.0219 0.0000 0.0769 0.0230 0.0224
152-AH 0.0000 0.0357 0.1645 0.4524 1.0000 0.2694 0.2903 0.4167 1.0000 1.0773 0.0887 0.0002 0.2281 0.0000 1.0000 0.2694 0.2903
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0000 0.0492 0.0717 0.1135 0.1500 0.0797 0.0410 0.0643 0.1500 0.5142 0.0484 0.0002 0.0345 0.0000 0.1500 0.0797 0.0410
155-AH 0.0000 0.0038 0.0296 0.0561 0.3000 0.0475 0.0707 0.0523 0.3000 1.4903 0.0047 0.0000 0.0443 0.0000 0.1304 0.0342 0.0394
156-AH 0.0000 0.0000 0.0340 0.0672 0.1495 0.0399 0.0416 0.0672 0.1495 1.0412 0.0026 0.0000 0.0338 0.0000 0.1495 0.0399 0.0416
157-AH 0.0000 0.1996 0.3224 0.4933 0.6405 0.3334 0.1811 0.2937 0.6405 0.5431 0.1858 0.0002 0.1498 0.0000 0.6405 0.3334 0.1811
158-AH 0.0000 0.0000 0.1149 0.2424 0.4098 0.1344 0.1344 0.2424 0.4098 0.9995 0.0082 0.0000 0.1145 0.0000 0.4098 0.1344 0.1344
159-AH 0.0000 0.0000 0.0879 0.2571 0.4691 0.1552 0.1719 0.2571 0.4691 1.1076 0.0091 0.0000 0.1387 0.0000 0.4691 0.1552 0.1719
160-AH 0.0000 0.0018 0.0213 0.0506 0.1818 0.0403 0.0512 0.0488 0.1818 1.2707 0.0045 0.0000 0.0370 0.0000 0.0870 0.0261 0.0280
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0000 0.1861 0.7544 0.8515 0.9247 0.5682 0.3610 0.6653 0.9247 0.6353 0.0449 0.0000 0.3058 0.0000 0.9247 0.5682 0.3610
164-AH 0.0000 0.0105 0.0539 0.0866 0.3065 0.0718 0.0814 0.0761 0.3065 1.1327 0.0078 0.0000 0.0585 0.0000 0.1776 0.0507 0.0494
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0041 0.0333 0.0541 0.1429 0.0372 0.0365 0.0500 0.1429 0.9820 0.0050 0.0000 0.0279 0.0000 0.0952 0.0316 0.0275
168-AH 0.0000 0.1691 0.4333 0.4688 0.5652 0.3465 0.1974 0.2996 0.5652 0.5696 0.1573 0.0002 0.1637 0.0000 0.5652 0.3465 0.1974
169-AH 0.0000 0.0000 0.0000 0.0117 0.0746 0.0080 0.0173 0.0117 0.0746 2.1702 0.0001 0.0000 0.0106 0.0000 0.0207 0.0045 0.0075
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0310 0.0394 0.0617 0.0988 0.0446 0.0294 0.0306 0.0988 0.6581 0.0134 0.0001 0.0220 0.0000 0.0988 0.0446 0.0294
172-AH 0.0211 0.0476 0.0633 0.0866 0.1220 0.0684 0.0290 0.0390 0.1009 0.4237 0.0622 0.0556 0.0230 0.0211 0.1220 0.0684 0.0290
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.0031 0.5625 1.0000 1.0000 1.0000 0.7633 0.4214 0.4375 0.9969 0.5521 0.4003 0.0421 0.3550 0.0031 1.0000 0.7633 0.4214
175-AH 0.0130 0.3229 0.7321 0.8571 1.0000 0.6335 0.3154 0.5342 0.9870 0.4979 0.4852 0.1735 0.2659 0.0130 1.0000 0.6335 0.3154
176-AH 0.0718 0.4309 0.7250 0.9032 0.9655 0.6738 0.2434 0.4723 0.8937 0.3613 0.6025 0.4584 0.1990 0.0718 0.9655 0.6738 0.2434
177-AH 0.0000 0.0084 0.0264 0.0519 0.1887 0.0441 0.0550 0.0435 0.1887 1.2451 0.0053 0.0000 0.0383 0.0000 0.0952 0.0283 0.0267
178-AH 0.0000 0.0000 0.0038 0.0236 0.2500 0.0247 0.0568 0.0236 0.2500 2.2979 0.0011 0.0000 0.0322 0.0000 0.0469 0.0094 0.0148
179-AH 0.0000 0.0139 0.1028 0.1863 0.8500 0.1790 0.2379 0.1724 0.8500 1.3290 0.0142 0.0000 0.1611 0.0000 0.2319 0.0883 0.0763
180-AH 0.0000 0.0237 0.1511 0.5100 0.7632 0.2591 0.2650 0.4863 0.7632 1.0231 0.0199 0.0000 0.2298 0.0000 0.7632 0.2591 0.2650
181-AH 0.0000 0.1360 0.7689 0.8281 0.8608 0.5618 0.3627 0.6921 0.8608 0.6457 0.0440 0.0000 0.3227 0.0000 0.8608 0.5618 0.3627
182-AH 0.0212 0.0690 0.1154 0.3375 0.7500 0.2053 0.1845 0.2685 0.7288 0.8984 0.1414 0.0968 0.1492 0.0212 0.4286 0.1767 0.1363
183-AH 0.0000 0.0043 0.0186 0.0772 0.2727 0.0664 0.0931 0.0729 0.2727 1.4032 0.0056 0.0000 0.0722 0.0000 0.0789 0.0226 0.0261
184-AH 0.0000 0.0275 0.0804 0.2094 0.2692 0.1083 0.0916 0.1819 0.2692 0.8457 0.0455 0.0002 0.0791 0.0000 0.2692 0.1083 0.0916
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.2273 0.8036 1.0000 1.0000 0.6567 0.4136 0.7727 1.0000 0.6298 0.0501 0.0000 0.3485 0.0000 1.0000 0.6567 0.4136
190-AH 0.0000 0.0172 0.1761 0.7389 1.0000 0.3634 0.3930 0.7217 1.0000 1.0813 0.0858 0.0002 0.3466 0.0000 1.0000 0.3634 0.3930
65
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0431 0.4006 1.0000 0.2463 0.3521 0.4006 1.0000 1.4295 0.0081 0.0000 0.2920 0.0000 1.0000 0.2463 0.3521
193-AH 0.0000 0.0926 0.2705 0.3333 0.6000 0.2502 0.1868 0.2407 0.6000 0.7466 0.0235 0.0000 0.1374 0.0000 0.6000 0.2502 0.1868
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.1759 0.2545 0.4111 0.8974 0.3293 0.2537 0.2352 0.8974 0.7703 0.1620 0.0002 0.1944 0.0000 0.7143 0.2706 0.1877
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0077 0.3366 0.5357 0.6259 0.7500 0.4862 0.2277 0.2892 0.7423 0.4684 0.3605 0.1043 0.1768 0.0077 0.7500 0.4862 0.2277
200-AH 0.0000 0.0243 0.0988 0.1911 0.7778 0.1700 0.2257 0.1668 0.7778 1.3273 0.0519 0.0002 0.1612 0.0000 0.2800 0.0854 0.0811
251-AH 0.0000 0.0386 0.1490 0.1784 0.3833 0.1492 0.1262 0.1398 0.3833 0.8453 0.0153 0.0000 0.0929 0.0000 0.3833 0.1492 0.1262
252-AH 0.0692 0.1714 0.2593 0.3823 0.4200 0.2641 0.1140 0.2109 0.3508 0.4317 0.2367 0.2061 0.0979 0.0692 0.4200 0.2641 0.1140
253-AH 0.0000 0.0000 0.0000 0.1716 0.3325 0.0850 0.1142 0.1716 0.3325 1.3441 0.0005 0.0000 0.1019 0.0000 0.3325 0.0850 0.1142
254-AH 0.0000 0.0000 0.0000 0.1923 0.2287 0.0784 0.0997 0.1923 0.2287 1.2707 0.0005 0.0000 0.0941 0.0000 0.2287 0.0784 0.0997
255-AH 0.0083 0.0326 0.1267 0.2917 0.5714 0.1854 0.1753 0.2591 0.5631 0.9454 0.1038 0.0495 0.1442 0.0083 0.5714 0.1854 0.1753
256-AH 0.0000 0.2607 0.6938 0.7662 0.8276 0.5434 0.2928 0.5054 0.8276 0.5389 0.1692 0.0001 0.2475 0.0000 0.8276 0.5434 0.2928
257-AH 0.0000 0.1138 0.1480 0.1643 0.1917 0.1362 0.0464 0.0505 0.1917 0.3408 0.0861 0.0002 0.0348 0.0621 0.1917 0.1434 0.0345
258-AH 0.0000 0.0000 0.0000 0.0084 0.2727 0.0379 0.0793 0.0084 0.2727 2.0943 0.0003 0.0000 0.0579 0.0000 0.0088 0.0017 0.0029
259-AH 0.0000 0.0037 0.0066 0.0216 0.0469 0.0128 0.0127 0.0178 0.0469 0.9944 0.0037 0.0001 0.0106 0.0000 0.0469 0.0128 0.0127
260-AH 0.0000 0.1608 0.4640 0.6200 0.6818 0.3955 0.2567 0.4592 0.6818 0.6489 0.0341 0.0000 0.2098 0.0000 0.6818 0.3955 0.2567
261-AH 0.0000 0.0000 0.0000 0.0000 0.0261 0.0026 0.0079 0.0000 0.0261 3.0789 0.0000 0.0000 0.0046 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0770 0.3158 0.0691 0.1037 0.0770 0.3158 1.4993 0.0007 0.0000 0.0773 0.0000 0.0770 0.0223 0.0343
263-AH 0.0000 0.0000 0.0816 0.1512 0.2134 0.0757 0.0782 0.1512 0.2134 1.0329 0.0018 0.0000 0.0681 0.0000 0.2134 0.0757 0.0782
264-AH 0.0000 0.0764 0.1539 0.4157 0.5333 0.2244 0.1915 0.3392 0.5333 0.8533 0.0302 0.0000 0.1649 0.0000 0.5333 0.2244 0.1915
265-AH 0.0000 0.0316 0.1244 0.1824 0.4545 0.1373 0.1226 0.1507 0.4545 0.8929 0.0142 0.0000 0.0907 0.0000 0.3571 0.1206 0.0999
266-AH 0.0000 0.0000 0.0029 0.0196 0.1379 0.0171 0.0320 0.0196 0.1379 1.8769 0.0005 0.0000 0.0196 0.0000 0.0471 0.0107 0.0152
267-AH 0.0000 0.0665 0.0800 0.0967 0.2308 0.0860 0.0475 0.0301 0.2308 0.5520 0.0524 0.0002 0.0307 0.0255 0.1154 0.0782 0.0224
268-AH 0.0000 0.0048 0.0110 0.0371 0.1304 0.0276 0.0370 0.0324 0.1304 1.3408 0.0044 0.0000 0.0274 0.0000 0.0732 0.0175 0.0207
269-AH 0.0000 0.0183 0.0600 0.0917 0.1556 0.0585 0.0456 0.0734 0.1556 0.7801 0.0107 0.0000 0.0360 0.0000 0.1556 0.0585 0.0456
270-AH 0.0000 0.3525 0.4910 0.6194 0.7368 0.4656 0.1949 0.2669 0.7368 0.4186 0.2681 0.0002 0.1574 0.0000 0.7368 0.4656 0.1949
271-AH 0.0000 0.0733 0.3051 0.4492 0.5312 0.2671 0.1979 0.3760 0.5312 0.7407 0.0538 0.0001 0.1797 0.0000 0.5312 0.2671 0.1979
272-AH 0.0000 0.1416 0.2307 0.3151 0.3448 0.2199 0.1160 0.1736 0.3448 0.5278 0.1175 0.0002 0.0907 0.0000 0.3448 0.2199 0.1160
273-AH 0.0000 0.0000 0.4327 0.6524 0.9524 0.3932 0.3221 0.6524 0.9524 0.8192 0.0198 0.0000 0.2707 0.0000 0.9524 0.3932 0.3221
274-AH 0.0000 0.0078 0.0887 0.2001 0.2727 0.1077 0.0929 0.1923 0.2727 0.8621 0.0112 0.0000 0.0800 0.0000 0.2727 0.1077 0.0929
275-AH 0.0000 0.0000 0.1290 0.2965 0.4747 0.1769 0.1631 0.2965 0.4747 0.9220 0.0109 0.0000 0.1379 0.0000 0.4747 0.1769 0.1631
276-AH 0.0000 0.0745 0.1381 0.2100 0.3962 0.1681 0.1184 0.1356 0.3962 0.7046 0.0887 0.0002 0.0923 0.0000 0.3962 0.1681 0.1184
277-AH 0.0000 0.0000 0.0000 0.0396 0.1776 0.0216 0.0435 0.0396 0.1776 2.0115 0.0001 0.0000 0.0303 0.0000 0.0660 0.0134 0.0240
278-AH 0.0000 0.0000 0.0088 0.0423 0.1829 0.0413 0.0650 0.0423 0.1829 1.5753 0.0008 0.0000 0.0471 0.0000 0.0852 0.0163 0.0244
279-AH 0.0000 0.0044 0.0469 0.0868 1.0000 0.1231 0.2367 0.0825 1.0000 1.9230 0.0084 0.0000 0.1401 0.0000 0.1429 0.0418 0.0395
280-AH 0.0000 0.0000 0.0000 0.0218 0.0464 0.0105 0.0142 0.0218 0.0464 1.3606 0.0002 0.0000 0.0126 0.0000 0.0464 0.0105 0.0142
281-AH 0.0000 0.1840 0.2159 0.2899 0.4000 0.2336 0.0883 0.1058 0.4000 0.3778 0.1432 0.0002 0.0657 0.1615 0.4000 0.2459 0.0709
282-AH 0.0000 0.0145 0.0728 0.1462 0.2500 0.0831 0.0736 0.1317 0.2500 0.8851 0.0095 0.0000 0.0592 0.0000 0.2500 0.0831 0.0736
283-AH 0.0000 0.0000 0.0000 0.0515 0.4667 0.0672 0.1396 0.0515 0.4667 2.0779 0.0004 0.0000 0.0887 0.0000 0.0811 0.0159 0.0267
284-AH 0.0000 0.0860 0.3861 0.4355 0.5000 0.2994 0.1887 0.3495 0.5000 0.6303 0.0277 0.0000 0.1625 0.0000 0.5000 0.2994 0.1887
285-AH 0.0000 0.0305 0.2533 0.6282 0.8772 0.3294 0.3141 0.5977 0.8772 0.9536 0.0236 0.0000 0.2797 0.0000 0.8772 0.3294 0.3141
286-AH 0.0000 0.0000 0.0046 0.0140 0.0165 0.0067 0.0072 0.0140 0.0165 1.0757 0.0004 0.0000 0.0067 0.0000 0.0165 0.0067 0.0072
287-AH 0.0000 0.0507 0.2502 0.2984 0.4487 0.2063 0.1457 0.2477 0.4487 0.7063 0.0203 0.0000 0.1235 0.0000 0.4487 0.2063 0.1457
288-AH 0.0000 0.0000 0.0000 0.0924 0.3901 0.0814 0.1341 0.0924 0.3901 1.6472 0.0005 0.0000 0.1005 0.0000 0.2085 0.0311 0.0578
289-AH 0.0000 0.2776 0.4994 0.7434 0.8750 0.4935 0.2987 0.4658 0.8750 0.6052 0.1026 0.0001 0.2458 0.0000 0.8750 0.4935 0.2987
290-AH 0.0000 0.0000 0.1017 0.1454 0.4000 0.1053 0.1035 0.1454 0.4000 0.9829 0.0076 0.0000 0.0751 0.0000 0.2823 0.0898 0.0790
66
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0549 0.1027 0.1436 0.3818 0.1244 0.0991 0.0887 0.3818 0.7966 0.0651 0.0002 0.0715 0.0000 0.2763 0.0995 0.0656
292-AH 0.0052 0.0562 0.3818 0.6333 1.0000 0.4206 0.3581 0.5771 0.9948 0.8515 0.1972 0.0384 0.2870 0.0052 1.0000 0.4206 0.3581
293-AH 0.0000 0.1905 0.4580 0.5457 0.7059 0.3865 0.2438 0.3553 0.7059 0.6309 0.0338 0.0000 0.1938 0.0000 0.7059 0.3865 0.2438
294-AH 0.0000 0.2157 0.5901 0.6562 0.7037 0.4515 0.2762 0.4406 0.7037 0.6117 0.0382 0.0000 0.2278 0.0000 0.7037 0.4515 0.2762
295-AH 0.0000 0.0000 0.0196 0.0630 0.2449 0.0569 0.0828 0.0630 0.2449 1.4542 0.0009 0.0000 0.0627 0.0000 0.0721 0.0187 0.0260
296-AH 0.0000 0.0234 0.2409 0.3175 0.5667 0.2281 0.1979 0.2942 0.5667 0.8676 0.0199 0.0000 0.1616 0.0000 0.5667 0.2281 0.1979
297-AH 0.0000 0.0128 0.0241 0.0545 0.1299 0.0399 0.0424 0.0417 0.1299 1.0632 0.0071 0.0000 0.0322 0.0000 0.0629 0.0244 0.0208
298-AH 0.0000 0.0167 0.0776 0.1215 0.1864 0.0796 0.0602 0.1049 0.1864 0.7561 0.0098 0.0000 0.0502 0.0000 0.1864 0.0796 0.0602
299-AH 0.0000 0.0877 0.2103 0.3559 0.4783 0.2214 0.1627 0.2682 0.4783 0.7350 0.0322 0.0000 0.1373 0.0000 0.4783 0.2214 0.1627
300-AH 0.0000 0.0539 0.1810 0.2191 0.2632 0.1477 0.0971 0.1652 0.2632 0.6569 0.0162 0.0000 0.0805 0.0000 0.2632 0.1477 0.0971
301-AH 0.0000 0.0000 0.0000 0.0000 0.0463 0.0053 0.0137 0.0000 0.0463 2.5958 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.1494 0.1945 0.2839 0.3636 0.1939 0.1149 0.1345 0.3636 0.5926 0.0467 0.0001 0.0889 0.0000 0.3636 0.1939 0.1149
303-AH 0.0000 0.0267 0.0489 0.0964 0.2041 0.0664 0.0563 0.0697 0.2041 0.8481 0.0234 0.0001 0.0446 0.0000 0.1562 0.0592 0.0474
304-AH 0.0000 0.0000 0.0160 0.0430 0.1250 0.0310 0.0427 0.0430 0.1250 1.3792 0.0010 0.0000 0.0321 0.0000 0.0553 0.0151 0.0194
305-AH 0.0000 0.0000 0.1496 0.1869 0.3839 0.1230 0.1041 0.1869 0.3839 0.8463 0.0088 0.0000 0.0849 0.0000 0.3839 0.1230 0.1041
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0000 0.0282 0.1254 0.3776 0.0998 0.1400 0.1254 0.3776 1.4032 0.0012 0.0000 0.1082 0.0000 0.1508 0.0354 0.0512
308-AH 0.0000 0.1333 0.4258 0.7636 1.0000 0.4703 0.3730 0.6303 1.0000 0.7931 0.0364 0.0000 0.3165 0.0000 1.0000 0.4703 0.3730
309-AH 0.0132 0.0208 0.0423 0.0460 0.0656 0.0366 0.0159 0.0252 0.0524 0.4357 0.0328 0.0287 0.0134 0.0132 0.0656 0.0366 0.0159
310-AH 0.0000 0.0000 0.0000 0.0000 0.0593 0.0055 0.0171 0.0000 0.0593 3.0868 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0676 0.1190 0.1380 0.3065 0.1245 0.0839 0.0704 0.3065 0.6737 0.0691 0.0002 0.0621 0.0000 0.2147 0.0962 0.0515
312-AH 0.0000 0.0000 0.2946 0.4005 0.7188 0.2612 0.2536 0.4005 0.7188 0.9711 0.0128 0.0000 0.2179 0.0000 0.7188 0.2612 0.2536
313-AH 0.0000 0.0000 0.0074 0.0510 0.1138 0.0281 0.0369 0.0510 0.1138 1.3139 0.0007 0.0000 0.0303 0.0000 0.1138 0.0281 0.0369
314-AH 0.0000 0.0195 0.0667 0.0952 0.1007 0.0591 0.0394 0.0758 0.1007 0.6664 0.0081 0.0000 0.0331 0.0000 0.1007 0.0591 0.0394
315-AH 0.0000 0.0000 0.1247 0.2046 0.4242 0.1327 0.1319 0.2046 0.4242 0.9939 0.0058 0.0000 0.1086 0.0000 0.4242 0.1327 0.1319
316-AH 0.0000 0.0000 0.0000 0.1294 0.2029 0.0640 0.0761 0.1294 0.2029 1.1888 0.0007 0.0000 0.0704 0.0000 0.2029 0.0640 0.0761
317-AH 0.0000 0.0287 0.0661 0.1102 0.1400 0.0667 0.0497 0.0816 0.1400 0.7446 0.0124 0.0000 0.0401 0.0000 0.1400 0.0667 0.0497
318-AH 0.0000 0.0316 0.0742 0.1159 0.4375 0.0907 0.0959 0.0843 0.4375 1.0583 0.0212 0.0001 0.0609 0.0000 0.1633 0.0724 0.0518
319-AH 0.0000 0.0000 0.0089 0.0765 0.2857 0.0570 0.0900 0.0765 0.2857 1.5782 0.0009 0.0000 0.0663 0.0000 0.0769 0.0225 0.0323
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0147 0.0426 0.0081 0.0120 0.0147 0.0426 1.4786 0.0002 0.0000 0.0097 0.0000 0.0275 0.0063 0.0091
323-AH 0.0000 0.0000 0.0439 0.0592 0.1118 0.0397 0.0333 0.0592 0.1118 0.8391 0.0040 0.0000 0.0258 0.0000 0.1118 0.0397 0.0333
324-AH 0.0000 0.0000 0.0000 0.3399 0.5778 0.1596 0.2122 0.3399 0.5778 1.3295 0.0010 0.0000 0.1837 0.0000 0.5778 0.1596 0.2122
325-AH 0.0601 0.2086 0.3209 0.3613 0.5789 0.2970 0.1344 0.1527 0.5188 0.4525 0.2585 0.2090 0.1022 0.0601 0.5789 0.2970 0.1344
326-AH 0.0000 0.0000 0.0085 0.0304 0.0750 0.0178 0.0211 0.0304 0.0750 1.1820 0.0019 0.0000 0.0169 0.0000 0.0750 0.0178 0.0211
327-AH 0.0000 0.0000 0.0066 0.0575 0.5000 0.0986 0.1791 0.0575 0.5000 1.8163 0.0022 0.0000 0.1367 0.0000 0.0750 0.0132 0.0211
328-AH 0.0000 0.3053 0.5232 0.5484 0.6000 0.4217 0.2154 0.2431 0.6000 0.5106 0.2113 0.0002 0.1800 0.0000 0.6000 0.4217 0.2154
329-AH 0.0741 0.5774 0.6000 0.7500 0.7778 0.6210 0.1582 0.1726 0.7037 0.2548 0.5775 0.4617 0.1022 0.5217 0.7778 0.6498 0.0945
330-AH 0.0000 0.2049 0.6607 0.7417 0.7959 0.5268 0.2796 0.5368 0.7959 0.5307 0.2704 0.0002 0.2479 0.0000 0.7959 0.5268 0.2796
331-AH 0.0130 0.1033 0.2376 0.2673 0.4815 0.1981 0.1210 0.1640 0.4684 0.6106 0.1377 0.0687 0.0928 0.0130 0.4815 0.1981 0.1210
332-AH 0.0000 0.0531 0.2143 0.2308 0.2727 0.1618 0.0960 0.1776 0.2727 0.5931 0.0755 0.0002 0.0844 0.0000 0.2727 0.1618 0.0960
333-AH 0.0000 0.5833 1.0000 1.0000 1.0000 0.7789 0.3944 0.4167 1.0000 0.5063 0.3784 0.0002 0.3316 0.0000 1.0000 0.7789 0.3944
334-AH 0.0113 0.0471 0.0833 0.1150 0.1667 0.0807 0.0418 0.0678 0.1554 0.5180 0.0672 0.0507 0.0336 0.0113 0.1667 0.0807 0.0418
335-AH 0.0000 0.0361 0.0541 0.0698 0.1264 0.0538 0.0291 0.0337 0.1264 0.5414 0.0327 0.0002 0.0210 0.0000 0.0873 0.0500 0.0242
336-AH 0.0000 0.0000 0.0063 0.0250 0.0839 0.0207 0.0304 0.0250 0.0839 1.4696 0.0006 0.0000 0.0231 0.0000 0.0541 0.0096 0.0148
337-AH 0.0000 0.0000 0.6437 0.7368 0.8750 0.4619 0.3544 0.7368 0.8750 0.7672 0.0207 0.0000 0.3213 0.0000 0.8750 0.4619 0.3544
338-AH 0.0000 0.0791 0.2729 0.7889 0.8889 0.4079 0.3662 0.7098 0.8889 0.8976 0.1331 0.0002 0.3419 0.0000 0.8889 0.4079 0.3662
339-AH 0.0569 0.2967 0.4246 0.5167 0.8750 0.4348 0.1984 0.2200 0.8181 0.4562 0.3810 0.3001 0.1458 0.0569 0.7619 0.4116 0.1738
340-AH 0.1429 0.2872 0.3333 0.3818 0.8000 0.3706 0.1618 0.0946 0.6571 0.4366 0.3429 0.3190 0.1097 0.2083 0.4167 0.3210 0.0557
67
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.1205 0.1719 1.0000 1.0000 0.4102 0.4237 0.8795 1.0000 1.0328 0.0884 0.0001 0.3843 0.0000 1.0000 0.4102 0.4237
342-AH 0.0000 0.1097 0.3796 0.5959 0.7822 0.3515 0.2696 0.4862 0.7822 0.7670 0.0297 0.0000 0.2267 0.0000 0.7822 0.3515 0.2696
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.0000 0.0914 0.2021 0.3317 0.5333 0.2259 0.1439 0.2403 0.5333 0.6369 0.1188 0.0002 0.1157 0.0000 0.5333 0.2259 0.1439
345-AH 0.0000 0.0000 0.0724 0.1420 0.2333 0.0804 0.0814 0.1420 0.2333 1.0123 0.0041 0.0000 0.0662 0.0000 0.2333 0.0804 0.0814
346-AH 0.0000 0.0142 0.0452 0.0729 0.1039 0.0452 0.0329 0.0587 0.1039 0.7281 0.0126 0.0001 0.0267 0.0000 0.1039 0.0452 0.0329
347-AH 0.0000 0.0000 0.0275 0.0350 0.0875 0.0250 0.0225 0.0350 0.0875 0.9024 0.0028 0.0000 0.0173 0.0000 0.0875 0.0250 0.0225
348-AH 0.0000 0.3370 1.0000 1.0000 1.0000 0.7347 0.4383 0.6630 1.0000 0.5966 0.2026 0.0002 0.3715 0.0000 1.0000 0.7347 0.4383
349-AH 0.0343 0.1912 0.2592 0.2868 0.4750 0.2444 0.0899 0.0956 0.4407 0.3680 0.2219 0.1815 0.0639 0.1275 0.3393 0.2433 0.0576
350-AH 0.0000 0.2581 0.4880 0.6364 0.8750 0.4638 0.2635 0.3783 0.8750 0.5681 0.2357 0.0002 0.2140 0.0000 0.8750 0.4638 0.2635
68
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.0000 0.1332 0.9375 1.0000 1.0000 0.6883 0.4385 0.8668 1.0000 0.6371 0.0711 0.0000 0.3864 0.0000 1.0000 0.6883 0.4385
143-AH 0.0000 0.0684 0.3571 0.5079 0.7111 0.3200 0.2431 0.4396 0.7111 0.7599 0.0275 0.0000 0.2080 0.0000 0.7111 0.3200 0.2431
144-AH 0.0000 0.0165 0.1539 0.2404 0.6000 0.1553 0.1510 0.2239 0.6000 0.9726 0.0147 0.0000 0.1115 0.0000 0.3750 0.1319 0.1119
145-AH 0.0000 0.0448 0.1225 0.1984 0.3735 0.1437 0.1222 0.1536 0.3735 0.8503 0.0149 0.0000 0.0932 0.0000 0.3735 0.1437 0.1222
146-AH 0.0000 0.0023 0.0113 0.0135 0.0741 0.0148 0.0182 0.0112 0.0741 1.2296 0.0024 0.0000 0.0120 0.0000 0.0270 0.0084 0.0073
147-AH 0.0000 0.0548 0.3705 0.5061 0.8235 0.3399 0.2645 0.4513 0.8235 0.7782 0.0283 0.0000 0.2228 0.0000 0.8235 0.3399 0.2645
148-AH 0.0000 0.0154 0.0194 0.0337 0.0575 0.0233 0.0144 0.0183 0.0575 0.6179 0.0108 0.0001 0.0114 0.0000 0.0575 0.0233 0.0144
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0564 0.1524 0.2222 0.0765 0.0780 0.1524 0.2222 1.0191 0.0057 0.0000 0.0646 0.0000 0.2222 0.0765 0.0780
151-AH 0.0000 0.0000 0.0000 0.0062 0.0165 0.0035 0.0063 0.0062 0.0165 1.7880 0.0001 0.0000 0.0053 0.0000 0.0143 0.0028 0.0057
152-AH 0.0000 0.0166 0.0928 0.2477 1.0000 0.1671 0.2248 0.2312 1.0000 1.3459 0.0266 0.0001 0.1469 0.0000 0.2812 0.1232 0.1131
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0000 0.0270 0.0463 0.0714 0.1018 0.0500 0.0294 0.0444 0.1018 0.5892 0.0296 0.0002 0.0253 0.0000 0.1018 0.0500 0.0294
155-AH 0.0000 0.0038 0.0296 0.0561 0.3000 0.0475 0.0707 0.0523 0.3000 1.4903 0.0047 0.0000 0.0443 0.0000 0.1304 0.0342 0.0394
156-AH 0.0000 0.0000 0.0303 0.0422 0.0641 0.0249 0.0227 0.0422 0.0641 0.9106 0.0014 0.0000 0.0205 0.0000 0.0641 0.0249 0.0227
157-AH 0.0000 0.0000 0.2323 0.4071 0.5463 0.2339 0.2032 0.4071 0.5463 0.8688 0.0136 0.0000 0.1677 0.0000 0.5463 0.2339 0.2032
158-AH 0.0000 0.0000 0.0647 0.1556 0.3816 0.0826 0.0984 0.1556 0.3816 1.1916 0.0027 0.0000 0.0744 0.0000 0.3816 0.0826 0.0984
159-AH 0.0000 0.0000 0.0566 0.2193 0.3697 0.1159 0.1480 0.2193 0.3697 1.2775 0.0031 0.0000 0.1212 0.0000 0.3697 0.1159 0.1480
160-AH 0.0000 0.0018 0.0213 0.0506 0.1818 0.0403 0.0512 0.0488 0.1818 1.2707 0.0045 0.0000 0.0370 0.0000 0.0870 0.0261 0.0280
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0000 0.1684 0.6429 0.7849 0.8684 0.5017 0.3313 0.6165 0.8684 0.6603 0.0405 0.0000 0.2813 0.0000 0.8684 0.5017 0.3313
164-AH 0.0000 0.0000 0.0247 0.0441 0.1930 0.0469 0.0623 0.0441 0.1930 1.3272 0.0037 0.0000 0.0461 0.0000 0.1039 0.0234 0.0261
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0041 0.0333 0.0541 0.1429 0.0372 0.0365 0.0500 0.1429 0.9820 0.0050 0.0000 0.0279 0.0000 0.0952 0.0316 0.0275
168-AH 0.0000 0.1472 0.3947 0.4616 0.5455 0.3246 0.1908 0.3144 0.5455 0.5879 0.1453 0.0002 0.1614 0.0000 0.5455 0.3246 0.1908
169-AH 0.0000 0.0000 0.0000 0.0117 0.0746 0.0080 0.0173 0.0117 0.0746 2.1702 0.0001 0.0000 0.0106 0.0000 0.0207 0.0045 0.0075
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0203 0.0296 0.0496 0.0988 0.0364 0.0306 0.0293 0.0988 0.8411 0.0075 0.0000 0.0231 0.0000 0.0909 0.0332 0.0276
172-AH 0.0101 0.0417 0.0493 0.0751 0.1200 0.0576 0.0255 0.0335 0.1099 0.4431 0.0515 0.0433 0.0203 0.0101 0.1200 0.0576 0.0255
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.0031 0.5625 1.0000 1.0000 1.0000 0.7633 0.4214 0.4375 0.9969 0.5521 0.4003 0.0421 0.3550 0.0031 1.0000 0.7633 0.4214
175-AH 0.0000 0.0160 0.5727 0.8036 1.0000 0.4911 0.3782 0.7875 1.0000 0.7702 0.0353 0.0000 0.3225 0.0000 1.0000 0.4911 0.3782
176-AH 0.0000 0.3691 0.6429 0.8357 0.8537 0.5739 0.2730 0.4665 0.8537 0.4757 0.3136 0.0002 0.2270 0.0000 0.8537 0.5739 0.2730
177-AH 0.0000 0.0065 0.0168 0.0447 0.1719 0.0352 0.0490 0.0382 0.1719 1.3926 0.0041 0.0000 0.0339 0.0000 0.0682 0.0207 0.0212
178-AH 0.0000 0.0000 0.0000 0.0044 0.0208 0.0031 0.0058 0.0044 0.0208 1.8796 0.0001 0.0000 0.0043 0.0000 0.0078 0.0010 0.0023
179-AH 0.0000 0.0113 0.0845 0.1836 0.8261 0.1453 0.2037 0.1724 0.8261 1.4019 0.0118 0.0000 0.1347 0.0000 0.3016 0.0870 0.0866
180-AH 0.0000 0.0237 0.0916 0.3679 0.6182 0.2023 0.2215 0.3442 0.6182 1.0952 0.0160 0.0000 0.1888 0.0000 0.6182 0.2023 0.2215
181-AH 0.0000 0.1165 0.6998 0.7854 0.8333 0.5213 0.3468 0.6689 0.8333 0.6653 0.0411 0.0000 0.3110 0.0000 0.8333 0.5213 0.3468
182-AH 0.0000 0.0145 0.0613 0.1106 0.1739 0.0653 0.0541 0.0961 0.1739 0.8286 0.0210 0.0001 0.0458 0.0000 0.1739 0.0653 0.0541
183-AH 0.0000 0.0043 0.0186 0.0644 0.2353 0.0627 0.0891 0.0601 0.2353 1.4224 0.0054 0.0000 0.0690 0.0000 0.0755 0.0203 0.0223
184-AH 0.0000 0.0000 0.0356 0.0628 0.0952 0.0359 0.0304 0.0628 0.0952 0.8476 0.0037 0.0000 0.0268 0.0000 0.0952 0.0359 0.0304
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.0698 0.6667 0.8036 0.8750 0.5337 0.3542 0.7338 0.8750 0.6638 0.0415 0.0000 0.3062 0.0000 0.8750 0.5337 0.3542
190-AH 0.0000 0.0000 0.0000 0.0158 0.0444 0.0082 0.0146 0.0158 0.0444 1.7840 0.0001 0.0000 0.0114 0.0000 0.0221 0.0042 0.0085
69
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0431 0.4006 1.0000 0.2463 0.3521 0.4006 1.0000 1.4295 0.0081 0.0000 0.2920 0.0000 1.0000 0.2463 0.3521
193-AH 0.0000 0.0638 0.1623 0.2458 0.6000 0.1943 0.1755 0.1820 0.6000 0.9030 0.0186 0.0000 0.1242 0.0000 0.4000 0.1493 0.1136
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.1634 0.1993 0.3030 0.7778 0.2586 0.2250 0.1396 0.7778 0.8703 0.0359 0.0000 0.1631 0.0000 0.4878 0.1824 0.1307
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0000 0.2636 0.5147 0.6154 0.7500 0.4529 0.2560 0.3517 0.7500 0.5653 0.2043 0.0002 0.2032 0.0000 0.7500 0.4529 0.2560
200-AH 0.0000 0.0141 0.0574 0.0745 0.4706 0.0765 0.1074 0.0604 0.4706 1.4046 0.0080 0.0000 0.0628 0.0000 0.1633 0.0468 0.0411
251-AH 0.0000 0.0272 0.1048 0.1372 0.2342 0.0955 0.0722 0.1101 0.2342 0.7557 0.0113 0.0000 0.0597 0.0000 0.2342 0.0955 0.0722
252-AH 0.0581 0.1406 0.2137 0.2895 0.3750 0.2161 0.0982 0.1490 0.3169 0.4545 0.1886 0.1566 0.0789 0.0581 0.3750 0.2161 0.0982
253-AH 0.0000 0.0000 0.0000 0.0000 0.1786 0.0089 0.0399 0.0000 0.1786 4.4721 0.0000 0.0000 0.0170 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.1932 0.0097 0.0432 0.0000 0.1932 4.4721 0.0000 0.0000 0.0184 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0209 0.0621 0.2353 0.5714 0.1469 0.1832 0.2144 0.5714 1.2465 0.0315 0.0001 0.1494 0.0000 0.4444 0.1246 0.1577
256-AH 0.0000 0.0940 0.6682 0.7632 0.7692 0.4812 0.3205 0.6692 0.7692 0.6661 0.0914 0.0001 0.2843 0.0000 0.7692 0.4812 0.3205
257-AH 0.0000 0.0656 0.0884 0.1189 0.1828 0.0852 0.0522 0.0533 0.1828 0.6123 0.0161 0.0000 0.0388 0.0000 0.1828 0.0852 0.0522
258-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0096 0.0211 0.0000 0.0714 2.2025 0.0001 0.0000 0.0154 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0037 0.0066 0.0216 0.0469 0.0128 0.0127 0.0178 0.0469 0.9944 0.0037 0.0001 0.0106 0.0000 0.0469 0.0128 0.0127
260-AH 0.0000 0.1123 0.3925 0.5393 0.5930 0.3379 0.2252 0.4270 0.5930 0.6664 0.0300 0.0000 0.1869 0.0000 0.5930 0.3379 0.2252
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.2361 0.0375 0.0795 0.0000 0.2361 2.1183 0.0001 0.0000 0.0601 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0253 0.1269 0.1741 0.0578 0.0668 0.1269 0.1741 1.1556 0.0010 0.0000 0.0585 0.0000 0.1741 0.0578 0.0668
264-AH 0.0000 0.0148 0.0981 0.2186 0.2647 0.1122 0.0944 0.2038 0.2647 0.8416 0.0120 0.0000 0.0768 0.0000 0.2647 0.1122 0.0944
265-AH 0.0000 0.0316 0.1244 0.1824 0.4545 0.1373 0.1226 0.1507 0.4545 0.8929 0.0142 0.0000 0.0907 0.0000 0.3571 0.1206 0.0999
266-AH 0.0000 0.0000 0.0000 0.0170 0.1379 0.0144 0.0318 0.0170 0.1379 2.2023 0.0002 0.0000 0.0185 0.0000 0.0310 0.0058 0.0096
267-AH 0.0000 0.0510 0.0675 0.0775 0.1508 0.0691 0.0359 0.0265 0.1508 0.5200 0.0426 0.0002 0.0231 0.0184 0.0963 0.0635 0.0191
268-AH 0.0000 0.0048 0.0110 0.0371 0.1304 0.0276 0.0370 0.0324 0.1304 1.3408 0.0044 0.0000 0.0274 0.0000 0.0732 0.0175 0.0207
269-AH 0.0000 0.0084 0.0425 0.0668 0.1231 0.0439 0.0386 0.0584 0.1231 0.8781 0.0059 0.0000 0.0312 0.0000 0.1231 0.0439 0.0386
270-AH 0.0000 0.2913 0.3886 0.5027 0.6389 0.3716 0.1673 0.2115 0.6389 0.4501 0.2108 0.0002 0.1381 0.0000 0.6389 0.3716 0.1673
271-AH 0.0000 0.0000 0.2089 0.3465 0.4878 0.2004 0.1748 0.3465 0.4878 0.8721 0.0116 0.0000 0.1576 0.0000 0.4878 0.2004 0.1748
272-AH 0.0000 0.0124 0.1763 0.2212 0.3077 0.1345 0.1157 0.2087 0.3077 0.8599 0.0127 0.0000 0.1065 0.0000 0.3077 0.1345 0.1157
273-AH 0.0000 0.0000 0.2763 0.5492 0.8750 0.2968 0.2727 0.5492 0.8750 0.9187 0.0101 0.0000 0.2214 0.0000 0.8750 0.2968 0.2727
274-AH 0.0000 0.0066 0.0467 0.1415 0.2453 0.0758 0.0760 0.1349 0.2453 1.0023 0.0082 0.0000 0.0632 0.0000 0.2453 0.0758 0.0760
275-AH 0.0000 0.0000 0.1126 0.2024 0.4109 0.1332 0.1289 0.2024 0.4109 0.9679 0.0088 0.0000 0.1036 0.0000 0.4109 0.1332 0.1289
276-AH 0.0000 0.0324 0.1034 0.1778 0.3429 0.1163 0.0972 0.1454 0.3429 0.8356 0.0128 0.0000 0.0739 0.0000 0.3429 0.1163 0.0972
277-AH 0.0000 0.0000 0.0000 0.0000 0.0693 0.0035 0.0155 0.0000 0.0693 4.4721 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0266 0.1241 0.0243 0.0446 0.0266 0.1241 1.8404 0.0002 0.0000 0.0321 0.0000 0.0407 0.0066 0.0130
279-AH 0.0000 0.0000 0.0152 0.0270 0.0656 0.0186 0.0188 0.0270 0.0656 1.0098 0.0022 0.0000 0.0141 0.0000 0.0656 0.0186 0.0188
280-AH 0.0000 0.0000 0.0000 0.0000 0.0373 0.0052 0.0111 0.0000 0.0373 2.1334 0.0000 0.0000 0.0083 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.1594 0.1783 0.2230 0.2576 0.1763 0.0663 0.0636 0.2576 0.3761 0.1082 0.0002 0.0486 0.0704 0.2576 0.1855 0.0531
282-AH 0.0000 0.0000 0.0558 0.0946 0.1689 0.0564 0.0489 0.0946 0.1689 0.8669 0.0050 0.0000 0.0401 0.0000 0.1689 0.0564 0.0489
283-AH 0.0000 0.0000 0.0000 0.0363 0.3333 0.0487 0.1024 0.0363 0.3333 2.1032 0.0002 0.0000 0.0671 0.0000 0.0658 0.0103 0.0201
284-AH 0.0000 0.0796 0.3750 0.3913 0.4211 0.2772 0.1728 0.3117 0.4211 0.6232 0.0263 0.0000 0.1504 0.0000 0.4211 0.2772 0.1728
285-AH 0.0000 0.0000 0.1729 0.4014 0.6914 0.2434 0.2589 0.4014 0.6914 1.0637 0.0053 0.0000 0.2232 0.0000 0.6914 0.2434 0.2589
286-AH 0.0000 0.0000 0.0000 0.0000 0.0109 0.0022 0.0045 0.0000 0.0109 2.0520 0.0000 0.0000 0.0035 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0297 0.1813 0.2133 0.3670 0.1515 0.1117 0.1837 0.3670 0.7369 0.0159 0.0000 0.0924 0.0000 0.3670 0.1515 0.1117
288-AH 0.0000 0.0000 0.0000 0.0385 0.1713 0.0371 0.0685 0.0385 0.1713 1.8448 0.0001 0.0000 0.0557 0.0000 0.0770 0.0048 0.0193
289-AH 0.0000 0.1596 0.4492 0.7208 0.7500 0.4342 0.2931 0.5612 0.7500 0.6749 0.0362 0.0000 0.2420 0.0000 0.7500 0.4342 0.2931
290-AH 0.0000 0.0000 0.0787 0.1122 0.3445 0.0792 0.0847 0.1122 0.3445 1.0695 0.0042 0.0000 0.0618 0.0000 0.1896 0.0652 0.0588
70
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0362 0.0578 0.0909 0.1983 0.0687 0.0563 0.0547 0.1983 0.8194 0.0125 0.0000 0.0436 0.0000 0.1437 0.0557 0.0416
292-AH 0.0052 0.0352 0.3485 0.5833 1.0000 0.4037 0.3594 0.5481 0.9948 0.8902 0.1769 0.0349 0.2826 0.0052 1.0000 0.4037 0.3594
293-AH 0.0000 0.1667 0.3811 0.4418 0.5185 0.3134 0.1924 0.2752 0.5185 0.6141 0.0290 0.0000 0.1567 0.0000 0.5185 0.3134 0.1924
294-AH 0.0000 0.2157 0.5175 0.5921 0.6471 0.4222 0.2567 0.3764 0.6471 0.6080 0.0364 0.0000 0.2111 0.0000 0.6471 0.4222 0.2567
295-AH 0.0000 0.0000 0.0000 0.0257 0.1701 0.0339 0.0644 0.0257 0.1701 1.9000 0.0001 0.0000 0.0509 0.0000 0.0514 0.0032 0.0128
296-AH 0.0000 0.0000 0.2000 0.2671 0.5556 0.1935 0.1833 0.2671 0.5556 0.9474 0.0110 0.0000 0.1505 0.0000 0.5556 0.1935 0.1833
297-AH 0.0000 0.0111 0.0157 0.0302 0.1299 0.0335 0.0431 0.0191 0.1299 1.2842 0.0056 0.0000 0.0312 0.0000 0.0316 0.0140 0.0105
298-AH 0.0000 0.0167 0.0640 0.0944 0.1420 0.0597 0.0446 0.0777 0.1420 0.7479 0.0079 0.0000 0.0373 0.0000 0.1420 0.0597 0.0446
299-AH 0.0000 0.0480 0.1739 0.2792 0.3697 0.1728 0.1299 0.2313 0.3697 0.7514 0.0175 0.0000 0.1071 0.0000 0.3697 0.1728 0.1299
300-AH 0.0000 0.0475 0.1460 0.2043 0.2208 0.1278 0.0839 0.1568 0.2208 0.6565 0.0146 0.0000 0.0692 0.0000 0.2208 0.1278 0.0839
301-AH 0.0000 0.0000 0.0000 0.0000 0.0405 0.0036 0.0111 0.0000 0.0405 3.1082 0.0000 0.0000 0.0064 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0184 0.1707 0.2000 0.3111 0.1393 0.1058 0.1817 0.3111 0.7594 0.0145 0.0000 0.0919 0.0000 0.3111 0.1393 0.1058
303-AH 0.0000 0.0000 0.0081 0.0321 0.0531 0.0175 0.0204 0.0321 0.0531 1.1699 0.0006 0.0000 0.0176 0.0000 0.0531 0.0175 0.0204
304-AH 0.0000 0.0000 0.0081 0.0304 0.1000 0.0228 0.0323 0.0304 0.1000 1.4187 0.0006 0.0000 0.0246 0.0000 0.0622 0.0143 0.0199
305-AH 0.0000 0.0000 0.1274 0.1709 0.3203 0.1017 0.0922 0.1709 0.3203 0.9069 0.0050 0.0000 0.0793 0.0000 0.3203 0.1017 0.0922
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0000 0.0000 0.0976 0.2925 0.0633 0.0946 0.0976 0.2925 1.4947 0.0005 0.0000 0.0759 0.0000 0.1766 0.0391 0.0618
308-AH 0.0000 0.0682 0.1915 0.3832 1.0000 0.2705 0.2759 0.3150 1.0000 1.0201 0.0225 0.0000 0.2021 0.0000 0.8182 0.2321 0.2219
309-AH 0.0000 0.0193 0.0328 0.0433 0.0656 0.0320 0.0160 0.0240 0.0656 0.5006 0.0204 0.0002 0.0122 0.0000 0.0656 0.0320 0.0160
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0756 0.0885 0.2018 0.0747 0.0717 0.0885 0.2018 0.9596 0.0041 0.0000 0.0539 0.0000 0.2018 0.0747 0.0717
312-AH 0.0000 0.0000 0.2041 0.2697 0.6410 0.2040 0.2245 0.2697 0.6410 1.1004 0.0070 0.0000 0.1737 0.0000 0.6410 0.2040 0.2245
313-AH 0.0000 0.0000 0.0000 0.0507 0.0717 0.0200 0.0266 0.0507 0.0717 1.3291 0.0003 0.0000 0.0241 0.0000 0.0717 0.0200 0.0266
314-AH 0.0000 0.0125 0.0490 0.0777 0.1007 0.0468 0.0355 0.0652 0.1007 0.7601 0.0065 0.0000 0.0314 0.0000 0.1007 0.0468 0.0355
315-AH 0.0000 0.0000 0.0276 0.0967 0.3664 0.0806 0.1107 0.0967 0.3664 1.3725 0.0012 0.0000 0.0842 0.0000 0.2264 0.0430 0.0631
316-AH 0.0000 0.0000 0.0000 0.0000 0.1450 0.0203 0.0496 0.0000 0.1450 2.4464 0.0000 0.0000 0.0344 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0501 0.0822 0.1214 0.0489 0.0409 0.0822 0.1214 0.8364 0.0046 0.0000 0.0336 0.0000 0.1214 0.0489 0.0409
318-AH 0.0000 0.0127 0.0648 0.1142 0.1633 0.0655 0.0540 0.1015 0.1633 0.8245 0.0153 0.0001 0.0445 0.0000 0.1633 0.0655 0.0540
319-AH 0.0000 0.0000 0.0000 0.0000 0.1481 0.0128 0.0357 0.0000 0.1481 2.7838 0.0001 0.0000 0.0205 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0308 0.0033 0.0085 0.0000 0.0308 2.5865 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0338 0.0556 0.1088 0.0337 0.0336 0.0556 0.1088 0.9993 0.0017 0.0000 0.0271 0.0000 0.1088 0.0337 0.0336
324-AH 0.0000 0.0000 0.0000 0.2593 0.5169 0.1282 0.1745 0.2593 0.5169 1.3610 0.0009 0.0000 0.1474 0.0000 0.5169 0.1282 0.1745
325-AH 0.0000 0.1253 0.2659 0.3247 0.5269 0.2436 0.1396 0.1994 0.5269 0.5733 0.0887 0.0001 0.1116 0.0000 0.5269 0.2436 0.1396
326-AH 0.0000 0.0000 0.0000 0.0000 0.0063 0.0008 0.0020 0.0000 0.0063 2.4696 0.0000 0.0000 0.0014 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0000 0.0000 0.0241 0.5000 0.0786 0.1558 0.0241 0.5000 1.9812 0.0005 0.0000 0.1185 0.0000 0.0342 0.0046 0.0091
328-AH 0.0000 0.2341 0.4194 0.4762 0.6000 0.3580 0.1976 0.2421 0.6000 0.5520 0.1671 0.0002 0.1611 0.0000 0.6000 0.3580 0.1976
329-AH 0.0000 0.2601 0.5000 0.5609 0.7778 0.4482 0.2248 0.3008 0.7778 0.5016 0.2478 0.0002 0.1819 0.0000 0.7778 0.4482 0.2248
330-AH 0.0000 0.1349 0.5471 0.6975 0.7885 0.4564 0.2771 0.5626 0.7885 0.6070 0.2148 0.0002 0.2375 0.0000 0.7885 0.4564 0.2771
331-AH 0.0000 0.0924 0.1842 0.2376 0.3061 0.1668 0.0991 0.1452 0.3061 0.5940 0.0565 0.0001 0.0777 0.0000 0.3061 0.1668 0.0991
332-AH 0.0000 0.0414 0.1998 0.2175 0.2500 0.1445 0.0911 0.1760 0.2500 0.6307 0.0656 0.0002 0.0817 0.0000 0.2500 0.1445 0.0911
333-AH 0.0000 0.5833 1.0000 1.0000 1.0000 0.7789 0.3944 0.4167 1.0000 0.5063 0.3784 0.0002 0.3316 0.0000 1.0000 0.7789 0.3944
334-AH 0.0113 0.0471 0.0833 0.1150 0.1667 0.0807 0.0418 0.0678 0.1554 0.5180 0.0672 0.0507 0.0336 0.0113 0.1667 0.0807 0.0418
335-AH 0.0000 0.0201 0.0470 0.0530 0.1165 0.0425 0.0264 0.0329 0.1165 0.6203 0.0254 0.0002 0.0190 0.0000 0.0822 0.0386 0.0203
336-AH 0.0000 0.0000 0.0000 0.0000 0.0440 0.0063 0.0133 0.0000 0.0440 2.1194 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.6379 0.7036 0.8500 0.4519 0.3490 0.7036 0.8500 0.7722 0.0140 0.0000 0.3163 0.0000 0.8500 0.4519 0.3490
338-AH 0.0000 0.0437 0.1658 0.5333 0.8889 0.3166 0.3039 0.4896 0.8889 0.9600 0.0995 0.0002 0.2772 0.0000 0.8889 0.3166 0.3039
339-AH 0.0000 0.1219 0.3636 0.4722 0.7619 0.3391 0.2197 0.3504 0.7619 0.6478 0.1669 0.0002 0.1775 0.0000 0.7619 0.3391 0.2197
340-AH 0.1429 0.2872 0.3333 0.3818 0.8000 0.3706 0.1618 0.0946 0.6571 0.4366 0.3429 0.3190 0.1097 0.2083 0.4167 0.3210 0.0557
71
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.1205 0.1719 1.0000 1.0000 0.4102 0.4237 0.8795 1.0000 1.0328 0.0884 0.0001 0.3843 0.0000 1.0000 0.4102 0.4237
342-AH 0.0000 0.0607 0.3188 0.5480 0.7822 0.3103 0.2678 0.4873 0.7822 0.8628 0.0253 0.0000 0.2296 0.0000 0.7822 0.3103 0.2678
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.0000 0.0344 0.1918 0.2632 0.4219 0.1817 0.1369 0.2288 0.4219 0.7531 0.0181 0.0000 0.1102 0.0000 0.4219 0.1817 0.1369
345-AH 0.0000 0.0000 0.0319 0.0998 0.1778 0.0551 0.0642 0.0998 0.1778 1.1657 0.0029 0.0000 0.0530 0.0000 0.1778 0.0551 0.0642
346-AH 0.0000 0.0000 0.0394 0.0610 0.0874 0.0348 0.0311 0.0610 0.0874 0.8935 0.0025 0.0000 0.0270 0.0000 0.0874 0.0348 0.0311
347-AH 0.0000 0.0000 0.0116 0.0298 0.0432 0.0152 0.0154 0.0298 0.0432 1.0154 0.0010 0.0000 0.0135 0.0000 0.0432 0.0152 0.0154
348-AH 0.0000 0.3370 1.0000 1.0000 1.0000 0.7347 0.4383 0.6630 1.0000 0.5966 0.2026 0.0002 0.3715 0.0000 1.0000 0.7347 0.4383
349-AH 0.0336 0.1515 0.1991 0.2575 0.3235 0.1937 0.0707 0.1060 0.2899 0.3651 0.1767 0.1497 0.0548 0.0336 0.3235 0.1937 0.0707
350-AH 0.0000 0.0224 0.2222 0.2857 0.4444 0.1950 0.1448 0.2633 0.4444 0.7422 0.0522 0.0001 0.1210 0.0000 0.4444 0.1950 0.1448
72
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.0000 0.0141 0.2293 0.5714 1.0000 0.3293 0.3473 0.5573 1.0000 1.0547 0.0222 0.0000 0.2854 0.0000 1.0000 0.3293 0.3473
143-AH 0.0000 0.0436 0.1797 0.3028 0.5625 0.2081 0.1827 0.2592 0.5625 0.8781 0.0190 0.0000 0.1495 0.0000 0.5625 0.2081 0.1827
144-AH 0.0000 0.0165 0.1539 0.2404 0.6000 0.1553 0.1510 0.2239 0.6000 0.9726 0.0147 0.0000 0.1115 0.0000 0.3750 0.1319 0.1119
145-AH 0.0000 0.0221 0.0808 0.1562 0.3182 0.1065 0.1051 0.1341 0.3182 0.9870 0.0112 0.0000 0.0809 0.0000 0.3182 0.1065 0.1051
146-AH 0.0000 0.0023 0.0113 0.0135 0.0741 0.0148 0.0182 0.0112 0.0741 1.2296 0.0024 0.0000 0.0120 0.0000 0.0270 0.0084 0.0073
147-AH 0.0000 0.0246 0.3163 0.3647 0.5823 0.2569 0.1989 0.3401 0.5823 0.7740 0.0226 0.0000 0.1705 0.0000 0.5823 0.2569 0.1989
148-AH 0.0000 0.0000 0.0092 0.0262 0.0373 0.0138 0.0129 0.0262 0.0373 0.9359 0.0018 0.0000 0.0112 0.0000 0.0373 0.0138 0.0129
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0268 0.0765 0.1765 0.0472 0.0503 0.0765 0.1765 1.0671 0.0039 0.0000 0.0427 0.0000 0.1765 0.0472 0.0503
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0063 0.0419 0.0706 0.2083 0.0550 0.0603 0.0642 0.2083 1.0966 0.0063 0.0000 0.0454 0.0000 0.1493 0.0470 0.0497
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0000 0.0000 0.0297 0.0401 0.0736 0.0271 0.0215 0.0401 0.0736 0.7947 0.0031 0.0000 0.0175 0.0000 0.0736 0.0271 0.0215
155-AH 0.0000 0.0038 0.0296 0.0561 0.3000 0.0475 0.0707 0.0523 0.3000 1.4903 0.0047 0.0000 0.0443 0.0000 0.1304 0.0342 0.0394
156-AH 0.0000 0.0000 0.0000 0.0217 0.0385 0.0100 0.0130 0.0217 0.0385 1.3067 0.0002 0.0000 0.0120 0.0000 0.0385 0.0100 0.0130
157-AH 0.0000 0.0000 0.0672 0.2807 0.4536 0.1372 0.1636 0.2807 0.4536 1.1923 0.0016 0.0000 0.1375 0.0000 0.4536 0.1372 0.1636
158-AH 0.0000 0.0000 0.0429 0.1179 0.2696 0.0603 0.0724 0.1179 0.2696 1.2012 0.0022 0.0000 0.0562 0.0000 0.2696 0.0603 0.0724
159-AH 0.0000 0.0000 0.0000 0.1012 0.2390 0.0541 0.0965 0.1012 0.2390 1.7844 0.0001 0.0000 0.0812 0.0000 0.2390 0.0541 0.0965
160-AH 0.0000 0.0018 0.0213 0.0506 0.1818 0.0403 0.0512 0.0488 0.1818 1.2707 0.0045 0.0000 0.0370 0.0000 0.0870 0.0261 0.0280
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0000 0.0796 0.4803 0.6389 0.7603 0.3982 0.2831 0.5593 0.7603 0.7109 0.0330 0.0000 0.2451 0.0000 0.7603 0.3982 0.2831
164-AH 0.0000 0.0000 0.0000 0.0275 0.1374 0.0226 0.0415 0.0275 0.1374 1.8354 0.0001 0.0000 0.0316 0.0000 0.0296 0.0034 0.0094
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0162 0.0392 0.0495 0.0197 0.0178 0.0392 0.0495 0.9040 0.0023 0.0000 0.0154 0.0000 0.0495 0.0197 0.0178
168-AH 0.0000 0.0695 0.2477 0.4474 0.5455 0.2629 0.1920 0.3779 0.5455 0.7303 0.1107 0.0002 0.1677 0.0000 0.5455 0.2629 0.1920
169-AH 0.0000 0.0000 0.0000 0.0000 0.0207 0.0030 0.0066 0.0000 0.0207 2.2367 0.0000 0.0000 0.0048 0.0000 0.0000 0.0000 0.0000
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0000 0.0236 0.0331 0.0636 0.0220 0.0221 0.0331 0.0636 1.0045 0.0013 0.0000 0.0179 0.0000 0.0636 0.0220 0.0221
172-AH 0.0000 0.0227 0.0369 0.0534 0.0921 0.0417 0.0269 0.0306 0.0921 0.6450 0.0175 0.0001 0.0204 0.0000 0.0921 0.0417 0.0269
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.0031 0.5625 1.0000 1.0000 1.0000 0.7633 0.4214 0.4375 0.9969 0.5521 0.4003 0.0421 0.3550 0.0031 1.0000 0.7633 0.4214
175-AH 0.0000 0.0000 0.0583 0.2344 0.3500 0.1182 0.1214 0.2344 0.3500 1.0271 0.0048 0.0000 0.1127 0.0000 0.3500 0.1182 0.1214
176-AH 0.0000 0.2082 0.5670 0.6795 0.8043 0.4855 0.2703 0.4713 0.8043 0.5568 0.2421 0.0002 0.2276 0.0000 0.8043 0.4855 0.2703
177-AH 0.0000 0.0000 0.0135 0.0330 0.1667 0.0268 0.0407 0.0330 0.1667 1.5148 0.0013 0.0000 0.0276 0.0000 0.0765 0.0195 0.0245
178-AH 0.0000 0.0000 0.0000 0.0044 0.0208 0.0031 0.0058 0.0044 0.0208 1.8796 0.0001 0.0000 0.0043 0.0000 0.0078 0.0010 0.0023
179-AH 0.0000 0.0000 0.0548 0.1569 0.6667 0.1081 0.1586 0.1569 0.6667 1.4670 0.0063 0.0000 0.1063 0.0000 0.3030 0.0787 0.0912
180-AH 0.0000 0.0000 0.0368 0.2475 0.6066 0.1536 0.2173 0.2475 0.6066 1.4147 0.0022 0.0000 0.1758 0.0000 0.6066 0.1536 0.2173
181-AH 0.0000 0.0803 0.5964 0.7095 0.7757 0.4425 0.3073 0.6292 0.7757 0.6944 0.0357 0.0000 0.2752 0.0000 0.7757 0.4425 0.3073
182-AH 0.0000 0.0145 0.0613 0.1106 0.1739 0.0653 0.0541 0.0961 0.1739 0.8286 0.0210 0.0001 0.0458 0.0000 0.1739 0.0653 0.0541
183-AH 0.0000 0.0043 0.0186 0.0644 0.2353 0.0627 0.0891 0.0601 0.2353 1.4224 0.0054 0.0000 0.0690 0.0000 0.0755 0.0203 0.0223
184-AH 0.0000 0.0000 0.0198 0.0511 0.0600 0.0246 0.0244 0.0511 0.0600 0.9920 0.0014 0.0000 0.0213 0.0000 0.0600 0.0246 0.0244
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.0660 0.4833 0.6098 0.8750 0.4084 0.3021 0.5438 0.8750 0.7398 0.0333 0.0000 0.2544 0.0000 0.8750 0.4084 0.3021
190-AH 0.0000 0.0000 0.0000 0.0000 0.0391 0.0020 0.0087 0.0000 0.0391 4.4721 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000
73
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0353 0.1276 0.5000 0.0876 0.1268 0.1276 0.5000 1.4481 0.0036 0.0000 0.0903 0.0000 0.2857 0.0659 0.0839
193-AH 0.0000 0.0173 0.0809 0.1014 0.2188 0.0713 0.0564 0.0841 0.2188 0.7909 0.0090 0.0000 0.0438 0.0000 0.2188 0.0713 0.0564
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.0378 0.1515 0.2726 0.6338 0.1850 0.1726 0.2349 0.6338 0.9328 0.0173 0.0000 0.1304 0.0000 0.4545 0.1614 0.1402
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0000 0.2334 0.4868 0.6000 0.7500 0.4300 0.2658 0.3666 0.7500 0.6182 0.1111 0.0001 0.2099 0.0000 0.7500 0.4300 0.2658
200-AH 0.0000 0.0046 0.0218 0.0366 0.1098 0.0286 0.0320 0.0321 0.1098 1.1211 0.0039 0.0000 0.0233 0.0000 0.0841 0.0207 0.0217
251-AH 0.0000 0.0000 0.0000 0.0813 0.0885 0.0319 0.0405 0.0813 0.0885 1.2693 0.0004 0.0000 0.0383 0.0000 0.0885 0.0319 0.0405
252-AH 0.0000 0.0742 0.1386 0.1988 0.3034 0.1465 0.1010 0.1246 0.3034 0.6895 0.0519 0.0001 0.0851 0.0000 0.3034 0.1465 0.1010
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0209 0.0621 0.2353 0.5714 0.1469 0.1832 0.2144 0.5714 1.2465 0.0315 0.0001 0.1494 0.0000 0.4444 0.1246 0.1577
256-AH 0.0000 0.0000 0.5997 0.7213 0.7561 0.4220 0.3308 0.7213 0.7561 0.7839 0.0201 0.0000 0.3020 0.0000 0.7561 0.4220 0.3308
257-AH 0.0000 0.0000 0.0000 0.0643 0.1228 0.0324 0.0478 0.0643 0.1228 1.4783 0.0002 0.0000 0.0421 0.0000 0.1228 0.0324 0.0478
258-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0096 0.0211 0.0000 0.0714 2.2025 0.0001 0.0000 0.0154 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0037 0.0066 0.0216 0.0469 0.0128 0.0127 0.0178 0.0469 0.9944 0.0037 0.0001 0.0106 0.0000 0.0469 0.0128 0.0127
260-AH 0.0000 0.0833 0.3061 0.3563 0.4488 0.2391 0.1611 0.2729 0.4488 0.6736 0.0231 0.0000 0.1368 0.0000 0.4488 0.2391 0.1611
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.1375 0.0123 0.0381 0.0000 0.1375 3.1028 0.0000 0.0000 0.0221 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0895 0.1362 0.0417 0.0525 0.0895 0.1362 1.2584 0.0006 0.0000 0.0459 0.0000 0.1362 0.0417 0.0525
264-AH 0.0000 0.0000 0.0555 0.1015 0.1258 0.0570 0.0457 0.1015 0.1258 0.8010 0.0052 0.0000 0.0381 0.0000 0.1258 0.0570 0.0457
265-AH 0.0000 0.0000 0.0476 0.1028 0.3158 0.0717 0.0882 0.1028 0.3158 1.2316 0.0035 0.0000 0.0666 0.0000 0.2222 0.0588 0.0688
266-AH 0.0000 0.0000 0.0000 0.0170 0.1379 0.0144 0.0318 0.0170 0.1379 2.2023 0.0002 0.0000 0.0185 0.0000 0.0310 0.0058 0.0096
267-AH 0.0000 0.0202 0.0381 0.0659 0.1508 0.0470 0.0419 0.0457 0.1508 0.8920 0.0128 0.0001 0.0300 0.0000 0.0717 0.0355 0.0235
268-AH 0.0000 0.0048 0.0110 0.0371 0.1304 0.0276 0.0370 0.0324 0.1304 1.3408 0.0044 0.0000 0.0274 0.0000 0.0732 0.0175 0.0207
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0724 0.2075 0.3333 0.4380 0.2024 0.1389 0.2609 0.4380 0.6861 0.0691 0.0001 0.1217 0.0000 0.4380 0.2024 0.1389
271-AH 0.0000 0.0000 0.1101 0.2052 0.3385 0.1200 0.1120 0.2052 0.3385 0.9333 0.0079 0.0000 0.0966 0.0000 0.3385 0.1200 0.1120
272-AH 0.0000 0.0000 0.0484 0.1970 0.3023 0.1003 0.1071 0.1970 0.3023 1.0670 0.0064 0.0000 0.0962 0.0000 0.3023 0.1003 0.1071
273-AH 0.0000 0.0000 0.2166 0.2820 0.6522 0.1784 0.1718 0.2820 0.6522 0.9633 0.0072 0.0000 0.1398 0.0000 0.6522 0.1784 0.1718
274-AH 0.0000 0.0000 0.0000 0.0600 0.1007 0.0270 0.0376 0.0600 0.1007 1.3922 0.0005 0.0000 0.0318 0.0000 0.1007 0.0270 0.0376
275-AH 0.0000 0.0000 0.0000 0.1076 0.2202 0.0544 0.0736 0.1076 0.2202 1.3527 0.0004 0.0000 0.0653 0.0000 0.2202 0.0544 0.0736
276-AH 0.0000 0.0000 0.0830 0.0932 0.2053 0.0756 0.0703 0.0932 0.2053 0.9305 0.0042 0.0000 0.0535 0.0000 0.2053 0.0756 0.0703
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0126 0.0653 0.0127 0.0243 0.0126 0.0653 1.9223 0.0001 0.0000 0.0190 0.0000 0.0252 0.0016 0.0063
279-AH 0.0000 0.0000 0.0152 0.0270 0.0656 0.0186 0.0188 0.0270 0.0656 1.0098 0.0022 0.0000 0.0141 0.0000 0.0656 0.0186 0.0188
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.1232 0.1674 0.1735 0.1845 0.1409 0.0538 0.0503 0.1845 0.3818 0.0864 0.0002 0.0426 0.0512 0.1845 0.1483 0.0435
282-AH 0.0000 0.0000 0.0324 0.0557 0.0826 0.0293 0.0292 0.0557 0.0826 0.9972 0.0011 0.0000 0.0263 0.0000 0.0826 0.0293 0.0292
283-AH 0.0000 0.0000 0.0000 0.0000 0.0734 0.0080 0.0204 0.0000 0.0734 2.5475 0.0000 0.0000 0.0136 0.0000 0.0000 0.0000 0.0000
284-AH 0.0000 0.0758 0.3084 0.3482 0.3763 0.2383 0.1504 0.2724 0.3763 0.6312 0.0234 0.0000 0.1283 0.0000 0.3763 0.2383 0.1504
285-AH 0.0000 0.0000 0.0401 0.3099 0.6000 0.1508 0.1974 0.3099 0.6000 1.3091 0.0016 0.0000 0.1600 0.0000 0.6000 0.1508 0.1974
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.1093 0.1656 0.2250 0.0928 0.0810 0.1656 0.2250 0.8730 0.0048 0.0000 0.0725 0.0000 0.2250 0.0928 0.0810
288-AH 0.0000 0.0000 0.0000 0.0000 0.0956 0.0164 0.0339 0.0000 0.0956 2.0642 0.0001 0.0000 0.0263 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0129 0.3825 0.5673 0.6538 0.3233 0.2620 0.5544 0.6538 0.8105 0.0249 0.0000 0.2325 0.0000 0.6538 0.3233 0.2620
290-AH 0.0000 0.0000 0.0585 0.0955 0.2447 0.0561 0.0641 0.0955 0.2447 1.1435 0.0015 0.0000 0.0505 0.0000 0.1320 0.0462 0.0475
74
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0343 0.0628 0.1570 0.0394 0.0421 0.0628 0.1570 1.0701 0.0018 0.0000 0.0336 0.0000 0.1570 0.0394 0.0421
292-AH 0.0052 0.0352 0.3485 0.5833 1.0000 0.4037 0.3594 0.5481 0.9948 0.8902 0.1769 0.0349 0.2826 0.0052 1.0000 0.4037 0.3594
293-AH 0.0000 0.0856 0.3103 0.3686 0.4079 0.2407 0.1540 0.2829 0.4079 0.6397 0.0235 0.0000 0.1279 0.0000 0.4079 0.2407 0.1540
294-AH 0.0000 0.2049 0.5100 0.5417 0.5909 0.3849 0.2322 0.3367 0.5909 0.6033 0.0340 0.0000 0.1924 0.0000 0.5909 0.3849 0.2322
295-AH 0.0000 0.0000 0.0000 0.0000 0.1078 0.0174 0.0366 0.0000 0.1078 2.1039 0.0001 0.0000 0.0278 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.1885 0.2370 0.4314 0.1605 0.1518 0.2370 0.4314 0.9458 0.0066 0.0000 0.1280 0.0000 0.4314 0.1605 0.1518
297-AH 0.0000 0.0000 0.0154 0.0282 0.0512 0.0158 0.0147 0.0282 0.0512 0.9303 0.0015 0.0000 0.0118 0.0000 0.0512 0.0158 0.0147
298-AH 0.0000 0.0000 0.0324 0.0555 0.0635 0.0275 0.0251 0.0555 0.0635 0.9148 0.0015 0.0000 0.0220 0.0000 0.0635 0.0275 0.0251
299-AH 0.0000 0.0000 0.1206 0.1427 0.2194 0.0857 0.0759 0.1427 0.2194 0.8861 0.0031 0.0000 0.0686 0.0000 0.2194 0.0857 0.0759
300-AH 0.0000 0.0300 0.1267 0.1610 0.1840 0.1049 0.0684 0.1310 0.1840 0.6520 0.0125 0.0000 0.0573 0.0000 0.1840 0.1049 0.0684
301-AH 0.0000 0.0000 0.0000 0.0000 0.0205 0.0010 0.0046 0.0000 0.0205 4.4721 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0616 0.1049 0.2192 0.0692 0.0696 0.1049 0.2192 1.0062 0.0038 0.0000 0.0573 0.0000 0.2192 0.0692 0.0696
303-AH 0.0000 0.0000 0.0000 0.0173 0.0531 0.0111 0.0150 0.0173 0.0531 1.3508 0.0003 0.0000 0.0122 0.0000 0.0332 0.0089 0.0116
304-AH 0.0000 0.0000 0.0000 0.0071 0.0340 0.0053 0.0102 0.0071 0.0340 1.9230 0.0001 0.0000 0.0080 0.0000 0.0170 0.0026 0.0059
305-AH 0.0000 0.0000 0.0827 0.1193 0.2632 0.0715 0.0761 0.1193 0.2632 1.0655 0.0018 0.0000 0.0643 0.0000 0.2632 0.0715 0.0761
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0000 0.0000 0.0428 0.1591 0.0279 0.0512 0.0428 0.1591 1.8360 0.0001 0.0000 0.0419 0.0000 0.1023 0.0160 0.0369
308-AH 0.0000 0.0056 0.1019 0.1739 0.2778 0.0954 0.0881 0.1683 0.2778 0.9231 0.0091 0.0000 0.0763 0.0000 0.2778 0.0954 0.0881
309-AH 0.0000 0.0000 0.0263 0.0360 0.0495 0.0223 0.0183 0.0360 0.0495 0.8208 0.0019 0.0000 0.0157 0.0000 0.0495 0.0223 0.0183
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0549 0.1357 0.0304 0.0468 0.0549 0.1357 1.5383 0.0002 0.0000 0.0395 0.0000 0.1357 0.0304 0.0468
312-AH 0.0000 0.0000 0.1057 0.1647 0.5185 0.1524 0.1903 0.1647 0.5185 1.2484 0.0038 0.0000 0.1438 0.0000 0.1647 0.0654 0.0735
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0252 0.0363 0.0867 0.0255 0.0251 0.0363 0.0867 0.9850 0.0020 0.0000 0.0187 0.0000 0.0867 0.0255 0.0251
315-AH 0.0000 0.0000 0.0000 0.0695 0.2596 0.0407 0.0649 0.0695 0.2596 1.5946 0.0004 0.0000 0.0489 0.0000 0.1049 0.0292 0.0406
316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0183 0.0614 0.0951 0.0319 0.0358 0.0614 0.0951 1.1226 0.0008 0.0000 0.0319 0.0000 0.0951 0.0319 0.0358
318-AH 0.0000 0.0081 0.0623 0.1125 0.1475 0.0615 0.0513 0.1044 0.1475 0.8339 0.0076 0.0000 0.0428 0.0000 0.1475 0.0615 0.0513
319-AH 0.0000 0.0000 0.0000 0.0000 0.0265 0.0013 0.0059 0.0000 0.0265 4.4721 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0270 0.0029 0.0073 0.0000 0.0270 2.5698 0.0000 0.0000 0.0049 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0000 0.0296 0.0628 0.0136 0.0225 0.0296 0.0628 1.6623 0.0001 0.0000 0.0190 0.0000 0.0628 0.0136 0.0225
324-AH 0.0000 0.0000 0.0000 0.1018 0.1877 0.0450 0.0667 0.1018 0.1877 1.4797 0.0003 0.0000 0.0586 0.0000 0.1877 0.0450 0.0667
325-AH 0.0000 0.0694 0.2096 0.3039 0.3179 0.1765 0.1247 0.2345 0.3179 0.7066 0.0268 0.0000 0.1116 0.0000 0.3179 0.1765 0.1247
326-AH 0.0000 0.0000 0.0000 0.0000 0.0063 0.0008 0.0020 0.0000 0.0063 2.4696 0.0000 0.0000 0.0014 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0000 0.0000 0.0241 0.5000 0.0786 0.1558 0.0241 0.5000 1.9812 0.0005 0.0000 0.1185 0.0000 0.0342 0.0046 0.0091
328-AH 0.0000 0.1457 0.3264 0.3560 0.6000 0.2716 0.1679 0.2103 0.6000 0.6181 0.0841 0.0001 0.1291 0.0000 0.6000 0.2716 0.1679
329-AH 0.0000 0.0882 0.1917 0.1988 0.2540 0.1557 0.0722 0.1106 0.2540 0.4635 0.0911 0.0002 0.0613 0.0000 0.2540 0.1557 0.0722
330-AH 0.0000 0.0000 0.3234 0.5838 0.7164 0.3156 0.2805 0.5838 0.7164 0.8887 0.0161 0.0000 0.2424 0.0000 0.7164 0.3156 0.2805
331-AH 0.0000 0.0567 0.1346 0.1442 0.2162 0.1102 0.0706 0.0874 0.2162 0.6406 0.0132 0.0000 0.0551 0.0000 0.2162 0.1102 0.0706
332-AH 0.0000 0.0242 0.1586 0.1818 0.2222 0.1177 0.0858 0.1576 0.2222 0.7289 0.0182 0.0000 0.0789 0.0000 0.2222 0.1177 0.0858
333-AH 0.0000 0.5833 1.0000 1.0000 1.0000 0.7789 0.3944 0.4167 1.0000 0.5064 0.3784 0.0002 0.3316 0.0000 1.0000 0.7789 0.3944
334-AH 0.0000 0.0114 0.0195 0.0586 0.1163 0.0397 0.0387 0.0472 0.1163 0.9745 0.0179 0.0002 0.0317 0.0000 0.1163 0.0397 0.0387
335-AH 0.0000 0.0000 0.0000 0.0357 0.0707 0.0147 0.0227 0.0357 0.0707 1.5495 0.0002 0.0000 0.0191 0.0000 0.0707 0.0147 0.0227
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.6103 0.6669 0.8182 0.4204 0.3324 0.6669 0.8182 0.7906 0.0132 0.0000 0.3080 0.0000 0.8182 0.4204 0.3324
338-AH 0.0000 0.0115 0.0919 0.3712 0.7143 0.2187 0.2487 0.3597 0.7143 1.1376 0.0200 0.0000 0.2143 0.0000 0.7143 0.2187 0.2487
339-AH 0.0000 0.0610 0.2647 0.3573 0.6667 0.2525 0.1811 0.2963 0.6667 0.7172 0.1194 0.0002 0.1449 0.0000 0.6667 0.2525 0.1811
340-AH 0.1087 0.2292 0.2878 0.3452 0.4167 0.2755 0.0931 0.1161 0.3080 0.3377 0.2573 0.2358 0.0754 0.1087 0.4167 0.2755 0.0931
75
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0188 0.0465 0.1497 0.3529 0.0978 0.1129 0.1309 0.3529 1.1544 0.0251 0.0001 0.0904 0.0000 0.3000 0.0844 0.0983
342-AH 0.0000 0.0465 0.2410 0.4270 0.6591 0.2589 0.2319 0.3806 0.6591 0.8955 0.0215 0.0000 0.2022 0.0000 0.6591 0.2589 0.2319
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.0000 0.0172 0.1548 0.1865 0.2055 0.1173 0.0807 0.1693 0.2055 0.6879 0.0132 0.0000 0.0698 0.0000 0.2055 0.1173 0.0807
345-AH 0.0000 0.0000 0.0202 0.0607 0.0978 0.0319 0.0370 0.0607 0.0978 1.1626 0.0015 0.0000 0.0309 0.0000 0.0978 0.0319 0.0370
346-AH 0.0000 0.0000 0.0221 0.0434 0.0541 0.0235 0.0212 0.0434 0.0541 0.9015 0.0019 0.0000 0.0183 0.0000 0.0541 0.0235 0.0212
347-AH 0.0000 0.0000 0.0000 0.0000 0.0314 0.0027 0.0084 0.0000 0.0314 3.1300 0.0000 0.0000 0.0048 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.3370 1.0000 1.0000 1.0000 0.7347 0.4383 0.6630 1.0000 0.5966 0.2026 0.0002 0.3715 0.0000 1.0000 0.7347 0.4383
349-AH 0.0000 0.0785 0.1355 0.1746 0.2941 0.1272 0.0715 0.0960 0.2941 0.5623 0.0714 0.0002 0.0557 0.0000 0.2941 0.1272 0.0715
350-AH 0.0000 0.0000 0.1593 0.2093 0.2571 0.1271 0.0985 0.2093 0.2571 0.7744 0.0089 0.0000 0.0867 0.0000 0.2571 0.1271 0.0985
76
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4443 0.5000 1.0000 0.5923 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4443
142-AH 0.0000 0.0141 0.2293 0.5714 1.0000 0.3293 0.3473 0.5573 1.0000 1.0547 0.0222 0.0000 0.2854 0.0000 1.0000 0.3293 0.3473
143-AH 0.0000 0.0000 0.0409 0.0791 0.3482 0.0665 0.0912 0.0791 0.3482 1.3720 0.0023 0.0000 0.0651 0.0000 0.1733 0.0434 0.0549
144-AH 0.0000 0.0165 0.1539 0.2404 0.6000 0.1553 0.1510 0.2239 0.6000 0.9726 0.0147 0.0000 0.1115 0.0000 0.3750 0.1319 0.1119
145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
146-AH 0.0000 0.0023 0.0113 0.0135 0.0741 0.0148 0.0182 0.0112 0.0741 1.2296 0.0024 0.0000 0.0120 0.0000 0.0270 0.0084 0.0073
147-AH 0.0000 0.0000 0.0508 0.2609 0.4904 0.1218 0.1469 0.2609 0.4904 1.2066 0.0015 0.0000 0.1244 0.0000 0.4904 0.1218 0.1469
148-AH 0.0000 0.0000 0.0092 0.0262 0.0373 0.0138 0.0129 0.0262 0.0373 0.9359 0.0018 0.0000 0.0112 0.0000 0.0373 0.0138 0.0129
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0141 0.0188 0.0714 0.0156 0.0206 0.0188 0.0714 1.3163 0.0007 0.0000 0.0146 0.0000 0.0426 0.0102 0.0125
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0156 0.0252 0.1019 0.0180 0.0245 0.0252 0.1019 1.3581 0.0008 0.0000 0.0167 0.0000 0.0476 0.0136 0.0149
153-AH 0.0000 0.0000 0.0000 0.0030 0.0227 0.0043 0.0074 0.0030 0.0227 1.7125 0.0002 0.0000 0.0056 0.0000 0.0033 0.0008 0.0013
154-AH 0.0000 0.0000 0.0000 0.0000 0.0285 0.0039 0.0096 0.0000 0.0285 2.4482 0.0000 0.0000 0.0067 0.0000 0.0000 0.0000 0.0000
155-AH 0.0000 0.0038 0.0296 0.0561 0.3000 0.0475 0.0707 0.0523 0.3000 1.4903 0.0047 0.0000 0.0443 0.0000 0.1304 0.0342 0.0394
156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
157-AH 0.0000 0.0000 0.0000 0.0000 0.1952 0.0192 0.0590 0.0000 0.1952 3.0785 0.0000 0.0000 0.0345 0.0000 0.0000 0.0000 0.0000
158-AH 0.0000 0.0000 0.0000 0.0000 0.1168 0.0143 0.0355 0.0000 0.1168 2.4798 0.0000 0.0000 0.0243 0.0000 0.0000 0.0000 0.0000
159-AH 0.0000 0.0000 0.0000 0.0584 0.1831 0.0326 0.0595 0.0584 0.1831 1.8244 0.0001 0.0000 0.0489 0.0000 0.1176 0.0247 0.0492
160-AH 0.0000 0.0018 0.0213 0.0506 0.1818 0.0403 0.0512 0.0488 0.1818 1.2707 0.0045 0.0000 0.0370 0.0000 0.0870 0.0261 0.0280
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0080 0.0595 0.2917 0.5000 1.0000 0.3163 0.2597 0.4405 0.9920 0.8211 0.1841 0.0717 0.2171 0.0080 1.0000 0.3163 0.2597
163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
164-AH 0.0000 0.0000 0.0000 0.0000 0.0292 0.0028 0.0087 0.0000 0.0292 3.0804 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000
165-AH 0.0065 0.3333 0.5000 1.0000 1.0000 0.6003 0.3256 0.6667 0.9935 0.5424 0.4478 0.1042 0.2798 0.0065 1.0000 0.6003 0.3256
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0162 0.0392 0.0495 0.0197 0.0178 0.0392 0.0495 0.9040 0.0023 0.0000 0.0154 0.0000 0.0495 0.0197 0.0178
168-AH 0.0000 0.0490 0.1326 0.4390 0.5455 0.2152 0.2008 0.3900 0.5455 0.9330 0.0268 0.0000 0.1772 0.0000 0.5455 0.2152 0.2008
169-AH 0.0000 0.0000 0.0000 0.0000 0.0207 0.0030 0.0066 0.0000 0.0207 2.2367 0.0000 0.0000 0.0048 0.0000 0.0000 0.0000 0.0000
170-AH 0.0029 0.5000 1.0000 1.0000 1.0000 0.7527 0.3748 0.5000 0.9971 0.4979 0.4437 0.0425 0.3214 0.0029 1.0000 0.7527 0.3748
171-AH 0.0000 0.0000 0.0000 0.0265 0.0586 0.0125 0.0214 0.0265 0.0586 1.7067 0.0001 0.0000 0.0175 0.0000 0.0586 0.0125 0.0214
172-AH 0.0000 0.0227 0.0369 0.0534 0.0921 0.0417 0.0269 0.0306 0.0921 0.6450 0.0175 0.0001 0.0204 0.0000 0.0921 0.0417 0.0269
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 0.0031 0.5625 1.0000 1.0000 1.0000 0.7633 0.4214 0.4375 0.9969 0.5521 0.4003 0.0421 0.3550 0.0031 1.0000 0.7633 0.4214
175-AH 0.0000 0.0000 0.0583 0.2344 0.3500 0.1182 0.1214 0.2344 0.3500 1.0271 0.0048 0.0000 0.1127 0.0000 0.3500 0.1182 0.1214
176-AH 0.0000 0.1145 0.4216 0.4729 0.6842 0.3449 0.2068 0.3584 0.6842 0.5997 0.1725 0.0002 0.1752 0.0000 0.6842 0.3449 0.2068
177-AH 0.0000 0.0000 0.0000 0.0231 0.1182 0.0181 0.0329 0.0231 0.1182 1.8139 0.0002 0.0000 0.0244 0.0000 0.0491 0.0064 0.0139
178-AH 0.0000 0.0000 0.0000 0.0044 0.0208 0.0031 0.0058 0.0044 0.0208 1.8796 0.0001 0.0000 0.0043 0.0000 0.0078 0.0010 0.0023
179-AH 0.0000 0.0000 0.0000 0.0652 0.5000 0.0498 0.1148 0.0652 0.5000 2.3025 0.0002 0.0000 0.0674 0.0000 0.1486 0.0262 0.0453
180-AH 0.0000 0.0000 0.0000 0.1383 0.4211 0.0867 0.1430 0.1383 0.4211 1.6493 0.0003 0.0000 0.1127 0.0000 0.3419 0.0514 0.0981
181-AH 0.0000 0.0000 0.0000 0.0000 0.1228 0.0120 0.0370 0.0000 0.1228 3.0787 0.0000 0.0000 0.0217 0.0000 0.0000 0.0000 0.0000
182-AH 0.0000 0.0145 0.0613 0.1106 0.1739 0.0653 0.0541 0.0961 0.1739 0.8286 0.0210 0.0001 0.0458 0.0000 0.1739 0.0653 0.0541
183-AH 0.0000 0.0043 0.0186 0.0644 0.2353 0.0627 0.0891 0.0601 0.2353 1.4224 0.0054 0.0000 0.0690 0.0000 0.0755 0.0203 0.0223
184-AH 0.0000 0.0000 0.0198 0.0511 0.0600 0.0246 0.0244 0.0511 0.0600 0.9920 0.0014 0.0000 0.0213 0.0000 0.0600 0.0246 0.0244
185-AH 0.0000 0.0470 0.1833 0.4167 1.0000 0.2529 0.2506 0.3697 1.0000 0.9910 0.0670 0.0002 0.1896 0.0000 0.5000 0.2136 0.1835
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0909 0.1250 0.2917 1.0000 0.1980 0.2178 0.2008 1.0000 1.0998 0.0620 0.0001 0.1397 0.0000 0.3333 0.1558 0.1115
188-AH 0.0000 0.0000 0.0068 0.0272 0.1000 0.0215 0.0324 0.0272 0.1000 1.5070 0.0017 0.0000 0.0255 0.0000 0.0588 0.0098 0.0161
189-AH 0.0000 0.0660 0.4833 0.6098 0.8750 0.4084 0.3021 0.5438 0.8750 0.7398 0.0333 0.0000 0.2544 0.0000 0.8750 0.4084 0.3021
190-AH 0.0000 0.0000 0.0000 0.0000 0.0391 0.0020 0.0087 0.0000 0.0391 4.4721 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000
77
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0353 0.1276 0.5000 0.0876 0.1268 0.1276 0.5000 1.4481 0.0036 0.0000 0.0903 0.0000 0.2857 0.0659 0.0839
193-AH 0.0000 0.0173 0.0809 0.1014 0.2188 0.0713 0.0564 0.0841 0.2188 0.7909 0.0090 0.0000 0.0438 0.0000 0.2188 0.0713 0.0564
194-AH 0.0031 0.1548 0.2500 1.0000 1.0000 0.4543 0.4179 0.8452 0.9969 0.9198 0.2287 0.0430 0.3820 0.0031 1.0000 0.4543 0.4179
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0033 0.5000 0.5000 0.5000 1.0000 0.5152 0.3011 0.0000 0.9967 0.5844 0.3512 0.0559 0.1939 0.5000 0.5000 0.5000 0.0000
197-AH 0.0000 0.0000 0.0836 0.1418 0.2825 0.0937 0.0905 0.1418 0.2825 0.9657 0.0047 0.0000 0.0726 0.0000 0.2825 0.0937 0.0905
198-AH 0.0000 0.0192 0.5000 1.0000 1.0000 0.5249 0.4633 0.9808 1.0000 0.8827 0.0330 0.0000 0.4276 0.0000 1.0000 0.5249 0.4633
199-AH 0.0000 0.1471 0.3510 0.4348 0.4545 0.2855 0.1776 0.2877 0.4545 0.6221 0.0270 0.0000 0.1428 0.0000 0.4545 0.2855 0.1776
200-AH 0.0000 0.0046 0.0218 0.0366 0.1098 0.0286 0.0320 0.0321 0.1098 1.1211 0.0039 0.0000 0.0233 0.0000 0.0841 0.0207 0.0217
251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
252-AH 0.0000 0.0000 0.0176 0.0473 0.1007 0.0287 0.0337 0.0473 0.1007 1.1749 0.0007 0.0000 0.0287 0.0000 0.1007 0.0287 0.0337
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0209 0.0621 0.2353 0.5714 0.1469 0.1832 0.2144 0.5714 1.2465 0.0315 0.0001 0.1494 0.0000 0.4444 0.1246 0.1577
256-AH 0.0000 0.0000 0.0867 0.2677 0.6071 0.1615 0.1997 0.2677 0.6071 1.2365 0.0039 0.0000 0.1621 0.0000 0.6071 0.1615 0.1997
257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0096 0.0211 0.0000 0.0714 2.2025 0.0001 0.0000 0.0154 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0037 0.0066 0.0216 0.0469 0.0128 0.0127 0.0178 0.0469 0.9944 0.0037 0.0001 0.0106 0.0000 0.0469 0.0128 0.0127
260-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.0000 0.0000 0.0375 0.0068 0.0140 0.0000 0.0375 2.0637 0.0001 0.0000 0.0109 0.0000 0.0000 0.0000 0.0000
265-AH 0.0000 0.0000 0.0476 0.1028 0.3158 0.0717 0.0882 0.1028 0.3158 1.2316 0.0035 0.0000 0.0666 0.0000 0.2222 0.0588 0.0688
266-AH 0.0000 0.0000 0.0000 0.0170 0.1379 0.0144 0.0318 0.0170 0.1379 2.2023 0.0002 0.0000 0.0185 0.0000 0.0310 0.0058 0.0096
267-AH 0.0000 0.0000 0.0000 0.0288 0.0868 0.0172 0.0271 0.0288 0.0868 1.5756 0.0003 0.0000 0.0206 0.0000 0.0322 0.0095 0.0140
268-AH 0.0000 0.0048 0.0110 0.0371 0.1304 0.0276 0.0370 0.0324 0.1304 1.3408 0.0044 0.0000 0.0274 0.0000 0.0732 0.0175 0.0207
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0000 0.0359 0.2740 0.0319 0.0694 0.0359 0.2740 2.1731 0.0001 0.0000 0.0479 0.0000 0.0785 0.0123 0.0284
271-AH 0.0000 0.0000 0.0444 0.0787 0.1043 0.0404 0.0400 0.0787 0.1043 0.9895 0.0013 0.0000 0.0366 0.0000 0.1043 0.0404 0.0400
272-AH 0.0000 0.0000 0.0000 0.0243 0.1228 0.0215 0.0338 0.0243 0.1228 1.5704 0.0004 0.0000 0.0237 0.0000 0.0581 0.0122 0.0180
273-AH 0.0000 0.0000 0.0000 0.0432 0.1930 0.0304 0.0580 0.0432 0.1930 1.9048 0.0001 0.0000 0.0456 0.0000 0.1026 0.0153 0.0354
274-AH 0.0000 0.0000 0.0000 0.0384 0.0825 0.0189 0.0296 0.0384 0.0825 1.5666 0.0002 0.0000 0.0246 0.0000 0.0825 0.0189 0.0296
275-AH 0.0000 0.0000 0.0000 0.0000 0.0837 0.0076 0.0236 0.0000 0.0837 3.0939 0.0000 0.0000 0.0137 0.0000 0.0000 0.0000 0.0000
276-AH 0.0000 0.0000 0.0000 0.0681 0.0865 0.0250 0.0352 0.0681 0.0865 1.4068 0.0002 0.0000 0.0325 0.0000 0.0865 0.0250 0.0352
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0580 0.0087 0.0213 0.0000 0.0580 2.4423 0.0000 0.0000 0.0148 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0152 0.0270 0.0656 0.0186 0.0188 0.0270 0.0656 1.0098 0.0022 0.0000 0.0141 0.0000 0.0656 0.0186 0.0188
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0602 0.0808 0.1469 0.0518 0.0535 0.0808 0.1469 1.0341 0.0015 0.0000 0.0466 0.0000 0.1469 0.0518 0.0535
282-AH 0.0000 0.0000 0.0000 0.0000 0.0364 0.0018 0.0081 0.0000 0.0364 4.4721 0.0000 0.0000 0.0035 0.0000 0.0000 0.0000 0.0000
283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
284-AH 0.0000 0.0642 0.2088 0.2500 0.3423 0.1790 0.1176 0.1858 0.3423 0.6566 0.0188 0.0000 0.0949 0.0000 0.3423 0.1790 0.1176
285-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0000 0.0000 0.1032 0.0052 0.0231 0.0000 0.1032 4.4721 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000
288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0731 0.1957 0.3103 0.0957 0.1004 0.1957 0.3103 1.0487 0.0030 0.0000 0.0887 0.0000 0.3103 0.0957 0.1004
290-AH 0.0000 0.0000 0.0000 0.0615 0.0676 0.0220 0.0308 0.0615 0.0676 1.4013 0.0002 0.0000 0.0286 0.0000 0.0676 0.0220 0.0308
78
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
292-AH 0.0052 0.0352 0.3485 0.5833 1.0000 0.4037 0.3594 0.5481 0.9948 0.8902 0.1769 0.0349 0.2826 0.0052 1.0000 0.4037 0.3594
293-AH 0.0000 0.0000 0.2001 0.2267 0.3238 0.1422 0.1105 0.2267 0.3238 0.7770 0.0098 0.0000 0.0982 0.0000 0.3238 0.1422 0.1105
294-AH 0.0000 0.0291 0.2674 0.3333 0.4737 0.2240 0.1619 0.3042 0.4737 0.7225 0.0212 0.0000 0.1397 0.0000 0.4737 0.2240 0.1619
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0984 0.1662 0.2609 0.0962 0.0944 0.1662 0.2609 0.9814 0.0032 0.0000 0.0826 0.0000 0.2609 0.0962 0.0944
297-AH 0.0000 0.0000 0.0000 0.0194 0.0453 0.0098 0.0128 0.0194 0.0453 1.3056 0.0003 0.0000 0.0108 0.0000 0.0453 0.0098 0.0128
298-AH 0.0000 0.0000 0.0000 0.0000 0.0513 0.0062 0.0155 0.0000 0.0513 2.4884 0.0000 0.0000 0.0106 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0000 0.0828 0.0082 0.0251 0.0000 0.0828 3.0783 0.0000 0.0000 0.0147 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0690 0.0846 0.0995 0.0544 0.0380 0.0846 0.0995 0.6989 0.0052 0.0000 0.0326 0.0000 0.0995 0.0544 0.0380
301-AH 0.0000 0.0000 0.0000 0.0000 0.0161 0.0008 0.0036 0.0000 0.0161 4.4721 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0388 0.0713 0.1532 0.0438 0.0464 0.0713 0.1532 1.0598 0.0028 0.0000 0.0351 0.0000 0.1532 0.0438 0.0464
303-AH 0.0000 0.0000 0.0000 0.0161 0.0290 0.0058 0.0094 0.0161 0.0290 1.6285 0.0001 0.0000 0.0081 0.0000 0.0290 0.0058 0.0094
304-AH 0.0000 0.0000 0.0000 0.0000 0.0327 0.0029 0.0090 0.0000 0.0327 3.1056 0.0000 0.0000 0.0052 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0685 0.1533 0.0379 0.0470 0.0685 0.1533 1.2400 0.0006 0.0000 0.0417 0.0000 0.1533 0.0379 0.0470
306-AH 0.0125 0.1357 0.4167 1.0000 1.0000 0.5590 0.4262 0.8643 0.9875 0.7624 0.3042 0.0858 0.3969 0.0125 1.0000 0.5590 0.4262
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.0000 0.0000 0.0000 0.0591 0.0068 0.0162 0.0000 0.0591 2.3803 0.0000 0.0000 0.0109 0.0000 0.0000 0.0000 0.0000
309-AH 0.0000 0.0000 0.0151 0.0198 0.0444 0.0125 0.0123 0.0198 0.0444 0.9807 0.0009 0.0000 0.0100 0.0000 0.0444 0.0125 0.0123
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
312-AH 0.0000 0.0000 0.0533 0.0624 0.1403 0.0466 0.0477 0.0624 0.1403 1.0237 0.0021 0.0000 0.0373 0.0000 0.1403 0.0466 0.0477
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0000 0.0000 0.0320 0.0016 0.0072 0.0000 0.0320 4.4721 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0081 0.0623 0.1125 0.1475 0.0615 0.0513 0.1044 0.1475 0.8339 0.0076 0.0000 0.0428 0.0000 0.1475 0.0615 0.0513
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0258 0.0020 0.0065 0.0000 0.0258 3.2011 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0000 0.0000 0.0349 0.0046 0.0114 0.0000 0.0349 2.4616 0.0000 0.0000 0.0079 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0000 0.0000 0.0063 0.0008 0.0020 0.0000 0.0063 2.4696 0.0000 0.0000 0.0014 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0000 0.0000 0.0241 0.5000 0.0786 0.1558 0.0241 0.5000 1.9812 0.0005 0.0000 0.1185 0.0000 0.0342 0.0046 0.0091
328-AH 0.0000 0.1095 0.2585 0.3173 0.5610 0.2315 0.1576 0.2077 0.5610 0.6809 0.0227 0.0000 0.1192 0.0000 0.5610 0.2315 0.1576
329-AH 0.0000 0.0529 0.1278 0.1513 0.2099 0.1078 0.0673 0.0984 0.2099 0.6244 0.0189 0.0000 0.0550 0.0000 0.2099 0.1078 0.0673
330-AH 0.0000 0.0000 0.0000 0.2578 0.5667 0.1442 0.2088 0.2578 0.5667 1.4477 0.0006 0.0000 0.1743 0.0000 0.5667 0.1442 0.2088
331-AH 0.0000 0.0401 0.1076 0.1178 0.1504 0.0871 0.0539 0.0777 0.1504 0.6189 0.0111 0.0000 0.0442 0.0000 0.1504 0.0871 0.0539
332-AH 0.0000 0.0242 0.1586 0.1818 0.2222 0.1177 0.0858 0.1576 0.2222 0.7289 0.0182 0.0000 0.0789 0.0000 0.2222 0.1177 0.0858
333-AH 0.0000 0.5833 1.0000 1.0000 1.0000 0.7789 0.3944 0.4167 1.0000 0.5064 0.3784 0.0002 0.3316 0.0000 1.0000 0.7789 0.3944
334-AH 0.0000 0.0114 0.0195 0.0586 0.1163 0.0397 0.0387 0.0472 0.1163 0.9745 0.0179 0.0002 0.0317 0.0000 0.1163 0.0397 0.0387
335-AH 0.0000 0.0000 0.0000 0.0084 0.0379 0.0078 0.0144 0.0084 0.0379 1.8584 0.0001 0.0000 0.0116 0.0000 0.0169 0.0011 0.0042
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.4939 0.5489 0.6667 0.3355 0.2779 0.5489 0.6667 0.8284 0.0109 0.0000 0.2604 0.0000 0.6667 0.3355 0.2779
338-AH 0.0000 0.0000 0.0347 0.2857 0.7143 0.1601 0.2012 0.2857 0.7143 1.2568 0.0050 0.0000 0.1700 0.0000 0.7143 0.1601 0.2012
339-AH 0.0000 0.0401 0.1678 0.2939 0.5588 0.1896 0.1646 0.2538 0.5588 0.8685 0.0564 0.0001 0.1316 0.0000 0.5588 0.1896 0.1646
340-AH 0.1087 0.2292 0.2878 0.3452 0.4167 0.2755 0.0931 0.1161 0.3080 0.3377 0.2573 0.2358 0.0754 0.1087 0.4167 0.2755 0.0931
79
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0188 0.0465 0.1497 0.3529 0.0978 0.1129 0.1309 0.3529 1.1544 0.0251 0.0001 0.0904 0.0000 0.3000 0.0844 0.0983
342-AH 0.0000 0.0000 0.0000 0.0000 0.2900 0.0324 0.0852 0.0000 0.2900 2.6313 0.0000 0.0000 0.0551 0.0000 0.0000 0.0000 0.0000
343-AH 0.0010 0.0109 0.0164 0.0435 0.1429 0.0356 0.0403 0.0326 0.1418 1.1339 0.0202 0.0095 0.0299 0.0010 0.0909 0.0246 0.0233
344-AH 0.0000 0.0000 0.0503 0.0713 0.1542 0.0444 0.0473 0.0713 0.1542 1.0659 0.0014 0.0000 0.0399 0.0000 0.1542 0.0444 0.0473
345-AH 0.0000 0.0000 0.0202 0.0607 0.0978 0.0319 0.0370 0.0607 0.0978 1.1626 0.0015 0.0000 0.0309 0.0000 0.0978 0.0319 0.0370
346-AH 0.0000 0.0000 0.0183 0.0344 0.0478 0.0177 0.0179 0.0344 0.0478 1.0073 0.0008 0.0000 0.0160 0.0000 0.0478 0.0177 0.0179
347-AH 0.0000 0.0000 0.0000 0.0000 0.0314 0.0027 0.0084 0.0000 0.0314 3.1300 0.0000 0.0000 0.0048 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.3370 1.0000 1.0000 1.0000 0.7347 0.4383 0.6630 1.0000 0.5966 0.2026 0.0002 0.3715 0.0000 1.0000 0.7347 0.4383
349-AH 0.0000 0.0000 0.0927 0.1035 0.2500 0.0749 0.0669 0.1035 0.2500 0.8932 0.0042 0.0000 0.0529 0.0000 0.2500 0.0749 0.0669
350-AH 0.0000 0.0000 0.0336 0.1008 0.1818 0.0582 0.0669 0.1008 0.1818 1.1490 0.0021 0.0000 0.0562 0.0000 0.1818 0.0582 0.0669
80
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0889 0.1000 0.2000 0.5923 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0889
142-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9400 0.1465 0.0000 0.6000 0.1559 0.9238 0.8989 0.0960 1.0000 1.0000 1.0000 0.0000
143-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.7700 0.3854 0.3000 1.0000 0.5005 0.1564 0.0001 0.3050 0.6000 1.0000 0.9500 0.1155
144-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2400 0.1903 0.4000 0.6000 0.7929 0.0143 0.0000 0.1640 0.0000 0.6000 0.2400 0.1903
145-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7400 0.4210 0.5000 1.0000 0.5690 0.0902 0.0000 0.3500 0.0000 1.0000 0.7400 0.4210
146-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1400 0.0940 0.2000 0.2000 0.6717 0.0102 0.0000 0.0840 0.0000 0.2000 0.1400 0.0940
147-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7400 0.3050 0.4000 1.0000 0.4122 0.4088 0.0002 0.2380 0.2000 1.0000 0.7789 0.2573
148-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1400 0.0940 0.2000 0.2000 0.6717 0.0102 0.0000 0.0840 0.0000 0.2000 0.1400 0.0940
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0616 0.0000 0.2000 3.0779 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.4000 0.8000 0.1700 0.2618 0.4000 0.8000 1.5399 0.0004 0.0000 0.2210 0.0000 0.8000 0.1700 0.2618
152-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6400 0.2798 0.2000 1.0000 0.4373 0.2257 0.0001 0.2040 0.4000 1.0000 0.7111 0.1844
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7000 0.1892 0.2000 0.8000 0.2703 0.6667 0.6170 0.1500 0.4000 1.0000 0.7263 0.1522
155-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1361 0.2000 0.4000 1.7014 0.0002 0.0000 0.1120 0.0000 0.4000 0.0800 0.1361
156-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1376 0.2000 0.4000 1.3765 0.0006 0.0000 0.1200 0.0000 0.4000 0.1000 0.1376
157-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7800 0.2238 0.4000 0.8000 0.2870 0.7379 0.6742 0.1840 0.2000 1.0000 0.7800 0.2238
158-AH 0.0000 0.4000 0.6000 0.9000 1.0000 0.5900 0.3463 0.5000 1.0000 0.5869 0.1228 0.0001 0.2910 0.0000 1.0000 0.5900 0.3463
159-AH 0.0000 0.0000 0.2000 0.5000 1.0000 0.3400 0.3733 0.5000 1.0000 1.0980 0.0160 0.0000 0.3020 0.0000 1.0000 0.3400 0.3733
160-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0616 0.0000 0.2000 3.0779 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1200 0.1005 0.2000 0.2000 0.8377 0.0038 0.0000 0.0960 0.0000 0.2000 0.1200 0.1005
163-AH 0.0000 0.9000 1.0000 1.0000 1.0000 0.8600 0.2836 0.1000 1.0000 0.3298 0.4946 0.0002 0.2100 0.8000 1.0000 0.9875 0.0500
164-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0800 0.1765 0.0000 0.6000 2.2064 0.0001 0.0000 0.1280 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1800 0.0616 0.0000 0.2000 0.3420 0.0743 0.0001 0.0360 0.2000 0.2000 0.2000 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1196 0.2000 0.4000 1.4956 0.0003 0.0000 0.1040 0.0000 0.4000 0.0800 0.1196
168-AH 0.0000 0.1000 0.2000 0.2000 0.4000 0.1600 0.1046 0.1000 0.4000 0.6539 0.0174 0.0000 0.0800 0.0000 0.2000 0.1474 0.0905
169-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0600 0.0940 0.2000 0.2000 1.5672 0.0002 0.0000 0.0840 0.0000 0.2000 0.0600 0.0940
170-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1700 0.0733 0.0000 0.2000 0.4310 0.0453 0.0001 0.0510 0.2000 0.2000 0.2000 0.0000
171-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1400 0.1314 0.2000 0.4000 0.9385 0.0041 0.0000 0.1120 0.0000 0.4000 0.1400 0.1314
172-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0600 0.0940 0.2000 0.2000 1.5672 0.0002 0.0000 0.0840 0.0000 0.2000 0.0600 0.0940
173-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
174-AH 0.2000 0.3000 0.4000 0.4000 0.4000 0.3500 0.0889 0.1000 0.2000 0.2539 0.3364 0.3200 0.0750 0.2000 0.4000 0.3500 0.0889
175-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7200 0.2093 0.2000 0.8000 0.2906 0.6817 0.6266 0.1680 0.4000 1.0000 0.7474 0.1744
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.0000 0.2000 0.2000 0.4000 1.0000 0.3500 0.2743 0.2000 1.0000 0.7838 0.1158 0.0001 0.2050 0.0000 0.6000 0.2778 0.1700
178-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1196 0.2000 0.4000 1.4956 0.0003 0.0000 0.1040 0.0000 0.4000 0.0800 0.1196
179-AH 0.0000 0.3000 0.6000 1.0000 1.0000 0.5900 0.3754 0.7000 1.0000 0.6363 0.0739 0.0000 0.2940 0.0000 1.0000 0.5900 0.3754
180-AH 0.0000 0.1000 0.6000 1.0000 1.0000 0.5500 0.4097 0.9000 1.0000 0.7450 0.0414 0.0000 0.3550 0.0000 1.0000 0.5500 0.4097
181-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.8100 0.2553 0.2000 1.0000 0.3151 0.4721 0.0002 0.1710 0.6000 1.0000 0.8778 0.1396
182-AH 0.0000 0.0000 0.2000 0.3000 0.6000 0.1800 0.1824 0.3000 0.6000 1.0132 0.0046 0.0000 0.1440 0.0000 0.6000 0.1800 0.1824
183-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0200 0.0894 0.0000 0.4000 4.4721 0.0000 0.0000 0.0380 0.0000 0.0000 0.0000 0.0000
184-AH 0.0000 0.4000 0.6000 0.8000 0.8000 0.5800 0.2331 0.4000 0.8000 0.4018 0.3322 0.0002 0.1860 0.0000 0.8000 0.5800 0.2331
185-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1026 0.2000 0.2000 1.0260 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1026
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0700 0.0979 0.2000 0.2000 1.3982 0.0003 0.0000 0.0910 0.0000 0.2000 0.0700 0.0979
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.3000 0.8000 1.0000 1.0000 0.6700 0.4118 0.7000 1.0000 0.6146 0.0513 0.0000 0.3420 0.0000 1.0000 0.6700 0.4118
190-AH 0.0000 0.6000 0.6000 1.0000 1.0000 0.6700 0.3197 0.4000 1.0000 0.4772 0.3613 0.0002 0.2570 0.2000 1.0000 0.7053 0.2857
81
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4400 0.3016 0.4000 1.0000 0.6854 0.0918 0.0001 0.2320 0.0000 1.0000 0.4400 0.3016
193-AH 0.4000 0.4000 0.4000 0.4000 0.8000 0.4600 0.1314 0.0000 0.4000 0.2856 0.4464 0.4364 0.0960 0.4000 0.4000 0.4000 0.0000
194-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1400 0.0940 0.2000 0.2000 0.6717 0.0102 0.0000 0.0840 0.0000 0.2000 0.1400 0.0940
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1600 0.0821 0.0000 0.2000 0.5130 0.0276 0.0000 0.0640 0.2000 0.2000 0.2000 0.0000
197-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8800 0.2783 0.0000 1.0000 0.3163 0.5074 0.0002 0.1920 1.0000 1.0000 1.0000 0.0000
198-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1200 0.1005 0.2000 0.2000 0.8377 0.0038 0.0000 0.0960 0.0000 0.2000 0.1200 0.1005
199-AH 0.0000 0.3000 0.6000 0.8000 0.8000 0.5200 0.2628 0.5000 0.8000 0.5053 0.2834 0.0002 0.2280 0.0000 0.8000 0.5200 0.2628
200-AH 0.0000 0.1000 0.4000 0.6000 0.8000 0.3700 0.2922 0.5000 0.8000 0.7897 0.0302 0.0000 0.2530 0.0000 0.8000 0.3700 0.2922
251-AH 0.2000 0.9000 1.0000 1.0000 1.0000 0.8600 0.2909 0.1000 0.8000 0.3383 0.7682 0.6154 0.2100 0.8000 1.0000 0.9765 0.0664
252-AH 0.0000 0.3000 0.6000 0.6000 1.0000 0.5000 0.2471 0.3000 1.0000 0.4942 0.2761 0.0002 0.2000 0.0000 1.0000 0.5000 0.2471
253-AH 0.0000 0.4000 0.7000 0.8000 1.0000 0.6000 0.2596 0.4000 1.0000 0.4326 0.3387 0.0002 0.2200 0.0000 1.0000 0.6000 0.2596
254-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1800 0.2042 0.2000 0.6000 1.1343 0.0045 0.0000 0.1440 0.0000 0.2000 0.1059 0.1029
255-AH 0.0000 0.2000 0.2000 0.3000 0.4000 0.2100 0.1373 0.1000 0.4000 0.6537 0.0328 0.0000 0.0950 0.2000 0.4000 0.2625 0.0957
256-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9400 0.2257 0.0000 1.0000 0.2401 0.5561 0.0002 0.1080 1.0000 1.0000 1.0000 0.0000
257-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3700 0.1625 0.2000 0.6000 0.4393 0.2147 0.0002 0.1220 0.0000 0.6000 0.3700 0.1625
258-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0821 0.0000 0.2000 2.0520 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3200 0.1196 0.2000 0.4000 0.3739 0.1913 0.0002 0.1040 0.0000 0.4000 0.3200 0.1196
260-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8100 0.3463 0.2000 1.0000 0.4275 0.4320 0.0002 0.2660 0.8000 1.0000 0.9750 0.0683
261-AH 0.0000 0.3000 0.5000 0.6000 0.8000 0.4700 0.2273 0.3000 0.8000 0.4837 0.2621 0.0002 0.1900 0.0000 0.8000 0.4700 0.2273
262-AH 0.0000 0.3000 0.6000 0.8000 1.0000 0.5700 0.3450 0.5000 1.0000 0.6053 0.1848 0.0001 0.3100 0.0000 1.0000 0.5700 0.3450
263-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1900 0.1651 0.2000 0.6000 0.8690 0.0120 0.0000 0.1140 0.0000 0.4000 0.1684 0.1376
264-AH 0.0000 0.5000 0.8000 1.0000 1.0000 0.6900 0.3275 0.5000 1.0000 0.4747 0.2340 0.0001 0.2630 0.0000 1.0000 0.6900 0.3275
265-AH 0.0000 0.0000 0.2000 0.6000 0.6000 0.2900 0.2634 0.6000 0.6000 0.9082 0.0098 0.0000 0.2390 0.0000 0.6000 0.2900 0.2634
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.4000 0.6000 0.8000 0.8000 0.5700 0.2179 0.4000 0.8000 0.3823 0.3293 0.0002 0.1620 0.0000 0.8000 0.5700 0.2179
268-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3000 0.1522 0.2000 0.4000 0.5073 0.0710 0.0001 0.1300 0.0000 0.4000 0.3000 0.1522
269-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3100 0.1651 0.2000 0.6000 0.5326 0.1133 0.0001 0.1390 0.0000 0.6000 0.3100 0.1651
270-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9200 0.2546 0.0000 1.0000 0.2768 0.5372 0.0002 0.1440 1.0000 1.0000 1.0000 0.0000
271-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6300 0.2452 0.2000 1.0000 0.3891 0.3609 0.0002 0.1760 0.4000 1.0000 0.6889 0.1711
272-AH 0.0000 0.2000 0.2000 0.3000 0.4000 0.2200 0.1281 0.1000 0.4000 0.5825 0.0538 0.0001 0.0900 0.2000 0.4000 0.2588 0.0939
273-AH 0.0000 0.9000 1.0000 1.0000 1.0000 0.8300 0.3450 0.1000 1.0000 0.4157 0.2813 0.0001 0.2550 0.8000 1.0000 0.9875 0.0500
274-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3800 0.2042 0.4000 0.8000 0.5373 0.2117 0.0002 0.1640 0.0000 0.8000 0.3800 0.2042
275-AH 0.2000 0.3000 0.4000 0.7000 0.8000 0.4700 0.2273 0.4000 0.6000 0.4837 0.4166 0.3664 0.1910 0.2000 0.8000 0.4700 0.2273
276-AH 0.2000 0.4000 0.8000 0.8000 1.0000 0.6800 0.2375 0.4000 0.8000 0.3493 0.6306 0.5701 0.2040 0.2000 1.0000 0.6800 0.2375
277-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.2500 0.1933 0.2000 0.6000 0.7732 0.0361 0.0000 0.1500 0.0000 0.6000 0.2500 0.1933
278-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.4000 0.2052 0.4000 0.6000 0.5130 0.1419 0.0001 0.1600 0.0000 0.6000 0.4000 0.2052
279-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1600 0.1789 0.2000 0.6000 1.1180 0.0027 0.0000 0.1440 0.0000 0.4000 0.1368 0.1499
280-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0821 0.0000 0.2000 2.0520 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5900 0.2864 0.4000 1.0000 0.4853 0.3224 0.0002 0.2140 0.0000 1.0000 0.5900 0.2864
282-AH 0.0000 0.1000 0.2000 0.4000 0.6000 0.2500 0.1933 0.3000 0.6000 0.7732 0.0231 0.0000 0.1600 0.0000 0.6000 0.2500 0.1933
283-AH 0.0000 0.2000 0.5000 0.6000 1.0000 0.4600 0.3378 0.4000 1.0000 0.7343 0.0581 0.0000 0.2800 0.0000 1.0000 0.4600 0.3378
284-AH 0.0000 0.5000 0.8000 0.8000 1.0000 0.6500 0.3364 0.3000 1.0000 0.5175 0.1351 0.0001 0.2700 0.2000 1.0000 0.7647 0.2029
285-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.3487 0.5000 1.0000 0.4649 0.3978 0.0002 0.2900 0.0000 1.0000 0.7500 0.3487
286-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0100 0.0447 0.0000 0.2000 4.4721 0.0000 0.0000 0.0190 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.3000 0.5000 0.6000 0.8000 0.4500 0.2585 0.3000 0.8000 0.5745 0.0974 0.0001 0.2100 0.0000 0.8000 0.4500 0.2585
288-AH 0.0000 0.2000 0.2000 0.8000 1.0000 0.4000 0.3671 0.6000 1.0000 0.9177 0.0473 0.0000 0.3200 0.0000 1.0000 0.4000 0.3671
289-AH 0.0000 0.7000 0.8000 1.0000 1.0000 0.7700 0.2618 0.3000 1.0000 0.3400 0.4459 0.0002 0.1850 0.4000 1.0000 0.8105 0.1941
290-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.1900 0.2198 0.4000 0.8000 1.1569 0.0030 0.0000 0.1710 0.0000 0.8000 0.1900 0.2198
82
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.3000 0.8000 1.0000 1.0000 0.6400 0.3761 0.7000 1.0000 0.5877 0.1281 0.0001 0.3160 0.0000 1.0000 0.6400 0.3761
292-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4000 0.2828 0.4000 0.8000 0.7071 0.0338 0.0000 0.2000 0.0000 0.8000 0.4000 0.2828
293-AH 0.0000 0.3000 0.8000 0.8000 1.0000 0.6100 0.3275 0.5000 1.0000 0.5369 0.2010 0.0001 0.2690 0.0000 1.0000 0.6100 0.3275
294-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6400 0.2479 0.2000 1.0000 0.3874 0.3672 0.0002 0.1720 0.4000 1.0000 0.7000 0.1715
295-AH 0.2000 0.3000 0.4000 0.6000 0.8000 0.4200 0.1704 0.3000 0.6000 0.4058 0.3854 0.3504 0.1280 0.2000 0.8000 0.4200 0.1704
296-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.5500 0.2039 0.2000 0.8000 0.3707 0.3200 0.0002 0.1500 0.2000 0.8000 0.5789 0.1619
297-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.5600 0.2479 0.4000 1.0000 0.4427 0.3152 0.0002 0.1920 0.0000 1.0000 0.5600 0.2479
298-AH 0.0000 0.2000 0.4000 0.5000 0.8000 0.3700 0.2080 0.3000 0.8000 0.5622 0.1309 0.0001 0.1590 0.0000 0.8000 0.3700 0.2080
299-AH 0.2000 0.4000 0.8000 0.8000 1.0000 0.6600 0.2683 0.4000 0.8000 0.4066 0.5884 0.4990 0.2280 0.2000 1.0000 0.6600 0.2683
300-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2100 0.1774 0.4000 0.6000 0.8448 0.0129 0.0000 0.1340 0.0000 0.6000 0.2100 0.1774
301-AH 0.0000 0.0000 0.0000 0.0000 0.8000 0.1400 0.2981 0.0000 0.8000 2.1290 0.0001 0.0000 0.2240 0.0000 0.0000 0.0000 0.0000
302-AH 0.2000 0.2000 0.4000 0.4000 0.6000 0.3700 0.1490 0.2000 0.4000 0.4028 0.3403 0.3117 0.1190 0.2000 0.6000 0.3700 0.1490
303-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3900 0.2292 0.4000 0.8000 0.5877 0.2117 0.0002 0.1910 0.0000 0.8000 0.3900 0.2292
304-AH 0.0000 0.3000 0.8000 0.8000 0.8000 0.5700 0.3450 0.5000 0.8000 0.6053 0.0456 0.0000 0.2850 0.0000 0.8000 0.5700 0.3450
305-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4400 0.2798 0.4000 1.0000 0.6360 0.1468 0.0001 0.2280 0.0000 1.0000 0.4400 0.2798
306-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0889 0.1000 0.2000 0.5923 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0889
307-AH 0.0000 0.0000 0.1000 0.4000 0.6000 0.2000 0.2248 0.4000 0.6000 1.1239 0.0019 0.0000 0.2000 0.0000 0.6000 0.2000 0.2248
308-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.7700 0.4169 0.3000 1.0000 0.5414 0.0955 0.0000 0.3450 0.4000 1.0000 0.9625 0.1500
309-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0700 0.1174 0.2000 0.4000 1.6776 0.0002 0.0000 0.0980 0.0000 0.4000 0.0700 0.1174
310-AH 0.0000 0.1000 0.2000 0.4000 0.6000 0.2200 0.1704 0.3000 0.6000 0.7748 0.0211 0.0000 0.1280 0.0000 0.6000 0.2200 0.1704
311-AH 0.0000 0.2000 0.3000 0.4000 0.6000 0.3300 0.1750 0.2000 0.6000 0.5304 0.1869 0.0002 0.1500 0.0000 0.6000 0.3300 0.1750
312-AH 0.0000 0.2000 0.4000 0.7000 1.0000 0.4600 0.3315 0.5000 1.0000 0.7207 0.0928 0.0001 0.2720 0.0000 1.0000 0.4600 0.3315
313-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0700 0.1342 0.1000 0.4000 1.9166 0.0001 0.0000 0.1050 0.0000 0.2000 0.0333 0.0767
314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.3000 0.6000 0.8000 1.0000 0.5300 0.3389 0.5000 1.0000 0.6394 0.0681 0.0000 0.2710 0.0000 1.0000 0.5300 0.3389
316-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1376 0.2000 0.4000 1.3765 0.0006 0.0000 0.1200 0.0000 0.4000 0.1000 0.1376
317-AH 0.0000 0.4000 0.4000 0.6000 0.6000 0.4500 0.1573 0.2000 0.6000 0.3495 0.2675 0.0002 0.1200 0.2000 0.6000 0.4737 0.1195
318-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0500 0.1100 0.0000 0.4000 2.2005 0.0001 0.0000 0.0800 0.0000 0.0000 0.0000 0.0000
319-AH 0.2000 0.4000 0.8000 0.8000 1.0000 0.6600 0.2604 0.4000 0.8000 0.3945 0.6036 0.5418 0.2340 0.2000 1.0000 0.6600 0.2604
320-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0300 0.0733 0.0000 0.2000 2.4423 0.0000 0.0000 0.0510 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0889 0.1000 0.2000 1.7770 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0889
323-AH 0.0000 0.6000 0.6000 0.7000 1.0000 0.6100 0.2634 0.1000 1.0000 0.4318 0.2174 0.0001 0.1550 0.6000 0.8000 0.6286 0.0726
324-AH 0.0000 0.6000 0.7000 1.0000 1.0000 0.6800 0.3139 0.4000 1.0000 0.4616 0.2334 0.0001 0.2400 0.2000 1.0000 0.7556 0.2229
325-AH 0.6000 0.6000 0.8000 1.0000 1.0000 0.8200 0.1704 0.4000 0.4000 0.2079 0.8024 0.7843 0.1440 0.6000 1.0000 0.8200 0.1704
326-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1700 0.1625 0.3000 0.4000 0.9562 0.0045 0.0000 0.1360 0.0000 0.4000 0.1700 0.1625
327-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0800 0.1642 0.0000 0.4000 2.0520 0.0001 0.0000 0.1280 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.4000 0.4000 0.5000 0.6000 0.4300 0.1342 0.1000 0.6000 0.3120 0.2606 0.0002 0.0850 0.4000 0.6000 0.4526 0.0905
329-AH 0.2000 0.5000 0.8000 1.0000 1.0000 0.7500 0.2585 0.5000 0.8000 0.3447 0.6926 0.6170 0.2100 0.2000 1.0000 0.7500 0.2585
330-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8900 0.2100 0.2000 0.8000 0.2360 0.8479 0.7668 0.1540 0.6000 1.0000 0.9263 0.1368
331-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1400 0.1957 0.2000 0.6000 1.3982 0.0010 0.0000 0.1540 0.0000 0.4000 0.0889 0.1231
332-AH 0.0000 0.1000 0.4000 0.4000 0.6000 0.2900 0.1997 0.3000 0.6000 0.6887 0.0265 0.0000 0.1720 0.0000 0.6000 0.2900 0.1997
333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8400 0.3016 0.2000 1.0000 0.3590 0.4778 0.0002 0.2400 0.6000 1.0000 0.9750 0.1000
334-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2500 0.1433 0.2000 0.4000 0.5731 0.0597 0.0001 0.1200 0.0000 0.4000 0.2500 0.1433
335-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2300 0.1490 0.2000 0.4000 0.6480 0.0352 0.0000 0.1190 0.0000 0.4000 0.2300 0.1490
336-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1400 0.2437 0.2000 0.6000 1.7404 0.0002 0.0000 0.1960 0.0000 0.2000 0.0250 0.0683
337-AH 0.0000 0.2000 0.8000 0.8000 1.0000 0.5800 0.3172 0.6000 1.0000 0.5469 0.3025 0.0002 0.2840 0.0000 1.0000 0.5800 0.3172
338-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7500 0.2666 0.4000 0.8000 0.3554 0.6827 0.5868 0.2100 0.2000 1.0000 0.7500 0.2666
339-AH 0.0000 0.4000 0.8000 0.9000 1.0000 0.6700 0.2922 0.5000 1.0000 0.4361 0.3742 0.0002 0.2430 0.0000 1.0000 0.6700 0.2922
340-AH 0.0000 0.2000 0.4000 0.5000 0.8000 0.3400 0.2257 0.3000 0.8000 0.6639 0.0744 0.0001 0.1860 0.0000 0.8000 0.3400 0.2257
83
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7400 0.2683 0.4000 0.8000 0.3626 0.6711 0.5755 0.2100 0.2000 1.0000 0.7400 0.2683
342-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9300 0.1174 0.2000 0.4000 0.1263 0.9219 0.9125 0.0980 0.6000 1.0000 0.9300 0.1174
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.7200 0.2285 0.2000 1.0000 0.3174 0.4228 0.0002 0.1640 0.4000 1.0000 0.7579 0.1575
345-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0900 0.1373 0.2000 0.4000 1.5252 0.0003 0.0000 0.1170 0.0000 0.4000 0.0900 0.1373
346-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0889 0.1000 0.2000 1.7770 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0889
347-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0800 0.1005 0.2000 0.2000 1.2566 0.0005 0.0000 0.0960 0.0000 0.2000 0.0800 0.1005
348-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3000 0.1777 0.2000 0.4000 0.5923 0.0283 0.0000 0.1500 0.0000 0.4000 0.3000 0.1777
349-AH 0.0000 0.0000 0.3000 0.4000 0.8000 0.3000 0.2636 0.4000 0.8000 0.8786 0.0162 0.0000 0.2200 0.0000 0.8000 0.3000 0.2636
350-AH 0.0000 0.4000 0.8000 0.9000 1.0000 0.6600 0.2909 0.5000 1.0000 0.4408 0.3720 0.0002 0.2540 0.0000 1.0000 0.6600 0.2909
84
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0444 0.0500 0.1000 0.5923 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0444
142-AH 0.3000 0.5500 0.7000 0.7000 0.8000 0.6500 0.1277 0.1500 0.5000 0.1965 0.6351 0.6161 0.1000 0.5000 0.8000 0.6684 0.1003
143-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7600 0.3817 0.4000 1.0000 0.5022 0.1557 0.0001 0.3100 0.3000 1.0000 0.8941 0.2135
144-AH 0.0000 0.0500 0.2000 0.2000 0.3000 0.1450 0.0999 0.1500 0.3000 0.6887 0.0158 0.0000 0.0860 0.0000 0.3000 0.1450 0.0999
145-AH 0.0000 0.4000 0.7500 1.0000 1.0000 0.6550 0.3832 0.6000 1.0000 0.5850 0.1250 0.0001 0.3075 0.0000 1.0000 0.6550 0.3832
146-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0800 0.0410 0.0000 0.1000 0.5130 0.0158 0.0000 0.0320 0.1000 0.1000 0.1000 0.0000
147-AH 0.0000 0.6000 0.7500 1.0000 1.0000 0.7100 0.3194 0.4000 1.0000 0.4498 0.3719 0.0002 0.2400 0.1000 1.0000 0.7474 0.2796
148-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.0850 0.0489 0.0000 0.2000 0.5757 0.0164 0.0000 0.0340 0.1000 0.1000 0.1000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0821 0.0000 0.2000 2.0520 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0500 0.3000 0.4000 0.1400 0.1698 0.3000 0.4000 1.2131 0.0016 0.0000 0.1520 0.0000 0.4000 0.1400 0.1698
152-AH 0.0000 0.3500 0.5000 0.6000 0.9000 0.4600 0.2137 0.2500 0.9000 0.4646 0.2578 0.0002 0.1580 0.0000 0.9000 0.4600 0.2137
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.1000 0.4000 0.6000 0.6500 0.7000 0.5150 0.1725 0.2500 0.6000 0.3350 0.4748 0.4112 0.1435 0.1000 0.7000 0.5150 0.1725
155-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1100 0.0912 0.2000 0.3000 0.8290 0.0082 0.0000 0.0730 0.0000 0.3000 0.1100 0.0912
156-AH 0.0000 0.1000 0.1500 0.2000 0.3000 0.1550 0.0759 0.1000 0.3000 0.4898 0.0929 0.0002 0.0650 0.0000 0.3000 0.1550 0.0759
157-AH 0.3000 0.5000 0.6500 0.9000 1.0000 0.6950 0.2164 0.4000 0.7000 0.3113 0.6605 0.6240 0.1850 0.3000 1.0000 0.6950 0.2164
158-AH 0.0000 0.3500 0.5500 0.7000 0.9000 0.4800 0.2668 0.3500 0.9000 0.5557 0.1039 0.0001 0.2140 0.0000 0.9000 0.4800 0.2668
159-AH 0.0000 0.1000 0.2000 0.5500 1.0000 0.3250 0.3654 0.4500 1.0000 1.1245 0.0354 0.0000 0.2975 0.0000 1.0000 0.3250 0.3654
160-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0200 0.0410 0.0000 0.1000 2.0520 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0650 0.0489 0.1000 0.1000 0.7529 0.0040 0.0000 0.0455 0.0000 0.1000 0.0650 0.0489
163-AH 0.3000 0.9500 1.0000 1.0000 1.0000 0.8900 0.2315 0.0500 0.7000 0.2601 0.8451 0.7784 0.1660 0.9000 1.0000 0.9937 0.0250
164-AH 0.0000 0.0000 0.0000 0.0500 0.5000 0.0750 0.1585 0.0500 0.5000 2.1137 0.0001 0.0000 0.1125 0.0000 0.1000 0.0063 0.0250
165-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0950 0.0224 0.0000 0.1000 0.2354 0.0631 0.0002 0.0095 0.1000 0.1000 0.1000 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0850 0.0813 0.1000 0.3000 0.9562 0.0045 0.0000 0.0595 0.0000 0.2000 0.0737 0.0653
168-AH 0.1000 0.3000 0.3000 0.3000 0.6000 0.2900 0.1119 0.0000 0.5000 0.3859 0.2656 0.2353 0.0660 0.3000 0.3000 0.3000 0.0000
169-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0450 0.0510 0.1000 0.1000 1.1343 0.0006 0.0000 0.0495 0.0000 0.1000 0.0450 0.0510
170-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0850 0.0366 0.0000 0.1000 0.4310 0.0251 0.0001 0.0255 0.1000 0.1000 0.1000 0.0000
171-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1100 0.0968 0.2000 0.3000 0.8799 0.0054 0.0000 0.0820 0.0000 0.3000 0.1100 0.0968
172-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0800 0.1005 0.2000 0.3000 1.2566 0.0008 0.0000 0.0880 0.0000 0.3000 0.0800 0.1005
173-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
174-AH 0.1000 0.1500 0.2000 0.2000 0.2000 0.1750 0.0444 0.0500 0.1000 0.2539 0.1682 0.1600 0.0375 0.1000 0.2000 0.1750 0.0444
175-AH 0.2000 0.4000 0.5500 0.6000 0.6000 0.5050 0.1191 0.2000 0.4000 0.2358 0.4877 0.4651 0.0950 0.2000 0.6000 0.5050 0.1191
176-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9950 0.0224 0.0000 0.1000 0.0225 0.9947 0.9945 0.0095 1.0000 1.0000 1.0000 0.0000
177-AH 0.0000 0.1000 0.1000 0.3500 0.6000 0.2400 0.2037 0.2500 0.6000 0.8485 0.0754 0.0001 0.1740 0.0000 0.6000 0.2400 0.2037
178-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0450 0.0605 0.1000 0.2000 1.3440 0.0004 0.0000 0.0540 0.0000 0.2000 0.0450 0.0605
179-AH 0.0000 0.2000 0.5000 0.8000 1.0000 0.4950 0.3605 0.6000 1.0000 0.7283 0.0618 0.0000 0.2860 0.0000 1.0000 0.4950 0.3605
180-AH 0.0000 0.1000 0.5000 0.8000 1.0000 0.4700 0.3570 0.7000 1.0000 0.7596 0.1334 0.0001 0.3230 0.0000 1.0000 0.4700 0.3570
181-AH 0.0000 0.7000 0.8000 0.9000 1.0000 0.7750 0.2359 0.2000 1.0000 0.3044 0.4545 0.0002 0.1550 0.4000 1.0000 0.8158 0.1537
182-AH 0.0000 0.1000 0.1000 0.3000 0.3000 0.1550 0.1191 0.2000 0.3000 0.7684 0.0241 0.0000 0.1060 0.0000 0.3000 0.1550 0.1191
183-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0550 0.0826 0.1000 0.2000 1.5011 0.0003 0.0000 0.0715 0.0000 0.2000 0.0550 0.0826
184-AH 0.0000 0.3000 0.4500 0.5000 0.6000 0.4150 0.1565 0.2000 0.6000 0.3772 0.2454 0.0002 0.1250 0.2000 0.6000 0.4368 0.1257
185-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0700 0.0470 0.1000 0.1000 0.6717 0.0063 0.0000 0.0420 0.0000 0.1000 0.0700 0.0470
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0650 0.0489 0.1000 0.1000 0.7529 0.0040 0.0000 0.0455 0.0000 0.1000 0.0650 0.0489
188-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0050 0.0224 0.0000 0.1000 4.4721 0.0000 0.0000 0.0095 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.2000 0.6000 0.6000 0.7000 0.4550 0.2781 0.4000 0.7000 0.6112 0.0384 0.0000 0.2330 0.0000 0.7000 0.4550 0.2781
190-AH 0.0000 0.3000 0.6000 0.7000 0.7000 0.4750 0.2337 0.4000 0.7000 0.4920 0.2547 0.0002 0.2000 0.0000 0.7000 0.4750 0.2337
85
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.2000 0.3000 0.4000 0.5000 0.2800 0.1508 0.2000 0.5000 0.5385 0.1565 0.0002 0.1220 0.0000 0.5000 0.2800 0.1508
193-AH 0.2000 0.2500 0.3000 0.3000 0.6000 0.3200 0.1196 0.0500 0.4000 0.3739 0.3024 0.2878 0.0820 0.2000 0.3000 0.2688 0.0479
194-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0800 0.0410 0.0000 0.1000 0.5130 0.0158 0.0000 0.0320 0.1000 0.1000 0.1000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0950 0.0224 0.0000 0.1000 0.2354 0.0631 0.0002 0.0095 0.1000 0.1000 0.1000 0.0000
197-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8350 0.2925 0.2000 1.0000 0.3503 0.4739 0.0002 0.2110 0.7000 1.0000 0.9471 0.0943
198-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0650 0.0489 0.1000 0.1000 0.7529 0.0040 0.0000 0.0455 0.0000 0.1000 0.0650 0.0489
199-AH 0.0000 0.3000 0.5000 0.6000 0.7000 0.4550 0.2064 0.3000 0.7000 0.4536 0.2549 0.0002 0.1695 0.0000 0.7000 0.4550 0.2064
200-AH 0.0000 0.1000 0.3000 0.6000 0.7000 0.3200 0.2505 0.5000 0.7000 0.7827 0.0414 0.0000 0.2120 0.0000 0.7000 0.3200 0.2505
251-AH 0.1000 0.8500 0.9000 1.0000 1.0000 0.8000 0.3026 0.1500 0.9000 0.3783 0.6773 0.4566 0.2200 0.8000 1.0000 0.9375 0.0619
252-AH 0.1000 0.3000 0.4000 0.5500 0.9000 0.4300 0.2029 0.2500 0.8000 0.4718 0.3808 0.3271 0.1630 0.1000 0.9000 0.4300 0.2029
253-AH 0.0000 0.6000 0.7000 0.7000 0.8000 0.5950 0.2164 0.1000 0.8000 0.3636 0.3375 0.0002 0.1480 0.6000 0.8000 0.6875 0.0719
254-AH 0.0000 0.0500 0.3000 0.4000 0.8000 0.2550 0.2064 0.3500 0.8000 0.8095 0.0232 0.0000 0.1595 0.0000 0.8000 0.2550 0.2064
255-AH 0.0000 0.1000 0.2000 0.2500 0.4000 0.1950 0.1234 0.1500 0.4000 0.6330 0.1083 0.0002 0.0955 0.0000 0.4000 0.1950 0.1234
256-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9300 0.2364 0.0000 1.0000 0.2542 0.5482 0.0002 0.1260 1.0000 1.0000 1.0000 0.0000
257-AH 0.1000 0.3000 0.3000 0.4000 0.5000 0.3350 0.1268 0.1000 0.4000 0.3785 0.3028 0.2592 0.0985 0.3000 0.5000 0.3765 0.0831
258-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0300 0.0571 0.0500 0.2000 1.9041 0.0001 0.0000 0.0450 0.0000 0.1000 0.0211 0.0419
259-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1750 0.0550 0.0000 0.2000 0.3144 0.1099 0.0002 0.0400 0.2000 0.2000 0.2000 0.0000
260-AH 0.0000 0.6500 0.9500 1.0000 1.0000 0.7650 0.3392 0.3500 1.0000 0.4433 0.4090 0.0002 0.2755 0.2000 1.0000 0.8053 0.2953
261-AH 0.1000 0.2000 0.4000 0.5000 0.7000 0.3850 0.1725 0.3000 0.6000 0.4481 0.3437 0.2991 0.1465 0.1000 0.7000 0.3850 0.1725
262-AH 0.0000 0.2500 0.4500 0.6000 0.9000 0.4300 0.2638 0.3500 0.9000 0.6134 0.2198 0.0002 0.2200 0.0000 0.9000 0.4300 0.2638
263-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1800 0.1436 0.3000 0.4000 0.7980 0.0117 0.0000 0.1160 0.0000 0.4000 0.1800 0.1436
264-AH 0.1000 0.4500 0.7000 0.9000 1.0000 0.6400 0.2998 0.4500 0.9000 0.4685 0.5258 0.3616 0.2500 0.1000 1.0000 0.6400 0.2998
265-AH 0.0000 0.1000 0.3500 0.4000 0.4000 0.2550 0.1701 0.3000 0.4000 0.6669 0.0366 0.0000 0.1540 0.0000 0.4000 0.2550 0.1701
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.3000 0.4500 0.6000 0.7000 0.4300 0.1922 0.3000 0.7000 0.4470 0.2439 0.0002 0.1600 0.0000 0.7000 0.4300 0.1922
268-AH 0.0000 0.1500 0.2000 0.2000 0.2000 0.1600 0.0754 0.0500 0.2000 0.4712 0.0422 0.0001 0.0600 0.1000 0.2000 0.1882 0.0332
269-AH 0.0000 0.1500 0.2000 0.3000 0.4000 0.2150 0.1040 0.1500 0.4000 0.4837 0.1259 0.0002 0.0795 0.0000 0.4000 0.2150 0.1040
270-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9050 0.2781 0.0000 1.0000 0.3073 0.5161 0.0002 0.1615 1.0000 1.0000 1.0000 0.0000
271-AH 0.0000 0.4000 0.6500 0.7000 0.8000 0.5550 0.2282 0.3000 0.8000 0.4112 0.3172 0.0002 0.1940 0.0000 0.8000 0.5550 0.2282
272-AH 0.0000 0.2000 0.2000 0.3500 0.4000 0.2400 0.1142 0.1500 0.4000 0.4760 0.1408 0.0002 0.0920 0.0000 0.4000 0.2400 0.1142
273-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.8050 0.3517 0.3000 1.0000 0.4368 0.2733 0.0001 0.2825 0.3000 1.0000 0.8944 0.2313
274-AH 0.0000 0.2000 0.3000 0.5000 0.5000 0.3100 0.1518 0.3000 0.5000 0.4898 0.1761 0.0002 0.1140 0.0000 0.5000 0.3100 0.1518
275-AH 0.2000 0.3000 0.4000 0.6000 0.7000 0.4250 0.1552 0.3000 0.5000 0.3651 0.3994 0.3760 0.1325 0.2000 0.7000 0.4250 0.1552
276-AH 0.3000 0.5000 0.6000 0.6000 0.9000 0.5800 0.1436 0.1000 0.6000 0.2476 0.5628 0.5449 0.1040 0.4000 0.7000 0.5500 0.0816
277-AH 0.0000 0.1000 0.2000 0.3500 0.5000 0.2400 0.1569 0.2500 0.5000 0.6539 0.0845 0.0001 0.1280 0.0000 0.5000 0.2400 0.1569
278-AH 0.0000 0.2000 0.3000 0.4000 0.6000 0.3200 0.1609 0.2000 0.6000 0.5029 0.1827 0.0002 0.1240 0.0000 0.6000 0.3200 0.1609
279-AH 0.0000 0.1000 0.1000 0.1000 0.3000 0.1150 0.0813 0.0000 0.3000 0.7067 0.0300 0.0001 0.0540 0.1000 0.1000 0.1000 0.0000
280-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0513 0.1000 0.1000 1.0260 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0513
281-AH 0.1000 0.4000 0.6000 0.7000 0.9000 0.5500 0.2140 0.3000 0.8000 0.3891 0.4932 0.4110 0.1700 0.1000 0.9000 0.5500 0.2140
282-AH 0.0000 0.2000 0.2000 0.3500 0.5000 0.2250 0.1482 0.1500 0.5000 0.6588 0.0346 0.0000 0.1125 0.0000 0.5000 0.2250 0.1482
283-AH 0.0000 0.1000 0.4000 0.5000 1.0000 0.3600 0.2963 0.4000 1.0000 0.8230 0.0694 0.0001 0.2340 0.0000 1.0000 0.3600 0.2963
284-AH 0.0000 0.4000 0.6000 0.7000 0.8000 0.5050 0.2438 0.3000 0.8000 0.4828 0.2646 0.0002 0.1935 0.0000 0.8000 0.5050 0.2438
285-AH 0.0000 0.4500 0.8000 1.0000 1.0000 0.7200 0.3088 0.5500 1.0000 0.4289 0.4003 0.0002 0.2540 0.0000 1.0000 0.7200 0.3088
286-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0444 0.0500 0.1000 1.7770 0.0001 0.0000 0.0375 0.0000 0.1000 0.0250 0.0444
287-AH 0.0000 0.2500 0.5000 0.6000 0.6000 0.4100 0.2174 0.3500 0.6000 0.5302 0.0915 0.0001 0.1780 0.0000 0.6000 0.4100 0.2174
288-AH 0.0000 0.2000 0.3500 0.5500 0.9000 0.4000 0.2828 0.3500 0.9000 0.7071 0.1281 0.0001 0.2300 0.0000 0.9000 0.4000 0.2828
289-AH 0.0000 0.6000 0.6000 0.9000 1.0000 0.6800 0.2191 0.3000 1.0000 0.3222 0.4012 0.0002 0.1580 0.5000 1.0000 0.7158 0.1537
290-AH 0.0000 0.1000 0.2000 0.2500 0.5000 0.2050 0.1395 0.1500 0.5000 0.6803 0.0484 0.0001 0.0975 0.0000 0.4000 0.1895 0.1243
86
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.1500 0.6500 0.9000 1.0000 0.5800 0.3636 0.7500 1.0000 0.6269 0.2687 0.0002 0.3160 0.0000 1.0000 0.5800 0.3636
292-AH 0.0000 0.1000 0.3000 0.4000 0.4000 0.2550 0.1669 0.3000 0.4000 0.6547 0.0244 0.0000 0.1440 0.0000 0.4000 0.2550 0.1669
293-AH 0.0000 0.5000 0.7000 0.8000 0.9000 0.6100 0.3042 0.3000 0.9000 0.4987 0.2020 0.0001 0.2380 0.1000 0.9000 0.6778 0.2340
294-AH 0.0000 0.3000 0.6500 0.7000 0.9000 0.5450 0.2417 0.4000 0.9000 0.4434 0.3070 0.0002 0.2060 0.0000 0.9000 0.5450 0.2417
295-AH 0.2000 0.3000 0.4000 0.5000 0.7000 0.4200 0.1361 0.2000 0.5000 0.3241 0.4000 0.3808 0.1060 0.2000 0.7000 0.4200 0.1361
296-AH 0.0000 0.3500 0.5500 0.7000 0.7000 0.4950 0.2164 0.3500 0.7000 0.4371 0.2780 0.0002 0.1675 0.0000 0.7000 0.4950 0.2164
297-AH 0.1000 0.3000 0.4000 0.5000 0.6000 0.3850 0.1387 0.2000 0.5000 0.3603 0.3543 0.3150 0.1180 0.1000 0.6000 0.3850 0.1387
298-AH 0.0000 0.2500 0.4000 0.5000 0.6000 0.3650 0.1843 0.2500 0.6000 0.5050 0.1323 0.0001 0.1485 0.0000 0.6000 0.3650 0.1843
299-AH 0.1000 0.3000 0.7000 0.8000 0.9000 0.5750 0.2593 0.5000 0.8000 0.4510 0.4968 0.3975 0.2300 0.1000 0.9000 0.5750 0.2593
300-AH 0.0000 0.1000 0.1500 0.3000 0.5000 0.1800 0.1473 0.2000 0.5000 0.8181 0.0267 0.0000 0.1200 0.0000 0.5000 0.1800 0.1473
301-AH 0.0000 0.0000 0.0000 0.0000 0.7000 0.1200 0.2505 0.0000 0.7000 2.0873 0.0001 0.0000 0.1920 0.0000 0.0000 0.0000 0.0000
302-AH 0.1000 0.2500 0.3000 0.4000 0.6000 0.3300 0.1261 0.1500 0.5000 0.3820 0.3056 0.2784 0.0990 0.1000 0.6000 0.3300 0.1261
303-AH 0.0000 0.2000 0.2500 0.4000 0.5000 0.2750 0.1517 0.2000 0.5000 0.5518 0.1534 0.0002 0.1250 0.0000 0.5000 0.2750 0.1517
304-AH 0.0000 0.1500 0.4000 0.4000 0.5000 0.3100 0.1889 0.2500 0.5000 0.6094 0.0288 0.0000 0.1560 0.0000 0.5000 0.3100 0.1889
305-AH 0.0000 0.2000 0.4000 0.6000 0.9000 0.4050 0.2564 0.4000 0.9000 0.6332 0.1365 0.0001 0.2155 0.0000 0.9000 0.4050 0.2564
306-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0444 0.0500 0.1000 0.5923 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0444
307-AH 0.0000 0.1000 0.1500 0.4000 0.5000 0.2200 0.1881 0.3000 0.5000 0.8548 0.0300 0.0000 0.1640 0.0000 0.5000 0.2200 0.1881
308-AH 0.0000 0.4000 0.6000 0.7500 0.9000 0.5650 0.2581 0.3500 0.9000 0.4568 0.3097 0.0002 0.2025 0.0000 0.9000 0.5650 0.2581
309-AH 0.0000 0.0000 0.0500 0.2000 0.3000 0.0850 0.0988 0.2000 0.3000 1.1625 0.0013 0.0000 0.0850 0.0000 0.3000 0.0850 0.0988
310-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1600 0.0883 0.1000 0.3000 0.5516 0.0619 0.0001 0.0740 0.0000 0.3000 0.1600 0.0883
311-AH 0.0000 0.3500 0.4000 0.5000 0.6000 0.4050 0.1356 0.1500 0.6000 0.3349 0.2431 0.0002 0.0955 0.2000 0.6000 0.4263 0.0991
312-AH 0.0000 0.2500 0.3500 0.7500 0.8000 0.4250 0.2881 0.5000 0.8000 0.6780 0.0891 0.0001 0.2425 0.0000 0.8000 0.4250 0.2881
313-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0650 0.0813 0.1000 0.2000 1.2504 0.0007 0.0000 0.0715 0.0000 0.2000 0.0650 0.0813
314-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0300 0.0571 0.0500 0.2000 1.9041 0.0001 0.0000 0.0450 0.0000 0.1000 0.0211 0.0419
315-AH 0.0000 0.2500 0.5500 0.6000 0.7000 0.4400 0.2644 0.3500 0.7000 0.6009 0.0585 0.0000 0.2180 0.0000 0.7000 0.4400 0.2644
316-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1100 0.1294 0.2000 0.4000 1.1761 0.0021 0.0000 0.1040 0.0000 0.4000 0.1100 0.1294
317-AH 0.1000 0.3000 0.4000 0.5000 0.6000 0.3950 0.1356 0.2000 0.5000 0.3434 0.3665 0.3279 0.0970 0.1000 0.6000 0.3950 0.1356
318-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0650 0.0988 0.1000 0.4000 1.5201 0.0007 0.0000 0.0715 0.0000 0.2000 0.0474 0.0612
319-AH 0.1000 0.3000 0.4500 0.5000 0.6000 0.4000 0.1338 0.2000 0.5000 0.3344 0.3709 0.3306 0.1100 0.1000 0.6000 0.4000 0.1338
320-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0300 0.0470 0.1000 0.1000 1.5672 0.0002 0.0000 0.0420 0.0000 0.1000 0.0300 0.0470
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0550 0.0686 0.1000 0.2000 1.2479 0.0007 0.0000 0.0605 0.0000 0.2000 0.0550 0.0686
323-AH 0.0000 0.3000 0.5000 0.6000 0.6000 0.4300 0.1838 0.3000 0.6000 0.4275 0.1580 0.0001 0.1440 0.0000 0.6000 0.4300 0.1838
324-AH 0.0000 0.5500 0.6500 0.7500 0.9000 0.5900 0.2532 0.2000 0.9000 0.4291 0.3240 0.0002 0.1850 0.3000 0.9000 0.6765 0.1480
325-AH 0.4000 0.7000 0.8000 0.9000 1.0000 0.7750 0.1293 0.2000 0.6000 0.1668 0.7629 0.7481 0.0975 0.4000 1.0000 0.7750 0.1293
326-AH 0.0000 0.0000 0.1500 0.2000 0.2000 0.1200 0.0894 0.2000 0.2000 0.7454 0.0089 0.0000 0.0800 0.0000 0.2000 0.1200 0.0894
327-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0800 0.1322 0.1000 0.4000 1.6524 0.0003 0.0000 0.1040 0.0000 0.1000 0.0188 0.0403
328-AH 0.2000 0.4000 0.4500 0.5000 0.6000 0.4550 0.1050 0.1000 0.4000 0.2308 0.4416 0.4255 0.0850 0.3000 0.6000 0.4684 0.0885
329-AH 0.4000 0.6000 0.7000 0.7500 0.9000 0.6950 0.1317 0.1500 0.5000 0.1895 0.6827 0.6698 0.0960 0.4000 0.9000 0.6950 0.1317
330-AH 0.1000 0.8000 0.9000 0.9500 1.0000 0.8050 0.2305 0.1500 0.9000 0.2863 0.7402 0.5909 0.1545 0.7000 1.0000 0.8882 0.0928
331-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1600 0.1875 0.2000 0.6000 1.1719 0.0062 0.0000 0.1420 0.0000 0.4000 0.1111 0.1183
332-AH 0.0000 0.1000 0.3000 0.4000 0.4000 0.2450 0.1572 0.3000 0.4000 0.6416 0.0239 0.0000 0.1315 0.0000 0.4000 0.2450 0.1572
333-AH 0.0000 0.4000 0.5000 0.5000 0.5000 0.4350 0.1309 0.1000 0.5000 0.3009 0.2628 0.0002 0.0975 0.3000 0.5000 0.4579 0.0838
334-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1850 0.0813 0.1000 0.3000 0.4393 0.1112 0.0002 0.0610 0.0000 0.3000 0.1850 0.0813
335-AH 0.0000 0.1000 0.1000 0.3000 0.3000 0.1650 0.1040 0.2000 0.3000 0.6303 0.0614 0.0001 0.0915 0.0000 0.3000 0.1650 0.1040
336-AH 0.0000 0.0000 0.0000 0.1000 0.5000 0.1050 0.1932 0.1000 0.5000 1.8404 0.0002 0.0000 0.1480 0.0000 0.1000 0.0125 0.0342
337-AH 0.0000 0.2000 0.7000 0.7500 0.9000 0.5300 0.3080 0.5500 0.9000 0.5811 0.2570 0.0002 0.2710 0.0000 0.9000 0.5300 0.3080
338-AH 0.1000 0.4000 0.5500 0.7000 0.8000 0.5350 0.2007 0.3000 0.7000 0.3752 0.4835 0.4076 0.1650 0.1000 0.8000 0.5350 0.2007
339-AH 0.1000 0.5000 0.6000 0.7500 0.9000 0.5950 0.1959 0.2500 0.8000 0.3293 0.5496 0.4688 0.1460 0.4000 0.9000 0.6211 0.1619
340-AH 0.0000 0.2000 0.3000 0.3000 0.4000 0.2750 0.1020 0.1000 0.4000 0.3707 0.1656 0.0002 0.0750 0.1000 0.4000 0.2895 0.0809
87
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1000 0.3500 0.4000 0.5000 0.5000 0.3900 0.1210 0.1500 0.4000 0.3102 0.3606 0.3125 0.0850 0.3000 0.5000 0.4222 0.0732
342-AH 0.5000 0.7500 0.8500 0.9000 0.9000 0.8150 0.1089 0.1500 0.4000 0.1337 0.8070 0.7976 0.0850 0.7000 0.9000 0.8316 0.0820
343-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0308 0.0000 0.1000 3.0779 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
344-AH 0.2000 0.5000 0.6000 0.8000 0.9000 0.5950 0.1791 0.3000 0.7000 0.3010 0.5644 0.5259 0.1355 0.2000 0.9000 0.5950 0.1791
345-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1150 0.1040 0.2000 0.4000 0.9043 0.0083 0.0000 0.0795 0.0000 0.4000 0.1150 0.1040
346-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0450 0.0510 0.1000 0.1000 1.1343 0.0006 0.0000 0.0495 0.0000 0.1000 0.0450 0.0510
347-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0850 0.0671 0.1000 0.2000 0.7892 0.0070 0.0000 0.0510 0.0000 0.2000 0.0850 0.0671
348-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0889 0.1000 0.2000 0.5923 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0889
349-AH 0.0000 0.3000 0.3000 0.4000 0.6000 0.3350 0.1424 0.1000 0.6000 0.4252 0.1956 0.0002 0.1085 0.2000 0.5000 0.3529 0.0943
350-AH 0.0000 0.2500 0.5000 0.6000 0.7000 0.4450 0.2089 0.3500 0.7000 0.4695 0.2502 0.0002 0.1805 0.0000 0.7000 0.4450 0.2089
88
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0296 0.0333 0.0667 0.5923 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0296
142-AH 0.2000 0.3667 0.4667 0.5333 0.5333 0.4433 0.0925 0.1667 0.3333 0.2086 0.4319 0.4176 0.0727 0.2000 0.5333 0.4433 0.0925
143-AH 0.0000 0.6000 0.9000 1.0000 1.0000 0.7333 0.3664 0.4000 1.0000 0.4997 0.1517 0.0001 0.2933 0.3333 1.0000 0.8627 0.2020
144-AH 0.0000 0.0667 0.1333 0.2000 0.2000 0.1233 0.0758 0.1333 0.2000 0.6144 0.0215 0.0000 0.0607 0.0000 0.2000 0.1233 0.0758
145-AH 0.0000 0.2667 0.7333 0.8667 0.9333 0.5767 0.3569 0.6000 0.9333 0.6189 0.1082 0.0001 0.3013 0.0000 0.9333 0.5767 0.3569
146-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0567 0.0244 0.0000 0.0667 0.4310 0.0178 0.0001 0.0170 0.0667 0.0667 0.0667 0.0000
147-AH 0.0667 0.5667 0.7333 0.9333 1.0000 0.6833 0.3035 0.3667 0.9333 0.4441 0.5511 0.3319 0.2350 0.0667 1.0000 0.6833 0.3035
148-AH 0.0000 0.0667 0.0667 0.0667 0.1333 0.0667 0.0216 0.0000 0.1333 0.3244 0.0444 0.0002 0.0067 0.0667 0.0667 0.0667 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.1333 0.2000 0.0533 0.0670 0.1333 0.2000 1.2566 0.0007 0.0000 0.0587 0.0000 0.2000 0.0533 0.0670
151-AH 0.0000 0.0000 0.1333 0.2333 0.3333 0.1233 0.1150 0.2333 0.3333 0.9325 0.0056 0.0000 0.0977 0.0000 0.3333 0.1233 0.1150
152-AH 0.0000 0.2333 0.3333 0.5000 0.6000 0.3600 0.1595 0.2667 0.6000 0.4431 0.2081 0.0002 0.1293 0.0000 0.6000 0.3600 0.1595
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.1333 0.3000 0.4667 0.4667 0.5333 0.3933 0.1296 0.1667 0.4000 0.3295 0.3671 0.3347 0.1087 0.1333 0.5333 0.3933 0.1296
155-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0733 0.0608 0.1333 0.2000 0.8290 0.0062 0.0000 0.0487 0.0000 0.2000 0.0733 0.0608
156-AH 0.0000 0.0667 0.1333 0.1333 0.2667 0.1267 0.0608 0.0667 0.2667 0.4800 0.0767 0.0002 0.0427 0.0000 0.2000 0.1193 0.0525
157-AH 0.2667 0.5667 0.6667 0.7667 0.9333 0.6700 0.1737 0.2000 0.6667 0.2592 0.6453 0.6155 0.1307 0.4667 0.9333 0.6912 0.1494
158-AH 0.0000 0.3000 0.5333 0.6667 0.8000 0.4600 0.2549 0.3667 0.8000 0.5542 0.1004 0.0001 0.2147 0.0000 0.8000 0.4600 0.2549
159-AH 0.0000 0.0667 0.2000 0.4667 0.8667 0.3000 0.3291 0.4000 0.8667 1.0970 0.0510 0.0001 0.2700 0.0000 0.8667 0.3000 0.3291
160-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0400 0.0454 0.0667 0.1333 1.1343 0.0009 0.0000 0.0400 0.0000 0.1333 0.0400 0.0454
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0296 0.0333 0.0667 0.5923 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0296
163-AH 0.2667 0.9000 1.0000 1.0000 1.0000 0.8700 0.2609 0.1000 0.7333 0.2999 0.8075 0.7114 0.1950 0.8000 1.0000 0.9875 0.0500
164-AH 0.0000 0.0000 0.0000 0.0667 0.5333 0.0800 0.1569 0.0667 0.5333 1.9609 0.0003 0.0000 0.1080 0.0000 0.0667 0.0125 0.0269
165-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0633 0.0149 0.0000 0.0667 0.2354 0.0429 0.0002 0.0063 0.0667 0.0667 0.0667 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0733 0.0645 0.1333 0.2000 0.8799 0.0041 0.0000 0.0547 0.0000 0.2000 0.0733 0.0645
168-AH 0.0667 0.3333 0.4000 0.4000 0.5333 0.3567 0.1130 0.0667 0.4667 0.3167 0.3232 0.2592 0.0743 0.3333 0.4667 0.3804 0.0457
169-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0367 0.0340 0.0667 0.0667 0.9280 0.0013 0.0000 0.0330 0.0000 0.0667 0.0367 0.0340
170-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0567 0.0244 0.0000 0.0667 0.4310 0.0178 0.0001 0.0170 0.0667 0.0667 0.0667 0.0000
171-AH 0.0000 0.0000 0.0667 0.1667 0.2667 0.1000 0.0905 0.1667 0.2667 0.9048 0.0074 0.0000 0.0767 0.0000 0.2667 0.1000 0.0905
172-AH 0.0000 0.0667 0.1333 0.1333 0.2000 0.0967 0.0630 0.0667 0.2000 0.6514 0.0175 0.0000 0.0537 0.0000 0.2000 0.0967 0.0630
173-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
174-AH 0.0667 0.1000 0.1333 0.1333 0.1333 0.1167 0.0296 0.0333 0.0667 0.2539 0.1121 0.1067 0.0250 0.0667 0.1333 0.1167 0.0296
175-AH 0.2000 0.3000 0.4000 0.4000 0.4000 0.3567 0.0659 0.1000 0.2000 0.1847 0.3498 0.3419 0.0563 0.2000 0.4000 0.3567 0.0659
176-AH 0.8667 0.9333 0.9667 1.0000 1.0000 0.9633 0.0403 0.0667 0.1333 0.0419 0.9625 0.9617 0.0367 0.8667 1.0000 0.9633 0.0403
177-AH 0.0667 0.0667 0.2000 0.2667 0.5333 0.2067 0.1558 0.2000 0.4667 0.7540 0.1563 0.1199 0.1167 0.0667 0.5333 0.2067 0.1558
178-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0333 0.0507 0.0667 0.2000 1.5218 0.0004 0.0000 0.0400 0.0000 0.0667 0.0246 0.0330
179-AH 0.0000 0.1333 0.4000 0.8000 0.8667 0.4433 0.3122 0.6667 0.8667 0.7041 0.2019 0.0002 0.2677 0.0000 0.8667 0.4433 0.3122
180-AH 0.0000 0.1333 0.4667 0.7667 0.8667 0.4467 0.3223 0.6333 0.8667 0.7217 0.2031 0.0002 0.2933 0.0000 0.8667 0.4467 0.3223
181-AH 0.0000 0.6667 0.8333 0.9333 1.0000 0.7667 0.2294 0.2667 1.0000 0.2992 0.4512 0.0002 0.1600 0.4667 1.0000 0.8070 0.1455
182-AH 0.0000 0.0667 0.0667 0.2000 0.2000 0.1067 0.0821 0.1333 0.2000 0.7695 0.0178 0.0000 0.0747 0.0000 0.2000 0.1067 0.0821
183-AH 0.0000 0.0000 0.0333 0.0667 0.2000 0.0567 0.0726 0.0667 0.2000 1.2817 0.0010 0.0000 0.0567 0.0000 0.1333 0.0314 0.0416
184-AH 0.0000 0.2667 0.3333 0.3333 0.4000 0.3100 0.0899 0.0667 0.4000 0.2900 0.1915 0.0002 0.0593 0.2000 0.4000 0.3263 0.0540
185-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0467 0.0313 0.0667 0.0667 0.6717 0.0048 0.0000 0.0280 0.0000 0.0667 0.0467 0.0313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0533 0.0274 0.0000 0.0667 0.5130 0.0115 0.0000 0.0213 0.0667 0.0667 0.0667 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0100 0.0244 0.0000 0.0667 2.4423 0.0000 0.0000 0.0170 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.1667 0.4667 0.4667 0.4667 0.3333 0.2006 0.3000 0.4667 0.6018 0.0305 0.0000 0.1667 0.0000 0.4667 0.3333 0.2006
190-AH 0.0667 0.2667 0.4000 0.4667 0.4667 0.3400 0.1465 0.2000 0.4000 0.4310 0.2880 0.2139 0.1187 0.0667 0.4667 0.3400 0.1465
89
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.1333 0.2000 0.3333 0.4000 0.2267 0.1068 0.2000 0.4000 0.4714 0.1321 0.0002 0.0893 0.0000 0.4000 0.2267 0.1068
193-AH 0.2000 0.2000 0.2667 0.3333 0.4000 0.2767 0.0693 0.1333 0.2000 0.2506 0.2688 0.2614 0.0540 0.2000 0.4000 0.2767 0.0693
194-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0533 0.0274 0.0000 0.0667 0.5130 0.0115 0.0000 0.0213 0.0667 0.0667 0.0667 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0633 0.0149 0.0000 0.0667 0.2354 0.0429 0.0002 0.0063 0.0667 0.0667 0.0667 0.0000
197-AH 0.0000 0.6333 0.9000 0.9333 1.0000 0.7733 0.2748 0.3000 1.0000 0.3553 0.4430 0.0002 0.2107 0.3333 1.0000 0.8140 0.2115
198-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0467 0.0313 0.0667 0.0667 0.6717 0.0048 0.0000 0.0280 0.0000 0.0667 0.0467 0.0313
199-AH 0.0000 0.3333 0.4667 0.6000 0.6000 0.4467 0.1745 0.2667 0.6000 0.3907 0.2539 0.0002 0.1327 0.0000 0.6000 0.4467 0.1745
200-AH 0.0667 0.1333 0.2667 0.4000 0.4667 0.2533 0.1395 0.2667 0.4000 0.5507 0.2106 0.1680 0.1213 0.0667 0.4667 0.2533 0.1395
251-AH 0.1333 0.7333 0.9333 0.9333 0.9333 0.7767 0.2864 0.2000 0.8000 0.3687 0.6756 0.5054 0.2217 0.6000 0.9333 0.8863 0.1100
252-AH 0.1333 0.2000 0.4000 0.6000 0.8000 0.4133 0.1918 0.4000 0.6667 0.4639 0.3676 0.3222 0.1613 0.1333 0.8000 0.4133 0.1918
253-AH 0.0667 0.5000 0.6667 0.7333 0.8000 0.5933 0.2205 0.2333 0.7333 0.3716 0.5087 0.3394 0.1680 0.4000 0.8000 0.6519 0.1344
254-AH 0.0000 0.1000 0.3000 0.4000 0.8000 0.2800 0.2104 0.3000 0.8000 0.7513 0.0389 0.0000 0.1600 0.0000 0.8000 0.2800 0.2104
255-AH 0.0667 0.0667 0.1333 0.2000 0.2667 0.1500 0.0745 0.1333 0.2000 0.4969 0.1322 0.1159 0.0617 0.0667 0.2667 0.1500 0.0745
256-AH 0.0000 0.8000 0.9333 1.0000 1.0000 0.8567 0.2261 0.2000 1.0000 0.2639 0.5062 0.0002 0.1340 0.6000 1.0000 0.9018 0.1051
257-AH 0.1333 0.2667 0.3333 0.4000 0.6667 0.3667 0.1270 0.1333 0.5333 0.3465 0.3467 0.3258 0.0900 0.1333 0.4667 0.3333 0.0792
258-AH 0.0000 0.0000 0.0000 0.0333 0.2000 0.0300 0.0591 0.0333 0.2000 1.9712 0.0001 0.0000 0.0450 0.0000 0.0667 0.0078 0.0221
259-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1200 0.0349 0.0000 0.1333 0.2906 0.0774 0.0002 0.0227 0.1333 0.1333 0.1333 0.0000
260-AH 0.0000 0.6667 0.8667 0.9000 1.0000 0.7067 0.3130 0.2333 1.0000 0.4429 0.3775 0.0002 0.2373 0.6667 1.0000 0.8500 0.1129
261-AH 0.0667 0.2333 0.3333 0.4000 0.5333 0.3267 0.1183 0.1667 0.4667 0.3621 0.3002 0.2618 0.0887 0.0667 0.5333 0.3267 0.1183
262-AH 0.0667 0.1667 0.3333 0.4667 0.8000 0.3633 0.2232 0.3000 0.7333 0.6143 0.2969 0.2341 0.1760 0.0667 0.8000 0.3633 0.2232
263-AH 0.0000 0.0667 0.2000 0.2667 0.4000 0.1933 0.1101 0.2000 0.4000 0.5694 0.1063 0.0002 0.0887 0.0000 0.4000 0.1933 0.1101
264-AH 0.0667 0.4000 0.6667 0.7667 0.8000 0.5467 0.2424 0.3667 0.7333 0.4434 0.4623 0.3354 0.2053 0.0667 0.8000 0.5467 0.2424
265-AH 0.0000 0.0667 0.2667 0.2667 0.3333 0.1833 0.1221 0.2000 0.3333 0.6661 0.0280 0.0000 0.1083 0.0000 0.3333 0.1833 0.1221
266-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0167 0.0367 0.0000 0.1333 2.2005 0.0001 0.0000 0.0267 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.2000 0.4000 0.4667 0.5333 0.3400 0.1558 0.2667 0.5333 0.4583 0.1922 0.0002 0.1327 0.0000 0.5333 0.3400 0.1558
268-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1133 0.0438 0.0000 0.1333 0.3864 0.0481 0.0001 0.0320 0.1333 0.1333 0.1333 0.0000
269-AH 0.0000 0.1333 0.2000 0.2333 0.3333 0.1933 0.0714 0.1000 0.3333 0.3694 0.1197 0.0002 0.0493 0.0000 0.3333 0.1933 0.0714
270-AH 0.0000 0.9000 1.0000 1.0000 1.0000 0.8633 0.2865 0.1000 1.0000 0.3319 0.4842 0.0002 0.1853 0.8000 1.0000 0.9686 0.0583
271-AH 0.0667 0.3667 0.5667 0.6667 0.7333 0.4933 0.1963 0.3000 0.6667 0.3980 0.4363 0.3444 0.1707 0.0667 0.7333 0.4933 0.1963
272-AH 0.0667 0.2333 0.2667 0.2667 0.3333 0.2500 0.0713 0.0333 0.2667 0.2853 0.2359 0.2145 0.0517 0.2000 0.2667 0.2564 0.0250
273-AH 0.0667 0.6000 0.9333 1.0000 1.0000 0.7833 0.3272 0.4000 0.9333 0.4177 0.6383 0.3725 0.2700 0.0667 1.0000 0.7833 0.3272
274-AH 0.0667 0.2000 0.3000 0.4000 0.4667 0.3000 0.1113 0.2000 0.4000 0.3711 0.2758 0.2434 0.0933 0.0667 0.4667 0.3000 0.1113
275-AH 0.2000 0.3000 0.4667 0.6000 0.7333 0.4633 0.1596 0.3000 0.5333 0.3445 0.4325 0.3982 0.1310 0.2000 0.7333 0.4633 0.1596
276-AH 0.2667 0.3667 0.6000 0.6667 0.8000 0.5300 0.1640 0.3000 0.5333 0.3094 0.5039 0.4769 0.1440 0.2667 0.8000 0.5300 0.1640
277-AH 0.0000 0.0667 0.2000 0.3333 0.4667 0.2133 0.1291 0.2667 0.4667 0.6049 0.1136 0.0002 0.1080 0.0000 0.4667 0.2133 0.1291
278-AH 0.0000 0.2000 0.2000 0.3333 0.4667 0.2533 0.1272 0.1333 0.4667 0.5022 0.1460 0.0002 0.0987 0.0000 0.4667 0.2533 0.1272
279-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0867 0.0616 0.0667 0.2000 0.7103 0.0233 0.0001 0.0480 0.0000 0.2000 0.0867 0.0616
280-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0467 0.0381 0.0667 0.1333 0.8161 0.0032 0.0000 0.0327 0.0000 0.1333 0.0467 0.0381
281-AH 0.0667 0.3333 0.5000 0.7000 0.7333 0.4933 0.2079 0.3667 0.6667 0.4214 0.4343 0.3438 0.1800 0.0667 0.7333 0.4933 0.2079
282-AH 0.0000 0.1333 0.2667 0.3333 0.4667 0.2200 0.1352 0.2000 0.4667 0.6148 0.0518 0.0001 0.1113 0.0000 0.4667 0.2200 0.1352
283-AH 0.0000 0.1333 0.2667 0.4333 0.9333 0.3200 0.2750 0.3000 0.9333 0.8592 0.0643 0.0001 0.2053 0.0000 0.6667 0.2519 0.1879
284-AH 0.0000 0.3667 0.5333 0.6333 0.7333 0.4700 0.2364 0.2667 0.7333 0.5030 0.2365 0.0002 0.1887 0.0000 0.7333 0.4700 0.2364
285-AH 0.0667 0.3333 0.7000 0.9000 1.0000 0.6500 0.2980 0.5667 0.9333 0.4585 0.5511 0.4000 0.2567 0.0667 1.0000 0.6500 0.2980
286-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0300 0.0340 0.0667 0.0667 1.1343 0.0005 0.0000 0.0330 0.0000 0.0667 0.0300 0.0340
287-AH 0.0000 0.2333 0.4333 0.5333 0.6000 0.3700 0.1952 0.3000 0.6000 0.5277 0.1270 0.0001 0.1590 0.0000 0.6000 0.3700 0.1952
288-AH 0.0000 0.2667 0.3000 0.5333 0.9333 0.4033 0.2723 0.2667 0.9333 0.6751 0.2097 0.0002 0.2110 0.0000 0.9333 0.4033 0.2723
289-AH 0.0000 0.4667 0.6333 0.7333 0.8667 0.5933 0.2140 0.2667 0.8667 0.3607 0.3473 0.0002 0.1680 0.3333 0.8667 0.6246 0.1666
290-AH 0.0000 0.1333 0.2333 0.3667 0.4667 0.2300 0.1567 0.2333 0.4667 0.6812 0.0520 0.0001 0.1367 0.0000 0.4667 0.2300 0.1567
90
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.2000 0.6333 0.8000 0.8667 0.5233 0.3188 0.6000 0.8667 0.6092 0.2443 0.0002 0.2777 0.0000 0.8667 0.5233 0.3188
292-AH 0.0000 0.0667 0.2667 0.2667 0.2667 0.1867 0.1177 0.2000 0.2667 0.6304 0.0195 0.0000 0.1040 0.0000 0.2667 0.1867 0.1177
293-AH 0.0000 0.4667 0.6667 0.8000 0.8667 0.5800 0.2754 0.3333 0.8667 0.4748 0.1980 0.0001 0.2167 0.0000 0.8667 0.5800 0.2754
294-AH 0.0000 0.3000 0.6333 0.7333 0.7333 0.5233 0.2312 0.4333 0.7333 0.4418 0.2922 0.0002 0.1930 0.0000 0.7333 0.5233 0.2312
295-AH 0.1333 0.3333 0.4000 0.4667 0.7333 0.3967 0.1288 0.1333 0.6000 0.3248 0.3754 0.3507 0.0907 0.2667 0.5333 0.3926 0.0882
296-AH 0.0000 0.3000 0.4667 0.5000 0.8000 0.4433 0.1774 0.2000 0.8000 0.4002 0.2601 0.0002 0.1260 0.2667 0.8000 0.4667 0.1474
297-AH 0.0667 0.2333 0.3333 0.3333 0.4667 0.2767 0.0974 0.1000 0.4000 0.3520 0.2541 0.2231 0.0757 0.1333 0.4667 0.2877 0.0862
298-AH 0.0000 0.2667 0.4000 0.4000 0.5333 0.3267 0.1481 0.1333 0.5333 0.4534 0.1216 0.0001 0.1153 0.1333 0.5333 0.3630 0.1028
299-AH 0.0667 0.3000 0.6333 0.7667 0.8000 0.5467 0.2453 0.4667 0.7333 0.4487 0.4679 0.3529 0.2120 0.0667 0.8000 0.5467 0.2453
300-AH 0.0000 0.1000 0.2000 0.3000 0.4667 0.2033 0.1459 0.2000 0.4667 0.7173 0.0307 0.0000 0.1110 0.0000 0.4667 0.2033 0.1459
301-AH 0.0000 0.0000 0.0000 0.0333 0.5333 0.0900 0.1826 0.0333 0.5333 2.0290 0.0001 0.0000 0.1373 0.0000 0.0667 0.0042 0.0167
302-AH 0.0667 0.2000 0.3000 0.4000 0.4667 0.3000 0.1195 0.2000 0.4000 0.3982 0.2712 0.2341 0.1000 0.0667 0.4667 0.3000 0.1195
303-AH 0.0667 0.2000 0.2667 0.3000 0.4667 0.2633 0.1113 0.1000 0.4000 0.4226 0.2358 0.2004 0.0777 0.0667 0.4000 0.2407 0.0919
304-AH 0.0000 0.1333 0.2667 0.3333 0.4000 0.2333 0.1427 0.2000 0.4000 0.6114 0.0233 0.0000 0.1167 0.0000 0.4000 0.2333 0.1427
305-AH 0.0000 0.1667 0.4000 0.6000 0.6667 0.3800 0.2120 0.4333 0.6667 0.5580 0.1998 0.0002 0.1820 0.0000 0.6667 0.3800 0.2120
306-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0600 0.0205 0.0000 0.0667 0.3420 0.0276 0.0001 0.0120 0.0667 0.0667 0.0667 0.0000
307-AH 0.0000 0.0667 0.1333 0.3333 0.4667 0.1933 0.1646 0.2667 0.4667 0.8513 0.0267 0.0000 0.1460 0.0000 0.4667 0.1933 0.1646
308-AH 0.0000 0.3000 0.4667 0.5333 0.6000 0.4133 0.1893 0.2333 0.6000 0.4580 0.2278 0.0002 0.1533 0.0000 0.6000 0.4133 0.1893
309-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0933 0.0547 0.0667 0.2000 0.5863 0.0380 0.0001 0.0453 0.0000 0.2000 0.0933 0.0547
310-AH 0.0000 0.1000 0.1333 0.2000 0.3333 0.1500 0.0889 0.1000 0.3333 0.5923 0.0574 0.0001 0.0683 0.0000 0.3333 0.1500 0.0889
311-AH 0.0000 0.3667 0.4667 0.5000 0.5333 0.4267 0.1231 0.1333 0.5333 0.2886 0.2595 0.0002 0.0853 0.3333 0.5333 0.4491 0.0732
312-AH 0.0000 0.2000 0.4667 0.6000 0.8667 0.3933 0.2586 0.4000 0.8667 0.6574 0.0833 0.0001 0.2273 0.0000 0.8667 0.3933 0.2586
313-AH 0.0000 0.0000 0.0667 0.1667 0.2667 0.1067 0.1001 0.1667 0.2667 0.9380 0.0076 0.0000 0.0840 0.0000 0.2667 0.1067 0.1001
314-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0367 0.0506 0.0667 0.1333 1.3803 0.0004 0.0000 0.0440 0.0000 0.1333 0.0367 0.0506
315-AH 0.0000 0.2000 0.4667 0.6000 0.6667 0.4033 0.2508 0.4000 0.6667 0.6219 0.0536 0.0000 0.2027 0.0000 0.6667 0.4033 0.2508
316-AH 0.0000 0.0000 0.0667 0.1333 0.3333 0.0867 0.1084 0.1333 0.3333 1.2504 0.0018 0.0000 0.0860 0.0000 0.3333 0.0867 0.1084
317-AH 0.0667 0.3000 0.3333 0.4667 0.5333 0.3633 0.1270 0.1667 0.4667 0.3495 0.3321 0.2819 0.0997 0.0667 0.5333 0.3633 0.1270
318-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.0767 0.0998 0.1333 0.4000 1.3013 0.0017 0.0000 0.0730 0.0000 0.2000 0.0596 0.0663
319-AH 0.1333 0.2667 0.3333 0.3333 0.5333 0.3200 0.1005 0.0667 0.4000 0.3141 0.3050 0.2893 0.0693 0.2000 0.3333 0.2958 0.0485
320-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0500 0.0607 0.0667 0.2000 1.2140 0.0014 0.0000 0.0450 0.0000 0.0667 0.0333 0.0343
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0500 0.0524 0.0667 0.1333 1.0485 0.0015 0.0000 0.0450 0.0000 0.1333 0.0500 0.0524
323-AH 0.0000 0.2000 0.3667 0.4000 0.4000 0.3100 0.1170 0.2000 0.4000 0.3775 0.1850 0.0002 0.0970 0.0000 0.4000 0.3100 0.1170
324-AH 0.0000 0.4667 0.6667 0.8000 0.8000 0.5800 0.2458 0.3333 0.8000 0.4237 0.3229 0.0002 0.1973 0.0000 0.8000 0.5800 0.2458
325-AH 0.3333 0.7333 0.8000 0.8000 0.9333 0.7600 0.1269 0.0667 0.6000 0.1669 0.7461 0.7261 0.0867 0.6667 0.8667 0.7843 0.0602
326-AH 0.0000 0.0333 0.1333 0.1333 0.1333 0.0867 0.0576 0.1000 0.1333 0.6650 0.0108 0.0000 0.0513 0.0000 0.1333 0.0867 0.0576
327-AH 0.0000 0.0000 0.0000 0.1000 0.2667 0.0700 0.1070 0.1000 0.2667 1.5287 0.0005 0.0000 0.0850 0.0000 0.1333 0.0208 0.0401
328-AH 0.2667 0.4000 0.4667 0.5333 0.6000 0.4567 0.1087 0.1333 0.3333 0.2381 0.4434 0.4292 0.0910 0.2667 0.6000 0.4567 0.1087
329-AH 0.3333 0.6000 0.7000 0.7333 0.7333 0.6667 0.0967 0.1333 0.4000 0.1451 0.6578 0.6458 0.0667 0.6000 0.7333 0.6842 0.0581
330-AH 0.0667 0.7333 0.8667 0.9333 0.9333 0.7767 0.2209 0.2000 0.8667 0.2844 0.7030 0.5037 0.1460 0.6000 0.9333 0.8407 0.0947
331-AH 0.0000 0.0667 0.1667 0.2333 0.4667 0.1767 0.1338 0.1667 0.4667 0.7574 0.0407 0.0001 0.1033 0.0000 0.4667 0.1767 0.1338
332-AH 0.0000 0.1333 0.2000 0.2667 0.2667 0.1833 0.0988 0.1333 0.2667 0.5390 0.0459 0.0001 0.0817 0.0000 0.2667 0.1833 0.0988
333-AH 0.0000 0.2667 0.3333 0.3333 0.3333 0.2900 0.0873 0.0667 0.3333 0.3009 0.1788 0.0002 0.0650 0.2000 0.3333 0.3053 0.0558
334-AH 0.0000 0.1000 0.1333 0.2000 0.2000 0.1400 0.0608 0.1000 0.2000 0.4342 0.0849 0.0002 0.0480 0.0000 0.2000 0.1400 0.0608
335-AH 0.0000 0.0667 0.2000 0.2000 0.2667 0.1600 0.0821 0.1333 0.2667 0.5130 0.0923 0.0002 0.0707 0.0000 0.2667 0.1600 0.0821
336-AH 0.0000 0.0000 0.0000 0.0667 0.4000 0.0900 0.1534 0.0667 0.4000 1.7040 0.0005 0.0000 0.1173 0.0000 0.0667 0.0167 0.0298
337-AH 0.0667 0.1667 0.5667 0.7000 0.8667 0.4900 0.2797 0.5333 0.8000 0.5709 0.3746 0.2470 0.2430 0.0667 0.8667 0.4900 0.2797
338-AH 0.1333 0.2667 0.4000 0.5333 0.6667 0.4033 0.1611 0.2667 0.5333 0.3994 0.3667 0.3247 0.1370 0.1333 0.6667 0.4033 0.1611
339-AH 0.2000 0.4333 0.4667 0.6333 0.8667 0.5167 0.1602 0.2000 0.6667 0.3101 0.4923 0.4659 0.1250 0.2000 0.8667 0.5167 0.1602
340-AH 0.0667 0.2667 0.2667 0.3333 0.3333 0.2700 0.0666 0.0667 0.2667 0.2466 0.2577 0.2360 0.0443 0.2000 0.3333 0.2807 0.0476
91
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2000 0.2333 0.2667 0.3333 0.3333 0.2733 0.0525 0.1000 0.1333 0.1922 0.2683 0.2632 0.0420 0.2000 0.3333 0.2733 0.0525
342-AH 0.5333 0.7333 0.8000 0.8667 0.9333 0.7867 0.1094 0.1333 0.4000 0.1391 0.7788 0.7702 0.0893 0.5333 0.9333 0.7867 0.1094
343-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0133 0.0274 0.0000 0.0667 2.0520 0.0001 0.0000 0.0213 0.0000 0.0000 0.0000 0.0000
344-AH 0.2000 0.4667 0.5667 0.6667 0.8667 0.5633 0.1750 0.2000 0.6667 0.3107 0.5328 0.4959 0.1433 0.2000 0.8667 0.5633 0.1750
345-AH 0.0000 0.0667 0.1333 0.2000 0.4000 0.1333 0.1103 0.1333 0.4000 0.8272 0.0209 0.0000 0.0867 0.0000 0.2667 0.1193 0.0932
346-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0500 0.0567 0.1000 0.1333 1.1343 0.0010 0.0000 0.0500 0.0000 0.1333 0.0500 0.0567
347-AH 0.0000 0.0667 0.0667 0.1667 0.2000 0.0967 0.0700 0.1000 0.2000 0.7242 0.0251 0.0001 0.0590 0.0000 0.2000 0.0967 0.0700
348-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.1000 0.0592 0.0667 0.1333 0.5923 0.0124 0.0000 0.0500 0.0000 0.1333 0.1000 0.0592
349-AH 0.0667 0.2667 0.3333 0.4000 0.5333 0.3433 0.1285 0.1333 0.4667 0.3742 0.3072 0.2476 0.0920 0.2667 0.5333 0.3741 0.0919
350-AH 0.0000 0.3000 0.4333 0.4667 0.4667 0.3700 0.1410 0.1667 0.4667 0.3810 0.2170 0.0002 0.1117 0.1333 0.4667 0.3895 0.1139
92
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0222 0.0250 0.0500 0.5923 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0222
142-AH 0.1500 0.2750 0.3500 0.4000 0.4000 0.3350 0.0709 0.1250 0.2500 0.2116 0.3261 0.3150 0.0560 0.1500 0.4000 0.3350 0.0709
143-AH 0.0000 0.5000 0.8000 0.9250 1.0000 0.6775 0.3515 0.4250 1.0000 0.5188 0.1404 0.0001 0.2787 0.0000 1.0000 0.6775 0.3515
144-AH 0.0000 0.0500 0.1500 0.1500 0.1500 0.1050 0.0583 0.1000 0.1500 0.5549 0.0283 0.0001 0.0495 0.0000 0.1500 0.1050 0.0583
145-AH 0.0000 0.3000 0.6250 0.7500 0.9000 0.5450 0.3264 0.4500 0.9000 0.5989 0.1552 0.0001 0.2575 0.0000 0.9000 0.5450 0.3264
146-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0425 0.0183 0.0000 0.0500 0.4310 0.0139 0.0001 0.0128 0.0500 0.0500 0.0500 0.0000
147-AH 0.0500 0.5250 0.6750 0.8000 1.0000 0.6300 0.2760 0.2750 0.9500 0.4380 0.5040 0.2810 0.2030 0.1500 1.0000 0.6944 0.2028
148-AH 0.0000 0.0500 0.0500 0.0500 0.1000 0.0550 0.0224 0.0000 0.1000 0.4066 0.0362 0.0002 0.0135 0.0500 0.0500 0.0500 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0750 0.1250 0.2000 0.0775 0.0678 0.1250 0.2000 0.8750 0.0063 0.0000 0.0575 0.0000 0.2000 0.0775 0.0678
151-AH 0.0000 0.0000 0.1000 0.2000 0.2500 0.1125 0.0972 0.2000 0.2500 0.8637 0.0055 0.0000 0.0838 0.0000 0.2500 0.1125 0.0972
152-AH 0.0000 0.2000 0.3000 0.3750 0.4500 0.2825 0.1195 0.1750 0.4500 0.4230 0.1658 0.0002 0.0960 0.0000 0.4500 0.2825 0.1195
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.1500 0.2750 0.3500 0.4000 0.5000 0.3375 0.0985 0.1250 0.3500 0.2919 0.3218 0.3041 0.0800 0.1500 0.5000 0.3375 0.0985
155-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0600 0.0476 0.1000 0.1500 0.7929 0.0054 0.0000 0.0410 0.0000 0.1500 0.0600 0.0476
156-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1125 0.0626 0.1000 0.2500 0.5561 0.0659 0.0002 0.0500 0.0000 0.2500 0.1125 0.0626
157-AH 0.3500 0.5500 0.7000 0.8000 0.9000 0.6725 0.1577 0.2500 0.5500 0.2345 0.6533 0.6324 0.1302 0.3500 0.9000 0.6725 0.1577
158-AH 0.0000 0.2500 0.4750 0.6500 0.6500 0.4100 0.2365 0.4000 0.6500 0.5769 0.0898 0.0001 0.2040 0.0000 0.6500 0.4100 0.2365
159-AH 0.0000 0.0500 0.1500 0.4750 0.8500 0.2875 0.3252 0.4250 0.8500 1.1311 0.0471 0.0001 0.2663 0.0000 0.8500 0.2875 0.3252
160-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0350 0.0328 0.0500 0.1000 0.9385 0.0018 0.0000 0.0280 0.0000 0.1000 0.0350 0.0328
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0222 0.0250 0.0500 0.5923 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0222
163-AH 0.2000 0.8250 1.0000 1.0000 1.0000 0.8500 0.2782 0.1750 0.8000 0.3272 0.7726 0.6466 0.2150 0.6500 1.0000 0.9559 0.1074
164-AH 0.0000 0.0000 0.0000 0.0750 0.5000 0.0750 0.1381 0.0750 0.5000 1.8417 0.0007 0.0000 0.0925 0.0000 0.1500 0.0333 0.0514
165-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0475 0.0112 0.0000 0.0500 0.2354 0.0327 0.0002 0.0048 0.0500 0.0500 0.0500 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0600 0.0476 0.1000 0.1500 0.7929 0.0054 0.0000 0.0410 0.0000 0.1500 0.0600 0.0476
168-AH 0.0500 0.3250 0.4000 0.4000 0.5000 0.3650 0.1065 0.0750 0.4500 0.2918 0.3376 0.2773 0.0770 0.2500 0.5000 0.3816 0.0785
169-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0300 0.0299 0.0500 0.1000 0.9971 0.0011 0.0000 0.0270 0.0000 0.1000 0.0300 0.0299
170-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0425 0.0183 0.0000 0.0500 0.4310 0.0139 0.0001 0.0128 0.0500 0.0500 0.0500 0.0000
171-AH 0.0000 0.0250 0.0750 0.1500 0.2500 0.0975 0.0910 0.1250 0.2500 0.9334 0.0105 0.0000 0.0725 0.0000 0.2500 0.0975 0.0910
172-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0850 0.0432 0.0500 0.1500 0.5085 0.0356 0.0001 0.0345 0.0000 0.1500 0.0850 0.0432
173-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
174-AH 0.0500 0.1000 0.1000 0.1000 0.1000 0.0925 0.0183 0.0000 0.0500 0.1980 0.0901 0.0870 0.0128 0.1000 0.1000 0.1000 0.0000
175-AH 0.1500 0.2500 0.3000 0.3000 0.3500 0.2725 0.0499 0.0500 0.2000 0.1832 0.2674 0.2614 0.0408 0.2000 0.3500 0.2789 0.0419
176-AH 0.7000 0.8500 0.9250 1.0000 1.0000 0.9150 0.0905 0.1500 0.3000 0.0989 0.9105 0.9057 0.0750 0.7000 1.0000 0.9150 0.0905
177-AH 0.0500 0.0500 0.1500 0.2500 0.4500 0.1675 0.1321 0.2000 0.4000 0.7884 0.1226 0.0914 0.1045 0.0500 0.4500 0.1675 0.1321
178-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0275 0.0380 0.0500 0.1500 1.3803 0.0005 0.0000 0.0303 0.0000 0.0500 0.0211 0.0254
179-AH 0.0000 0.1500 0.3500 0.6000 0.8500 0.3650 0.2550 0.4500 0.8500 0.6986 0.1699 0.0002 0.2150 0.0000 0.8500 0.3650 0.2550
180-AH 0.0000 0.1250 0.3500 0.7000 0.8500 0.4075 0.2930 0.5750 0.8500 0.7191 0.1930 0.0002 0.2632 0.0000 0.8500 0.4075 0.2930
181-AH 0.0000 0.6750 0.8250 0.9500 1.0000 0.7625 0.2322 0.2750 1.0000 0.3045 0.4481 0.0002 0.1612 0.4500 1.0000 0.8026 0.1514
182-AH 0.0000 0.0500 0.1000 0.1500 0.1500 0.0925 0.0568 0.1000 0.1500 0.6144 0.0248 0.0001 0.0490 0.0000 0.1500 0.0925 0.0568
183-AH 0.0000 0.0000 0.0250 0.0750 0.2000 0.0575 0.0783 0.0750 0.2000 1.3611 0.0010 0.0000 0.0613 0.0000 0.1000 0.0219 0.0315
184-AH 0.0000 0.2000 0.2500 0.3000 0.3000 0.2375 0.0705 0.1000 0.3000 0.2967 0.1484 0.0002 0.0475 0.1500 0.3000 0.2500 0.0441
185-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0222 0.0250 0.0500 0.5923 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0222
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0450 0.0154 0.0000 0.0500 0.3420 0.0213 0.0001 0.0090 0.0500 0.0500 0.0500 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0100 0.0205 0.0000 0.0500 2.0520 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.1250 0.3500 0.3500 0.3500 0.2500 0.1504 0.2250 0.3500 0.6018 0.0246 0.0000 0.1250 0.0000 0.3500 0.2500 0.1504
190-AH 0.0500 0.2250 0.3000 0.3500 0.3500 0.2600 0.1107 0.1250 0.3000 0.4259 0.2201 0.1624 0.0880 0.0500 0.3500 0.2600 0.1107
93
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.1500 0.2000 0.2500 0.3000 0.1800 0.0768 0.1000 0.3000 0.4265 0.1077 0.0002 0.0620 0.0500 0.3000 0.1895 0.0658
193-AH 0.1500 0.1750 0.2500 0.2500 0.3000 0.2275 0.0525 0.0750 0.1500 0.2308 0.2211 0.2143 0.0442 0.1500 0.3000 0.2275 0.0525
194-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0425 0.0183 0.0000 0.0500 0.4310 0.0139 0.0001 0.0128 0.0500 0.0500 0.0500 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0475 0.0112 0.0000 0.0500 0.2354 0.0327 0.0002 0.0048 0.0500 0.0500 0.0500 0.0000
197-AH 0.0000 0.5750 0.7250 0.9250 1.0000 0.7250 0.2603 0.3500 1.0000 0.3591 0.4193 0.0002 0.2000 0.4000 1.0000 0.7632 0.2020
198-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0350 0.0235 0.0500 0.0500 0.6717 0.0039 0.0000 0.0210 0.0000 0.0500 0.0350 0.0235
199-AH 0.0000 0.3250 0.4500 0.4500 0.4500 0.3750 0.1333 0.1250 0.4500 0.3554 0.2210 0.0002 0.1025 0.2500 0.4500 0.4111 0.0758
200-AH 0.0500 0.1000 0.2000 0.3000 0.4000 0.2100 0.1059 0.2000 0.3500 0.5042 0.1814 0.1524 0.0910 0.0500 0.4000 0.2100 0.1059
251-AH 0.1500 0.6750 0.8500 0.9500 0.9500 0.7500 0.2734 0.2750 0.8000 0.3645 0.6640 0.5263 0.2150 0.5000 0.9500 0.8500 0.1323
252-AH 0.1500 0.3000 0.3750 0.5000 0.6500 0.3825 0.1515 0.2000 0.5000 0.3962 0.3492 0.3124 0.1275 0.1500 0.6500 0.3825 0.1515
253-AH 0.0500 0.4750 0.6750 0.7500 0.8000 0.5875 0.2299 0.2750 0.7500 0.3913 0.4892 0.2882 0.1838 0.4000 0.8000 0.6472 0.1460
254-AH 0.0000 0.1000 0.3500 0.4000 0.6500 0.2875 0.1993 0.3000 0.6500 0.6931 0.0396 0.0000 0.1663 0.0000 0.6500 0.2875 0.1993
255-AH 0.0500 0.0500 0.1250 0.2000 0.2000 0.1250 0.0618 0.1500 0.1500 0.4942 0.1084 0.0923 0.0550 0.0500 0.2000 0.1250 0.0618
256-AH 0.0000 0.6750 0.8000 0.9000 1.0000 0.7700 0.2148 0.2250 1.0000 0.2790 0.4561 0.0002 0.1380 0.6500 1.0000 0.8105 0.1185
257-AH 0.2000 0.2500 0.3250 0.4500 0.6000 0.3525 0.1141 0.2000 0.4000 0.3237 0.3367 0.3227 0.0885 0.2000 0.6000 0.3525 0.1141
258-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0325 0.0568 0.0500 0.1500 1.7488 0.0002 0.0000 0.0455 0.0000 0.1000 0.0118 0.0281
259-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0900 0.0262 0.0000 0.1000 0.2906 0.0589 0.0002 0.0170 0.1000 0.1000 0.1000 0.0000
260-AH 0.0000 0.6250 0.7500 0.8750 0.9500 0.6800 0.2618 0.2500 0.9500 0.3850 0.3856 0.0002 0.1980 0.2500 0.9500 0.7158 0.2128
261-AH 0.0500 0.2000 0.3000 0.3250 0.5500 0.2875 0.1213 0.1250 0.5000 0.4218 0.2581 0.2174 0.0900 0.0500 0.4500 0.2737 0.1072
262-AH 0.0500 0.1500 0.3500 0.4000 0.7500 0.3475 0.2167 0.2500 0.7000 0.6237 0.2756 0.2030 0.1630 0.0500 0.7500 0.3475 0.2167
263-AH 0.0500 0.0750 0.1500 0.3000 0.4000 0.1925 0.1195 0.2250 0.3500 0.6208 0.1523 0.1148 0.1018 0.0500 0.4000 0.1925 0.1195
264-AH 0.0500 0.3000 0.5500 0.6250 0.7500 0.4625 0.1973 0.3250 0.7000 0.4265 0.3974 0.2913 0.1650 0.0500 0.7500 0.4625 0.1973
265-AH 0.0000 0.0500 0.2000 0.2000 0.3000 0.1500 0.0932 0.1500 0.3000 0.6213 0.0365 0.0001 0.0800 0.0000 0.3000 0.1500 0.0932
266-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0200 0.0299 0.0500 0.1000 1.4956 0.0002 0.0000 0.0260 0.0000 0.1000 0.0200 0.0299
267-AH 0.0000 0.1750 0.3250 0.3500 0.4500 0.2775 0.1219 0.1750 0.4500 0.4393 0.1589 0.0002 0.0992 0.0000 0.4500 0.2775 0.1219
268-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0850 0.0328 0.0000 0.1000 0.3864 0.0371 0.0001 0.0240 0.1000 0.1000 0.1000 0.0000
269-AH 0.0500 0.1250 0.1750 0.2000 0.2500 0.1675 0.0568 0.0750 0.2000 0.3393 0.1563 0.1425 0.0475 0.0500 0.2500 0.1675 0.0568
270-AH 0.0000 0.8000 0.9500 0.9500 1.0000 0.8225 0.2826 0.1500 1.0000 0.3436 0.4567 0.0002 0.1912 0.6500 1.0000 0.9083 0.1047
271-AH 0.0500 0.3500 0.5000 0.5750 0.6000 0.4300 0.1720 0.2250 0.5500 0.4000 0.3758 0.2835 0.1470 0.0500 0.6000 0.4300 0.1720
272-AH 0.0500 0.2500 0.2500 0.2500 0.3500 0.2425 0.0568 0.0000 0.3000 0.2344 0.2310 0.2072 0.0320 0.2500 0.2500 0.2500 0.0000
273-AH 0.1500 0.4750 0.9250 0.9750 1.0000 0.7550 0.3174 0.5000 0.8500 0.4204 0.6501 0.5043 0.2730 0.1500 1.0000 0.7550 0.3174
274-AH 0.0500 0.2000 0.2500 0.3750 0.4000 0.2750 0.0967 0.1750 0.3500 0.3515 0.2528 0.2173 0.0775 0.0500 0.4000 0.2750 0.0967
275-AH 0.1500 0.3500 0.4000 0.5250 0.7500 0.4300 0.1551 0.1750 0.6000 0.3607 0.4007 0.3683 0.1280 0.1500 0.7500 0.4300 0.1551
276-AH 0.3000 0.4000 0.5000 0.6000 0.6500 0.4975 0.1208 0.2000 0.3500 0.2429 0.4826 0.4671 0.1030 0.3000 0.6500 0.4975 0.1208
277-AH 0.0000 0.0750 0.2500 0.3000 0.4500 0.2175 0.1280 0.2250 0.4500 0.5886 0.1131 0.0002 0.1090 0.0000 0.4500 0.2175 0.1280
278-AH 0.0000 0.1500 0.2000 0.2500 0.4000 0.2075 0.1029 0.1000 0.4000 0.4961 0.1204 0.0002 0.0790 0.0500 0.3500 0.2083 0.0845
279-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0750 0.0444 0.0500 0.1500 0.5923 0.0310 0.0001 0.0375 0.0000 0.1500 0.0750 0.0444
280-AH 0.0000 0.0000 0.0500 0.0500 0.2000 0.0500 0.0487 0.0500 0.2000 0.9733 0.0046 0.0000 0.0300 0.0000 0.1000 0.0421 0.0344
281-AH 0.0500 0.3000 0.4000 0.6500 0.8000 0.4500 0.1953 0.3500 0.7500 0.4341 0.3942 0.3013 0.1700 0.0500 0.8000 0.4500 0.1953
282-AH 0.0000 0.1000 0.2000 0.3000 0.4500 0.2025 0.1303 0.2000 0.4500 0.6432 0.0720 0.0001 0.1077 0.0000 0.4500 0.2025 0.1303
283-AH 0.0500 0.1250 0.2750 0.4500 0.9000 0.3225 0.2588 0.3250 0.8500 0.8024 0.2236 0.1435 0.1997 0.0500 0.9000 0.3225 0.2588
284-AH 0.0000 0.3500 0.5000 0.6000 0.7000 0.4300 0.2203 0.2500 0.7000 0.5123 0.2117 0.0002 0.1750 0.0000 0.7000 0.4300 0.2203
285-AH 0.1000 0.3750 0.6500 0.9000 0.9500 0.6325 0.2792 0.5250 0.8500 0.4415 0.5499 0.4381 0.2425 0.1000 0.9500 0.6325 0.2792
286-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0300 0.0299 0.0500 0.1000 0.9971 0.0011 0.0000 0.0270 0.0000 0.1000 0.0300 0.0299
287-AH 0.0000 0.2000 0.4500 0.4750 0.5500 0.3475 0.1902 0.2750 0.5500 0.5474 0.1168 0.0001 0.1535 0.0000 0.5500 0.3475 0.1902
288-AH 0.0000 0.2000 0.2750 0.5250 0.9000 0.3800 0.2692 0.3250 0.9000 0.7084 0.1928 0.0002 0.2110 0.0000 0.9000 0.3800 0.2692
289-AH 0.0000 0.3500 0.6000 0.7000 0.7500 0.5300 0.2003 0.3500 0.7500 0.3779 0.3091 0.0002 0.1640 0.0000 0.7500 0.5300 0.2003
290-AH 0.0000 0.1000 0.2750 0.3750 0.5000 0.2400 0.1635 0.2750 0.5000 0.6813 0.0793 0.0001 0.1410 0.0000 0.5000 0.2400 0.1635
94
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.2000 0.5500 0.7250 0.8000 0.4650 0.2852 0.5250 0.8000 0.6133 0.2143 0.0002 0.2520 0.0000 0.8000 0.4650 0.2852
292-AH 0.0000 0.0500 0.2000 0.2000 0.2000 0.1450 0.0887 0.1500 0.2000 0.6118 0.0162 0.0000 0.0770 0.0000 0.2000 0.1450 0.0887
293-AH 0.0500 0.4500 0.6250 0.7000 0.8000 0.5600 0.2387 0.2500 0.7500 0.4263 0.4569 0.2723 0.1860 0.2000 0.8000 0.6167 0.1724
294-AH 0.0000 0.3000 0.6000 0.7000 0.7500 0.5000 0.2417 0.4000 0.7500 0.4834 0.2708 0.0002 0.2050 0.0000 0.7500 0.5000 0.2417
295-AH 0.2000 0.2500 0.3500 0.4500 0.6000 0.3575 0.1150 0.2000 0.4000 0.3217 0.3399 0.3229 0.0982 0.2000 0.6000 0.3575 0.1150
296-AH 0.0000 0.2500 0.4000 0.4500 0.7500 0.3800 0.1712 0.2000 0.7500 0.4506 0.2207 0.0002 0.1240 0.0000 0.6500 0.3605 0.1515
297-AH 0.0500 0.2000 0.2500 0.2500 0.3500 0.2125 0.0723 0.0500 0.3000 0.3403 0.1955 0.1711 0.0550 0.2000 0.2500 0.2367 0.0229
298-AH 0.0000 0.2250 0.3500 0.3750 0.5000 0.2925 0.1398 0.1500 0.5000 0.4780 0.1089 0.0001 0.1090 0.1000 0.5000 0.3250 0.1033
299-AH 0.1000 0.2750 0.5500 0.7750 0.8500 0.5275 0.2430 0.5000 0.7500 0.4608 0.4578 0.3734 0.2020 0.1000 0.8500 0.5275 0.2430
300-AH 0.0000 0.0750 0.1750 0.3000 0.4500 0.1925 0.1398 0.2250 0.4500 0.7263 0.0289 0.0000 0.1175 0.0000 0.4500 0.1925 0.1398
301-AH 0.0000 0.0000 0.0250 0.1000 0.4500 0.0900 0.1420 0.1000 0.4500 1.5775 0.0011 0.0000 0.1060 0.0000 0.2500 0.0382 0.0650
302-AH 0.1000 0.2500 0.2750 0.3500 0.4000 0.2800 0.0979 0.1000 0.3000 0.3495 0.2594 0.2341 0.0800 0.1500 0.4000 0.3000 0.0804
303-AH 0.1000 0.1750 0.2000 0.3000 0.4000 0.2300 0.0768 0.1250 0.3000 0.3338 0.2177 0.2054 0.0630 0.1000 0.4000 0.2300 0.0768
304-AH 0.0000 0.1000 0.2250 0.2500 0.3000 0.1825 0.1127 0.1500 0.3000 0.6176 0.0193 0.0000 0.0913 0.0000 0.3000 0.1825 0.1127
305-AH 0.0000 0.2000 0.4000 0.5500 0.6000 0.3650 0.1899 0.3500 0.6000 0.5204 0.1948 0.0002 0.1570 0.0000 0.6000 0.3650 0.1899
306-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0450 0.0154 0.0000 0.0500 0.3420 0.0213 0.0001 0.0090 0.0500 0.0500 0.0500 0.0000
307-AH 0.0000 0.0500 0.1500 0.3250 0.5000 0.2025 0.1642 0.2750 0.5000 0.8109 0.0424 0.0001 0.1428 0.0000 0.5000 0.2025 0.1642
308-AH 0.0000 0.2250 0.3750 0.4000 0.4500 0.3150 0.1443 0.1750 0.4500 0.4580 0.1757 0.0002 0.1175 0.0000 0.4500 0.3150 0.1443
309-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0900 0.0384 0.0500 0.1500 0.4265 0.0564 0.0002 0.0290 0.0000 0.1500 0.0900 0.0384
310-AH 0.0000 0.1000 0.1500 0.2250 0.3000 0.1550 0.0916 0.1250 0.3000 0.5911 0.0581 0.0001 0.0755 0.0000 0.3000 0.1550 0.0916
311-AH 0.0000 0.4000 0.4000 0.4500 0.6000 0.4075 0.1115 0.0500 0.6000 0.2737 0.2497 0.0002 0.0590 0.3500 0.5000 0.4194 0.0425
312-AH 0.0000 0.2000 0.4500 0.5500 0.8500 0.3850 0.2498 0.3500 0.8500 0.6488 0.0821 0.0001 0.2165 0.0000 0.8500 0.3850 0.2498
313-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1175 0.1055 0.2000 0.3000 0.8977 0.0082 0.0000 0.0893 0.0000 0.3000 0.1175 0.1055
314-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0275 0.0380 0.0500 0.1000 1.3803 0.0003 0.0000 0.0330 0.0000 0.1000 0.0275 0.0380
315-AH 0.0000 0.1750 0.4500 0.5500 0.6000 0.3875 0.2224 0.3750 0.6000 0.5738 0.1819 0.0002 0.1825 0.0000 0.6000 0.3875 0.2224
316-AH 0.0000 0.0000 0.0500 0.1500 0.3500 0.0900 0.1008 0.1500 0.3500 1.1198 0.0063 0.0000 0.0780 0.0000 0.3500 0.0900 0.1008
317-AH 0.1000 0.2750 0.3500 0.4000 0.4500 0.3350 0.0933 0.1250 0.3500 0.2786 0.3173 0.2916 0.0710 0.1000 0.4500 0.3350 0.0933
318-AH 0.0000 0.0000 0.0500 0.1500 0.3500 0.0800 0.0923 0.1500 0.3500 1.1542 0.0027 0.0000 0.0730 0.0000 0.3500 0.0800 0.0923
319-AH 0.1500 0.2000 0.2500 0.3000 0.5000 0.2725 0.0952 0.1000 0.3500 0.3495 0.2578 0.2442 0.0720 0.1500 0.4500 0.2605 0.0809
320-AH 0.0000 0.0000 0.0500 0.0500 0.2500 0.0525 0.0658 0.0500 0.2500 1.2542 0.0031 0.0000 0.0393 0.0000 0.1000 0.0333 0.0297
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0500 0.0459 0.1000 0.1500 0.9177 0.0032 0.0000 0.0350 0.0000 0.1500 0.0500 0.0459
323-AH 0.0000 0.1500 0.3000 0.3000 0.3500 0.2425 0.0878 0.1500 0.3500 0.3619 0.1477 0.0002 0.0705 0.0000 0.3500 0.2425 0.0878
324-AH 0.0000 0.4750 0.6250 0.7750 0.8500 0.5675 0.2561 0.3000 0.8500 0.4513 0.3099 0.0002 0.2008 0.1000 0.8500 0.5974 0.2245
325-AH 0.3000 0.6750 0.7500 0.8000 0.8500 0.7200 0.1229 0.1250 0.5500 0.1707 0.7057 0.6846 0.0820 0.5500 0.8500 0.7421 0.0750
326-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0700 0.0377 0.0500 0.1000 0.5385 0.0204 0.0001 0.0330 0.0000 0.1000 0.0700 0.0377
327-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0550 0.0809 0.1000 0.2000 1.4718 0.0004 0.0000 0.0670 0.0000 0.2000 0.0550 0.0809
328-AH 0.2500 0.4000 0.5000 0.5250 0.6000 0.4600 0.1034 0.1250 0.3500 0.2247 0.4466 0.4307 0.0820 0.2500 0.6000 0.4600 0.1034
329-AH 0.2500 0.5500 0.6000 0.6250 0.7000 0.5900 0.0968 0.0750 0.4500 0.1641 0.5793 0.5635 0.0580 0.5500 0.7000 0.6079 0.0559
330-AH 0.0500 0.7500 0.8750 0.9000 0.9500 0.7800 0.2221 0.1500 0.9000 0.2847 0.6976 0.4499 0.1460 0.6000 0.9500 0.8444 0.0922
331-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2025 0.1282 0.2000 0.4000 0.6332 0.0470 0.0001 0.0980 0.0000 0.4000 0.2025 0.1282
332-AH 0.0000 0.1250 0.1750 0.2000 0.2500 0.1550 0.0841 0.0750 0.2500 0.5428 0.0397 0.0001 0.0650 0.0500 0.2500 0.1824 0.0557
333-AH 0.0000 0.2000 0.2500 0.2500 0.2500 0.2175 0.0654 0.0500 0.2500 0.3009 0.1360 0.0002 0.0487 0.1500 0.2500 0.2289 0.0419
334-AH 0.0500 0.1000 0.1500 0.1500 0.1500 0.1225 0.0343 0.0500 0.1000 0.2801 0.1166 0.1091 0.0303 0.0500 0.1500 0.1225 0.0343
335-AH 0.0000 0.1000 0.1500 0.2000 0.2500 0.1500 0.0669 0.1000 0.2500 0.4459 0.0905 0.0002 0.0550 0.0000 0.2500 0.1500 0.0669
336-AH 0.0000 0.0000 0.0250 0.0500 0.3000 0.0725 0.1129 0.0500 0.3000 1.5579 0.0010 0.0000 0.0860 0.0000 0.0500 0.0188 0.0250
337-AH 0.0500 0.1750 0.6000 0.7000 0.8500 0.4925 0.2730 0.5250 0.8000 0.5544 0.3829 0.2543 0.2397 0.0500 0.8500 0.4925 0.2730
338-AH 0.1000 0.2750 0.3000 0.4000 0.5000 0.3250 0.1141 0.1250 0.4000 0.3512 0.2996 0.2661 0.0925 0.1000 0.5000 0.3250 0.1141
339-AH 0.2000 0.4000 0.4500 0.6250 0.7500 0.4975 0.1473 0.2250 0.5500 0.2961 0.4755 0.4515 0.1220 0.2000 0.7500 0.4975 0.1473
340-AH 0.1500 0.2250 0.2500 0.2500 0.2500 0.2325 0.0335 0.0250 0.1000 0.1443 0.2297 0.2264 0.0262 0.2000 0.2500 0.2417 0.0192
95
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1500 0.2000 0.2000 0.2500 0.3000 0.2200 0.0470 0.0500 0.1500 0.2137 0.2152 0.2105 0.0390 0.1500 0.3000 0.2200 0.0470
342-AH 0.5000 0.7000 0.7500 0.8000 0.9000 0.7425 0.1104 0.1000 0.4000 0.1486 0.7339 0.7243 0.0798 0.6500 0.9000 0.7694 0.0770
343-AH 0.0000 0.0000 0.0000 0.0250 0.0500 0.0125 0.0222 0.0250 0.0500 1.7770 0.0001 0.0000 0.0188 0.0000 0.0500 0.0125 0.0222
344-AH 0.1500 0.4000 0.5000 0.6250 0.7500 0.5050 0.1547 0.2250 0.6000 0.3063 0.4764 0.4386 0.1255 0.1500 0.7500 0.5050 0.1547
345-AH 0.0000 0.0750 0.1250 0.1750 0.3000 0.1200 0.0818 0.1000 0.3000 0.6813 0.0206 0.0000 0.0650 0.0000 0.3000 0.1200 0.0818
346-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0525 0.0525 0.1000 0.1500 1.0001 0.0022 0.0000 0.0433 0.0000 0.1500 0.0525 0.0525
347-AH 0.0000 0.0500 0.1000 0.1500 0.1500 0.0875 0.0535 0.1000 0.1500 0.6114 0.0239 0.0001 0.0450 0.0000 0.1500 0.0875 0.0535
348-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0444 0.0500 0.1000 0.5923 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0444
349-AH 0.0500 0.2500 0.3500 0.4250 0.6000 0.3450 0.1276 0.1750 0.5500 0.3699 0.3121 0.2552 0.0960 0.0500 0.6000 0.3450 0.1276
350-AH 0.1000 0.2750 0.3500 0.3500 0.4000 0.3125 0.0825 0.0750 0.3000 0.2641 0.2979 0.2772 0.0662 0.2000 0.4000 0.3237 0.0674
96
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0167 0.0333 0.0333 0.0333 0.0250 0.0148 0.0167 0.0333 0.5923 0.0044 0.0000 0.0125 0.0000 0.0333 0.0250 0.0148
142-AH 0.1000 0.2167 0.2333 0.2667 0.2667 0.2300 0.0445 0.0500 0.1667 0.1933 0.2246 0.2174 0.0317 0.1667 0.2667 0.2368 0.0331
143-AH 0.0000 0.4667 0.6667 0.7833 0.9333 0.5983 0.3017 0.3167 0.9333 0.5043 0.2850 0.0002 0.2292 0.0000 0.9333 0.5983 0.3017
144-AH 0.0000 0.0333 0.1000 0.1000 0.1000 0.0717 0.0394 0.0667 0.1000 0.5498 0.0205 0.0001 0.0340 0.0000 0.1000 0.0717 0.0394
145-AH 0.0000 0.2667 0.5000 0.6333 0.7333 0.4467 0.2601 0.3667 0.7333 0.5823 0.1366 0.0001 0.2073 0.0000 0.7333 0.4467 0.2601
146-AH 0.0000 0.0333 0.0333 0.0333 0.0667 0.0333 0.0108 0.0000 0.0667 0.3244 0.0230 0.0002 0.0033 0.0333 0.0333 0.0333 0.0000
147-AH 0.1667 0.4500 0.6333 0.7000 0.8667 0.5817 0.2121 0.2500 0.7000 0.3646 0.5298 0.4607 0.1672 0.1667 0.8667 0.5817 0.2121
148-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0433 0.0219 0.0333 0.1000 0.5053 0.0279 0.0002 0.0173 0.0000 0.1000 0.0433 0.0219
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0333 0.0833 0.1333 0.2000 0.0867 0.0670 0.1000 0.2000 0.7733 0.0149 0.0000 0.0567 0.0000 0.2000 0.0867 0.0670
151-AH 0.0000 0.0000 0.1000 0.1500 0.1667 0.0900 0.0676 0.1500 0.1667 0.7514 0.0073 0.0000 0.0587 0.0000 0.1667 0.0900 0.0676
152-AH 0.0000 0.1500 0.2333 0.2667 0.3000 0.2083 0.0756 0.1167 0.3000 0.3629 0.1278 0.0002 0.0600 0.0000 0.3000 0.2083 0.0756
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.1000 0.1833 0.2667 0.3000 0.3333 0.2467 0.0661 0.1167 0.2333 0.2681 0.2366 0.2245 0.0540 0.1000 0.3333 0.2467 0.0661
155-AH 0.0000 0.0000 0.0667 0.0667 0.1000 0.0517 0.0366 0.0667 0.1000 0.7091 0.0050 0.0000 0.0310 0.0000 0.1000 0.0517 0.0366
156-AH 0.0000 0.0500 0.1000 0.1333 0.2000 0.0983 0.0567 0.0833 0.2000 0.5765 0.0561 0.0002 0.0485 0.0000 0.2000 0.0983 0.0567
157-AH 0.4000 0.5333 0.6833 0.7667 0.9000 0.6567 0.1447 0.2333 0.5000 0.2204 0.6402 0.6227 0.1187 0.4000 0.9000 0.6567 0.1447
158-AH 0.0000 0.2167 0.4000 0.5000 0.6000 0.3433 0.1944 0.2833 0.6000 0.5662 0.0774 0.0001 0.1623 0.0000 0.6000 0.3433 0.1944
159-AH 0.0000 0.0500 0.1500 0.4333 0.7667 0.2567 0.2730 0.3833 0.7667 1.0635 0.0444 0.0001 0.2217 0.0000 0.7667 0.2567 0.2730
160-AH 0.0000 0.0167 0.0333 0.0333 0.0667 0.0317 0.0229 0.0167 0.0667 0.7225 0.0050 0.0000 0.0158 0.0000 0.0333 0.0229 0.0160
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0317 0.0075 0.0000 0.0333 0.2354 0.0222 0.0002 0.0032 0.0333 0.0333 0.0333 0.0000
163-AH 0.1333 0.7167 0.9667 1.0000 1.0000 0.8150 0.3111 0.2833 0.8667 0.3817 0.7065 0.5276 0.2508 0.5000 1.0000 0.9275 0.1569
164-AH 0.0000 0.0000 0.0667 0.1000 0.3667 0.0817 0.1034 0.1000 0.3667 1.2666 0.0057 0.0000 0.0710 0.0000 0.1667 0.0519 0.0501
165-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0317 0.0075 0.0000 0.0333 0.2354 0.0222 0.0002 0.0032 0.0333 0.0333 0.0333 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0500 0.0667 0.1333 0.0483 0.0411 0.0667 0.1333 0.8513 0.0045 0.0000 0.0350 0.0000 0.1333 0.0483 0.0411
168-AH 0.0333 0.3167 0.4167 0.4333 0.5000 0.3750 0.1164 0.1167 0.4667 0.3104 0.3382 0.2454 0.0883 0.2000 0.5000 0.3930 0.0865
169-AH 0.0000 0.0000 0.0333 0.0333 0.1333 0.0300 0.0323 0.0333 0.1333 1.0755 0.0022 0.0000 0.0210 0.0000 0.0667 0.0246 0.0218
170-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0300 0.0103 0.0000 0.0333 0.3420 0.0148 0.0001 0.0060 0.0333 0.0333 0.0333 0.0000
171-AH 0.0000 0.0333 0.0667 0.1500 0.1667 0.0850 0.0597 0.1167 0.1667 0.7024 0.0222 0.0001 0.0502 0.0000 0.1667 0.0850 0.0597
172-AH 0.0000 0.0667 0.0833 0.1167 0.1333 0.0833 0.0412 0.0500 0.1333 0.4942 0.0351 0.0001 0.0333 0.0000 0.1333 0.0833 0.0412
173-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
174-AH 0.0333 0.0667 0.0667 0.0667 0.0667 0.0617 0.0122 0.0000 0.0333 0.1980 0.0601 0.0580 0.0085 0.0667 0.0667 0.0667 0.0000
175-AH 0.1333 0.1667 0.2000 0.2167 0.2333 0.1967 0.0284 0.0500 0.1000 0.1444 0.1946 0.1924 0.0213 0.1333 0.2333 0.1967 0.0284
176-AH 0.5667 0.7000 0.7833 0.9000 0.9333 0.7850 0.1111 0.2000 0.3667 0.1415 0.7772 0.7691 0.0950 0.5667 0.9333 0.7850 0.1111
177-AH 0.0333 0.0333 0.1333 0.2000 0.3000 0.1333 0.0918 0.1667 0.2667 0.6882 0.0996 0.0716 0.0800 0.0333 0.3000 0.1333 0.0918
178-AH 0.0000 0.0000 0.0333 0.0333 0.1000 0.0283 0.0248 0.0333 0.1000 0.8767 0.0032 0.0000 0.0170 0.0000 0.0667 0.0246 0.0187
179-AH 0.0000 0.1333 0.2667 0.4333 0.6667 0.2900 0.1880 0.3000 0.6667 0.6482 0.1481 0.0002 0.1557 0.0000 0.6667 0.2900 0.1880
180-AH 0.0000 0.1333 0.2833 0.6333 0.7667 0.3650 0.2565 0.5000 0.7667 0.7027 0.1819 0.0002 0.2282 0.0000 0.7667 0.3650 0.2565
181-AH 0.0000 0.6667 0.8333 0.9167 0.9667 0.7600 0.2346 0.2500 0.9667 0.3087 0.4456 0.0002 0.1653 0.4000 0.9667 0.8000 0.1560
182-AH 0.0333 0.0667 0.1000 0.1000 0.1333 0.0867 0.0332 0.0333 0.1000 0.3826 0.0795 0.0714 0.0280 0.0333 0.1333 0.0867 0.0332
183-AH 0.0000 0.0000 0.0333 0.0500 0.1333 0.0400 0.0514 0.0500 0.1333 1.2853 0.0012 0.0000 0.0400 0.0000 0.0667 0.0167 0.0211
184-AH 0.0000 0.1667 0.1667 0.2000 0.2333 0.1683 0.0477 0.0333 0.2333 0.2835 0.1075 0.0002 0.0257 0.1333 0.2333 0.1772 0.0273
185-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0267 0.0137 0.0000 0.0333 0.5130 0.0066 0.0000 0.0107 0.0333 0.0333 0.0333 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0300 0.0103 0.0000 0.0333 0.3420 0.0148 0.0001 0.0060 0.0333 0.0333 0.0333 0.0000
188-AH 0.0000 0.0000 0.0000 0.0167 0.0333 0.0083 0.0148 0.0167 0.0333 1.7770 0.0001 0.0000 0.0125 0.0000 0.0333 0.0083 0.0148
189-AH 0.0000 0.0833 0.2333 0.2333 0.2333 0.1717 0.1028 0.1500 0.2333 0.5986 0.0186 0.0000 0.0863 0.0000 0.2333 0.1717 0.1028
190-AH 0.0333 0.1667 0.2000 0.2333 0.2333 0.1817 0.0721 0.0667 0.2000 0.3970 0.1573 0.1204 0.0575 0.1333 0.2333 0.2146 0.0271
97
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.1000 0.1333 0.1667 0.2000 0.1267 0.0491 0.0667 0.2000 0.3875 0.0793 0.0002 0.0380 0.0000 0.2000 0.1267 0.0491
193-AH 0.1000 0.1333 0.1667 0.2000 0.2000 0.1633 0.0403 0.0667 0.1000 0.2469 0.1578 0.1515 0.0317 0.1000 0.2000 0.1633 0.0403
194-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0300 0.0103 0.0000 0.0333 0.3420 0.0148 0.0001 0.0060 0.0333 0.0333 0.0333 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0317 0.0075 0.0000 0.0333 0.2354 0.0222 0.0002 0.0032 0.0333 0.0333 0.0333 0.0000
197-AH 0.0000 0.4667 0.6500 0.8000 0.9667 0.6183 0.2460 0.3333 0.9667 0.3979 0.3559 0.0002 0.2032 0.0000 0.9667 0.6183 0.2460
198-AH 0.0000 0.0167 0.0333 0.0333 0.0333 0.0250 0.0148 0.0167 0.0333 0.5923 0.0044 0.0000 0.0125 0.0000 0.0333 0.0250 0.0148
199-AH 0.0000 0.2500 0.3333 0.3333 0.3333 0.2783 0.0926 0.0833 0.3333 0.3326 0.1691 0.0002 0.0692 0.2000 0.3333 0.3037 0.0497
200-AH 0.0333 0.1000 0.1667 0.2167 0.2667 0.1617 0.0624 0.1167 0.2333 0.3859 0.1473 0.1279 0.0522 0.0333 0.2667 0.1617 0.0624
251-AH 0.1333 0.5333 0.7667 0.8333 0.9000 0.6600 0.2567 0.3000 0.7667 0.3890 0.5780 0.4544 0.2033 0.1333 0.9000 0.6600 0.2567
252-AH 0.1333 0.2500 0.3667 0.4833 0.5000 0.3617 0.1281 0.2333 0.3667 0.3542 0.3356 0.3058 0.1093 0.1333 0.5000 0.3617 0.1281
253-AH 0.0333 0.3667 0.6167 0.6667 0.8333 0.5283 0.2277 0.3000 0.8000 0.4310 0.4345 0.2530 0.1860 0.0333 0.8333 0.5283 0.2277
254-AH 0.0000 0.1000 0.3333 0.4500 0.6667 0.2917 0.1952 0.3500 0.6667 0.6694 0.0595 0.0001 0.1600 0.0000 0.6667 0.2917 0.1952
255-AH 0.0333 0.0500 0.1000 0.1333 0.1333 0.0867 0.0396 0.0833 0.1000 0.4568 0.0764 0.0656 0.0347 0.0333 0.1333 0.0867 0.0396
256-AH 0.0000 0.6167 0.6667 0.7667 0.8000 0.6517 0.1779 0.1500 0.8000 0.2729 0.3896 0.0002 0.1095 0.5000 0.8000 0.6860 0.0925
257-AH 0.1667 0.2667 0.3167 0.4167 0.5333 0.3367 0.1037 0.1500 0.3667 0.3079 0.3217 0.3069 0.0840 0.1667 0.5333 0.3367 0.1037
258-AH 0.0000 0.0000 0.0000 0.0333 0.1000 0.0233 0.0406 0.0333 0.1000 1.7404 0.0001 0.0000 0.0327 0.0000 0.0333 0.0042 0.0114
259-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0600 0.0174 0.0000 0.0667 0.2906 0.0401 0.0002 0.0113 0.0667 0.0667 0.0667 0.0000
260-AH 0.0333 0.5000 0.7000 0.7667 0.8667 0.6383 0.2007 0.2667 0.8333 0.3144 0.5628 0.3334 0.1535 0.4000 0.8667 0.6702 0.1453
261-AH 0.1000 0.1500 0.2333 0.2333 0.4333 0.2183 0.0888 0.0833 0.3333 0.4069 0.2013 0.1847 0.0665 0.1000 0.3333 0.2070 0.0750
262-AH 0.0333 0.1667 0.3000 0.3500 0.7667 0.3217 0.2036 0.1833 0.7333 0.6328 0.2567 0.1831 0.1460 0.0333 0.5333 0.2529 0.1242
263-AH 0.0333 0.1000 0.1833 0.2833 0.4000 0.1917 0.1209 0.1833 0.3667 0.6305 0.1449 0.0970 0.0983 0.0333 0.4000 0.1917 0.1209
264-AH 0.0333 0.2500 0.3833 0.4500 0.5333 0.3433 0.1381 0.2000 0.5000 0.4023 0.2987 0.2167 0.1113 0.0333 0.5333 0.3433 0.1381
265-AH 0.0000 0.0500 0.1333 0.1667 0.2000 0.1167 0.0688 0.1167 0.2000 0.5899 0.0300 0.0001 0.0567 0.0000 0.2000 0.1167 0.0688
266-AH 0.0000 0.0000 0.0167 0.0333 0.1333 0.0250 0.0340 0.0333 0.1333 1.3594 0.0007 0.0000 0.0250 0.0000 0.0667 0.0193 0.0231
267-AH 0.0000 0.1667 0.2333 0.2667 0.3333 0.2133 0.0729 0.1000 0.3333 0.3416 0.1319 0.0002 0.0540 0.1000 0.3333 0.2246 0.0543
268-AH 0.0333 0.0667 0.0667 0.0667 0.1000 0.0667 0.0153 0.0000 0.0667 0.2294 0.0648 0.0625 0.0067 0.0667 0.0667 0.0667 0.0000
269-AH 0.0667 0.1000 0.1333 0.1667 0.2000 0.1300 0.0357 0.0667 0.1333 0.2747 0.1253 0.1205 0.0303 0.0667 0.2000 0.1300 0.0357
270-AH 0.1000 0.7167 0.8000 0.8667 0.9333 0.7300 0.2179 0.1500 0.8333 0.2985 0.6677 0.5379 0.1517 0.6333 0.9333 0.8118 0.0745
271-AH 0.1000 0.2667 0.4333 0.5000 0.5333 0.3700 0.1490 0.2333 0.4333 0.4028 0.3279 0.2716 0.1263 0.1000 0.5333 0.3700 0.1490
272-AH 0.0333 0.1667 0.2167 0.3000 0.3333 0.2300 0.0809 0.1333 0.3000 0.3516 0.2097 0.1729 0.0667 0.0333 0.3333 0.2300 0.0809
273-AH 0.1333 0.3833 0.8667 0.9167 0.9667 0.7033 0.3051 0.5333 0.8333 0.4338 0.6001 0.4591 0.2653 0.1333 0.9667 0.7033 0.3051
274-AH 0.0333 0.1833 0.2333 0.2667 0.3333 0.2233 0.0734 0.0833 0.3000 0.3288 0.2046 0.1696 0.0563 0.1333 0.3333 0.2333 0.0598
275-AH 0.1000 0.3000 0.3667 0.5000 0.6333 0.3983 0.1461 0.2000 0.5333 0.3668 0.3686 0.3311 0.1217 0.1000 0.6333 0.3983 0.1461
276-AH 0.2333 0.4167 0.4667 0.5333 0.6667 0.4600 0.0915 0.1167 0.4333 0.1989 0.4503 0.4391 0.0673 0.3333 0.6667 0.4719 0.0764
277-AH 0.0000 0.0667 0.2333 0.3167 0.3667 0.2017 0.1263 0.2500 0.3667 0.6265 0.0990 0.0002 0.1115 0.0000 0.3667 0.2017 0.1263
278-AH 0.0000 0.1000 0.1667 0.2333 0.3000 0.1667 0.0898 0.1333 0.3000 0.5390 0.0955 0.0002 0.0700 0.0000 0.3000 0.1667 0.0898
279-AH 0.0000 0.0333 0.0500 0.0667 0.1000 0.0533 0.0313 0.0333 0.1000 0.5877 0.0227 0.0001 0.0267 0.0000 0.1000 0.0533 0.0313
280-AH 0.0000 0.0167 0.0333 0.0667 0.1667 0.0500 0.0439 0.0500 0.1667 0.8786 0.0067 0.0000 0.0350 0.0000 0.1000 0.0439 0.0352
281-AH 0.0667 0.2833 0.3500 0.5333 0.6667 0.3933 0.1584 0.2500 0.6000 0.4028 0.3544 0.2978 0.1327 0.0667 0.6667 0.3933 0.1584
282-AH 0.0000 0.1000 0.1500 0.3000 0.3667 0.1867 0.1147 0.2000 0.3667 0.6142 0.0679 0.0001 0.1020 0.0000 0.3667 0.1867 0.1147
283-AH 0.0333 0.1167 0.2500 0.3500 0.7333 0.2567 0.1959 0.2333 0.7000 0.7632 0.1814 0.1140 0.1500 0.0333 0.6333 0.2316 0.1650
284-AH 0.0000 0.2667 0.4667 0.5333 0.6000 0.3900 0.2061 0.2667 0.6000 0.5284 0.1888 0.0002 0.1673 0.0000 0.6000 0.3900 0.2061
285-AH 0.1667 0.3333 0.6333 0.8333 0.9000 0.5967 0.2511 0.5000 0.7333 0.4208 0.5323 0.4580 0.2107 0.1667 0.9000 0.5967 0.2511
286-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0467 0.0313 0.0333 0.1000 0.6717 0.0138 0.0001 0.0260 0.0000 0.1000 0.0467 0.0313
287-AH 0.0000 0.1833 0.4500 0.5000 0.5333 0.3467 0.1887 0.3167 0.5333 0.5443 0.1706 0.0002 0.1607 0.0000 0.5333 0.3467 0.1887
288-AH 0.0000 0.1833 0.3000 0.4167 0.7667 0.3367 0.2299 0.2333 0.7667 0.6829 0.1715 0.0002 0.1777 0.0000 0.7667 0.3367 0.2299
289-AH 0.0000 0.3500 0.4333 0.5500 0.5667 0.4267 0.1497 0.2000 0.5667 0.3509 0.2540 0.0002 0.1147 0.2333 0.5667 0.4491 0.1141
290-AH 0.0000 0.0667 0.2667 0.3667 0.4667 0.2383 0.1557 0.3000 0.4667 0.6533 0.1183 0.0002 0.1378 0.0000 0.4667 0.2383 0.1557
98
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.1667 0.4167 0.5333 0.6333 0.3483 0.2082 0.3667 0.6333 0.5976 0.1667 0.0002 0.1820 0.0000 0.6333 0.3483 0.2082
292-AH 0.0000 0.0500 0.1333 0.1333 0.1333 0.0983 0.0567 0.0833 0.1333 0.5765 0.0180 0.0000 0.0490 0.0000 0.1333 0.0983 0.0567
293-AH 0.1000 0.3833 0.5667 0.6000 0.7000 0.4883 0.1953 0.2167 0.6000 0.4000 0.4254 0.3327 0.1563 0.1000 0.7000 0.4883 0.1953
294-AH 0.0000 0.3000 0.5667 0.6333 0.6667 0.4717 0.2177 0.3333 0.6667 0.4616 0.2557 0.0002 0.1802 0.0000 0.6667 0.4717 0.2177
295-AH 0.1667 0.2500 0.3000 0.4333 0.5000 0.3250 0.1048 0.1833 0.3333 0.3224 0.3086 0.2924 0.0908 0.1667 0.5000 0.3250 0.1048
296-AH 0.0000 0.2000 0.3167 0.4333 0.5667 0.3267 0.1469 0.2333 0.5667 0.4498 0.1908 0.0002 0.1200 0.0000 0.5667 0.3267 0.1469
297-AH 0.0333 0.1333 0.1667 0.1667 0.2333 0.1533 0.0438 0.0333 0.2000 0.2856 0.1443 0.1288 0.0320 0.1000 0.2000 0.1556 0.0302
298-AH 0.0000 0.1833 0.2333 0.2833 0.4333 0.2283 0.1061 0.1000 0.4333 0.4647 0.0885 0.0001 0.0737 0.1333 0.4333 0.2537 0.0760
299-AH 0.0667 0.3000 0.5167 0.7333 0.7667 0.4867 0.2246 0.4333 0.7000 0.4616 0.4195 0.3277 0.1947 0.0667 0.7667 0.4867 0.2246
300-AH 0.0000 0.0833 0.1667 0.3000 0.3667 0.1850 0.1286 0.2167 0.3667 0.6953 0.0421 0.0001 0.1068 0.0000 0.3667 0.1850 0.1286
301-AH 0.0000 0.0000 0.0667 0.1000 0.3333 0.0883 0.0945 0.1000 0.3333 1.0693 0.0065 0.0000 0.0682 0.0000 0.2333 0.0648 0.0631
302-AH 0.0667 0.2000 0.2667 0.3000 0.3667 0.2433 0.0918 0.1000 0.3000 0.3774 0.2198 0.1880 0.0723 0.0667 0.3667 0.2433 0.0918
303-AH 0.0667 0.1333 0.1833 0.2500 0.3000 0.1883 0.0633 0.1167 0.2333 0.3362 0.1771 0.1644 0.0517 0.0667 0.3000 0.1883 0.0633
304-AH 0.0000 0.0667 0.1667 0.2000 0.2667 0.1383 0.0874 0.1333 0.2667 0.6316 0.0156 0.0000 0.0707 0.0000 0.2667 0.1383 0.0874
305-AH 0.0000 0.1833 0.3667 0.4667 0.5000 0.3200 0.1691 0.2833 0.5000 0.5283 0.1676 0.0002 0.1393 0.0000 0.5000 0.3200 0.1691
306-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0300 0.0103 0.0000 0.0333 0.3420 0.0148 0.0001 0.0060 0.0333 0.0333 0.0333 0.0000
307-AH 0.0333 0.0667 0.1500 0.3833 0.4333 0.2017 0.1543 0.3167 0.4000 0.7650 0.1395 0.0929 0.1387 0.0333 0.4333 0.2017 0.1543
308-AH 0.0000 0.1833 0.2667 0.3000 0.3000 0.2283 0.0951 0.1167 0.3000 0.4164 0.1337 0.0002 0.0775 0.0667 0.3000 0.2404 0.0806
309-AH 0.0333 0.0667 0.1000 0.1000 0.1333 0.0850 0.0275 0.0333 0.1000 0.3238 0.0800 0.0741 0.0232 0.0333 0.1333 0.0850 0.0275
310-AH 0.0000 0.0667 0.1333 0.2167 0.3000 0.1367 0.0851 0.1500 0.3000 0.6226 0.0511 0.0001 0.0703 0.0000 0.3000 0.1367 0.0851
311-AH 0.0000 0.3667 0.4500 0.4667 0.5333 0.4117 0.1166 0.1000 0.5333 0.2833 0.2513 0.0002 0.0793 0.3333 0.5333 0.4333 0.0667
312-AH 0.0000 0.2000 0.3500 0.4833 0.7000 0.3417 0.2192 0.2833 0.7000 0.6416 0.0752 0.0001 0.1850 0.0000 0.7000 0.3417 0.2192
313-AH 0.0000 0.0167 0.0833 0.1333 0.2333 0.0950 0.0860 0.1167 0.2333 0.9055 0.0102 0.0000 0.0717 0.0000 0.2333 0.0950 0.0860
314-AH 0.0000 0.0167 0.0333 0.0667 0.1333 0.0400 0.0335 0.0500 0.1333 0.8377 0.0058 0.0000 0.0253 0.0000 0.1333 0.0400 0.0335
315-AH 0.0000 0.1333 0.3833 0.5500 0.6000 0.3483 0.2042 0.4167 0.6000 0.5862 0.1734 0.0002 0.1668 0.0000 0.6000 0.3483 0.2042
316-AH 0.0000 0.0333 0.0500 0.1333 0.4000 0.0967 0.1054 0.1000 0.4000 1.0899 0.0207 0.0001 0.0763 0.0000 0.2667 0.0807 0.0796
317-AH 0.1333 0.2500 0.3000 0.3333 0.4000 0.2900 0.0632 0.0833 0.2667 0.2178 0.2826 0.2738 0.0477 0.1333 0.4000 0.2900 0.0632
318-AH 0.0000 0.0333 0.0833 0.1000 0.2333 0.0817 0.0644 0.0667 0.2333 0.7887 0.0299 0.0001 0.0517 0.0000 0.1667 0.0667 0.0471
319-AH 0.1000 0.1500 0.1667 0.2333 0.4333 0.2050 0.0887 0.0833 0.3333 0.4327 0.1894 0.1763 0.0693 0.1000 0.3333 0.1833 0.0608
320-AH 0.0000 0.0000 0.0333 0.0667 0.1667 0.0450 0.0499 0.0667 0.1667 1.1085 0.0040 0.0000 0.0363 0.0000 0.1667 0.0450 0.0499
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0333 0.0667 0.0667 0.1000 0.0467 0.0294 0.0333 0.1000 0.6304 0.0098 0.0000 0.0253 0.0000 0.1000 0.0467 0.0294
323-AH 0.1000 0.1500 0.2000 0.2000 0.2333 0.1800 0.0476 0.0500 0.1333 0.2646 0.1728 0.1644 0.0393 0.1000 0.2333 0.1800 0.0476
324-AH 0.0000 0.3500 0.5167 0.7333 0.7333 0.4900 0.2322 0.3833 0.7333 0.4739 0.2675 0.0002 0.1877 0.0000 0.7333 0.4900 0.2322
325-AH 0.2667 0.6167 0.6833 0.7333 0.8333 0.6583 0.1223 0.1167 0.5667 0.1858 0.6434 0.6218 0.0842 0.5000 0.8333 0.6789 0.0826
326-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0517 0.0253 0.0333 0.0667 0.4898 0.0160 0.0001 0.0210 0.0000 0.0667 0.0517 0.0253
327-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0400 0.0536 0.0667 0.1333 1.3410 0.0006 0.0000 0.0453 0.0000 0.1333 0.0400 0.0536
328-AH 0.2667 0.4000 0.5000 0.5333 0.6000 0.4650 0.1095 0.1333 0.3333 0.2354 0.4502 0.4329 0.0892 0.2667 0.6000 0.4650 0.1095
329-AH 0.2000 0.4333 0.4667 0.4667 0.5000 0.4417 0.0611 0.0333 0.3000 0.1382 0.4356 0.4263 0.0333 0.4000 0.5000 0.4544 0.0228
330-AH 0.0333 0.7333 0.7667 0.8000 0.8667 0.7017 0.2073 0.0667 0.8333 0.2955 0.6162 0.3479 0.1373 0.6667 0.8667 0.7804 0.0442
331-AH 0.0000 0.1667 0.2000 0.2667 0.4333 0.2017 0.1095 0.1000 0.4333 0.5429 0.0506 0.0001 0.0785 0.1333 0.3000 0.2250 0.0537
332-AH 0.0000 0.1167 0.2000 0.2000 0.2333 0.1533 0.0752 0.0833 0.2333 0.4907 0.0405 0.0001 0.0607 0.0000 0.2333 0.1533 0.0752
333-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1550 0.0394 0.0000 0.1667 0.2542 0.0999 0.0002 0.0210 0.1667 0.1667 0.1667 0.0000
334-AH 0.0667 0.0667 0.1000 0.1000 0.1333 0.0933 0.0205 0.0333 0.0667 0.2199 0.0911 0.0889 0.0160 0.0667 0.1333 0.0933 0.0205
335-AH 0.0000 0.1000 0.1333 0.2000 0.2000 0.1383 0.0554 0.1000 0.2000 0.4007 0.0858 0.0002 0.0455 0.0000 0.2000 0.1383 0.0554
336-AH 0.0000 0.0000 0.0333 0.0500 0.2000 0.0567 0.0718 0.0500 0.2000 1.2674 0.0043 0.0000 0.0550 0.0000 0.0667 0.0229 0.0201
337-AH 0.0667 0.1500 0.6000 0.6333 0.6667 0.4383 0.2457 0.4833 0.6000 0.5606 0.3327 0.2187 0.2235 0.0667 0.6667 0.4383 0.2457
338-AH 0.0667 0.2000 0.2333 0.3000 0.3333 0.2333 0.0824 0.1000 0.2667 0.3530 0.2142 0.1878 0.0667 0.0667 0.3333 0.2333 0.0824
339-AH 0.2000 0.4000 0.4000 0.5000 0.6000 0.4217 0.0969 0.1000 0.4000 0.2298 0.4095 0.3953 0.0738 0.2667 0.6000 0.4333 0.0839
340-AH 0.1333 0.1667 0.1667 0.1667 0.1667 0.1600 0.0137 0.0000 0.0333 0.0855 0.1594 0.1587 0.0107 0.1667 0.1667 0.1667 0.0000
99
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1000 0.1333 0.1500 0.1667 0.2000 0.1517 0.0333 0.0333 0.1000 0.2195 0.1481 0.1444 0.0283 0.1000 0.2000 0.1517 0.0333
342-AH 0.3667 0.6333 0.6833 0.7833 0.8667 0.6800 0.1370 0.1500 0.5000 0.2014 0.6645 0.6461 0.1033 0.5000 0.8667 0.7130 0.0971
343-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0100 0.0157 0.0333 0.0333 1.5672 0.0001 0.0000 0.0140 0.0000 0.0333 0.0100 0.0157
344-AH 0.2333 0.3333 0.4167 0.5000 0.6333 0.4233 0.1071 0.1667 0.4000 0.2530 0.4100 0.3963 0.0900 0.2333 0.6333 0.4233 0.1071
345-AH 0.0000 0.0667 0.1000 0.1500 0.2333 0.1017 0.0635 0.0833 0.2333 0.6246 0.0395 0.0001 0.0488 0.0000 0.2333 0.1017 0.0635
346-AH 0.0000 0.0000 0.0333 0.0667 0.1667 0.0500 0.0501 0.0667 0.1667 1.0029 0.0044 0.0000 0.0400 0.0000 0.1667 0.0500 0.0501
347-AH 0.0000 0.0333 0.1000 0.1000 0.1667 0.0783 0.0409 0.0667 0.1667 0.5216 0.0470 0.0002 0.0338 0.0000 0.1667 0.0783 0.0409
348-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0296 0.0333 0.0667 0.5923 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0296
349-AH 0.0333 0.2333 0.3833 0.4333 0.5333 0.3400 0.1255 0.2000 0.5000 0.3690 0.3016 0.2232 0.1020 0.0333 0.5333 0.3400 0.1255
350-AH 0.0667 0.1833 0.2333 0.2667 0.2667 0.2183 0.0616 0.0833 0.2000 0.2823 0.2067 0.1905 0.0492 0.0667 0.2667 0.2183 0.0616
100
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0044 0.0050 0.0100 0.5923 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0044
142-AH 0.0500 0.0650 0.0800 0.0800 0.0800 0.0735 0.0099 0.0150 0.0300 0.1344 0.0728 0.0720 0.0084 0.0500 0.0800 0.0735 0.0099
143-AH 0.0200 0.2150 0.3200 0.3500 0.3700 0.2690 0.1213 0.1350 0.3500 0.4509 0.2096 0.1141 0.0964 0.0200 0.3700 0.2690 0.1213
144-AH 0.0000 0.0200 0.0300 0.0300 0.0300 0.0245 0.0100 0.0100 0.0300 0.4076 0.0161 0.0002 0.0082 0.0100 0.0300 0.0258 0.0084
145-AH 0.0400 0.1650 0.2350 0.2800 0.3300 0.2175 0.0878 0.1150 0.2900 0.4036 0.1926 0.1579 0.0668 0.0400 0.3300 0.2175 0.0878
146-AH 0.0100 0.0100 0.0100 0.0100 0.0200 0.0120 0.0041 0.0000 0.0100 0.3420 0.0115 0.0111 0.0032 0.0100 0.0100 0.0100 0.0000
147-AH 0.1800 0.2950 0.3900 0.4350 0.4800 0.3660 0.0912 0.1400 0.3000 0.2492 0.3536 0.3396 0.0774 0.1800 0.4800 0.3660 0.0912
148-AH 0.0100 0.0250 0.0300 0.0400 0.0500 0.0305 0.0094 0.0150 0.0400 0.3097 0.0289 0.0268 0.0067 0.0100 0.0500 0.0305 0.0094
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0150 0.0550 0.0800 0.0900 0.0480 0.0338 0.0650 0.0900 0.7044 0.0094 0.0000 0.0292 0.0000 0.0900 0.0480 0.0338
151-AH 0.0000 0.0500 0.0600 0.0700 0.0900 0.0565 0.0187 0.0200 0.0900 0.3312 0.0376 0.0002 0.0128 0.0300 0.0900 0.0595 0.0135
152-AH 0.0100 0.0650 0.0850 0.0900 0.1000 0.0765 0.0232 0.0250 0.0900 0.3037 0.0703 0.0569 0.0182 0.0500 0.1000 0.0800 0.0176
153-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0020 0.0041 0.0000 0.0100 2.0520 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000
154-AH 0.0700 0.0950 0.1200 0.1300 0.1500 0.1150 0.0244 0.0350 0.0800 0.2121 0.1122 0.1092 0.0200 0.0700 0.1500 0.1150 0.0244
155-AH 0.0000 0.0100 0.0250 0.0300 0.0300 0.0200 0.0126 0.0200 0.0300 0.6283 0.0037 0.0000 0.0100 0.0000 0.0300 0.0200 0.0126
156-AH 0.0200 0.0350 0.0750 0.1100 0.1400 0.0750 0.0416 0.0750 0.1200 0.5548 0.0612 0.0467 0.0340 0.0200 0.1400 0.0750 0.0416
157-AH 0.2500 0.4900 0.5550 0.6400 0.7600 0.5450 0.1332 0.1500 0.5100 0.2443 0.5260 0.5027 0.1010 0.2800 0.7600 0.5605 0.1167
158-AH 0.0000 0.1100 0.1800 0.2400 0.2900 0.1690 0.0826 0.1300 0.2900 0.4887 0.0967 0.0002 0.0682 0.0000 0.2900 0.1690 0.0826
159-AH 0.0000 0.0750 0.1850 0.2950 0.4100 0.1910 0.1445 0.2200 0.4100 0.7566 0.0426 0.0001 0.1200 0.0000 0.4100 0.1910 0.1445
160-AH 0.0000 0.0050 0.0200 0.0200 0.0200 0.0135 0.0088 0.0150 0.0200 0.6482 0.0027 0.0000 0.0078 0.0000 0.0200 0.0135 0.0088
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0095 0.0022 0.0000 0.0100 0.2354 0.0071 0.0002 0.0009 0.0100 0.0100 0.0100 0.0000
163-AH 0.1600 0.4500 0.7750 0.8500 0.9100 0.6595 0.2699 0.4000 0.7500 0.4092 0.5765 0.4662 0.2247 0.1600 0.9100 0.6595 0.2699
164-AH 0.0000 0.0200 0.0750 0.1100 0.2000 0.0825 0.0632 0.0900 0.2000 0.7665 0.0384 0.0002 0.0500 0.0000 0.2000 0.0825 0.0632
165-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0095 0.0022 0.0000 0.0100 0.2354 0.0071 0.0002 0.0009 0.0100 0.0100 0.0100 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0050 0.0300 0.0400 0.0400 0.0245 0.0170 0.0350 0.0400 0.6941 0.0041 0.0000 0.0150 0.0000 0.0400 0.0245 0.0170
168-AH 0.0300 0.1350 0.1700 0.1800 0.1800 0.1525 0.0402 0.0450 0.1500 0.2639 0.1436 0.1267 0.0305 0.1000 0.1800 0.1589 0.0288
169-AH 0.0000 0.0050 0.0100 0.0300 0.0500 0.0160 0.0143 0.0250 0.0500 0.8931 0.0028 0.0000 0.0122 0.0000 0.0500 0.0160 0.0143
170-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0095 0.0022 0.0000 0.0100 0.2354 0.0071 0.0002 0.0009 0.0100 0.0100 0.0100 0.0000
171-AH 0.0000 0.0500 0.0600 0.0700 0.1000 0.0610 0.0277 0.0200 0.1000 0.4541 0.0271 0.0001 0.0191 0.0300 0.0900 0.0613 0.0136
172-AH 0.0200 0.0400 0.0500 0.0600 0.0700 0.0510 0.0155 0.0200 0.0500 0.3044 0.0481 0.0446 0.0121 0.0200 0.0700 0.0510 0.0155
173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
174-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0185 0.0037 0.0000 0.0100 0.1980 0.0180 0.0174 0.0025 0.0200 0.0200 0.0200 0.0000
175-AH 0.0400 0.0500 0.0600 0.0700 0.0700 0.0610 0.0097 0.0200 0.0300 0.1587 0.0602 0.0594 0.0081 0.0400 0.0700 0.0610 0.0097
176-AH 0.2300 0.3150 0.3900 0.3900 0.3900 0.3570 0.0494 0.0750 0.1600 0.1385 0.3533 0.3491 0.0412 0.2300 0.3900 0.3570 0.0494
177-AH 0.0400 0.0700 0.0700 0.0800 0.1200 0.0745 0.0188 0.0100 0.0800 0.2520 0.0723 0.0700 0.0134 0.0600 0.0900 0.0747 0.0083
178-AH 0.0000 0.0050 0.0100 0.0250 0.0300 0.0130 0.0113 0.0200 0.0300 0.8681 0.0024 0.0000 0.0092 0.0000 0.0300 0.0130 0.0113
179-AH 0.0000 0.0500 0.1300 0.1800 0.2200 0.1210 0.0691 0.1300 0.2200 0.5713 0.0661 0.0002 0.0569 0.0000 0.2200 0.1210 0.0691
180-AH 0.0400 0.1200 0.1800 0.3250 0.4000 0.2125 0.1189 0.2050 0.3600 0.5597 0.1794 0.1467 0.1023 0.0400 0.4000 0.2125 0.1189
181-AH 0.0100 0.3650 0.7050 0.7650 0.7900 0.5935 0.2358 0.4000 0.7800 0.3973 0.4758 0.1470 0.1984 0.0100 0.7900 0.5935 0.2358
182-AH 0.0200 0.0300 0.0400 0.0400 0.0400 0.0355 0.0060 0.0100 0.0200 0.1704 0.0349 0.0343 0.0054 0.0200 0.0400 0.0355 0.0060
183-AH 0.0000 0.0050 0.0100 0.0400 0.0400 0.0195 0.0170 0.0350 0.0400 0.8721 0.0032 0.0000 0.0154 0.0000 0.0400 0.0195 0.0170
184-AH 0.0000 0.0600 0.0700 0.0700 0.0800 0.0620 0.0167 0.0100 0.0800 0.2699 0.0417 0.0002 0.0106 0.0500 0.0800 0.0653 0.0084
185-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0080 0.0041 0.0000 0.0100 0.5130 0.0025 0.0000 0.0032 0.0100 0.0100 0.0100 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0090 0.0031 0.0000 0.0100 0.3420 0.0050 0.0001 0.0018 0.0100 0.0100 0.0100 0.0000
188-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0035 0.0049 0.0100 0.0100 1.3982 0.0001 0.0000 0.0045 0.0000 0.0100 0.0035 0.0049
189-AH 0.0000 0.0350 0.0700 0.0700 0.0700 0.0525 0.0311 0.0350 0.0700 0.5923 0.0077 0.0000 0.0263 0.0000 0.0700 0.0525 0.0311
190-AH 0.0300 0.0600 0.0700 0.0700 0.0700 0.0610 0.0141 0.0100 0.0400 0.2312 0.0590 0.0564 0.0108 0.0600 0.0700 0.0675 0.0045
101
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0300 0.0300 0.0450 0.0600 0.0600 0.0460 0.0139 0.0300 0.0300 0.3025 0.0439 0.0418 0.0130 0.0300 0.0600 0.0460 0.0139
193-AH 0.0300 0.0450 0.0700 0.0700 0.0700 0.0585 0.0173 0.0250 0.0400 0.2949 0.0553 0.0515 0.0143 0.0300 0.0700 0.0585 0.0173
194-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0095 0.0022 0.0000 0.0100 0.2354 0.0071 0.0002 0.0009 0.0100 0.0100 0.0100 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0095 0.0022 0.0000 0.0100 0.2354 0.0071 0.0002 0.0009 0.0100 0.0100 0.0100 0.0000
197-AH 0.0000 0.3000 0.3100 0.3650 0.4700 0.3185 0.1011 0.0650 0.4700 0.3173 0.1953 0.0002 0.0643 0.2200 0.4500 0.3278 0.0633
198-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0044 0.0050 0.0100 0.5923 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0044
199-AH 0.0300 0.0850 0.1000 0.1000 0.1000 0.0895 0.0204 0.0150 0.0700 0.2278 0.0862 0.0812 0.0158 0.0700 0.1000 0.0950 0.0115
200-AH 0.0300 0.0500 0.0700 0.0750 0.0900 0.0650 0.0154 0.0250 0.0600 0.2368 0.0631 0.0608 0.0125 0.0300 0.0900 0.0650 0.0154
251-AH 0.0800 0.2200 0.3500 0.4100 0.4300 0.3095 0.1224 0.1900 0.3500 0.3955 0.2742 0.2268 0.0997 0.0800 0.4300 0.3095 0.1224
252-AH 0.1400 0.1850 0.2150 0.2500 0.2800 0.2165 0.0431 0.0650 0.1400 0.1990 0.2122 0.2078 0.0365 0.1400 0.2800 0.2165 0.0431
253-AH 0.0400 0.2450 0.4050 0.5600 0.6900 0.3960 0.1969 0.3150 0.6500 0.4971 0.3241 0.2146 0.1680 0.0400 0.6900 0.3960 0.1969
254-AH 0.0100 0.1000 0.3600 0.3800 0.4600 0.2710 0.1653 0.2800 0.4500 0.6100 0.1661 0.0608 0.1448 0.0100 0.4600 0.2710 0.1653
255-AH 0.0200 0.0300 0.0400 0.0400 0.0400 0.0340 0.0075 0.0100 0.0200 0.2217 0.0331 0.0320 0.0066 0.0200 0.0400 0.0340 0.0075
256-AH 0.0000 0.2450 0.3250 0.3300 0.3400 0.2825 0.0828 0.0850 0.3400 0.2932 0.1750 0.0002 0.0598 0.1900 0.3400 0.2974 0.0508
257-AH 0.1500 0.2300 0.2450 0.2850 0.3200 0.2465 0.0489 0.0550 0.1700 0.1984 0.2413 0.2355 0.0365 0.1500 0.3200 0.2465 0.0489
258-AH 0.0000 0.0000 0.0100 0.0150 0.0400 0.0120 0.0132 0.0150 0.0400 1.1016 0.0012 0.0000 0.0100 0.0000 0.0300 0.0089 0.0096
259-AH 0.0100 0.0200 0.0200 0.0200 0.0300 0.0195 0.0039 0.0000 0.0200 0.2021 0.0190 0.0185 0.0019 0.0200 0.0200 0.0200 0.0000
260-AH 0.0200 0.3600 0.4450 0.5150 0.5300 0.4135 0.1271 0.1550 0.5100 0.3074 0.3641 0.2083 0.0921 0.2700 0.5300 0.4342 0.0895
261-AH 0.0500 0.0550 0.1050 0.1200 0.1600 0.0965 0.0408 0.0650 0.1100 0.4230 0.0881 0.0801 0.0348 0.0500 0.1600 0.0965 0.0408
262-AH 0.0200 0.1550 0.1900 0.3400 0.4500 0.2365 0.1215 0.1850 0.4300 0.5137 0.1998 0.1408 0.0998 0.0200 0.4500 0.2365 0.1215
263-AH 0.0200 0.0450 0.1750 0.2350 0.2600 0.1450 0.0913 0.1900 0.2400 0.6295 0.1079 0.0734 0.0830 0.0200 0.2600 0.1450 0.0913
264-AH 0.0200 0.1200 0.1500 0.1800 0.1900 0.1430 0.0423 0.0600 0.1700 0.2959 0.1321 0.1087 0.0314 0.0900 0.1900 0.1495 0.0317
265-AH 0.0100 0.0350 0.0500 0.0600 0.0600 0.0445 0.0199 0.0250 0.0500 0.4463 0.0372 0.0276 0.0162 0.0100 0.0600 0.0445 0.0199
266-AH 0.0000 0.0000 0.0100 0.0200 0.0400 0.0130 0.0126 0.0200 0.0400 0.9698 0.0018 0.0000 0.0099 0.0000 0.0400 0.0130 0.0126
267-AH 0.0100 0.1000 0.1050 0.1100 0.1600 0.1020 0.0300 0.0100 0.1500 0.2943 0.0933 0.0703 0.0180 0.0900 0.1200 0.1053 0.0074
268-AH 0.0200 0.0200 0.0200 0.0250 0.0300 0.0225 0.0044 0.0050 0.0100 0.1974 0.0221 0.0218 0.0037 0.0200 0.0300 0.0225 0.0044
269-AH 0.0400 0.0600 0.0600 0.0700 0.0800 0.0625 0.0102 0.0100 0.0400 0.1631 0.0617 0.0608 0.0075 0.0500 0.0800 0.0637 0.0090
270-AH 0.0800 0.3700 0.4300 0.4600 0.5000 0.4020 0.0979 0.0900 0.4200 0.2435 0.3812 0.3386 0.0676 0.2700 0.5000 0.4189 0.0637
271-AH 0.0300 0.1500 0.1950 0.2100 0.2300 0.1705 0.0574 0.0600 0.2000 0.3369 0.1548 0.1281 0.0444 0.0900 0.2300 0.1850 0.0381
272-AH 0.0100 0.0900 0.1200 0.1300 0.1300 0.1035 0.0336 0.0400 0.1200 0.3247 0.0932 0.0692 0.0261 0.0600 0.1300 0.1084 0.0261
273-AH 0.1300 0.2100 0.5200 0.6200 0.7200 0.4520 0.2080 0.4100 0.5900 0.4602 0.3883 0.3151 0.1784 0.1300 0.7200 0.4520 0.2080
274-AH 0.0100 0.0800 0.1100 0.1300 0.1400 0.1000 0.0363 0.0500 0.1300 0.3627 0.0884 0.0652 0.0290 0.0100 0.1400 0.1000 0.0363
275-AH 0.0400 0.1350 0.2700 0.3750 0.4700 0.2655 0.1333 0.2400 0.4300 0.5021 0.2261 0.1784 0.1135 0.0400 0.4700 0.2655 0.1333
276-AH 0.1700 0.2050 0.2850 0.3150 0.4100 0.2785 0.0733 0.1100 0.2400 0.2632 0.2693 0.2601 0.0576 0.1700 0.4100 0.2785 0.0733
277-AH 0.0100 0.0400 0.1300 0.1400 0.1800 0.1005 0.0553 0.1000 0.1700 0.5502 0.0765 0.0463 0.0485 0.0100 0.1800 0.1005 0.0553
278-AH 0.0100 0.0500 0.0700 0.1050 0.1600 0.0810 0.0439 0.0550 0.1500 0.5417 0.0680 0.0513 0.0343 0.0100 0.1600 0.0810 0.0439
279-AH 0.0000 0.0200 0.0300 0.0300 0.0400 0.0255 0.0119 0.0100 0.0400 0.4670 0.0121 0.0001 0.0093 0.0100 0.0400 0.0283 0.0086
280-AH 0.0000 0.0250 0.0400 0.0500 0.1000 0.0355 0.0235 0.0250 0.1000 0.6620 0.0110 0.0001 0.0170 0.0000 0.0600 0.0321 0.0184
281-AH 0.0400 0.2150 0.2450 0.2850 0.3100 0.2420 0.0625 0.0700 0.2700 0.2584 0.2274 0.1954 0.0450 0.1800 0.3100 0.2526 0.0417
282-AH 0.0300 0.0800 0.1250 0.1700 0.2200 0.1250 0.0528 0.0900 0.1900 0.4221 0.1123 0.0973 0.0420 0.0300 0.2200 0.1250 0.0528
283-AH 0.0200 0.0600 0.1200 0.1550 0.3200 0.1195 0.0870 0.0950 0.3000 0.7277 0.0899 0.0629 0.0635 0.0200 0.2200 0.0978 0.0588
284-AH 0.0000 0.1300 0.3350 0.3450 0.3600 0.2570 0.1354 0.2150 0.3600 0.5269 0.1306 0.0002 0.1162 0.0000 0.3600 0.2570 0.1354
285-AH 0.1400 0.2700 0.3900 0.5300 0.6000 0.3915 0.1589 0.2600 0.4600 0.4058 0.3538 0.3112 0.1306 0.1400 0.6000 0.3915 0.1589
286-AH 0.0000 0.0150 0.0300 0.0400 0.0400 0.0270 0.0138 0.0250 0.0400 0.5112 0.0124 0.0001 0.0112 0.0000 0.0400 0.0270 0.0138
287-AH 0.0000 0.1300 0.3000 0.3300 0.3800 0.2445 0.1217 0.2000 0.3800 0.4977 0.1335 0.0002 0.1022 0.0000 0.3800 0.2445 0.1217
288-AH 0.0400 0.1400 0.2100 0.2950 0.4700 0.2300 0.1262 0.1550 0.4300 0.5489 0.1945 0.1559 0.0980 0.0400 0.4700 0.2300 0.1262
289-AH 0.0100 0.1450 0.1700 0.1800 0.1800 0.1510 0.0452 0.0350 0.1700 0.2992 0.1347 0.0879 0.0325 0.1300 0.1800 0.1676 0.0160
290-AH 0.0100 0.0650 0.2100 0.2750 0.3700 0.1815 0.1095 0.2100 0.3600 0.6031 0.1335 0.0738 0.0954 0.0100 0.3700 0.1815 0.1095
102
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0300 0.1150 0.1700 0.2000 0.2300 0.1510 0.0647 0.0850 0.2000 0.4286 0.1296 0.0998 0.0517 0.0300 0.2300 0.1510 0.0647
292-AH 0.0100 0.0250 0.0400 0.0400 0.0400 0.0335 0.0109 0.0150 0.0300 0.3252 0.0309 0.0273 0.0091 0.0100 0.0400 0.0335 0.0109
293-AH 0.1200 0.2250 0.3050 0.3100 0.3300 0.2655 0.0787 0.0850 0.2100 0.2964 0.2506 0.2320 0.0658 0.1200 0.3300 0.2655 0.0787
294-AH 0.0000 0.1600 0.2650 0.2700 0.2700 0.2100 0.1016 0.1100 0.2700 0.4839 0.1125 0.0002 0.0850 0.0000 0.2700 0.2100 0.1016
295-AH 0.1000 0.1500 0.1800 0.2350 0.3200 0.1965 0.0648 0.0850 0.2200 0.3299 0.1867 0.1773 0.0522 0.1000 0.3200 0.1965 0.0648
296-AH 0.0000 0.1150 0.1950 0.2200 0.2400 0.1685 0.0672 0.1050 0.2400 0.3989 0.1030 0.0002 0.0568 0.0000 0.2400 0.1685 0.0672
297-AH 0.0300 0.0450 0.0600 0.0750 0.1000 0.0625 0.0215 0.0300 0.0700 0.3438 0.0590 0.0557 0.0178 0.0300 0.1000 0.0625 0.0215
298-AH 0.0300 0.0900 0.1150 0.1700 0.2000 0.1235 0.0537 0.0800 0.1700 0.4351 0.1089 0.0907 0.0442 0.0300 0.2000 0.1235 0.0537
299-AH 0.0500 0.1950 0.3750 0.4400 0.5100 0.3280 0.1426 0.2450 0.4600 0.4348 0.2868 0.2294 0.1224 0.0500 0.5100 0.3280 0.1426
300-AH 0.0100 0.0700 0.2000 0.2200 0.2500 0.1595 0.0876 0.1500 0.2400 0.5494 0.1148 0.0596 0.0746 0.0100 0.2500 0.1595 0.0876
301-AH 0.0000 0.0300 0.0400 0.0400 0.1000 0.0415 0.0256 0.0100 0.1000 0.6169 0.0180 0.0001 0.0164 0.0300 0.0400 0.0377 0.0044
302-AH 0.0500 0.1250 0.1400 0.1450 0.1600 0.1255 0.0361 0.0200 0.1100 0.2873 0.1183 0.1083 0.0267 0.1200 0.1600 0.1419 0.0117
303-AH 0.0400 0.0700 0.0900 0.0950 0.1100 0.0810 0.0189 0.0250 0.0700 0.2332 0.0786 0.0758 0.0159 0.0400 0.1100 0.0810 0.0189
304-AH 0.0000 0.0200 0.0700 0.0850 0.1100 0.0585 0.0392 0.0650 0.1100 0.6708 0.0081 0.0000 0.0319 0.0000 0.1100 0.0585 0.0392
305-AH 0.0300 0.1050 0.2300 0.2700 0.4000 0.2045 0.1127 0.1650 0.3700 0.5513 0.1567 0.1012 0.0906 0.0300 0.4000 0.2045 0.1127
306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
307-AH 0.0200 0.1000 0.1900 0.2350 0.4600 0.2010 0.1347 0.1350 0.4400 0.6700 0.1498 0.0960 0.0974 0.0200 0.4200 0.1874 0.1234
308-AH 0.0000 0.0700 0.0950 0.1000 0.1000 0.0810 0.0301 0.0300 0.1000 0.3712 0.0511 0.0002 0.0235 0.0500 0.1000 0.0889 0.0184
309-AH 0.0300 0.0400 0.0500 0.0500 0.0600 0.0470 0.0092 0.0100 0.0300 0.1965 0.0461 0.0451 0.0076 0.0300 0.0600 0.0470 0.0092
310-AH 0.0200 0.0400 0.0950 0.1250 0.1600 0.0855 0.0473 0.0850 0.1400 0.5531 0.0697 0.0533 0.0410 0.0200 0.1600 0.0855 0.0473
311-AH 0.1000 0.2200 0.2400 0.2600 0.3400 0.2420 0.0543 0.0400 0.2400 0.2246 0.2352 0.2267 0.0390 0.1900 0.2800 0.2337 0.0253
312-AH 0.0000 0.1000 0.2350 0.2550 0.3000 0.1835 0.1012 0.1550 0.3000 0.5516 0.0905 0.0002 0.0861 0.0000 0.3000 0.1835 0.1012
313-AH 0.0000 0.0300 0.0500 0.0800 0.1300 0.0555 0.0346 0.0500 0.1300 0.6227 0.0327 0.0002 0.0286 0.0000 0.1300 0.0555 0.0346
314-AH 0.0100 0.0250 0.0700 0.1000 0.1100 0.0645 0.0379 0.0750 0.1000 0.5876 0.0511 0.0377 0.0345 0.0100 0.1100 0.0645 0.0379
315-AH 0.0100 0.1150 0.2800 0.3600 0.4200 0.2415 0.1381 0.2450 0.4100 0.5719 0.1737 0.0834 0.1183 0.0100 0.4200 0.2415 0.1381
316-AH 0.0000 0.0400 0.0950 0.1800 0.3400 0.1195 0.1039 0.1400 0.3400 0.8694 0.0539 0.0002 0.0834 0.0000 0.3400 0.1195 0.1039
317-AH 0.1100 0.1200 0.1500 0.1650 0.1800 0.1435 0.0243 0.0450 0.0700 0.1696 0.1415 0.1394 0.0208 0.1100 0.1800 0.1435 0.0243
318-AH 0.0100 0.0400 0.0700 0.0900 0.0900 0.0600 0.0288 0.0500 0.0800 0.4806 0.0493 0.0346 0.0240 0.0100 0.0900 0.0600 0.0288
319-AH 0.0400 0.0550 0.0650 0.1000 0.1500 0.0810 0.0346 0.0450 0.1100 0.4275 0.0748 0.0696 0.0292 0.0400 0.1500 0.0810 0.0346
320-AH 0.0100 0.0150 0.0400 0.0500 0.0700 0.0370 0.0203 0.0350 0.0600 0.5483 0.0302 0.0231 0.0173 0.0100 0.0700 0.0370 0.0203
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0100 0.0300 0.0400 0.0500 0.0600 0.0390 0.0155 0.0200 0.0500 0.3981 0.0351 0.0299 0.0122 0.0100 0.0600 0.0390 0.0155
323-AH 0.0300 0.0650 0.1000 0.1100 0.1200 0.0880 0.0282 0.0450 0.0900 0.3206 0.0826 0.0759 0.0234 0.0300 0.1200 0.0880 0.0282
324-AH 0.0200 0.1850 0.2500 0.4350 0.5500 0.2905 0.1585 0.2500 0.5300 0.5455 0.2363 0.1531 0.1356 0.0200 0.5500 0.2905 0.1585
325-AH 0.2500 0.3300 0.3900 0.4100 0.4900 0.3705 0.0616 0.0800 0.2400 0.1663 0.3654 0.3599 0.0504 0.2500 0.4900 0.3705 0.0616
326-AH 0.0000 0.0150 0.0200 0.0250 0.0300 0.0185 0.0099 0.0100 0.0300 0.5341 0.0066 0.0001 0.0072 0.0000 0.0300 0.0185 0.0099
327-AH 0.0000 0.0000 0.0100 0.0300 0.0400 0.0155 0.0170 0.0300 0.0400 1.0972 0.0005 0.0000 0.0155 0.0000 0.0400 0.0155 0.0170
328-AH 0.0900 0.1750 0.2300 0.2300 0.2300 0.1995 0.0502 0.0550 0.1400 0.2517 0.1917 0.1819 0.0418 0.1100 0.2300 0.2053 0.0443
329-AH 0.1000 0.1450 0.1600 0.1600 0.1700 0.1535 0.0160 0.0150 0.0700 0.1041 0.1526 0.1515 0.0114 0.1400 0.1700 0.1563 0.0101
330-AH 0.0300 0.3000 0.4200 0.4750 0.5100 0.3895 0.1192 0.1750 0.4800 0.3060 0.3502 0.2428 0.0887 0.2200 0.5100 0.4084 0.0862
331-AH 0.0000 0.1200 0.1500 0.1500 0.1600 0.1255 0.0474 0.0300 0.1600 0.3777 0.0771 0.0002 0.0368 0.0800 0.1600 0.1429 0.0211
332-AH 0.0000 0.0500 0.0800 0.0800 0.0800 0.0665 0.0216 0.0300 0.0800 0.3246 0.0438 0.0002 0.0169 0.0400 0.0800 0.0700 0.0153
333-AH 0.0100 0.0500 0.0500 0.0500 0.0500 0.0480 0.0089 0.0000 0.0400 0.1863 0.0461 0.0417 0.0038 0.0500 0.0500 0.0500 0.0000
334-AH 0.0200 0.0350 0.0400 0.0500 0.0500 0.0405 0.0089 0.0150 0.0300 0.2190 0.0394 0.0382 0.0067 0.0200 0.0500 0.0405 0.0089
335-AH 0.0300 0.0600 0.0750 0.0900 0.1100 0.0730 0.0203 0.0300 0.0800 0.2779 0.0699 0.0661 0.0160 0.0300 0.1100 0.0730 0.0203
336-AH 0.0000 0.0250 0.0400 0.0600 0.1000 0.0460 0.0303 0.0350 0.1000 0.6594 0.0268 0.0002 0.0238 0.0000 0.1000 0.0460 0.0303
337-AH 0.0200 0.0600 0.2000 0.2000 0.2000 0.1465 0.0757 0.1400 0.1800 0.5167 0.1148 0.0761 0.0686 0.0200 0.2000 0.1465 0.0757
338-AH 0.0200 0.0700 0.0850 0.1000 0.1000 0.0800 0.0236 0.0300 0.0800 0.2952 0.0752 0.0678 0.0190 0.0400 0.1000 0.0832 0.0195
339-AH 0.1200 0.1400 0.1850 0.1900 0.1900 0.1710 0.0245 0.0500 0.0700 0.1431 0.1692 0.1672 0.0217 0.1200 0.1900 0.1710 0.0245
340-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
103
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0300 0.0500 0.0550 0.0600 0.0600 0.0515 0.0109 0.0100 0.0300 0.2115 0.0502 0.0486 0.0085 0.0400 0.0600 0.0553 0.0062
342-AH 0.1900 0.4600 0.4900 0.6200 0.7800 0.5075 0.1569 0.1600 0.5900 0.3092 0.4791 0.4439 0.1182 0.2700 0.7800 0.5411 0.1247
343-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0080 0.0041 0.0000 0.0100 0.5130 0.0025 0.0000 0.0032 0.0100 0.0100 0.0100 0.0000
344-AH 0.1700 0.1900 0.2200 0.2600 0.2800 0.2285 0.0382 0.0700 0.1100 0.1670 0.2254 0.2223 0.0323 0.1700 0.2800 0.2285 0.0382
345-AH 0.0100 0.0300 0.0650 0.0800 0.0900 0.0555 0.0280 0.0500 0.0800 0.5045 0.0459 0.0344 0.0244 0.0100 0.0900 0.0555 0.0280
346-AH 0.0300 0.0400 0.0600 0.0750 0.0800 0.0575 0.0192 0.0350 0.0500 0.3332 0.0541 0.0505 0.0167 0.0300 0.0800 0.0575 0.0192
347-AH 0.0300 0.0400 0.0400 0.0500 0.0700 0.0445 0.0094 0.0100 0.0400 0.2123 0.0436 0.0428 0.0074 0.0300 0.0600 0.0432 0.0075
348-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0165 0.0067 0.0050 0.0200 0.4066 0.0084 0.0001 0.0052 0.0100 0.0200 0.0183 0.0038
349-AH 0.0500 0.1850 0.2050 0.2250 0.2600 0.1970 0.0443 0.0400 0.2100 0.2247 0.1890 0.1744 0.0292 0.1400 0.2600 0.2047 0.0284
350-AH 0.0200 0.0700 0.0900 0.0950 0.1000 0.0830 0.0192 0.0250 0.0800 0.2316 0.0794 0.0727 0.0141 0.0600 0.1000 0.0863 0.0126
104
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0022 0.0025 0.0050 0.5923 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0022
142-AH 0.0300 0.0325 0.0400 0.0400 0.0400 0.0370 0.0044 0.0075 0.0100 0.1193 0.0367 0.0364 0.0039 0.0300 0.0400 0.0370 0.0044
143-AH 0.0250 0.1225 0.1775 0.1875 0.1950 0.1522 0.0536 0.0650 0.1700 0.3519 0.1373 0.1129 0.0433 0.0650 0.1950 0.1589 0.0456
144-AH 0.0000 0.0100 0.0150 0.0150 0.0150 0.0122 0.0050 0.0050 0.0150 0.4076 0.0084 0.0002 0.0041 0.0050 0.0150 0.0129 0.0042
145-AH 0.0300 0.1075 0.1375 0.1675 0.1800 0.1325 0.0416 0.0600 0.1500 0.3139 0.1235 0.1098 0.0315 0.0300 0.1800 0.1325 0.0416
146-AH 0.0050 0.0050 0.0100 0.0100 0.0100 0.0080 0.0025 0.0050 0.0050 0.3141 0.0076 0.0071 0.0024 0.0050 0.0100 0.0080 0.0025
147-AH 0.1050 0.1600 0.2400 0.2550 0.2550 0.2145 0.0482 0.0950 0.1500 0.2247 0.2084 0.2012 0.0416 0.1050 0.2550 0.2145 0.0482
148-AH 0.0150 0.0200 0.0200 0.0250 0.0300 0.0220 0.0052 0.0050 0.0150 0.2378 0.0214 0.0208 0.0044 0.0150 0.0300 0.0220 0.0052
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0150 0.0400 0.0450 0.0500 0.0313 0.0190 0.0300 0.0500 0.6095 0.0069 0.0000 0.0160 0.0000 0.0500 0.0313 0.0190
151-AH 0.0000 0.0300 0.0400 0.0400 0.0450 0.0350 0.0110 0.0100 0.0450 0.3144 0.0239 0.0002 0.0080 0.0200 0.0450 0.0368 0.0075
152-AH 0.0050 0.0350 0.0450 0.0500 0.0550 0.0413 0.0119 0.0150 0.0500 0.2887 0.0380 0.0302 0.0089 0.0250 0.0550 0.0432 0.0085
153-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0010 0.0021 0.0000 0.0050 2.0520 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
154-AH 0.0400 0.0600 0.0700 0.0800 0.0900 0.0705 0.0129 0.0200 0.0500 0.1825 0.0693 0.0679 0.0101 0.0400 0.0900 0.0705 0.0129
155-AH 0.0000 0.0050 0.0150 0.0150 0.0150 0.0102 0.0064 0.0100 0.0150 0.6226 0.0022 0.0000 0.0052 0.0000 0.0150 0.0102 0.0064
156-AH 0.0100 0.0250 0.0625 0.0750 0.0850 0.0520 0.0254 0.0500 0.0750 0.4887 0.0443 0.0357 0.0228 0.0100 0.0850 0.0520 0.0254
157-AH 0.2050 0.3725 0.4025 0.5000 0.5450 0.4138 0.0974 0.1275 0.3400 0.2355 0.4014 0.3873 0.0725 0.2050 0.5450 0.4138 0.0974
158-AH 0.0000 0.0775 0.1150 0.1450 0.1650 0.1080 0.0409 0.0675 0.1650 0.3786 0.0684 0.0002 0.0329 0.0000 0.1650 0.1080 0.0409
159-AH 0.0000 0.0700 0.1350 0.2050 0.2350 0.1327 0.0768 0.1350 0.2350 0.5785 0.0743 0.0002 0.0642 0.0000 0.2350 0.1327 0.0768
160-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0038 0.0050 0.0100 0.5073 0.0031 0.0001 0.0032 0.0000 0.0100 0.0075 0.0038
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
163-AH 0.1300 0.2925 0.5350 0.5650 0.5800 0.4393 0.1700 0.2725 0.4500 0.3871 0.3934 0.3355 0.1426 0.1300 0.5800 0.4393 0.1700
164-AH 0.0050 0.0225 0.0700 0.0875 0.1250 0.0637 0.0392 0.0650 0.1200 0.6149 0.0451 0.0249 0.0315 0.0050 0.1250 0.0637 0.0392
165-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0075 0.0200 0.0250 0.0250 0.0162 0.0094 0.0175 0.0250 0.5810 0.0056 0.0001 0.0080 0.0000 0.0250 0.0162 0.0094
168-AH 0.0250 0.0725 0.0900 0.0900 0.0900 0.0793 0.0191 0.0175 0.0650 0.2416 0.0760 0.0711 0.0151 0.0500 0.0900 0.0821 0.0147
169-AH 0.0000 0.0050 0.0100 0.0200 0.0250 0.0112 0.0078 0.0150 0.0250 0.6897 0.0040 0.0001 0.0065 0.0000 0.0250 0.0112 0.0078
170-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0047 0.0011 0.0000 0.0050 0.2354 0.0037 0.0002 0.0005 0.0050 0.0050 0.0050 0.0000
171-AH 0.0050 0.0425 0.0550 0.0600 0.0800 0.0497 0.0209 0.0175 0.0750 0.4207 0.0415 0.0262 0.0148 0.0200 0.0800 0.0547 0.0151
172-AH 0.0150 0.0300 0.0350 0.0350 0.0350 0.0325 0.0050 0.0050 0.0200 0.1538 0.0320 0.0312 0.0035 0.0250 0.0350 0.0334 0.0029
173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
174-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0097 0.0011 0.0000 0.0050 0.1147 0.0097 0.0095 0.0005 0.0100 0.0100 0.0100 0.0000
175-AH 0.0200 0.0275 0.0350 0.0350 0.0350 0.0315 0.0049 0.0075 0.0150 0.1554 0.0311 0.0306 0.0042 0.0200 0.0350 0.0315 0.0049
176-AH 0.1250 0.1800 0.1950 0.1950 0.1950 0.1862 0.0173 0.0150 0.0700 0.0929 0.1853 0.1842 0.0122 0.1700 0.1950 0.1895 0.0098
177-AH 0.0300 0.0350 0.0400 0.0500 0.0650 0.0435 0.0108 0.0150 0.0350 0.2476 0.0424 0.0413 0.0087 0.0300 0.0650 0.0435 0.0108
178-AH 0.0000 0.0025 0.0075 0.0125 0.0200 0.0077 0.0062 0.0100 0.0200 0.7964 0.0017 0.0000 0.0052 0.0000 0.0200 0.0077 0.0062
179-AH 0.0100 0.0350 0.0850 0.1050 0.1100 0.0732 0.0359 0.0700 0.1000 0.4904 0.0597 0.0425 0.0299 0.0100 0.1100 0.0732 0.0359
180-AH 0.0200 0.0850 0.1375 0.1875 0.2000 0.1300 0.0574 0.1025 0.1800 0.4415 0.1138 0.0915 0.0500 0.0200 0.2000 0.1300 0.0574
181-AH 0.0250 0.2500 0.4350 0.4450 0.4500 0.3565 0.1303 0.1950 0.4250 0.3656 0.3098 0.2038 0.1074 0.0250 0.4500 0.3565 0.1303
182-AH 0.0150 0.0175 0.0200 0.0200 0.0200 0.0187 0.0022 0.0025 0.0050 0.1185 0.0186 0.0185 0.0019 0.0150 0.0200 0.0187 0.0022
183-AH 0.0050 0.0050 0.0150 0.0200 0.0200 0.0135 0.0069 0.0150 0.0150 0.5112 0.0115 0.0095 0.0065 0.0050 0.0200 0.0135 0.0069
184-AH 0.0100 0.0300 0.0375 0.0450 0.0450 0.0360 0.0095 0.0150 0.0350 0.2651 0.0343 0.0317 0.0075 0.0100 0.0450 0.0360 0.0095
185-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0040 0.0021 0.0000 0.0050 0.5130 0.0014 0.0000 0.0016 0.0050 0.0050 0.0050 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0045 0.0015 0.0000 0.0050 0.3420 0.0027 0.0001 0.0009 0.0050 0.0050 0.0050 0.0000
188-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0030 0.0025 0.0050 0.0050 0.8377 0.0004 0.0000 0.0024 0.0000 0.0050 0.0030 0.0025
189-AH 0.0000 0.0175 0.0350 0.0350 0.0350 0.0263 0.0155 0.0175 0.0350 0.5923 0.0046 0.0000 0.0131 0.0000 0.0350 0.0263 0.0155
190-AH 0.0250 0.0300 0.0350 0.0350 0.0400 0.0332 0.0041 0.0050 0.0150 0.1222 0.0330 0.0327 0.0033 0.0250 0.0400 0.0332 0.0041
105
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0150 0.0200 0.0300 0.0300 0.0300 0.0247 0.0062 0.0100 0.0150 0.2494 0.0239 0.0231 0.0058 0.0150 0.0300 0.0247 0.0062
193-AH 0.0150 0.0225 0.0350 0.0350 0.0350 0.0297 0.0088 0.0125 0.0200 0.2960 0.0281 0.0261 0.0074 0.0150 0.0350 0.0297 0.0088
194-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0047 0.0011 0.0000 0.0050 0.2354 0.0037 0.0002 0.0005 0.0050 0.0050 0.0050 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0047 0.0011 0.0000 0.0050 0.2354 0.0037 0.0002 0.0005 0.0050 0.0050 0.0050 0.0000
197-AH 0.0000 0.1750 0.1950 0.2350 0.2500 0.1923 0.0551 0.0600 0.2500 0.2868 0.1218 0.0002 0.0363 0.1550 0.2500 0.2024 0.0324
198-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0022 0.0025 0.0050 0.5923 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0022
199-AH 0.0200 0.0450 0.0500 0.0500 0.0500 0.0463 0.0078 0.0050 0.0300 0.1678 0.0454 0.0441 0.0056 0.0400 0.0500 0.0483 0.0038
200-AH 0.0150 0.0300 0.0400 0.0400 0.0450 0.0362 0.0084 0.0100 0.0300 0.2320 0.0351 0.0336 0.0069 0.0150 0.0450 0.0362 0.0084
251-AH 0.0450 0.1350 0.2175 0.2250 0.2550 0.1827 0.0720 0.0900 0.2100 0.3942 0.1614 0.1324 0.0589 0.0450 0.2550 0.1827 0.0720
252-AH 0.0800 0.1250 0.1325 0.1400 0.1400 0.1275 0.0160 0.0150 0.0600 0.1256 0.1264 0.1250 0.0118 0.1050 0.1400 0.1300 0.0118
253-AH 0.0350 0.1700 0.3125 0.3775 0.5000 0.2885 0.1367 0.2075 0.4650 0.4738 0.2462 0.1859 0.1157 0.0350 0.5000 0.2885 0.1367
254-AH 0.0100 0.0975 0.3025 0.3350 0.4100 0.2393 0.1425 0.2375 0.4000 0.5958 0.1596 0.0700 0.1244 0.0100 0.4100 0.2393 0.1425
255-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0187 0.0028 0.0000 0.0100 0.1467 0.0185 0.0182 0.0020 0.0200 0.0200 0.0200 0.0000
256-AH 0.0050 0.1250 0.1650 0.1700 0.1700 0.1445 0.0413 0.0450 0.1650 0.2858 0.1261 0.0607 0.0297 0.0950 0.1700 0.1518 0.0257
257-AH 0.1250 0.1675 0.1750 0.1900 0.2100 0.1745 0.0242 0.0225 0.0850 0.1388 0.1728 0.1709 0.0171 0.1350 0.2100 0.1800 0.0183
258-AH 0.0000 0.0050 0.0075 0.0100 0.0200 0.0087 0.0067 0.0050 0.0200 0.7616 0.0032 0.0001 0.0052 0.0000 0.0100 0.0059 0.0037
259-AH 0.0050 0.0100 0.0100 0.0150 0.0150 0.0115 0.0033 0.0050 0.0100 0.2856 0.0110 0.0103 0.0028 0.0050 0.0150 0.0115 0.0033
260-AH 0.0300 0.2150 0.2875 0.2950 0.3000 0.2522 0.0705 0.0800 0.2700 0.2794 0.2325 0.1845 0.0533 0.1700 0.3000 0.2639 0.0485
261-AH 0.0250 0.0350 0.0575 0.0750 0.0900 0.0568 0.0214 0.0400 0.0650 0.3763 0.0525 0.0482 0.0183 0.0250 0.0900 0.0568 0.0214
262-AH 0.0250 0.1300 0.1600 0.2150 0.3050 0.1693 0.0724 0.0850 0.2800 0.4275 0.1508 0.1231 0.0540 0.0250 0.3050 0.1693 0.0724
263-AH 0.0100 0.0350 0.1350 0.1575 0.1850 0.1045 0.0643 0.1225 0.1750 0.6149 0.0775 0.0498 0.0591 0.0100 0.1850 0.1045 0.0643
264-AH 0.0150 0.0700 0.0900 0.1000 0.1050 0.0818 0.0237 0.0300 0.0900 0.2905 0.0762 0.0659 0.0184 0.0500 0.1050 0.0853 0.0183
265-AH 0.0050 0.0200 0.0300 0.0300 0.0300 0.0235 0.0096 0.0100 0.0250 0.4090 0.0202 0.0155 0.0077 0.0100 0.0300 0.0268 0.0058
266-AH 0.0000 0.0025 0.0100 0.0125 0.0200 0.0087 0.0072 0.0100 0.0200 0.8265 0.0018 0.0000 0.0059 0.0000 0.0200 0.0087 0.0072
267-AH 0.0300 0.0650 0.0750 0.0825 0.1000 0.0742 0.0159 0.0175 0.0700 0.2144 0.0722 0.0696 0.0118 0.0600 0.1000 0.0766 0.0124
268-AH 0.0100 0.0100 0.0100 0.0150 0.0150 0.0120 0.0025 0.0050 0.0050 0.2094 0.0118 0.0115 0.0024 0.0100 0.0150 0.0120 0.0025
269-AH 0.0200 0.0300 0.0375 0.0400 0.0400 0.0352 0.0057 0.0100 0.0200 0.1625 0.0347 0.0341 0.0047 0.0200 0.0400 0.0352 0.0057
270-AH 0.0550 0.2375 0.2475 0.2700 0.2800 0.2393 0.0492 0.0325 0.2250 0.2056 0.2298 0.2100 0.0286 0.1900 0.2800 0.2489 0.0238
271-AH 0.0150 0.0800 0.1075 0.1150 0.1150 0.0940 0.0292 0.0350 0.1000 0.3109 0.0864 0.0721 0.0233 0.0450 0.1150 0.0982 0.0232
272-AH 0.0050 0.0500 0.0600 0.0650 0.0700 0.0550 0.0149 0.0150 0.0650 0.2703 0.0504 0.0371 0.0105 0.0400 0.0700 0.0576 0.0093
273-AH 0.0800 0.1400 0.3200 0.3650 0.3800 0.2700 0.1102 0.2250 0.3000 0.4081 0.2405 0.2056 0.0960 0.0800 0.3800 0.2700 0.1102
274-AH 0.0100 0.0450 0.0600 0.0725 0.0800 0.0562 0.0193 0.0275 0.0700 0.3423 0.0512 0.0430 0.0149 0.0100 0.0800 0.0562 0.0193
275-AH 0.0250 0.0875 0.1825 0.2525 0.2950 0.1767 0.0876 0.1650 0.2700 0.4958 0.1478 0.1117 0.0747 0.0250 0.2950 0.1767 0.0876
276-AH 0.1200 0.1400 0.1950 0.2050 0.2600 0.1835 0.0436 0.0650 0.1400 0.2376 0.1783 0.1730 0.0353 0.1200 0.2600 0.1835 0.0436
277-AH 0.0050 0.0350 0.0675 0.0750 0.0950 0.0568 0.0291 0.0400 0.0900 0.5124 0.0432 0.0246 0.0232 0.0050 0.0950 0.0568 0.0291
278-AH 0.0150 0.0300 0.0450 0.0550 0.0900 0.0480 0.0228 0.0250 0.0750 0.4760 0.0430 0.0383 0.0178 0.0150 0.0900 0.0480 0.0228
279-AH 0.0000 0.0100 0.0150 0.0200 0.0200 0.0140 0.0064 0.0100 0.0200 0.4577 0.0071 0.0001 0.0049 0.0000 0.0200 0.0140 0.0064
280-AH 0.0050 0.0175 0.0400 0.0425 0.0700 0.0327 0.0175 0.0250 0.0650 0.5346 0.0264 0.0187 0.0147 0.0050 0.0700 0.0327 0.0175
281-AH 0.0650 0.1600 0.1700 0.1825 0.1850 0.1660 0.0265 0.0225 0.1200 0.1596 0.1628 0.1577 0.0158 0.1500 0.1850 0.1713 0.0120
282-AH 0.0200 0.0550 0.0875 0.1150 0.1250 0.0827 0.0337 0.0600 0.1050 0.4067 0.0741 0.0634 0.0275 0.0200 0.1250 0.0827 0.0337
283-AH 0.0100 0.0450 0.0700 0.1000 0.1650 0.0743 0.0446 0.0550 0.1550 0.6012 0.0602 0.0444 0.0341 0.0100 0.1650 0.0743 0.0446
284-AH 0.0000 0.0925 0.1900 0.1900 0.1900 0.1465 0.0732 0.0975 0.1900 0.4999 0.0793 0.0002 0.0612 0.0000 0.1900 0.1465 0.0732
285-AH 0.1050 0.1900 0.2400 0.3125 0.3350 0.2402 0.0766 0.1225 0.2300 0.3187 0.2264 0.2104 0.0643 0.1050 0.3350 0.2402 0.0766
286-AH 0.0000 0.0150 0.0175 0.0200 0.0300 0.0172 0.0060 0.0050 0.0300 0.3452 0.0122 0.0002 0.0042 0.0100 0.0250 0.0175 0.0035
287-AH 0.0000 0.1025 0.1925 0.2050 0.2250 0.1585 0.0690 0.1025 0.2250 0.4356 0.0937 0.0002 0.0571 0.0000 0.2250 0.1585 0.0690
288-AH 0.0350 0.1150 0.1400 0.1925 0.2850 0.1535 0.0760 0.0775 0.2500 0.4949 0.1338 0.1125 0.0580 0.0350 0.2850 0.1535 0.0760
289-AH 0.0050 0.0725 0.0850 0.0900 0.0900 0.0763 0.0229 0.0175 0.0850 0.3008 0.0679 0.0442 0.0166 0.0650 0.0900 0.0847 0.0082
290-AH 0.0150 0.0700 0.1425 0.1600 0.2300 0.1230 0.0621 0.0900 0.2150 0.5045 0.0985 0.0667 0.0496 0.0150 0.2300 0.1230 0.0621
106
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0250 0.0725 0.1000 0.1100 0.1350 0.0903 0.0327 0.0375 0.1100 0.3628 0.0824 0.0720 0.0257 0.0250 0.1350 0.0903 0.0327
292-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0187 0.0032 0.0000 0.0100 0.1703 0.0184 0.0179 0.0021 0.0200 0.0200 0.0200 0.0000
293-AH 0.0700 0.1225 0.1700 0.1700 0.1700 0.1468 0.0376 0.0475 0.1000 0.2560 0.1409 0.1337 0.0314 0.0700 0.1700 0.1468 0.0376
294-AH 0.0000 0.0850 0.1350 0.1350 0.1350 0.1075 0.0491 0.0500 0.1350 0.4568 0.0613 0.0002 0.0408 0.0100 0.1350 0.1132 0.0432
295-AH 0.0650 0.1025 0.1225 0.1350 0.1950 0.1263 0.0362 0.0325 0.1300 0.2867 0.1213 0.1164 0.0279 0.0650 0.1800 0.1192 0.0305
296-AH 0.0000 0.0650 0.1125 0.1200 0.1200 0.0935 0.0350 0.0550 0.1200 0.3742 0.0593 0.0002 0.0289 0.0000 0.1200 0.0935 0.0350
297-AH 0.0200 0.0300 0.0400 0.0450 0.0500 0.0370 0.0104 0.0150 0.0300 0.2821 0.0354 0.0337 0.0088 0.0200 0.0500 0.0370 0.0104
298-AH 0.0300 0.0500 0.0975 0.1100 0.1200 0.0827 0.0330 0.0600 0.0900 0.3986 0.0746 0.0652 0.0292 0.0300 0.1200 0.0827 0.0330
299-AH 0.0350 0.1650 0.2400 0.2875 0.3250 0.2228 0.0852 0.1225 0.2900 0.3824 0.1992 0.1623 0.0702 0.0350 0.3250 0.2228 0.0852
300-AH 0.0150 0.0625 0.1600 0.1775 0.1850 0.1275 0.0653 0.1150 0.1700 0.5119 0.0982 0.0622 0.0553 0.0150 0.1850 0.1275 0.0653
301-AH 0.0000 0.0200 0.0200 0.0200 0.0500 0.0235 0.0139 0.0000 0.0500 0.5902 0.0111 0.0001 0.0096 0.0200 0.0200 0.0200 0.0000
302-AH 0.0300 0.0650 0.0775 0.0800 0.0850 0.0700 0.0171 0.0150 0.0550 0.2442 0.0673 0.0639 0.0130 0.0550 0.0850 0.0762 0.0086
303-AH 0.0300 0.0375 0.0475 0.0500 0.0550 0.0453 0.0083 0.0125 0.0250 0.1845 0.0444 0.0436 0.0067 0.0300 0.0550 0.0453 0.0083
304-AH 0.0000 0.0100 0.0350 0.0475 0.0650 0.0328 0.0221 0.0375 0.0650 0.6746 0.0052 0.0000 0.0179 0.0000 0.0650 0.0328 0.0221
305-AH 0.0250 0.0750 0.1625 0.2000 0.2700 0.1415 0.0750 0.1250 0.2450 0.5304 0.1113 0.0750 0.0622 0.0250 0.2700 0.1415 0.0750
306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
307-AH 0.0300 0.0975 0.1350 0.2100 0.3000 0.1568 0.0877 0.1125 0.2700 0.5594 0.1281 0.0960 0.0726 0.0300 0.3000 0.1568 0.0877
308-AH 0.0000 0.0375 0.0500 0.0500 0.0550 0.0425 0.0137 0.0125 0.0550 0.3228 0.0286 0.0002 0.0103 0.0200 0.0550 0.0447 0.0096
309-AH 0.0200 0.0275 0.0350 0.0375 0.0450 0.0330 0.0080 0.0100 0.0250 0.2428 0.0320 0.0309 0.0064 0.0200 0.0450 0.0330 0.0080
310-AH 0.0100 0.0300 0.0750 0.0925 0.1300 0.0650 0.0386 0.0625 0.1200 0.5937 0.0500 0.0336 0.0335 0.0100 0.1300 0.0650 0.0386
311-AH 0.0850 0.1375 0.1550 0.1750 0.2150 0.1585 0.0330 0.0375 0.1300 0.2083 0.1550 0.1513 0.0252 0.0850 0.2150 0.1585 0.0330
312-AH 0.0000 0.0600 0.1350 0.1425 0.1500 0.1020 0.0529 0.0825 0.1500 0.5181 0.0544 0.0002 0.0448 0.0000 0.1500 0.1020 0.0529
313-AH 0.0050 0.0175 0.0300 0.0600 0.0750 0.0380 0.0229 0.0425 0.0700 0.6028 0.0304 0.0225 0.0201 0.0050 0.0750 0.0380 0.0229
314-AH 0.0050 0.0300 0.0625 0.0750 0.0850 0.0540 0.0266 0.0450 0.0800 0.4923 0.0434 0.0287 0.0223 0.0050 0.0850 0.0540 0.0266
315-AH 0.0100 0.0825 0.1900 0.2050 0.2650 0.1535 0.0813 0.1225 0.2550 0.5296 0.1188 0.0702 0.0708 0.0100 0.2650 0.1535 0.0813
316-AH 0.0050 0.0450 0.1150 0.1750 0.2400 0.1160 0.0741 0.1300 0.2350 0.6387 0.0790 0.0325 0.0602 0.0050 0.2400 0.1160 0.0741
317-AH 0.0550 0.0800 0.0900 0.1025 0.1200 0.0898 0.0179 0.0225 0.0650 0.1992 0.0879 0.0858 0.0138 0.0550 0.1200 0.0898 0.0179
318-AH 0.0050 0.0300 0.0450 0.0450 0.0450 0.0358 0.0134 0.0150 0.0400 0.3749 0.0316 0.0246 0.0111 0.0100 0.0450 0.0374 0.0116
319-AH 0.0300 0.0350 0.0500 0.0700 0.0800 0.0523 0.0172 0.0350 0.0500 0.3293 0.0496 0.0471 0.0153 0.0300 0.0800 0.0523 0.0172
320-AH 0.0050 0.0125 0.0300 0.0350 0.0450 0.0252 0.0132 0.0225 0.0400 0.5238 0.0202 0.0142 0.0112 0.0050 0.0450 0.0252 0.0132
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0050 0.0250 0.0300 0.0350 0.0400 0.0272 0.0104 0.0100 0.0350 0.3834 0.0241 0.0189 0.0080 0.0150 0.0400 0.0297 0.0076
323-AH 0.0150 0.0450 0.0575 0.0700 0.1050 0.0592 0.0215 0.0250 0.0900 0.3635 0.0548 0.0492 0.0167 0.0150 0.1050 0.0592 0.0215
324-AH 0.0150 0.1075 0.1475 0.2750 0.3250 0.1783 0.0959 0.1675 0.3100 0.5383 0.1468 0.1016 0.0844 0.0150 0.3250 0.1783 0.0959
325-AH 0.1700 0.2075 0.2525 0.2750 0.2900 0.2407 0.0393 0.0675 0.1200 0.1633 0.2375 0.2340 0.0337 0.1700 0.2900 0.2407 0.0393
326-AH 0.0000 0.0075 0.0100 0.0150 0.0150 0.0100 0.0054 0.0075 0.0150 0.5380 0.0039 0.0001 0.0040 0.0000 0.0150 0.0100 0.0054
327-AH 0.0000 0.0050 0.0100 0.0175 0.0200 0.0110 0.0072 0.0125 0.0200 0.6529 0.0040 0.0001 0.0061 0.0000 0.0200 0.0110 0.0072
328-AH 0.0500 0.1000 0.1150 0.1150 0.1150 0.1048 0.0194 0.0150 0.0650 0.1849 0.1025 0.0997 0.0154 0.0850 0.1150 0.1115 0.0100
329-AH 0.0600 0.0775 0.0850 0.0850 0.0850 0.0808 0.0075 0.0075 0.0250 0.0927 0.0804 0.0800 0.0060 0.0700 0.0850 0.0818 0.0058
330-AH 0.0250 0.1800 0.2350 0.2525 0.2550 0.2127 0.0567 0.0725 0.2300 0.2665 0.1969 0.1563 0.0412 0.1600 0.2550 0.2226 0.0365
331-AH 0.0200 0.0675 0.0850 0.0850 0.0850 0.0723 0.0236 0.0175 0.0650 0.3273 0.0660 0.0566 0.0186 0.0550 0.0850 0.0812 0.0099
332-AH 0.0000 0.0350 0.0400 0.0400 0.0400 0.0350 0.0099 0.0050 0.0400 0.2819 0.0241 0.0002 0.0065 0.0350 0.0400 0.0391 0.0020
333-AH 0.0050 0.0250 0.0250 0.0250 0.0250 0.0240 0.0045 0.0000 0.0200 0.1863 0.0231 0.0208 0.0019 0.0250 0.0250 0.0250 0.0000
334-AH 0.0150 0.0200 0.0200 0.0250 0.0250 0.0220 0.0030 0.0050 0.0100 0.1360 0.0218 0.0216 0.0027 0.0150 0.0250 0.0220 0.0030
335-AH 0.0250 0.0450 0.0525 0.0550 0.0700 0.0495 0.0106 0.0100 0.0450 0.2147 0.0483 0.0468 0.0081 0.0400 0.0650 0.0509 0.0067
336-AH 0.0050 0.0150 0.0300 0.0450 0.0650 0.0322 0.0199 0.0300 0.0600 0.6170 0.0251 0.0177 0.0159 0.0050 0.0650 0.0322 0.0199
337-AH 0.0150 0.0325 0.1000 0.1000 0.1000 0.0745 0.0362 0.0675 0.0850 0.4859 0.0613 0.0457 0.0327 0.0150 0.1000 0.0745 0.0362
338-AH 0.0150 0.0400 0.0450 0.0500 0.0500 0.0423 0.0101 0.0100 0.0350 0.2382 0.0407 0.0385 0.0078 0.0250 0.0500 0.0437 0.0080
339-AH 0.0650 0.0825 0.0950 0.0950 0.0950 0.0882 0.0108 0.0125 0.0300 0.1223 0.0876 0.0868 0.0089 0.0650 0.0950 0.0882 0.0108
340-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000
107
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0150 0.0250 0.0300 0.0300 0.0300 0.0260 0.0055 0.0050 0.0150 0.2125 0.0253 0.0245 0.0044 0.0200 0.0300 0.0279 0.0031
342-AH 0.1400 0.2925 0.3525 0.4350 0.4700 0.3413 0.0978 0.1425 0.3300 0.2866 0.3253 0.3064 0.0791 0.1400 0.4700 0.3413 0.0978
343-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0047 0.0011 0.0000 0.0050 0.2354 0.0037 0.0002 0.0005 0.0050 0.0050 0.0050 0.0000
344-AH 0.1100 0.1150 0.1500 0.1525 0.1600 0.1383 0.0191 0.0375 0.0500 0.1385 0.1369 0.1355 0.0173 0.1100 0.1600 0.1383 0.0191
345-AH 0.0100 0.0175 0.0375 0.0450 0.0450 0.0318 0.0134 0.0275 0.0350 0.4222 0.0283 0.0243 0.0119 0.0100 0.0450 0.0318 0.0134
346-AH 0.0150 0.0275 0.0400 0.0450 0.0500 0.0373 0.0104 0.0175 0.0350 0.2805 0.0356 0.0337 0.0090 0.0150 0.0500 0.0373 0.0104
347-AH 0.0250 0.0250 0.0300 0.0300 0.0400 0.0297 0.0041 0.0050 0.0150 0.1388 0.0295 0.0292 0.0028 0.0250 0.0350 0.0292 0.0034
348-AH 0.0000 0.0075 0.0100 0.0100 0.0100 0.0082 0.0034 0.0025 0.0100 0.4066 0.0045 0.0001 0.0026 0.0050 0.0100 0.0092 0.0019
349-AH 0.0550 0.1150 0.1250 0.1300 0.1350 0.1192 0.0172 0.0150 0.0800 0.1441 0.1176 0.1151 0.0105 0.1050 0.1350 0.1226 0.0084
350-AH 0.0150 0.0350 0.0450 0.0500 0.0500 0.0430 0.0091 0.0150 0.0350 0.2114 0.0417 0.0397 0.0071 0.0150 0.0500 0.0430 0.0091
108
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.5923 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
142-AH 0.0120 0.0140 0.0160 0.0160 0.0160 0.0150 0.0018 0.0020 0.0040 0.1185 0.0149 0.0148 0.0015 0.0120 0.0160 0.0150 0.0018
143-AH 0.0160 0.0560 0.0760 0.0770 0.0780 0.0650 0.0201 0.0210 0.0620 0.3097 0.0605 0.0537 0.0165 0.0320 0.0780 0.0676 0.0170
144-AH 0.0020 0.0050 0.0060 0.0060 0.0060 0.0054 0.0011 0.0010 0.0040 0.2116 0.0052 0.0050 0.0009 0.0040 0.0060 0.0056 0.0008
145-AH 0.0220 0.0570 0.0700 0.0740 0.0740 0.0634 0.0151 0.0170 0.0520 0.2374 0.0610 0.0576 0.0119 0.0400 0.0740 0.0656 0.0118
146-AH 0.0020 0.0030 0.0040 0.0040 0.0040 0.0035 0.0009 0.0010 0.0020 0.2539 0.0034 0.0032 0.0008 0.0020 0.0040 0.0035 0.0009
147-AH 0.0520 0.0750 0.1000 0.1020 0.1020 0.0902 0.0175 0.0270 0.0500 0.1941 0.0883 0.0861 0.0147 0.0520 0.1020 0.0902 0.0175
148-AH 0.0060 0.0100 0.0100 0.0120 0.0120 0.0106 0.0016 0.0020 0.0060 0.1512 0.0105 0.0103 0.0013 0.0080 0.0120 0.0108 0.0012
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0070 0.0180 0.0190 0.0200 0.0135 0.0080 0.0120 0.0200 0.5923 0.0036 0.0000 0.0067 0.0000 0.0200 0.0135 0.0080
151-AH 0.0020 0.0140 0.0180 0.0180 0.0180 0.0155 0.0043 0.0040 0.0160 0.2804 0.0143 0.0116 0.0033 0.0100 0.0180 0.0162 0.0030
152-AH 0.0060 0.0160 0.0200 0.0220 0.0220 0.0189 0.0040 0.0060 0.0160 0.2130 0.0183 0.0173 0.0030 0.0140 0.0220 0.0196 0.0027
153-AH 0.0000 0.0000 0.0000 0.0020 0.0020 0.0008 0.0010 0.0020 0.0020 1.2566 0.0001 0.0000 0.0010 0.0000 0.0020 0.0008 0.0010
154-AH 0.0220 0.0300 0.0350 0.0380 0.0400 0.0339 0.0044 0.0080 0.0180 0.1291 0.0336 0.0333 0.0035 0.0220 0.0400 0.0339 0.0044
155-AH 0.0000 0.0030 0.0060 0.0060 0.0060 0.0045 0.0027 0.0030 0.0060 0.5923 0.0012 0.0000 0.0023 0.0000 0.0060 0.0045 0.0027
156-AH 0.0120 0.0180 0.0320 0.0360 0.0380 0.0277 0.0100 0.0180 0.0260 0.3624 0.0255 0.0230 0.0086 0.0120 0.0380 0.0277 0.0100
157-AH 0.1200 0.1970 0.2250 0.2520 0.2720 0.2193 0.0404 0.0550 0.1520 0.1841 0.2153 0.2108 0.0324 0.1200 0.2720 0.2193 0.0404
158-AH 0.0020 0.0440 0.0570 0.0620 0.0680 0.0511 0.0158 0.0180 0.0660 0.3101 0.0446 0.0230 0.0122 0.0340 0.0680 0.0537 0.0111
159-AH 0.0080 0.0480 0.0800 0.1000 0.1080 0.0747 0.0283 0.0520 0.1000 0.3785 0.0665 0.0505 0.0230 0.0080 0.1080 0.0747 0.0283
160-AH 0.0020 0.0020 0.0040 0.0040 0.0040 0.0034 0.0009 0.0020 0.0020 0.2766 0.0032 0.0031 0.0008 0.0020 0.0040 0.0034 0.0009
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
163-AH 0.0820 0.1550 0.2340 0.2400 0.2420 0.1993 0.0627 0.0850 0.1600 0.3145 0.1864 0.1704 0.0524 0.0820 0.2420 0.1993 0.0627
164-AH 0.0040 0.0180 0.0390 0.0420 0.0520 0.0321 0.0175 0.0240 0.0480 0.5456 0.0229 0.0123 0.0141 0.0040 0.0520 0.0321 0.0175
165-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0076 0.0036 0.0050 0.0100 0.4800 0.0050 0.0002 0.0030 0.0000 0.0100 0.0076 0.0036
168-AH 0.0120 0.0330 0.0360 0.0360 0.0360 0.0335 0.0057 0.0030 0.0240 0.1709 0.0327 0.0315 0.0037 0.0300 0.0360 0.0350 0.0023
169-AH 0.0020 0.0030 0.0060 0.0090 0.0120 0.0062 0.0035 0.0060 0.0100 0.5626 0.0052 0.0042 0.0030 0.0020 0.0120 0.0062 0.0035
170-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
171-AH 0.0080 0.0270 0.0300 0.0330 0.0380 0.0284 0.0089 0.0060 0.0300 0.3121 0.0263 0.0231 0.0063 0.0240 0.0380 0.0316 0.0041
172-AH 0.0100 0.0140 0.0140 0.0140 0.0140 0.0136 0.0010 0.0000 0.0040 0.0769 0.0136 0.0135 0.0007 0.0140 0.0140 0.0140 0.0000
173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
174-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0039 0.0004 0.0000 0.0020 0.1147 0.0039 0.0038 0.0002 0.0040 0.0040 0.0040 0.0000
175-AH 0.0100 0.0110 0.0140 0.0140 0.0140 0.0127 0.0018 0.0030 0.0040 0.1378 0.0126 0.0124 0.0016 0.0100 0.0140 0.0127 0.0018
176-AH 0.0580 0.0780 0.0780 0.0780 0.0780 0.0767 0.0045 0.0000 0.0200 0.0582 0.0766 0.0764 0.0021 0.0780 0.0780 0.0780 0.0000
177-AH 0.0140 0.0170 0.0200 0.0250 0.0260 0.0207 0.0040 0.0080 0.0120 0.1939 0.0203 0.0199 0.0033 0.0140 0.0260 0.0207 0.0040
178-AH 0.0000 0.0010 0.0040 0.0060 0.0080 0.0040 0.0028 0.0050 0.0080 0.7071 0.0011 0.0000 0.0022 0.0000 0.0080 0.0040 0.0028
179-AH 0.0080 0.0200 0.0410 0.0430 0.0440 0.0332 0.0136 0.0230 0.0360 0.4102 0.0292 0.0240 0.0115 0.0080 0.0440 0.0332 0.0136
180-AH 0.0160 0.0410 0.0670 0.0800 0.0800 0.0616 0.0209 0.0390 0.0640 0.3400 0.0567 0.0500 0.0174 0.0160 0.0800 0.0616 0.0209
181-AH 0.0160 0.1240 0.1800 0.1820 0.1820 0.1520 0.0503 0.0580 0.1660 0.3312 0.1365 0.1032 0.0406 0.0800 0.1820 0.1592 0.0399
182-AH 0.0060 0.0070 0.0080 0.0080 0.0080 0.0075 0.0009 0.0010 0.0020 0.1185 0.0074 0.0074 0.0008 0.0060 0.0080 0.0075 0.0009
183-AH 0.0020 0.0050 0.0080 0.0080 0.0080 0.0065 0.0027 0.0030 0.0060 0.4101 0.0057 0.0046 0.0023 0.0020 0.0080 0.0065 0.0027
184-AH 0.0060 0.0140 0.0180 0.0180 0.0180 0.0154 0.0037 0.0040 0.0120 0.2387 0.0148 0.0141 0.0030 0.0100 0.0180 0.0159 0.0030
185-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0017 0.0007 0.0000 0.0020 0.4310 0.0009 0.0001 0.0005 0.0020 0.0020 0.0020 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3420 0.0012 0.0001 0.0004 0.0020 0.0020 0.0020 0.0000
188-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0014 0.0009 0.0020 0.0020 0.6717 0.0004 0.0000 0.0008 0.0000 0.0020 0.0014 0.0009
189-AH 0.0000 0.0070 0.0140 0.0140 0.0140 0.0105 0.0062 0.0070 0.0140 0.5923 0.0023 0.0000 0.0053 0.0000 0.0140 0.0105 0.0062
190-AH 0.0100 0.0140 0.0140 0.0150 0.0180 0.0140 0.0019 0.0010 0.0080 0.1390 0.0139 0.0137 0.0012 0.0140 0.0160 0.0145 0.0009
109
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0060 0.0080 0.0120 0.0120 0.0120 0.0106 0.0021 0.0040 0.0060 0.1945 0.0104 0.0101 0.0018 0.0060 0.0120 0.0106 0.0021
193-AH 0.0060 0.0100 0.0140 0.0140 0.0140 0.0120 0.0036 0.0040 0.0080 0.2962 0.0113 0.0105 0.0030 0.0060 0.0140 0.0120 0.0036
194-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
197-AH 0.0040 0.0860 0.0980 0.1000 0.1000 0.0882 0.0226 0.0140 0.0960 0.2566 0.0786 0.0436 0.0145 0.0700 0.1000 0.0926 0.0112
198-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.5923 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
199-AH 0.0100 0.0180 0.0200 0.0200 0.0200 0.0186 0.0028 0.0020 0.0100 0.1484 0.0184 0.0180 0.0021 0.0160 0.0200 0.0193 0.0015
200-AH 0.0100 0.0150 0.0170 0.0180 0.0180 0.0158 0.0030 0.0030 0.0080 0.1878 0.0155 0.0151 0.0023 0.0120 0.0180 0.0168 0.0017
251-AH 0.0340 0.0660 0.1020 0.1090 0.1140 0.0881 0.0292 0.0430 0.0800 0.3313 0.0818 0.0740 0.0239 0.0340 0.1140 0.0881 0.0292
252-AH 0.0480 0.0540 0.0560 0.0560 0.0580 0.0549 0.0027 0.0020 0.0100 0.0494 0.0548 0.0548 0.0021 0.0520 0.0580 0.0556 0.0019
253-AH 0.0160 0.1060 0.1720 0.2200 0.2900 0.1701 0.0742 0.1140 0.2740 0.4364 0.1466 0.1056 0.0613 0.0160 0.2900 0.1701 0.0742
254-AH 0.0080 0.0800 0.2210 0.2470 0.2700 0.1715 0.0968 0.1670 0.2620 0.5644 0.1207 0.0578 0.0840 0.0080 0.2700 0.1715 0.0968
255-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0078 0.0006 0.0000 0.0020 0.0789 0.0078 0.0077 0.0004 0.0080 0.0080 0.0080 0.0000
256-AH 0.0040 0.0580 0.0680 0.0680 0.0680 0.0598 0.0161 0.0100 0.0640 0.2691 0.0539 0.0355 0.0105 0.0580 0.0680 0.0656 0.0041
257-AH 0.0580 0.0960 0.0970 0.1030 0.1180 0.0977 0.0133 0.0070 0.0600 0.1365 0.0967 0.0955 0.0085 0.0920 0.1120 0.0993 0.0055
258-AH 0.0020 0.0040 0.0040 0.0060 0.0080 0.0046 0.0021 0.0020 0.0060 0.4483 0.0042 0.0038 0.0016 0.0020 0.0080 0.0046 0.0021
259-AH 0.0040 0.0040 0.0050 0.0060 0.0060 0.0050 0.0010 0.0020 0.0020 0.2052 0.0049 0.0048 0.0010 0.0040 0.0060 0.0050 0.0010
260-AH 0.0200 0.1010 0.1220 0.1240 0.1240 0.1085 0.0275 0.0230 0.1040 0.2530 0.1023 0.0895 0.0207 0.0720 0.1240 0.1132 0.0184
261-AH 0.0160 0.0210 0.0300 0.0360 0.0440 0.0288 0.0086 0.0150 0.0280 0.2992 0.0275 0.0262 0.0075 0.0160 0.0440 0.0288 0.0086
262-AH 0.0200 0.0800 0.0920 0.0990 0.1520 0.0929 0.0316 0.0190 0.1320 0.3404 0.0862 0.0763 0.0216 0.0560 0.1000 0.0873 0.0117
263-AH 0.0040 0.0230 0.0710 0.0860 0.0920 0.0564 0.0320 0.0630 0.0880 0.5666 0.0431 0.0265 0.0291 0.0040 0.0920 0.0564 0.0320
264-AH 0.0120 0.0330 0.0400 0.0420 0.0420 0.0371 0.0074 0.0090 0.0300 0.2005 0.0360 0.0341 0.0055 0.0300 0.0420 0.0384 0.0046
265-AH 0.0040 0.0090 0.0120 0.0120 0.0120 0.0105 0.0024 0.0030 0.0080 0.2302 0.0101 0.0096 0.0019 0.0060 0.0120 0.0108 0.0019
266-AH 0.0000 0.0010 0.0040 0.0080 0.0080 0.0042 0.0034 0.0070 0.0080 0.8013 0.0010 0.0000 0.0030 0.0000 0.0080 0.0042 0.0034
267-AH 0.0180 0.0340 0.0370 0.0380 0.0420 0.0358 0.0055 0.0040 0.0240 0.1526 0.0353 0.0346 0.0035 0.0340 0.0420 0.0373 0.0026
268-AH 0.0040 0.0040 0.0060 0.0060 0.0060 0.0053 0.0010 0.0020 0.0020 0.1847 0.0052 0.0051 0.0009 0.0040 0.0060 0.0053 0.0010
269-AH 0.0080 0.0140 0.0160 0.0160 0.0160 0.0148 0.0023 0.0020 0.0080 0.1544 0.0146 0.0143 0.0018 0.0120 0.0160 0.0152 0.0017
270-AH 0.0340 0.1020 0.1100 0.1120 0.1140 0.1039 0.0175 0.0100 0.0800 0.1686 0.1014 0.0968 0.0093 0.0900 0.1140 0.1076 0.0062
271-AH 0.0060 0.0360 0.0470 0.0480 0.0480 0.0406 0.0113 0.0120 0.0420 0.2773 0.0377 0.0314 0.0084 0.0240 0.0480 0.0424 0.0080
272-AH 0.0020 0.0210 0.0260 0.0260 0.0280 0.0236 0.0058 0.0050 0.0260 0.2468 0.0217 0.0156 0.0038 0.0200 0.0280 0.0247 0.0029
273-AH 0.0360 0.0740 0.1540 0.1570 0.1660 0.1257 0.0450 0.0830 0.1300 0.3579 0.1151 0.1018 0.0392 0.0360 0.1660 0.1257 0.0450
274-AH 0.0060 0.0210 0.0270 0.0320 0.0320 0.0252 0.0072 0.0110 0.0260 0.2872 0.0237 0.0213 0.0055 0.0060 0.0320 0.0252 0.0072
275-AH 0.0120 0.0500 0.1050 0.1180 0.1260 0.0885 0.0391 0.0680 0.1140 0.4417 0.0750 0.0561 0.0329 0.0120 0.1260 0.0885 0.0391
276-AH 0.0640 0.0780 0.0980 0.1060 0.1160 0.0934 0.0173 0.0280 0.0520 0.1850 0.0917 0.0899 0.0140 0.0640 0.1160 0.0934 0.0173
277-AH 0.0020 0.0170 0.0320 0.0370 0.0420 0.0267 0.0133 0.0200 0.0400 0.4976 0.0203 0.0109 0.0107 0.0020 0.0420 0.0267 0.0133
278-AH 0.0080 0.0140 0.0240 0.0310 0.0420 0.0243 0.0107 0.0170 0.0340 0.4406 0.0220 0.0196 0.0087 0.0080 0.0420 0.0243 0.0107
279-AH 0.0000 0.0050 0.0080 0.0080 0.0080 0.0066 0.0024 0.0030 0.0080 0.3692 0.0047 0.0002 0.0020 0.0020 0.0080 0.0069 0.0019
280-AH 0.0080 0.0170 0.0240 0.0280 0.0380 0.0229 0.0077 0.0110 0.0300 0.3370 0.0214 0.0194 0.0062 0.0080 0.0380 0.0229 0.0077
281-AH 0.0380 0.0780 0.0820 0.0820 0.0840 0.0778 0.0104 0.0040 0.0460 0.1332 0.0769 0.0755 0.0063 0.0720 0.0840 0.0811 0.0031
282-AH 0.0180 0.0330 0.0520 0.0550 0.0600 0.0449 0.0142 0.0220 0.0420 0.3155 0.0422 0.0389 0.0118 0.0180 0.0600 0.0449 0.0142
283-AH 0.0100 0.0300 0.0410 0.0520 0.0700 0.0415 0.0171 0.0220 0.0600 0.4122 0.0375 0.0327 0.0139 0.0100 0.0700 0.0415 0.0171
284-AH 0.0000 0.0470 0.0760 0.0760 0.0760 0.0600 0.0286 0.0290 0.0760 0.4768 0.0351 0.0002 0.0240 0.0140 0.0760 0.0632 0.0256
285-AH 0.0500 0.0930 0.1180 0.1340 0.1360 0.1100 0.0257 0.0410 0.0860 0.2336 0.1066 0.1026 0.0220 0.0500 0.1360 0.1100 0.0257
286-AH 0.0020 0.0060 0.0120 0.0160 0.0160 0.0112 0.0046 0.0100 0.0140 0.4072 0.0100 0.0083 0.0040 0.0020 0.0160 0.0112 0.0046
287-AH 0.0040 0.0630 0.0920 0.0940 0.0980 0.0769 0.0273 0.0310 0.0940 0.3555 0.0663 0.0388 0.0216 0.0340 0.0980 0.0807 0.0219
288-AH 0.0300 0.0610 0.0780 0.1010 0.1280 0.0809 0.0308 0.0400 0.0980 0.3805 0.0748 0.0684 0.0249 0.0300 0.1280 0.0809 0.0308
289-AH 0.0080 0.0300 0.0360 0.0360 0.0360 0.0317 0.0076 0.0060 0.0280 0.2390 0.0302 0.0277 0.0054 0.0220 0.0360 0.0338 0.0039
290-AH 0.0200 0.0430 0.0790 0.0920 0.0940 0.0682 0.0281 0.0490 0.0740 0.4118 0.0602 0.0503 0.0233 0.0200 0.0940 0.0682 0.0281
110
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0300 0.0430 0.0490 0.0540 0.0560 0.0476 0.0077 0.0110 0.0260 0.1622 0.0469 0.0462 0.0063 0.0300 0.0560 0.0476 0.0077
292-AH 0.0040 0.0080 0.0080 0.0080 0.0080 0.0076 0.0012 0.0000 0.0040 0.1620 0.0075 0.0073 0.0007 0.0080 0.0080 0.0080 0.0000
293-AH 0.0360 0.0530 0.0680 0.0680 0.0680 0.0609 0.0120 0.0150 0.0320 0.1972 0.0596 0.0580 0.0101 0.0360 0.0680 0.0609 0.0120
294-AH 0.0020 0.0360 0.0540 0.0540 0.0540 0.0439 0.0182 0.0180 0.0520 0.4153 0.0360 0.0195 0.0152 0.0120 0.0540 0.0461 0.0158
295-AH 0.0300 0.0540 0.0630 0.0690 0.0940 0.0629 0.0179 0.0150 0.0640 0.2839 0.0603 0.0575 0.0129 0.0320 0.0900 0.0613 0.0140
296-AH 0.0000 0.0320 0.0480 0.0480 0.0480 0.0404 0.0126 0.0160 0.0480 0.3109 0.0274 0.0002 0.0097 0.0280 0.0480 0.0425 0.0084
297-AH 0.0080 0.0140 0.0180 0.0220 0.0240 0.0177 0.0046 0.0080 0.0160 0.2625 0.0170 0.0163 0.0038 0.0080 0.0240 0.0177 0.0046
298-AH 0.0160 0.0280 0.0500 0.0530 0.0560 0.0422 0.0156 0.0250 0.0400 0.3696 0.0383 0.0335 0.0131 0.0160 0.0560 0.0422 0.0156
299-AH 0.0260 0.1030 0.1320 0.1380 0.1420 0.1176 0.0303 0.0350 0.1160 0.2580 0.1114 0.1000 0.0231 0.0760 0.1420 0.1224 0.0219
300-AH 0.0060 0.0420 0.0820 0.0830 0.0840 0.0643 0.0307 0.0410 0.0780 0.4782 0.0506 0.0318 0.0258 0.0060 0.0840 0.0643 0.0307
301-AH 0.0020 0.0080 0.0080 0.0080 0.0280 0.0105 0.0070 0.0000 0.0260 0.6681 0.0089 0.0075 0.0050 0.0080 0.0080 0.0080 0.0000
302-AH 0.0140 0.0270 0.0340 0.0340 0.0340 0.0300 0.0063 0.0070 0.0200 0.2097 0.0292 0.0281 0.0050 0.0220 0.0340 0.0317 0.0038
303-AH 0.0180 0.0190 0.0220 0.0240 0.0280 0.0219 0.0031 0.0050 0.0100 0.1405 0.0217 0.0215 0.0025 0.0180 0.0280 0.0219 0.0031
304-AH 0.0000 0.0060 0.0170 0.0260 0.0300 0.0162 0.0101 0.0200 0.0300 0.6243 0.0087 0.0002 0.0084 0.0000 0.0300 0.0162 0.0101
305-AH 0.0200 0.0430 0.1030 0.1120 0.1220 0.0837 0.0365 0.0690 0.1020 0.4364 0.0728 0.0597 0.0314 0.0200 0.1220 0.0837 0.0365
306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
307-AH 0.0260 0.0580 0.0830 0.1120 0.1420 0.0856 0.0353 0.0540 0.1160 0.4122 0.0778 0.0692 0.0289 0.0260 0.1420 0.0856 0.0353
308-AH 0.0120 0.0150 0.0200 0.0200 0.0220 0.0179 0.0036 0.0050 0.0100 0.2034 0.0175 0.0170 0.0029 0.0120 0.0220 0.0179 0.0036
309-AH 0.0100 0.0150 0.0180 0.0190 0.0200 0.0169 0.0031 0.0040 0.0100 0.1820 0.0166 0.0162 0.0024 0.0100 0.0200 0.0169 0.0031
310-AH 0.0100 0.0220 0.0430 0.0600 0.0760 0.0410 0.0221 0.0380 0.0660 0.5380 0.0340 0.0266 0.0191 0.0100 0.0760 0.0410 0.0221
311-AH 0.0460 0.0710 0.0790 0.0880 0.1020 0.0801 0.0137 0.0170 0.0560 0.1708 0.0789 0.0775 0.0105 0.0460 0.1020 0.0801 0.0137
312-AH 0.0040 0.0360 0.0600 0.0610 0.0620 0.0456 0.0210 0.0250 0.0580 0.4606 0.0364 0.0222 0.0175 0.0040 0.0620 0.0456 0.0210
313-AH 0.0080 0.0100 0.0200 0.0320 0.0340 0.0206 0.0102 0.0220 0.0260 0.4962 0.0179 0.0154 0.0091 0.0080 0.0340 0.0206 0.0102
314-AH 0.0020 0.0200 0.0310 0.0340 0.0340 0.0262 0.0105 0.0140 0.0320 0.3993 0.0224 0.0149 0.0085 0.0020 0.0340 0.0262 0.0105
315-AH 0.0180 0.0410 0.0850 0.0960 0.1140 0.0726 0.0325 0.0550 0.0960 0.4470 0.0632 0.0522 0.0285 0.0180 0.1140 0.0726 0.0325
316-AH 0.0020 0.0280 0.1100 0.1430 0.1760 0.0965 0.0596 0.1150 0.1740 0.6173 0.0621 0.0193 0.0512 0.0020 0.1760 0.0965 0.0596
317-AH 0.0320 0.0370 0.0470 0.0540 0.0580 0.0462 0.0090 0.0170 0.0260 0.1951 0.0453 0.0444 0.0080 0.0320 0.0580 0.0462 0.0090
318-AH 0.0040 0.0140 0.0180 0.0180 0.0180 0.0156 0.0044 0.0040 0.0140 0.2839 0.0146 0.0130 0.0034 0.0140 0.0180 0.0173 0.0016
319-AH 0.0160 0.0210 0.0240 0.0300 0.0340 0.0249 0.0053 0.0090 0.0180 0.2125 0.0244 0.0238 0.0047 0.0160 0.0340 0.0249 0.0053
320-AH 0.0020 0.0120 0.0160 0.0180 0.0200 0.0153 0.0045 0.0060 0.0180 0.2947 0.0141 0.0115 0.0035 0.0100 0.0200 0.0160 0.0033
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0100 0.0110 0.0160 0.0180 0.0260 0.0152 0.0042 0.0070 0.0160 0.2747 0.0147 0.0141 0.0033 0.0100 0.0260 0.0152 0.0042
323-AH 0.0080 0.0270 0.0390 0.0440 0.0500 0.0360 0.0111 0.0170 0.0420 0.3069 0.0337 0.0300 0.0088 0.0080 0.0500 0.0360 0.0111
324-AH 0.0060 0.0490 0.0720 0.1300 0.1340 0.0831 0.0418 0.0810 0.1280 0.5032 0.0693 0.0461 0.0371 0.0060 0.1340 0.0831 0.0418
325-AH 0.0800 0.1000 0.1150 0.1180 0.1200 0.1086 0.0125 0.0180 0.0400 0.1151 0.1078 0.1070 0.0105 0.0800 0.1200 0.1086 0.0125
326-AH 0.0000 0.0030 0.0050 0.0060 0.0060 0.0043 0.0021 0.0030 0.0060 0.4837 0.0024 0.0001 0.0017 0.0000 0.0060 0.0043 0.0021
327-AH 0.0000 0.0020 0.0050 0.0080 0.0080 0.0048 0.0029 0.0060 0.0080 0.6106 0.0025 0.0001 0.0026 0.0000 0.0080 0.0048 0.0029
328-AH 0.0240 0.0420 0.0460 0.0460 0.0460 0.0429 0.0061 0.0040 0.0220 0.1423 0.0424 0.0417 0.0046 0.0380 0.0460 0.0451 0.0027
329-AH 0.0260 0.0330 0.0340 0.0340 0.0340 0.0332 0.0019 0.0010 0.0080 0.0566 0.0331 0.0331 0.0012 0.0320 0.0340 0.0336 0.0008
330-AH 0.0120 0.0830 0.0980 0.1020 0.1020 0.0901 0.0206 0.0190 0.0900 0.2281 0.0846 0.0697 0.0129 0.0780 0.1020 0.0942 0.0094
331-AH 0.0200 0.0310 0.0340 0.0340 0.0340 0.0312 0.0052 0.0030 0.0140 0.1669 0.0307 0.0301 0.0042 0.0280 0.0340 0.0336 0.0015
332-AH 0.0020 0.0150 0.0160 0.0160 0.0160 0.0146 0.0033 0.0010 0.0140 0.2271 0.0137 0.0114 0.0021 0.0140 0.0160 0.0159 0.0005
333-AH 0.0020 0.0100 0.0100 0.0100 0.0100 0.0096 0.0018 0.0000 0.0080 0.1863 0.0092 0.0083 0.0008 0.0100 0.0100 0.0100 0.0000
334-AH 0.0080 0.0100 0.0100 0.0100 0.0100 0.0096 0.0008 0.0000 0.0020 0.0855 0.0096 0.0095 0.0006 0.0100 0.0100 0.0100 0.0000
335-AH 0.0140 0.0220 0.0260 0.0280 0.0300 0.0247 0.0044 0.0060 0.0160 0.1787 0.0243 0.0237 0.0035 0.0140 0.0300 0.0247 0.0044
336-AH 0.0040 0.0140 0.0200 0.0230 0.0280 0.0181 0.0071 0.0090 0.0240 0.3935 0.0162 0.0137 0.0057 0.0040 0.0280 0.0181 0.0071
337-AH 0.0060 0.0160 0.0400 0.0400 0.0400 0.0304 0.0139 0.0240 0.0340 0.4581 0.0257 0.0198 0.0125 0.0060 0.0400 0.0304 0.0139
338-AH 0.0120 0.0160 0.0200 0.0200 0.0200 0.0180 0.0028 0.0040 0.0080 0.1571 0.0178 0.0175 0.0024 0.0120 0.0200 0.0180 0.0028
339-AH 0.0280 0.0380 0.0380 0.0380 0.0380 0.0372 0.0024 0.0000 0.0100 0.0639 0.0371 0.0370 0.0014 0.0380 0.0380 0.0380 0.0000
340-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
111
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0060 0.0120 0.0120 0.0120 0.0120 0.0114 0.0016 0.0000 0.0060 0.1406 0.0113 0.0111 0.0010 0.0120 0.0120 0.0120 0.0000
342-AH 0.0860 0.1320 0.1810 0.1880 0.1920 0.1587 0.0358 0.0560 0.1060 0.2259 0.1543 0.1493 0.0318 0.0860 0.1920 0.1587 0.0358
343-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0004 0.0000 0.0020 0.2354 0.0015 0.0002 0.0002 0.0020 0.0020 0.0020 0.0000
344-AH 0.0460 0.0510 0.0640 0.0660 0.0660 0.0599 0.0078 0.0150 0.0200 0.1302 0.0594 0.0588 0.0067 0.0460 0.0660 0.0599 0.0078
345-AH 0.0060 0.0100 0.0170 0.0180 0.0180 0.0140 0.0049 0.0080 0.0120 0.3530 0.0129 0.0116 0.0042 0.0060 0.0180 0.0140 0.0049
346-AH 0.0140 0.0140 0.0200 0.0220 0.0220 0.0186 0.0036 0.0080 0.0080 0.1914 0.0183 0.0179 0.0033 0.0140 0.0220 0.0186 0.0036
347-AH 0.0100 0.0120 0.0140 0.0160 0.0180 0.0142 0.0023 0.0040 0.0080 0.1641 0.0140 0.0138 0.0020 0.0100 0.0180 0.0142 0.0023
348-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0038 0.0009 0.0000 0.0040 0.2354 0.0030 0.0002 0.0004 0.0040 0.0040 0.0040 0.0000
349-AH 0.0340 0.0500 0.0540 0.0540 0.0540 0.0513 0.0050 0.0040 0.0200 0.0982 0.0510 0.0507 0.0036 0.0460 0.0540 0.0522 0.0030
350-AH 0.0060 0.0150 0.0200 0.0200 0.0200 0.0176 0.0036 0.0050 0.0140 0.2073 0.0171 0.0162 0.0028 0.0140 0.0200 0.0182 0.0025
112
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-MONO-EN-TEST-CLEF2008
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0004 0.0005 0.0010 0.5923 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0004
142-AH 0.0060 0.0075 0.0080 0.0080 0.0080 0.0076 0.0008 0.0005 0.0020 0.1093 0.0075 0.0075 0.0007 0.0070 0.0080 0.0079 0.0003
143-AH 0.0100 0.0285 0.0390 0.0390 0.0390 0.0335 0.0094 0.0105 0.0290 0.2812 0.0316 0.0290 0.0077 0.0200 0.0390 0.0347 0.0078
144-AH 0.0010 0.0025 0.0030 0.0030 0.0030 0.0027 0.0006 0.0005 0.0020 0.2116 0.0026 0.0025 0.0004 0.0020 0.0030 0.0028 0.0004
145-AH 0.0170 0.0315 0.0370 0.0370 0.0370 0.0335 0.0061 0.0055 0.0200 0.1808 0.0328 0.0320 0.0048 0.0260 0.0370 0.0350 0.0040
146-AH 0.0010 0.0015 0.0020 0.0020 0.0020 0.0018 0.0004 0.0005 0.0010 0.2539 0.0017 0.0016 0.0004 0.0010 0.0020 0.0018 0.0004
147-AH 0.0300 0.0410 0.0505 0.0510 0.0510 0.0460 0.0077 0.0100 0.0210 0.1680 0.0453 0.0445 0.0064 0.0300 0.0510 0.0460 0.0077
148-AH 0.0030 0.0050 0.0060 0.0060 0.0060 0.0056 0.0008 0.0010 0.0030 0.1488 0.0055 0.0054 0.0006 0.0040 0.0060 0.0057 0.0006
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0040 0.0100 0.0100 0.0100 0.0072 0.0042 0.0060 0.0100 0.5850 0.0022 0.0000 0.0035 0.0000 0.0100 0.0072 0.0042
151-AH 0.0010 0.0070 0.0090 0.0095 0.0100 0.0081 0.0023 0.0025 0.0090 0.2794 0.0075 0.0060 0.0017 0.0050 0.0100 0.0085 0.0016
152-AH 0.0040 0.0095 0.0110 0.0110 0.0110 0.0099 0.0017 0.0015 0.0070 0.1740 0.0097 0.0094 0.0012 0.0080 0.0110 0.0103 0.0010
153-AH 0.0000 0.0000 0.0000 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 1.1343 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005
154-AH 0.0140 0.0180 0.0200 0.0200 0.0210 0.0191 0.0018 0.0020 0.0070 0.0929 0.0190 0.0189 0.0014 0.0170 0.0210 0.0194 0.0013
155-AH 0.0000 0.0015 0.0030 0.0030 0.0030 0.0023 0.0013 0.0015 0.0030 0.5923 0.0007 0.0000 0.0011 0.0000 0.0030 0.0023 0.0013
156-AH 0.0070 0.0110 0.0185 0.0200 0.0210 0.0158 0.0053 0.0090 0.0140 0.3372 0.0147 0.0134 0.0046 0.0070 0.0210 0.0158 0.0053
157-AH 0.0700 0.1045 0.1250 0.1345 0.1390 0.1205 0.0177 0.0300 0.0690 0.1466 0.1191 0.1174 0.0138 0.0700 0.1390 0.1205 0.0177
158-AH 0.0010 0.0230 0.0320 0.0330 0.0340 0.0281 0.0078 0.0100 0.0330 0.2789 0.0246 0.0120 0.0057 0.0220 0.0340 0.0295 0.0047
159-AH 0.0120 0.0305 0.0450 0.0505 0.0540 0.0415 0.0119 0.0200 0.0420 0.2866 0.0393 0.0362 0.0095 0.0120 0.0540 0.0415 0.0119
160-AH 0.0010 0.0015 0.0020 0.0020 0.0020 0.0018 0.0004 0.0005 0.0010 0.2539 0.0017 0.0016 0.0004 0.0010 0.0020 0.0018 0.0004
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
163-AH 0.0540 0.0880 0.1200 0.1210 0.1210 0.1045 0.0276 0.0330 0.0670 0.2643 0.1001 0.0947 0.0233 0.0540 0.1210 0.1045 0.0276
164-AH 0.0020 0.0115 0.0225 0.0250 0.0270 0.0184 0.0096 0.0135 0.0250 0.5235 0.0133 0.0071 0.0080 0.0020 0.0270 0.0184 0.0096
165-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0039 0.0019 0.0025 0.0050 0.4772 0.0026 0.0002 0.0015 0.0000 0.0050 0.0039 0.0019
168-AH 0.0090 0.0180 0.0180 0.0180 0.0180 0.0174 0.0020 0.0000 0.0090 0.1155 0.0172 0.0170 0.0010 0.0180 0.0180 0.0180 0.0000
169-AH 0.0010 0.0020 0.0040 0.0050 0.0060 0.0036 0.0018 0.0030 0.0050 0.5130 0.0030 0.0024 0.0016 0.0010 0.0060 0.0036 0.0018
170-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
171-AH 0.0040 0.0160 0.0180 0.0190 0.0190 0.0159 0.0048 0.0030 0.0150 0.2993 0.0147 0.0126 0.0033 0.0150 0.0190 0.0178 0.0012
172-AH 0.0060 0.0070 0.0070 0.0070 0.0070 0.0069 0.0003 0.0000 0.0010 0.0446 0.0069 0.0069 0.0002 0.0070 0.0070 0.0070 0.0000
173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
174-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
175-AH 0.0050 0.0055 0.0070 0.0070 0.0070 0.0064 0.0009 0.0015 0.0020 0.1379 0.0063 0.0063 0.0008 0.0050 0.0070 0.0064 0.0009
176-AH 0.0290 0.0390 0.0390 0.0390 0.0390 0.0385 0.0022 0.0000 0.0100 0.0581 0.0384 0.0383 0.0010 0.0390 0.0390 0.0390 0.0000
177-AH 0.0080 0.0095 0.0120 0.0130 0.0130 0.0112 0.0020 0.0035 0.0050 0.1800 0.0110 0.0108 0.0017 0.0080 0.0130 0.0112 0.0020
178-AH 0.0000 0.0015 0.0030 0.0040 0.0040 0.0026 0.0014 0.0025 0.0040 0.5205 0.0015 0.0001 0.0011 0.0000 0.0040 0.0026 0.0014
179-AH 0.0040 0.0135 0.0210 0.0220 0.0220 0.0178 0.0060 0.0085 0.0180 0.3363 0.0164 0.0142 0.0049 0.0040 0.0220 0.0178 0.0060
180-AH 0.0120 0.0270 0.0360 0.0400 0.0400 0.0325 0.0098 0.0130 0.0280 0.2999 0.0306 0.0280 0.0079 0.0120 0.0400 0.0325 0.0098
181-AH 0.0130 0.0680 0.0910 0.0910 0.0920 0.0782 0.0235 0.0230 0.0790 0.3004 0.0723 0.0612 0.0189 0.0450 0.0920 0.0816 0.0183
182-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0789 0.0039 0.0039 0.0002 0.0040 0.0040 0.0040 0.0000
183-AH 0.0010 0.0025 0.0040 0.0040 0.0040 0.0033 0.0013 0.0015 0.0030 0.4101 0.0028 0.0023 0.0011 0.0010 0.0040 0.0033 0.0013
184-AH 0.0040 0.0070 0.0090 0.0090 0.0090 0.0081 0.0013 0.0020 0.0050 0.1606 0.0080 0.0079 0.0010 0.0070 0.0090 0.0084 0.0009
185-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0010 0.0002 0.0000 0.0010 0.2354 0.0008 0.0002 0.0001 0.0010 0.0010 0.0010 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0003 0.0000 0.0010 0.3420 0.0006 0.0001 0.0002 0.0010 0.0010 0.0010 0.0000
188-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0007 0.0005 0.0010 0.0010 0.6717 0.0003 0.0000 0.0004 0.0000 0.0010 0.0007 0.0005
189-AH 0.0000 0.0035 0.0070 0.0070 0.0070 0.0053 0.0031 0.0035 0.0070 0.5923 0.0014 0.0000 0.0026 0.0000 0.0070 0.0053 0.0031
190-AH 0.0050 0.0070 0.0070 0.0080 0.0090 0.0073 0.0008 0.0010 0.0040 0.1085 0.0072 0.0072 0.0006 0.0070 0.0090 0.0074 0.0006
113
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0040 0.0040 0.0060 0.0060 0.0060 0.0054 0.0009 0.0020 0.0020 0.1744 0.0053 0.0052 0.0008 0.0040 0.0060 0.0054 0.0009
193-AH 0.0030 0.0050 0.0070 0.0070 0.0070 0.0060 0.0018 0.0020 0.0040 0.2962 0.0057 0.0053 0.0015 0.0030 0.0070 0.0060 0.0018
194-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
197-AH 0.0030 0.0465 0.0500 0.0500 0.0500 0.0453 0.0110 0.0035 0.0470 0.2435 0.0412 0.0271 0.0069 0.0440 0.0500 0.0495 0.0015
198-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0004 0.0005 0.0010 0.5923 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0004
199-AH 0.0070 0.0095 0.0100 0.0100 0.0100 0.0096 0.0008 0.0005 0.0030 0.0855 0.0096 0.0095 0.0006 0.0090 0.0100 0.0098 0.0004
200-AH 0.0060 0.0080 0.0090 0.0090 0.0090 0.0084 0.0010 0.0010 0.0030 0.1182 0.0084 0.0083 0.0008 0.0070 0.0090 0.0086 0.0008
251-AH 0.0210 0.0385 0.0565 0.0600 0.0610 0.0492 0.0155 0.0215 0.0400 0.3158 0.0460 0.0421 0.0129 0.0210 0.0610 0.0492 0.0155
252-AH 0.0250 0.0280 0.0285 0.0290 0.0290 0.0281 0.0011 0.0010 0.0040 0.0404 0.0281 0.0281 0.0008 0.0270 0.0290 0.0284 0.0007
253-AH 0.0140 0.0640 0.1095 0.1400 0.1530 0.1033 0.0419 0.0760 0.1390 0.4055 0.0914 0.0726 0.0360 0.0140 0.1530 0.1033 0.0419
254-AH 0.0050 0.0610 0.1450 0.1720 0.1890 0.1193 0.0636 0.1110 0.1840 0.5329 0.0878 0.0426 0.0535 0.0050 0.1890 0.1193 0.0636
255-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0789 0.0039 0.0039 0.0002 0.0040 0.0040 0.0040 0.0000
256-AH 0.0040 0.0300 0.0340 0.0340 0.0340 0.0305 0.0074 0.0040 0.0300 0.2419 0.0284 0.0233 0.0046 0.0240 0.0340 0.0326 0.0027
257-AH 0.0390 0.0525 0.0545 0.0590 0.0620 0.0546 0.0057 0.0065 0.0230 0.1035 0.0543 0.0540 0.0042 0.0470 0.0620 0.0554 0.0044
258-AH 0.0010 0.0020 0.0020 0.0030 0.0040 0.0025 0.0011 0.0010 0.0030 0.4286 0.0022 0.0020 0.0009 0.0010 0.0040 0.0025 0.0011
259-AH 0.0020 0.0030 0.0030 0.0030 0.0030 0.0029 0.0004 0.0000 0.0010 0.1285 0.0028 0.0028 0.0003 0.0030 0.0030 0.0030 0.0000
260-AH 0.0180 0.0520 0.0620 0.0620 0.0620 0.0554 0.0126 0.0100 0.0440 0.2265 0.0534 0.0503 0.0098 0.0390 0.0620 0.0586 0.0078
261-AH 0.0110 0.0145 0.0190 0.0210 0.0240 0.0177 0.0042 0.0065 0.0130 0.2348 0.0172 0.0167 0.0036 0.0110 0.0240 0.0177 0.0042
262-AH 0.0130 0.0465 0.0575 0.0660 0.0800 0.0550 0.0167 0.0195 0.0670 0.3045 0.0516 0.0464 0.0132 0.0310 0.0800 0.0572 0.0139
263-AH 0.0040 0.0190 0.0390 0.0465 0.0470 0.0328 0.0151 0.0275 0.0430 0.4598 0.0278 0.0207 0.0132 0.0040 0.0470 0.0328 0.0151
264-AH 0.0090 0.0175 0.0205 0.0210 0.0220 0.0191 0.0034 0.0035 0.0130 0.1779 0.0188 0.0183 0.0026 0.0150 0.0220 0.0197 0.0025
265-AH 0.0030 0.0045 0.0060 0.0060 0.0060 0.0054 0.0010 0.0015 0.0030 0.1847 0.0052 0.0051 0.0008 0.0030 0.0060 0.0054 0.0010
266-AH 0.0000 0.0010 0.0025 0.0040 0.0040 0.0024 0.0016 0.0030 0.0040 0.6813 0.0007 0.0000 0.0014 0.0000 0.0040 0.0024 0.0016
267-AH 0.0140 0.0190 0.0200 0.0210 0.0210 0.0196 0.0017 0.0020 0.0070 0.0862 0.0196 0.0195 0.0012 0.0180 0.0210 0.0199 0.0011
268-AH 0.0020 0.0030 0.0030 0.0030 0.0030 0.0028 0.0004 0.0000 0.0010 0.1466 0.0028 0.0027 0.0003 0.0030 0.0030 0.0030 0.0000
269-AH 0.0040 0.0075 0.0080 0.0080 0.0080 0.0075 0.0011 0.0005 0.0040 0.1475 0.0074 0.0072 0.0008 0.0070 0.0080 0.0079 0.0003
270-AH 0.0200 0.0520 0.0555 0.0565 0.0570 0.0532 0.0081 0.0045 0.0370 0.1517 0.0522 0.0504 0.0040 0.0510 0.0570 0.0549 0.0021
271-AH 0.0030 0.0180 0.0240 0.0240 0.0240 0.0208 0.0054 0.0060 0.0210 0.2600 0.0195 0.0162 0.0040 0.0130 0.0240 0.0218 0.0035
272-AH 0.0010 0.0110 0.0130 0.0140 0.0140 0.0122 0.0031 0.0030 0.0130 0.2503 0.0112 0.0080 0.0020 0.0100 0.0140 0.0128 0.0016
273-AH 0.0210 0.0455 0.0800 0.0815 0.0830 0.0665 0.0212 0.0360 0.0620 0.3186 0.0621 0.0565 0.0184 0.0210 0.0830 0.0665 0.0212
274-AH 0.0040 0.0115 0.0140 0.0160 0.0160 0.0132 0.0035 0.0045 0.0120 0.2665 0.0126 0.0116 0.0027 0.0070 0.0160 0.0137 0.0028
275-AH 0.0110 0.0295 0.0570 0.0630 0.0660 0.0485 0.0202 0.0335 0.0550 0.4170 0.0422 0.0342 0.0171 0.0110 0.0660 0.0485 0.0202
276-AH 0.0410 0.0480 0.0560 0.0590 0.0590 0.0536 0.0065 0.0110 0.0180 0.1205 0.0532 0.0528 0.0054 0.0410 0.0590 0.0536 0.0065
277-AH 0.0020 0.0100 0.0165 0.0190 0.0220 0.0143 0.0061 0.0090 0.0200 0.4265 0.0122 0.0091 0.0048 0.0020 0.0220 0.0143 0.0061
278-AH 0.0050 0.0100 0.0145 0.0185 0.0210 0.0143 0.0048 0.0085 0.0160 0.3376 0.0134 0.0124 0.0041 0.0050 0.0210 0.0143 0.0048
279-AH 0.0000 0.0025 0.0040 0.0040 0.0040 0.0033 0.0012 0.0015 0.0040 0.3692 0.0025 0.0002 0.0010 0.0010 0.0040 0.0035 0.0010
280-AH 0.0060 0.0120 0.0170 0.0190 0.0220 0.0152 0.0046 0.0070 0.0160 0.3038 0.0144 0.0135 0.0040 0.0060 0.0220 0.0152 0.0046
281-AH 0.0270 0.0410 0.0420 0.0420 0.0420 0.0404 0.0034 0.0010 0.0150 0.0847 0.0403 0.0401 0.0020 0.0410 0.0420 0.0417 0.0005
282-AH 0.0100 0.0200 0.0280 0.0300 0.0310 0.0248 0.0068 0.0100 0.0210 0.2734 0.0237 0.0222 0.0055 0.0100 0.0310 0.0248 0.0068
283-AH 0.0120 0.0205 0.0240 0.0310 0.0360 0.0252 0.0073 0.0105 0.0240 0.2881 0.0241 0.0229 0.0059 0.0120 0.0360 0.0252 0.0073
284-AH 0.0000 0.0240 0.0380 0.0380 0.0380 0.0302 0.0140 0.0140 0.0380 0.4628 0.0186 0.0002 0.0117 0.0080 0.0380 0.0318 0.0124
285-AH 0.0330 0.0485 0.0630 0.0675 0.0680 0.0586 0.0104 0.0190 0.0350 0.1783 0.0575 0.0564 0.0091 0.0330 0.0680 0.0586 0.0104
286-AH 0.0010 0.0050 0.0085 0.0090 0.0100 0.0071 0.0027 0.0040 0.0090 0.3848 0.0063 0.0051 0.0024 0.0010 0.0100 0.0071 0.0027
287-AH 0.0050 0.0360 0.0480 0.0480 0.0490 0.0408 0.0122 0.0120 0.0440 0.2999 0.0373 0.0296 0.0095 0.0220 0.0490 0.0427 0.0091
288-AH 0.0220 0.0365 0.0465 0.0600 0.0710 0.0490 0.0145 0.0235 0.0490 0.2955 0.0468 0.0446 0.0120 0.0220 0.0710 0.0490 0.0145
289-AH 0.0050 0.0155 0.0180 0.0180 0.0180 0.0162 0.0033 0.0025 0.0130 0.2058 0.0157 0.0148 0.0024 0.0120 0.0180 0.0168 0.0021
290-AH 0.0120 0.0265 0.0465 0.0490 0.0490 0.0386 0.0131 0.0225 0.0370 0.3400 0.0358 0.0321 0.0112 0.0120 0.0490 0.0386 0.0131
114
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0180 0.0255 0.0275 0.0280 0.0290 0.0262 0.0028 0.0025 0.0110 0.1084 0.0260 0.0258 0.0021 0.0220 0.0290 0.0266 0.0021
292-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
293-AH 0.0200 0.0275 0.0340 0.0340 0.0340 0.0308 0.0057 0.0065 0.0140 0.1845 0.0302 0.0295 0.0048 0.0200 0.0340 0.0308 0.0057
294-AH 0.0010 0.0180 0.0270 0.0270 0.0270 0.0221 0.0089 0.0090 0.0260 0.4055 0.0183 0.0099 0.0074 0.0080 0.0270 0.0232 0.0076
295-AH 0.0180 0.0300 0.0355 0.0410 0.0500 0.0354 0.0091 0.0110 0.0320 0.2558 0.0342 0.0329 0.0070 0.0180 0.0500 0.0354 0.0091
296-AH 0.0010 0.0160 0.0240 0.0240 0.0240 0.0204 0.0061 0.0080 0.0230 0.3001 0.0180 0.0104 0.0047 0.0140 0.0240 0.0214 0.0042
297-AH 0.0060 0.0100 0.0110 0.0120 0.0120 0.0106 0.0019 0.0020 0.0060 0.1779 0.0104 0.0101 0.0015 0.0070 0.0120 0.0108 0.0016
298-AH 0.0090 0.0170 0.0275 0.0285 0.0300 0.0232 0.0085 0.0115 0.0210 0.3670 0.0210 0.0183 0.0071 0.0090 0.0300 0.0232 0.0085
299-AH 0.0250 0.0600 0.0705 0.0745 0.0760 0.0656 0.0130 0.0145 0.0510 0.1989 0.0638 0.0612 0.0097 0.0490 0.0760 0.0677 0.0091
300-AH 0.0030 0.0285 0.0420 0.0420 0.0420 0.0334 0.0152 0.0135 0.0390 0.4530 0.0268 0.0170 0.0126 0.0170 0.0420 0.0403 0.0062
301-AH 0.0010 0.0040 0.0045 0.0055 0.0160 0.0060 0.0038 0.0015 0.0150 0.6393 0.0051 0.0042 0.0027 0.0040 0.0060 0.0045 0.0006
302-AH 0.0080 0.0135 0.0170 0.0170 0.0170 0.0152 0.0028 0.0035 0.0090 0.1856 0.0149 0.0145 0.0023 0.0100 0.0170 0.0156 0.0023
303-AH 0.0090 0.0100 0.0115 0.0140 0.0140 0.0119 0.0018 0.0040 0.0050 0.1555 0.0117 0.0116 0.0017 0.0090 0.0140 0.0119 0.0018
304-AH 0.0010 0.0040 0.0115 0.0135 0.0150 0.0094 0.0051 0.0095 0.0140 0.5429 0.0072 0.0046 0.0044 0.0010 0.0150 0.0094 0.0051
305-AH 0.0150 0.0295 0.0595 0.0610 0.0610 0.0481 0.0171 0.0315 0.0460 0.3552 0.0441 0.0393 0.0146 0.0150 0.0610 0.0481 0.0171
306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
307-AH 0.0200 0.0375 0.0540 0.0670 0.0750 0.0526 0.0167 0.0295 0.0550 0.3184 0.0496 0.0462 0.0140 0.0200 0.0750 0.0526 0.0167
308-AH 0.0060 0.0085 0.0100 0.0100 0.0110 0.0092 0.0019 0.0015 0.0050 0.2011 0.0090 0.0088 0.0015 0.0070 0.0110 0.0101 0.0009
309-AH 0.0070 0.0080 0.0100 0.0100 0.0100 0.0092 0.0011 0.0020 0.0030 0.1148 0.0091 0.0091 0.0010 0.0070 0.0100 0.0092 0.0011
310-AH 0.0080 0.0145 0.0310 0.0400 0.0480 0.0275 0.0142 0.0255 0.0400 0.5162 0.0233 0.0190 0.0126 0.0080 0.0480 0.0275 0.0142
311-AH 0.0300 0.0410 0.0470 0.0500 0.0520 0.0455 0.0058 0.0090 0.0220 0.1263 0.0452 0.0447 0.0046 0.0300 0.0520 0.0455 0.0058
312-AH 0.0040 0.0190 0.0310 0.0310 0.0310 0.0242 0.0099 0.0120 0.0270 0.4062 0.0210 0.0164 0.0082 0.0040 0.0310 0.0242 0.0099
313-AH 0.0050 0.0090 0.0135 0.0160 0.0170 0.0123 0.0040 0.0070 0.0120 0.3221 0.0116 0.0108 0.0035 0.0050 0.0170 0.0123 0.0040
314-AH 0.0030 0.0115 0.0170 0.0170 0.0170 0.0142 0.0048 0.0055 0.0140 0.3394 0.0130 0.0111 0.0040 0.0070 0.0170 0.0148 0.0041
315-AH 0.0120 0.0215 0.0475 0.0550 0.0580 0.0415 0.0169 0.0335 0.0460 0.4080 0.0369 0.0315 0.0145 0.0120 0.0580 0.0415 0.0169
316-AH 0.0010 0.0180 0.0810 0.0925 0.1060 0.0647 0.0382 0.0745 0.1050 0.5912 0.0415 0.0114 0.0341 0.0010 0.1060 0.0647 0.0382
317-AH 0.0180 0.0225 0.0270 0.0290 0.0300 0.0255 0.0041 0.0065 0.0120 0.1604 0.0252 0.0248 0.0035 0.0180 0.0300 0.0255 0.0041
318-AH 0.0020 0.0085 0.0090 0.0090 0.0090 0.0080 0.0021 0.0005 0.0070 0.2627 0.0076 0.0068 0.0014 0.0080 0.0090 0.0089 0.0003
319-AH 0.0100 0.0110 0.0135 0.0150 0.0180 0.0135 0.0023 0.0040 0.0080 0.1725 0.0133 0.0131 0.0020 0.0100 0.0180 0.0135 0.0023
320-AH 0.0030 0.0070 0.0100 0.0110 0.0110 0.0092 0.0024 0.0040 0.0080 0.2653 0.0088 0.0082 0.0020 0.0030 0.0110 0.0092 0.0024
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0060 0.0065 0.0090 0.0110 0.0140 0.0091 0.0027 0.0045 0.0080 0.2945 0.0087 0.0084 0.0022 0.0060 0.0140 0.0091 0.0027
323-AH 0.0070 0.0180 0.0220 0.0245 0.0260 0.0210 0.0045 0.0065 0.0190 0.2127 0.0204 0.0194 0.0033 0.0170 0.0260 0.0218 0.0031
324-AH 0.0090 0.0310 0.0455 0.0675 0.0700 0.0477 0.0201 0.0365 0.0610 0.4209 0.0427 0.0362 0.0184 0.0090 0.0700 0.0477 0.0201
325-AH 0.0450 0.0570 0.0590 0.0595 0.0600 0.0569 0.0045 0.0025 0.0150 0.0797 0.0568 0.0566 0.0034 0.0570 0.0600 0.0591 0.0009
326-AH 0.0000 0.0020 0.0030 0.0030 0.0040 0.0027 0.0010 0.0010 0.0040 0.3924 0.0020 0.0002 0.0008 0.0010 0.0040 0.0028 0.0009
327-AH 0.0000 0.0010 0.0030 0.0040 0.0040 0.0027 0.0015 0.0030 0.0040 0.5520 0.0015 0.0001 0.0013 0.0000 0.0040 0.0027 0.0015
328-AH 0.0130 0.0220 0.0230 0.0230 0.0230 0.0220 0.0023 0.0010 0.0100 0.1056 0.0219 0.0217 0.0014 0.0210 0.0230 0.0227 0.0008
329-AH 0.0130 0.0170 0.0170 0.0170 0.0170 0.0167 0.0009 0.0000 0.0040 0.0561 0.0166 0.0166 0.0006 0.0170 0.0170 0.0170 0.0000
330-AH 0.0100 0.0440 0.0490 0.0510 0.0510 0.0463 0.0092 0.0070 0.0410 0.1986 0.0445 0.0403 0.0054 0.0420 0.0510 0.0482 0.0035
331-AH 0.0120 0.0160 0.0170 0.0170 0.0170 0.0162 0.0016 0.0010 0.0050 0.0990 0.0161 0.0160 0.0013 0.0150 0.0170 0.0169 0.0005
332-AH 0.0010 0.0080 0.0080 0.0080 0.0080 0.0075 0.0016 0.0000 0.0070 0.2097 0.0071 0.0058 0.0008 0.0080 0.0080 0.0080 0.0000
333-AH 0.0020 0.0050 0.0050 0.0050 0.0050 0.0048 0.0007 0.0000 0.0030 0.1383 0.0048 0.0047 0.0003 0.0050 0.0050 0.0050 0.0000
334-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0049 0.0002 0.0000 0.0010 0.0452 0.0049 0.0049 0.0001 0.0050 0.0050 0.0050 0.0000
335-AH 0.0100 0.0130 0.0130 0.0145 0.0150 0.0133 0.0013 0.0015 0.0050 0.0979 0.0132 0.0132 0.0010 0.0120 0.0150 0.0135 0.0011
336-AH 0.0040 0.0085 0.0115 0.0130 0.0150 0.0108 0.0034 0.0045 0.0110 0.3131 0.0102 0.0094 0.0027 0.0040 0.0150 0.0108 0.0034
337-AH 0.0050 0.0090 0.0200 0.0200 0.0200 0.0156 0.0066 0.0110 0.0150 0.4199 0.0136 0.0112 0.0057 0.0050 0.0200 0.0156 0.0066
338-AH 0.0060 0.0090 0.0100 0.0100 0.0100 0.0093 0.0011 0.0010 0.0040 0.1165 0.0093 0.0092 0.0008 0.0080 0.0100 0.0095 0.0008
339-AH 0.0140 0.0190 0.0190 0.0190 0.0190 0.0187 0.0011 0.0000 0.0050 0.0604 0.0187 0.0186 0.0005 0.0190 0.0190 0.0190 0.0000
340-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
115
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0040 0.0060 0.0060 0.0060 0.0060 0.0058 0.0006 0.0000 0.0020 0.1061 0.0058 0.0057 0.0004 0.0060 0.0060 0.0060 0.0000
342-AH 0.0520 0.0765 0.0920 0.0950 0.0960 0.0844 0.0153 0.0185 0.0440 0.1810 0.0829 0.0811 0.0125 0.0520 0.0960 0.0844 0.0153
343-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
344-AH 0.0230 0.0275 0.0330 0.0330 0.0330 0.0305 0.0040 0.0055 0.0100 0.1307 0.0302 0.0299 0.0033 0.0230 0.0330 0.0305 0.0040
345-AH 0.0030 0.0055 0.0090 0.0090 0.0090 0.0073 0.0024 0.0035 0.0060 0.3299 0.0068 0.0062 0.0021 0.0030 0.0090 0.0073 0.0024
346-AH 0.0070 0.0080 0.0110 0.0110 0.0110 0.0097 0.0017 0.0030 0.0040 0.1709 0.0096 0.0094 0.0015 0.0070 0.0110 0.0097 0.0017
347-AH 0.0060 0.0060 0.0080 0.0080 0.0090 0.0074 0.0010 0.0020 0.0030 0.1414 0.0073 0.0073 0.0009 0.0060 0.0090 0.0074 0.0010
348-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0004 0.0000 0.0020 0.2354 0.0015 0.0002 0.0002 0.0020 0.0020 0.0020 0.0000
349-AH 0.0230 0.0260 0.0270 0.0270 0.0270 0.0264 0.0010 0.0010 0.0040 0.0396 0.0264 0.0264 0.0008 0.0250 0.0270 0.0266 0.0007
350-AH 0.0040 0.0080 0.0100 0.0100 0.0100 0.0090 0.0015 0.0020 0.0060 0.1700 0.0089 0.0086 0.0011 0.0070 0.0100 0.0093 0.0010
116
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
90% ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
117
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Ad−Hoc Robust Bilingual English Test Task − Box Plot of the Topics
ufrgs [Experiment UFRGS_R_BI3_TEST; MAP 36.39%; Not Pooled]
geneva [Experiment ISIESENTD; MAP 30.36%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI2_TEST; MAP 28.06%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI1_TEST; MAP 25.60%; Not Pooled]
Experiments
ixa [Experiment ES2ENNOWSDPSREL; MAP 19.57%; Not Pooled]
ixa [Experiment ES2ENNOWSD; MAP 18.35%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; MAP 2.57%; Not Pooled]
uniba [Experiment CROSS1NUS2F; MAP 1.58%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
118
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
10.2455/TUKEY_T_TEST.A5E312D3F80240F6EA234D27D3C26018
Ad−Hoc Robust Bilingual English Test Task − Tukey T test with "top group" highlighted
UFRGS_R_BI3_TEST
ISIESENTD
UFRGS_R_BI2_TEST
Experiments
UFRGS_R_BI1_TEST
ES2ENNOWSDPSREL
ES2ENNOWSD
CROSS1TDNUS2F
CROSS1NUS2F
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
arcsin(sqrt(Average Precsion))
119
120
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
90% ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
0.5 geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
Difference
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
121
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Ad−Hoc Robust Bilingual English Test Task − Box Plot of the Topics
ufrgs [Experiment UFRGS_R_BI3_TEST; R−Prec 36.30%; Not Pooled]
geneva [Experiment ISIESENTD; R−Prec 29.72%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI2_TEST; R−Prec 28.19%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI1_TEST; R−Prec 26.12%; Not Pooled]
Experiments
ixa [Experiment ES2ENNOWSDPSREL; R−Prec 19.53%; Not Pooled]
ixa [Experiment ES2ENNOWSD; R−Prec 18.79%; Not Pooled]
uniba [Experiment CROSS1TDNUS2F; R−Prec 3.90%; Not Pooled]
uniba [Experiment CROSS1NUS2F; R−Prec 2.45%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
122
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Ad−Hoc Robust Bilingual English Test Task − Tukey T test with "top group" highlighted
UFRGS_R_BI3_TEST
ISIESENTD
UFRGS_R_BI2_TEST
Experiments
UFRGS_R_BI1_TEST
ES2ENNOWSDPSREL
ES2ENNOWSD
CROSS1TDNUS2F
CROSS1NUS2F
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
arcsin(sqrt(R−Precision))
123
124
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.46 0.50 1.00 0.62 0.06 0.00 0.38 0.00 1.00 0.75 0.46
142-AH 5.00 6.50 8.00 8.00 8.00 7.25 1.39 1.50 3.00 0.19 7.11 6.96 1.12 5.00 8.00 7.25 1.39
143-AH 0.00 6.00 24.50 37.50 39.00 21.88 17.40 31.50 39.00 0.80 0.65 0.00 15.62 0.00 39.00 21.88 17.40
144-AH 1.00 2.00 2.50 3.00 3.00 2.38 0.74 1.00 2.00 0.31 2.25 2.09 0.62 1.00 3.00 2.38 0.74
145-AH 6.00 15.00 24.00 34.00 36.00 23.50 11.74 19.00 30.00 0.50 19.74 15.29 8.62 6.00 36.00 23.50 11.74
146-AH 0.00 0.50 2.00 2.00 2.00 1.38 0.92 1.50 2.00 0.67 0.09 0.00 0.78 0.00 2.00 1.38 0.92
147-AH 3.00 10.50 34.50 47.50 51.00 29.88 20.39 37.00 48.00 0.68 20.33 11.07 18.12 3.00 51.00 29.88 20.39
148-AH 0.00 0.00 2.50 6.00 6.00 2.88 3.09 6.00 6.00 1.08 0.01 0.00 2.88 0.00 6.00 2.88 3.09
149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
150-AH 1.00 4.50 8.00 10.00 10.00 7.00 3.63 5.50 9.00 0.52 5.54 3.64 2.75 1.00 10.00 7.00 3.63
151-AH 0.00 1.00 4.50 6.50 8.00 4.00 3.07 5.50 8.00 0.77 0.18 0.00 2.50 0.00 8.00 4.00 3.07
152-AH 0.00 1.00 3.50 9.50 11.00 4.88 4.52 8.50 11.00 0.93 0.75 0.00 3.88 0.00 11.00 4.88 4.52
153-AH 0.00 0.00 0.00 0.50 1.00 0.25 0.46 0.50 1.00 1.85 0.00 0.00 0.38 0.00 1.00 0.25 0.46
154-AH 3.00 10.00 17.50 18.50 19.00 14.25 6.71 8.50 16.00 0.47 11.82 8.69 5.38 3.00 19.00 14.25 6.71
155-AH 0.00 1.00 2.50 3.00 3.00 2.00 1.31 2.00 3.00 0.65 0.12 0.00 1.00 0.00 3.00 2.00 1.31
156-AH 6.00 12.50 16.50 18.00 19.00 14.88 4.61 5.50 13.00 0.31 14.02 12.92 3.44 6.00 19.00 14.88 4.61
157-AH 29.00 74.50 125.00 127.50 131.00 101.75 42.86 53.00 102.00 0.42 89.17 72.88 34.38 29.00 131.00 101.75 42.86
158-AH 3.00 12.50 29.00 31.00 33.00 22.62 11.84 18.50 30.00 0.52 17.80 11.50 9.97 3.00 33.00 22.62 11.84
159-AH 0.00 2.00 20.00 44.50 49.00 22.75 22.53 42.50 49.00 0.99 0.52 0.00 20.75 0.00 49.00 22.75 22.53
160-AH 0.00 0.50 1.00 2.00 2.00 1.12 0.83 1.50 2.00 0.74 0.07 0.00 0.66 0.00 2.00 1.12 0.83
161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
162-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.46 0.50 1.00 0.62 0.06 0.00 0.38 0.00 1.00 0.75 0.46
163-AH 46.00 78.00 107.50 113.00 119.00 95.25 28.27 35.00 73.00 0.30 90.46 84.62 22.38 46.00 119.00 95.25 28.27
164-AH 0.00 6.00 12.00 16.50 27.00 12.00 8.60 10.50 27.00 0.72 1.95 0.00 6.00 0.00 27.00 12.00 8.60
165-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.46 0.50 1.00 0.62 0.06 0.00 0.38 0.00 1.00 0.75 0.46
166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
167-AH 0.00 2.00 4.00 5.00 5.00 3.38 2.13 3.00 5.00 0.63 0.17 0.00 1.69 0.00 5.00 3.38 2.13
168-AH 0.00 0.00 7.50 18.00 18.00 8.62 8.86 18.00 18.00 1.03 0.06 0.00 8.12 0.00 18.00 8.62 8.86
169-AH 2.00 2.00 4.00 5.00 5.00 3.62 1.51 3.00 3.00 0.42 3.33 3.04 1.38 2.00 5.00 3.62 1.51
170-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.53 1.00 1.00 1.07 0.00 0.00 0.50 0.00 1.00 0.50 0.53
171-AH 11.00 13.50 15.00 17.00 18.00 15.00 2.45 3.50 7.00 0.16 14.81 14.61 1.75 11.00 18.00 15.00 2.45
172-AH 3.00 5.00 6.00 7.00 7.00 5.75 1.39 2.00 4.00 0.24 5.57 5.35 1.06 3.00 7.00 5.75 1.39
173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
174-AH 1.00 2.00 2.00 2.00 2.00 1.88 0.35 0.00 1.00 0.19 1.83 1.78 0.22 2.00 2.00 2.00 0.00
175-AH 0.00 3.00 6.50 7.00 7.00 5.00 3.12 4.00 7.00 0.62 0.23 0.00 2.50 0.00 7.00 5.00 3.12
176-AH 17.00 27.00 38.50 39.00 39.00 33.12 9.98 12.00 22.00 0.30 31.38 29.24 8.06 17.00 39.00 33.12 9.98
177-AH 7.00 10.50 13.00 13.00 13.00 11.62 2.56 2.50 6.00 0.22 11.32 10.97 2.06 7.00 13.00 11.62 2.56
178-AH 0.00 0.00 1.00 2.50 3.00 1.25 1.39 2.50 3.00 1.11 0.00 0.00 1.25 0.00 3.00 1.25 1.39
179-AH 0.00 0.00 9.00 19.50 22.00 9.88 10.64 19.50 22.00 1.08 0.01 0.00 9.88 0.00 22.00 9.88 10.64
180-AH 0.00 15.00 35.50 40.00 40.00 27.62 17.31 25.00 40.00 0.63 3.51 0.00 13.56 0.00 40.00 27.62 17.31
181-AH 15.00 58.50 91.00 91.50 92.00 73.62 32.37 33.00 77.00 0.44 62.69 47.53 26.06 15.00 92.00 73.62 32.37
182-AH 0.00 2.00 4.00 4.00 4.00 3.00 1.60 2.00 4.00 0.53 0.65 0.00 1.25 0.00 4.00 3.00 1.60
183-AH 1.00 2.50 4.00 4.00 4.00 3.25 1.39 1.50 3.00 0.43 2.83 2.29 1.12 1.00 4.00 3.25 1.39
184-AH 3.00 4.50 5.50 7.50 9.00 5.88 2.03 3.00 6.00 0.35 5.56 5.23 1.62 3.00 9.00 5.88 2.03
185-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.46 0.50 1.00 0.62 0.06 0.00 0.38 0.00 1.00 0.75 0.46
186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
187-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.46 0.50 1.00 0.62 0.06 0.00 0.38 0.00 1.00 0.75 0.46
188-AH 0.00 0.00 0.00 0.50 1.00 0.25 0.46 0.50 1.00 1.85 0.00 0.00 0.38 0.00 1.00 0.25 0.46
189-AH 0.00 3.50 7.00 7.00 7.00 5.25 3.24 3.50 7.00 0.62 0.24 0.00 2.62 0.00 7.00 5.25 3.24
190-AH 0.00 0.00 3.00 6.00 8.00 3.25 3.37 6.00 8.00 1.04 0.03 0.00 3.00 0.00 8.00 3.25 3.37
125
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
192-AH 3.00 4.00 5.00 5.50 6.00 4.75 1.16 1.50 3.00 0.25 4.61 4.44 0.88 3.00 6.00 4.75 1.16
193-AH 0.00 3.50 7.00 7.00 7.00 5.25 3.24 3.50 7.00 0.62 0.24 0.00 2.62 0.00 7.00 5.25 3.24
194-AH 0.00 1.00 1.00 1.00 1.00 0.88 0.35 0.00 1.00 0.40 0.24 0.00 0.22 1.00 1.00 1.00 0.00
195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
196-AH 0.00 1.00 1.00 1.00 1.00 0.88 0.35 0.00 1.00 0.40 0.24 0.00 0.22 1.00 1.00 1.00 0.00
197-AH 0.00 25.00 50.00 50.00 50.00 37.50 22.84 25.00 50.00 0.61 4.45 0.00 18.50 0.00 50.00 37.50 22.84
198-AH 0.00 0.50 1.00 1.00 1.00 0.75 0.46 0.50 1.00 0.62 0.06 0.00 0.38 0.00 1.00 0.75 0.46
199-AH 3.00 8.50 10.00 10.00 10.00 8.75 2.55 1.50 7.00 0.29 8.23 7.43 1.88 7.00 10.00 9.57 1.13
200-AH 0.00 4.00 8.00 9.00 9.00 6.38 3.96 5.00 9.00 0.62 0.28 0.00 3.19 0.00 9.00 6.38 3.96
251-AH 8.00 22.50 45.00 54.50 55.00 38.38 20.21 32.00 47.00 0.53 30.55 21.17 15.88 8.00 55.00 38.38 20.21
252-AH 3.00 7.50 15.50 25.50 29.00 16.12 10.15 18.00 26.00 0.63 12.15 8.03 8.38 3.00 29.00 16.12 10.15
253-AH 19.00 32.50 74.00 126.00 130.00 76.75 46.82 93.50 111.00 0.61 61.19 46.02 39.00 19.00 130.00 76.75 46.82
254-AH 8.00 12.50 41.50 127.00 177.00 68.38 69.95 114.50 169.00 1.02 37.08 20.81 56.47 8.00 177.00 68.38 69.95
255-AH 1.00 2.00 4.00 4.00 4.00 3.12 1.36 2.00 3.00 0.43 2.73 2.23 1.09 1.00 4.00 3.12 1.36
256-AH 0.00 16.00 33.50 34.00 34.00 25.12 15.52 18.00 34.00 0.62 0.78 0.00 12.56 0.00 34.00 25.12 15.52
257-AH 2.00 15.50 32.00 45.50 55.00 30.38 18.89 30.00 53.00 0.62 21.60 10.34 14.62 2.00 55.00 30.38 18.89
258-AH 0.00 0.00 0.50 1.00 3.00 0.75 1.04 1.00 3.00 1.38 0.00 0.00 0.75 0.00 1.00 0.43 0.53
259-AH 0.00 1.00 1.50 2.00 3.00 1.50 0.93 1.00 3.00 0.62 0.35 0.00 0.75 0.00 3.00 1.50 0.93
260-AH 7.00 28.00 51.50 60.50 62.00 43.62 22.03 32.50 55.00 0.50 35.13 24.12 16.97 7.00 62.00 43.62 22.03
261-AH 11.00 11.50 13.00 14.00 15.00 12.88 1.46 2.50 4.00 0.11 12.80 12.73 1.16 11.00 15.00 12.88 1.46
262-AH 3.00 12.00 25.50 41.50 48.00 26.12 17.32 29.50 45.00 0.66 18.23 10.19 14.38 3.00 48.00 26.12 17.32
263-AH 0.00 1.50 16.50 36.00 40.00 18.50 18.28 34.50 40.00 0.99 0.45 0.00 16.75 0.00 40.00 18.50 18.28
264-AH 13.00 16.00 19.00 19.50 21.00 17.88 3.09 3.50 8.00 0.17 17.61 17.32 2.44 13.00 21.00 17.88 3.09
265-AH 0.00 2.50 6.00 6.00 6.00 4.38 2.72 3.50 6.00 0.62 0.21 0.00 2.19 0.00 6.00 4.38 2.72
266-AH 0.00 2.00 3.00 4.00 4.00 2.75 1.49 2.00 4.00 0.54 0.60 0.00 1.12 0.00 4.00 2.75 1.49
267-AH 0.00 7.50 17.50 18.50 19.00 13.25 8.28 11.00 19.00 0.62 0.48 0.00 6.62 0.00 19.00 13.25 8.28
268-AH 0.00 1.00 2.00 2.00 3.00 1.62 1.06 1.00 3.00 0.65 0.10 0.00 0.81 0.00 3.00 1.62 1.06
269-AH 4.00 4.00 4.50 6.00 8.00 5.12 1.46 2.00 4.00 0.28 4.96 4.82 1.16 4.00 8.00 5.12 1.46
270-AH 17.00 31.00 45.50 52.50 56.00 41.38 15.00 21.50 39.00 0.36 38.20 34.37 11.44 17.00 56.00 41.38 15.00
271-AH 14.00 18.00 22.50 24.00 24.00 20.88 4.32 6.00 10.00 0.21 20.41 19.89 3.44 14.00 24.00 20.88 4.32
272-AH 0.00 6.00 12.00 12.00 13.00 9.12 5.64 6.00 13.00 0.62 0.37 0.00 4.56 0.00 13.00 9.12 5.64
273-AH 14.00 15.50 43.00 79.50 82.00 46.50 32.95 64.00 68.00 0.71 34.89 26.09 30.50 14.00 82.00 46.50 32.95
274-AH 1.00 4.00 8.00 9.50 14.00 7.25 4.43 5.50 13.00 0.61 5.23 2.99 3.25 1.00 14.00 7.25 4.43
275-AH 4.00 11.50 33.00 54.50 59.00 32.62 23.99 43.00 55.00 0.74 22.58 13.97 22.12 4.00 59.00 32.62 23.99
276-AH 31.00 31.50 48.00 55.50 56.00 44.62 11.90 24.00 25.00 0.27 43.16 41.67 10.62 31.00 56.00 44.62 11.90
277-AH 1.00 5.50 9.50 12.50 16.00 9.00 5.01 7.00 15.00 0.56 7.05 4.36 4.00 1.00 16.00 9.00 5.01
278-AH 0.00 0.00 1.50 7.00 17.00 4.25 6.36 7.00 17.00 1.50 0.01 0.00 4.88 0.00 17.00 4.25 6.36
279-AH 0.00 1.50 3.00 3.00 4.00 2.38 1.51 1.50 4.00 0.63 0.13 0.00 1.19 0.00 4.00 2.38 1.51
280-AH 1.00 3.00 5.00 10.50 18.00 7.00 5.93 7.50 17.00 0.85 5.01 3.42 4.50 1.00 18.00 7.00 5.93
281-AH 0.00 20.50 40.50 41.50 42.00 30.88 18.47 21.00 42.00 0.60 4.18 0.00 14.94 0.00 42.00 30.88 18.47
282-AH 7.00 15.50 24.00 28.00 30.00 21.50 8.78 12.50 23.00 0.41 19.23 16.40 6.75 7.00 30.00 21.50 8.78
283-AH 3.00 9.00 25.50 33.00 34.00 21.50 13.21 24.00 31.00 0.61 15.39 8.85 11.00 3.00 34.00 21.50 13.21
284-AH 0.00 3.50 15.50 27.00 38.00 16.25 14.57 23.50 38.00 0.90 0.50 0.00 11.00 0.00 38.00 16.25 14.57
285-AH 27.00 32.50 39.50 59.00 68.00 44.62 15.37 26.50 41.00 0.34 42.37 40.27 13.03 27.00 68.00 44.62 15.37
286-AH 0.00 0.00 1.00 2.00 10.00 2.00 3.34 2.00 10.00 1.67 0.02 0.00 2.00 0.00 2.00 0.86 0.90
287-AH 8.00 24.50 38.50 42.00 48.00 33.25 14.84 17.50 40.00 0.45 28.57 22.48 11.62 8.00 48.00 33.25 14.84
288-AH 11.00 21.50 42.50 46.50 54.00 35.75 16.33 25.00 43.00 0.46 31.03 25.38 13.31 11.00 54.00 35.75 16.33
289-AH 0.00 0.00 8.50 18.00 18.00 8.88 9.49 18.00 18.00 1.07 0.01 0.00 8.88 0.00 18.00 8.88 9.49
290-AH 1.00 3.50 21.00 35.50 48.00 21.12 18.04 32.00 47.00 0.85 11.13 4.24 15.62 1.00 48.00 21.12 18.04
126
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 6.00 9.00 17.50 27.50 29.00 17.88 9.99 18.50 23.00 0.56 15.15 12.66 9.12 6.00 29.00 17.88 9.99
292-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
293-AH 0.00 4.50 20.50 32.50 34.00 18.62 15.31 28.00 34.00 0.82 0.56 0.00 13.88 0.00 34.00 18.62 15.31
294-AH 2.00 8.00 24.50 27.00 27.00 18.50 10.72 19.00 25.00 0.58 13.77 8.13 9.38 2.00 27.00 18.50 10.72
295-AH 1.00 3.50 13.50 25.00 39.00 15.50 13.86 21.50 38.00 0.89 8.20 3.24 11.75 1.00 39.00 15.50 13.86
296-AH 0.00 5.50 13.00 20.50 24.00 12.75 9.18 15.00 24.00 0.72 2.07 0.00 8.00 0.00 24.00 12.75 9.18
297-AH 0.00 0.00 6.50 10.00 12.00 5.62 5.34 10.00 12.00 0.95 0.05 0.00 4.88 0.00 12.00 5.62 5.34
298-AH 1.00 5.50 12.50 23.00 28.00 13.88 10.32 17.50 27.00 0.74 9.16 4.55 8.62 1.00 28.00 13.88 10.32
299-AH 1.00 11.00 29.50 57.00 75.00 33.88 27.31 46.00 74.00 0.81 18.82 5.78 23.38 1.00 75.00 33.88 27.31
300-AH 0.00 1.50 21.50 38.00 42.00 20.50 18.52 36.50 42.00 0.90 0.54 0.00 16.50 0.00 42.00 20.50 18.52
301-AH 0.00 1.50 7.00 12.50 15.00 7.12 6.27 11.00 15.00 0.88 0.26 0.00 5.62 0.00 15.00 7.12 6.27
302-AH 6.00 7.50 12.50 15.00 17.00 11.62 4.14 7.50 11.00 0.36 10.91 10.17 3.47 6.00 17.00 11.62 4.14
303-AH 2.00 4.50 10.00 11.00 13.00 8.25 4.23 6.50 11.00 0.51 6.76 4.99 3.44 2.00 13.00 8.25 4.23
304-AH 1.00 3.50 6.50 8.50 10.00 6.00 3.21 5.00 9.00 0.53 4.84 3.41 2.50 1.00 10.00 6.00 3.21
305-AH 0.00 18.50 41.00 48.00 59.00 34.25 22.05 29.50 59.00 0.64 4.11 0.00 16.88 0.00 59.00 34.25 22.05
306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
307-AH 1.00 4.50 8.00 21.50 56.00 15.62 19.23 17.00 55.00 1.23 8.27 4.30 14.69 1.00 34.00 9.86 11.01
308-AH 6.00 8.50 10.00 11.00 11.00 9.50 1.93 2.50 5.00 0.20 9.30 9.07 1.50 6.00 11.00 9.50 1.93
309-AH 6.00 7.00 7.50 9.00 10.00 7.88 1.46 2.00 4.00 0.19 7.76 7.65 1.12 6.00 10.00 7.88 1.46
310-AH 6.00 16.50 32.00 43.50 47.00 29.62 15.85 27.00 41.00 0.53 23.96 17.33 12.47 6.00 47.00 29.62 15.85
311-AH 30.00 31.00 41.50 47.00 51.00 40.00 8.52 16.00 21.00 0.21 39.19 38.38 7.00 30.00 51.00 40.00 8.52
312-AH 2.00 2.50 8.50 15.50 30.00 10.62 10.00 13.00 28.00 0.94 6.61 4.21 8.12 2.00 30.00 10.62 10.00
313-AH 6.00 6.50 10.00 12.00 12.00 9.38 2.72 5.50 6.00 0.29 9.00 8.62 2.38 6.00 12.00 9.38 2.72
314-AH 0.00 4.50 12.50 16.50 17.00 10.50 7.11 12.00 17.00 0.68 1.64 0.00 6.00 0.00 17.00 10.50 7.11
315-AH 6.00 14.50 30.50 48.00 49.00 30.12 17.93 33.50 43.00 0.60 24.22 18.15 16.12 6.00 49.00 30.12 17.93
316-AH 0.00 40.00 92.00 104.50 108.00 72.62 45.98 64.50 108.00 0.63 1.73 0.00 36.31 0.00 108.00 72.62 45.98
317-AH 11.00 13.50 17.00 22.00 30.00 18.25 6.30 8.50 19.00 0.35 17.36 16.56 5.00 11.00 30.00 18.25 6.30
318-AH 2.00 6.50 9.00 9.00 9.00 7.50 2.83 2.50 7.00 0.38 6.74 5.65 2.25 4.00 9.00 8.29 1.89
319-AH 10.00 12.00 14.50 15.00 16.00 13.62 2.33 3.00 6.00 0.17 13.43 13.22 1.81 10.00 16.00 13.62 2.33
320-AH 1.00 4.50 9.50 10.00 11.00 7.50 3.89 5.50 10.00 0.52 5.86 3.73 3.12 1.00 11.00 7.50 3.89
321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
322-AH 4.00 9.00 12.50 13.00 14.00 10.88 3.72 4.00 10.00 0.34 10.08 9.03 2.94 4.00 14.00 10.88 3.72
323-AH 0.00 5.50 16.00 19.00 20.00 12.62 8.30 13.50 20.00 0.66 0.46 0.00 6.72 0.00 20.00 12.62 8.30
324-AH 5.00 15.00 21.50 25.00 59.00 23.38 15.88 10.00 54.00 0.68 19.27 15.26 9.72 5.00 25.00 18.29 7.25
325-AH 15.00 23.50 34.00 50.00 56.00 35.75 15.65 26.50 41.00 0.44 32.48 29.20 13.25 15.00 56.00 35.75 15.65
326-AH 0.00 1.50 3.50 4.00 4.00 2.75 1.75 2.50 4.00 0.64 0.15 0.00 1.38 0.00 4.00 2.75 1.75
327-AH 0.00 0.00 2.50 3.50 4.00 2.00 1.77 3.50 4.00 0.89 0.03 0.00 1.50 0.00 4.00 2.00 1.77
328-AH 8.00 16.50 23.00 23.00 23.00 19.50 6.50 6.50 15.00 0.33 18.16 16.47 5.25 8.00 23.00 19.50 6.50
329-AH 3.00 8.50 16.00 17.00 17.00 12.88 6.17 8.50 14.00 0.48 10.59 7.70 4.94 3.00 17.00 12.88 6.17
330-AH 9.00 34.00 50.00 51.00 51.00 41.25 17.30 17.00 42.00 0.42 35.78 28.02 13.88 9.00 51.00 41.25 17.30
331-AH 0.00 11.50 17.00 17.00 17.00 13.50 6.68 5.50 17.00 0.49 2.48 0.00 5.25 6.00 17.00 15.43 4.16
332-AH 0.00 4.00 8.00 8.00 8.00 6.00 3.70 4.00 8.00 0.62 0.27 0.00 3.00 0.00 8.00 6.00 3.70
333-AH 0.00 2.00 4.00 5.00 5.00 3.38 2.00 3.00 5.00 0.59 0.70 0.00 1.62 0.00 5.00 3.38 2.00
334-AH 0.00 0.00 3.00 4.00 5.00 2.38 2.13 4.00 5.00 0.90 0.03 0.00 1.88 0.00 5.00 2.38 2.13
335-AH 0.00 1.50 7.50 12.50 13.00 7.00 5.76 11.00 13.00 0.82 1.08 0.00 5.25 0.00 13.00 7.00 5.76
336-AH 0.00 3.50 8.00 12.50 16.00 8.00 5.86 9.00 16.00 0.73 0.32 0.00 4.50 0.00 16.00 8.00 5.86
337-AH 0.00 10.00 20.00 20.00 20.00 15.00 9.26 10.00 20.00 0.62 0.53 0.00 7.50 0.00 20.00 15.00 9.26
338-AH 1.00 5.00 10.00 10.00 10.00 7.62 4.10 5.00 9.00 0.54 5.55 3.06 3.31 1.00 10.00 7.62 4.10
339-AH 0.00 6.50 16.50 18.50 19.00 12.75 7.92 12.00 19.00 0.62 1.95 0.00 6.31 0.00 19.00 12.75 7.92
340-AH 1.00 1.50 3.50 5.00 5.00 3.25 1.75 3.50 4.00 0.54 2.72 2.17 1.50 1.00 5.00 3.25 1.75
127
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 2.00 4.00 6.00 6.00 6.00 5.00 1.60 2.00 4.00 0.32 4.69 4.29 1.25 2.00 6.00 5.00 1.60
342-AH 58.00 78.00 94.50 95.00 96.00 86.12 15.90 17.00 38.00 0.18 84.62 82.90 12.81 58.00 96.00 86.12 15.90
343-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.53 1.00 1.00 1.07 0.00 0.00 0.50 0.00 1.00 0.50 0.53
344-AH 6.00 22.00 31.00 33.00 33.00 26.38 10.01 11.00 27.00 0.38 23.49 19.03 7.69 6.00 33.00 26.38 10.01
345-AH 0.00 2.00 6.50 8.00 9.00 5.25 3.62 6.00 9.00 0.69 0.24 0.00 2.94 0.00 9.00 5.25 3.62
346-AH 6.00 8.00 10.00 11.00 11.00 9.38 2.13 3.00 5.00 0.23 9.12 8.83 1.69 6.00 11.00 9.38 2.13
347-AH 0.00 4.00 6.50 8.50 9.00 5.88 3.27 4.50 9.00 0.56 1.16 0.00 2.44 0.00 9.00 5.88 3.27
348-AH 0.00 1.00 2.00 2.00 2.00 1.50 0.93 1.00 2.00 0.62 0.09 0.00 0.75 0.00 2.00 1.50 0.93
349-AH 2.00 13.00 26.50 27.00 27.00 20.25 11.04 14.00 25.00 0.55 14.46 7.52 8.88 2.00 27.00 20.25 11.04
350-AH 4.00 6.50 10.00 10.00 10.00 8.38 2.72 3.50 6.00 0.33 7.85 7.20 2.19 4.00 10.00 8.38 2.72
128
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0079 0.4184 0.8708 0.9732 1.0000 0.6916 0.4236 0.5549 0.9921 0.6125 0.3130 0.0436 0.3388 0.0079 1.0000 0.6916 0.4236
143-AH 0.0000 0.0025 0.1525 0.6062 0.9085 0.3039 0.3754 0.6036 0.9085 1.2355 0.0112 0.0000 0.3023 0.0000 0.9085 0.3039 0.3754
144-AH 0.0005 0.0686 0.3932 0.5132 0.6667 0.3271 0.2524 0.4445 0.6662 0.7717 0.0999 0.0037 0.2109 0.0005 0.6667 0.3271 0.2524
145-AH 0.0014 0.0298 0.2185 0.4880 0.6657 0.2675 0.2651 0.4582 0.6642 0.9911 0.0763 0.0079 0.2355 0.0014 0.6657 0.2675 0.2651
146-AH 0.0000 0.0365 0.1794 0.2669 0.2900 0.1570 0.1252 0.2304 0.2900 0.7974 0.0159 0.0000 0.1115 0.0000 0.2900 0.1570 0.1252
147-AH 0.0004 0.0081 0.1021 0.3646 0.5435 0.1867 0.2329 0.3565 0.5431 1.2477 0.0377 0.0029 0.1782 0.0004 0.5435 0.1867 0.2329
148-AH 0.0000 0.0000 0.0144 0.0463 0.1912 0.0391 0.0652 0.0463 0.1912 1.6682 0.0008 0.0000 0.0429 0.0000 0.0586 0.0174 0.0235
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0034 0.0068 0.0119 0.0956 0.1139 0.0433 0.0489 0.0888 0.1104 1.1300 0.0195 0.0099 0.0438 0.0034 0.1139 0.0433 0.0489
151-AH 0.0000 0.0007 0.0120 0.0520 0.3028 0.0540 0.1047 0.0513 0.3028 1.9390 0.0031 0.0000 0.0709 0.0000 0.0889 0.0185 0.0317
152-AH 0.0000 0.0002 0.0817 0.2709 0.5106 0.1520 0.1923 0.2707 0.5106 1.2645 0.0053 0.0001 0.1519 0.0000 0.5106 0.1520 0.1923
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0017 0.0633 0.2091 0.3912 0.4133 0.2178 0.1688 0.3279 0.4115 0.7751 0.0926 0.0113 0.1370 0.0017 0.4133 0.2178 0.1688
155-AH 0.0000 0.0022 0.0127 0.3144 0.5345 0.1491 0.2131 0.3122 0.5345 1.4292 0.0061 0.0000 0.1790 0.0000 0.5345 0.1491 0.2131
156-AH 0.0034 0.0281 0.0695 0.0813 0.3570 0.0898 0.1123 0.0532 0.3536 1.2508 0.0454 0.0170 0.0668 0.0034 0.0835 0.0516 0.0332
157-AH 0.0180 0.1667 0.3675 0.4117 0.4596 0.2962 0.1758 0.2450 0.4417 0.5935 0.1857 0.0710 0.1375 0.0180 0.4596 0.2962 0.1758
158-AH 0.0007 0.0114 0.2169 0.3142 0.5471 0.2041 0.1923 0.3028 0.5465 0.9422 0.0614 0.0047 0.1475 0.0007 0.5471 0.2041 0.1923
159-AH 0.0000 0.0001 0.0413 0.1095 0.2061 0.0635 0.0765 0.1093 0.2061 1.2049 0.0026 0.0000 0.0633 0.0000 0.2061 0.0635 0.0765
160-AH 0.0000 0.0010 0.0321 0.0704 0.1083 0.0394 0.0434 0.0694 0.1083 1.1009 0.0033 0.0000 0.0383 0.0000 0.1083 0.0394 0.0434
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0629 0.2970 0.5414 0.6377 0.7199 0.4669 0.2356 0.3407 0.6570 0.5046 0.3770 0.2507 0.1859 0.0629 0.7199 0.4669 0.2356
164-AH 0.0000 0.0028 0.0076 0.0147 0.1493 0.0249 0.0506 0.0120 0.1493 2.0293 0.0036 0.0001 0.0311 0.0000 0.0194 0.0072 0.0066
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0331 0.1408 0.2063 0.2423 0.1253 0.0970 0.1732 0.2423 0.7737 0.0137 0.0000 0.0798 0.0000 0.2423 0.1253 0.0970
168-AH 0.0000 0.0000 0.1266 0.3029 0.5085 0.1710 0.1988 0.3029 0.5085 1.1631 0.0030 0.0000 0.1708 0.0000 0.5085 0.1710 0.1988
169-AH 0.0039 0.0087 0.0195 0.1266 0.3700 0.0854 0.1275 0.1179 0.3661 1.4927 0.0288 0.0118 0.0917 0.0039 0.1602 0.0448 0.0595
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0111 0.0249 0.0554 0.0758 0.0839 0.0509 0.0282 0.0509 0.0728 0.5549 0.0413 0.0308 0.0232 0.0111 0.0839 0.0509 0.0282
172-AH 0.0014 0.0065 0.0300 0.0596 0.0670 0.0326 0.0274 0.0531 0.0656 0.8409 0.0177 0.0067 0.0243 0.0014 0.0670 0.0326 0.0274
173-AH 0.1175 0.5643 1.0000 1.0000 1.0000 0.7808 0.4060 0.4357 0.8825 0.5199 0.5921 0.3590 0.3289 0.1175 1.0000 0.7808 0.4060
174-AH 0.2610 0.7500 1.0000 1.0000 1.0000 0.8451 0.2938 0.2500 0.7390 0.3476 0.7753 0.6762 0.2323 0.5000 1.0000 0.9286 0.1890
175-AH 0.0000 0.2379 0.6307 0.7274 0.7488 0.4926 0.3188 0.4895 0.7488 0.6471 0.0406 0.0000 0.2505 0.0000 0.7488 0.4926 0.3188
176-AH 0.1429 0.4227 0.7301 0.8707 0.9090 0.6374 0.3117 0.4479 0.7660 0.4891 0.5237 0.3815 0.2438 0.1429 0.9090 0.6374 0.3117
177-AH 0.0076 0.1228 0.2754 0.2775 0.3729 0.2165 0.1261 0.1548 0.3653 0.5826 0.1411 0.0460 0.0991 0.0076 0.3729 0.2165 0.1261
178-AH 0.0000 0.0000 0.0107 0.0425 0.2546 0.0451 0.0868 0.0425 0.2546 1.9244 0.0007 0.0000 0.0540 0.0000 0.0516 0.0152 0.0209
179-AH 0.0000 0.0000 0.0525 0.1647 0.7172 0.1439 0.2446 0.1647 0.7172 1.6994 0.0014 0.0000 0.1610 0.0000 0.2145 0.0620 0.0849
180-AH 0.0000 0.0087 0.0583 0.4416 0.7085 0.2157 0.2754 0.4329 0.7085 1.2766 0.0197 0.0001 0.2361 0.0000 0.7085 0.2157 0.2754
181-AH 0.0029 0.3303 0.7606 0.7954 0.8290 0.5756 0.3540 0.4651 0.8260 0.6150 0.2336 0.0194 0.2832 0.0029 0.8290 0.5756 0.3540
182-AH 0.0000 0.0360 0.0919 0.1846 0.2634 0.1111 0.1012 0.1485 0.2634 0.9109 0.0199 0.0001 0.0748 0.0000 0.2634 0.1111 0.1012
183-AH 0.0063 0.0832 0.2401 0.3196 0.3854 0.2097 0.1400 0.2365 0.3792 0.6678 0.1236 0.0363 0.1141 0.0063 0.3854 0.2097 0.1400
184-AH 0.0022 0.0093 0.0455 0.0978 0.4650 0.0966 0.1550 0.0886 0.4628 1.6048 0.0330 0.0107 0.1020 0.0022 0.1360 0.0439 0.0464
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.4201 0.9261 0.9492 0.9683 0.6949 0.4307 0.5292 0.9683 0.6198 0.0531 0.0000 0.3474 0.0000 0.9683 0.6949 0.4307
190-AH 0.0000 0.0000 0.0304 0.1057 0.2275 0.0625 0.0827 0.1057 0.2275 1.3242 0.0015 0.0000 0.0629 0.0000 0.2275 0.0625 0.0827
129
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0307 0.0455 0.1458 0.3100 0.8333 0.2333 0.2687 0.2645 0.8026 1.1516 0.1321 0.0775 0.1883 0.0307 0.3611 0.1476 0.1251
193-AH 0.0000 0.1535 0.3773 0.4602 0.6748 0.3321 0.2344 0.3067 0.6748 0.7058 0.0297 0.0000 0.1778 0.0000 0.6748 0.3321 0.2344
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.2324 0.7640 0.9456 0.9668 0.6063 0.4123 0.7131 0.9668 0.6800 0.0554 0.0001 0.3385 0.0000 0.9668 0.6063 0.4123
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0032 0.2418 0.5621 0.5842 0.6173 0.4246 0.2495 0.3424 0.6141 0.5877 0.2197 0.0233 0.1967 0.0032 0.6173 0.4246 0.2495
200-AH 0.0000 0.0048 0.0589 0.6470 0.7473 0.2711 0.3416 0.6423 0.7473 1.2601 0.0128 0.0000 0.3070 0.0000 0.7473 0.2711 0.3416
251-AH 0.0016 0.1889 0.4428 0.5211 0.5513 0.3573 0.2287 0.3322 0.5497 0.6400 0.1137 0.0064 0.1779 0.0016 0.5513 0.3573 0.2287
252-AH 0.0011 0.0483 0.1230 0.2647 0.4528 0.1657 0.1648 0.2164 0.4517 0.9943 0.0526 0.0049 0.1241 0.0011 0.4528 0.1657 0.1648
253-AH 0.0022 0.0223 0.1098 0.1824 0.3199 0.1189 0.1098 0.1600 0.3178 0.9240 0.0498 0.0102 0.0891 0.0022 0.3199 0.1189 0.1098
254-AH 0.0003 0.0007 0.0196 0.1524 0.2450 0.0738 0.1070 0.1517 0.2447 1.4487 0.0085 0.0011 0.0847 0.0003 0.2450 0.0738 0.1070
255-AH 0.0053 0.0509 0.2637 0.2995 0.6078 0.2302 0.1983 0.2486 0.6025 0.8614 0.1045 0.0231 0.1459 0.0053 0.6078 0.2302 0.1983
256-AH 0.0000 0.3044 0.7382 0.7880 0.8247 0.5607 0.3523 0.4836 0.8247 0.6283 0.0450 0.0000 0.2804 0.0000 0.8247 0.5607 0.3523
257-AH 0.0004 0.0258 0.0981 0.1675 0.2068 0.0987 0.0816 0.1417 0.2064 0.8267 0.0377 0.0031 0.0712 0.0004 0.2068 0.0987 0.0816
258-AH 0.0000 0.0000 0.0002 0.0006 0.0076 0.0011 0.0026 0.0006 0.0076 2.3044 0.0001 0.0000 0.0016 0.0000 0.0008 0.0002 0.0003
259-AH 0.0000 0.0005 0.0614 0.3644 0.5556 0.1760 0.2209 0.3639 0.5556 1.2553 0.0077 0.0001 0.1891 0.0000 0.5556 0.1760 0.2209
260-AH 0.0010 0.0161 0.2347 0.4753 0.4950 0.2435 0.2433 0.4593 0.4941 0.9990 0.0580 0.0054 0.2268 0.0010 0.4950 0.2435 0.2433
261-AH 0.0281 0.0399 0.0722 0.0935 0.1255 0.0706 0.0338 0.0536 0.0974 0.4792 0.0628 0.0549 0.0271 0.0281 0.1255 0.0706 0.0338
262-AH 0.0002 0.0042 0.0203 0.0389 0.0477 0.0218 0.0195 0.0347 0.0475 0.8914 0.0080 0.0011 0.0174 0.0002 0.0477 0.0218 0.0195
263-AH 0.0000 0.0016 0.0241 0.1191 0.1938 0.0604 0.0742 0.1175 0.1938 1.2284 0.0047 0.0000 0.0627 0.0000 0.1938 0.0604 0.0742
264-AH 0.0792 0.1050 0.2701 0.4547 0.5814 0.2900 0.2004 0.3496 0.5022 0.6910 0.2258 0.1719 0.1580 0.0792 0.5814 0.2900 0.2004
265-AH 0.0000 0.0539 0.1615 0.2920 0.3570 0.1715 0.1370 0.2381 0.3570 0.7992 0.0173 0.0000 0.1153 0.0000 0.3570 0.1715 0.1370
266-AH 0.0000 0.0081 0.0334 0.1001 0.1438 0.0534 0.0559 0.0919 0.1438 1.0469 0.0108 0.0001 0.0460 0.0000 0.1438 0.0534 0.0559
267-AH 0.0000 0.0173 0.1192 0.1894 0.2182 0.1087 0.0926 0.1721 0.2182 0.8516 0.0115 0.0000 0.0832 0.0000 0.2182 0.1087 0.0926
268-AH 0.0000 0.0019 0.1079 0.5556 0.6667 0.2497 0.2942 0.5537 0.6667 1.1783 0.0105 0.0000 0.2572 0.0000 0.6667 0.2497 0.2942
269-AH 0.0058 0.0072 0.0093 0.0203 0.1616 0.0301 0.0535 0.0131 0.1558 1.7757 0.0142 0.0103 0.0329 0.0058 0.0244 0.0113 0.0067
270-AH 0.0067 0.1834 0.4167 0.5096 0.6427 0.3586 0.2326 0.3262 0.6360 0.6486 0.1716 0.0314 0.1756 0.0067 0.6427 0.3586 0.2326
271-AH 0.0148 0.1272 0.5274 0.5570 0.6453 0.3854 0.2570 0.4298 0.6305 0.6669 0.2055 0.0562 0.2218 0.0148 0.6453 0.3854 0.2570
272-AH 0.0000 0.0295 0.1090 0.2170 0.2977 0.1261 0.1135 0.1875 0.2977 0.8997 0.0131 0.0000 0.0899 0.0000 0.2977 0.1261 0.1135
273-AH 0.0029 0.0085 0.2550 0.6059 0.7536 0.3119 0.3307 0.5974 0.7507 1.0604 0.0684 0.0119 0.3021 0.0029 0.7536 0.3119 0.3307
274-AH 0.0001 0.0058 0.0193 0.0387 0.0473 0.0219 0.0185 0.0329 0.0472 0.8443 0.0063 0.0004 0.0158 0.0001 0.0473 0.0219 0.0185
275-AH 0.0002 0.0064 0.0726 0.2035 0.2586 0.1030 0.1097 0.1971 0.2583 1.0650 0.0256 0.0016 0.0954 0.0002 0.2586 0.1030 0.1097
276-AH 0.0386 0.1225 0.2345 0.3960 0.4863 0.2539 0.1680 0.2735 0.4477 0.6617 0.1942 0.1344 0.1470 0.0386 0.4863 0.2539 0.1680
277-AH 0.0043 0.0217 0.0396 0.0641 0.1561 0.0514 0.0475 0.0423 0.1518 0.9240 0.0342 0.0191 0.0325 0.0043 0.0643 0.0364 0.0233
278-AH 0.0000 0.0000 0.0039 0.0303 0.1501 0.0273 0.0525 0.0303 0.1501 1.9199 0.0005 0.0000 0.0365 0.0000 0.0505 0.0098 0.0184
279-AH 0.0000 0.0018 0.0200 0.1015 0.2059 0.0566 0.0769 0.0997 0.2059 1.3600 0.0045 0.0000 0.0598 0.0000 0.2059 0.0566 0.0769
280-AH 0.0000 0.0019 0.0035 0.0167 0.0703 0.0143 0.0244 0.0148 0.0703 1.7067 0.0033 0.0003 0.0176 0.0000 0.0285 0.0063 0.0099
281-AH 0.0000 0.0805 0.3092 0.4583 0.4869 0.2729 0.2105 0.3779 0.4869 0.7714 0.0318 0.0001 0.1867 0.0000 0.4869 0.2729 0.2105
282-AH 0.0040 0.0555 0.1157 0.1688 0.3125 0.1245 0.0991 0.1132 0.3085 0.7957 0.0659 0.0186 0.0691 0.0040 0.3125 0.1245 0.0991
283-AH 0.0005 0.0395 0.1538 0.2580 0.3247 0.1535 0.1257 0.2185 0.3242 0.8189 0.0413 0.0020 0.1093 0.0005 0.3247 0.1535 0.1257
284-AH 0.0000 0.0017 0.0737 0.2289 0.3685 0.1221 0.1494 0.2272 0.3685 1.2238 0.0076 0.0000 0.1174 0.0000 0.3685 0.1221 0.1494
285-AH 0.0302 0.0382 0.0436 0.2607 0.6970 0.1765 0.2353 0.2225 0.6668 1.3330 0.0884 0.0566 0.1722 0.0302 0.3222 0.1022 0.1141
286-AH 0.0000 0.0000 0.0002 0.0011 0.0387 0.0052 0.0136 0.0011 0.0387 2.6266 0.0002 0.0000 0.0084 0.0000 0.0014 0.0004 0.0005
287-AH 0.0009 0.0265 0.1266 0.2697 0.4322 0.1598 0.1575 0.2432 0.4313 0.9854 0.0521 0.0055 0.1318 0.0009 0.4322 0.1598 0.1575
288-AH 0.0018 0.0272 0.0969 0.1129 0.1676 0.0804 0.0578 0.0857 0.1657 0.7189 0.0393 0.0085 0.0463 0.0018 0.1676 0.0804 0.0578
289-AH 0.0000 0.0000 0.2574 0.6416 0.7179 0.3145 0.3408 0.6416 0.7179 1.0837 0.0025 0.0000 0.3145 0.0000 0.7179 0.3145 0.3408
290-AH 0.0000 0.0075 0.0240 0.0759 0.1335 0.0435 0.0530 0.0684 0.1335 1.2175 0.0073 0.0001 0.0419 0.0000 0.1335 0.0435 0.0530
130
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0018 0.0195 0.0636 0.4052 0.7728 0.2189 0.2914 0.3858 0.7710 1.3312 0.0554 0.0087 0.2316 0.0018 0.7728 0.2189 0.2914
292-AH 0.0166 0.0461 0.1162 0.6782 0.8875 0.3231 0.3606 0.6321 0.8709 1.1158 0.1366 0.0554 0.3186 0.0166 0.8875 0.3231 0.3606
293-AH 0.0000 0.0012 0.2201 0.5572 0.7299 0.2859 0.3164 0.5560 0.7299 1.1069 0.0098 0.0000 0.2844 0.0000 0.7299 0.2859 0.3164
294-AH 0.0006 0.0532 0.1944 0.3063 0.6260 0.2168 0.2068 0.2531 0.6254 0.9537 0.0602 0.0034 0.1583 0.0006 0.6260 0.2168 0.2068
295-AH 0.0001 0.0009 0.0496 0.1017 0.1802 0.0606 0.0689 0.1008 0.1801 1.1379 0.0068 0.0003 0.0596 0.0001 0.1802 0.0606 0.0689
296-AH 0.0000 0.0282 0.1399 0.3886 0.5631 0.2096 0.2315 0.3604 0.5631 1.1044 0.0291 0.0001 0.1815 0.0000 0.5631 0.2096 0.2315
297-AH 0.0000 0.0000 0.0806 0.1816 0.3476 0.1090 0.1281 0.1816 0.3476 1.1756 0.0037 0.0000 0.1036 0.0000 0.3476 0.1090 0.1281
298-AH 0.0006 0.0124 0.0310 0.0908 0.2977 0.0708 0.0990 0.0785 0.2971 1.3980 0.0242 0.0039 0.0678 0.0006 0.1150 0.0384 0.0404
299-AH 0.0007 0.0138 0.0556 0.1786 0.3084 0.1006 0.1116 0.1648 0.3078 1.1093 0.0302 0.0036 0.0909 0.0007 0.3084 0.1006 0.1116
300-AH 0.0000 0.0001 0.0204 0.0651 0.1533 0.0406 0.0549 0.0651 0.1533 1.3527 0.0026 0.0000 0.0405 0.0000 0.1533 0.0406 0.0549
301-AH 0.0000 0.0002 0.0605 0.2394 0.5092 0.1387 0.1936 0.2392 0.5092 1.3961 0.0044 0.0000 0.1474 0.0000 0.5092 0.1387 0.1936
302-AH 0.0579 0.1028 0.1283 0.1965 0.3396 0.1566 0.0909 0.0937 0.2817 0.5807 0.1370 0.1208 0.0664 0.0579 0.2390 0.1305 0.0572
303-AH 0.0005 0.0056 0.0987 0.1379 0.1731 0.0822 0.0696 0.1323 0.1726 0.8467 0.0258 0.0027 0.0588 0.0005 0.1731 0.0822 0.0696
304-AH 0.0001 0.0632 0.2076 0.2601 0.2762 0.1673 0.1137 0.1970 0.2761 0.6800 0.0402 0.0007 0.0938 0.0001 0.2762 0.1673 0.1137
305-AH 0.0000 0.0427 0.1258 0.1857 0.1972 0.1132 0.0808 0.1430 0.1972 0.7140 0.0177 0.0001 0.0671 0.0000 0.1972 0.1132 0.0808
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0007 0.0017 0.0189 0.1778 0.0275 0.0619 0.0182 0.1778 2.2482 0.0019 0.0001 0.0397 0.0000 0.0360 0.0061 0.0132
308-AH 0.0085 0.3420 0.7040 0.7365 0.7566 0.5413 0.3250 0.3945 0.7481 0.6005 0.2714 0.0485 0.2620 0.0085 0.7566 0.5413 0.3250
309-AH 0.0231 0.0314 0.0355 0.0556 0.1068 0.0469 0.0280 0.0243 0.0837 0.5966 0.0415 0.0378 0.0208 0.0231 0.0700 0.0383 0.0151
310-AH 0.0021 0.0232 0.0502 0.0806 0.1085 0.0523 0.0373 0.0574 0.1064 0.7122 0.0309 0.0106 0.0295 0.0021 0.1085 0.0523 0.0373
311-AH 0.0410 0.0555 0.1384 0.2575 0.2682 0.1515 0.0984 0.2021 0.2273 0.6495 0.1190 0.0901 0.0822 0.0410 0.2682 0.1515 0.0984
312-AH 0.0002 0.0005 0.0134 0.0426 0.5603 0.0842 0.1934 0.0421 0.5601 2.2977 0.0055 0.0007 0.1190 0.0002 0.0564 0.0162 0.0218
313-AH 0.0056 0.0101 0.0206 0.0310 0.0627 0.0240 0.0188 0.0209 0.0571 0.7831 0.0183 0.0140 0.0140 0.0056 0.0345 0.0184 0.0112
314-AH 0.0000 0.0297 0.0701 0.0835 0.0982 0.0581 0.0380 0.0539 0.0982 0.6546 0.0102 0.0001 0.0290 0.0000 0.0982 0.0581 0.0380
315-AH 0.0005 0.0066 0.0555 0.3460 0.4847 0.1627 0.2041 0.3394 0.4841 1.2544 0.0337 0.0032 0.1721 0.0005 0.4847 0.1627 0.2041
316-AH 0.0000 0.0392 0.1138 0.1878 0.2036 0.1106 0.0827 0.1485 0.2036 0.7471 0.0127 0.0000 0.0696 0.0000 0.2036 0.1106 0.0827
317-AH 0.0079 0.0119 0.0228 0.0761 0.1810 0.0513 0.0635 0.0642 0.1731 1.2367 0.0281 0.0183 0.0490 0.0079 0.1177 0.0328 0.0387
318-AH 0.0004 0.0539 0.1205 0.2300 0.4300 0.1549 0.1473 0.1761 0.4295 0.9510 0.0583 0.0034 0.1087 0.0004 0.4300 0.1549 0.1473
319-AH 0.0541 0.1299 0.1611 0.2544 0.3542 0.1874 0.0988 0.1245 0.3001 0.5271 0.1637 0.1392 0.0752 0.0541 0.3542 0.1874 0.0988
320-AH 0.0005 0.0075 0.0238 0.0362 0.0606 0.0245 0.0199 0.0287 0.0601 0.8114 0.0134 0.0031 0.0154 0.0005 0.0606 0.0245 0.0199
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0011 0.0551 0.1229 0.1629 0.2051 0.1110 0.0734 0.1078 0.2040 0.6612 0.0542 0.0075 0.0554 0.0011 0.2051 0.1110 0.0734
323-AH 0.0000 0.0051 0.0382 0.0787 0.0979 0.0427 0.0388 0.0736 0.0979 0.9081 0.0055 0.0000 0.0320 0.0000 0.0979 0.0427 0.0388
324-AH 0.0004 0.0057 0.0370 0.1218 0.2824 0.0765 0.0979 0.1161 0.2820 1.2798 0.0204 0.0026 0.0741 0.0004 0.2824 0.0765 0.0979
325-AH 0.0071 0.0185 0.0431 0.1419 0.3861 0.1000 0.1302 0.1233 0.3790 1.3013 0.0465 0.0229 0.0935 0.0071 0.1879 0.0591 0.0646
326-AH 0.0000 0.0906 0.2640 0.4438 0.5312 0.2660 0.2019 0.3532 0.5312 0.7590 0.0245 0.0000 0.1643 0.0000 0.5312 0.2660 0.2019
327-AH 0.0000 0.0000 0.0034 0.0239 0.3848 0.0549 0.1340 0.0239 0.3848 2.4405 0.0010 0.0000 0.0825 0.0000 0.0416 0.0078 0.0151
328-AH 0.0079 0.2364 0.4923 0.5744 0.5902 0.4005 0.2381 0.3380 0.5822 0.5943 0.2305 0.0509 0.1855 0.0079 0.5902 0.4005 0.2381
329-AH 0.0006 0.1538 0.5284 0.6343 0.6462 0.4100 0.2791 0.4805 0.6457 0.6807 0.1039 0.0030 0.2304 0.0006 0.6462 0.4100 0.2791
330-AH 0.0076 0.3172 0.7051 0.7302 0.7682 0.5351 0.3256 0.4130 0.7607 0.6084 0.2517 0.0401 0.2614 0.0076 0.7682 0.5351 0.3256
331-AH 0.0000 0.0871 0.1784 0.1961 0.2565 0.1475 0.0938 0.1091 0.2565 0.6359 0.0356 0.0001 0.0725 0.0000 0.2565 0.1475 0.0938
332-AH 0.0000 0.1599 0.3883 0.4346 0.4736 0.3049 0.1940 0.2747 0.4736 0.6363 0.0285 0.0000 0.1525 0.0000 0.4736 0.3049 0.1940
333-AH 0.0000 0.0012 0.5010 1.0000 1.0000 0.5005 0.5339 0.9988 1.0000 1.0667 0.0195 0.0001 0.4995 0.0000 1.0000 0.5005 0.5339
334-AH 0.0000 0.0000 0.0604 0.3007 0.3108 0.1291 0.1504 0.3007 0.3108 1.1650 0.0027 0.0000 0.1312 0.0000 0.3108 0.1291 0.1504
335-AH 0.0000 0.0008 0.0782 0.1676 0.1751 0.0835 0.0888 0.1668 0.1751 1.0631 0.0069 0.0001 0.0828 0.0000 0.1751 0.0835 0.0888
336-AH 0.0000 0.0040 0.0163 0.0809 0.2833 0.0607 0.0984 0.0769 0.2833 1.6210 0.0048 0.0000 0.0710 0.0000 0.1221 0.0289 0.0432
337-AH 0.0000 0.3244 0.7569 0.7910 0.8348 0.5724 0.3573 0.4666 0.8348 0.6242 0.0458 0.0000 0.2862 0.0000 0.8348 0.5724 0.3573
338-AH 0.0002 0.0987 0.2258 0.6344 0.7974 0.3394 0.3096 0.5358 0.7972 0.9121 0.0660 0.0012 0.2620 0.0002 0.7974 0.3394 0.3096
339-AH 0.0000 0.0124 0.1597 0.2911 0.4783 0.1756 0.1806 0.2787 0.4783 1.0288 0.0183 0.0001 0.1575 0.0000 0.4783 0.1756 0.1806
340-AH 0.0007 0.0009 0.0933 0.2501 0.3733 0.1328 0.1509 0.2492 0.3726 1.1362 0.0175 0.0020 0.1312 0.0007 0.3733 0.1328 0.1509
131
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0078 0.2443 0.4719 0.6439 0.6842 0.4265 0.2570 0.3996 0.6764 0.6026 0.2551 0.0534 0.1994 0.0078 0.6842 0.4265 0.2570
342-AH 0.0869 0.3810 0.6324 0.6687 0.7487 0.5250 0.2497 0.2877 0.6619 0.4757 0.4306 0.3021 0.1975 0.0869 0.7487 0.5250 0.2497
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0028 0.0437 0.4659 0.5495 0.7464 0.3584 0.2870 0.5058 0.7436 0.8007 0.1467 0.0192 0.2463 0.0028 0.7464 0.3584 0.2870
345-AH 0.0000 0.0041 0.0129 0.0535 0.1919 0.0416 0.0672 0.0494 0.1919 1.6148 0.0038 0.0000 0.0494 0.0000 0.0889 0.0202 0.0311
346-AH 0.0034 0.0271 0.0565 0.0720 0.1362 0.0563 0.0424 0.0449 0.1328 0.7535 0.0341 0.0137 0.0281 0.0034 0.1362 0.0563 0.0424
347-AH 0.0000 0.0032 0.0103 0.0377 0.0388 0.0177 0.0174 0.0345 0.0388 0.9842 0.0046 0.0001 0.0153 0.0000 0.0388 0.0177 0.0174
348-AH 0.0000 0.2917 0.7917 1.0000 1.0000 0.6458 0.4381 0.7083 1.0000 0.6784 0.0491 0.0000 0.3542 0.0000 1.0000 0.6458 0.4381
349-AH 0.0010 0.0833 0.4059 0.4631 0.4831 0.2986 0.2088 0.3798 0.4821 0.6994 0.1026 0.0065 0.1820 0.0010 0.4831 0.2986 0.2088
350-AH 0.0204 0.2724 0.5432 0.6180 0.6965 0.4480 0.2642 0.3456 0.6762 0.5896 0.2794 0.0990 0.2072 0.0204 0.6965 0.4480 0.2642
132
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
142-AH 0.0000 0.3750 0.8125 0.9375 1.0000 0.6562 0.4159 0.5625 1.0000 0.6338 0.0506 0.0000 0.3281 0.0000 1.0000 0.6562 0.4159
143-AH 0.0000 0.0000 0.1795 0.5385 0.8205 0.2821 0.3366 0.5385 0.8205 1.1933 0.0023 0.0000 0.2821 0.0000 0.8205 0.2821 0.3366
144-AH 0.0000 0.0000 0.3333 0.5000 0.6667 0.2917 0.2782 0.5000 0.6667 0.9537 0.0080 0.0000 0.2188 0.0000 0.6667 0.2917 0.2782
145-AH 0.0000 0.0789 0.2632 0.4474 0.6316 0.2763 0.2333 0.3684 0.6316 0.8442 0.0623 0.0001 0.2039 0.0000 0.6316 0.2763 0.2333
146-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2500 0.2673 0.5000 0.5000 1.0690 0.0022 0.0000 0.2500 0.0000 0.5000 0.2500 0.2673
147-AH 0.0000 0.0392 0.1373 0.3824 0.5686 0.2108 0.2215 0.3431 0.5686 1.0510 0.0426 0.0001 0.1814 0.0000 0.5686 0.2108 0.2215
148-AH 0.0000 0.0000 0.0000 0.0833 0.1667 0.0417 0.0772 0.0833 0.1667 1.8516 0.0001 0.0000 0.0625 0.0000 0.1667 0.0417 0.0772
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
151-AH 0.0000 0.0000 0.0417 0.0833 0.4167 0.0833 0.1409 0.0833 0.4167 1.6903 0.0011 0.0000 0.0833 0.0000 0.0833 0.0357 0.0445
152-AH 0.0000 0.0000 0.0909 0.2273 0.4545 0.1364 0.1683 0.2273 0.4545 1.2344 0.0016 0.0000 0.1364 0.0000 0.4545 0.1364 0.1683
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.1429 0.2857 0.3810 0.3810 0.2500 0.1500 0.2381 0.3810 0.6002 0.0690 0.0001 0.1161 0.0000 0.3810 0.2500 0.1500
155-AH 0.0000 0.0000 0.0000 0.1667 0.3333 0.0833 0.1543 0.1667 0.3333 1.8516 0.0001 0.0000 0.1250 0.0000 0.3333 0.0833 0.1543
156-AH 0.0000 0.0227 0.0909 0.1591 0.3636 0.1136 0.1215 0.1364 0.3636 1.0690 0.0112 0.0000 0.0909 0.0000 0.3636 0.1136 0.1215
157-AH 0.0791 0.2482 0.4281 0.4496 0.4748 0.3507 0.1646 0.2014 0.3957 0.4693 0.2917 0.2160 0.1322 0.0791 0.4748 0.3507 0.1646
158-AH 0.0000 0.0294 0.2500 0.3529 0.5882 0.2316 0.2052 0.3235 0.5882 0.8861 0.0201 0.0000 0.1590 0.0000 0.5882 0.2316 0.2052
159-AH 0.0000 0.0000 0.0370 0.1296 0.3148 0.0810 0.1111 0.1296 0.3148 1.3711 0.0012 0.0000 0.0828 0.0000 0.3148 0.0810 0.1111
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1250 0.3536 0.0000 1.0000 2.8284 0.0000 0.0000 0.2188 0.0000 0.0000 0.0000 0.0000
163-AH 0.1885 0.3689 0.5205 0.6066 0.6885 0.4836 0.1687 0.2377 0.5000 0.3488 0.4509 0.4108 0.1311 0.1885 0.6885 0.4836 0.1687
164-AH 0.0000 0.0000 0.0000 0.0370 0.2222 0.0370 0.0767 0.0370 0.2222 2.0702 0.0003 0.0000 0.0463 0.0000 0.0370 0.0106 0.0181
165-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
168-AH 0.0000 0.0000 0.1667 0.3889 0.6111 0.2153 0.2457 0.3889 0.6111 1.1411 0.0020 0.0000 0.2153 0.0000 0.6111 0.2153 0.2457
169-AH 0.0000 0.0000 0.0000 0.2500 0.3333 0.1042 0.1527 0.2500 0.3333 1.4658 0.0005 0.0000 0.1302 0.0000 0.3333 0.1042 0.1527
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0000 0.0263 0.0789 0.1579 0.1579 0.0855 0.0686 0.1316 0.1579 0.8015 0.0102 0.0000 0.0592 0.0000 0.1579 0.0855 0.0686
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
174-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8750 0.2315 0.2500 0.5000 0.2645 0.8409 0.8000 0.1875 0.5000 1.0000 0.8750 0.2315
175-AH 0.0000 0.2143 0.5000 0.7143 0.7143 0.4464 0.3000 0.5000 0.7143 0.6721 0.0374 0.0000 0.2321 0.0000 0.7143 0.4464 0.3000
176-AH 0.1795 0.4872 0.6923 0.7308 0.8462 0.6058 0.2273 0.2436 0.6667 0.3752 0.5494 0.4723 0.1747 0.1795 0.8462 0.6058 0.2273
177-AH 0.0000 0.1923 0.3077 0.3462 0.4615 0.2692 0.1424 0.1538 0.4615 0.5290 0.0809 0.0001 0.1058 0.0000 0.4615 0.2692 0.1424
178-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0312 0.0884 0.0000 0.2500 2.8284 0.0000 0.0000 0.0547 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0682 0.2045 0.6818 0.1534 0.2330 0.2045 0.6818 1.5186 0.0016 0.0000 0.1577 0.0000 0.2273 0.0779 0.1007
180-AH 0.0000 0.0000 0.0375 0.5125 0.6500 0.2187 0.2856 0.5125 0.6500 1.3056 0.0018 0.0000 0.2547 0.0000 0.6500 0.2187 0.2856
181-AH 0.0109 0.3478 0.7120 0.7500 0.7826 0.5516 0.3181 0.4022 0.7717 0.5766 0.3215 0.0705 0.2541 0.0109 0.7826 0.5516 0.3181
182-AH 0.0000 0.0000 0.0000 0.2500 0.2500 0.0938 0.1294 0.2500 0.2500 1.3801 0.0004 0.0000 0.1172 0.0000 0.2500 0.0938 0.1294
183-AH 0.0000 0.0000 0.0000 0.2500 0.2500 0.0938 0.1294 0.2500 0.2500 1.3801 0.0004 0.0000 0.1172 0.0000 0.2500 0.0938 0.1294
184-AH 0.0000 0.0000 0.0556 0.2222 0.4444 0.1250 0.1725 0.2222 0.4444 1.3801 0.0014 0.0000 0.1319 0.0000 0.4444 0.1250 0.1725
185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3750 0.5175 1.0000 1.0000 1.3801 0.0007 0.0000 0.4688 0.0000 1.0000 0.3750 0.5175
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.3571 0.7857 0.8571 0.8571 0.6071 0.3799 0.5000 0.8571 0.6257 0.0479 0.0000 0.3036 0.0000 0.8571 0.6071 0.3799
190-AH 0.0000 0.0000 0.0556 0.2222 0.3333 0.1111 0.1328 0.2222 0.3333 1.1952 0.0014 0.0000 0.1111 0.0000 0.3333 0.1111 0.1328
133
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0833 0.1667 0.3333 0.6667 0.2292 0.2171 0.2500 0.6667 0.9473 0.0207 0.0000 0.1615 0.0000 0.6667 0.2292 0.2171
193-AH 0.0000 0.1429 0.2857 0.4286 0.5714 0.2857 0.2020 0.2857 0.5714 0.7071 0.0265 0.0000 0.1429 0.0000 0.5714 0.2857 0.2020
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
197-AH 0.0000 0.2300 0.7700 0.9100 0.9200 0.5925 0.3958 0.6800 0.9200 0.6681 0.0462 0.0000 0.3294 0.0000 0.9200 0.5925 0.3958
198-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1250 0.3536 0.0000 1.0000 2.8284 0.0000 0.0000 0.2188 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.2500 0.4500 0.5500 0.6000 0.3875 0.2232 0.3000 0.6000 0.5760 0.1047 0.0001 0.1688 0.0000 0.6000 0.3875 0.2232
200-AH 0.0000 0.0000 0.0556 0.6111 0.6667 0.2500 0.3185 0.6111 0.6667 1.2738 0.0020 0.0000 0.2847 0.0000 0.6667 0.2500 0.3185
251-AH 0.0000 0.2077 0.4692 0.5308 0.5538 0.3712 0.2351 0.3231 0.5538 0.6335 0.0330 0.0000 0.1856 0.0000 0.5538 0.3712 0.2351
252-AH 0.0000 0.0517 0.1207 0.2414 0.4138 0.1552 0.1497 0.1897 0.4138 0.9650 0.0152 0.0000 0.1121 0.0000 0.4138 0.1552 0.1497
253-AH 0.0211 0.0816 0.2026 0.2684 0.3789 0.1882 0.1240 0.1868 0.3579 0.6589 0.1368 0.0818 0.1026 0.0211 0.3789 0.1882 0.1240
254-AH 0.0044 0.0087 0.0742 0.2445 0.3493 0.1261 0.1449 0.2358 0.3450 1.1488 0.0426 0.0144 0.1174 0.0044 0.3493 0.1261 0.1449
255-AH 0.0000 0.1250 0.2500 0.2500 0.7500 0.2500 0.2315 0.1250 0.7500 0.9258 0.0228 0.0000 0.1250 0.0000 0.2500 0.1786 0.1220
256-AH 0.0000 0.2647 0.6324 0.6912 0.7647 0.4926 0.3116 0.4265 0.7647 0.6324 0.0408 0.0000 0.2463 0.0000 0.7647 0.4926 0.3116
257-AH 0.0000 0.0635 0.1429 0.2143 0.2857 0.1409 0.1023 0.1508 0.2857 0.7263 0.0380 0.0001 0.0813 0.0000 0.2857 0.1409 0.1023
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.3333 0.6667 0.1667 0.2520 0.3333 0.6667 1.5119 0.0005 0.0000 0.2083 0.0000 0.6667 0.1667 0.2520
260-AH 0.0000 0.0000 0.2381 0.4921 0.5079 0.2460 0.2632 0.4921 0.5079 1.0696 0.0022 0.0000 0.2460 0.0000 0.5079 0.2460 0.2632
261-AH 0.0882 0.1029 0.1176 0.1471 0.1765 0.1250 0.0343 0.0441 0.0882 0.2741 0.1212 0.1176 0.0257 0.0882 0.1765 0.1250 0.0343
262-AH 0.0000 0.0176 0.0471 0.0765 0.0941 0.0471 0.0344 0.0588 0.0941 0.7319 0.0154 0.0001 0.0294 0.0000 0.0941 0.0471 0.0344
263-AH 0.0000 0.0104 0.0208 0.2292 0.2917 0.1016 0.1247 0.2188 0.2917 1.2280 0.0078 0.0000 0.1113 0.0000 0.2917 0.1016 0.1247
264-AH 0.0455 0.1818 0.3182 0.5000 0.5909 0.3295 0.2087 0.3182 0.5455 0.6332 0.2356 0.1350 0.1506 0.0455 0.5909 0.3295 0.2087
265-AH 0.0000 0.0000 0.1667 0.2500 0.3333 0.1458 0.1391 0.2500 0.3333 0.9537 0.0052 0.0000 0.1094 0.0000 0.3333 0.1458 0.1391
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.0238 0.1905 0.2857 0.2857 0.1607 0.1369 0.2619 0.2857 0.8520 0.0153 0.0000 0.1250 0.0000 0.2857 0.1607 0.1369
268-AH 0.0000 0.0000 0.1667 0.6667 0.6667 0.2917 0.3303 0.6667 0.6667 1.1326 0.0024 0.0000 0.2917 0.0000 0.6667 0.2917 0.3303
269-AH 0.0000 0.0000 0.0000 0.0000 0.2222 0.0278 0.0786 0.0000 0.2222 2.8284 0.0000 0.0000 0.0486 0.0000 0.0000 0.0000 0.0000
270-AH 0.0175 0.2193 0.4386 0.4912 0.6140 0.3662 0.2160 0.2719 0.5965 0.5897 0.2374 0.0900 0.1656 0.0175 0.6140 0.3662 0.2160
271-AH 0.0000 0.1667 0.4792 0.5417 0.6250 0.3750 0.2460 0.3750 0.6250 0.6560 0.0330 0.0000 0.1979 0.0000 0.6250 0.3750 0.2460
272-AH 0.0000 0.0357 0.1429 0.2857 0.3571 0.1607 0.1416 0.2500 0.3571 0.8809 0.0159 0.0000 0.1116 0.0000 0.3571 0.1607 0.1416
273-AH 0.0120 0.0602 0.3253 0.5904 0.7349 0.3373 0.3027 0.5301 0.7229 0.8972 0.1651 0.0578 0.2771 0.0120 0.7349 0.3373 0.3027
274-AH 0.0000 0.0000 0.0312 0.0625 0.1250 0.0391 0.0465 0.0625 0.1250 1.1904 0.0009 0.0000 0.0391 0.0000 0.1250 0.0391 0.0465
275-AH 0.0000 0.0303 0.1061 0.2576 0.2879 0.1345 0.1189 0.2273 0.2879 0.8840 0.0340 0.0001 0.1004 0.0000 0.2879 0.1345 0.1189
276-AH 0.1186 0.1949 0.3051 0.4492 0.5085 0.3157 0.1499 0.2542 0.3898 0.4750 0.2821 0.2492 0.1292 0.1186 0.5085 0.3157 0.1499
277-AH 0.0385 0.0577 0.0962 0.1731 0.3077 0.1250 0.0914 0.1154 0.2692 0.7309 0.0990 0.0787 0.0697 0.0385 0.3077 0.1250 0.0914
278-AH 0.0000 0.0000 0.0238 0.0714 0.2857 0.0595 0.0978 0.0714 0.2857 1.6423 0.0009 0.0000 0.0655 0.0000 0.0952 0.0272 0.0375
279-AH 0.0000 0.0000 0.0000 0.1250 0.2500 0.0625 0.1157 0.1250 0.2500 1.8516 0.0001 0.0000 0.0938 0.0000 0.2500 0.0625 0.1157
280-AH 0.0000 0.0000 0.0200 0.0400 0.1200 0.0300 0.0414 0.0400 0.1200 1.3801 0.0007 0.0000 0.0300 0.0000 0.0400 0.0171 0.0214
281-AH 0.0000 0.1071 0.2976 0.4405 0.5238 0.2768 0.2008 0.3333 0.5238 0.7255 0.0256 0.0000 0.1637 0.0000 0.5238 0.2768 0.2008
282-AH 0.0323 0.0968 0.2419 0.2903 0.4516 0.2177 0.1387 0.1935 0.4194 0.6372 0.1664 0.1115 0.1069 0.0323 0.4516 0.2177 0.1387
283-AH 0.0000 0.0789 0.1974 0.2763 0.3947 0.1875 0.1381 0.1974 0.3947 0.7367 0.0191 0.0000 0.1086 0.0000 0.3947 0.1875 0.1381
284-AH 0.0000 0.0132 0.1447 0.2763 0.3947 0.1579 0.1554 0.2632 0.3947 0.9840 0.0137 0.0000 0.1316 0.0000 0.3947 0.1579 0.1554
285-AH 0.0725 0.0942 0.1159 0.3261 0.6667 0.2264 0.2104 0.2319 0.5942 0.9293 0.1655 0.1318 0.1599 0.0725 0.6667 0.2264 0.2104
286-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0208 0.0589 0.0000 0.1667 2.8284 0.0000 0.0000 0.0365 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0306 0.1837 0.3571 0.4694 0.2015 0.1869 0.3265 0.4694 0.9272 0.0174 0.0000 0.1658 0.0000 0.4694 0.2015 0.1869
288-AH 0.0000 0.0592 0.1711 0.1908 0.3026 0.1431 0.1025 0.1316 0.3026 0.7164 0.0158 0.0000 0.0777 0.0000 0.3026 0.1431 0.1025
289-AH 0.0000 0.0000 0.2500 0.6111 0.6667 0.2986 0.3225 0.6111 0.6667 1.0800 0.0024 0.0000 0.2986 0.0000 0.6667 0.2986 0.3225
290-AH 0.0000 0.0000 0.0204 0.1429 0.2245 0.0689 0.0987 0.1429 0.2245 1.4336 0.0010 0.0000 0.0778 0.0000 0.2245 0.0689 0.0987
134
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0167 0.1167 0.4000 0.7333 0.2250 0.2689 0.3833 0.7333 1.1951 0.0159 0.0000 0.2146 0.0000 0.7333 0.2250 0.2689
292-AH 0.0000 0.0000 0.0000 0.5000 0.7500 0.2188 0.3116 0.5000 0.7500 1.4245 0.0006 0.0000 0.2734 0.0000 0.7500 0.2188 0.3116
293-AH 0.0000 0.0000 0.2500 0.5441 0.6176 0.2757 0.2974 0.5441 0.6176 1.0787 0.0023 0.0000 0.2757 0.0000 0.6176 0.2757 0.2974
294-AH 0.0000 0.0556 0.2407 0.4074 0.6296 0.2546 0.2304 0.3519 0.6296 0.9048 0.0216 0.0000 0.1991 0.0000 0.6296 0.2546 0.2304
295-AH 0.0000 0.0098 0.0686 0.1471 0.2941 0.0931 0.1036 0.1373 0.2941 1.1126 0.0086 0.0000 0.0833 0.0000 0.2941 0.0931 0.1036
296-AH 0.0000 0.0625 0.2083 0.4375 0.5833 0.2500 0.2271 0.3750 0.5833 0.9085 0.0216 0.0000 0.1875 0.0000 0.5833 0.2500 0.2271
297-AH 0.0000 0.0000 0.0833 0.2083 0.4167 0.1250 0.1606 0.2083 0.4167 1.2848 0.0041 0.0000 0.1250 0.0000 0.4167 0.1250 0.1606
298-AH 0.0000 0.0333 0.0500 0.1167 0.3333 0.0917 0.1065 0.0833 0.3333 1.1622 0.0240 0.0001 0.0729 0.0000 0.1333 0.0571 0.0460
299-AH 0.0132 0.0658 0.1579 0.2368 0.3289 0.1579 0.1132 0.1711 0.3158 0.7169 0.0983 0.0431 0.0921 0.0132 0.3289 0.1579 0.1132
300-AH 0.0000 0.0000 0.0119 0.0714 0.1429 0.0387 0.0524 0.0714 0.1429 1.3537 0.0008 0.0000 0.0424 0.0000 0.1429 0.0387 0.0524
301-AH 0.0000 0.0000 0.0312 0.2812 0.5625 0.1484 0.2138 0.2812 0.5625 1.4400 0.0015 0.0000 0.1699 0.0000 0.5625 0.1484 0.2138
302-AH 0.1176 0.1471 0.2059 0.2647 0.2941 0.2059 0.0703 0.1176 0.1765 0.3415 0.1947 0.1833 0.0588 0.1176 0.2941 0.2059 0.0703
303-AH 0.0000 0.0000 0.1071 0.2143 0.2143 0.1071 0.1010 0.2143 0.2143 0.9428 0.0042 0.0000 0.0893 0.0000 0.2143 0.1071 0.1010
304-AH 0.0000 0.1000 0.2333 0.2667 0.3333 0.1917 0.1257 0.1667 0.3333 0.6557 0.0200 0.0000 0.0958 0.0000 0.3333 0.1917 0.1257
305-AH 0.0000 0.0984 0.2131 0.2131 0.2459 0.1619 0.1008 0.1148 0.2459 0.6229 0.0178 0.0000 0.0809 0.0000 0.2459 0.1619 0.1008
306-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6250 0.5175 1.0000 1.0000 0.8281 0.0133 0.0000 0.4688 0.0000 1.0000 0.6250 0.5175
307-AH 0.0000 0.0065 0.0130 0.0584 0.2727 0.0536 0.0948 0.0519 0.2727 1.7693 0.0041 0.0000 0.0674 0.0000 0.1039 0.0223 0.0365
308-AH 0.0000 0.2273 0.6364 0.6818 0.7273 0.4773 0.3064 0.4545 0.7273 0.6419 0.0397 0.0000 0.2443 0.0000 0.7273 0.4773 0.3064
309-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0375 0.0744 0.0500 0.2000 1.9841 0.0001 0.0000 0.0563 0.0000 0.1000 0.0143 0.0378
310-AH 0.0317 0.0635 0.1032 0.1429 0.1587 0.1012 0.0464 0.0794 0.1270 0.4588 0.0895 0.0763 0.0377 0.0317 0.1587 0.1012 0.0464
311-AH 0.0926 0.1296 0.2222 0.3241 0.3519 0.2245 0.1040 0.1944 0.2593 0.4633 0.2017 0.1796 0.0903 0.0926 0.3519 0.2245 0.1040
312-AH 0.0000 0.0000 0.0484 0.1129 0.6129 0.1169 0.2076 0.1129 0.6129 1.7752 0.0013 0.0000 0.1270 0.0000 0.1290 0.0461 0.0585
313-AH 0.0000 0.0000 0.0250 0.0750 0.2000 0.0500 0.0707 0.0750 0.2000 1.4142 0.0009 0.0000 0.0500 0.0000 0.1000 0.0286 0.0393
314-AH 0.0000 0.0278 0.1111 0.1944 0.2778 0.1181 0.1004 0.1667 0.2778 0.8507 0.0128 0.0000 0.0781 0.0000 0.2778 0.1181 0.1004
315-AH 0.0000 0.0254 0.1102 0.4407 0.5932 0.2182 0.2415 0.4153 0.5932 1.1066 0.0168 0.0000 0.2050 0.0000 0.5932 0.2182 0.2415
316-AH 0.0000 0.0720 0.1653 0.2161 0.2542 0.1451 0.0985 0.1441 0.2542 0.6784 0.0161 0.0000 0.0728 0.0000 0.2542 0.1451 0.0985
317-AH 0.0000 0.0167 0.0333 0.1000 0.2000 0.0625 0.0700 0.0833 0.2000 1.1201 0.0071 0.0000 0.0531 0.0000 0.2000 0.0625 0.0700
318-AH 0.0000 0.0556 0.1111 0.2778 0.4444 0.1667 0.1571 0.2222 0.4444 0.9428 0.0161 0.0000 0.1250 0.0000 0.4444 0.1667 0.1571
319-AH 0.1053 0.1316 0.2105 0.2895 0.4211 0.2237 0.1151 0.1579 0.3158 0.5147 0.1997 0.1791 0.0855 0.1053 0.4211 0.2237 0.1151
320-AH 0.0000 0.0312 0.0625 0.0938 0.1875 0.0703 0.0619 0.0625 0.1875 0.8809 0.0088 0.0000 0.0430 0.0000 0.1875 0.0703 0.0619
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0714 0.1429 0.1786 0.2143 0.1250 0.0832 0.1071 0.2143 0.6657 0.0145 0.0000 0.0625 0.0000 0.2143 0.1250 0.0832
323-AH 0.0000 0.0192 0.0577 0.0769 0.1538 0.0577 0.0504 0.0577 0.1538 0.8729 0.0075 0.0000 0.0385 0.0000 0.1538 0.0577 0.0504
324-AH 0.0000 0.0338 0.0878 0.2230 0.3514 0.1301 0.1253 0.1892 0.3514 0.9634 0.0318 0.0001 0.1030 0.0000 0.3514 0.1301 0.1253
325-AH 0.0328 0.0492 0.0984 0.2131 0.4590 0.1516 0.1445 0.1639 0.4262 0.9526 0.1038 0.0734 0.1076 0.0328 0.4590 0.1516 0.1445
326-AH 0.0000 0.1250 0.5000 0.5000 0.5000 0.3438 0.2290 0.3750 0.5000 0.6663 0.0307 0.0000 0.1953 0.0000 0.5000 0.3438 0.2290
327-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0312 0.0884 0.0000 0.2500 2.8284 0.0000 0.0000 0.0547 0.0000 0.0000 0.0000 0.0000
328-AH 0.0435 0.3261 0.5217 0.5217 0.5652 0.4185 0.1957 0.1957 0.5217 0.4677 0.3331 0.1986 0.1549 0.0435 0.5652 0.4185 0.1957
329-AH 0.0000 0.2059 0.5588 0.5882 0.5882 0.4118 0.2612 0.3824 0.5882 0.6343 0.0357 0.0000 0.2059 0.0000 0.5882 0.4118 0.2612
330-AH 0.0392 0.2941 0.6471 0.6765 0.6863 0.4951 0.2847 0.3824 0.6471 0.5750 0.3204 0.1326 0.2279 0.0392 0.6863 0.4951 0.2847
331-AH 0.0000 0.0294 0.0882 0.2059 0.2941 0.1176 0.1089 0.1765 0.2941 0.9258 0.0122 0.0000 0.0882 0.0000 0.2941 0.1176 0.1089
332-AH 0.0000 0.1250 0.3125 0.3750 0.5000 0.2656 0.1822 0.2500 0.5000 0.6860 0.0252 0.0000 0.1406 0.0000 0.5000 0.2656 0.1822
333-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
334-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1250 0.1488 0.2000 0.4000 1.1904 0.0015 0.0000 0.1250 0.0000 0.4000 0.1250 0.1488
335-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0833 0.0992 0.1333 0.2667 1.1904 0.0013 0.0000 0.0833 0.0000 0.2667 0.0833 0.0992
336-AH 0.0000 0.0000 0.0588 0.1765 0.2941 0.0956 0.1131 0.1765 0.2941 1.1831 0.0036 0.0000 0.0901 0.0000 0.2941 0.0956 0.1131
337-AH 0.0000 0.3000 0.7250 0.7500 0.7500 0.5375 0.3357 0.4500 0.7500 0.6245 0.0437 0.0000 0.2688 0.0000 0.7500 0.5375 0.3357
338-AH 0.0000 0.0500 0.2500 0.6000 0.8000 0.3250 0.3105 0.5500 0.8000 0.9555 0.0253 0.0000 0.2562 0.0000 0.8000 0.3250 0.3105
339-AH 0.0000 0.0263 0.1579 0.3421 0.4737 0.1908 0.1865 0.3158 0.4737 0.9774 0.0159 0.0000 0.1645 0.0000 0.4737 0.1908 0.1865
340-AH 0.0000 0.0000 0.1000 0.4000 0.4000 0.1750 0.1982 0.4000 0.4000 1.1326 0.0018 0.0000 0.1750 0.0000 0.4000 0.1750 0.1982
135
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.2500 0.4167 0.6667 0.6667 0.4167 0.2520 0.4167 0.6667 0.6047 0.1134 0.0001 0.2083 0.0000 0.6667 0.4167 0.2520
342-AH 0.1667 0.4688 0.6406 0.6562 0.7604 0.5573 0.2043 0.1875 0.5938 0.3666 0.5071 0.4375 0.1589 0.3125 0.7604 0.6131 0.1401
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0303 0.0455 0.4697 0.5152 0.6667 0.3447 0.2596 0.4697 0.6364 0.7532 0.1959 0.0868 0.2282 0.0303 0.6667 0.3447 0.2596
345-AH 0.0000 0.0000 0.0000 0.0000 0.2222 0.0278 0.0786 0.0000 0.2222 2.8284 0.0000 0.0000 0.0486 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0455 0.0909 0.1818 0.0568 0.0676 0.0909 0.1818 1.1904 0.0010 0.0000 0.0568 0.0000 0.1818 0.0568 0.0676
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
349-AH 0.0000 0.1296 0.3704 0.4074 0.4444 0.2824 0.1759 0.2778 0.4444 0.6228 0.0733 0.0001 0.1470 0.0000 0.4444 0.2824 0.1759
350-AH 0.0000 0.3500 0.5000 0.6000 0.6000 0.4375 0.2200 0.2500 0.6000 0.5028 0.1235 0.0001 0.1688 0.0000 0.6000 0.4375 0.2200
136
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6250 0.5175 1.0000 1.0000 0.8281 0.0133 0.0000 0.4688 0.0000 1.0000 0.6250 0.5175
142-AH 0.1250 0.5234 0.8281 0.9531 1.0000 0.7168 0.3307 0.4297 0.8750 0.4613 0.5996 0.4352 0.2568 0.1250 1.0000 0.7168 0.3307
143-AH 0.0000 0.0079 0.3060 0.7281 0.9139 0.3748 0.4023 0.7202 0.9139 1.0736 0.0180 0.0000 0.3647 0.0000 0.9139 0.3748 0.4023
144-AH 0.0000 0.0000 0.3889 0.5000 0.6667 0.3056 0.2705 0.5000 0.6667 0.8854 0.0084 0.0000 0.2292 0.0000 0.6667 0.3056 0.2705
145-AH 0.0693 0.2593 0.4259 0.4747 0.6406 0.3787 0.1930 0.2154 0.5713 0.5096 0.3084 0.2198 0.1443 0.0693 0.6406 0.3787 0.1930
146-AH 0.0000 0.0000 0.1250 0.2500 0.2500 0.1250 0.1336 0.2500 0.2500 1.0690 0.0016 0.0000 0.1250 0.0000 0.2500 0.1250 0.1336
147-AH 0.0458 0.1111 0.2293 0.3925 0.6052 0.2646 0.1973 0.2814 0.5594 0.7458 0.1962 0.1371 0.1534 0.0458 0.6052 0.2646 0.1973
148-AH 0.0000 0.0000 0.0000 0.0278 0.1667 0.0278 0.0594 0.0278 0.1667 2.1381 0.0001 0.0000 0.0417 0.0000 0.0556 0.0079 0.0210
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0600 0.1400 0.0325 0.0523 0.0600 0.1400 1.6094 0.0003 0.0000 0.0406 0.0000 0.1400 0.0325 0.0523
151-AH 0.0000 0.0000 0.0382 0.0625 0.3750 0.0720 0.1258 0.0625 0.3750 1.7456 0.0026 0.0000 0.0786 0.0000 0.0833 0.0288 0.0312
152-AH 0.0000 0.0372 0.1653 0.3636 0.4628 0.1994 0.1835 0.3264 0.4628 0.9203 0.0176 0.0000 0.1601 0.0000 0.4628 0.1994 0.1835
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0930 0.1882 0.3073 0.3889 0.4059 0.2834 0.1227 0.2007 0.3129 0.4328 0.2525 0.2162 0.1003 0.0930 0.4059 0.2834 0.1227
155-AH 0.0000 0.0000 0.0000 0.1667 0.4444 0.0972 0.1825 0.1667 0.4444 1.8767 0.0001 0.0000 0.1458 0.0000 0.3333 0.0476 0.1260
156-AH 0.0289 0.0434 0.0847 0.1085 0.5103 0.1265 0.1582 0.0651 0.4814 1.2499 0.0832 0.0639 0.0959 0.0289 0.1157 0.0717 0.0337
157-AH 0.1945 0.3773 0.5467 0.5550 0.5610 0.4642 0.1525 0.1777 0.3666 0.3285 0.4337 0.3953 0.1224 0.1945 0.5610 0.4642 0.1525
158-AH 0.0735 0.2734 0.4035 0.4598 0.5891 0.3670 0.1663 0.1864 0.5156 0.4532 0.3150 0.2425 0.1210 0.0735 0.5891 0.3670 0.1663
159-AH 0.0000 0.0281 0.0679 0.0706 0.2191 0.0691 0.0679 0.0425 0.2191 0.9827 0.0085 0.0000 0.0385 0.0000 0.0706 0.0476 0.0329
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1250 0.3536 0.0000 1.0000 2.8284 0.0000 0.0000 0.2188 0.0000 0.0000 0.0000 0.0000
163-AH 0.3330 0.5660 0.8045 0.8417 0.8639 0.7027 0.2100 0.2757 0.5309 0.2989 0.6667 0.6226 0.1657 0.3330 0.8639 0.7027 0.2100
164-AH 0.0000 0.0041 0.0165 0.0501 0.1907 0.0415 0.0638 0.0460 0.1907 1.5364 0.0042 0.0000 0.0420 0.0000 0.0604 0.0202 0.0224
165-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0200 0.0800 0.1800 0.2000 0.0950 0.0826 0.1600 0.2000 0.8698 0.0106 0.0000 0.0688 0.0000 0.2000 0.0950 0.0826
168-AH 0.0000 0.0000 0.1420 0.2639 0.5926 0.1755 0.2070 0.2639 0.5926 1.1790 0.0052 0.0000 0.1609 0.0000 0.5926 0.1755 0.2070
169-AH 0.0000 0.0000 0.0417 0.1806 0.3333 0.0972 0.1260 0.1806 0.3333 1.2959 0.0013 0.0000 0.1007 0.0000 0.3333 0.0972 0.1260
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0000 0.0042 0.0457 0.0845 0.0997 0.0461 0.0419 0.0803 0.0997 0.9105 0.0108 0.0001 0.0370 0.0000 0.0997 0.0461 0.0419
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
174-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8750 0.2315 0.2500 0.5000 0.2645 0.8409 0.8000 0.1875 0.5000 1.0000 0.8750 0.2315
175-AH 0.0000 0.2041 0.5408 0.6633 0.6939 0.4388 0.2923 0.4592 0.6939 0.6662 0.0370 0.0000 0.2296 0.0000 0.6939 0.4388 0.2923
176-AH 0.3563 0.5401 0.7199 0.8504 0.8928 0.6838 0.2068 0.3103 0.5365 0.3024 0.6501 0.6112 0.1563 0.3563 0.8928 0.6838 0.2068
177-AH 0.0000 0.1923 0.2663 0.2811 0.3787 0.2322 0.1132 0.0888 0.3787 0.4874 0.0722 0.0001 0.0791 0.1479 0.3787 0.2654 0.0684
178-AH 0.0000 0.0000 0.0000 0.0938 0.2500 0.0547 0.0911 0.0938 0.2500 1.6660 0.0003 0.0000 0.0684 0.0000 0.1250 0.0268 0.0492
179-AH 0.0000 0.0000 0.0888 0.1932 0.6612 0.1532 0.2255 0.1932 0.6612 1.4724 0.0016 0.0000 0.1532 0.0000 0.2045 0.0806 0.1008
180-AH 0.0000 0.0041 0.0241 0.5003 0.7656 0.2278 0.3106 0.4963 0.7656 1.3634 0.0099 0.0000 0.2707 0.0000 0.7656 0.2278 0.3106
181-AH 0.1363 0.5380 0.8368 0.8702 0.8878 0.6892 0.3076 0.3322 0.7514 0.4463 0.5831 0.4368 0.2472 0.1363 0.8878 0.6892 0.3076
182-AH 0.0000 0.0000 0.0000 0.1562 0.2500 0.0703 0.1026 0.1562 0.2500 1.4596 0.0004 0.0000 0.0879 0.0000 0.2500 0.0703 0.1026
183-AH 0.0000 0.0000 0.0312 0.1250 0.1875 0.0625 0.0747 0.1250 0.1875 1.1952 0.0011 0.0000 0.0625 0.0000 0.1875 0.0625 0.0747
184-AH 0.0000 0.0000 0.1173 0.1914 0.4444 0.1327 0.1509 0.1914 0.4444 1.1369 0.0046 0.0000 0.1073 0.0000 0.4444 0.1327 0.1509
185-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3750 0.5175 1.0000 1.0000 1.3801 0.0007 0.0000 0.4688 0.0000 1.0000 0.3750 0.5175
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.3776 0.8878 0.9388 0.9592 0.6709 0.4193 0.5612 0.9592 0.6250 0.0516 0.0000 0.3355 0.0000 0.9592 0.6709 0.4193
190-AH 0.0000 0.0000 0.0370 0.1975 0.2963 0.0957 0.1186 0.1975 0.2963 1.2391 0.0013 0.0000 0.1011 0.0000 0.2963 0.0957 0.1186
137
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0833 0.1250 0.1389 0.3750 0.8056 0.2708 0.2461 0.2500 0.7222 0.9087 0.2020 0.1625 0.1858 0.0833 0.4167 0.1944 0.1273
193-AH 0.0000 0.1327 0.2857 0.3367 0.6531 0.2704 0.2095 0.2041 0.6531 0.7747 0.0251 0.0000 0.1365 0.0000 0.3878 0.2157 0.1527
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
197-AH 0.0000 0.2752 0.8300 0.9482 0.9644 0.6339 0.4113 0.6730 0.9644 0.6489 0.1243 0.0001 0.3378 0.0000 0.9644 0.6339 0.4113
198-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1250 0.3536 0.0000 1.0000 2.8284 0.0000 0.0000 0.2188 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.1900 0.4550 0.5100 0.5600 0.3588 0.2136 0.3200 0.5600 0.5955 0.0948 0.0001 0.1741 0.0000 0.5600 0.3588 0.2136
200-AH 0.0000 0.0000 0.0370 0.5802 0.7284 0.2454 0.3225 0.5802 0.7284 1.3144 0.0019 0.0000 0.2882 0.0000 0.7284 0.2454 0.3225
251-AH 0.0833 0.2927 0.5221 0.5612 0.5941 0.4287 0.2155 0.2685 0.5108 0.5027 0.3397 0.2280 0.1727 0.0833 0.5941 0.4287 0.2155
252-AH 0.0713 0.1023 0.1522 0.2461 0.3841 0.1821 0.1132 0.1439 0.3127 0.6217 0.1555 0.1346 0.0864 0.0713 0.3841 0.1821 0.1132
253-AH 0.0961 0.1652 0.3567 0.5552 0.5612 0.3514 0.1971 0.3899 0.4652 0.5609 0.2898 0.2264 0.1659 0.0961 0.5612 0.3514 0.1971
254-AH 0.0319 0.0524 0.1581 0.4357 0.5778 0.2378 0.2260 0.3833 0.5458 0.9505 0.1413 0.0850 0.1852 0.0319 0.5778 0.2378 0.2260
255-AH 0.0000 0.1250 0.2500 0.2500 0.6250 0.2344 0.1941 0.1250 0.6250 0.8281 0.0223 0.0000 0.1172 0.0000 0.2500 0.1786 0.1220
256-AH 0.0000 0.3127 0.7305 0.7889 0.8166 0.5601 0.3515 0.4762 0.8166 0.6275 0.0450 0.0000 0.2801 0.0000 0.8166 0.5601 0.3515
257-AH 0.0307 0.0882 0.1704 0.2187 0.2237 0.1511 0.0755 0.1305 0.1930 0.4993 0.1278 0.0986 0.0650 0.0307 0.2237 0.1511 0.0755
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.3333 0.5556 0.1528 0.2217 0.3333 0.5556 1.4513 0.0005 0.0000 0.1910 0.0000 0.5556 0.1528 0.2217
260-AH 0.0776 0.2514 0.4902 0.6008 0.6440 0.4258 0.2235 0.3493 0.5664 0.5248 0.3429 0.2421 0.1795 0.0776 0.6440 0.4258 0.2235
261-AH 0.0753 0.0956 0.1808 0.1951 0.2154 0.1542 0.0560 0.0995 0.1401 0.3631 0.1437 0.1325 0.0490 0.0753 0.2154 0.1542 0.0560
262-AH 0.0291 0.0328 0.0716 0.2444 0.3720 0.1373 0.1385 0.2116 0.3430 1.0083 0.0850 0.0572 0.1122 0.0291 0.3720 0.1373 0.1385
263-AH 0.0000 0.0052 0.0686 0.2062 0.2930 0.1066 0.1163 0.2010 0.2930 1.0910 0.0093 0.0000 0.0964 0.0000 0.2930 0.1066 0.1163
264-AH 0.0930 0.2159 0.3254 0.4928 0.5640 0.3407 0.1712 0.2769 0.4711 0.5026 0.2954 0.2451 0.1366 0.0930 0.5640 0.3407 0.1712
265-AH 0.0000 0.0000 0.1250 0.1667 0.3056 0.1111 0.1081 0.1667 0.3056 0.9728 0.0044 0.0000 0.0833 0.0000 0.3056 0.1111 0.1081
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.0170 0.1247 0.2177 0.2245 0.1179 0.1047 0.2007 0.2245 0.8880 0.0118 0.0000 0.0964 0.0000 0.2245 0.1179 0.1047
268-AH 0.0000 0.0000 0.1111 0.5556 0.6667 0.2500 0.2955 0.5556 0.6667 1.1819 0.0022 0.0000 0.2569 0.0000 0.6667 0.2500 0.2955
269-AH 0.0000 0.0000 0.0000 0.0988 0.1235 0.0401 0.0559 0.0988 0.1235 1.3931 0.0003 0.0000 0.0502 0.0000 0.1235 0.0401 0.0559
270-AH 0.2515 0.3832 0.5494 0.6054 0.6310 0.4948 0.1480 0.2222 0.3795 0.2991 0.4709 0.4431 0.1166 0.2515 0.6310 0.4948 0.1480
271-AH 0.0642 0.1536 0.4809 0.5764 0.6285 0.3893 0.2313 0.4227 0.5642 0.5942 0.2915 0.1857 0.1991 0.0642 0.6285 0.3893 0.2313
272-AH 0.0000 0.0510 0.1760 0.2296 0.2908 0.1505 0.1085 0.1786 0.2908 0.7209 0.0162 0.0000 0.0874 0.0000 0.2908 0.1505 0.1085
273-AH 0.1404 0.1634 0.4367 0.7084 0.7763 0.4417 0.2968 0.5449 0.6359 0.6719 0.3432 0.2653 0.2757 0.1404 0.7763 0.4417 0.2968
274-AH 0.0000 0.0098 0.0469 0.1074 0.1484 0.0596 0.0576 0.0977 0.1484 0.9668 0.0071 0.0000 0.0461 0.0000 0.1484 0.0596 0.0576
275-AH 0.0556 0.1311 0.1728 0.3145 0.3556 0.2060 0.1101 0.1834 0.3000 0.5345 0.1771 0.1470 0.0917 0.0556 0.3556 0.2060 0.1101
276-AH 0.3390 0.3513 0.3855 0.4479 0.5070 0.4019 0.0626 0.0965 0.1681 0.1558 0.3979 0.3941 0.0492 0.3390 0.5070 0.4019 0.0626
277-AH 0.0385 0.0858 0.1302 0.1524 0.2189 0.1243 0.0572 0.0666 0.1805 0.4601 0.1098 0.0931 0.0407 0.0385 0.2189 0.1243 0.0572
278-AH 0.0000 0.0000 0.0227 0.0794 0.1905 0.0493 0.0684 0.0794 0.1905 1.3862 0.0009 0.0000 0.0503 0.0000 0.1905 0.0493 0.0684
279-AH 0.0000 0.0000 0.0000 0.0938 0.1875 0.0469 0.0868 0.0938 0.1875 1.8516 0.0001 0.0000 0.0703 0.0000 0.1875 0.0469 0.0868
280-AH 0.0000 0.0208 0.0312 0.0368 0.0944 0.0340 0.0274 0.0160 0.0944 0.8056 0.0123 0.0001 0.0170 0.0000 0.0416 0.0254 0.0134
281-AH 0.0000 0.0882 0.2647 0.3991 0.4512 0.2444 0.1786 0.3109 0.4512 0.7307 0.0629 0.0001 0.1582 0.0000 0.4512 0.2444 0.1786
282-AH 0.0666 0.0926 0.2601 0.2763 0.3642 0.2111 0.1114 0.1837 0.2976 0.5278 0.1781 0.1440 0.0954 0.0666 0.3642 0.2111 0.1114
283-AH 0.0069 0.0897 0.2341 0.3466 0.3961 0.2180 0.1512 0.2569 0.3892 0.6937 0.1097 0.0257 0.1210 0.0069 0.3961 0.2180 0.1512
284-AH 0.0000 0.0755 0.2943 0.3127 0.4848 0.2312 0.1687 0.2372 0.4848 0.7294 0.0223 0.0000 0.1357 0.0000 0.4848 0.2312 0.1687
285-AH 0.2140 0.2591 0.2899 0.4743 0.7515 0.3765 0.1882 0.2152 0.5375 0.4998 0.3438 0.3195 0.1426 0.2140 0.7515 0.3765 0.1882
286-AH 0.0000 0.0000 0.0000 0.0000 0.0694 0.0087 0.0246 0.0000 0.0694 2.8284 0.0000 0.0000 0.0152 0.0000 0.0000 0.0000 0.0000
287-AH 0.0079 0.0402 0.1766 0.3332 0.4277 0.1920 0.1716 0.2930 0.4198 0.8942 0.0992 0.0383 0.1562 0.0079 0.4277 0.1920 0.1716
288-AH 0.1018 0.1343 0.2447 0.2918 0.3904 0.2292 0.1012 0.1575 0.2886 0.4415 0.2077 0.1858 0.0793 0.1018 0.3904 0.2292 0.1012
289-AH 0.0000 0.0000 0.2531 0.6080 0.6883 0.3013 0.3263 0.6080 0.6883 1.0829 0.0024 0.0000 0.3013 0.0000 0.6883 0.3013 0.3263
290-AH 0.0000 0.0094 0.0514 0.1464 0.2007 0.0769 0.0804 0.1370 0.2007 1.0453 0.0160 0.0001 0.0657 0.0000 0.2007 0.0769 0.0804
138
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0267 0.0661 0.5461 0.7456 0.2529 0.3073 0.5194 0.7456 1.2151 0.0319 0.0001 0.2698 0.0000 0.7456 0.2529 0.3073
292-AH 0.0000 0.0000 0.1562 0.5000 0.8750 0.2734 0.3238 0.5000 0.8750 1.1842 0.0066 0.0000 0.2637 0.0000 0.8750 0.2734 0.3238
293-AH 0.0000 0.0930 0.3417 0.5476 0.6635 0.3285 0.2657 0.4546 0.6635 0.8087 0.0277 0.0000 0.2333 0.0000 0.6635 0.3285 0.2657
294-AH 0.0521 0.0878 0.2092 0.2949 0.6639 0.2375 0.2002 0.2071 0.6118 0.8430 0.1732 0.1256 0.1452 0.0521 0.3100 0.1766 0.1101
295-AH 0.0169 0.0442 0.1255 0.2026 0.2476 0.1262 0.0922 0.1584 0.2307 0.7307 0.0853 0.0494 0.0816 0.0169 0.2476 0.1262 0.0922
296-AH 0.0000 0.0755 0.1927 0.4080 0.5608 0.2391 0.2139 0.3325 0.5608 0.8946 0.0574 0.0001 0.1740 0.0000 0.5608 0.2391 0.2139
297-AH 0.0000 0.0000 0.0799 0.1667 0.3403 0.1042 0.1260 0.1667 0.3403 1.2100 0.0038 0.0000 0.0955 0.0000 0.3403 0.1042 0.1260
298-AH 0.0289 0.0800 0.1239 0.1400 0.2933 0.1263 0.0803 0.0600 0.2644 0.6364 0.1028 0.0790 0.0488 0.0289 0.1467 0.1024 0.0471
299-AH 0.0132 0.1184 0.2208 0.3856 0.4198 0.2353 0.1541 0.2671 0.4067 0.6550 0.1587 0.0691 0.1255 0.0132 0.4198 0.2353 0.1541
300-AH 0.0000 0.0105 0.0536 0.0799 0.0935 0.0477 0.0369 0.0694 0.0935 0.7737 0.0066 0.0000 0.0305 0.0000 0.0935 0.0477 0.0369
301-AH 0.0000 0.0000 0.0586 0.2324 0.5000 0.1353 0.1872 0.2324 0.5000 1.3840 0.0015 0.0000 0.1404 0.0000 0.5000 0.1353 0.1872
302-AH 0.1349 0.1540 0.1903 0.2232 0.2457 0.1894 0.0427 0.0692 0.1107 0.2253 0.1851 0.1807 0.0346 0.1349 0.2457 0.1894 0.0427
303-AH 0.0000 0.0000 0.0918 0.1786 0.1939 0.0918 0.0860 0.1786 0.1939 0.9367 0.0039 0.0000 0.0740 0.0000 0.1939 0.0918 0.0860
304-AH 0.0000 0.1044 0.2600 0.2822 0.3111 0.2006 0.1275 0.1778 0.3111 0.6355 0.0208 0.0000 0.1003 0.0000 0.3111 0.2006 0.1275
305-AH 0.0000 0.0980 0.1960 0.2212 0.2378 0.1585 0.0952 0.1232 0.2378 0.6008 0.0433 0.0001 0.0754 0.0000 0.2378 0.1585 0.0952
306-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6250 0.5175 1.0000 1.0000 0.8281 0.0133 0.0000 0.4688 0.0000 1.0000 0.6250 0.5175
307-AH 0.0121 0.0541 0.0901 0.1553 0.2763 0.1109 0.0888 0.1012 0.2641 0.8011 0.0796 0.0497 0.0669 0.0121 0.2763 0.1109 0.0888
308-AH 0.2479 0.4421 0.6612 0.6983 0.7273 0.5723 0.2024 0.2562 0.4793 0.3536 0.5282 0.4733 0.1622 0.2479 0.7273 0.5723 0.2024
309-AH 0.0000 0.0000 0.0000 0.0400 0.1800 0.0325 0.0658 0.0400 0.1800 2.0260 0.0001 0.0000 0.0488 0.0000 0.0800 0.0114 0.0302
310-AH 0.0705 0.0950 0.1144 0.1255 0.1471 0.1109 0.0241 0.0305 0.0766 0.2172 0.1085 0.1058 0.0181 0.0705 0.1471 0.1109 0.0241
311-AH 0.1197 0.1881 0.2527 0.2848 0.3892 0.2450 0.0889 0.0967 0.2695 0.3628 0.2290 0.2116 0.0608 0.1197 0.3892 0.2450 0.0889
312-AH 0.0021 0.0421 0.0937 0.1098 0.5505 0.1305 0.1753 0.0676 0.5484 1.3433 0.0515 0.0110 0.1050 0.0021 0.1103 0.0705 0.0472
313-AH 0.0000 0.0163 0.0412 0.1225 0.2700 0.0787 0.0959 0.1062 0.2700 1.2180 0.0080 0.0000 0.0731 0.0000 0.2700 0.0787 0.0959
314-AH 0.0000 0.0108 0.0556 0.0972 0.1420 0.0586 0.0527 0.0864 0.1420 0.8994 0.0073 0.0000 0.0432 0.0000 0.1420 0.0586 0.0527
315-AH 0.0198 0.1080 0.2603 0.4912 0.5720 0.2889 0.2128 0.3832 0.5521 0.7367 0.1798 0.0799 0.1727 0.0198 0.5720 0.2889 0.2128
316-AH 0.0000 0.0770 0.1560 0.2477 0.2925 0.1567 0.1097 0.1707 0.2925 0.6999 0.0169 0.0000 0.0794 0.0000 0.2925 0.1567 0.1097
317-AH 0.0000 0.0117 0.0378 0.0956 0.1411 0.0539 0.0523 0.0839 0.1411 0.9699 0.0135 0.0001 0.0426 0.0000 0.1411 0.0539 0.0523
318-AH 0.0000 0.0741 0.1296 0.2407 0.4198 0.1636 0.1360 0.1667 0.4198 0.8314 0.0454 0.0001 0.1026 0.0000 0.4198 0.1636 0.1360
319-AH 0.1108 0.1260 0.1662 0.2590 0.3546 0.1960 0.0941 0.1330 0.2438 0.4800 0.1793 0.1663 0.0731 0.1108 0.3546 0.1960 0.0941
320-AH 0.0000 0.0195 0.0449 0.0703 0.1211 0.0488 0.0395 0.0508 0.1211 0.8091 0.0159 0.0001 0.0312 0.0000 0.1211 0.0488 0.0395
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0561 0.1327 0.2372 0.3316 0.1480 0.1272 0.1811 0.3316 0.8596 0.0154 0.0000 0.0918 0.0000 0.3316 0.1480 0.1272
323-AH 0.0000 0.0089 0.0392 0.0592 0.1095 0.0405 0.0367 0.0503 0.1095 0.9068 0.0056 0.0000 0.0287 0.0000 0.1095 0.0405 0.0367
324-AH 0.0418 0.0521 0.1100 0.2222 0.3798 0.1488 0.1184 0.1701 0.3380 0.7958 0.1118 0.0855 0.0945 0.0418 0.3798 0.1488 0.1184
325-AH 0.0895 0.1707 0.3187 0.3983 0.5141 0.2974 0.1537 0.2276 0.4246 0.5168 0.2521 0.2025 0.1273 0.0895 0.5141 0.2974 0.1537
326-AH 0.0000 0.0625 0.3125 0.4375 0.5000 0.2656 0.2025 0.3750 0.5000 0.7624 0.0241 0.0000 0.1719 0.0000 0.5000 0.2656 0.2025
327-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0312 0.0884 0.0000 0.2500 2.8284 0.0000 0.0000 0.0547 0.0000 0.0000 0.0000 0.0000
328-AH 0.1493 0.2996 0.4887 0.5397 0.5841 0.4237 0.1723 0.2401 0.4348 0.4066 0.3793 0.3242 0.1339 0.1493 0.5841 0.4237 0.1723
329-AH 0.1211 0.2664 0.5104 0.5917 0.6159 0.4343 0.2031 0.3253 0.4948 0.4677 0.3719 0.2964 0.1622 0.1211 0.6159 0.4343 0.2031
330-AH 0.1234 0.4621 0.7709 0.7793 0.7912 0.6174 0.2805 0.3172 0.6678 0.4543 0.5189 0.3860 0.2258 0.1234 0.7912 0.6174 0.2805
331-AH 0.0000 0.0294 0.0588 0.1263 0.1903 0.0774 0.0648 0.0969 0.1903 0.8371 0.0232 0.0001 0.0527 0.0000 0.1903 0.0774 0.0648
332-AH 0.0000 0.0781 0.2578 0.3203 0.3906 0.2129 0.1492 0.2422 0.3906 0.7006 0.0212 0.0000 0.1206 0.0000 0.3906 0.2129 0.1492
333-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
334-AH 0.0000 0.0000 0.0400 0.2200 0.2800 0.1000 0.1209 0.2200 0.2800 1.2095 0.0013 0.0000 0.1050 0.0000 0.2800 0.1000 0.1209
335-AH 0.0000 0.0422 0.0822 0.1489 0.1689 0.0894 0.0629 0.1067 0.1689 0.7034 0.0282 0.0001 0.0539 0.0000 0.1689 0.0894 0.0629
336-AH 0.0000 0.0208 0.0519 0.1471 0.2664 0.0882 0.0947 0.1263 0.2664 1.0738 0.0094 0.0000 0.0740 0.0000 0.2664 0.0882 0.0947
337-AH 0.0000 0.3175 0.7187 0.7862 0.7975 0.5553 0.3468 0.4687 0.7975 0.6245 0.0448 0.0000 0.2777 0.0000 0.7975 0.5553 0.3468
338-AH 0.0000 0.0550 0.1900 0.5700 0.8000 0.3038 0.3071 0.5150 0.8000 1.0110 0.0237 0.0000 0.2572 0.0000 0.8000 0.3038 0.3071
339-AH 0.0000 0.0651 0.1427 0.3075 0.4543 0.1856 0.1577 0.2424 0.4543 0.8499 0.0483 0.0001 0.1281 0.0000 0.4543 0.1856 0.1577
340-AH 0.0000 0.1000 0.1800 0.2800 0.3600 0.1850 0.1227 0.1800 0.3600 0.6633 0.0545 0.0001 0.1050 0.0000 0.3600 0.1850 0.1227
139
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.2361 0.4306 0.6528 0.6667 0.4132 0.2513 0.4167 0.6667 0.6082 0.1114 0.0001 0.2049 0.0000 0.6667 0.4132 0.2513
342-AH 0.2837 0.5675 0.7392 0.7786 0.8413 0.6620 0.1945 0.2111 0.5575 0.2938 0.6280 0.5841 0.1499 0.2837 0.8413 0.6620 0.1945
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0753 0.2034 0.4610 0.5230 0.6915 0.3927 0.2147 0.3196 0.6162 0.5469 0.3166 0.2283 0.1740 0.0753 0.6915 0.3927 0.2147
345-AH 0.0000 0.0000 0.0000 0.0000 0.1975 0.0247 0.0698 0.0000 0.1975 2.8284 0.0000 0.0000 0.0432 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0083 0.0455 0.1074 0.0269 0.0382 0.0455 0.1074 1.4220 0.0007 0.0000 0.0294 0.0000 0.1074 0.0269 0.0382
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
349-AH 0.0590 0.1392 0.3107 0.3697 0.4252 0.2654 0.1370 0.2305 0.3663 0.5160 0.2202 0.1674 0.1147 0.0590 0.4252 0.2654 0.1370
350-AH 0.1600 0.3100 0.4850 0.5600 0.6600 0.4413 0.1819 0.2500 0.5000 0.4121 0.3966 0.3430 0.1359 0.1600 0.6600 0.4413 0.1819
140
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0233 0.5333 1.0000 1.0000 1.0000 0.7612 0.4422 0.4667 0.9767 0.5810 0.4455 0.1250 0.3581 0.0233 1.0000 0.7612 0.4422
143-AH 0.0000 0.0105 0.5114 1.0000 1.0000 0.5055 0.5287 0.9895 1.0000 1.0460 0.0216 0.0000 0.4945 0.0000 1.0000 0.5055 0.5287
144-AH 0.0015 0.0878 0.5833 1.0000 1.0000 0.5430 0.4414 0.9122 0.9985 0.8129 0.1719 0.0103 0.3737 0.0015 1.0000 0.5430 0.4414
145-AH 0.0127 0.1629 0.7000 1.0000 1.0000 0.5923 0.4531 0.8371 0.9873 0.7649 0.2953 0.0702 0.4077 0.0127 1.0000 0.5923 0.4531
146-AH 0.0000 0.0714 0.3500 0.5000 0.5000 0.2929 0.2312 0.4286 0.5000 0.7896 0.0255 0.0000 0.2071 0.0000 0.5000 0.2929 0.2312
147-AH 0.0133 0.0810 0.6250 1.0000 1.0000 0.5532 0.4823 0.9190 0.9867 0.8719 0.2604 0.0737 0.4468 0.0133 1.0000 0.5532 0.4823
148-AH 0.0000 0.0000 0.0556 0.1625 1.0000 0.1795 0.3402 0.1625 1.0000 1.8951 0.0015 0.0000 0.2102 0.0000 0.2000 0.0623 0.0825
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0168 0.0269 0.0467 0.1911 0.4000 0.1183 0.1361 0.1642 0.3832 1.1504 0.0651 0.0401 0.1069 0.0168 0.4000 0.1183 0.1361
151-AH 0.0000 0.0049 0.0750 0.4455 1.0000 0.2563 0.4025 0.4406 1.0000 1.5702 0.0119 0.0000 0.3218 0.0000 1.0000 0.2563 0.4025
152-AH 0.0000 0.0019 0.5013 1.0000 1.0000 0.5008 0.5337 0.9981 1.0000 1.0657 0.0234 0.0001 0.4992 0.0000 1.0000 0.5008 0.5337
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0132 0.3333 1.0000 1.0000 1.0000 0.7100 0.4218 0.6667 0.9868 0.5941 0.4269 0.0904 0.3625 0.0132 1.0000 0.7100 0.4218
155-AH 0.0000 0.0034 0.0161 0.4500 1.0000 0.2424 0.3666 0.4466 1.0000 1.5125 0.0085 0.0000 0.2932 0.0000 1.0000 0.2424 0.3666
156-AH 0.0178 0.1621 0.3333 0.7500 1.0000 0.4386 0.3811 0.5879 0.9822 0.8690 0.2395 0.0835 0.2961 0.0178 1.0000 0.4386 0.3811
157-AH 0.3333 0.5962 1.0000 1.0000 1.0000 0.8157 0.2719 0.4038 0.6667 0.3333 0.7634 0.6990 0.2304 0.3333 1.0000 0.8157 0.2719
158-AH 0.0109 0.0677 0.6667 1.0000 1.0000 0.5599 0.4458 0.9323 0.9891 0.7961 0.2578 0.0608 0.3834 0.0109 1.0000 0.5599 0.4458
159-AH 0.0000 0.0023 0.2255 1.0000 1.0000 0.4319 0.4935 0.9977 1.0000 1.1426 0.0138 0.0000 0.4292 0.0000 1.0000 0.4319 0.4935
160-AH 0.0000 0.0020 0.0356 0.1181 0.1667 0.0598 0.0673 0.1160 0.1667 1.1254 0.0048 0.0000 0.0576 0.0000 0.1667 0.0598 0.0673
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9375 0.1768 0.0000 0.5000 0.1886 0.9170 0.8889 0.1094 1.0000 1.0000 1.0000 0.0000
164-AH 0.0000 0.0095 0.0267 0.0427 0.2500 0.0510 0.0821 0.0333 0.2500 1.6113 0.0107 0.0001 0.0498 0.0000 0.0455 0.0225 0.0180
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.1250 0.3095 0.7500 1.0000 0.4211 0.3940 0.6250 1.0000 0.9355 0.0323 0.0000 0.3092 0.0000 1.0000 0.4211 0.3940
168-AH 0.0000 0.0000 0.2172 0.4482 1.0000 0.2913 0.3599 0.4482 1.0000 1.2353 0.0052 0.0000 0.2899 0.0000 1.0000 0.2913 0.3599
169-AH 0.0141 0.0207 0.0903 0.5000 1.0000 0.2795 0.3575 0.4793 0.9859 1.2791 0.1006 0.0402 0.2904 0.0141 1.0000 0.2795 0.3575
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0303 0.0671 0.1465 0.2778 0.5000 0.1891 0.1612 0.2107 0.4697 0.8522 0.1292 0.0831 0.1220 0.0303 0.5000 0.1891 0.1612
172-AH 0.0035 0.0128 0.0532 0.0941 0.1053 0.0536 0.0440 0.0813 0.1018 0.8203 0.0313 0.0144 0.0402 0.0035 0.1053 0.0536 0.0440
173-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.8000 0.3703 0.4000 0.8000 0.4629 0.6687 0.5000 0.3000 0.2000 1.0000 0.8000 0.3703
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9375 0.1768 0.0000 0.5000 0.1886 0.9170 0.8889 0.1094 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.0242 0.3214 0.5500 0.9000 1.0000 0.5709 0.3531 0.5786 0.9758 0.6186 0.3898 0.1448 0.2791 0.0242 1.0000 0.5709 0.3531
178-AH 0.0000 0.0000 0.0357 0.1556 1.0000 0.1728 0.3420 0.1556 1.0000 1.9787 0.0014 0.0000 0.2136 0.0000 0.2000 0.0546 0.0780
179-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
180-AH 0.0000 0.0253 0.0813 0.9000 1.0000 0.3766 0.4665 0.8747 1.0000 1.2386 0.0467 0.0001 0.4175 0.0000 1.0000 0.3766 0.4665
181-AH 0.0241 0.5500 1.0000 1.0000 1.0000 0.7655 0.4347 0.4500 0.9759 0.5678 0.4707 0.1391 0.3517 0.0241 1.0000 0.7655 0.4347
182-AH 0.0000 0.0428 0.1244 0.4167 1.0000 0.2710 0.3410 0.3739 1.0000 1.2585 0.0380 0.0001 0.2551 0.0000 0.5000 0.1668 0.1855
183-AH 0.0250 0.1556 0.2967 0.3542 0.5000 0.2672 0.1511 0.1986 0.4750 0.5652 0.2044 0.1169 0.1164 0.0250 0.5000 0.2672 0.1511
184-AH 0.0082 0.0285 0.1548 0.2875 1.0000 0.2437 0.3285 0.2590 0.9918 1.3480 0.1003 0.0356 0.2219 0.0082 0.3750 0.1357 0.1303
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
190-AH 0.0000 0.0000 0.1007 0.4167 0.7500 0.2231 0.2842 0.4167 0.7500 1.2741 0.0037 0.0000 0.2285 0.0000 0.7500 0.2231 0.2842
141
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0690 0.1625 0.3750 1.0000 1.0000 0.5180 0.4207 0.8375 0.9310 0.8121 0.3358 0.1959 0.3615 0.0690 1.0000 0.5180 0.4207
193-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.5010 1.0000 1.0000 1.0000 0.7502 0.4625 0.4990 1.0000 0.6164 0.1085 0.0001 0.3746 0.0000 1.0000 0.7502 0.4625
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0182 0.3500 1.0000 1.0000 1.0000 0.7148 0.4146 0.6500 0.9818 0.5800 0.4544 0.1194 0.3565 0.0182 1.0000 0.7148 0.4146
200-AH 0.0000 0.0070 0.1500 1.0000 1.0000 0.4142 0.4917 0.9930 1.0000 1.1870 0.0191 0.0000 0.4393 0.0000 1.0000 0.4142 0.4917
251-AH 0.0175 0.5088 1.0000 1.0000 1.0000 0.7544 0.4548 0.4912 0.9825 0.6029 0.3639 0.0667 0.3684 0.0175 1.0000 0.7544 0.4548
252-AH 0.0192 0.3490 1.0000 1.0000 1.0000 0.7146 0.4408 0.6510 0.9808 0.6168 0.3761 0.0884 0.3567 0.0192 1.0000 0.7146 0.4408
253-AH 0.0286 0.4034 0.8167 1.0000 1.0000 0.6836 0.4076 0.5966 0.9714 0.5962 0.4108 0.1347 0.3205 0.0286 1.0000 0.6836 0.4076
254-AH 0.0089 0.0219 0.1497 0.3788 0.6250 0.2168 0.2326 0.3569 0.6161 1.0729 0.0864 0.0320 0.1955 0.0089 0.6250 0.2168 0.2326
255-AH 0.0213 0.1818 1.0000 1.0000 1.0000 0.6731 0.4610 0.8182 0.9787 0.6849 0.3480 0.0909 0.4086 0.0213 1.0000 0.6731 0.4610
256-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
257-AH 0.0161 0.1214 0.3058 1.0000 1.0000 0.4838 0.4462 0.8786 0.9839 0.9222 0.2514 0.0881 0.3871 0.0161 1.0000 0.4838 0.4462
258-AH 0.0000 0.0000 0.0007 0.0023 0.0139 0.0025 0.0047 0.0023 0.0139 1.8962 0.0002 0.0000 0.0030 0.0000 0.0030 0.0009 0.0012
259-AH 0.0000 0.0014 0.1010 1.0000 1.0000 0.4006 0.5009 0.9986 1.0000 1.2503 0.0172 0.0001 0.4496 0.0000 1.0000 0.4006 0.5009
260-AH 0.0125 0.0334 0.5284 1.0000 1.0000 0.5170 0.5166 0.9666 0.9875 0.9992 0.1655 0.0431 0.4830 0.0125 1.0000 0.5170 0.5166
261-AH 0.2500 0.4167 0.7500 1.0000 1.0000 0.6979 0.3331 0.5833 0.7500 0.4773 0.6164 0.5333 0.3021 0.2500 1.0000 0.6979 0.3331
262-AH 0.0116 0.0451 0.1000 1.0000 1.0000 0.4127 0.4876 0.9549 0.9884 1.1814 0.1435 0.0489 0.4404 0.0116 1.0000 0.4127 0.4876
263-AH 0.0000 0.0313 0.1875 0.3208 0.5000 0.1974 0.1821 0.2895 0.5000 0.9222 0.0177 0.0000 0.1505 0.0000 0.5000 0.1974 0.1821
264-AH 0.1268 0.2944 0.7500 1.0000 1.0000 0.6520 0.3740 0.7056 0.8732 0.5737 0.5060 0.3443 0.3101 0.1268 1.0000 0.6520 0.3740
265-AH 0.0000 0.0952 0.2738 0.7500 1.0000 0.4048 0.4023 0.6548 1.0000 0.9938 0.0301 0.0000 0.3214 0.0000 1.0000 0.4048 0.4023
266-AH 0.0000 0.0152 0.0649 0.1241 0.1739 0.0728 0.0670 0.1088 0.1739 0.9204 0.0174 0.0001 0.0577 0.0000 0.1739 0.0728 0.0670
267-AH 0.0000 0.0556 0.6667 1.0000 1.0000 0.5556 0.4861 0.9444 1.0000 0.8751 0.0372 0.0000 0.4444 0.0000 1.0000 0.5556 0.4861
268-AH 0.0000 0.0044 0.1732 1.0000 1.0000 0.4194 0.4934 0.9956 1.0000 1.1765 0.0158 0.0000 0.4355 0.0000 1.0000 0.4194 0.4934
269-AH 0.0159 0.0215 0.0349 0.0478 0.2857 0.0638 0.0906 0.0263 0.2698 1.4212 0.0391 0.0304 0.0555 0.0159 0.0556 0.0320 0.0139
270-AH 0.0308 0.5273 1.0000 1.0000 1.0000 0.7607 0.4432 0.4727 0.9692 0.5827 0.4499 0.1408 0.3590 0.0308 1.0000 0.7607 0.4432
271-AH 0.0374 0.5312 1.0000 1.0000 1.0000 0.7625 0.4398 0.4688 0.9626 0.5768 0.4690 0.1642 0.3563 0.0374 1.0000 0.7625 0.4398
272-AH 0.0000 0.0833 0.3250 0.4583 1.0000 0.3417 0.3251 0.3750 1.0000 0.9516 0.0277 0.0000 0.2375 0.0000 1.0000 0.3417 0.3251
273-AH 0.0526 0.1250 0.6667 1.0000 1.0000 0.5795 0.4565 0.8750 0.9474 0.7877 0.3587 0.1905 0.4205 0.0526 1.0000 0.5795 0.4565
274-AH 0.0013 0.0218 0.1146 0.1833 0.3333 0.1217 0.1157 0.1616 0.3321 0.9505 0.0428 0.0058 0.0949 0.0013 0.3333 0.1217 0.1157
275-AH 0.0050 0.1573 0.5000 0.7812 1.0000 0.4853 0.3778 0.6240 0.9950 0.7786 0.2409 0.0352 0.2841 0.0050 1.0000 0.4853 0.3778
276-AH 0.1333 0.4875 0.7222 0.9000 1.0000 0.6691 0.2991 0.4125 0.8667 0.4470 0.5779 0.4477 0.2253 0.1333 1.0000 0.6691 0.2991
277-AH 0.1111 0.1603 0.2471 0.5000 0.5000 0.3032 0.1710 0.3397 0.3889 0.5641 0.2601 0.2228 0.1476 0.1111 0.5000 0.3032 0.1710
278-AH 0.0000 0.0000 0.0714 0.3500 0.6667 0.1887 0.2591 0.3500 0.6667 1.3733 0.0018 0.0000 0.2001 0.0000 0.6667 0.1887 0.2591
279-AH 0.0000 0.0027 0.0373 0.3000 0.5000 0.1475 0.1999 0.2973 0.5000 1.3550 0.0082 0.0000 0.1644 0.0000 0.5000 0.1475 0.1999
280-AH 0.0010 0.0227 0.0473 0.1190 0.3333 0.0891 0.1110 0.0963 0.3323 1.2468 0.0381 0.0071 0.0805 0.0010 0.1667 0.0542 0.0549
281-AH 0.0000 0.1261 0.6364 1.0000 1.0000 0.5656 0.4747 0.8739 1.0000 0.8393 0.0786 0.0001 0.4344 0.0000 1.0000 0.5656 0.4747
282-AH 0.0476 0.1620 0.3265 0.5000 0.5333 0.3197 0.1895 0.3380 0.4857 0.5927 0.2437 0.1583 0.1518 0.0476 0.5333 0.3197 0.1895
283-AH 0.0077 0.5039 1.0000 1.0000 1.0000 0.7519 0.4593 0.4961 0.9923 0.6109 0.2962 0.0301 0.3721 0.0077 1.0000 0.7519 0.4593
284-AH 0.0000 0.0227 0.5556 1.0000 1.0000 0.5196 0.5148 0.9773 1.0000 0.9907 0.0290 0.0000 0.4804 0.0000 1.0000 0.5196 0.5148
285-AH 0.0964 0.1645 0.4167 1.0000 1.0000 0.5323 0.4071 0.8355 0.9036 0.7647 0.3777 0.2570 0.3507 0.0964 1.0000 0.5323 0.4071
286-AH 0.0000 0.0000 0.0021 0.0105 0.1818 0.0259 0.0632 0.0105 0.1818 2.4425 0.0007 0.0000 0.0390 0.0000 0.0127 0.0036 0.0050
287-AH 0.0082 0.0721 0.2738 0.6500 1.0000 0.3750 0.3692 0.5779 0.9918 0.9844 0.1631 0.0410 0.2952 0.0082 1.0000 0.3750 0.3692
288-AH 0.0163 0.1653 0.5357 0.6458 0.6667 0.4221 0.2731 0.4806 0.6504 0.6470 0.2422 0.0756 0.2299 0.0163 0.6667 0.4221 0.2731
289-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
290-AH 0.0011 0.0339 0.2012 0.3667 0.5000 0.2131 0.1993 0.3328 0.4989 0.9352 0.0648 0.0061 0.1786 0.0011 0.5000 0.2131 0.1993
142
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0087 0.0896 1.0000 1.0000 1.0000 0.6485 0.4875 0.9104 0.9913 0.7518 0.2555 0.0389 0.4394 0.0087 1.0000 0.6485 0.4875
292-AH 0.0282 0.0866 0.2381 1.0000 1.0000 0.4597 0.4572 0.9134 0.9718 0.9945 0.2216 0.0904 0.4052 0.0282 1.0000 0.4597 0.4572
293-AH 0.0000 0.0061 0.4365 1.0000 1.0000 0.4857 0.5138 0.9939 1.0000 1.0580 0.0189 0.0000 0.4786 0.0000 1.0000 0.4857 0.5138
294-AH 0.0098 0.2550 0.6667 1.0000 1.0000 0.6066 0.4132 0.7450 0.9902 0.6811 0.2612 0.0380 0.3250 0.0098 1.0000 0.6066 0.4132
295-AH 0.0034 0.0136 0.5167 1.0000 1.0000 0.5080 0.5260 0.9864 0.9966 1.0355 0.1041 0.0145 0.4920 0.0034 1.0000 0.5080 0.5260
296-AH 0.0000 0.2553 0.5625 0.7333 0.8333 0.4920 0.3237 0.4780 0.8333 0.6580 0.0963 0.0001 0.2433 0.0000 0.8333 0.4920 0.3237
297-AH 0.0000 0.0000 0.6250 1.0000 1.0000 0.5312 0.5078 1.0000 1.0000 0.9558 0.0112 0.0000 0.4688 0.0000 1.0000 0.5312 0.5078
298-AH 0.0175 0.1339 0.4000 1.0000 1.0000 0.5107 0.4293 0.8661 0.9825 0.8406 0.2877 0.0996 0.3670 0.0175 1.0000 0.5107 0.4293
299-AH 0.0500 0.1806 0.3833 1.0000 1.0000 0.5222 0.4169 0.8194 0.9500 0.7983 0.3415 0.1916 0.3583 0.0500 1.0000 0.5222 0.4169
300-AH 0.0000 0.0016 0.0587 0.1464 0.2222 0.0795 0.0844 0.1449 0.2222 1.0627 0.0067 0.0000 0.0702 0.0000 0.2222 0.0795 0.0844
301-AH 0.0000 0.0016 0.5043 1.0000 1.0000 0.5015 0.5329 0.9984 1.0000 1.0627 0.0152 0.0000 0.4985 0.0000 1.0000 0.5015 0.5329
302-AH 0.1818 0.5000 0.5833 1.0000 1.0000 0.6686 0.3051 0.5000 0.8182 0.4564 0.5923 0.5000 0.2486 0.1818 1.0000 0.6686 0.3051
303-AH 0.0035 0.0215 0.3095 0.7000 1.0000 0.3832 0.4105 0.6785 0.9965 1.0712 0.1199 0.0185 0.3126 0.0035 1.0000 0.3832 0.4105
304-AH 0.0016 0.2536 0.8333 1.0000 1.0000 0.6469 0.4386 0.7464 0.9984 0.6779 0.2101 0.0102 0.3580 0.0016 1.0000 0.6469 0.4386
305-AH 0.0000 0.1423 0.6857 1.0000 1.0000 0.5820 0.4637 0.8577 1.0000 0.7968 0.0957 0.0001 0.4180 0.0000 1.0000 0.5820 0.4637
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0013 0.0140 0.0229 0.1008 0.6667 0.1179 0.2290 0.0868 0.6653 1.9424 0.0267 0.0073 0.1524 0.0013 0.1786 0.0395 0.0620
308-AH 0.0286 0.5556 1.0000 1.0000 1.0000 0.7675 0.4311 0.4444 0.9714 0.5618 0.4872 0.1600 0.3488 0.0286 1.0000 0.7675 0.4311
309-AH 0.0588 0.0636 0.0773 0.1691 0.5000 0.1474 0.1559 0.1055 0.4412 1.0581 0.1056 0.0870 0.1138 0.0588 0.2500 0.0970 0.0684
310-AH 0.0667 0.1776 0.3333 0.5000 0.5000 0.3236 0.1743 0.3224 0.4333 0.5386 0.2651 0.1975 0.1372 0.0667 0.5000 0.3236 0.1743
311-AH 0.2000 0.3208 0.5000 0.5833 0.7500 0.4698 0.1915 0.2625 0.5500 0.4076 0.4298 0.3861 0.1419 0.2000 0.7500 0.4698 0.1915
312-AH 0.0026 0.0072 0.0640 0.2255 1.0000 0.1995 0.3423 0.2183 0.9974 1.7157 0.0407 0.0104 0.2336 0.0026 0.3333 0.0851 0.1210
313-AH 0.0136 0.0683 0.0917 0.1245 0.2381 0.1026 0.0672 0.0563 0.2244 0.6551 0.0810 0.0549 0.0467 0.0136 0.1538 0.0833 0.0421
314-AH 0.0000 0.0763 0.1652 0.2086 0.2941 0.1493 0.1031 0.1323 0.2941 0.6909 0.0293 0.0001 0.0744 0.0000 0.2941 0.1493 0.1031
315-AH 0.0072 0.0442 0.2667 1.0000 1.0000 0.4536 0.4646 0.9558 0.9928 1.0241 0.1624 0.0336 0.4098 0.0072 1.0000 0.4536 0.4646
316-AH 0.0000 0.1094 0.4423 0.7500 1.0000 0.4504 0.3915 0.6406 1.0000 0.8691 0.0347 0.0000 0.2996 0.0000 1.0000 0.4504 0.3915
317-AH 0.0208 0.0501 0.0764 0.4048 1.0000 0.2604 0.3666 0.3547 0.9792 1.4075 0.1106 0.0591 0.2865 0.0208 0.6667 0.1548 0.2293
318-AH 0.0022 0.0985 0.1875 0.4167 1.0000 0.3009 0.3236 0.3182 0.9978 1.0752 0.1310 0.0158 0.2326 0.0022 0.5000 0.2011 0.1705
319-AH 0.3333 0.6250 1.0000 1.0000 1.0000 0.8229 0.2689 0.3750 0.6667 0.3267 0.7711 0.7059 0.2214 0.3333 1.0000 0.8229 0.2689
320-AH 0.0054 0.0570 0.0885 0.2667 0.3333 0.1454 0.1290 0.2097 0.3279 0.8871 0.0846 0.0309 0.1076 0.0054 0.3333 0.1454 0.1290
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0060 0.1814 0.5000 1.0000 1.0000 0.5461 0.4185 0.8186 0.9940 0.7664 0.2490 0.0381 0.3404 0.0060 1.0000 0.5461 0.4185
323-AH 0.0000 0.0222 0.1111 0.7500 1.0000 0.3458 0.4342 0.7278 1.0000 1.2557 0.0202 0.0000 0.3656 0.0000 1.0000 0.3458 0.4342
324-AH 0.0071 0.0729 0.3455 0.8571 1.0000 0.4448 0.4321 0.7842 0.9929 0.9714 0.1863 0.0435 0.3838 0.0071 1.0000 0.4448 0.4321
325-AH 0.0465 0.1267 0.1861 0.6029 1.0000 0.3598 0.3426 0.4762 0.9535 0.9522 0.2296 0.1446 0.2817 0.0465 1.0000 0.3598 0.3426
326-AH 0.0000 0.1667 0.5833 1.0000 1.0000 0.5625 0.4267 0.8333 1.0000 0.7585 0.0427 0.0000 0.3542 0.0000 1.0000 0.5625 0.4267
327-AH 0.0000 0.0000 0.0076 0.0349 0.5000 0.0731 0.1735 0.0349 0.5000 2.3734 0.0014 0.0000 0.1067 0.0000 0.0577 0.0121 0.0207
328-AH 0.0667 0.3906 0.6727 1.0000 1.0000 0.6492 0.3616 0.6094 0.9333 0.5570 0.4993 0.2967 0.3008 0.0667 1.0000 0.6492 0.3616
329-AH 0.0037 0.3379 1.0000 1.0000 1.0000 0.7099 0.4492 0.6621 0.9963 0.6327 0.2622 0.0206 0.3626 0.0037 1.0000 0.7099 0.4492
330-AH 0.2000 0.6667 1.0000 1.0000 1.0000 0.8167 0.3413 0.3333 0.8000 0.4180 0.7128 0.5714 0.2750 0.2000 1.0000 0.8167 0.3413
331-AH 0.0000 0.1306 0.2303 0.2731 0.3333 0.2002 0.1176 0.1426 0.3333 0.5876 0.0575 0.0001 0.0897 0.0000 0.3333 0.2002 0.1176
332-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
333-AH 0.0000 0.0033 0.5023 1.0000 1.0000 0.5014 0.5330 0.9967 1.0000 1.0631 0.0290 0.0001 0.4986 0.0000 1.0000 0.5014 0.5330
334-AH 0.0000 0.0000 0.1263 1.0000 1.0000 0.4066 0.4986 1.0000 1.0000 1.2263 0.0053 0.0000 0.4451 0.0000 1.0000 0.4066 0.4986
335-AH 0.0000 0.0065 0.5060 1.0000 1.0000 0.5031 0.5312 0.9935 1.0000 1.0558 0.0381 0.0001 0.4969 0.0000 1.0000 0.5031 0.5312
336-AH 0.0000 0.0278 0.1181 0.2381 1.0000 0.2210 0.3321 0.2103 1.0000 1.5027 0.0157 0.0000 0.2228 0.0000 0.3333 0.1097 0.1143
337-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
338-AH 0.0021 0.2027 0.7500 1.0000 1.0000 0.6134 0.4471 0.7973 0.9979 0.7289 0.1972 0.0119 0.3866 0.0021 1.0000 0.6134 0.4471
339-AH 0.0000 0.1009 0.3333 0.7500 1.0000 0.4211 0.3953 0.6491 1.0000 0.9388 0.0614 0.0001 0.3092 0.0000 1.0000 0.4211 0.3953
340-AH 0.0035 0.0035 0.1713 0.5000 1.0000 0.2941 0.3623 0.4965 0.9965 1.2318 0.0491 0.0083 0.2892 0.0035 1.0000 0.2941 0.3623
143
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0435 0.7500 1.0000 1.0000 1.0000 0.8179 0.3585 0.2500 0.9565 0.4383 0.6197 0.2581 0.2731 0.5000 1.0000 0.9286 0.1890
342-AH 0.3500 0.9375 1.0000 1.0000 1.0000 0.9031 0.2277 0.0625 0.6500 0.2522 0.8625 0.8000 0.1453 0.8750 1.0000 0.9821 0.0472
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0588 0.2988 1.0000 1.0000 1.0000 0.7070 0.4249 0.7012 0.9412 0.6009 0.4811 0.2336 0.3662 0.0588 1.0000 0.7070 0.4249
345-AH 0.0000 0.0106 0.0310 0.0875 0.5000 0.0948 0.1694 0.0768 0.5000 1.7873 0.0069 0.0000 0.1121 0.0000 0.1379 0.0369 0.0470
346-AH 0.0074 0.0472 0.1190 0.1623 0.3333 0.1247 0.1042 0.1151 0.3259 0.8353 0.0731 0.0296 0.0755 0.0074 0.3333 0.1247 0.1042
347-AH 0.0000 0.0070 0.0237 0.0911 0.1000 0.0429 0.0435 0.0841 0.1000 1.0126 0.0105 0.0001 0.0383 0.0000 0.1000 0.0429 0.0435
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0244 0.5556 1.0000 1.0000 1.0000 0.7669 0.4322 0.4444 0.9756 0.5635 0.4777 0.1429 0.3496 0.0244 1.0000 0.7669 0.4322
350-AH 0.1250 0.6429 1.0000 1.0000 1.0000 0.8013 0.3703 0.3571 0.8750 0.4622 0.6593 0.4571 0.2980 0.1250 1.0000 0.8013 0.3703
144
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0233 0.5333 1.0000 1.0000 1.0000 0.7612 0.4422 0.4667 0.9767 0.5810 0.4455 0.1250 0.3581 0.0233 1.0000 0.7612 0.4422
143-AH 0.0000 0.0105 0.2971 1.0000 1.0000 0.4519 0.4919 0.9895 1.0000 1.0885 0.0202 0.0000 0.4409 0.0000 1.0000 0.4519 0.4919
144-AH 0.0015 0.0878 0.5833 1.0000 1.0000 0.5430 0.4414 0.9122 0.9985 0.8129 0.1719 0.0103 0.3737 0.0015 1.0000 0.5430 0.4414
145-AH 0.0074 0.1204 0.7000 1.0000 1.0000 0.5810 0.4643 0.8796 0.9926 0.7991 0.2432 0.0399 0.4190 0.0074 1.0000 0.5810 0.4643
146-AH 0.0000 0.0714 0.3500 0.5000 0.5000 0.2929 0.2312 0.4286 0.5000 0.7896 0.0255 0.0000 0.2071 0.0000 0.5000 0.2929 0.2312
147-AH 0.0000 0.0174 0.2041 0.6042 1.0000 0.3314 0.3934 0.5868 1.0000 1.1870 0.0196 0.0000 0.3082 0.0000 1.0000 0.3314 0.3934
148-AH 0.0000 0.0000 0.0556 0.1625 1.0000 0.1795 0.3402 0.1625 1.0000 1.8951 0.0015 0.0000 0.2102 0.0000 0.2000 0.0623 0.0825
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0168 0.0269 0.0467 0.1911 0.4000 0.1183 0.1361 0.1642 0.3832 1.1504 0.0651 0.0401 0.1069 0.0168 0.4000 0.1183 0.1361
151-AH 0.0000 0.0049 0.0171 0.0410 0.8000 0.1158 0.2771 0.0361 0.8000 2.3941 0.0048 0.0000 0.1711 0.0000 0.0606 0.0180 0.0206
152-AH 0.0000 0.0000 0.1439 1.0000 1.0000 0.4110 0.4972 1.0000 1.0000 1.2099 0.0052 0.0000 0.4418 0.0000 1.0000 0.4110 0.4972
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0112 0.1311 0.5208 0.9000 1.0000 0.5144 0.4090 0.7689 0.9888 0.7952 0.2260 0.0437 0.3523 0.0112 1.0000 0.5144 0.4090
155-AH 0.0000 0.0034 0.0161 0.4500 1.0000 0.2424 0.3666 0.4466 1.0000 1.5125 0.0085 0.0000 0.2932 0.0000 1.0000 0.2424 0.3666
156-AH 0.0178 0.0522 0.1225 0.2298 1.0000 0.2284 0.3240 0.1776 0.9822 1.4189 0.1139 0.0626 0.2072 0.0178 0.2857 0.1181 0.0952
157-AH 0.0808 0.2997 0.5988 0.6543 0.7368 0.4904 0.2565 0.3546 0.6560 0.5230 0.3820 0.2485 0.2001 0.0808 0.7368 0.4904 0.2565
158-AH 0.0000 0.0325 0.5833 0.7222 1.0000 0.4595 0.3886 0.6897 1.0000 0.8457 0.0794 0.0001 0.3284 0.0000 1.0000 0.4595 0.3886
159-AH 0.0000 0.0000 0.0612 0.1572 0.3529 0.0987 0.1259 0.1572 0.3529 1.2757 0.0013 0.0000 0.0987 0.0000 0.3529 0.0987 0.1259
160-AH 0.0000 0.0020 0.0356 0.1181 0.1667 0.0598 0.0673 0.1160 0.1667 1.1254 0.0048 0.0000 0.0576 0.0000 0.1667 0.0598 0.0673
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.2258 0.7129 0.9028 0.9643 1.0000 0.7982 0.2604 0.2514 0.7742 0.3262 0.7357 0.6370 0.1858 0.6364 1.0000 0.8800 0.1292
164-AH 0.0000 0.0074 0.0204 0.0383 0.2500 0.0478 0.0830 0.0308 0.2500 1.7379 0.0047 0.0000 0.0506 0.0000 0.0405 0.0189 0.0159
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.1250 0.3095 0.7500 1.0000 0.4211 0.3940 0.6250 1.0000 0.9355 0.0323 0.0000 0.3092 0.0000 1.0000 0.4211 0.3940
168-AH 0.0000 0.0000 0.2163 0.4482 0.8000 0.2661 0.3069 0.4482 0.8000 1.1532 0.0048 0.0000 0.2651 0.0000 0.8000 0.2661 0.3069
169-AH 0.0141 0.0207 0.0903 0.5000 1.0000 0.2795 0.3575 0.4793 0.9859 1.2791 0.1006 0.0402 0.2904 0.0141 1.0000 0.2795 0.3575
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0240 0.0671 0.1465 0.2778 0.5000 0.1883 0.1621 0.2107 0.4760 0.8607 0.1254 0.0762 0.1226 0.0240 0.5000 0.1883 0.1621
172-AH 0.0035 0.0128 0.0532 0.0941 0.1053 0.0536 0.0440 0.0813 0.1018 0.8203 0.0313 0.0144 0.0402 0.0035 0.1053 0.0536 0.0440
173-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.8000 0.3703 0.4000 0.8000 0.4629 0.6687 0.5000 0.3000 0.2000 1.0000 0.8000 0.3703
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9375 0.1768 0.0000 0.5000 0.1886 0.9170 0.8889 0.1094 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
176-AH 0.4444 0.7500 1.0000 1.0000 1.0000 0.8681 0.2448 0.2500 0.5556 0.2820 0.8286 0.7805 0.1979 0.4444 1.0000 0.8681 0.2448
177-AH 0.0242 0.3214 0.5000 0.5500 0.8000 0.4459 0.2359 0.2286 0.7758 0.5292 0.3278 0.1397 0.1676 0.0242 0.8000 0.4459 0.2359
178-AH 0.0000 0.0000 0.0357 0.1556 1.0000 0.1728 0.3420 0.1556 1.0000 1.9787 0.0014 0.0000 0.2136 0.0000 0.2000 0.0546 0.0780
179-AH 0.0000 0.0000 0.1000 0.3654 1.0000 0.2413 0.3540 0.3654 1.0000 1.4668 0.0020 0.0000 0.2543 0.0000 0.5000 0.1330 0.1913
180-AH 0.0000 0.0158 0.0813 0.7333 0.9000 0.3201 0.3951 0.7175 0.9000 1.2342 0.0171 0.0000 0.3516 0.0000 0.9000 0.3201 0.3951
181-AH 0.0175 0.4696 0.9352 0.9773 1.0000 0.7227 0.4281 0.5076 0.9825 0.5924 0.3952 0.0936 0.3456 0.0175 1.0000 0.7227 0.4281
182-AH 0.0000 0.0428 0.1244 0.4167 1.0000 0.2710 0.3410 0.3739 1.0000 1.2585 0.0380 0.0001 0.2551 0.0000 0.5000 0.1668 0.1855
183-AH 0.0250 0.1556 0.2967 0.3542 0.5000 0.2672 0.1511 0.1986 0.4750 0.5652 0.2044 0.1169 0.1164 0.0250 0.5000 0.2672 0.1511
184-AH 0.0082 0.0285 0.1548 0.2875 1.0000 0.2437 0.3285 0.2590 0.9918 1.3480 0.1003 0.0356 0.2219 0.0082 0.3750 0.1357 0.1303
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
190-AH 0.0000 0.0000 0.1007 0.4167 0.7500 0.2231 0.2842 0.4167 0.7500 1.2741 0.0037 0.0000 0.2285 0.0000 0.7500 0.2231 0.2842
145
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0690 0.1625 0.3750 1.0000 1.0000 0.5180 0.4207 0.8375 0.9310 0.8121 0.3358 0.1959 0.3615 0.0690 1.0000 0.5180 0.4207
193-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.3718 1.0000 1.0000 1.0000 0.7179 0.4519 0.6282 1.0000 0.6294 0.0542 0.0000 0.3590 0.0000 1.0000 0.7179 0.4519
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0182 0.3500 1.0000 1.0000 1.0000 0.7148 0.4146 0.6500 0.9818 0.5800 0.4544 0.1194 0.3565 0.0182 1.0000 0.7148 0.4146
200-AH 0.0000 0.0070 0.1500 1.0000 1.0000 0.4142 0.4917 0.9930 1.0000 1.1870 0.0191 0.0000 0.4393 0.0000 1.0000 0.4142 0.4917
251-AH 0.0122 0.4607 0.9643 1.0000 1.0000 0.7328 0.4462 0.5393 0.9878 0.6089 0.3255 0.0471 0.3603 0.0122 1.0000 0.7328 0.4462
252-AH 0.0042 0.2179 0.5500 1.0000 1.0000 0.5675 0.4170 0.7821 0.9958 0.7349 0.2105 0.0206 0.3325 0.0042 1.0000 0.5675 0.4170
253-AH 0.0197 0.0947 0.2657 0.5664 0.8333 0.3383 0.3085 0.4718 0.8136 0.9118 0.1825 0.0704 0.2378 0.0197 0.8333 0.3383 0.3085
254-AH 0.0000 0.0000 0.0710 0.3167 0.4658 0.1551 0.1958 0.3167 0.4658 1.2618 0.0017 0.0000 0.1584 0.0000 0.4658 0.1551 0.1958
255-AH 0.0213 0.1818 1.0000 1.0000 1.0000 0.6731 0.4610 0.8182 0.9787 0.6849 0.3480 0.0909 0.4086 0.0213 1.0000 0.6731 0.4610
256-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
257-AH 0.0000 0.0768 0.2336 0.4986 0.7778 0.2995 0.2784 0.4218 0.7778 0.9298 0.0612 0.0001 0.2246 0.0000 0.7778 0.2995 0.2784
258-AH 0.0000 0.0000 0.0007 0.0023 0.0139 0.0025 0.0047 0.0023 0.0139 1.8962 0.0002 0.0000 0.0030 0.0000 0.0030 0.0009 0.0012
259-AH 0.0000 0.0014 0.1010 1.0000 1.0000 0.4006 0.5009 0.9986 1.0000 1.2503 0.0172 0.0001 0.4496 0.0000 1.0000 0.4006 0.5009
260-AH 0.0075 0.0334 0.4515 0.8750 0.8750 0.4503 0.4467 0.8416 0.8675 0.9921 0.1446 0.0334 0.4175 0.0075 0.8750 0.4503 0.4467
261-AH 0.1053 0.1197 0.2262 0.3590 0.5000 0.2519 0.1468 0.2393 0.3947 0.5828 0.2151 0.1843 0.1241 0.1053 0.5000 0.2519 0.1468
262-AH 0.0000 0.0169 0.0566 0.0793 0.1089 0.0518 0.0397 0.0624 0.1089 0.7667 0.0072 0.0000 0.0332 0.0000 0.1089 0.0518 0.0397
263-AH 0.0000 0.0000 0.0313 0.3086 0.3571 0.1296 0.1657 0.3086 0.3571 1.2785 0.0015 0.0000 0.1464 0.0000 0.3571 0.1296 0.1657
264-AH 0.1268 0.2944 0.7333 0.9167 1.0000 0.6270 0.3536 0.6222 0.8732 0.5639 0.4921 0.3407 0.2913 0.1268 1.0000 0.6270 0.3536
265-AH 0.0000 0.0952 0.2738 0.7500 1.0000 0.4048 0.4023 0.6548 1.0000 0.9938 0.0301 0.0000 0.3214 0.0000 1.0000 0.4048 0.4023
266-AH 0.0000 0.0152 0.0649 0.1241 0.1739 0.0728 0.0670 0.1088 0.1739 0.9204 0.0174 0.0001 0.0577 0.0000 0.1739 0.0728 0.0670
267-AH 0.0000 0.0455 0.2527 0.4365 0.7500 0.2774 0.2656 0.3911 0.7500 0.9575 0.0224 0.0000 0.2221 0.0000 0.7500 0.2774 0.2656
268-AH 0.0000 0.0044 0.1732 1.0000 1.0000 0.4194 0.4934 0.9956 1.0000 1.1765 0.0158 0.0000 0.4355 0.0000 1.0000 0.4194 0.4934
269-AH 0.0159 0.0215 0.0349 0.0478 0.2857 0.0638 0.0906 0.0263 0.2698 1.4212 0.0391 0.0304 0.0555 0.0159 0.0556 0.0320 0.0139
270-AH 0.0308 0.4690 1.0000 1.0000 1.0000 0.7461 0.4406 0.5310 0.9692 0.5906 0.4245 0.1233 0.3558 0.0308 1.0000 0.7461 0.4406
271-AH 0.0359 0.2687 0.9444 1.0000 1.0000 0.6828 0.4331 0.7313 0.9641 0.6344 0.3954 0.1297 0.3687 0.0359 1.0000 0.6828 0.4331
272-AH 0.0000 0.0500 0.2361 0.4083 0.5000 0.2361 0.1925 0.3583 0.5000 0.8155 0.0215 0.0000 0.1556 0.0000 0.5000 0.2361 0.1925
273-AH 0.0150 0.0321 0.5138 0.9199 1.0000 0.4933 0.4764 0.8878 0.9850 0.9657 0.1846 0.0554 0.4439 0.0150 1.0000 0.4933 0.4764
274-AH 0.0000 0.0208 0.0530 0.1032 0.2000 0.0692 0.0661 0.0823 0.2000 0.9545 0.0084 0.0000 0.0497 0.0000 0.2000 0.0692 0.0661
275-AH 0.0000 0.0178 0.0990 0.5312 0.6667 0.2453 0.2825 0.5135 0.6667 1.1517 0.0361 0.0001 0.2483 0.0000 0.6667 0.2453 0.2825
276-AH 0.1333 0.3205 0.5520 0.7513 0.7778 0.5198 0.2521 0.4308 0.6444 0.4850 0.4510 0.3708 0.2233 0.1333 0.7778 0.5198 0.2521
277-AH 0.0000 0.0455 0.1344 0.2834 0.4286 0.1694 0.1512 0.2379 0.4286 0.8924 0.0380 0.0001 0.1218 0.0000 0.4286 0.1694 0.1512
278-AH 0.0000 0.0000 0.0029 0.0283 0.2941 0.0446 0.1020 0.0283 0.2941 2.2876 0.0006 0.0000 0.0624 0.0000 0.0448 0.0089 0.0164
279-AH 0.0000 0.0027 0.0373 0.3000 0.5000 0.1475 0.1999 0.2973 0.5000 1.3550 0.0082 0.0000 0.1644 0.0000 0.5000 0.1475 0.1999
280-AH 0.0000 0.0041 0.0117 0.0558 0.2000 0.0429 0.0700 0.0517 0.2000 1.6308 0.0073 0.0001 0.0513 0.0000 0.0909 0.0205 0.0318
281-AH 0.0000 0.1212 0.5253 0.9375 1.0000 0.5210 0.4363 0.8163 1.0000 0.8374 0.0382 0.0000 0.3922 0.0000 1.0000 0.5210 0.4363
282-AH 0.0151 0.1198 0.2650 0.3987 0.5333 0.2644 0.1844 0.2788 0.5182 0.6972 0.1556 0.0561 0.1382 0.0151 0.5333 0.2644 0.1844
283-AH 0.0000 0.1471 0.4040 0.7308 1.0000 0.4455 0.3858 0.5837 1.0000 0.8660 0.0349 0.0000 0.2813 0.0000 1.0000 0.4455 0.3858
284-AH 0.0000 0.0048 0.2438 0.5833 0.8333 0.3122 0.3392 0.5785 0.8333 1.0866 0.0165 0.0000 0.2978 0.0000 0.8333 0.3122 0.3392
285-AH 0.0964 0.1197 0.1390 0.4640 1.0000 0.3177 0.3293 0.3443 0.9036 1.0365 0.2170 0.1682 0.2502 0.0964 0.6364 0.2203 0.1946
286-AH 0.0000 0.0000 0.0000 0.0036 0.1818 0.0236 0.0639 0.0036 0.1818 2.7052 0.0001 0.0000 0.0395 0.0000 0.0043 0.0010 0.0018
287-AH 0.0082 0.0461 0.2330 0.5131 0.6250 0.2772 0.2575 0.4670 0.6168 0.9291 0.1253 0.0385 0.2308 0.0082 0.6250 0.2772 0.2575
288-AH 0.0163 0.0759 0.2189 0.3152 0.4211 0.2072 0.1451 0.2393 0.4048 0.7002 0.1289 0.0555 0.1134 0.0163 0.4211 0.2072 0.1451
289-AH 0.0000 0.0000 0.3571 1.0000 1.0000 0.4643 0.5051 1.0000 1.0000 1.0879 0.0030 0.0000 0.4643 0.0000 1.0000 0.4643 0.5051
290-AH 0.0000 0.0062 0.0513 0.1908 0.3333 0.1037 0.1380 0.1847 0.3333 1.3298 0.0083 0.0000 0.1096 0.0000 0.3333 0.1037 0.1380
146
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0087 0.0115 0.1096 0.8750 1.0000 0.3751 0.4579 0.8635 0.9913 1.2206 0.0966 0.0252 0.4062 0.0087 1.0000 0.3751 0.4579
292-AH 0.0282 0.0866 0.2381 1.0000 1.0000 0.4597 0.4572 0.9134 0.9718 0.9945 0.2216 0.0904 0.4052 0.0282 1.0000 0.4597 0.4572
293-AH 0.0000 0.0061 0.4310 0.9286 1.0000 0.4664 0.4943 0.9225 1.0000 1.0599 0.0186 0.0000 0.4594 0.0000 1.0000 0.4664 0.4943
294-AH 0.0000 0.2271 0.5130 0.7500 0.8000 0.4725 0.3184 0.5229 0.8000 0.6737 0.0919 0.0001 0.2453 0.0000 0.8000 0.4725 0.3184
295-AH 0.0000 0.0039 0.1155 0.3265 0.3667 0.1573 0.1693 0.3225 0.3667 1.0759 0.0094 0.0000 0.1531 0.0000 0.3667 0.1573 0.1693
296-AH 0.0000 0.2175 0.5268 0.7333 0.8333 0.4736 0.3258 0.5159 0.8333 0.6879 0.0868 0.0001 0.2577 0.0000 0.8333 0.4736 0.3258
297-AH 0.0000 0.0000 0.0789 0.3333 1.0000 0.2281 0.3556 0.3333 1.0000 1.5594 0.0039 0.0000 0.2610 0.0000 0.5000 0.1178 0.1845
298-AH 0.0000 0.0266 0.0700 0.2036 0.7500 0.1688 0.2533 0.1770 0.7500 1.5004 0.0261 0.0001 0.1781 0.0000 0.3000 0.0858 0.1024
299-AH 0.0000 0.0702 0.1926 0.3961 0.5000 0.2272 0.1890 0.3260 0.5000 0.8318 0.0211 0.0000 0.1526 0.0000 0.5000 0.2272 0.1890
300-AH 0.0000 0.0000 0.0484 0.0911 0.2222 0.0627 0.0768 0.0911 0.2222 1.2255 0.0027 0.0000 0.0583 0.0000 0.2222 0.0627 0.0768
301-AH 0.0000 0.0016 0.0877 0.5938 1.0000 0.2958 0.4413 0.5921 1.0000 1.4921 0.0099 0.0000 0.3521 0.0000 1.0000 0.2958 0.4413
302-AH 0.1818 0.3333 0.4167 0.5000 0.6667 0.4186 0.1509 0.1667 0.4848 0.3604 0.3923 0.3636 0.1231 0.1818 0.6667 0.4186 0.1509
303-AH 0.0035 0.0207 0.1671 0.3667 0.5000 0.2016 0.2005 0.3460 0.4965 0.9945 0.0737 0.0169 0.1782 0.0035 0.5000 0.2016 0.2005
304-AH 0.0000 0.2512 0.8333 1.0000 1.0000 0.6461 0.4399 0.7488 1.0000 0.6808 0.0975 0.0001 0.3590 0.0000 1.0000 0.6461 0.4399
305-AH 0.0000 0.1333 0.3364 0.3903 0.4118 0.2665 0.1717 0.2569 0.4118 0.6443 0.0256 0.0000 0.1332 0.0000 0.4118 0.2665 0.1717
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0099 0.0657 0.6000 0.0939 0.2081 0.0657 0.6000 2.2158 0.0018 0.0000 0.1316 0.0000 0.1143 0.0216 0.0414
308-AH 0.0286 0.5556 1.0000 1.0000 1.0000 0.7675 0.4311 0.4444 0.9714 0.5618 0.4872 0.1600 0.3488 0.0286 1.0000 0.7675 0.4311
309-AH 0.0588 0.0636 0.0773 0.1691 0.5000 0.1474 0.1559 0.1055 0.4412 1.0581 0.1056 0.0870 0.1138 0.0588 0.2500 0.0970 0.0684
310-AH 0.0000 0.0523 0.1210 0.1742 0.2258 0.1151 0.0798 0.1219 0.2258 0.6932 0.0317 0.0001 0.0625 0.0000 0.2258 0.1151 0.0798
311-AH 0.0972 0.1634 0.2601 0.4284 0.6296 0.3038 0.1793 0.2650 0.5324 0.5902 0.2580 0.2168 0.1437 0.0972 0.6296 0.3038 0.1793
312-AH 0.0000 0.0000 0.0377 0.1955 0.8000 0.1583 0.2772 0.1955 0.8000 1.7511 0.0014 0.0000 0.1923 0.0000 0.2857 0.0666 0.1059
313-AH 0.0136 0.0585 0.0917 0.1245 0.2381 0.1002 0.0692 0.0661 0.2244 0.6911 0.0773 0.0522 0.0479 0.0136 0.1538 0.0804 0.0443
314-AH 0.0000 0.0758 0.1652 0.2086 0.2941 0.1491 0.1034 0.1328 0.2941 0.6930 0.0164 0.0000 0.0746 0.0000 0.2941 0.1491 0.1034
315-AH 0.0066 0.0341 0.1246 0.7053 0.7273 0.3077 0.3383 0.6711 0.7207 1.0994 0.1130 0.0303 0.3036 0.0066 0.7273 0.3077 0.3383
316-AH 0.0000 0.0914 0.2017 0.2693 0.3846 0.1887 0.1369 0.1779 0.3846 0.7255 0.0193 0.0000 0.0958 0.0000 0.3846 0.1887 0.1369
317-AH 0.0208 0.0337 0.0663 0.1743 0.3750 0.1181 0.1314 0.1406 0.3542 1.1131 0.0725 0.0499 0.1029 0.0208 0.3750 0.1181 0.1314
318-AH 0.0022 0.0985 0.1875 0.4167 1.0000 0.3009 0.3236 0.3182 0.9978 1.0752 0.1310 0.0158 0.2326 0.0022 0.5000 0.2011 0.1705
319-AH 0.1818 0.2532 0.5000 0.8750 1.0000 0.5548 0.3417 0.6218 0.8182 0.6159 0.4582 0.3768 0.2994 0.1818 1.0000 0.5548 0.3417
320-AH 0.0000 0.0123 0.0666 0.1455 0.2857 0.0918 0.1019 0.1331 0.2857 1.1099 0.0179 0.0001 0.0755 0.0000 0.2857 0.0918 0.1019
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0041 0.1530 0.3333 0.5833 1.0000 0.3929 0.3303 0.4304 0.9959 0.8406 0.1748 0.0259 0.2470 0.0041 1.0000 0.3929 0.3303
323-AH 0.0000 0.0203 0.0980 0.1111 0.3000 0.0948 0.0954 0.0908 0.3000 1.0057 0.0105 0.0000 0.0610 0.0000 0.1176 0.0655 0.0509
324-AH 0.0000 0.0250 0.1044 0.5035 0.7273 0.2491 0.2866 0.4785 0.7273 1.1505 0.0398 0.0001 0.2467 0.0000 0.7273 0.2491 0.2866
325-AH 0.0290 0.0474 0.0877 0.2678 0.7059 0.1926 0.2311 0.2204 0.6769 1.1997 0.1096 0.0706 0.1659 0.0290 0.3235 0.1193 0.1100
326-AH 0.0000 0.1667 0.5833 1.0000 1.0000 0.5625 0.4267 0.8333 1.0000 0.7585 0.0427 0.0000 0.3542 0.0000 1.0000 0.5625 0.4267
327-AH 0.0000 0.0000 0.0076 0.0349 0.5000 0.0731 0.1735 0.0349 0.5000 2.3734 0.0014 0.0000 0.1067 0.0000 0.0577 0.0121 0.0207
328-AH 0.0219 0.3906 0.6477 0.8000 0.8000 0.5623 0.2917 0.4094 0.7781 0.5187 0.3963 0.1366 0.2252 0.0219 0.8000 0.5623 0.2917
329-AH 0.0037 0.3364 0.8333 1.0000 1.0000 0.6679 0.4343 0.6636 0.9963 0.6502 0.2373 0.0181 0.3321 0.0037 1.0000 0.6679 0.4343
330-AH 0.0146 0.4480 0.8819 1.0000 1.0000 0.7093 0.4305 0.5520 0.9854 0.6069 0.3467 0.0653 0.3458 0.0146 1.0000 0.7093 0.4305
331-AH 0.0000 0.1164 0.2303 0.2731 0.3333 0.1966 0.1234 0.1567 0.3333 0.6274 0.0499 0.0001 0.0950 0.0000 0.3333 0.1966 0.1234
332-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
333-AH 0.0000 0.0033 0.5023 1.0000 1.0000 0.5014 0.5330 0.9967 1.0000 1.0631 0.0290 0.0001 0.4986 0.0000 1.0000 0.5014 0.5330
334-AH 0.0000 0.0000 0.1263 1.0000 1.0000 0.4066 0.4986 1.0000 1.0000 1.2263 0.0053 0.0000 0.4451 0.0000 1.0000 0.4066 0.4986
335-AH 0.0000 0.0020 0.1289 0.6667 1.0000 0.3244 0.4362 0.6647 1.0000 1.3446 0.0113 0.0000 0.3400 0.0000 1.0000 0.3244 0.4362
336-AH 0.0000 0.0222 0.0534 0.2125 1.0000 0.1970 0.3386 0.1903 1.0000 1.7187 0.0121 0.0000 0.2265 0.0000 0.3000 0.0823 0.1048
337-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
338-AH 0.0021 0.2027 0.7500 1.0000 1.0000 0.6134 0.4471 0.7973 0.9979 0.7289 0.1972 0.0119 0.3866 0.0021 1.0000 0.6134 0.4471
339-AH 0.0000 0.0172 0.1940 0.7500 1.0000 0.3653 0.4306 0.7328 1.0000 1.1786 0.0205 0.0000 0.3510 0.0000 1.0000 0.3653 0.4306
340-AH 0.0035 0.0035 0.1713 0.5000 1.0000 0.2941 0.3623 0.4965 0.9965 1.2318 0.0491 0.0083 0.2892 0.0035 1.0000 0.2941 0.3623
147
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0435 0.7500 1.0000 1.0000 1.0000 0.8179 0.3585 0.2500 0.9565 0.4383 0.6197 0.2581 0.2731 0.5000 1.0000 0.9286 0.1890
342-AH 0.2027 0.6125 0.8918 0.9033 0.9231 0.7426 0.2908 0.2908 0.7204 0.3916 0.6627 0.5527 0.2331 0.2027 0.9231 0.7426 0.2908
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0068 0.0614 0.6667 1.0000 1.0000 0.5579 0.4487 0.9386 0.9932 0.8043 0.2285 0.0394 0.3860 0.0068 1.0000 0.5579 0.4487
345-AH 0.0000 0.0106 0.0310 0.0875 0.5000 0.0948 0.1694 0.0768 0.5000 1.7873 0.0069 0.0000 0.1121 0.0000 0.1379 0.0369 0.0470
346-AH 0.0074 0.0378 0.0876 0.1266 0.2308 0.0928 0.0739 0.0888 0.2234 0.7966 0.0586 0.0280 0.0520 0.0074 0.2308 0.0928 0.0739
347-AH 0.0000 0.0070 0.0237 0.0911 0.1000 0.0429 0.0435 0.0841 0.1000 1.0126 0.0105 0.0001 0.0383 0.0000 0.1000 0.0429 0.0435
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.1686 0.9167 1.0000 1.0000 0.6463 0.4573 0.8314 1.0000 0.7075 0.1009 0.0001 0.4004 0.0000 1.0000 0.6463 0.4573
350-AH 0.1250 0.6429 1.0000 1.0000 1.0000 0.8013 0.3703 0.3571 0.8750 0.4622 0.6593 0.4571 0.2980 0.1250 1.0000 0.8013 0.3703
148
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0233 0.5141 1.0000 1.0000 1.0000 0.7564 0.4510 0.4859 0.9767 0.5962 0.4000 0.0947 0.3654 0.0233 1.0000 0.7564 0.4510
143-AH 0.0000 0.0094 0.2971 0.9091 1.0000 0.4289 0.4668 0.8997 1.0000 1.0883 0.0194 0.0000 0.4185 0.0000 1.0000 0.4289 0.4668
144-AH 0.0015 0.0878 0.5833 1.0000 1.0000 0.5430 0.4414 0.9122 0.9985 0.8129 0.1719 0.0103 0.3737 0.0015 1.0000 0.5430 0.4414
145-AH 0.0000 0.0268 0.4559 0.9167 1.0000 0.4748 0.4751 0.8899 1.0000 1.0006 0.0271 0.0000 0.4418 0.0000 1.0000 0.4748 0.4751
146-AH 0.0000 0.0714 0.3500 0.5000 0.5000 0.2929 0.2312 0.4286 0.5000 0.7896 0.0255 0.0000 0.2071 0.0000 0.5000 0.2929 0.2312
147-AH 0.0000 0.0174 0.1533 0.5371 0.8235 0.2799 0.3430 0.5197 0.8235 1.2255 0.0169 0.0000 0.2645 0.0000 0.8235 0.2799 0.3430
148-AH 0.0000 0.0000 0.0130 0.0371 0.0488 0.0186 0.0211 0.0371 0.0488 1.1328 0.0006 0.0000 0.0186 0.0000 0.0488 0.0186 0.0211
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0095 0.0187 0.1911 0.4000 0.1048 0.1454 0.1816 0.4000 1.3875 0.0143 0.0001 0.1169 0.0000 0.4000 0.1048 0.1454
151-AH 0.0000 0.0000 0.0160 0.0203 0.8000 0.1091 0.2793 0.0203 0.8000 2.5608 0.0017 0.0000 0.1727 0.0000 0.0214 0.0104 0.0099
152-AH 0.0000 0.0000 0.0833 0.5938 1.0000 0.2943 0.4424 0.5938 1.0000 1.5035 0.0021 0.0000 0.3529 0.0000 1.0000 0.2943 0.4424
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.1250 0.4444 0.8571 1.0000 0.4816 0.4030 0.7321 1.0000 0.8366 0.0367 0.0000 0.3358 0.0000 1.0000 0.4816 0.4030
155-AH 0.0000 0.0034 0.0161 0.4500 1.0000 0.2424 0.3666 0.4466 1.0000 1.5125 0.0085 0.0000 0.2932 0.0000 1.0000 0.2424 0.3666
156-AH 0.0067 0.0473 0.0831 0.1360 0.5000 0.1300 0.1565 0.0887 0.4933 1.2042 0.0725 0.0330 0.0968 0.0067 0.1471 0.0771 0.0499
157-AH 0.0351 0.2721 0.5398 0.5937 0.6061 0.4316 0.2451 0.3216 0.5709 0.5679 0.2887 0.1294 0.1959 0.0351 0.6061 0.4316 0.2451
158-AH 0.0000 0.0218 0.3772 0.6190 0.7778 0.3517 0.3107 0.5972 0.7778 0.8832 0.0602 0.0001 0.2575 0.0000 0.7778 0.3517 0.3107
159-AH 0.0000 0.0000 0.0612 0.1572 0.3235 0.0951 0.1176 0.1572 0.3235 1.2374 0.0013 0.0000 0.0951 0.0000 0.3235 0.0951 0.1176
160-AH 0.0000 0.0020 0.0356 0.1181 0.1667 0.0598 0.0673 0.1160 0.1667 1.1254 0.0048 0.0000 0.0576 0.0000 0.1667 0.0598 0.0673
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.1884 0.5578 0.8927 0.9398 0.9688 0.7422 0.2961 0.3820 0.7803 0.3989 0.6598 0.5442 0.2307 0.1884 0.9688 0.7422 0.2961
164-AH 0.0000 0.0074 0.0179 0.0313 0.2500 0.0454 0.0835 0.0239 0.2500 1.8394 0.0043 0.0000 0.0511 0.0000 0.0357 0.0162 0.0131
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.1250 0.3095 0.7500 1.0000 0.4211 0.3940 0.6250 1.0000 0.9355 0.0323 0.0000 0.3092 0.0000 1.0000 0.4211 0.3940
168-AH 0.0000 0.0000 0.2143 0.4482 0.8000 0.2656 0.3074 0.4482 0.8000 1.1572 0.0023 0.0000 0.2656 0.0000 0.8000 0.2656 0.3074
169-AH 0.0041 0.0099 0.0206 0.2770 1.0000 0.2024 0.3638 0.2671 0.9959 1.7971 0.0374 0.0132 0.2738 0.0041 0.5000 0.0885 0.1822
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0240 0.0583 0.1041 0.1312 0.1429 0.0942 0.0447 0.0729 0.1189 0.4749 0.0807 0.0642 0.0355 0.0240 0.1429 0.0942 0.0447
172-AH 0.0035 0.0098 0.0532 0.0941 0.1053 0.0529 0.0447 0.0843 0.1018 0.8458 0.0297 0.0137 0.0409 0.0035 0.1053 0.0529 0.0447
173-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.8000 0.3703 0.4000 0.8000 0.4629 0.6687 0.5000 0.3000 0.2000 1.0000 0.8000 0.3703
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9375 0.1768 0.0000 0.5000 0.1886 0.9170 0.8889 0.1094 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
176-AH 0.1818 0.7222 1.0000 1.0000 1.0000 0.8283 0.3256 0.2778 0.8182 0.3931 0.7302 0.5818 0.2576 0.4444 1.0000 0.9206 0.2100
177-AH 0.0242 0.3214 0.4643 0.5500 0.8000 0.4370 0.2350 0.2286 0.7758 0.5377 0.3215 0.1389 0.1630 0.0242 0.8000 0.4370 0.2350
178-AH 0.0000 0.0000 0.0357 0.1556 1.0000 0.1728 0.3420 0.1556 1.0000 1.9787 0.0014 0.0000 0.2136 0.0000 0.2000 0.0546 0.0780
179-AH 0.0000 0.0000 0.1000 0.2431 1.0000 0.2108 0.3392 0.2431 1.0000 1.6092 0.0018 0.0000 0.2141 0.0000 0.2778 0.0980 0.1247
180-AH 0.0000 0.0158 0.0813 0.5443 0.9000 0.2729 0.3437 0.5284 0.9000 1.2597 0.0158 0.0000 0.2925 0.0000 0.9000 0.2729 0.3437
181-AH 0.0000 0.4533 0.8992 0.9373 0.9545 0.6917 0.4166 0.4840 0.9545 0.6023 0.1470 0.0001 0.3366 0.0000 0.9545 0.6917 0.4166
182-AH 0.0000 0.0428 0.1244 0.4167 1.0000 0.2710 0.3410 0.3739 1.0000 1.2585 0.0380 0.0001 0.2551 0.0000 0.5000 0.1668 0.1855
183-AH 0.0250 0.1556 0.2967 0.3542 0.5000 0.2672 0.1511 0.1986 0.4750 0.5652 0.2044 0.1169 0.1164 0.0250 0.5000 0.2672 0.1511
184-AH 0.0082 0.0285 0.1339 0.2708 1.0000 0.2343 0.3310 0.2423 0.9918 1.4126 0.0946 0.0351 0.2266 0.0082 0.3750 0.1250 0.1272
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
190-AH 0.0000 0.0000 0.0441 0.3929 0.7500 0.2030 0.2859 0.3929 0.7500 1.4085 0.0018 0.0000 0.2317 0.0000 0.7500 0.2030 0.2859
149
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0357 0.0720 0.1769 0.7500 1.0000 0.3792 0.4097 0.6780 0.9643 1.0805 0.2026 0.1121 0.3406 0.0357 1.0000 0.3792 0.4097
193-AH 0.0000 0.2143 0.7500 1.0000 1.0000 0.6161 0.4468 0.7857 1.0000 0.7252 0.0464 0.0000 0.3839 0.0000 1.0000 0.6161 0.4468
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.3158 0.8718 1.0000 1.0000 0.6719 0.4376 0.6842 1.0000 0.6512 0.0512 0.0000 0.3460 0.0000 1.0000 0.6719 0.4376
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0182 0.2834 0.6667 1.0000 1.0000 0.6148 0.3945 0.7166 0.9818 0.6417 0.3752 0.1101 0.3148 0.0182 1.0000 0.6148 0.3945
200-AH 0.0000 0.0070 0.0791 1.0000 1.0000 0.3965 0.5009 0.9930 1.0000 1.2634 0.0172 0.0000 0.4526 0.0000 1.0000 0.3965 0.5009
251-AH 0.0000 0.4545 0.9349 1.0000 1.0000 0.7224 0.4472 0.5455 1.0000 0.6191 0.0546 0.0000 0.3612 0.0000 1.0000 0.7224 0.4472
252-AH 0.0000 0.0201 0.1393 0.4150 0.7500 0.2373 0.2915 0.3949 0.7500 1.2284 0.0171 0.0000 0.2279 0.0000 0.7500 0.2373 0.2915
253-AH 0.0000 0.0288 0.1888 0.3247 0.5588 0.2054 0.1958 0.2959 0.5588 0.9532 0.0179 0.0000 0.1595 0.0000 0.5588 0.2054 0.1958
254-AH 0.0000 0.0000 0.0425 0.2694 0.4087 0.1291 0.1728 0.2694 0.4087 1.3388 0.0015 0.0000 0.1401 0.0000 0.4087 0.1291 0.1728
255-AH 0.0213 0.1818 1.0000 1.0000 1.0000 0.6731 0.4610 0.8182 0.9787 0.6849 0.3480 0.0909 0.4086 0.0213 1.0000 0.6731 0.4610
256-AH 0.0000 0.4167 1.0000 1.0000 1.0000 0.7292 0.4537 0.5833 1.0000 0.6222 0.0550 0.0000 0.3646 0.0000 1.0000 0.7292 0.4537
257-AH 0.0000 0.0546 0.1160 0.2378 0.4000 0.1521 0.1387 0.1832 0.4000 0.9119 0.0154 0.0000 0.1048 0.0000 0.4000 0.1521 0.1387
258-AH 0.0000 0.0000 0.0007 0.0023 0.0139 0.0025 0.0047 0.0023 0.0139 1.8962 0.0002 0.0000 0.0030 0.0000 0.0030 0.0009 0.0012
259-AH 0.0000 0.0014 0.1010 1.0000 1.0000 0.4006 0.5009 0.9986 1.0000 1.2503 0.0172 0.0001 0.4496 0.0000 1.0000 0.4006 0.5009
260-AH 0.0000 0.0323 0.3215 0.6878 0.8125 0.3620 0.3602 0.6555 0.8125 0.9950 0.0553 0.0001 0.3316 0.0000 0.8125 0.3620 0.3602
261-AH 0.0379 0.0452 0.0564 0.0809 0.1842 0.0734 0.0480 0.0358 0.1463 0.6538 0.0641 0.0581 0.0321 0.0379 0.0909 0.0575 0.0186
262-AH 0.0000 0.0144 0.0480 0.0711 0.0833 0.0438 0.0335 0.0567 0.0833 0.7663 0.0063 0.0000 0.0293 0.0000 0.0833 0.0438 0.0335
263-AH 0.0000 0.0000 0.0313 0.2490 0.3158 0.1096 0.1373 0.2490 0.3158 1.2528 0.0014 0.0000 0.1213 0.0000 0.3158 0.1096 0.1373
264-AH 0.1268 0.2944 0.6307 0.8667 1.0000 0.5888 0.3311 0.5722 0.8732 0.5623 0.4682 0.3331 0.2627 0.1268 1.0000 0.5888 0.3311
265-AH 0.0000 0.0952 0.2500 0.3167 0.6667 0.2488 0.2118 0.2214 0.6667 0.8514 0.0230 0.0000 0.1476 0.0000 0.3333 0.1891 0.1382
266-AH 0.0000 0.0152 0.0649 0.1241 0.1739 0.0728 0.0670 0.1088 0.1739 0.9204 0.0174 0.0001 0.0577 0.0000 0.1739 0.0728 0.0670
267-AH 0.0000 0.0250 0.2121 0.3958 0.4167 0.2103 0.1912 0.3708 0.4167 0.9090 0.0178 0.0000 0.1751 0.0000 0.4167 0.2103 0.1912
268-AH 0.0000 0.0044 0.1732 1.0000 1.0000 0.4194 0.4934 0.9956 1.0000 1.1765 0.0158 0.0000 0.4355 0.0000 1.0000 0.4194 0.4934
269-AH 0.0087 0.0169 0.0260 0.0435 0.2857 0.0584 0.0929 0.0265 0.2770 1.5904 0.0309 0.0220 0.0568 0.0087 0.0556 0.0259 0.0151
270-AH 0.0263 0.3554 0.7889 0.9303 0.9474 0.6404 0.3896 0.5749 0.9211 0.6084 0.3535 0.0966 0.3070 0.0263 0.9474 0.6404 0.3896
271-AH 0.0359 0.2110 0.8819 1.0000 1.0000 0.6527 0.4306 0.7890 0.9641 0.6597 0.3763 0.1282 0.3751 0.0359 1.0000 0.6527 0.4306
272-AH 0.0000 0.0500 0.1606 0.3417 0.5000 0.2006 0.1842 0.2917 0.5000 0.9186 0.0185 0.0000 0.1454 0.0000 0.5000 0.2006 0.1842
273-AH 0.0000 0.0112 0.4147 0.8931 0.9565 0.4493 0.4687 0.8819 0.9565 1.0431 0.0212 0.0000 0.4364 0.0000 0.9565 0.4493 0.4687
274-AH 0.0000 0.0105 0.0238 0.0300 0.0952 0.0280 0.0297 0.0196 0.0952 1.0631 0.0042 0.0000 0.0178 0.0000 0.0320 0.0184 0.0131
275-AH 0.0000 0.0085 0.0744 0.3044 0.3684 0.1429 0.1605 0.2958 0.3684 1.1236 0.0104 0.0000 0.1371 0.0000 0.3684 0.1429 0.1605
276-AH 0.0952 0.2174 0.4147 0.6103 0.6316 0.4014 0.2162 0.3929 0.5363 0.5386 0.3372 0.2677 0.1920 0.0952 0.6316 0.4014 0.2162
277-AH 0.0000 0.0214 0.0682 0.1644 0.3333 0.1052 0.1127 0.1430 0.3333 1.0713 0.0106 0.0000 0.0867 0.0000 0.3333 0.1052 0.1127
278-AH 0.0000 0.0000 0.0000 0.0134 0.2941 0.0401 0.1031 0.0134 0.2941 2.5697 0.0001 0.0000 0.0635 0.0000 0.0267 0.0038 0.0101
279-AH 0.0000 0.0027 0.0373 0.3000 0.5000 0.1475 0.1999 0.2973 0.5000 1.3550 0.0082 0.0000 0.1644 0.0000 0.5000 0.1475 0.1999
280-AH 0.0000 0.0000 0.0086 0.0267 0.0984 0.0211 0.0343 0.0267 0.0984 1.6221 0.0012 0.0000 0.0248 0.0000 0.0431 0.0101 0.0153
281-AH 0.0000 0.1184 0.4893 0.7662 0.8182 0.4458 0.3562 0.6478 0.8182 0.7991 0.0349 0.0000 0.3184 0.0000 0.8182 0.4458 0.3562
282-AH 0.0091 0.0950 0.2612 0.3611 0.5333 0.2471 0.1802 0.2661 0.5242 0.7290 0.1321 0.0377 0.1368 0.0091 0.5333 0.2471 0.1802
283-AH 0.0000 0.0606 0.2031 0.4588 0.6154 0.2576 0.2402 0.3982 0.6154 0.9325 0.0218 0.0000 0.1960 0.0000 0.6154 0.2576 0.2402
284-AH 0.0000 0.0000 0.1467 0.3681 0.4737 0.1879 0.2039 0.3681 0.4737 1.0851 0.0052 0.0000 0.1791 0.0000 0.4737 0.1879 0.2039
285-AH 0.0657 0.0906 0.1067 0.3727 0.8571 0.2578 0.2802 0.2822 0.7914 1.0869 0.1688 0.1265 0.2073 0.0657 0.4857 0.1722 0.1524
286-AH 0.0000 0.0000 0.0000 0.0000 0.0421 0.0053 0.0149 0.0000 0.0421 2.8284 0.0000 0.0000 0.0092 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0451 0.2092 0.4778 0.5714 0.2544 0.2394 0.4327 0.5714 0.9409 0.0509 0.0001 0.2106 0.0000 0.5714 0.2544 0.2394
288-AH 0.0000 0.0214 0.1776 0.2029 0.3830 0.1483 0.1300 0.1815 0.3830 0.8767 0.0146 0.0000 0.1006 0.0000 0.3830 0.1483 0.1300
289-AH 0.0000 0.0000 0.3462 0.7143 1.0000 0.3901 0.4280 0.7143 1.0000 1.0971 0.0028 0.0000 0.3901 0.0000 1.0000 0.3901 0.4280
290-AH 0.0000 0.0000 0.0399 0.1642 0.2941 0.0878 0.1203 0.1642 0.2941 1.3704 0.0029 0.0000 0.0945 0.0000 0.2941 0.0878 0.1203
150
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0087 0.0102 0.0895 0.7500 1.0000 0.3385 0.4406 0.7398 0.9913 1.3016 0.0789 0.0216 0.3711 0.0087 1.0000 0.3385 0.4406
292-AH 0.0282 0.0866 0.2381 1.0000 1.0000 0.4597 0.4572 0.9134 0.9718 0.9945 0.2216 0.0904 0.4052 0.0282 1.0000 0.4597 0.4572
293-AH 0.0000 0.0050 0.3563 0.7867 1.0000 0.4120 0.4436 0.7818 1.0000 1.0766 0.0165 0.0000 0.4064 0.0000 1.0000 0.4120 0.4436
294-AH 0.0000 0.0061 0.2296 0.4451 0.6667 0.2535 0.2679 0.4390 0.6667 1.0568 0.0152 0.0000 0.2398 0.0000 0.6667 0.2535 0.2679
295-AH 0.0000 0.0000 0.0447 0.1100 0.3667 0.0845 0.1252 0.1100 0.3667 1.4816 0.0012 0.0000 0.0845 0.0000 0.1209 0.0442 0.0559
296-AH 0.0000 0.0071 0.3220 0.7222 0.8333 0.3670 0.3887 0.7152 0.8333 1.0591 0.0171 0.0000 0.3587 0.0000 0.8333 0.3670 0.3887
297-AH 0.0000 0.0000 0.0788 0.3333 0.7500 0.1968 0.2814 0.3333 0.7500 1.4299 0.0037 0.0000 0.2141 0.0000 0.7500 0.1968 0.2814
298-AH 0.0000 0.0054 0.0233 0.1072 0.6000 0.1090 0.2067 0.1018 0.6000 1.8968 0.0062 0.0000 0.1399 0.0000 0.1778 0.0388 0.0628
299-AH 0.0000 0.0126 0.1152 0.3343 0.3902 0.1643 0.1713 0.3217 0.3902 1.0428 0.0127 0.0000 0.1499 0.0000 0.3902 0.1643 0.1713
300-AH 0.0000 0.0000 0.0404 0.0883 0.2222 0.0600 0.0764 0.0883 0.2222 1.2735 0.0026 0.0000 0.0557 0.0000 0.0989 0.0368 0.0423
301-AH 0.0000 0.0000 0.0455 0.5472 1.0000 0.2732 0.4504 0.5472 1.0000 1.6490 0.0017 0.0000 0.3634 0.0000 1.0000 0.2732 0.4504
302-AH 0.1000 0.1196 0.1978 0.4167 0.5000 0.2585 0.1702 0.2970 0.4000 0.6584 0.2121 0.1768 0.1415 0.1000 0.5000 0.2585 0.1702
303-AH 0.0000 0.0108 0.1330 0.3333 0.3750 0.1661 0.1657 0.3226 0.3750 0.9971 0.0132 0.0000 0.1486 0.0000 0.3750 0.1661 0.1657
304-AH 0.0000 0.2500 0.8000 1.0000 1.0000 0.6375 0.4406 0.7500 1.0000 0.6911 0.0484 0.0000 0.3625 0.0000 1.0000 0.6375 0.4406
305-AH 0.0000 0.0985 0.2386 0.2796 0.3714 0.2006 0.1343 0.1811 0.3714 0.6696 0.0206 0.0000 0.1012 0.0000 0.3714 0.2006 0.1343
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0370 0.3019 0.0470 0.1062 0.0370 0.3019 2.2606 0.0001 0.0000 0.0705 0.0000 0.0739 0.0106 0.0279
308-AH 0.0286 0.5556 1.0000 1.0000 1.0000 0.7675 0.4311 0.4444 0.9714 0.5618 0.4872 0.1600 0.3488 0.0286 1.0000 0.7675 0.4311
309-AH 0.0386 0.0597 0.0773 0.0997 0.3333 0.1057 0.0946 0.0400 0.2947 0.8951 0.0847 0.0735 0.0583 0.0386 0.1111 0.0732 0.0238
310-AH 0.0000 0.0333 0.1076 0.1563 0.1919 0.0983 0.0726 0.1230 0.1919 0.7383 0.0117 0.0000 0.0571 0.0000 0.1919 0.0983 0.0726
311-AH 0.0561 0.1051 0.2400 0.3741 0.6296 0.2655 0.1921 0.2690 0.5735 0.7237 0.2037 0.1510 0.1453 0.0561 0.6296 0.2655 0.1921
312-AH 0.0000 0.0000 0.0289 0.0833 0.8000 0.1281 0.2743 0.0833 0.8000 2.1417 0.0012 0.0000 0.1680 0.0000 0.1000 0.0321 0.0420
313-AH 0.0090 0.0127 0.0444 0.0917 0.2381 0.0681 0.0780 0.0790 0.2291 1.1449 0.0365 0.0212 0.0558 0.0090 0.0946 0.0438 0.0398
314-AH 0.0000 0.0758 0.1603 0.2086 0.2941 0.1479 0.1030 0.1328 0.2941 0.6966 0.0163 0.0000 0.0740 0.0000 0.2941 0.1479 0.1030
315-AH 0.0000 0.0224 0.0827 0.5655 0.7105 0.2565 0.3060 0.5431 0.7105 1.1930 0.0392 0.0001 0.2680 0.0000 0.7105 0.2565 0.3060
316-AH 0.0000 0.0708 0.1554 0.2447 0.3012 0.1554 0.1128 0.1739 0.3012 0.7257 0.0167 0.0000 0.0836 0.0000 0.3012 0.1554 0.1128
317-AH 0.0208 0.0293 0.0663 0.1280 0.2222 0.0863 0.0747 0.0987 0.2014 0.8654 0.0625 0.0469 0.0574 0.0208 0.2222 0.0863 0.0747
318-AH 0.0022 0.0879 0.1875 0.3750 0.5000 0.2254 0.1893 0.2871 0.4978 0.8401 0.1071 0.0152 0.1435 0.0022 0.5000 0.2254 0.1893
319-AH 0.0323 0.1260 0.2426 0.4139 0.6667 0.2830 0.2245 0.2879 0.6344 0.7933 0.1980 0.1209 0.1680 0.0323 0.6667 0.2830 0.2245
320-AH 0.0000 0.0112 0.0337 0.0413 0.0426 0.0269 0.0181 0.0301 0.0426 0.6725 0.0045 0.0000 0.0146 0.0000 0.0426 0.0269 0.0181
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0041 0.0585 0.1604 0.2676 0.3333 0.1638 0.1251 0.2092 0.3293 0.7636 0.0898 0.0242 0.1077 0.0041 0.3333 0.1638 0.1251
323-AH 0.0000 0.0066 0.0833 0.1026 0.1277 0.0641 0.0519 0.0960 0.1277 0.8097 0.0077 0.0000 0.0448 0.0000 0.1277 0.0641 0.0519
324-AH 0.0000 0.0093 0.0641 0.2864 0.7143 0.1792 0.2477 0.2770 0.7143 1.3820 0.0113 0.0000 0.1873 0.0000 0.3000 0.1028 0.1306
325-AH 0.0227 0.0353 0.0855 0.2105 0.6842 0.1712 0.2238 0.1752 0.6615 1.3074 0.0911 0.0565 0.1546 0.0227 0.2766 0.0979 0.0912
326-AH 0.0000 0.1667 0.5833 1.0000 1.0000 0.5625 0.4267 0.8333 1.0000 0.7585 0.0427 0.0000 0.3542 0.0000 1.0000 0.5625 0.4267
327-AH 0.0000 0.0000 0.0076 0.0349 0.5000 0.0731 0.1735 0.0349 0.5000 2.3734 0.0014 0.0000 0.1067 0.0000 0.0577 0.0121 0.0207
328-AH 0.0189 0.3156 0.5727 0.7071 0.7143 0.4905 0.2766 0.3915 0.6954 0.5639 0.3225 0.1102 0.2155 0.0189 0.7143 0.4905 0.2766
329-AH 0.0000 0.3333 0.7333 1.0000 1.0000 0.6417 0.4200 0.6667 1.0000 0.6546 0.0494 0.0000 0.3208 0.0000 1.0000 0.6417 0.4200
330-AH 0.0000 0.4033 0.7991 0.8436 0.9231 0.6269 0.3831 0.4403 0.9231 0.6112 0.1273 0.0001 0.3082 0.0000 0.9231 0.6269 0.3831
331-AH 0.0000 0.1130 0.2303 0.2731 0.3333 0.1958 0.1248 0.1601 0.3333 0.6375 0.0456 0.0001 0.0963 0.0000 0.3333 0.1958 0.1248
332-AH 0.0000 0.1250 0.7000 1.0000 1.0000 0.5813 0.4659 0.8750 1.0000 0.8016 0.0422 0.0000 0.4187 0.0000 1.0000 0.5813 0.4659
333-AH 0.0000 0.0033 0.5023 1.0000 1.0000 0.5014 0.5330 0.9967 1.0000 1.0631 0.0290 0.0001 0.4986 0.0000 1.0000 0.5014 0.5330
334-AH 0.0000 0.0000 0.1263 1.0000 1.0000 0.4066 0.4986 1.0000 1.0000 1.2263 0.0053 0.0000 0.4451 0.0000 1.0000 0.4066 0.4986
335-AH 0.0000 0.0000 0.0537 0.1807 0.3333 0.1003 0.1235 0.1807 0.3333 1.2317 0.0029 0.0000 0.0993 0.0000 0.3333 0.1003 0.1235
336-AH 0.0000 0.0059 0.0390 0.1829 0.3333 0.0986 0.1334 0.1769 0.3333 1.3528 0.0078 0.0000 0.1055 0.0000 0.3333 0.0986 0.1334
337-AH 0.0000 0.4231 0.9583 1.0000 1.0000 0.7204 0.4480 0.5769 1.0000 0.6219 0.0545 0.0000 0.3602 0.0000 1.0000 0.7204 0.4480
338-AH 0.0000 0.1389 0.4500 0.9375 1.0000 0.5066 0.4140 0.7986 1.0000 0.8172 0.0385 0.0000 0.3388 0.0000 1.0000 0.5066 0.4140
339-AH 0.0000 0.0127 0.1812 0.6071 1.0000 0.3253 0.3803 0.5945 1.0000 1.1691 0.0187 0.0000 0.3096 0.0000 1.0000 0.3253 0.3803
340-AH 0.0035 0.0035 0.1713 0.5000 1.0000 0.2941 0.3623 0.4965 0.9965 1.2318 0.0491 0.0083 0.2892 0.0035 1.0000 0.2941 0.3623
151
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0035 0.5213 1.0000 1.0000 1.0000 0.7558 0.4524 0.4787 0.9965 0.5986 0.3328 0.0256 0.3664 0.0035 1.0000 0.7558 0.4524
342-AH 0.1587 0.5454 0.7854 0.8293 0.8974 0.6720 0.2669 0.2839 0.7387 0.3972 0.5948 0.4825 0.2088 0.1587 0.8974 0.6720 0.2669
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0607 0.6131 0.8532 1.0000 0.5067 0.4100 0.7925 1.0000 0.8090 0.0944 0.0001 0.3497 0.0000 1.0000 0.5067 0.4100
345-AH 0.0000 0.0083 0.0236 0.0828 0.5000 0.0912 0.1710 0.0745 0.5000 1.8758 0.0060 0.0000 0.1139 0.0000 0.1379 0.0328 0.0478
346-AH 0.0074 0.0336 0.0755 0.1266 0.2308 0.0887 0.0749 0.0930 0.2234 0.8448 0.0554 0.0274 0.0545 0.0074 0.2308 0.0887 0.0749
347-AH 0.0000 0.0070 0.0237 0.0911 0.1000 0.0429 0.0435 0.0841 0.1000 1.0126 0.0105 0.0001 0.0383 0.0000 0.1000 0.0429 0.0435
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.1200 0.5824 0.9286 1.0000 0.5327 0.4212 0.8086 1.0000 0.7907 0.0400 0.0000 0.3634 0.0000 1.0000 0.5327 0.4212
350-AH 0.1250 0.6429 1.0000 1.0000 1.0000 0.8013 0.3703 0.3571 0.8750 0.4622 0.6593 0.4571 0.2980 0.1250 1.0000 0.8013 0.3703
152
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0078 0.5132 1.0000 1.0000 1.0000 0.7543 0.4550 0.4868 0.9922 0.6033 0.3460 0.0465 0.3686 0.0078 1.0000 0.7543 0.4550
143-AH 0.0000 0.0065 0.2381 0.8158 1.0000 0.3901 0.4464 0.8093 1.0000 1.1442 0.0165 0.0000 0.3832 0.0000 1.0000 0.3901 0.4464
144-AH 0.0015 0.0878 0.5833 1.0000 1.0000 0.5430 0.4414 0.9122 0.9985 0.8129 0.1719 0.0103 0.3737 0.0015 1.0000 0.5430 0.4414
145-AH 0.0000 0.0268 0.3656 0.8619 0.8667 0.4219 0.4250 0.8351 0.8667 1.0073 0.0249 0.0000 0.3924 0.0000 0.8667 0.4219 0.4250
146-AH 0.0000 0.0714 0.3500 0.5000 0.5000 0.2929 0.2312 0.4286 0.5000 0.7896 0.0255 0.0000 0.2071 0.0000 0.5000 0.2929 0.2312
147-AH 0.0000 0.0105 0.1469 0.4992 0.7826 0.2620 0.3241 0.4888 0.7826 1.2373 0.0151 0.0000 0.2488 0.0000 0.7826 0.2620 0.3241
148-AH 0.0000 0.0000 0.0130 0.0371 0.0488 0.0186 0.0211 0.0371 0.0488 1.1328 0.0006 0.0000 0.0186 0.0000 0.0488 0.0186 0.0211
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0084 0.0187 0.1057 0.2222 0.0610 0.0835 0.0973 0.2222 1.3699 0.0057 0.0000 0.0651 0.0000 0.2222 0.0610 0.0835
151-AH 0.0000 0.0000 0.0105 0.0181 0.8000 0.1072 0.2801 0.0181 0.8000 2.6137 0.0015 0.0000 0.1732 0.0000 0.0192 0.0082 0.0083
152-AH 0.0000 0.0000 0.0118 0.2262 1.0000 0.1845 0.3459 0.2262 1.0000 1.8751 0.0014 0.0000 0.2292 0.0000 0.2857 0.0680 0.1137
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0745 0.2798 0.6000 0.7778 0.3358 0.2987 0.5255 0.7778 0.8896 0.0273 0.0000 0.2426 0.0000 0.7778 0.3358 0.2987
155-AH 0.0000 0.0034 0.0161 0.4500 1.0000 0.2424 0.3666 0.4466 1.0000 1.5125 0.0085 0.0000 0.2932 0.0000 1.0000 0.2424 0.3666
156-AH 0.0000 0.0337 0.0641 0.0735 0.4444 0.0984 0.1425 0.0398 0.4444 1.4479 0.0231 0.0001 0.0865 0.0000 0.0784 0.0490 0.0295
157-AH 0.0000 0.2136 0.4779 0.5604 0.6027 0.3883 0.2465 0.3468 0.6027 0.6348 0.0341 0.0000 0.1942 0.0000 0.6027 0.3883 0.2465
158-AH 0.0000 0.0146 0.2334 0.3887 0.6364 0.2387 0.2301 0.3741 0.6364 0.9638 0.0185 0.0000 0.1903 0.0000 0.6364 0.2387 0.2301
159-AH 0.0000 0.0000 0.0612 0.1489 0.3208 0.0926 0.1158 0.1489 0.3208 1.2498 0.0013 0.0000 0.0926 0.0000 0.3208 0.0926 0.1158
160-AH 0.0000 0.0020 0.0356 0.1181 0.1667 0.0598 0.0673 0.1160 0.1667 1.1254 0.0048 0.0000 0.0576 0.0000 0.1667 0.0598 0.0673
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0782 0.4760 0.7989 0.8944 0.9048 0.6652 0.3082 0.4184 0.8266 0.4634 0.5409 0.3431 0.2414 0.0782 0.9048 0.6652 0.3082
164-AH 0.0000 0.0058 0.0125 0.0244 0.1833 0.0336 0.0613 0.0186 0.1833 1.8262 0.0034 0.0000 0.0374 0.0000 0.0313 0.0122 0.0107
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0250 0.0789 0.2017 0.3333 0.1181 0.1262 0.1767 0.3333 1.0684 0.0115 0.0000 0.0957 0.0000 0.3333 0.1181 0.1262
168-AH 0.0000 0.0000 0.2143 0.4482 0.8000 0.2656 0.3074 0.4482 0.8000 1.1572 0.0023 0.0000 0.2656 0.0000 0.8000 0.2656 0.3074
169-AH 0.0041 0.0099 0.0206 0.2770 1.0000 0.2024 0.3638 0.2671 0.9959 1.7971 0.0374 0.0132 0.2738 0.0041 0.5000 0.0885 0.1822
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0192 0.0449 0.0617 0.0744 0.0824 0.0579 0.0219 0.0295 0.0632 0.3782 0.0530 0.0467 0.0162 0.0192 0.0824 0.0579 0.0219
172-AH 0.0032 0.0097 0.0496 0.0849 0.1000 0.0490 0.0409 0.0752 0.0968 0.8344 0.0281 0.0131 0.0373 0.0032 0.1000 0.0490 0.0409
173-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.8000 0.3703 0.4000 0.8000 0.4629 0.6687 0.5000 0.3000 0.2000 1.0000 0.8000 0.3703
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9375 0.1768 0.0000 0.5000 0.1886 0.9170 0.8889 0.1094 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.3750 0.9000 1.0000 1.0000 0.6938 0.4395 0.6250 1.0000 0.6335 0.0528 0.0000 0.3469 0.0000 1.0000 0.6938 0.4395
176-AH 0.1714 0.7222 1.0000 1.0000 1.0000 0.8270 0.3286 0.2778 0.8286 0.3973 0.7248 0.5680 0.2595 0.4444 1.0000 0.9206 0.2100
177-AH 0.0159 0.1880 0.3818 0.4222 0.8000 0.3500 0.2425 0.2342 0.7841 0.6929 0.2249 0.0860 0.1645 0.0159 0.4444 0.2857 0.1733
178-AH 0.0000 0.0000 0.0033 0.0123 0.0141 0.0057 0.0064 0.0123 0.0141 1.1371 0.0003 0.0000 0.0057 0.0000 0.0141 0.0057 0.0064
179-AH 0.0000 0.0000 0.0281 0.1070 1.0000 0.1588 0.3440 0.1070 1.0000 2.1663 0.0012 0.0000 0.2103 0.0000 0.1509 0.0386 0.0570
180-AH 0.0000 0.0158 0.0813 0.5443 0.8824 0.2707 0.3392 0.5284 0.8824 1.2531 0.0158 0.0000 0.2897 0.0000 0.8824 0.2707 0.3392
181-AH 0.0000 0.4272 0.8723 0.9103 0.9245 0.6680 0.4033 0.4830 0.9245 0.6037 0.1419 0.0001 0.3254 0.0000 0.9245 0.6680 0.4033
182-AH 0.0000 0.0145 0.0694 0.1206 0.2000 0.0761 0.0719 0.1061 0.2000 0.9447 0.0088 0.0000 0.0542 0.0000 0.2000 0.0761 0.0719
183-AH 0.0000 0.0690 0.2967 0.3413 0.3750 0.2236 0.1564 0.2724 0.3750 0.6993 0.0219 0.0000 0.1332 0.0000 0.3750 0.2236 0.1564
184-AH 0.0047 0.0182 0.0741 0.2359 0.6667 0.1660 0.2349 0.2177 0.6620 1.4150 0.0613 0.0219 0.1774 0.0047 0.3750 0.0945 0.1289
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
190-AH 0.0000 0.0000 0.0127 0.1155 0.7500 0.1258 0.2577 0.1155 0.7500 2.0478 0.0011 0.0000 0.1603 0.0000 0.1429 0.0367 0.0569
153
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0357 0.0720 0.1769 0.7500 1.0000 0.3792 0.4097 0.6780 0.9643 1.0805 0.2026 0.1121 0.3406 0.0357 1.0000 0.3792 0.4097
193-AH 0.0000 0.1389 0.3167 0.5143 0.8000 0.3425 0.2735 0.3754 0.8000 0.7987 0.0295 0.0000 0.2003 0.0000 0.8000 0.3425 0.2735
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.2885 0.8718 1.0000 1.0000 0.6651 0.4387 0.7115 1.0000 0.6597 0.0506 0.0000 0.3546 0.0000 1.0000 0.6651 0.4387
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0037 0.2834 0.5857 0.6750 1.0000 0.5115 0.3252 0.3916 0.9963 0.6357 0.2691 0.0275 0.2410 0.0037 1.0000 0.5115 0.3252
200-AH 0.0000 0.0070 0.0791 0.9167 1.0000 0.3757 0.4751 0.9097 1.0000 1.2645 0.0168 0.0000 0.4266 0.0000 1.0000 0.3757 0.4751
251-AH 0.0000 0.3846 0.8545 0.9111 0.9167 0.6521 0.4064 0.5265 0.9167 0.6232 0.0505 0.0000 0.3261 0.0000 0.9167 0.6521 0.4064
252-AH 0.0000 0.0201 0.0712 0.3233 0.5294 0.1698 0.2127 0.3032 0.5294 1.2526 0.0129 0.0000 0.1666 0.0000 0.5294 0.1698 0.2127
253-AH 0.0000 0.0000 0.1335 0.2525 0.4638 0.1545 0.1660 0.2525 0.4638 1.0747 0.0051 0.0000 0.1312 0.0000 0.4638 0.1545 0.1660
254-AH 0.0000 0.0000 0.0000 0.2372 0.3763 0.1063 0.1616 0.2372 0.3763 1.5196 0.0005 0.0000 0.1329 0.0000 0.3763 0.1063 0.1616
255-AH 0.0000 0.0175 0.0377 0.0965 0.7500 0.1317 0.2544 0.0790 0.7500 1.9315 0.0083 0.0000 0.1601 0.0000 0.1538 0.0434 0.0518
256-AH 0.0000 0.3750 0.9258 1.0000 1.0000 0.7002 0.4399 0.6250 1.0000 0.6282 0.0532 0.0000 0.3501 0.0000 1.0000 0.7002 0.4399
257-AH 0.0000 0.0188 0.0967 0.2119 0.2923 0.1184 0.1114 0.1931 0.2923 0.9413 0.0120 0.0000 0.0902 0.0000 0.2923 0.1184 0.1114
258-AH 0.0000 0.0000 0.0000 0.0000 0.0125 0.0016 0.0044 0.0000 0.0125 2.8284 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0014 0.1010 1.0000 1.0000 0.4006 0.5009 0.9986 1.0000 1.2503 0.0172 0.0001 0.4496 0.0000 1.0000 0.4006 0.5009
260-AH 0.0000 0.0252 0.3122 0.6259 0.7600 0.3358 0.3353 0.6007 0.7600 0.9985 0.0217 0.0000 0.3090 0.0000 0.7600 0.3358 0.3353
261-AH 0.0112 0.0149 0.0266 0.0300 0.0570 0.0264 0.0145 0.0151 0.0458 0.5490 0.0234 0.0208 0.0098 0.0112 0.0319 0.0220 0.0082
262-AH 0.0000 0.0000 0.0183 0.0527 0.0798 0.0277 0.0320 0.0527 0.0798 1.1556 0.0007 0.0000 0.0277 0.0000 0.0798 0.0277 0.0320
263-AH 0.0000 0.0000 0.0313 0.2021 0.3158 0.0978 0.1256 0.2021 0.3158 1.2838 0.0013 0.0000 0.1066 0.0000 0.3158 0.0978 0.1256
264-AH 0.1268 0.2422 0.5241 0.7682 0.9000 0.5119 0.3069 0.5260 0.7732 0.5995 0.4104 0.3079 0.2562 0.1268 0.9000 0.5119 0.3069
265-AH 0.0000 0.0952 0.2500 0.3167 0.6667 0.2488 0.2118 0.2214 0.6667 0.8514 0.0230 0.0000 0.1476 0.0000 0.3333 0.1891 0.1382
266-AH 0.0000 0.0130 0.0437 0.1141 0.1739 0.0644 0.0658 0.1010 0.1739 1.0203 0.0074 0.0000 0.0522 0.0000 0.1739 0.0644 0.0658
267-AH 0.0000 0.0191 0.1156 0.1609 0.2500 0.1052 0.0893 0.1418 0.2500 0.8493 0.0115 0.0000 0.0743 0.0000 0.2500 0.1052 0.0893
268-AH 0.0000 0.0044 0.1732 1.0000 1.0000 0.4194 0.4934 0.9956 1.0000 1.1765 0.0158 0.0000 0.4355 0.0000 1.0000 0.4194 0.4934
269-AH 0.0087 0.0158 0.0183 0.0435 0.2105 0.0468 0.0677 0.0277 0.2018 1.4473 0.0268 0.0197 0.0431 0.0087 0.0556 0.0234 0.0157
270-AH 0.0000 0.3524 0.7254 0.7891 0.9474 0.5851 0.3623 0.4367 0.9474 0.6192 0.1238 0.0001 0.2860 0.0000 0.9474 0.5851 0.3623
271-AH 0.0284 0.1827 0.7846 0.8091 0.8889 0.5588 0.3677 0.6264 0.8605 0.6581 0.3195 0.1058 0.3206 0.0284 0.8889 0.5588 0.3677
272-AH 0.0000 0.0439 0.0971 0.3125 0.5000 0.1759 0.1875 0.2686 0.5000 1.0663 0.0156 0.0000 0.1494 0.0000 0.5000 0.1759 0.1875
273-AH 0.0000 0.0000 0.3875 0.8252 0.9286 0.4193 0.4507 0.8252 0.9286 1.0751 0.0029 0.0000 0.4193 0.0000 0.9286 0.4193 0.4507
274-AH 0.0000 0.0089 0.0216 0.0288 0.0952 0.0267 0.0300 0.0198 0.0952 1.1215 0.0040 0.0000 0.0181 0.0000 0.0294 0.0169 0.0124
275-AH 0.0000 0.0000 0.0653 0.2351 0.2985 0.1124 0.1309 0.2351 0.2985 1.1644 0.0015 0.0000 0.1124 0.0000 0.2985 0.1124 0.1309
276-AH 0.0759 0.1954 0.3474 0.5387 0.6207 0.3574 0.2088 0.3433 0.5447 0.5840 0.2926 0.2254 0.1855 0.0759 0.6207 0.3574 0.2088
277-AH 0.0000 0.0000 0.0279 0.1068 0.3333 0.0754 0.1137 0.1068 0.3333 1.5085 0.0026 0.0000 0.0802 0.0000 0.1111 0.0385 0.0490
278-AH 0.0000 0.0000 0.0000 0.0118 0.2258 0.0312 0.0791 0.0118 0.2258 2.5372 0.0001 0.0000 0.0487 0.0000 0.0235 0.0034 0.0089
279-AH 0.0000 0.0023 0.0293 0.0544 0.4000 0.0715 0.1348 0.0521 0.4000 1.8852 0.0049 0.0000 0.0821 0.0000 0.0588 0.0246 0.0254
280-AH 0.0000 0.0000 0.0000 0.0215 0.0849 0.0160 0.0317 0.0215 0.0849 1.9792 0.0001 0.0000 0.0240 0.0000 0.0431 0.0062 0.0163
281-AH 0.0000 0.1055 0.3853 0.5952 0.6500 0.3528 0.2739 0.4897 0.6500 0.7764 0.0297 0.0000 0.2420 0.0000 0.6500 0.3528 0.2739
282-AH 0.0000 0.0704 0.1794 0.3205 0.5000 0.2051 0.1709 0.2501 0.5000 0.8331 0.0197 0.0000 0.1314 0.0000 0.5000 0.2051 0.1709
283-AH 0.0000 0.0193 0.1478 0.2765 0.3947 0.1602 0.1528 0.2572 0.3947 0.9536 0.0142 0.0000 0.1350 0.0000 0.3947 0.1602 0.1528
284-AH 0.0000 0.0000 0.0670 0.2876 0.4286 0.1422 0.1831 0.2876 0.4286 1.2877 0.0041 0.0000 0.1443 0.0000 0.4286 0.1422 0.1831
285-AH 0.0371 0.0438 0.0721 0.3447 0.8462 0.2256 0.2874 0.3009 0.8091 1.2740 0.1167 0.0740 0.2147 0.0371 0.4333 0.1369 0.1516
286-AH 0.0000 0.0000 0.0000 0.0000 0.0421 0.0053 0.0149 0.0000 0.0421 2.8284 0.0000 0.0000 0.0092 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0364 0.2092 0.3939 0.5714 0.2313 0.2194 0.3575 0.5714 0.9485 0.0191 0.0000 0.1918 0.0000 0.5714 0.2313 0.2194
288-AH 0.0000 0.0161 0.1314 0.1950 0.3108 0.1245 0.1116 0.1789 0.3108 0.8964 0.0125 0.0000 0.0930 0.0000 0.3108 0.1245 0.1116
289-AH 0.0000 0.0000 0.3000 0.7033 0.7500 0.3446 0.3707 0.7033 0.7500 1.0759 0.0026 0.0000 0.3446 0.0000 0.7500 0.3446 0.3707
290-AH 0.0000 0.0000 0.0316 0.1060 0.1928 0.0585 0.0752 0.1060 0.1928 1.2861 0.0010 0.0000 0.0585 0.0000 0.1928 0.0585 0.0752
154
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0053 0.0622 0.6667 1.0000 0.3085 0.4410 0.6614 1.0000 1.4294 0.0126 0.0000 0.3519 0.0000 1.0000 0.3085 0.4410
292-AH 0.0282 0.0441 0.2333 1.0000 1.0000 0.4479 0.4674 0.9559 0.9718 1.0435 0.1962 0.0806 0.4141 0.0282 1.0000 0.4479 0.4674
293-AH 0.0000 0.0000 0.2500 0.7057 0.8824 0.3492 0.3943 0.7057 0.8824 1.1291 0.0026 0.0000 0.3492 0.0000 0.8824 0.3492 0.3943
294-AH 0.0000 0.0061 0.2058 0.4120 0.6667 0.2393 0.2577 0.4059 0.6667 1.0767 0.0146 0.0000 0.2259 0.0000 0.6667 0.2393 0.2577
295-AH 0.0000 0.0000 0.0260 0.0912 0.2581 0.0616 0.0895 0.0912 0.2581 1.4537 0.0010 0.0000 0.0640 0.0000 0.1059 0.0335 0.0446
296-AH 0.0000 0.0049 0.1567 0.5568 0.8000 0.2796 0.3380 0.5520 0.8000 1.2089 0.0131 0.0000 0.2738 0.0000 0.8000 0.2796 0.3380
297-AH 0.0000 0.0000 0.0769 0.3333 0.5714 0.1740 0.2348 0.3333 0.5714 1.3493 0.0017 0.0000 0.1809 0.0000 0.5714 0.1740 0.2348
298-AH 0.0000 0.0000 0.0163 0.1056 0.3913 0.0794 0.1389 0.1056 0.3913 1.7503 0.0022 0.0000 0.1018 0.0000 0.1746 0.0348 0.0632
299-AH 0.0000 0.0000 0.0578 0.2638 0.3571 0.1250 0.1500 0.2638 0.3571 1.1996 0.0015 0.0000 0.1274 0.0000 0.3571 0.1250 0.1500
300-AH 0.0000 0.0000 0.0346 0.0872 0.2222 0.0582 0.0764 0.0872 0.2222 1.3116 0.0025 0.0000 0.0555 0.0000 0.0968 0.0348 0.0411
301-AH 0.0000 0.0000 0.0410 0.2972 0.8333 0.1887 0.3106 0.2972 0.8333 1.6458 0.0015 0.0000 0.2390 0.0000 0.5000 0.0966 0.1827
302-AH 0.0109 0.0367 0.0709 0.2139 0.3333 0.1234 0.1300 0.1772 0.3224 1.0530 0.0714 0.0399 0.1023 0.0109 0.3333 0.1234 0.1300
303-AH 0.0000 0.0094 0.0807 0.1893 0.2778 0.1046 0.1058 0.1800 0.2778 1.0119 0.0100 0.0000 0.0878 0.0000 0.2778 0.1046 0.1058
304-AH 0.0000 0.0091 0.0674 0.1867 0.5556 0.1353 0.1944 0.1777 0.5556 1.4374 0.0101 0.0000 0.1448 0.0000 0.2941 0.0752 0.1022
305-AH 0.0000 0.0431 0.1264 0.1684 0.2043 0.1100 0.0773 0.1253 0.2043 0.7026 0.0129 0.0000 0.0610 0.0000 0.2043 0.1100 0.0773
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0295 0.2574 0.0395 0.0904 0.0295 0.2574 2.2864 0.0001 0.0000 0.0593 0.0000 0.0590 0.0084 0.0223
308-AH 0.0097 0.5051 1.0000 1.0000 1.0000 0.7525 0.4583 0.4949 0.9903 0.6091 0.3155 0.0385 0.3713 0.0097 1.0000 0.7525 0.4583
309-AH 0.0386 0.0544 0.0741 0.0925 0.1579 0.0798 0.0374 0.0381 0.1193 0.4691 0.0732 0.0675 0.0273 0.0386 0.0968 0.0687 0.0218
310-AH 0.0000 0.0193 0.0679 0.1301 0.1919 0.0783 0.0687 0.1108 0.1919 0.8775 0.0093 0.0000 0.0556 0.0000 0.1919 0.0783 0.0687
311-AH 0.0503 0.0746 0.2004 0.3544 0.6296 0.2423 0.1981 0.2798 0.5794 0.8176 0.1731 0.1206 0.1528 0.0503 0.6296 0.2423 0.1981
312-AH 0.0000 0.0000 0.0239 0.0504 0.7333 0.1102 0.2530 0.0504 0.7333 2.2947 0.0010 0.0000 0.1558 0.0000 0.0526 0.0212 0.0265
313-AH 0.0065 0.0104 0.0271 0.0702 0.1500 0.0465 0.0512 0.0598 0.1435 1.1020 0.0265 0.0164 0.0379 0.0065 0.1500 0.0465 0.0512
314-AH 0.0000 0.0448 0.1039 0.1217 0.1818 0.0903 0.0625 0.0770 0.1818 0.6923 0.0112 0.0000 0.0454 0.0000 0.1818 0.0903 0.0625
315-AH 0.0000 0.0000 0.0668 0.5528 0.7105 0.2437 0.3111 0.5528 0.7105 1.2765 0.0054 0.0000 0.2713 0.0000 0.7105 0.2437 0.3111
316-AH 0.0000 0.0451 0.1159 0.2210 0.2532 0.1272 0.0995 0.1760 0.2532 0.7824 0.0139 0.0000 0.0821 0.0000 0.2532 0.1272 0.0995
317-AH 0.0178 0.0208 0.0319 0.1190 0.1800 0.0677 0.0676 0.0983 0.1622 0.9996 0.0446 0.0325 0.0538 0.0178 0.1800 0.0677 0.0676
318-AH 0.0000 0.0702 0.1364 0.3542 0.5000 0.2027 0.1951 0.2839 0.5000 0.9626 0.0477 0.0001 0.1501 0.0000 0.5000 0.2027 0.1951
319-AH 0.0147 0.0702 0.2063 0.3782 0.5833 0.2384 0.2076 0.3081 0.5687 0.8709 0.1381 0.0595 0.1561 0.0147 0.5833 0.2384 0.2076
320-AH 0.0000 0.0074 0.0239 0.0333 0.0400 0.0212 0.0155 0.0259 0.0400 0.7332 0.0037 0.0000 0.0125 0.0000 0.0400 0.0212 0.0155
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0397 0.0811 0.2198 0.2500 0.1164 0.0987 0.1802 0.2500 0.8481 0.0312 0.0001 0.0851 0.0000 0.2500 0.1164 0.0987
323-AH 0.0000 0.0066 0.0522 0.0980 0.1216 0.0544 0.0481 0.0914 0.1216 0.8838 0.0067 0.0000 0.0406 0.0000 0.1216 0.0544 0.0481
324-AH 0.0000 0.0000 0.0138 0.0600 0.4510 0.0748 0.1544 0.0600 0.4510 2.0630 0.0009 0.0000 0.0940 0.0000 0.0721 0.0211 0.0293
325-AH 0.0000 0.0269 0.0606 0.1875 0.5333 0.1354 0.1795 0.1606 0.5333 1.3254 0.0279 0.0001 0.1281 0.0000 0.2500 0.0786 0.0861
326-AH 0.0000 0.1667 0.5833 0.6667 1.0000 0.4792 0.3500 0.5000 1.0000 0.7305 0.0386 0.0000 0.2760 0.0000 1.0000 0.4792 0.3500
327-AH 0.0000 0.0000 0.0047 0.0336 0.4286 0.0631 0.1489 0.0336 0.4286 2.3585 0.0012 0.0000 0.0914 0.0000 0.0577 0.0109 0.0209
328-AH 0.0106 0.3017 0.5727 0.6432 0.7000 0.4682 0.2696 0.3415 0.6894 0.5758 0.2805 0.0675 0.2134 0.0106 0.7000 0.4682 0.2696
329-AH 0.0000 0.2917 0.7083 0.8750 1.0000 0.5938 0.3945 0.5833 1.0000 0.6644 0.0465 0.0000 0.2995 0.0000 1.0000 0.5938 0.3945
330-AH 0.0000 0.3855 0.7630 0.7971 0.8636 0.5943 0.3621 0.4116 0.8636 0.6093 0.1223 0.0001 0.2919 0.0000 0.8636 0.5943 0.3621
331-AH 0.0000 0.1129 0.2303 0.2731 0.3333 0.1958 0.1249 0.1603 0.3333 0.6380 0.0454 0.0001 0.0963 0.0000 0.3333 0.1958 0.1249
332-AH 0.0000 0.1207 0.3375 0.4286 0.5000 0.2842 0.1928 0.3079 0.5000 0.6783 0.0266 0.0000 0.1528 0.0000 0.5000 0.2842 0.1928
333-AH 0.0000 0.0018 0.5023 1.0000 1.0000 0.5010 0.5334 0.9982 1.0000 1.0647 0.0142 0.0000 0.4990 0.0000 1.0000 0.5010 0.5334
334-AH 0.0000 0.0000 0.0846 0.2778 0.4000 0.1406 0.1648 0.2778 0.4000 1.1722 0.0033 0.0000 0.1400 0.0000 0.4000 0.1406 0.1648
335-AH 0.0000 0.0000 0.0169 0.1038 0.1724 0.0517 0.0682 0.1038 0.1724 1.3185 0.0009 0.0000 0.0562 0.0000 0.1724 0.0517 0.0682
336-AH 0.0000 0.0038 0.0098 0.1019 0.3000 0.0664 0.1077 0.0982 0.3000 1.6226 0.0045 0.0000 0.0803 0.0000 0.1538 0.0330 0.0560
337-AH 0.0000 0.4231 0.8708 0.9583 1.0000 0.6881 0.4285 0.5353 1.0000 0.6228 0.0526 0.0000 0.3440 0.0000 1.0000 0.6881 0.4285
338-AH 0.0000 0.1389 0.3205 0.8819 1.0000 0.4603 0.4042 0.7431 1.0000 0.8780 0.0349 0.0000 0.3457 0.0000 1.0000 0.4603 0.4042
339-AH 0.0000 0.0127 0.1773 0.3974 0.7500 0.2406 0.2718 0.3848 0.7500 1.1296 0.0162 0.0000 0.2206 0.0000 0.7500 0.2406 0.2718
340-AH 0.0000 0.0017 0.1475 0.4500 0.5000 0.2123 0.2333 0.4483 0.5000 1.0990 0.0099 0.0000 0.2091 0.0000 0.5000 0.2123 0.2333
155
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0035 0.5213 1.0000 1.0000 1.0000 0.7558 0.4524 0.4787 0.9965 0.5986 0.3328 0.0256 0.3664 0.0035 1.0000 0.7558 0.4524
342-AH 0.1450 0.5351 0.7572 0.8046 0.8974 0.6545 0.2661 0.2695 0.7524 0.4065 0.5744 0.4572 0.2077 0.1450 0.8974 0.6545 0.2661
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0566 0.5635 0.7768 1.0000 0.4742 0.3961 0.7202 1.0000 0.8353 0.0872 0.0001 0.3274 0.0000 1.0000 0.4742 0.3961
345-AH 0.0000 0.0069 0.0218 0.0828 0.3000 0.0654 0.1047 0.0758 0.3000 1.6023 0.0054 0.0000 0.0768 0.0000 0.1379 0.0319 0.0481
346-AH 0.0074 0.0318 0.0579 0.1064 0.1333 0.0666 0.0460 0.0746 0.1259 0.6906 0.0464 0.0262 0.0366 0.0074 0.1333 0.0666 0.0460
347-AH 0.0000 0.0052 0.0225 0.0602 0.0652 0.0301 0.0282 0.0551 0.0652 0.9348 0.0042 0.0000 0.0241 0.0000 0.0652 0.0301 0.0282
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0789 0.4038 0.5813 0.6000 0.3410 0.2558 0.5023 0.6000 0.7501 0.0291 0.0000 0.2163 0.0000 0.6000 0.3410 0.2558
350-AH 0.0065 0.3799 1.0000 1.0000 1.0000 0.7208 0.4482 0.6201 0.9935 0.6219 0.2881 0.0304 0.3563 0.0065 1.0000 0.7208 0.4482
156
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0065 0.5113 1.0000 1.0000 1.0000 0.7536 0.4562 0.4887 0.9935 0.6053 0.3318 0.0392 0.3695 0.0065 1.0000 0.7536 0.4562
143-AH 0.0000 0.0000 0.1633 0.6750 1.0000 0.3346 0.4266 0.6750 1.0000 1.2749 0.0024 0.0000 0.3366 0.0000 1.0000 0.3346 0.4266
144-AH 0.0000 0.0670 0.5000 0.5833 1.0000 0.4126 0.3481 0.5163 1.0000 0.8438 0.0744 0.0001 0.2759 0.0000 1.0000 0.4126 0.3481
145-AH 0.0000 0.0244 0.2156 0.6667 0.8000 0.3267 0.3507 0.6423 0.8000 1.0735 0.0206 0.0000 0.3019 0.0000 0.8000 0.3267 0.3507
146-AH 0.0000 0.0714 0.3500 0.5000 0.5000 0.2929 0.2312 0.4286 0.5000 0.7896 0.0255 0.0000 0.2071 0.0000 0.5000 0.2929 0.2312
147-AH 0.0000 0.0000 0.1099 0.4353 0.6875 0.2222 0.2831 0.4353 0.6875 1.2740 0.0052 0.0000 0.2229 0.0000 0.6875 0.2222 0.2831
148-AH 0.0000 0.0000 0.0029 0.0264 0.0307 0.0112 0.0140 0.0264 0.0307 1.2546 0.0004 0.0000 0.0125 0.0000 0.0307 0.0112 0.0140
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0084 0.0187 0.1057 0.2222 0.0610 0.0835 0.0973 0.2222 1.3699 0.0057 0.0000 0.0651 0.0000 0.2222 0.0610 0.0835
151-AH 0.0000 0.0000 0.0047 0.0149 0.7143 0.0942 0.2507 0.0149 0.7143 2.6615 0.0006 0.0000 0.1550 0.0000 0.0188 0.0056 0.0076
152-AH 0.0000 0.0000 0.0050 0.1242 0.6250 0.1104 0.2176 0.1242 0.6250 1.9703 0.0010 0.0000 0.1473 0.0000 0.1852 0.0369 0.0693
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0495 0.1834 0.3300 0.4091 0.1918 0.1589 0.2805 0.4091 0.8283 0.0184 0.0000 0.1362 0.0000 0.4091 0.1918 0.1589
155-AH 0.0000 0.0031 0.0146 0.4500 0.5000 0.1794 0.2399 0.4469 0.5000 1.3371 0.0076 0.0000 0.2154 0.0000 0.5000 0.1794 0.2399
156-AH 0.0000 0.0326 0.0581 0.0731 0.3793 0.0884 0.1205 0.0404 0.3793 1.3633 0.0219 0.0001 0.0727 0.0000 0.0776 0.0468 0.0284
157-AH 0.0000 0.2090 0.4336 0.4839 0.5545 0.3509 0.2216 0.2749 0.5545 0.6314 0.0317 0.0000 0.1755 0.0000 0.5545 0.3509 0.2216
158-AH 0.0000 0.0125 0.2196 0.3547 0.6364 0.2262 0.2256 0.3422 0.6364 0.9971 0.0174 0.0000 0.1823 0.0000 0.6364 0.2262 0.2256
159-AH 0.0000 0.0000 0.0531 0.1422 0.2430 0.0792 0.0934 0.1422 0.2430 1.1798 0.0012 0.0000 0.0792 0.0000 0.2430 0.0792 0.0934
160-AH 0.0000 0.0020 0.0356 0.1181 0.1667 0.0598 0.0673 0.1160 0.1667 1.1254 0.0048 0.0000 0.0576 0.0000 0.1667 0.0598 0.0673
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0000 0.3370 0.6289 0.7694 0.8361 0.5383 0.3014 0.4325 0.8361 0.5599 0.1430 0.0001 0.2353 0.0000 0.8361 0.5383 0.3014
164-AH 0.0000 0.0000 0.0125 0.0244 0.1833 0.0321 0.0620 0.0244 0.1833 1.9305 0.0014 0.0000 0.0378 0.0000 0.0313 0.0105 0.0117
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0250 0.0789 0.2017 0.3333 0.1181 0.1262 0.1767 0.3333 1.0684 0.0115 0.0000 0.0957 0.0000 0.3333 0.1181 0.1262
168-AH 0.0000 0.0000 0.2143 0.4482 0.8000 0.2656 0.3074 0.4482 0.8000 1.1572 0.0023 0.0000 0.2656 0.0000 0.8000 0.2656 0.3074
169-AH 0.0000 0.0000 0.0069 0.0528 0.1034 0.0279 0.0415 0.0528 0.1034 1.4892 0.0013 0.0000 0.0328 0.0000 0.1034 0.0279 0.0415
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0173 0.0306 0.0500 0.0587 0.0678 0.0455 0.0179 0.0281 0.0505 0.3932 0.0417 0.0375 0.0145 0.0173 0.0678 0.0455 0.0179
172-AH 0.0032 0.0097 0.0496 0.0849 0.1000 0.0490 0.0409 0.0752 0.0968 0.8344 0.0281 0.0131 0.0373 0.0032 0.1000 0.0490 0.0409
173-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.8000 0.3703 0.4000 0.8000 0.4629 0.6687 0.5000 0.3000 0.2000 1.0000 0.8000 0.3703
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9375 0.1768 0.0000 0.5000 0.1886 0.9170 0.8889 0.1094 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.3750 0.9000 1.0000 1.0000 0.6938 0.4395 0.6250 1.0000 0.6335 0.0528 0.0000 0.3469 0.0000 1.0000 0.6938 0.4395
176-AH 0.0588 0.4862 0.9428 1.0000 1.0000 0.7396 0.4161 0.5138 0.9412 0.5625 0.4955 0.2215 0.3357 0.0588 1.0000 0.7396 0.4161
177-AH 0.0119 0.1239 0.2668 0.3206 0.4615 0.2370 0.1558 0.1967 0.4497 0.6574 0.1407 0.0490 0.1128 0.0119 0.4615 0.2370 0.1558
178-AH 0.0000 0.0000 0.0033 0.0123 0.0141 0.0057 0.0064 0.0123 0.0141 1.1371 0.0003 0.0000 0.0057 0.0000 0.0141 0.0057 0.0064
179-AH 0.0000 0.0000 0.0239 0.0963 1.0000 0.1551 0.3447 0.0963 1.0000 2.2230 0.0012 0.0000 0.2112 0.0000 0.1364 0.0344 0.0513
180-AH 0.0000 0.0158 0.0813 0.5415 0.8500 0.2659 0.3302 0.5257 0.8500 1.2416 0.0157 0.0000 0.2838 0.0000 0.8500 0.2659 0.3302
181-AH 0.0000 0.4100 0.8660 0.9083 0.9245 0.6617 0.4099 0.4983 0.9245 0.6194 0.0512 0.0000 0.3308 0.0000 0.9245 0.6617 0.4099
182-AH 0.0000 0.0145 0.0694 0.1206 0.2000 0.0761 0.0719 0.1061 0.2000 0.9447 0.0088 0.0000 0.0542 0.0000 0.2000 0.0761 0.0719
183-AH 0.0000 0.0690 0.2967 0.3413 0.3750 0.2236 0.1564 0.2724 0.3750 0.6993 0.0219 0.0000 0.1332 0.0000 0.3750 0.2236 0.1564
184-AH 0.0000 0.0173 0.0325 0.1291 0.6667 0.1281 0.2258 0.1118 0.6667 1.7628 0.0200 0.0001 0.1502 0.0000 0.1905 0.0512 0.0651
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
190-AH 0.0000 0.0000 0.0127 0.0438 0.0678 0.0226 0.0280 0.0438 0.0678 1.2378 0.0006 0.0000 0.0226 0.0000 0.0678 0.0226 0.0280
157
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0265 0.0353 0.0658 0.1366 1.0000 0.1877 0.3318 0.1013 0.9735 1.7671 0.0837 0.0562 0.2031 0.0265 0.1765 0.0717 0.0525
193-AH 0.0000 0.1389 0.3167 0.5143 0.8000 0.3425 0.2735 0.3754 0.8000 0.7987 0.0295 0.0000 0.2003 0.0000 0.8000 0.3425 0.2735
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.2333 0.8718 1.0000 1.0000 0.6513 0.4436 0.7667 1.0000 0.6811 0.0493 0.0000 0.3718 0.0000 1.0000 0.6513 0.4436
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0000 0.2834 0.5635 0.6000 0.7143 0.4510 0.2570 0.3166 0.7143 0.5697 0.1188 0.0001 0.1992 0.0000 0.7143 0.4510 0.2570
200-AH 0.0000 0.0070 0.0791 0.8333 1.0000 0.3548 0.4466 0.8264 1.0000 1.2585 0.0164 0.0000 0.4005 0.0000 1.0000 0.3548 0.4466
251-AH 0.0000 0.2889 0.6537 0.7538 0.7714 0.5205 0.3289 0.4649 0.7714 0.6320 0.0426 0.0000 0.2603 0.0000 0.7714 0.5205 0.3289
252-AH 0.0000 0.0071 0.0490 0.2659 0.4333 0.1347 0.1722 0.2588 0.4333 1.2784 0.0096 0.0000 0.1403 0.0000 0.4333 0.1347 0.1722
253-AH 0.0000 0.0000 0.0518 0.1962 0.3619 0.1072 0.1353 0.1962 0.3619 1.2620 0.0014 0.0000 0.1082 0.0000 0.3619 0.1072 0.1353
254-AH 0.0000 0.0000 0.0000 0.1481 0.3311 0.0784 0.1455 0.1481 0.3311 1.8555 0.0001 0.0000 0.1176 0.0000 0.3311 0.0784 0.1455
255-AH 0.0000 0.0175 0.0377 0.0965 0.7500 0.1317 0.2544 0.0790 0.7500 1.9315 0.0083 0.0000 0.1601 0.0000 0.1538 0.0434 0.0518
256-AH 0.0000 0.3036 0.8542 0.9062 1.0000 0.6410 0.4117 0.6027 1.0000 0.6422 0.0495 0.0000 0.3290 0.0000 1.0000 0.6410 0.4117
257-AH 0.0000 0.0000 0.0768 0.1521 0.2373 0.0869 0.0913 0.1521 0.2373 1.0502 0.0036 0.0000 0.0702 0.0000 0.2373 0.0869 0.0913
258-AH 0.0000 0.0000 0.0000 0.0000 0.0125 0.0016 0.0044 0.0000 0.0125 2.8284 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0238 0.1458 0.6667 0.1257 0.2279 0.1458 0.6667 1.8125 0.0013 0.0000 0.1455 0.0000 0.1667 0.0485 0.0698
260-AH 0.0000 0.0252 0.2976 0.5682 0.6190 0.3001 0.2947 0.5429 0.6190 0.9819 0.0203 0.0000 0.2741 0.0000 0.6190 0.3001 0.2947
261-AH 0.0000 0.0000 0.0000 0.0153 0.0180 0.0061 0.0084 0.0153 0.0180 1.3870 0.0002 0.0000 0.0076 0.0000 0.0180 0.0061 0.0084
262-AH 0.0000 0.0000 0.0000 0.0525 0.0602 0.0206 0.0288 0.0525 0.0602 1.3947 0.0003 0.0000 0.0258 0.0000 0.0602 0.0206 0.0288
263-AH 0.0000 0.0000 0.0313 0.1544 0.2593 0.0788 0.0993 0.1544 0.2593 1.2602 0.0012 0.0000 0.0829 0.0000 0.2593 0.0788 0.0993
264-AH 0.0634 0.1305 0.2554 0.7500 0.9000 0.4044 0.3466 0.6195 0.8366 0.8570 0.2764 0.1866 0.2967 0.0634 0.9000 0.4044 0.3466
265-AH 0.0000 0.0938 0.2024 0.2679 0.3000 0.1785 0.1175 0.1741 0.3000 0.6581 0.0189 0.0000 0.0892 0.0000 0.3000 0.1785 0.1175
266-AH 0.0000 0.0130 0.0437 0.1141 0.1739 0.0644 0.0658 0.1010 0.1739 1.0203 0.0074 0.0000 0.0522 0.0000 0.1739 0.0644 0.0658
267-AH 0.0000 0.0144 0.0436 0.0653 0.0833 0.0413 0.0308 0.0509 0.0833 0.7462 0.0061 0.0000 0.0237 0.0000 0.0833 0.0413 0.0308
268-AH 0.0000 0.0011 0.1494 0.6667 1.0000 0.3293 0.3970 0.6655 1.0000 1.2056 0.0118 0.0000 0.3364 0.0000 1.0000 0.3293 0.3970
269-AH 0.0087 0.0122 0.0165 0.0305 0.2105 0.0422 0.0685 0.0183 0.2018 1.6234 0.0224 0.0165 0.0421 0.0087 0.0314 0.0182 0.0091
270-AH 0.0000 0.1237 0.4966 0.7067 0.8065 0.4325 0.3220 0.5830 0.8065 0.7445 0.0352 0.0000 0.2698 0.0000 0.8065 0.4325 0.3220
271-AH 0.0174 0.1305 0.6513 0.7692 0.7692 0.4861 0.3373 0.6387 0.7518 0.6939 0.2618 0.0770 0.2950 0.0174 0.7692 0.4861 0.3373
272-AH 0.0000 0.0250 0.0591 0.2667 0.4000 0.1377 0.1553 0.2417 0.4000 1.1283 0.0121 0.0000 0.1301 0.0000 0.4000 0.1377 0.1553
273-AH 0.0000 0.0000 0.3400 0.7371 0.8947 0.3811 0.4122 0.7371 0.8947 1.0815 0.0028 0.0000 0.3811 0.0000 0.8947 0.3811 0.4122
274-AH 0.0000 0.0038 0.0130 0.0244 0.0854 0.0210 0.0277 0.0206 0.0854 1.3184 0.0030 0.0000 0.0178 0.0000 0.0248 0.0118 0.0102
275-AH 0.0000 0.0000 0.0619 0.2218 0.2647 0.1040 0.1201 0.2218 0.2647 1.1543 0.0014 0.0000 0.1040 0.0000 0.2647 0.1040 0.1201
276-AH 0.0688 0.1667 0.2935 0.4807 0.5909 0.3177 0.1951 0.3140 0.5221 0.6142 0.2578 0.1990 0.1671 0.0688 0.5909 0.3177 0.1951
277-AH 0.0000 0.0000 0.0081 0.0454 0.1719 0.0349 0.0605 0.0454 0.1719 1.7348 0.0007 0.0000 0.0435 0.0000 0.0719 0.0153 0.0263
278-AH 0.0000 0.0000 0.0000 0.0118 0.1607 0.0230 0.0562 0.0118 0.1607 2.4419 0.0001 0.0000 0.0345 0.0000 0.0235 0.0034 0.0089
279-AH 0.0000 0.0023 0.0293 0.0544 0.4000 0.0715 0.1348 0.0521 0.4000 1.8852 0.0049 0.0000 0.0821 0.0000 0.0588 0.0246 0.0254
280-AH 0.0000 0.0000 0.0000 0.0168 0.0529 0.0108 0.0207 0.0168 0.0529 1.9125 0.0001 0.0000 0.0162 0.0000 0.0336 0.0048 0.0127
281-AH 0.0000 0.1029 0.2994 0.4937 0.5455 0.2922 0.2205 0.3907 0.5455 0.7545 0.0262 0.0000 0.1880 0.0000 0.5455 0.2922 0.2205
282-AH 0.0000 0.0542 0.1229 0.2395 0.4667 0.1625 0.1530 0.1854 0.4667 0.9417 0.0160 0.0000 0.1146 0.0000 0.4667 0.1625 0.1530
283-AH 0.0000 0.0000 0.1113 0.2223 0.3810 0.1310 0.1431 0.2223 0.3810 1.0920 0.0044 0.0000 0.1208 0.0000 0.3810 0.1310 0.1431
284-AH 0.0000 0.0000 0.0137 0.1550 0.3621 0.0874 0.1467 0.1550 0.3621 1.6779 0.0010 0.0000 0.1171 0.0000 0.3621 0.0874 0.1467
285-AH 0.0000 0.0400 0.0502 0.3092 0.8000 0.1998 0.2792 0.2691 0.8000 1.3971 0.0357 0.0001 0.2057 0.0000 0.4225 0.1141 0.1495
286-AH 0.0000 0.0000 0.0000 0.0000 0.0407 0.0051 0.0144 0.0000 0.0407 2.8284 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0346 0.2092 0.3714 0.5714 0.2252 0.2141 0.3368 0.5714 0.9507 0.0188 0.0000 0.1867 0.0000 0.5714 0.2252 0.2141
288-AH 0.0000 0.0161 0.0871 0.1522 0.1890 0.0875 0.0739 0.1361 0.1890 0.8451 0.0100 0.0000 0.0623 0.0000 0.1890 0.0875 0.0739
289-AH 0.0000 0.0000 0.2857 0.6923 0.7143 0.3338 0.3594 0.6923 0.7143 1.0766 0.0026 0.0000 0.3338 0.0000 0.7143 0.3338 0.3594
290-AH 0.0000 0.0000 0.0227 0.0671 0.1527 0.0415 0.0550 0.0671 0.1527 1.3250 0.0009 0.0000 0.0415 0.0000 0.1527 0.0415 0.0550
158
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0538 0.5275 1.0000 0.2703 0.4021 0.5275 1.0000 1.4877 0.0020 0.0000 0.3148 0.0000 1.0000 0.2703 0.4021
292-AH 0.0282 0.0441 0.2333 1.0000 1.0000 0.4479 0.4674 0.9559 0.9718 1.0435 0.1962 0.0806 0.4141 0.0282 1.0000 0.4479 0.4674
293-AH 0.0000 0.0000 0.2500 0.6274 0.8824 0.3296 0.3706 0.6274 0.8824 1.1243 0.0025 0.0000 0.3296 0.0000 0.8824 0.3296 0.3706
294-AH 0.0000 0.0061 0.1805 0.4074 0.6667 0.2318 0.2543 0.4013 0.6667 1.0969 0.0142 0.0000 0.2194 0.0000 0.6667 0.2318 0.2543
295-AH 0.0000 0.0000 0.0000 0.0396 0.1447 0.0280 0.0504 0.0396 0.1447 1.8032 0.0003 0.0000 0.0350 0.0000 0.0424 0.0113 0.0194
296-AH 0.0000 0.0000 0.1222 0.4887 0.7500 0.2465 0.3197 0.4887 0.7500 1.2972 0.0021 0.0000 0.2470 0.0000 0.7500 0.2465 0.3197
297-AH 0.0000 0.0000 0.0446 0.1552 0.4167 0.1020 0.1474 0.1552 0.4167 1.4446 0.0013 0.0000 0.1052 0.0000 0.2083 0.0571 0.0806
298-AH 0.0000 0.0000 0.0110 0.0906 0.3158 0.0649 0.1126 0.0906 0.3158 1.7360 0.0009 0.0000 0.0827 0.0000 0.1446 0.0290 0.0530
299-AH 0.0000 0.0000 0.0283 0.2114 0.3303 0.1012 0.1314 0.2114 0.3303 1.2980 0.0013 0.0000 0.1123 0.0000 0.3303 0.1012 0.1314
300-AH 0.0000 0.0000 0.0189 0.0718 0.2222 0.0504 0.0775 0.0718 0.2222 1.5357 0.0009 0.0000 0.0545 0.0000 0.0968 0.0259 0.0372
301-AH 0.0000 0.0000 0.0410 0.1597 0.6154 0.1271 0.2132 0.1597 0.6154 1.6772 0.0013 0.0000 0.1486 0.0000 0.2333 0.0573 0.0871
302-AH 0.0000 0.0238 0.0709 0.2045 0.3226 0.1151 0.1308 0.1807 0.3226 1.1362 0.0245 0.0001 0.1026 0.0000 0.3226 0.1151 0.1308
303-AH 0.0000 0.0064 0.0562 0.1474 0.2222 0.0803 0.0856 0.1410 0.2222 1.0661 0.0079 0.0000 0.0690 0.0000 0.2222 0.0803 0.0856
304-AH 0.0000 0.0000 0.0123 0.0410 0.0571 0.0204 0.0236 0.0410 0.0571 1.1557 0.0014 0.0000 0.0194 0.0000 0.0571 0.0204 0.0236
305-AH 0.0000 0.0227 0.0635 0.1241 0.1420 0.0703 0.0557 0.1014 0.1420 0.7919 0.0089 0.0000 0.0448 0.0000 0.1420 0.0703 0.0557
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0220 0.1771 0.0277 0.0623 0.0220 0.1771 2.2545 0.0001 0.0000 0.0415 0.0000 0.0441 0.0063 0.0167
308-AH 0.0076 0.2547 0.8182 1.0000 1.0000 0.6442 0.4368 0.7453 0.9924 0.6780 0.2629 0.0326 0.3558 0.0076 1.0000 0.6442 0.4368
309-AH 0.0208 0.0420 0.0542 0.0625 0.0769 0.0519 0.0173 0.0205 0.0561 0.3328 0.0488 0.0449 0.0133 0.0208 0.0769 0.0519 0.0173
310-AH 0.0000 0.0000 0.0593 0.1083 0.1615 0.0621 0.0614 0.1083 0.1615 0.9889 0.0030 0.0000 0.0518 0.0000 0.1615 0.0621 0.0614
311-AH 0.0426 0.0726 0.1597 0.3238 0.3553 0.1887 0.1285 0.2512 0.3127 0.6809 0.1446 0.1058 0.1092 0.0426 0.3553 0.1887 0.1285
312-AH 0.0000 0.0000 0.0075 0.0225 0.7000 0.0950 0.2447 0.0225 0.7000 2.5759 0.0007 0.0000 0.1513 0.0000 0.0283 0.0086 0.0115
313-AH 0.0000 0.0000 0.0127 0.0406 0.0615 0.0210 0.0235 0.0406 0.0615 1.1193 0.0014 0.0000 0.0199 0.0000 0.0615 0.0210 0.0235
314-AH 0.0000 0.0048 0.0366 0.0929 0.1235 0.0490 0.0509 0.0881 0.1235 1.0385 0.0055 0.0000 0.0428 0.0000 0.1235 0.0490 0.0509
315-AH 0.0000 0.0000 0.0484 0.4498 0.7105 0.2134 0.3044 0.4498 0.7105 1.4267 0.0018 0.0000 0.2425 0.0000 0.7105 0.2134 0.3044
316-AH 0.0000 0.0451 0.1159 0.2179 0.2438 0.1252 0.0969 0.1728 0.2438 0.7741 0.0138 0.0000 0.0801 0.0000 0.2438 0.1252 0.0969
317-AH 0.0000 0.0162 0.0290 0.0702 0.1667 0.0497 0.0549 0.0540 0.1667 1.1057 0.0140 0.0001 0.0396 0.0000 0.0909 0.0330 0.0302
318-AH 0.0000 0.0637 0.1364 0.3042 0.5000 0.1886 0.1774 0.2405 0.5000 0.9408 0.0421 0.0001 0.1357 0.0000 0.5000 0.1886 0.1774
319-AH 0.0147 0.0472 0.1735 0.3282 0.4211 0.1917 0.1601 0.2810 0.4064 0.8349 0.1150 0.0556 0.1327 0.0147 0.4211 0.1917 0.1601
320-AH 0.0000 0.0054 0.0207 0.0243 0.0272 0.0160 0.0111 0.0189 0.0272 0.6915 0.0030 0.0000 0.0093 0.0000 0.0272 0.0160 0.0111
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0319 0.0680 0.1200 0.2222 0.0828 0.0725 0.0882 0.2222 0.8762 0.0237 0.0001 0.0535 0.0000 0.2222 0.0828 0.0725
323-AH 0.0000 0.0066 0.0387 0.0702 0.1008 0.0415 0.0389 0.0637 0.1008 0.9377 0.0055 0.0000 0.0306 0.0000 0.1008 0.0415 0.0389
324-AH 0.0000 0.0000 0.0000 0.0000 0.3488 0.0436 0.1233 0.0000 0.3488 2.8284 0.0000 0.0000 0.0763 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0162 0.0575 0.1792 0.5102 0.1270 0.1749 0.1629 0.5102 1.3771 0.0103 0.0000 0.1266 0.0000 0.2500 0.0723 0.0878
326-AH 0.0000 0.1667 0.5833 0.6667 1.0000 0.4792 0.3500 0.5000 1.0000 0.7305 0.0386 0.0000 0.2760 0.0000 1.0000 0.4792 0.3500
327-AH 0.0000 0.0000 0.0047 0.0336 0.4286 0.0631 0.1489 0.0336 0.4286 2.3585 0.0012 0.0000 0.0914 0.0000 0.0577 0.0109 0.0209
328-AH 0.0000 0.2729 0.5727 0.6190 0.6500 0.4474 0.2745 0.3461 0.6500 0.6136 0.0944 0.0001 0.2201 0.0000 0.6500 0.4474 0.2745
329-AH 0.0000 0.2917 0.6364 0.8500 1.0000 0.5695 0.3865 0.5583 1.0000 0.6786 0.0449 0.0000 0.2848 0.0000 1.0000 0.5695 0.3865
330-AH 0.0000 0.3621 0.7534 0.7936 0.8400 0.5823 0.3611 0.4315 0.8400 0.6201 0.0465 0.0000 0.2911 0.0000 0.8400 0.5823 0.3611
331-AH 0.0000 0.1098 0.2303 0.2731 0.3333 0.1950 0.1263 0.1634 0.3333 0.6476 0.0203 0.0000 0.0975 0.0000 0.3333 0.1950 0.1263
332-AH 0.0000 0.1000 0.2318 0.3247 0.5000 0.2266 0.1693 0.2247 0.5000 0.7471 0.0220 0.0000 0.1211 0.0000 0.5000 0.2266 0.1693
333-AH 0.0000 0.0018 0.5023 1.0000 1.0000 0.5010 0.5334 0.9982 1.0000 1.0647 0.0142 0.0000 0.4990 0.0000 1.0000 0.5010 0.5334
334-AH 0.0000 0.0000 0.0846 0.2778 0.4000 0.1406 0.1648 0.2778 0.4000 1.1722 0.0033 0.0000 0.1400 0.0000 0.4000 0.1406 0.1648
335-AH 0.0000 0.0000 0.0169 0.0968 0.1250 0.0441 0.0546 0.0968 0.1250 1.2390 0.0009 0.0000 0.0466 0.0000 0.1250 0.0441 0.0546
336-AH 0.0000 0.0038 0.0098 0.0895 0.1404 0.0433 0.0587 0.0857 0.1404 1.3545 0.0040 0.0000 0.0474 0.0000 0.1404 0.0433 0.0587
337-AH 0.0000 0.4231 0.8708 0.9167 1.0000 0.6776 0.4208 0.4936 1.0000 0.6210 0.0521 0.0000 0.3388 0.0000 1.0000 0.6776 0.4208
338-AH 0.0000 0.1250 0.2927 0.8819 1.0000 0.4499 0.4089 0.7569 1.0000 0.9089 0.0337 0.0000 0.3535 0.0000 1.0000 0.4499 0.4089
339-AH 0.0000 0.0127 0.1437 0.3363 0.7273 0.2141 0.2547 0.3237 0.7273 1.1896 0.0147 0.0000 0.1965 0.0000 0.7273 0.2141 0.2547
340-AH 0.0000 0.0017 0.1475 0.4500 0.5000 0.2123 0.2333 0.4483 0.5000 1.0990 0.0099 0.0000 0.2091 0.0000 0.5000 0.2123 0.2333
159
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.1460 0.5625 1.0000 1.0000 0.5521 0.4374 0.8540 1.0000 0.7922 0.1050 0.0001 0.3854 0.0000 1.0000 0.5521 0.4374
342-AH 0.0924 0.5171 0.7492 0.7872 0.8750 0.6343 0.2806 0.2701 0.7826 0.4423 0.5292 0.3653 0.2197 0.2973 0.8750 0.7117 0.1895
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0478 0.5263 0.6569 0.8750 0.4171 0.3405 0.6091 0.8750 0.8162 0.0780 0.0001 0.2890 0.0000 0.8750 0.4171 0.3405
345-AH 0.0000 0.0028 0.0200 0.0828 0.2000 0.0514 0.0751 0.0800 0.2000 1.4626 0.0045 0.0000 0.0588 0.0000 0.2000 0.0514 0.0751
346-AH 0.0065 0.0318 0.0560 0.1036 0.1333 0.0653 0.0457 0.0718 0.1268 0.6995 0.0450 0.0245 0.0361 0.0065 0.1333 0.0653 0.0457
347-AH 0.0000 0.0043 0.0140 0.0236 0.0541 0.0172 0.0174 0.0193 0.0541 1.0121 0.0029 0.0000 0.0124 0.0000 0.0242 0.0120 0.0098
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0764 0.3028 0.4152 0.5500 0.2674 0.2008 0.3389 0.5500 0.7512 0.0246 0.0000 0.1623 0.0000 0.5500 0.2674 0.2008
350-AH 0.0065 0.2895 0.6250 0.8571 1.0000 0.5687 0.3837 0.5676 0.9935 0.6746 0.2303 0.0273 0.2808 0.0065 1.0000 0.5687 0.3837
160
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0065 0.5113 1.0000 1.0000 1.0000 0.7536 0.4562 0.4887 0.9935 0.6053 0.3318 0.0392 0.3695 0.0065 1.0000 0.7536 0.4562
143-AH 0.0000 0.0000 0.1389 0.6212 1.0000 0.3150 0.4176 0.6212 1.0000 1.3256 0.0023 0.0000 0.3243 0.0000 1.0000 0.3150 0.4176
144-AH 0.0000 0.0670 0.5000 0.5833 1.0000 0.4126 0.3481 0.5163 1.0000 0.8438 0.0744 0.0001 0.2759 0.0000 1.0000 0.4126 0.3481
145-AH 0.0000 0.0203 0.1259 0.4222 0.8000 0.2421 0.2867 0.4019 0.8000 1.1843 0.0163 0.0000 0.2295 0.0000 0.8000 0.2421 0.2867
146-AH 0.0000 0.0714 0.3500 0.5000 0.5000 0.2929 0.2312 0.4286 0.5000 0.7896 0.0255 0.0000 0.2071 0.0000 0.5000 0.2929 0.2312
147-AH 0.0000 0.0000 0.0909 0.3595 0.6341 0.1919 0.2489 0.3595 0.6341 1.2973 0.0018 0.0000 0.1944 0.0000 0.6341 0.1919 0.2489
148-AH 0.0000 0.0000 0.0029 0.0264 0.0307 0.0112 0.0140 0.0264 0.0307 1.2546 0.0004 0.0000 0.0125 0.0000 0.0307 0.0112 0.0140
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0036 0.0138 0.0596 0.0976 0.0314 0.0365 0.0560 0.0976 1.1602 0.0038 0.0000 0.0306 0.0000 0.0976 0.0314 0.0365
151-AH 0.0000 0.0000 0.0000 0.0102 0.1034 0.0155 0.0358 0.0102 0.1034 2.3161 0.0002 0.0000 0.0220 0.0000 0.0109 0.0029 0.0050
152-AH 0.0000 0.0000 0.0000 0.0747 0.3889 0.0673 0.1355 0.0747 0.3889 2.0143 0.0003 0.0000 0.0909 0.0000 0.1094 0.0213 0.0416
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0279 0.1144 0.2178 0.3043 0.1281 0.1108 0.1899 0.3043 0.8652 0.0134 0.0000 0.0890 0.0000 0.3043 0.1281 0.1108
155-AH 0.0000 0.0031 0.0146 0.4500 0.5000 0.1794 0.2399 0.4469 0.5000 1.3371 0.0076 0.0000 0.2154 0.0000 0.5000 0.1794 0.2399
156-AH 0.0000 0.0216 0.0478 0.0605 0.3793 0.0799 0.1235 0.0389 0.3793 1.5458 0.0078 0.0000 0.0749 0.0000 0.0686 0.0371 0.0266
157-AH 0.0000 0.1865 0.3960 0.4307 0.4765 0.3129 0.1961 0.2442 0.4765 0.6268 0.0291 0.0000 0.1564 0.0000 0.4765 0.3129 0.1961
158-AH 0.0000 0.0105 0.1754 0.3422 0.6071 0.2079 0.2144 0.3317 0.6071 1.0310 0.0161 0.0000 0.1669 0.0000 0.6071 0.2079 0.2144
159-AH 0.0000 0.0000 0.0413 0.1134 0.2411 0.0688 0.0869 0.1134 0.2411 1.2625 0.0011 0.0000 0.0688 0.0000 0.2411 0.0688 0.0869
160-AH 0.0000 0.0020 0.0356 0.1181 0.1667 0.0598 0.0673 0.1160 0.1667 1.1254 0.0048 0.0000 0.0576 0.0000 0.1667 0.0598 0.0673
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0000 0.1790 0.5829 0.6858 0.7640 0.4574 0.3083 0.5069 0.7640 0.6741 0.0380 0.0000 0.2536 0.0000 0.7640 0.4574 0.3083
164-AH 0.0000 0.0000 0.0000 0.0244 0.1455 0.0243 0.0503 0.0244 0.1455 2.0730 0.0002 0.0000 0.0321 0.0000 0.0313 0.0070 0.0126
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0070 0.0435 0.1138 0.2308 0.0699 0.0839 0.1068 0.2308 1.1994 0.0068 0.0000 0.0622 0.0000 0.2308 0.0699 0.0839
168-AH 0.0000 0.0000 0.2143 0.4482 0.7143 0.2549 0.2869 0.4482 0.7143 1.1255 0.0022 0.0000 0.2549 0.0000 0.7143 0.2549 0.2869
169-AH 0.0000 0.0000 0.0069 0.0528 0.1034 0.0279 0.0415 0.0528 0.1034 1.4892 0.0013 0.0000 0.0328 0.0000 0.1034 0.0279 0.0415
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0164 0.0201 0.0474 0.0502 0.0651 0.0396 0.0181 0.0302 0.0487 0.4581 0.0353 0.0310 0.0156 0.0164 0.0651 0.0396 0.0181
172-AH 0.0000 0.0092 0.0434 0.0793 0.1000 0.0455 0.0391 0.0701 0.1000 0.8605 0.0129 0.0001 0.0348 0.0000 0.1000 0.0455 0.0391
173-AH 0.2000 0.6000 1.0000 1.0000 1.0000 0.8000 0.3703 0.4000 0.8000 0.4629 0.6687 0.5000 0.3000 0.2000 1.0000 0.8000 0.3703
174-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9375 0.1768 0.0000 0.5000 0.1886 0.9170 0.8889 0.1094 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.1071 0.5563 0.9000 1.0000 0.5158 0.4301 0.7929 1.0000 0.8337 0.0379 0.0000 0.3842 0.0000 1.0000 0.5158 0.4301
176-AH 0.0000 0.4000 0.8413 0.9570 1.0000 0.6746 0.4224 0.5570 1.0000 0.6262 0.0518 0.0000 0.3373 0.0000 1.0000 0.6746 0.4224
177-AH 0.0091 0.1085 0.2154 0.2423 0.3684 0.1888 0.1203 0.1338 0.3594 0.6376 0.1152 0.0412 0.0879 0.0091 0.3684 0.1888 0.1203
178-AH 0.0000 0.0000 0.0033 0.0123 0.0141 0.0057 0.0064 0.0123 0.0141 1.1371 0.0003 0.0000 0.0057 0.0000 0.0141 0.0057 0.0064
179-AH 0.0000 0.0000 0.0183 0.0726 1.0000 0.1477 0.3464 0.0726 1.0000 2.3450 0.0010 0.0000 0.2131 0.0000 0.1083 0.0260 0.0402
180-AH 0.0000 0.0158 0.0790 0.5415 0.6667 0.2424 0.2877 0.5257 0.6667 1.1868 0.0152 0.0000 0.2556 0.0000 0.6667 0.2424 0.2877
181-AH 0.0000 0.3852 0.8562 0.9049 0.9245 0.6522 0.4055 0.5197 0.9245 0.6218 0.0506 0.0000 0.3261 0.0000 0.9245 0.6522 0.4055
182-AH 0.0000 0.0145 0.0694 0.1206 0.2000 0.0761 0.0719 0.1061 0.2000 0.9447 0.0088 0.0000 0.0542 0.0000 0.2000 0.0761 0.0719
183-AH 0.0000 0.0690 0.2967 0.3413 0.3750 0.2236 0.1564 0.2724 0.3750 0.6993 0.0219 0.0000 0.1332 0.0000 0.3750 0.2236 0.1564
184-AH 0.0000 0.0033 0.0232 0.0927 0.5000 0.0923 0.1725 0.0894 0.5000 1.8683 0.0055 0.0000 0.1179 0.0000 0.1562 0.0341 0.0552
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
190-AH 0.0000 0.0000 0.0051 0.0416 0.0633 0.0196 0.0271 0.0416 0.0633 1.3841 0.0006 0.0000 0.0219 0.0000 0.0633 0.0196 0.0271
161
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0265 0.0353 0.0658 0.1366 1.0000 0.1877 0.3318 0.1013 0.9735 1.7671 0.0837 0.0562 0.2031 0.0265 0.1765 0.0717 0.0525
193-AH 0.0000 0.0571 0.1641 0.2889 0.8000 0.2275 0.2573 0.2317 0.8000 1.1311 0.0193 0.0000 0.1738 0.0000 0.3000 0.1457 0.1218
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.1781 0.8526 0.9848 1.0000 0.6289 0.4441 0.8068 1.0000 0.7062 0.0472 0.0000 0.3826 0.0000 1.0000 0.6289 0.4441
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0000 0.2675 0.5635 0.6000 0.7143 0.4470 0.2632 0.3325 0.7143 0.5888 0.1136 0.0001 0.2051 0.0000 0.7143 0.4470 0.2632
200-AH 0.0000 0.0070 0.0615 0.8333 1.0000 0.3504 0.4495 0.8264 1.0000 1.2827 0.0156 0.0000 0.4038 0.0000 1.0000 0.3504 0.4495
251-AH 0.0000 0.0519 0.3385 0.5607 0.5763 0.3098 0.2695 0.5088 0.5763 0.8698 0.0248 0.0000 0.2477 0.0000 0.5763 0.3098 0.2695
252-AH 0.0000 0.0000 0.0205 0.2323 0.4286 0.1168 0.1655 0.2323 0.4286 1.4178 0.0013 0.0000 0.1357 0.0000 0.4286 0.1168 0.1655
253-AH 0.0000 0.0000 0.0000 0.1718 0.2878 0.0789 0.1155 0.1718 0.2878 1.4640 0.0004 0.0000 0.0986 0.0000 0.2878 0.0789 0.1155
254-AH 0.0000 0.0000 0.0000 0.1266 0.3077 0.0701 0.1306 0.1266 0.3077 1.8632 0.0001 0.0000 0.1052 0.0000 0.3077 0.0701 0.1306
255-AH 0.0000 0.0175 0.0377 0.0965 0.7500 0.1317 0.2544 0.0790 0.7500 1.9315 0.0083 0.0000 0.1601 0.0000 0.1538 0.0434 0.0518
256-AH 0.0000 0.3036 0.7212 0.7994 1.0000 0.5810 0.3759 0.4958 1.0000 0.6470 0.0460 0.0000 0.2905 0.0000 1.0000 0.5810 0.3759
257-AH 0.0000 0.0000 0.0235 0.1068 0.2051 0.0582 0.0792 0.1068 0.2051 1.3596 0.0010 0.0000 0.0610 0.0000 0.2051 0.0582 0.0792
258-AH 0.0000 0.0000 0.0000 0.0000 0.0125 0.0016 0.0044 0.0000 0.0125 2.8284 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0238 0.1458 0.6667 0.1257 0.2279 0.1458 0.6667 1.8125 0.0013 0.0000 0.1455 0.0000 0.1667 0.0485 0.0698
260-AH 0.0000 0.0252 0.2150 0.4356 0.5161 0.2335 0.2262 0.4104 0.5161 0.9686 0.0178 0.0000 0.2075 0.0000 0.5161 0.2335 0.2262
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0238 0.0560 0.0129 0.0241 0.0238 0.0560 1.8597 0.0001 0.0000 0.0194 0.0000 0.0560 0.0129 0.0241
263-AH 0.0000 0.0000 0.0313 0.1221 0.1920 0.0624 0.0771 0.1221 0.1920 1.2359 0.0011 0.0000 0.0624 0.0000 0.1920 0.0624 0.0771
264-AH 0.0237 0.1167 0.1531 0.4564 0.7857 0.2827 0.2914 0.3397 0.7620 1.0306 0.1744 0.0999 0.2315 0.0237 0.7857 0.2827 0.2914
265-AH 0.0000 0.0938 0.2024 0.2679 0.3000 0.1785 0.1175 0.1741 0.3000 0.6581 0.0189 0.0000 0.0892 0.0000 0.3000 0.1785 0.1175
266-AH 0.0000 0.0130 0.0437 0.1141 0.1739 0.0644 0.0658 0.1010 0.1739 1.0203 0.0074 0.0000 0.0522 0.0000 0.1739 0.0644 0.0658
267-AH 0.0000 0.0108 0.0390 0.0543 0.0807 0.0361 0.0286 0.0435 0.0807 0.7923 0.0054 0.0000 0.0217 0.0000 0.0807 0.0361 0.0286
268-AH 0.0000 0.0011 0.1494 0.6667 1.0000 0.3293 0.3970 0.6655 1.0000 1.2056 0.0118 0.0000 0.3364 0.0000 1.0000 0.3293 0.3970
269-AH 0.0000 0.0000 0.0046 0.0304 0.1667 0.0296 0.0570 0.0304 0.1667 1.9256 0.0006 0.0000 0.0347 0.0000 0.0314 0.0100 0.0144
270-AH 0.0000 0.0955 0.3225 0.4809 0.7250 0.3154 0.2557 0.3854 0.7250 0.8108 0.0272 0.0000 0.2114 0.0000 0.7250 0.3154 0.2557
271-AH 0.0169 0.0931 0.5407 0.6687 0.7647 0.4234 0.3091 0.5756 0.7478 0.7302 0.2170 0.0614 0.2667 0.0169 0.7647 0.4234 0.3091
272-AH 0.0000 0.0250 0.0566 0.2208 0.3125 0.1147 0.1270 0.1958 0.3125 1.1075 0.0110 0.0000 0.1025 0.0000 0.3125 0.1147 0.1270
273-AH 0.0000 0.0000 0.2711 0.6297 0.8596 0.3327 0.3669 0.6297 0.8596 1.1029 0.0026 0.0000 0.3327 0.0000 0.8596 0.3327 0.3669
274-AH 0.0000 0.0000 0.0066 0.0231 0.0381 0.0122 0.0147 0.0231 0.0381 1.2044 0.0005 0.0000 0.0122 0.0000 0.0381 0.0122 0.0147
275-AH 0.0000 0.0000 0.0499 0.1529 0.2108 0.0770 0.0877 0.1529 0.2108 1.1381 0.0012 0.0000 0.0770 0.0000 0.2108 0.0770 0.0877
276-AH 0.0311 0.0328 0.2120 0.4155 0.5660 0.2397 0.2181 0.3827 0.5350 0.9096 0.1355 0.0717 0.1853 0.0311 0.5660 0.2397 0.2181
277-AH 0.0000 0.0000 0.0000 0.0103 0.1313 0.0190 0.0460 0.0103 0.1313 2.4205 0.0001 0.0000 0.0285 0.0000 0.0206 0.0029 0.0078
278-AH 0.0000 0.0000 0.0000 0.0078 0.0840 0.0124 0.0294 0.0078 0.0840 2.3630 0.0001 0.0000 0.0187 0.0000 0.0156 0.0022 0.0059
279-AH 0.0000 0.0023 0.0293 0.0544 0.4000 0.0715 0.1348 0.0521 0.4000 1.8852 0.0049 0.0000 0.0821 0.0000 0.0588 0.0246 0.0254
280-AH 0.0000 0.0000 0.0000 0.0083 0.0520 0.0086 0.0185 0.0083 0.0520 2.1533 0.0001 0.0000 0.0129 0.0000 0.0167 0.0024 0.0063
281-AH 0.0000 0.1029 0.2930 0.3784 0.5238 0.2591 0.1895 0.2755 0.5238 0.7315 0.0243 0.0000 0.1548 0.0000 0.5238 0.2591 0.1895
282-AH 0.0000 0.0460 0.1015 0.1801 0.4000 0.1319 0.1289 0.1341 0.4000 0.9773 0.0136 0.0000 0.0911 0.0000 0.2078 0.0936 0.0754
283-AH 0.0000 0.0000 0.0919 0.2216 0.2603 0.1109 0.1166 0.2216 0.2603 1.0517 0.0039 0.0000 0.1045 0.0000 0.2603 0.1109 0.1166
284-AH 0.0000 0.0000 0.0000 0.1250 0.3621 0.0765 0.1448 0.1250 0.3621 1.8926 0.0001 0.0000 0.1148 0.0000 0.2500 0.0357 0.0945
285-AH 0.0000 0.0189 0.0480 0.2751 0.7955 0.1849 0.2789 0.2562 0.7955 1.5081 0.0120 0.0000 0.2047 0.0000 0.3933 0.0977 0.1406
286-AH 0.0000 0.0000 0.0000 0.0000 0.0147 0.0018 0.0052 0.0000 0.0147 2.8284 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0346 0.1703 0.3211 0.4754 0.1909 0.1773 0.2864 0.4754 0.9285 0.0171 0.0000 0.1529 0.0000 0.4754 0.1909 0.1773
288-AH 0.0000 0.0000 0.0570 0.0882 0.1398 0.0538 0.0518 0.0882 0.1398 0.9633 0.0028 0.0000 0.0403 0.0000 0.1398 0.0538 0.0518
289-AH 0.0000 0.0000 0.2632 0.6923 0.7143 0.3282 0.3554 0.6923 0.7143 1.0831 0.0026 0.0000 0.3282 0.0000 0.7143 0.3282 0.3554
290-AH 0.0000 0.0000 0.0175 0.0633 0.0988 0.0325 0.0404 0.0633 0.0988 1.2426 0.0008 0.0000 0.0325 0.0000 0.0988 0.0325 0.0404
162
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0538 0.3881 0.9474 0.2289 0.3479 0.3881 0.9474 1.5200 0.0018 0.0000 0.2613 0.0000 0.9474 0.2289 0.3479
292-AH 0.0282 0.0441 0.2333 1.0000 1.0000 0.4479 0.4674 0.9559 0.9718 1.0435 0.1962 0.0806 0.4141 0.0282 1.0000 0.4479 0.4674
293-AH 0.0000 0.0000 0.2500 0.6103 0.8095 0.3163 0.3505 0.6103 0.8095 1.1081 0.0025 0.0000 0.3163 0.0000 0.8095 0.3163 0.3505
294-AH 0.0000 0.0000 0.1399 0.2960 0.6667 0.1923 0.2346 0.2960 0.6667 1.2201 0.0051 0.0000 0.1838 0.0000 0.6667 0.1923 0.2346
295-AH 0.0000 0.0000 0.0000 0.0137 0.1250 0.0191 0.0439 0.0137 0.1250 2.3020 0.0001 0.0000 0.0286 0.0000 0.0275 0.0039 0.0104
296-AH 0.0000 0.0000 0.1111 0.4312 0.7500 0.2293 0.3032 0.4312 0.7500 1.3220 0.0020 0.0000 0.2311 0.0000 0.7500 0.2293 0.3032
297-AH 0.0000 0.0000 0.0366 0.0823 0.1429 0.0476 0.0551 0.0823 0.1429 1.1572 0.0010 0.0000 0.0476 0.0000 0.1429 0.0476 0.0551
298-AH 0.0000 0.0000 0.0099 0.0626 0.1829 0.0410 0.0650 0.0626 0.1829 1.5867 0.0008 0.0000 0.0474 0.0000 0.0887 0.0207 0.0331
299-AH 0.0000 0.0000 0.0230 0.1861 0.3113 0.0912 0.1211 0.1861 0.3113 1.3283 0.0012 0.0000 0.1025 0.0000 0.3113 0.0912 0.1211
300-AH 0.0000 0.0000 0.0189 0.0718 0.1966 0.0472 0.0695 0.0718 0.1966 1.4704 0.0009 0.0000 0.0497 0.0000 0.0968 0.0259 0.0372
301-AH 0.0000 0.0000 0.0410 0.1406 0.6154 0.1223 0.2109 0.1406 0.6154 1.7239 0.0013 0.0000 0.1415 0.0000 0.1951 0.0519 0.0746
302-AH 0.0000 0.0000 0.0503 0.1750 0.3226 0.0966 0.1339 0.1750 0.3226 1.3860 0.0033 0.0000 0.1067 0.0000 0.3226 0.0966 0.1339
303-AH 0.0000 0.0060 0.0382 0.0886 0.1628 0.0535 0.0580 0.0826 0.1628 1.0842 0.0061 0.0000 0.0448 0.0000 0.1628 0.0535 0.0580
304-AH 0.0000 0.0000 0.0000 0.0167 0.0254 0.0073 0.0108 0.0167 0.0254 1.4720 0.0002 0.0000 0.0092 0.0000 0.0254 0.0073 0.0108
305-AH 0.0000 0.0205 0.0545 0.0972 0.1136 0.0573 0.0439 0.0767 0.1136 0.7658 0.0077 0.0000 0.0345 0.0000 0.1136 0.0573 0.0439
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0000 0.1090 0.0136 0.0385 0.0000 0.1090 2.8284 0.0000 0.0000 0.0238 0.0000 0.0000 0.0000 0.0000
308-AH 0.0076 0.2547 0.8182 1.0000 1.0000 0.6442 0.4368 0.7453 0.9924 0.6780 0.2629 0.0326 0.3558 0.0076 1.0000 0.6442 0.4368
309-AH 0.0203 0.0256 0.0384 0.0536 0.0667 0.0403 0.0167 0.0279 0.0464 0.4140 0.0372 0.0342 0.0132 0.0203 0.0667 0.0403 0.0167
310-AH 0.0000 0.0000 0.0235 0.0865 0.1071 0.0409 0.0467 0.0865 0.1071 1.1427 0.0009 0.0000 0.0409 0.0000 0.1071 0.0409 0.0467
311-AH 0.0347 0.0521 0.1150 0.2655 0.3553 0.1569 0.1230 0.2134 0.3206 0.7838 0.1143 0.0825 0.1039 0.0347 0.3553 0.1569 0.1230
312-AH 0.0000 0.0000 0.0000 0.0090 0.6154 0.0792 0.2168 0.0090 0.6154 2.7377 0.0001 0.0000 0.1341 0.0000 0.0180 0.0026 0.0068
313-AH 0.0000 0.0000 0.0068 0.0396 0.0538 0.0183 0.0225 0.0396 0.0538 1.2248 0.0006 0.0000 0.0195 0.0000 0.0538 0.0183 0.0225
314-AH 0.0000 0.0000 0.0330 0.0875 0.1235 0.0456 0.0516 0.0875 0.1235 1.1327 0.0022 0.0000 0.0423 0.0000 0.1235 0.0456 0.0516
315-AH 0.0000 0.0000 0.0484 0.4132 0.6596 0.1978 0.2835 0.4132 0.6596 1.4328 0.0017 0.0000 0.2231 0.0000 0.6596 0.1978 0.2835
316-AH 0.0000 0.0451 0.1159 0.2179 0.2370 0.1244 0.0958 0.1728 0.2370 0.7701 0.0138 0.0000 0.0793 0.0000 0.2370 0.1244 0.0958
317-AH 0.0000 0.0000 0.0239 0.0629 0.1667 0.0425 0.0580 0.0629 0.1667 1.3642 0.0020 0.0000 0.0418 0.0000 0.0857 0.0248 0.0314
318-AH 0.0000 0.0581 0.1339 0.2965 0.5000 0.1846 0.1767 0.2383 0.5000 0.9572 0.0173 0.0000 0.1348 0.0000 0.5000 0.1846 0.1767
319-AH 0.0117 0.0408 0.1683 0.2586 0.3333 0.1601 0.1237 0.2178 0.3216 0.7728 0.0931 0.0389 0.1077 0.0117 0.3333 0.1601 0.1237
320-AH 0.0000 0.0000 0.0109 0.0191 0.0224 0.0103 0.0095 0.0191 0.0224 0.9160 0.0010 0.0000 0.0079 0.0000 0.0224 0.0103 0.0095
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0134 0.0392 0.0756 0.0886 0.0431 0.0350 0.0623 0.0886 0.8120 0.0061 0.0000 0.0288 0.0000 0.0886 0.0431 0.0350
323-AH 0.0000 0.0000 0.0341 0.0687 0.1008 0.0383 0.0404 0.0687 0.1008 1.0562 0.0022 0.0000 0.0315 0.0000 0.1008 0.0383 0.0404
324-AH 0.0000 0.0000 0.0000 0.0000 0.2102 0.0263 0.0743 0.0000 0.2102 2.8284 0.0000 0.0000 0.0460 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0362 0.1499 0.4783 0.1063 0.1658 0.1499 0.4783 1.5592 0.0013 0.0000 0.1149 0.0000 0.1939 0.0532 0.0756
326-AH 0.0000 0.1667 0.5833 0.6667 1.0000 0.4792 0.3500 0.5000 1.0000 0.7305 0.0386 0.0000 0.2760 0.0000 1.0000 0.4792 0.3500
327-AH 0.0000 0.0000 0.0047 0.0336 0.4286 0.0631 0.1489 0.0336 0.4286 2.3585 0.0012 0.0000 0.0914 0.0000 0.0577 0.0109 0.0209
328-AH 0.0000 0.2656 0.5690 0.6065 0.6500 0.4415 0.2750 0.3408 0.6500 0.6229 0.0377 0.0000 0.2208 0.0000 0.6500 0.4415 0.2750
329-AH 0.0000 0.1552 0.5719 0.7305 0.8182 0.4667 0.3297 0.5753 0.8182 0.7065 0.0380 0.0000 0.2724 0.0000 0.8182 0.4667 0.3297
330-AH 0.0000 0.3171 0.7302 0.7474 0.7941 0.5479 0.3412 0.4304 0.7941 0.6227 0.0444 0.0000 0.2740 0.0000 0.7941 0.5479 0.3412
331-AH 0.0000 0.0957 0.2234 0.2404 0.3333 0.1815 0.1193 0.1446 0.3333 0.6574 0.0192 0.0000 0.0908 0.0000 0.3333 0.1815 0.1193
332-AH 0.0000 0.1000 0.2318 0.3247 0.5000 0.2266 0.1693 0.2247 0.5000 0.7471 0.0220 0.0000 0.1211 0.0000 0.5000 0.2266 0.1693
333-AH 0.0000 0.0017 0.5023 1.0000 1.0000 0.5010 0.5335 0.9983 1.0000 1.0648 0.0141 0.0000 0.4990 0.0000 1.0000 0.5010 0.5335
334-AH 0.0000 0.0000 0.0600 0.1389 0.2000 0.0747 0.0837 0.1389 0.2000 1.1200 0.0012 0.0000 0.0747 0.0000 0.2000 0.0747 0.0837
335-AH 0.0000 0.0000 0.0150 0.0639 0.0947 0.0316 0.0381 0.0639 0.0947 1.2079 0.0008 0.0000 0.0319 0.0000 0.0947 0.0316 0.0381
336-AH 0.0000 0.0000 0.0055 0.0628 0.1053 0.0302 0.0453 0.0628 0.1053 1.4990 0.0006 0.0000 0.0359 0.0000 0.1053 0.0302 0.0453
337-AH 0.0000 0.4231 0.8708 0.9129 0.9167 0.6663 0.4120 0.4898 0.9167 0.6184 0.0514 0.0000 0.3331 0.0000 0.9167 0.6663 0.4120
338-AH 0.0000 0.1071 0.2476 0.6875 0.8889 0.3717 0.3527 0.5804 0.8889 0.9491 0.0290 0.0000 0.2872 0.0000 0.8889 0.3717 0.3527
339-AH 0.0000 0.0127 0.0676 0.2595 0.4762 0.1444 0.1721 0.2468 0.4762 1.1915 0.0116 0.0000 0.1404 0.0000 0.4762 0.1444 0.1721
340-AH 0.0000 0.0000 0.0602 0.2319 0.3333 0.1147 0.1446 0.2319 0.3333 1.2612 0.0033 0.0000 0.1133 0.0000 0.3333 0.1147 0.1446
163
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.1460 0.5625 1.0000 1.0000 0.5521 0.4374 0.8540 1.0000 0.7922 0.1050 0.0001 0.3854 0.0000 1.0000 0.5521 0.4374
342-AH 0.0832 0.4965 0.7256 0.7589 0.8197 0.6081 0.2687 0.2624 0.7365 0.4418 0.5046 0.3402 0.2111 0.2888 0.8197 0.6831 0.1781
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0381 0.4679 0.5339 0.7917 0.3589 0.2958 0.4958 0.7917 0.8241 0.0280 0.0000 0.2502 0.0000 0.7917 0.3589 0.2958
345-AH 0.0000 0.0000 0.0164 0.0645 0.1163 0.0348 0.0476 0.0645 0.1163 1.3686 0.0017 0.0000 0.0376 0.0000 0.1163 0.0348 0.0476
346-AH 0.0065 0.0318 0.0560 0.0882 0.1333 0.0615 0.0434 0.0564 0.1268 0.7054 0.0429 0.0242 0.0313 0.0065 0.1333 0.0615 0.0434
347-AH 0.0000 0.0043 0.0130 0.0236 0.0472 0.0161 0.0155 0.0193 0.0472 0.9601 0.0028 0.0000 0.0115 0.0000 0.0472 0.0161 0.0155
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0486 0.2873 0.3306 0.4412 0.2218 0.1671 0.2819 0.4412 0.7533 0.0210 0.0000 0.1420 0.0000 0.4412 0.2218 0.1671
350-AH 0.0000 0.2778 0.6250 0.7738 1.0000 0.5441 0.3637 0.4960 1.0000 0.6683 0.0435 0.0000 0.2721 0.0000 1.0000 0.5441 0.3637
164
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0051 0.5080 1.0000 1.0000 1.0000 0.7526 0.4580 0.4920 0.9949 0.6086 0.3081 0.0301 0.3710 0.0051 1.0000 0.7526 0.4580
143-AH 0.0000 0.0000 0.0588 0.5576 1.0000 0.2791 0.4126 0.5576 1.0000 1.4784 0.0020 0.0000 0.3247 0.0000 1.0000 0.2791 0.4126
144-AH 0.0000 0.0670 0.5000 0.5833 1.0000 0.4126 0.3481 0.5163 1.0000 0.8438 0.0744 0.0001 0.2759 0.0000 1.0000 0.4126 0.3481
145-AH 0.0000 0.0131 0.0548 0.2944 0.6316 0.1695 0.2239 0.2813 0.6316 1.3210 0.0117 0.0000 0.1780 0.0000 0.6316 0.1695 0.2239
146-AH 0.0000 0.0000 0.0032 0.0411 0.0800 0.0211 0.0324 0.0411 0.0800 1.5374 0.0010 0.0000 0.0256 0.0000 0.0800 0.0211 0.0324
147-AH 0.0000 0.0000 0.0533 0.2478 0.5849 0.1484 0.2201 0.2478 0.5849 1.4836 0.0015 0.0000 0.1689 0.0000 0.5849 0.1484 0.2201
148-AH 0.0000 0.0000 0.0028 0.0264 0.0307 0.0111 0.0140 0.0264 0.0307 1.2594 0.0004 0.0000 0.0125 0.0000 0.0307 0.0111 0.0140
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0036 0.0138 0.0596 0.0976 0.0314 0.0365 0.0560 0.0976 1.1602 0.0038 0.0000 0.0306 0.0000 0.0976 0.0314 0.0365
151-AH 0.0000 0.0000 0.0000 0.0000 0.0191 0.0024 0.0068 0.0000 0.0191 2.8284 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0747 0.3889 0.0673 0.1355 0.0747 0.3889 2.0143 0.0003 0.0000 0.0909 0.0000 0.1094 0.0213 0.0416
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0129 0.0782 0.1166 0.3043 0.0900 0.0989 0.1037 0.3043 1.0998 0.0094 0.0000 0.0681 0.0000 0.1182 0.0593 0.0516
155-AH 0.0000 0.0031 0.0146 0.4500 0.5000 0.1794 0.2399 0.4469 0.5000 1.3371 0.0076 0.0000 0.2154 0.0000 0.5000 0.1794 0.2399
156-AH 0.0000 0.0198 0.0408 0.0509 0.1386 0.0452 0.0430 0.0311 0.1386 0.9517 0.0063 0.0000 0.0262 0.0000 0.0522 0.0318 0.0223
157-AH 0.0000 0.1505 0.3766 0.4161 0.4381 0.2906 0.1843 0.2656 0.4381 0.6341 0.0275 0.0000 0.1453 0.0000 0.4381 0.2906 0.1843
158-AH 0.0000 0.0000 0.1539 0.2486 0.6000 0.1756 0.2018 0.2486 0.6000 1.1491 0.0055 0.0000 0.1426 0.0000 0.6000 0.1756 0.2018
159-AH 0.0000 0.0000 0.0231 0.1065 0.1854 0.0556 0.0702 0.1065 0.1854 1.2627 0.0010 0.0000 0.0579 0.0000 0.1854 0.0556 0.0702
160-AH 0.0000 0.0000 0.0000 0.0477 0.0571 0.0191 0.0265 0.0477 0.0571 1.3900 0.0002 0.0000 0.0238 0.0000 0.0571 0.0191 0.0265
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0000 0.1190 0.4394 0.6002 0.7475 0.3831 0.2867 0.4812 0.7475 0.7483 0.0323 0.0000 0.2278 0.0000 0.7475 0.3831 0.2867
164-AH 0.0000 0.0000 0.0000 0.0131 0.1453 0.0214 0.0509 0.0131 0.1453 2.3746 0.0001 0.0000 0.0321 0.0000 0.0261 0.0037 0.0099
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0070 0.0435 0.1138 0.2308 0.0699 0.0839 0.1068 0.2308 1.1994 0.0068 0.0000 0.0622 0.0000 0.2308 0.0699 0.0839
168-AH 0.0000 0.0000 0.2037 0.4423 0.6875 0.2474 0.2780 0.4423 0.6875 1.1233 0.0022 0.0000 0.2474 0.0000 0.6875 0.2474 0.2780
169-AH 0.0000 0.0000 0.0052 0.0200 0.0625 0.0141 0.0216 0.0200 0.0625 1.5276 0.0005 0.0000 0.0150 0.0000 0.0239 0.0072 0.0098
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0000 0.0158 0.0388 0.0413 0.0625 0.0318 0.0199 0.0255 0.0625 0.6244 0.0119 0.0001 0.0159 0.0000 0.0625 0.0318 0.0199
172-AH 0.0000 0.0064 0.0302 0.0552 0.0649 0.0310 0.0264 0.0488 0.0649 0.8515 0.0094 0.0001 0.0232 0.0000 0.0649 0.0310 0.0264
173-AH 0.0351 0.5286 1.0000 1.0000 1.0000 0.7615 0.4416 0.4714 0.9649 0.5799 0.4600 0.1538 0.3577 0.0351 1.0000 0.7615 0.4416
174-AH 0.0000 0.5110 1.0000 1.0000 1.0000 0.7527 0.4579 0.4890 1.0000 0.6083 0.1471 0.0001 0.3709 0.0000 1.0000 0.7527 0.4579
175-AH 0.0000 0.1071 0.4688 0.7143 0.8333 0.4267 0.3365 0.6071 0.8333 0.7885 0.0340 0.0000 0.2950 0.0000 0.8333 0.4267 0.3365
176-AH 0.0000 0.3529 0.7426 0.9100 0.9615 0.6216 0.3950 0.5570 0.9615 0.6354 0.0486 0.0000 0.3108 0.0000 0.9615 0.6216 0.3950
177-AH 0.0000 0.0825 0.1918 0.2242 0.2727 0.1587 0.1011 0.1417 0.2727 0.6372 0.0414 0.0001 0.0778 0.0000 0.2727 0.1587 0.1011
178-AH 0.0000 0.0000 0.0000 0.0027 0.0115 0.0021 0.0042 0.0027 0.0115 2.0088 0.0001 0.0000 0.0032 0.0000 0.0054 0.0008 0.0020
179-AH 0.0000 0.0000 0.0139 0.0682 0.7895 0.1192 0.2733 0.0682 0.7895 2.2924 0.0010 0.0000 0.1676 0.0000 0.1071 0.0234 0.0393
180-AH 0.0000 0.0158 0.0770 0.4953 0.6667 0.2304 0.2743 0.4795 0.6667 1.1905 0.0148 0.0000 0.2415 0.0000 0.6667 0.2304 0.2743
181-AH 0.0000 0.3256 0.8179 0.8500 0.8615 0.6061 0.3801 0.5244 0.8615 0.6272 0.0478 0.0000 0.3030 0.0000 0.8615 0.6061 0.3801
182-AH 0.0000 0.0124 0.0599 0.1206 0.2000 0.0732 0.0730 0.1082 0.2000 0.9975 0.0083 0.0000 0.0563 0.0000 0.2000 0.0732 0.0730
183-AH 0.0000 0.0690 0.2967 0.3413 0.3750 0.2236 0.1564 0.2724 0.3750 0.6993 0.0219 0.0000 0.1332 0.0000 0.3750 0.2236 0.1564
184-AH 0.0000 0.0000 0.0044 0.0373 0.2143 0.0372 0.0737 0.0373 0.2143 1.9798 0.0006 0.0000 0.0475 0.0000 0.0500 0.0119 0.0191
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.3571 1.0000 1.0000 1.0000 0.7143 0.4518 0.6429 1.0000 0.6325 0.0539 0.0000 0.3571 0.0000 1.0000 0.7143 0.4518
190-AH 0.0000 0.0000 0.0000 0.0113 0.0465 0.0086 0.0172 0.0113 0.0465 1.9933 0.0001 0.0000 0.0130 0.0000 0.0226 0.0032 0.0086
165
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0101 0.0294 0.1032 1.0000 0.1607 0.3423 0.0931 1.0000 2.1305 0.0079 0.0000 0.2098 0.0000 0.1429 0.0408 0.0499
193-AH 0.0000 0.0385 0.1428 0.2889 0.6000 0.1925 0.2020 0.2504 0.6000 1.0490 0.0168 0.0000 0.1536 0.0000 0.6000 0.1925 0.2020
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.1625 0.8119 0.9848 1.0000 0.6148 0.4394 0.8223 1.0000 0.7146 0.0462 0.0000 0.3799 0.0000 1.0000 0.6148 0.4394
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0000 0.2452 0.5455 0.5857 0.6000 0.4191 0.2536 0.3405 0.6000 0.6052 0.0975 0.0001 0.2023 0.0000 0.6000 0.4191 0.2536
200-AH 0.0000 0.0069 0.0615 0.5833 1.0000 0.2879 0.3853 0.5765 1.0000 1.3383 0.0142 0.0000 0.3257 0.0000 1.0000 0.2879 0.3853
251-AH 0.0000 0.0000 0.1612 0.4031 0.4255 0.1943 0.2101 0.4031 0.4255 1.0814 0.0020 0.0000 0.1943 0.0000 0.4255 0.1943 0.2101
252-AH 0.0000 0.0000 0.0149 0.1515 0.2593 0.0740 0.1047 0.1515 0.2593 1.4152 0.0011 0.0000 0.0851 0.0000 0.2593 0.0740 0.1047
253-AH 0.0000 0.0000 0.0000 0.1360 0.2380 0.0637 0.0935 0.1360 0.2380 1.4673 0.0004 0.0000 0.0797 0.0000 0.2380 0.0637 0.0935
254-AH 0.0000 0.0000 0.0000 0.1102 0.2733 0.0617 0.1151 0.1102 0.2733 1.8657 0.0001 0.0000 0.0926 0.0000 0.2733 0.0617 0.1151
255-AH 0.0000 0.0041 0.0097 0.0546 0.7500 0.1108 0.2600 0.0505 0.7500 2.3453 0.0042 0.0000 0.1598 0.0000 0.0909 0.0195 0.0321
256-AH 0.0000 0.2738 0.6603 0.7477 1.0000 0.5454 0.3613 0.4739 1.0000 0.6624 0.0437 0.0000 0.2727 0.0000 1.0000 0.5454 0.3613
257-AH 0.0000 0.0000 0.0000 0.0950 0.1600 0.0438 0.0697 0.0950 0.1600 1.5939 0.0003 0.0000 0.0552 0.0000 0.1600 0.0438 0.0697
258-AH 0.0000 0.0000 0.0000 0.0000 0.0042 0.0005 0.0015 0.0000 0.0042 2.8284 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0238 0.1458 0.6667 0.1257 0.2279 0.1458 0.6667 1.8125 0.0013 0.0000 0.1455 0.0000 0.1667 0.0485 0.0698
260-AH 0.0000 0.0238 0.1730 0.3666 0.4318 0.1948 0.1865 0.3428 0.4318 0.9574 0.0159 0.0000 0.1701 0.0000 0.4318 0.1948 0.1865
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0294 0.0709 0.1579 0.0448 0.0568 0.0709 0.1579 1.2670 0.0009 0.0000 0.0448 0.0000 0.1579 0.0448 0.0568
264-AH 0.0000 0.0510 0.1387 0.3638 0.5385 0.2057 0.2165 0.3129 0.5385 1.0527 0.0178 0.0000 0.1664 0.0000 0.5385 0.2057 0.2165
265-AH 0.0000 0.0526 0.1707 0.2063 0.2857 0.1431 0.1023 0.1537 0.2857 0.7150 0.0157 0.0000 0.0810 0.0000 0.2857 0.1431 0.1023
266-AH 0.0000 0.0130 0.0437 0.1141 0.1739 0.0644 0.0658 0.1010 0.1739 1.0203 0.0074 0.0000 0.0522 0.0000 0.1739 0.0644 0.0658
267-AH 0.0000 0.0103 0.0318 0.0500 0.0807 0.0331 0.0275 0.0397 0.0807 0.8312 0.0050 0.0000 0.0209 0.0000 0.0807 0.0331 0.0275
268-AH 0.0000 0.0011 0.1494 0.6667 1.0000 0.3293 0.3970 0.6655 1.0000 1.2056 0.0118 0.0000 0.3364 0.0000 1.0000 0.3293 0.3970
269-AH 0.0000 0.0000 0.0000 0.0300 0.1346 0.0243 0.0466 0.0300 0.1346 1.9151 0.0002 0.0000 0.0304 0.0000 0.0314 0.0086 0.0147
270-AH 0.0000 0.0723 0.1786 0.2689 0.6250 0.2081 0.1988 0.1966 0.6250 0.9554 0.0194 0.0000 0.1346 0.0000 0.3070 0.1485 0.1140
271-AH 0.0000 0.0629 0.3490 0.4451 0.6522 0.2958 0.2352 0.3822 0.6522 0.7952 0.0258 0.0000 0.1904 0.0000 0.6522 0.2958 0.2352
272-AH 0.0000 0.0212 0.0480 0.2002 0.3125 0.1064 0.1281 0.1790 0.3125 1.2036 0.0099 0.0000 0.1007 0.0000 0.3125 0.1064 0.1281
273-AH 0.0000 0.0000 0.2101 0.5957 0.8500 0.3077 0.3488 0.5957 0.8500 1.1336 0.0024 0.0000 0.3077 0.0000 0.8500 0.3077 0.3488
274-AH 0.0000 0.0000 0.0000 0.0099 0.0206 0.0050 0.0093 0.0099 0.0206 1.8522 0.0001 0.0000 0.0076 0.0000 0.0206 0.0050 0.0093
275-AH 0.0000 0.0000 0.0388 0.1259 0.2108 0.0675 0.0808 0.1259 0.2108 1.1967 0.0011 0.0000 0.0675 0.0000 0.2108 0.0675 0.0808
276-AH 0.0000 0.0000 0.1528 0.3352 0.4444 0.1776 0.1829 0.3352 0.4444 1.0304 0.0055 0.0000 0.1581 0.0000 0.4444 0.1776 0.1829
277-AH 0.0000 0.0000 0.0000 0.0000 0.0176 0.0022 0.0062 0.0000 0.0176 2.8284 0.0000 0.0000 0.0039 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0398 0.0050 0.0141 0.0000 0.0398 2.8284 0.0000 0.0000 0.0087 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0021 0.0072 0.0107 0.0698 0.0137 0.0231 0.0086 0.0698 1.6795 0.0019 0.0000 0.0140 0.0000 0.0120 0.0057 0.0047
280-AH 0.0000 0.0000 0.0000 0.0000 0.0408 0.0051 0.0144 0.0000 0.0408 2.8284 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0765 0.2401 0.3059 0.3824 0.2034 0.1438 0.2294 0.3824 0.7068 0.0204 0.0000 0.1159 0.0000 0.3824 0.2034 0.1438
282-AH 0.0000 0.0315 0.0707 0.0853 0.3134 0.0860 0.0984 0.0539 0.3134 1.1434 0.0096 0.0000 0.0591 0.0000 0.0950 0.0536 0.0380
283-AH 0.0000 0.0000 0.0402 0.1685 0.1983 0.0770 0.0888 0.1685 0.1983 1.1542 0.0012 0.0000 0.0770 0.0000 0.1983 0.0770 0.0888
284-AH 0.0000 0.0000 0.0000 0.1018 0.3582 0.0702 0.1364 0.1018 0.3582 1.9430 0.0001 0.0000 0.1053 0.0000 0.2035 0.0291 0.0769
285-AH 0.0000 0.0000 0.0000 0.2017 0.7167 0.1400 0.2540 0.2017 0.7167 1.8142 0.0005 0.0000 0.1801 0.0000 0.2838 0.0576 0.1092
286-AH 0.0000 0.0000 0.0000 0.0000 0.0117 0.0015 0.0041 0.0000 0.0117 2.8284 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0346 0.1338 0.2312 0.4545 0.1567 0.1527 0.1966 0.4545 0.9741 0.0150 0.0000 0.1191 0.0000 0.4545 0.1567 0.1527
288-AH 0.0000 0.0000 0.0000 0.0358 0.0724 0.0180 0.0333 0.0358 0.0724 1.8517 0.0001 0.0000 0.0270 0.0000 0.0724 0.0180 0.0333
289-AH 0.0000 0.0000 0.2600 0.6673 0.6875 0.3178 0.3436 0.6673 0.6875 1.0815 0.0025 0.0000 0.3178 0.0000 0.6875 0.3178 0.3436
290-AH 0.0000 0.0000 0.0000 0.0608 0.0851 0.0258 0.0386 0.0608 0.0851 1.4945 0.0003 0.0000 0.0323 0.0000 0.0851 0.0258 0.0386
166
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0506 0.2792 0.9474 0.2009 0.3346 0.2792 0.9474 1.6658 0.0016 0.0000 0.2428 0.0000 0.4255 0.0942 0.1564
292-AH 0.0094 0.0194 0.0584 0.3889 0.8000 0.2179 0.2870 0.3695 0.7906 1.3176 0.0765 0.0292 0.2311 0.0094 0.8000 0.2179 0.2870
293-AH 0.0000 0.0000 0.2500 0.5681 0.6286 0.2831 0.3054 0.5681 0.6286 1.0790 0.0024 0.0000 0.2831 0.0000 0.6286 0.2831 0.3054
294-AH 0.0000 0.0000 0.1047 0.2537 0.6667 0.1729 0.2288 0.2537 0.6667 1.3229 0.0047 0.0000 0.1644 0.0000 0.2698 0.1024 0.1209
295-AH 0.0000 0.0000 0.0000 0.0000 0.0840 0.0105 0.0297 0.0000 0.0840 2.8284 0.0000 0.0000 0.0184 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0610 0.3222 0.6000 0.1708 0.2465 0.3222 0.6000 1.4431 0.0016 0.0000 0.1939 0.0000 0.6000 0.1708 0.2465
297-AH 0.0000 0.0000 0.0118 0.0302 0.0571 0.0177 0.0212 0.0302 0.0571 1.2033 0.0006 0.0000 0.0177 0.0000 0.0571 0.0177 0.0212
298-AH 0.0000 0.0000 0.0000 0.0571 0.1364 0.0313 0.0525 0.0571 0.1364 1.6748 0.0003 0.0000 0.0406 0.0000 0.1364 0.0313 0.0525
299-AH 0.0000 0.0000 0.0000 0.1312 0.3113 0.0717 0.1137 0.1312 0.3113 1.5862 0.0004 0.0000 0.0896 0.0000 0.3113 0.0717 0.1137
300-AH 0.0000 0.0000 0.0189 0.0699 0.1598 0.0422 0.0585 0.0699 0.1598 1.3869 0.0008 0.0000 0.0433 0.0000 0.1598 0.0422 0.0585
301-AH 0.0000 0.0000 0.0327 0.0770 0.4545 0.0842 0.1540 0.0770 0.4545 1.8285 0.0011 0.0000 0.0926 0.0000 0.0820 0.0313 0.0394
302-AH 0.0000 0.0000 0.0370 0.1736 0.2973 0.0898 0.1296 0.1736 0.2973 1.4434 0.0029 0.0000 0.1037 0.0000 0.2973 0.0898 0.1296
303-AH 0.0000 0.0000 0.0244 0.0410 0.0625 0.0242 0.0237 0.0410 0.0625 0.9819 0.0017 0.0000 0.0201 0.0000 0.0625 0.0242 0.0237
304-AH 0.0000 0.0000 0.0000 0.0076 0.0158 0.0039 0.0072 0.0076 0.0158 1.8520 0.0001 0.0000 0.0058 0.0000 0.0158 0.0039 0.0072
305-AH 0.0000 0.0000 0.0420 0.0788 0.0830 0.0406 0.0373 0.0788 0.0830 0.9185 0.0023 0.0000 0.0311 0.0000 0.0830 0.0406 0.0373
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0000 0.0840 0.0105 0.0297 0.0000 0.0840 2.8284 0.0000 0.0000 0.0184 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.2538 0.7071 1.0000 1.0000 0.6152 0.4195 0.7462 1.0000 0.6819 0.1082 0.0001 0.3345 0.0000 1.0000 0.6152 0.4195
309-AH 0.0096 0.0116 0.0295 0.0452 0.0645 0.0308 0.0205 0.0336 0.0549 0.6661 0.0245 0.0194 0.0176 0.0096 0.0645 0.0308 0.0205
310-AH 0.0000 0.0000 0.0000 0.0618 0.0888 0.0265 0.0378 0.0618 0.0888 1.4228 0.0003 0.0000 0.0332 0.0000 0.0888 0.0265 0.0378
311-AH 0.0000 0.0000 0.0865 0.2256 0.2734 0.1122 0.1155 0.2256 0.2734 1.0294 0.0042 0.0000 0.0970 0.0000 0.2734 0.1122 0.1155
312-AH 0.0000 0.0000 0.0000 0.0000 0.6129 0.0766 0.2167 0.0000 0.6129 2.8284 0.0000 0.0000 0.1341 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0226 0.0403 0.0107 0.0167 0.0226 0.0403 1.5615 0.0002 0.0000 0.0134 0.0000 0.0403 0.0107 0.0167
314-AH 0.0000 0.0000 0.0264 0.0806 0.1111 0.0407 0.0480 0.0806 0.1111 1.1808 0.0009 0.0000 0.0407 0.0000 0.1111 0.0407 0.0480
315-AH 0.0000 0.0000 0.0425 0.2918 0.6066 0.1594 0.2444 0.2918 0.6066 1.5333 0.0015 0.0000 0.1936 0.0000 0.6066 0.1594 0.2444
316-AH 0.0000 0.0418 0.1159 0.2038 0.2276 0.1188 0.0905 0.1620 0.2276 0.7614 0.0133 0.0000 0.0754 0.0000 0.2276 0.1188 0.0905
317-AH 0.0000 0.0000 0.0136 0.0505 0.1385 0.0333 0.0485 0.0505 0.1385 1.4543 0.0007 0.0000 0.0349 0.0000 0.0633 0.0183 0.0252
318-AH 0.0000 0.0476 0.1206 0.2732 0.3750 0.1572 0.1433 0.2256 0.3750 0.9113 0.0156 0.0000 0.1124 0.0000 0.3750 0.1572 0.1433
319-AH 0.0000 0.0275 0.1468 0.2378 0.2609 0.1357 0.1116 0.2103 0.2609 0.8224 0.0140 0.0000 0.0993 0.0000 0.2609 0.1357 0.1116
320-AH 0.0000 0.0000 0.0054 0.0115 0.0196 0.0067 0.0077 0.0115 0.0196 1.1451 0.0004 0.0000 0.0067 0.0000 0.0196 0.0067 0.0077
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0121 0.0378 0.0481 0.0612 0.0322 0.0228 0.0360 0.0612 0.7099 0.0051 0.0000 0.0184 0.0000 0.0612 0.0322 0.0228
323-AH 0.0000 0.0000 0.0102 0.0417 0.0437 0.0184 0.0210 0.0417 0.0437 1.1388 0.0006 0.0000 0.0184 0.0000 0.0437 0.0184 0.0210
324-AH 0.0000 0.0000 0.0000 0.0000 0.0954 0.0119 0.0337 0.0000 0.0954 2.8284 0.0000 0.0000 0.0209 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0275 0.1070 0.3458 0.0769 0.1191 0.1070 0.3458 1.5500 0.0011 0.0000 0.0823 0.0000 0.1307 0.0385 0.0528
326-AH 0.0000 0.0192 0.0571 0.0966 0.1429 0.0611 0.0519 0.0774 0.1429 0.8503 0.0079 0.0000 0.0385 0.0000 0.1429 0.0611 0.0519
327-AH 0.0000 0.0000 0.0016 0.0307 0.4286 0.0616 0.1496 0.0307 0.4286 2.4272 0.0005 0.0000 0.0917 0.0000 0.0577 0.0092 0.0214
328-AH 0.0000 0.2656 0.5420 0.5880 0.6129 0.4255 0.2641 0.3223 0.6129 0.6208 0.0367 0.0000 0.2127 0.0000 0.6129 0.4255 0.2641
329-AH 0.0000 0.0821 0.4119 0.5789 0.6111 0.3446 0.2569 0.4969 0.6111 0.7455 0.0295 0.0000 0.2174 0.0000 0.6111 0.3446 0.2569
330-AH 0.0000 0.2342 0.6887 0.7246 0.7381 0.5041 0.3229 0.4904 0.7381 0.6406 0.0414 0.0000 0.2610 0.0000 0.7381 0.5041 0.3229
331-AH 0.0000 0.0904 0.2086 0.2382 0.3333 0.1760 0.1179 0.1478 0.3333 0.6703 0.0187 0.0000 0.0880 0.0000 0.3333 0.1760 0.1179
332-AH 0.0000 0.1000 0.2183 0.2318 0.2692 0.1712 0.1076 0.1318 0.2692 0.6286 0.0185 0.0000 0.0856 0.0000 0.2692 0.1712 0.1076
333-AH 0.0000 0.0017 0.5023 1.0000 1.0000 0.5010 0.5335 0.9983 1.0000 1.0648 0.0141 0.0000 0.4990 0.0000 1.0000 0.5010 0.5335
334-AH 0.0000 0.0000 0.0600 0.1389 0.2000 0.0747 0.0837 0.1389 0.2000 1.1200 0.0012 0.0000 0.0747 0.0000 0.2000 0.0747 0.0837
335-AH 0.0000 0.0000 0.0084 0.0541 0.0947 0.0275 0.0372 0.0541 0.0947 1.3531 0.0007 0.0000 0.0301 0.0000 0.0947 0.0275 0.0372
336-AH 0.0000 0.0000 0.0000 0.0402 0.0970 0.0222 0.0372 0.0402 0.0970 1.6769 0.0002 0.0000 0.0287 0.0000 0.0970 0.0222 0.0372
337-AH 0.0000 0.4000 0.8118 0.8667 0.8750 0.6290 0.3893 0.4667 0.8750 0.6190 0.0493 0.0000 0.3145 0.0000 0.8750 0.6290 0.3893
338-AH 0.0000 0.1034 0.2435 0.6434 0.8889 0.3587 0.3503 0.5399 0.8889 0.9767 0.0281 0.0000 0.2749 0.0000 0.8889 0.3587 0.3503
339-AH 0.0000 0.0093 0.0639 0.2435 0.2917 0.1156 0.1240 0.2342 0.2917 1.0726 0.0102 0.0000 0.1080 0.0000 0.2917 0.1156 0.1240
340-AH 0.0000 0.0000 0.0602 0.2319 0.3333 0.1147 0.1446 0.2319 0.3333 1.2612 0.0033 0.0000 0.1133 0.0000 0.3333 0.1147 0.1446
167
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0364 0.1026 0.8333 1.0000 0.3681 0.4452 0.7970 1.0000 1.2095 0.0218 0.0000 0.3906 0.0000 1.0000 0.3681 0.4452
342-AH 0.0585 0.4097 0.7137 0.7500 0.7717 0.5721 0.2873 0.3403 0.7132 0.5021 0.4402 0.2550 0.2296 0.0585 0.7717 0.5721 0.2873
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0366 0.4342 0.5327 0.7407 0.3435 0.2839 0.4961 0.7407 0.8267 0.0270 0.0000 0.2393 0.0000 0.7407 0.3435 0.2839
345-AH 0.0000 0.0000 0.0125 0.0562 0.1034 0.0301 0.0433 0.0562 0.1034 1.4390 0.0015 0.0000 0.0346 0.0000 0.1034 0.0301 0.0433
346-AH 0.0000 0.0247 0.0543 0.0636 0.1111 0.0495 0.0362 0.0389 0.1111 0.7309 0.0071 0.0000 0.0248 0.0000 0.1111 0.0495 0.0362
347-AH 0.0000 0.0041 0.0089 0.0235 0.0255 0.0123 0.0105 0.0194 0.0255 0.8517 0.0023 0.0000 0.0089 0.0000 0.0255 0.0123 0.0105
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0381 0.2614 0.2889 0.3953 0.1965 0.1499 0.2508 0.3953 0.7625 0.0190 0.0000 0.1283 0.0000 0.3953 0.1965 0.1499
350-AH 0.0000 0.1579 0.4492 0.6000 1.0000 0.4268 0.3348 0.4421 1.0000 0.7845 0.0349 0.0000 0.2596 0.0000 1.0000 0.4268 0.3348
168
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
143-AH 0.0000 0.0000 0.0469 0.4136 1.0000 0.2401 0.3784 0.4136 1.0000 1.5759 0.0018 0.0000 0.2927 0.0000 1.0000 0.2401 0.3784
144-AH 0.0000 0.0000 0.0211 0.0912 0.1500 0.0468 0.0582 0.0912 0.1500 1.2418 0.0009 0.0000 0.0480 0.0000 0.1500 0.0468 0.0582
145-AH 0.0000 0.0000 0.0000 0.1332 0.5283 0.0993 0.1860 0.1332 0.5283 1.8722 0.0004 0.0000 0.1299 0.0000 0.1901 0.0381 0.0728
146-AH 0.0000 0.0000 0.0032 0.0411 0.0800 0.0211 0.0324 0.0411 0.0800 1.5374 0.0010 0.0000 0.0256 0.0000 0.0800 0.0211 0.0324
147-AH 0.0000 0.0000 0.0393 0.2267 0.4557 0.1235 0.1821 0.2267 0.4557 1.4751 0.0014 0.0000 0.1431 0.0000 0.4557 0.1235 0.1821
148-AH 0.0000 0.0000 0.0028 0.0221 0.0307 0.0101 0.0130 0.0221 0.0307 1.2946 0.0004 0.0000 0.0112 0.0000 0.0307 0.0101 0.0130
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0036 0.0138 0.0596 0.0976 0.0314 0.0365 0.0560 0.0976 1.1602 0.0038 0.0000 0.0306 0.0000 0.0976 0.0314 0.0365
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0363 0.0708 0.0179 0.0270 0.0363 0.0708 1.5070 0.0002 0.0000 0.0224 0.0000 0.0708 0.0179 0.0270
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0122 0.0342 0.0655 0.1546 0.0473 0.0501 0.0533 0.1546 1.0588 0.0061 0.0000 0.0359 0.0000 0.0694 0.0320 0.0270
155-AH 0.0000 0.0000 0.0092 0.0817 0.1765 0.0448 0.0652 0.0817 0.1765 1.4551 0.0008 0.0000 0.0514 0.0000 0.1765 0.0448 0.0652
156-AH 0.0000 0.0000 0.0166 0.0387 0.0693 0.0225 0.0264 0.0387 0.0693 1.1732 0.0007 0.0000 0.0225 0.0000 0.0693 0.0225 0.0264
157-AH 0.0000 0.1079 0.2890 0.3623 0.4125 0.2414 0.1612 0.2544 0.4125 0.6680 0.0236 0.0000 0.1271 0.0000 0.4125 0.2414 0.1612
158-AH 0.0000 0.0000 0.0919 0.1488 0.5000 0.1227 0.1653 0.1488 0.5000 1.3475 0.0042 0.0000 0.1074 0.0000 0.1633 0.0688 0.0691
159-AH 0.0000 0.0000 0.0000 0.0767 0.1689 0.0403 0.0626 0.0767 0.1689 1.5527 0.0003 0.0000 0.0504 0.0000 0.1689 0.0403 0.0626
160-AH 0.0000 0.0000 0.0000 0.0477 0.0571 0.0191 0.0265 0.0477 0.0571 1.3900 0.0002 0.0000 0.0238 0.0000 0.0571 0.0191 0.0265
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0000 0.0865 0.3457 0.5157 0.6772 0.3216 0.2561 0.4292 0.6772 0.7963 0.0278 0.0000 0.2002 0.0000 0.6772 0.3216 0.2561
164-AH 0.0000 0.0000 0.0000 0.0000 0.1407 0.0176 0.0498 0.0000 0.1407 2.8284 0.0000 0.0000 0.0308 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0061 0.0167 0.0758 0.1379 0.0419 0.0583 0.0696 0.1379 1.3927 0.0043 0.0000 0.0469 0.0000 0.1379 0.0419 0.0583
168-AH 0.0000 0.0000 0.0903 0.3167 0.6190 0.1791 0.2351 0.3167 0.6190 1.3126 0.0018 0.0000 0.1791 0.0000 0.6190 0.1791 0.2351
169-AH 0.0000 0.0000 0.0042 0.0166 0.0625 0.0130 0.0216 0.0166 0.0625 1.6636 0.0004 0.0000 0.0151 0.0000 0.0239 0.0059 0.0090
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0000 0.0081 0.0247 0.0310 0.0452 0.0216 0.0157 0.0230 0.0452 0.7264 0.0038 0.0000 0.0122 0.0000 0.0452 0.0216 0.0157
172-AH 0.0000 0.0064 0.0302 0.0552 0.0649 0.0310 0.0264 0.0488 0.0649 0.8515 0.0094 0.0001 0.0232 0.0000 0.0649 0.0310 0.0264
173-AH 0.0351 0.5286 1.0000 1.0000 1.0000 0.7615 0.4416 0.4714 0.9649 0.5799 0.4600 0.1538 0.3577 0.0351 1.0000 0.7615 0.4416
174-AH 0.0000 0.5110 1.0000 1.0000 1.0000 0.7527 0.4579 0.4890 1.0000 0.6083 0.1471 0.0001 0.3709 0.0000 1.0000 0.7527 0.4579
175-AH 0.0000 0.1071 0.4688 0.7143 0.8333 0.4267 0.3365 0.6071 0.8333 0.7885 0.0340 0.0000 0.2950 0.0000 0.8333 0.4267 0.3365
176-AH 0.0000 0.2917 0.6444 0.8286 0.8750 0.5505 0.3560 0.5369 0.8750 0.6467 0.0442 0.0000 0.2753 0.0000 0.8750 0.5505 0.3560
177-AH 0.0000 0.0258 0.0989 0.1251 0.1923 0.0865 0.0666 0.0993 0.1923 0.7699 0.0105 0.0000 0.0522 0.0000 0.1923 0.0865 0.0666
178-AH 0.0000 0.0000 0.0000 0.0027 0.0115 0.0021 0.0042 0.0027 0.0115 2.0088 0.0001 0.0000 0.0032 0.0000 0.0054 0.0008 0.0020
179-AH 0.0000 0.0000 0.0111 0.0614 0.3810 0.0658 0.1315 0.0614 0.3810 1.9996 0.0008 0.0000 0.0865 0.0000 0.0964 0.0207 0.0353
180-AH 0.0000 0.0158 0.0601 0.4222 0.6512 0.2059 0.2541 0.4064 0.6512 1.2337 0.0134 0.0000 0.2194 0.0000 0.6512 0.2059 0.2541
181-AH 0.0000 0.2559 0.7233 0.7879 0.8375 0.5465 0.3521 0.5320 0.8375 0.6444 0.0439 0.0000 0.2819 0.0000 0.8375 0.5465 0.3521
182-AH 0.0000 0.0124 0.0599 0.1206 0.2000 0.0732 0.0730 0.1082 0.2000 0.9975 0.0083 0.0000 0.0563 0.0000 0.2000 0.0732 0.0730
183-AH 0.0000 0.0690 0.2967 0.3413 0.3750 0.2236 0.1564 0.2724 0.3750 0.6993 0.0219 0.0000 0.1332 0.0000 0.3750 0.2236 0.1564
184-AH 0.0000 0.0000 0.0000 0.0094 0.1346 0.0192 0.0468 0.0094 0.1346 2.4432 0.0002 0.0000 0.0289 0.0000 0.0099 0.0027 0.0046
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.3571 1.0000 1.0000 1.0000 0.7143 0.4518 0.6429 1.0000 0.6325 0.0539 0.0000 0.3571 0.0000 1.0000 0.7143 0.4518
190-AH 0.0000 0.0000 0.0000 0.0038 0.0177 0.0032 0.0064 0.0038 0.0177 2.0420 0.0001 0.0000 0.0047 0.0000 0.0075 0.0011 0.0028
169
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0031 0.0102 0.0733 0.5000 0.0842 0.1733 0.0702 0.5000 2.0596 0.0040 0.0000 0.1148 0.0000 0.1277 0.0247 0.0459
193-AH 0.0000 0.0385 0.1428 0.2889 0.6000 0.1925 0.2020 0.2504 0.6000 1.0490 0.0168 0.0000 0.1536 0.0000 0.6000 0.1925 0.2020
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.1625 0.7975 0.9486 0.9750 0.5990 0.4260 0.7861 0.9750 0.7112 0.0454 0.0000 0.3680 0.0000 0.9750 0.5990 0.4260
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0000 0.2395 0.4868 0.5524 0.5833 0.3926 0.2378 0.3129 0.5833 0.6058 0.0928 0.0001 0.1891 0.0000 0.5833 0.3926 0.2378
200-AH 0.0000 0.0069 0.0484 0.4003 0.6364 0.1934 0.2486 0.3935 0.6364 1.2849 0.0112 0.0000 0.2142 0.0000 0.6364 0.1934 0.2486
251-AH 0.0000 0.0000 0.0644 0.1867 0.3087 0.1014 0.1202 0.1867 0.3087 1.1856 0.0014 0.0000 0.1014 0.0000 0.3087 0.1014 0.1202
252-AH 0.0000 0.0000 0.0000 0.1166 0.2593 0.0616 0.1009 0.1166 0.2593 1.6390 0.0004 0.0000 0.0782 0.0000 0.2593 0.0616 0.1009
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0882 0.2209 0.0496 0.0927 0.0882 0.2209 1.8671 0.0001 0.0000 0.0745 0.0000 0.1763 0.0252 0.0667
255-AH 0.0000 0.0041 0.0097 0.0546 0.7500 0.1108 0.2600 0.0505 0.7500 2.3453 0.0042 0.0000 0.1598 0.0000 0.0909 0.0195 0.0321
256-AH 0.0000 0.2727 0.6356 0.7343 0.9600 0.5307 0.3506 0.4616 0.9600 0.6608 0.0428 0.0000 0.2653 0.0000 0.9600 0.5307 0.3506
257-AH 0.0000 0.0000 0.0000 0.0529 0.1264 0.0290 0.0540 0.0529 0.1264 1.8612 0.0001 0.0000 0.0435 0.0000 0.1264 0.0290 0.0540
258-AH 0.0000 0.0000 0.0000 0.0000 0.0042 0.0005 0.0015 0.0000 0.0042 2.8284 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.0136 0.0017 0.0048 0.0000 0.0136 2.8284 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.1252 0.3023 0.3782 0.1542 0.1629 0.3023 0.3782 1.0565 0.0049 0.0000 0.1424 0.0000 0.3782 0.1542 0.1629
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0240 0.1201 0.0210 0.0434 0.0240 0.1201 2.0663 0.0001 0.0000 0.0315 0.0000 0.0480 0.0069 0.0181
264-AH 0.0000 0.0437 0.1006 0.1809 0.2078 0.1073 0.0800 0.1372 0.2078 0.7461 0.0125 0.0000 0.0619 0.0000 0.2078 0.1073 0.0800
265-AH 0.0000 0.0109 0.0581 0.1311 0.1875 0.0735 0.0750 0.1201 0.1875 1.0215 0.0082 0.0000 0.0573 0.0000 0.1875 0.0735 0.0750
266-AH 0.0000 0.0130 0.0437 0.1141 0.1739 0.0644 0.0658 0.1010 0.1739 1.0203 0.0074 0.0000 0.0522 0.0000 0.1739 0.0644 0.0658
267-AH 0.0000 0.0100 0.0251 0.0329 0.0485 0.0231 0.0167 0.0229 0.0485 0.7236 0.0040 0.0000 0.0123 0.0000 0.0485 0.0231 0.0167
268-AH 0.0000 0.0000 0.0000 0.0000 0.0048 0.0006 0.0017 0.0000 0.0048 2.8284 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.0000 0.1346 0.0168 0.0476 0.0000 0.1346 2.8284 0.0000 0.0000 0.0294 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0360 0.0915 0.1835 0.5263 0.1436 0.1697 0.1475 0.5263 1.1818 0.0134 0.0000 0.1157 0.0000 0.1860 0.0889 0.0753
271-AH 0.0000 0.0629 0.2599 0.3219 0.5667 0.2320 0.1903 0.2589 0.5667 0.8200 0.0217 0.0000 0.1425 0.0000 0.5667 0.2320 0.1903
272-AH 0.0000 0.0116 0.0435 0.2002 0.3125 0.1029 0.1302 0.1886 0.3125 1.2655 0.0089 0.0000 0.1024 0.0000 0.3125 0.1029 0.1302
273-AH 0.0000 0.0000 0.0934 0.4296 0.7662 0.2265 0.2882 0.4296 0.7662 1.2724 0.0020 0.0000 0.2365 0.0000 0.7662 0.2265 0.2882
274-AH 0.0000 0.0000 0.0000 0.0000 0.0173 0.0022 0.0061 0.0000 0.0173 2.8284 0.0000 0.0000 0.0038 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.0321 0.1018 0.2052 0.0591 0.0746 0.1018 0.2052 1.2621 0.0010 0.0000 0.0591 0.0000 0.2052 0.0591 0.0746
276-AH 0.0000 0.0000 0.1019 0.2442 0.3644 0.1321 0.1447 0.2442 0.3644 1.0960 0.0044 0.0000 0.1203 0.0000 0.3644 0.1321 0.1447
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0272 0.0034 0.0096 0.0000 0.0272 2.8284 0.0000 0.0000 0.0059 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0021 0.0072 0.0107 0.0698 0.0137 0.0231 0.0086 0.0698 1.6795 0.0019 0.0000 0.0140 0.0000 0.0120 0.0057 0.0047
280-AH 0.0000 0.0000 0.0000 0.0000 0.0381 0.0048 0.0135 0.0000 0.0381 2.8284 0.0000 0.0000 0.0083 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0704 0.2298 0.2830 0.3010 0.1834 0.1263 0.2126 0.3010 0.6885 0.0190 0.0000 0.1028 0.0000 0.3010 0.1834 0.1263
282-AH 0.0000 0.0139 0.0375 0.0522 0.2895 0.0621 0.0942 0.0383 0.2895 1.5181 0.0064 0.0000 0.0568 0.0000 0.0601 0.0296 0.0227
283-AH 0.0000 0.0000 0.0225 0.1308 0.1371 0.0555 0.0660 0.1308 0.1371 1.1893 0.0010 0.0000 0.0581 0.0000 0.1371 0.0555 0.0660
284-AH 0.0000 0.0000 0.0000 0.0749 0.3300 0.0600 0.1210 0.0749 0.3300 2.0184 0.0001 0.0000 0.0899 0.0000 0.1497 0.0214 0.0566
285-AH 0.0000 0.0000 0.0000 0.1460 0.5833 0.1094 0.2034 0.1460 0.5833 1.8585 0.0004 0.0000 0.1368 0.0000 0.1801 0.0417 0.0739
286-AH 0.0000 0.0000 0.0000 0.0000 0.0115 0.0014 0.0041 0.0000 0.0115 2.8284 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0280 0.0943 0.1690 0.3125 0.1119 0.1076 0.1410 0.3125 0.9616 0.0117 0.0000 0.0836 0.0000 0.3125 0.1119 0.1076
288-AH 0.0000 0.0000 0.0000 0.0000 0.0552 0.0069 0.0195 0.0000 0.0552 2.8284 0.0000 0.0000 0.0121 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.2500 0.5850 0.6500 0.2900 0.3146 0.5850 0.6500 1.0847 0.0024 0.0000 0.2900 0.0000 0.6500 0.2900 0.3146
290-AH 0.0000 0.0000 0.0000 0.0354 0.0789 0.0187 0.0347 0.0354 0.0789 1.8552 0.0001 0.0000 0.0281 0.0000 0.0789 0.0187 0.0347
170
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0217 0.2076 0.8077 0.1583 0.2840 0.2076 0.8077 1.7947 0.0013 0.0000 0.2025 0.0000 0.3188 0.0655 0.1175
292-AH 0.0094 0.0194 0.0584 0.3889 0.8000 0.2179 0.2870 0.3695 0.7906 1.3176 0.0765 0.0292 0.2311 0.0094 0.8000 0.2179 0.2870
293-AH 0.0000 0.0000 0.1379 0.4643 0.6047 0.2261 0.2637 0.4643 0.6047 1.1660 0.0021 0.0000 0.2261 0.0000 0.6047 0.2261 0.2637
294-AH 0.0000 0.0000 0.0964 0.2465 0.6667 0.1691 0.2284 0.2465 0.6667 1.3510 0.0046 0.0000 0.1631 0.0000 0.2556 0.0980 0.1170
295-AH 0.0000 0.0000 0.0000 0.0000 0.0499 0.0062 0.0176 0.0000 0.0499 2.8284 0.0000 0.0000 0.0109 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0427 0.2670 0.4359 0.1319 0.1892 0.2670 0.4359 1.4343 0.0014 0.0000 0.1493 0.0000 0.4359 0.1319 0.1892
297-AH 0.0000 0.0000 0.0072 0.0223 0.0571 0.0145 0.0199 0.0223 0.0571 1.3751 0.0005 0.0000 0.0145 0.0000 0.0232 0.0084 0.0108
298-AH 0.0000 0.0000 0.0000 0.0401 0.1148 0.0244 0.0461 0.0401 0.1148 1.8901 0.0001 0.0000 0.0365 0.0000 0.0802 0.0115 0.0303
299-AH 0.0000 0.0000 0.0000 0.0701 0.2545 0.0493 0.0887 0.0701 0.2545 1.7983 0.0003 0.0000 0.0617 0.0000 0.0711 0.0200 0.0342
300-AH 0.0000 0.0000 0.0172 0.0672 0.1562 0.0406 0.0575 0.0672 0.1562 1.4156 0.0008 0.0000 0.0429 0.0000 0.1562 0.0406 0.0575
301-AH 0.0000 0.0000 0.0000 0.0141 0.0745 0.0128 0.0268 0.0141 0.0745 2.0873 0.0001 0.0000 0.0193 0.0000 0.0282 0.0040 0.0107
302-AH 0.0000 0.0000 0.0315 0.1105 0.2791 0.0704 0.1017 0.1105 0.2791 1.4449 0.0026 0.0000 0.0773 0.0000 0.1711 0.0406 0.0614
303-AH 0.0000 0.0000 0.0112 0.0252 0.0610 0.0167 0.0208 0.0252 0.0610 1.2431 0.0012 0.0000 0.0153 0.0000 0.0610 0.0167 0.0208
304-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0230 0.0552 0.0830 0.0299 0.0337 0.0552 0.0830 1.1269 0.0008 0.0000 0.0299 0.0000 0.0830 0.0299 0.0337
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0000 0.0629 0.0079 0.0222 0.0000 0.0629 2.8284 0.0000 0.0000 0.0138 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.2368 0.5833 0.6970 1.0000 0.5043 0.3501 0.4601 1.0000 0.6942 0.0408 0.0000 0.2609 0.0000 1.0000 0.5043 0.3501
309-AH 0.0000 0.0093 0.0274 0.0397 0.0496 0.0253 0.0180 0.0304 0.0496 0.7121 0.0091 0.0001 0.0156 0.0000 0.0496 0.0253 0.0180
310-AH 0.0000 0.0000 0.0000 0.0227 0.0565 0.0127 0.0238 0.0227 0.0565 1.8661 0.0001 0.0000 0.0191 0.0000 0.0565 0.0127 0.0238
311-AH 0.0000 0.0000 0.0569 0.1445 0.2390 0.0802 0.0920 0.1445 0.2390 1.1464 0.0033 0.0000 0.0718 0.0000 0.2390 0.0802 0.0920
312-AH 0.0000 0.0000 0.0000 0.0000 0.3729 0.0466 0.1318 0.0000 0.3729 2.8284 0.0000 0.0000 0.0816 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0263 0.0738 0.1092 0.0387 0.0451 0.0738 0.1092 1.1666 0.0009 0.0000 0.0387 0.0000 0.1092 0.0387 0.0451
315-AH 0.0000 0.0000 0.0000 0.1979 0.4468 0.1053 0.1775 0.1979 0.4468 1.6851 0.0004 0.0000 0.1398 0.0000 0.4468 0.1053 0.1775
316-AH 0.0000 0.0000 0.1125 0.1613 0.1906 0.0923 0.0818 0.1613 0.1906 0.8869 0.0040 0.0000 0.0706 0.0000 0.1906 0.0923 0.0818
317-AH 0.0000 0.0000 0.0000 0.0386 0.1106 0.0235 0.0401 0.0386 0.1106 1.7076 0.0002 0.0000 0.0293 0.0000 0.0537 0.0110 0.0208
318-AH 0.0000 0.0351 0.1064 0.1630 0.1800 0.0986 0.0726 0.1280 0.1800 0.7356 0.0117 0.0000 0.0609 0.0000 0.1800 0.0986 0.0726
319-AH 0.0000 0.0082 0.0474 0.1169 0.1772 0.0653 0.0687 0.1087 0.1772 1.0531 0.0072 0.0000 0.0538 0.0000 0.1772 0.0653 0.0687
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0113 0.0305 0.0437 0.0481 0.0274 0.0189 0.0324 0.0481 0.6918 0.0046 0.0000 0.0149 0.0000 0.0481 0.0274 0.0189
323-AH 0.0000 0.0000 0.0000 0.0202 0.0276 0.0085 0.0119 0.0202 0.0276 1.4067 0.0002 0.0000 0.0106 0.0000 0.0276 0.0085 0.0119
324-AH 0.0000 0.0000 0.0000 0.0000 0.0722 0.0090 0.0255 0.0000 0.0722 2.8284 0.0000 0.0000 0.0158 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0849 0.2739 0.0555 0.0977 0.0849 0.2739 1.7623 0.0003 0.0000 0.0700 0.0000 0.1170 0.0243 0.0454
326-AH 0.0000 0.0192 0.0571 0.0966 0.1429 0.0611 0.0519 0.0774 0.1429 0.8503 0.0079 0.0000 0.0385 0.0000 0.1429 0.0611 0.0519
327-AH 0.0000 0.0000 0.0016 0.0307 0.4286 0.0616 0.1496 0.0307 0.4286 2.4272 0.0005 0.0000 0.0917 0.0000 0.0577 0.0092 0.0214
328-AH 0.0000 0.2429 0.5228 0.5469 0.6129 0.4047 0.2524 0.3041 0.6129 0.6236 0.0353 0.0000 0.2024 0.0000 0.6129 0.4047 0.2524
329-AH 0.0000 0.0594 0.3722 0.5466 0.5833 0.3175 0.2491 0.4872 0.5833 0.7847 0.0269 0.0000 0.2128 0.0000 0.5833 0.3175 0.2491
330-AH 0.0000 0.2342 0.6578 0.6806 0.7069 0.4815 0.3062 0.4464 0.7069 0.6359 0.0401 0.0000 0.2440 0.0000 0.7069 0.4815 0.3062
331-AH 0.0000 0.0904 0.2055 0.2223 0.2791 0.1644 0.1055 0.1319 0.2791 0.6416 0.0179 0.0000 0.0822 0.0000 0.2791 0.1644 0.1055
332-AH 0.0000 0.0968 0.2183 0.2318 0.2692 0.1704 0.1074 0.1350 0.2692 0.6303 0.0184 0.0000 0.0852 0.0000 0.2692 0.1704 0.1074
333-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
334-AH 0.0000 0.0000 0.0124 0.0464 0.0615 0.0224 0.0267 0.0464 0.0615 1.1942 0.0006 0.0000 0.0224 0.0000 0.0615 0.0224 0.0267
335-AH 0.0000 0.0000 0.0064 0.0443 0.0710 0.0216 0.0298 0.0443 0.0710 1.3823 0.0006 0.0000 0.0237 0.0000 0.0710 0.0216 0.0298
336-AH 0.0000 0.0000 0.0000 0.0173 0.0970 0.0164 0.0347 0.0173 0.0970 2.1113 0.0001 0.0000 0.0247 0.0000 0.0346 0.0049 0.0131
337-AH 0.0000 0.2414 0.7250 0.8284 0.8750 0.5581 0.3649 0.5871 0.8750 0.6539 0.0444 0.0000 0.2979 0.0000 0.8750 0.5581 0.3649
338-AH 0.0000 0.0486 0.1207 0.6434 0.8889 0.3143 0.3730 0.5948 0.8889 1.1867 0.0215 0.0000 0.3082 0.0000 0.8889 0.3143 0.3730
339-AH 0.0000 0.0000 0.0480 0.1571 0.2917 0.0877 0.1105 0.1571 0.2917 1.2589 0.0032 0.0000 0.0857 0.0000 0.2917 0.0877 0.1105
340-AH 0.0000 0.0000 0.0357 0.1013 0.1250 0.0499 0.0552 0.1013 0.1250 1.1072 0.0010 0.0000 0.0499 0.0000 0.1250 0.0499 0.0552
171
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0032 0.0352 0.0698 0.1471 0.0454 0.0513 0.0666 0.1471 1.1292 0.0050 0.0000 0.0395 0.0000 0.1471 0.0454 0.0513
342-AH 0.0000 0.2518 0.5324 0.6255 0.7717 0.4489 0.2899 0.3737 0.7717 0.6459 0.0379 0.0000 0.2244 0.0000 0.7717 0.4489 0.2899
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0300 0.2286 0.4713 0.6667 0.2658 0.2493 0.4413 0.6667 0.9380 0.0215 0.0000 0.2032 0.0000 0.6667 0.2658 0.2493
345-AH 0.0000 0.0000 0.0077 0.0388 0.0755 0.0211 0.0301 0.0388 0.0755 1.4277 0.0006 0.0000 0.0234 0.0000 0.0755 0.0211 0.0301
346-AH 0.0000 0.0234 0.0510 0.0580 0.0750 0.0425 0.0276 0.0346 0.0750 0.6493 0.0065 0.0000 0.0212 0.0000 0.0750 0.0425 0.0276
347-AH 0.0000 0.0000 0.0038 0.0189 0.0242 0.0087 0.0106 0.0189 0.0242 1.2153 0.0004 0.0000 0.0090 0.0000 0.0242 0.0087 0.0106
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0321 0.1950 0.2685 0.3220 0.1641 0.1277 0.2364 0.3220 0.7777 0.0165 0.0000 0.1071 0.0000 0.3220 0.1641 0.1277
350-AH 0.0000 0.0755 0.3289 0.5385 0.6364 0.3153 0.2639 0.4630 0.6364 0.8370 0.0262 0.0000 0.2381 0.0000 0.6364 0.3153 0.2639
172
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0000 0.2500 0.7292 1.0000 1.0000 0.6198 0.4281 0.7500 1.0000 0.6907 0.0474 0.0000 0.3490 0.0000 1.0000 0.6198 0.4281
143-AH 0.0000 0.0000 0.0447 0.3860 0.8205 0.2102 0.3223 0.3860 0.8205 1.5329 0.0017 0.0000 0.2528 0.0000 0.8205 0.2102 0.3223
144-AH 0.0000 0.0000 0.0211 0.0912 0.1500 0.0468 0.0582 0.0912 0.1500 1.2418 0.0009 0.0000 0.0480 0.0000 0.1500 0.0468 0.0582
145-AH 0.0000 0.0000 0.0000 0.1023 0.4559 0.0826 0.1601 0.1023 0.4559 1.9387 0.0004 0.0000 0.1109 0.0000 0.1527 0.0292 0.0578
146-AH 0.0000 0.0000 0.0032 0.0411 0.0800 0.0211 0.0324 0.0411 0.0800 1.5374 0.0010 0.0000 0.0256 0.0000 0.0800 0.0211 0.0324
147-AH 0.0000 0.0000 0.0351 0.1762 0.2950 0.0897 0.1262 0.1762 0.2950 1.4072 0.0012 0.0000 0.0991 0.0000 0.2950 0.0897 0.1262
148-AH 0.0000 0.0000 0.0028 0.0221 0.0307 0.0101 0.0130 0.0221 0.0307 1.2946 0.0004 0.0000 0.0112 0.0000 0.0307 0.0101 0.0130
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0090 0.0579 0.0976 0.0289 0.0379 0.0579 0.0976 1.3094 0.0007 0.0000 0.0317 0.0000 0.0976 0.0289 0.0379
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0201 0.0685 0.0136 0.0240 0.0201 0.0685 1.7665 0.0002 0.0000 0.0170 0.0000 0.0226 0.0057 0.0099
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0000 0.0210 0.0307 0.0425 0.0182 0.0170 0.0307 0.0425 0.9324 0.0014 0.0000 0.0137 0.0000 0.0425 0.0182 0.0170
155-AH 0.0000 0.0000 0.0092 0.0817 0.1765 0.0448 0.0652 0.0817 0.1765 1.4551 0.0008 0.0000 0.0514 0.0000 0.1765 0.0448 0.0652
156-AH 0.0000 0.0000 0.0090 0.0203 0.0328 0.0114 0.0130 0.0203 0.0328 1.1383 0.0005 0.0000 0.0114 0.0000 0.0328 0.0114 0.0130
157-AH 0.0000 0.0569 0.2034 0.2813 0.3257 0.1761 0.1273 0.2244 0.3257 0.7232 0.0182 0.0000 0.1036 0.0000 0.3257 0.1761 0.1273
158-AH 0.0000 0.0000 0.0401 0.0578 0.2979 0.0617 0.0987 0.0578 0.2979 1.5997 0.0025 0.0000 0.0590 0.0000 0.0603 0.0280 0.0274
159-AH 0.0000 0.0000 0.0000 0.0251 0.0858 0.0170 0.0329 0.0251 0.0858 1.9338 0.0001 0.0000 0.0255 0.0000 0.0503 0.0072 0.0190
160-AH 0.0000 0.0000 0.0000 0.0477 0.0571 0.0191 0.0265 0.0477 0.0571 1.3900 0.0002 0.0000 0.0238 0.0000 0.0571 0.0191 0.0265
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0000 0.0560 0.2484 0.4109 0.5104 0.2426 0.2034 0.3549 0.5104 0.8383 0.0219 0.0000 0.1680 0.0000 0.5104 0.2426 0.2034
164-AH 0.0000 0.0000 0.0000 0.0000 0.1063 0.0133 0.0376 0.0000 0.1063 2.8284 0.0000 0.0000 0.0232 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0061 0.0167 0.0758 0.1379 0.0419 0.0583 0.0696 0.1379 1.3927 0.0043 0.0000 0.0469 0.0000 0.1379 0.0419 0.0583
168-AH 0.0000 0.0000 0.0000 0.1533 0.3488 0.0819 0.1282 0.1533 0.3488 1.5649 0.0004 0.0000 0.1024 0.0000 0.3488 0.0819 0.1282
169-AH 0.0000 0.0000 0.0042 0.0166 0.0625 0.0130 0.0216 0.0166 0.0625 1.6636 0.0004 0.0000 0.0151 0.0000 0.0239 0.0059 0.0090
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0000 0.0000 0.0000 0.0216 0.0360 0.0099 0.0144 0.0216 0.0360 1.4510 0.0002 0.0000 0.0124 0.0000 0.0360 0.0099 0.0144
172-AH 0.0000 0.0000 0.0115 0.0436 0.0632 0.0217 0.0255 0.0436 0.0632 1.1744 0.0014 0.0000 0.0213 0.0000 0.0632 0.0217 0.0255
173-AH 0.0351 0.5286 1.0000 1.0000 1.0000 0.7615 0.4416 0.4714 0.9649 0.5799 0.4600 0.1538 0.3577 0.0351 1.0000 0.7615 0.4416
174-AH 0.0000 0.5110 1.0000 1.0000 1.0000 0.7527 0.4579 0.4890 1.0000 0.6083 0.1471 0.0001 0.3709 0.0000 1.0000 0.7527 0.4579
175-AH 0.0000 0.1071 0.3179 0.4183 0.5455 0.2790 0.2011 0.3111 0.5455 0.7206 0.0258 0.0000 0.1602 0.0000 0.5455 0.2790 0.2011
176-AH 0.0000 0.0769 0.3872 0.6897 0.8462 0.3942 0.3317 0.6128 0.8462 0.8414 0.0310 0.0000 0.2852 0.0000 0.8462 0.3942 0.3317
177-AH 0.0000 0.0228 0.0511 0.1165 0.1803 0.0701 0.0628 0.0937 0.1803 0.8961 0.0086 0.0000 0.0507 0.0000 0.1803 0.0701 0.0628
178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0092 0.0396 0.1875 0.0356 0.0647 0.0396 0.1875 1.8146 0.0007 0.0000 0.0439 0.0000 0.0594 0.0139 0.0220
180-AH 0.0000 0.0000 0.0346 0.2863 0.5424 0.1480 0.2050 0.2863 0.5424 1.3852 0.0015 0.0000 0.1677 0.0000 0.5424 0.1480 0.2050
181-AH 0.0000 0.1761 0.6278 0.7106 0.7708 0.4750 0.3195 0.5345 0.7708 0.6727 0.0390 0.0000 0.2682 0.0000 0.7708 0.4750 0.3195
182-AH 0.0000 0.0000 0.0402 0.0825 0.1600 0.0507 0.0576 0.0825 0.1600 1.1357 0.0024 0.0000 0.0470 0.0000 0.1600 0.0507 0.0576
183-AH 0.0000 0.0690 0.2967 0.3205 0.3636 0.2170 0.1496 0.2515 0.3636 0.6893 0.0215 0.0000 0.1283 0.0000 0.3636 0.2170 0.1496
184-AH 0.0000 0.0000 0.0000 0.0044 0.0559 0.0081 0.0196 0.0044 0.0559 2.4223 0.0001 0.0000 0.0121 0.0000 0.0087 0.0012 0.0033
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.3333 0.8175 0.9375 1.0000 0.6471 0.4141 0.6042 1.0000 0.6399 0.0500 0.0000 0.3235 0.0000 1.0000 0.6471 0.4141
190-AH 0.0000 0.0000 0.0000 0.0000 0.0175 0.0022 0.0062 0.0000 0.0175 2.8284 0.0000 0.0000 0.0038 0.0000 0.0000 0.0000 0.0000
173
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0031 0.0102 0.0733 0.5000 0.0842 0.1733 0.0702 0.5000 2.0596 0.0040 0.0000 0.1148 0.0000 0.1277 0.0247 0.0459
193-AH 0.0000 0.0385 0.1428 0.2750 0.6000 0.1891 0.2005 0.2365 0.6000 1.0606 0.0166 0.0000 0.1502 0.0000 0.6000 0.1891 0.2005
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.1587 0.7517 0.9282 0.9524 0.5787 0.4134 0.7694 0.9524 0.7144 0.0442 0.0000 0.3547 0.0000 0.9524 0.5787 0.4134
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0000 0.2105 0.4618 0.5167 0.5714 0.3687 0.2323 0.3061 0.5714 0.6300 0.0329 0.0000 0.1843 0.0000 0.5714 0.3687 0.2323
200-AH 0.0000 0.0054 0.0253 0.1892 0.3333 0.0966 0.1432 0.1838 0.3333 1.4825 0.0067 0.0000 0.1150 0.0000 0.3333 0.0966 0.1432
251-AH 0.0000 0.0000 0.0401 0.0817 0.1008 0.0431 0.0465 0.0817 0.1008 1.0794 0.0009 0.0000 0.0431 0.0000 0.1008 0.0431 0.0465
252-AH 0.0000 0.0000 0.0000 0.0810 0.1832 0.0432 0.0738 0.0810 0.1832 1.7091 0.0003 0.0000 0.0585 0.0000 0.1832 0.0432 0.0738
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0000 0.0064 0.0164 0.0816 0.0159 0.0274 0.0164 0.0816 1.7256 0.0010 0.0000 0.0170 0.0000 0.0183 0.0065 0.0074
256-AH 0.0000 0.2231 0.5768 0.6829 0.7368 0.4628 0.3014 0.4598 0.7368 0.6512 0.0387 0.0000 0.2356 0.0000 0.7368 0.4628 0.3014
257-AH 0.0000 0.0000 0.0000 0.0339 0.0850 0.0191 0.0357 0.0339 0.0850 1.8672 0.0001 0.0000 0.0287 0.0000 0.0678 0.0097 0.0256
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.0136 0.0017 0.0048 0.0000 0.0136 2.8284 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.0773 0.2493 0.3566 0.1262 0.1488 0.2493 0.3566 1.1791 0.0015 0.0000 0.1262 0.0000 0.3566 0.1262 0.1488
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0216 0.0712 0.0143 0.0275 0.0216 0.0712 1.9244 0.0001 0.0000 0.0214 0.0000 0.0431 0.0062 0.0163
264-AH 0.0000 0.0151 0.0725 0.1105 0.1463 0.0678 0.0555 0.0954 0.1463 0.8187 0.0085 0.0000 0.0462 0.0000 0.1463 0.0678 0.0555
265-AH 0.0000 0.0109 0.0581 0.1311 0.1875 0.0735 0.0750 0.1201 0.1875 1.0215 0.0082 0.0000 0.0573 0.0000 0.1875 0.0735 0.0750
266-AH 0.0000 0.0000 0.0000 0.1141 0.1739 0.0503 0.0741 0.1141 0.1739 1.4735 0.0003 0.0000 0.0628 0.0000 0.1739 0.0503 0.0741
267-AH 0.0000 0.0000 0.0199 0.0268 0.0353 0.0161 0.0143 0.0268 0.0353 0.8887 0.0013 0.0000 0.0121 0.0000 0.0353 0.0161 0.0143
268-AH 0.0000 0.0000 0.0000 0.0000 0.0048 0.0006 0.0017 0.0000 0.0048 2.8284 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.0000 0.0792 0.0099 0.0280 0.0000 0.0792 2.8284 0.0000 0.0000 0.0173 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0301 0.1098 0.4107 0.0863 0.1402 0.1098 0.4107 1.6250 0.0011 0.0000 0.0928 0.0000 0.1304 0.0400 0.0539
271-AH 0.0000 0.0398 0.1209 0.2013 0.2857 0.1262 0.1021 0.1614 0.2857 0.8086 0.0137 0.0000 0.0832 0.0000 0.2857 0.1262 0.1021
272-AH 0.0000 0.0080 0.0242 0.1193 0.1967 0.0625 0.0773 0.1112 0.1967 1.2379 0.0062 0.0000 0.0620 0.0000 0.1967 0.0625 0.0773
273-AH 0.0000 0.0000 0.0340 0.3163 0.5354 0.1545 0.2088 0.3163 0.5354 1.3516 0.0016 0.0000 0.1761 0.0000 0.5354 0.1545 0.2088
274-AH 0.0000 0.0000 0.0000 0.0000 0.0173 0.0022 0.0061 0.0000 0.0173 2.8284 0.0000 0.0000 0.0038 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.0000 0.0672 0.1755 0.0387 0.0633 0.0672 0.1755 1.6332 0.0003 0.0000 0.0484 0.0000 0.0771 0.0192 0.0333
276-AH 0.0000 0.0000 0.0461 0.1648 0.2775 0.0874 0.1123 0.1648 0.2775 1.2848 0.0012 0.0000 0.0874 0.0000 0.2775 0.0874 0.1123
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0215 0.0027 0.0076 0.0000 0.0215 2.8284 0.0000 0.0000 0.0047 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0000 0.0000 0.0206 0.0026 0.0073 0.0000 0.0206 2.8284 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0413 0.1764 0.2427 0.2833 0.1505 0.1111 0.2014 0.2833 0.7380 0.0160 0.0000 0.0922 0.0000 0.2833 0.1505 0.1111
282-AH 0.0000 0.0000 0.0135 0.0479 0.1497 0.0341 0.0516 0.0479 0.1497 1.5136 0.0007 0.0000 0.0358 0.0000 0.0570 0.0175 0.0236
283-AH 0.0000 0.0000 0.0000 0.0665 0.0954 0.0285 0.0431 0.0665 0.0954 1.5102 0.0003 0.0000 0.0357 0.0000 0.0954 0.0285 0.0431
284-AH 0.0000 0.0000 0.0000 0.0625 0.3300 0.0569 0.1187 0.0625 0.3300 2.0872 0.0001 0.0000 0.0853 0.0000 0.1250 0.0179 0.0472
285-AH 0.0000 0.0000 0.0000 0.0812 0.4872 0.0812 0.1681 0.0812 0.4872 2.0701 0.0004 0.0000 0.1021 0.0000 0.0836 0.0232 0.0397
286-AH 0.0000 0.0000 0.0000 0.0000 0.0115 0.0014 0.0041 0.0000 0.0115 2.8284 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0205 0.0647 0.2484 0.0523 0.0849 0.0647 0.2484 1.6215 0.0009 0.0000 0.0563 0.0000 0.0815 0.0243 0.0328
288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.2500 0.5278 0.6000 0.2694 0.2898 0.5278 0.6000 1.0755 0.0023 0.0000 0.2694 0.0000 0.6000 0.2694 0.2898
290-AH 0.0000 0.0000 0.0000 0.0000 0.0647 0.0081 0.0229 0.0000 0.0647 2.8284 0.0000 0.0000 0.0142 0.0000 0.0000 0.0000 0.0000
174
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0167 0.0965 0.5106 0.0922 0.1764 0.0965 0.5106 1.9146 0.0010 0.0000 0.1186 0.0000 0.1481 0.0324 0.0544
292-AH 0.0094 0.0134 0.0584 0.3889 0.8000 0.2164 0.2882 0.3755 0.7906 1.3322 0.0707 0.0258 0.2322 0.0094 0.8000 0.2164 0.2882
293-AH 0.0000 0.0000 0.0402 0.3370 0.5490 0.1629 0.2246 0.3370 0.5490 1.3783 0.0016 0.0000 0.1836 0.0000 0.5490 0.1629 0.2246
294-AH 0.0000 0.0000 0.0729 0.2111 0.6667 0.1543 0.2275 0.2111 0.6667 1.4740 0.0041 0.0000 0.1565 0.0000 0.2556 0.0811 0.1018
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.1750 0.4167 0.0958 0.1783 0.1750 0.4167 1.8610 0.0001 0.0000 0.1437 0.0000 0.4167 0.0958 0.1783
297-AH 0.0000 0.0000 0.0072 0.0177 0.0571 0.0134 0.0195 0.0177 0.0571 1.4618 0.0005 0.0000 0.0134 0.0000 0.0178 0.0071 0.0089
298-AH 0.0000 0.0000 0.0000 0.0338 0.0886 0.0195 0.0366 0.0338 0.0886 1.8738 0.0001 0.0000 0.0293 0.0000 0.0676 0.0097 0.0255
299-AH 0.0000 0.0000 0.0000 0.0000 0.2168 0.0271 0.0766 0.0000 0.2168 2.8284 0.0000 0.0000 0.0474 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0000 0.0626 0.1446 0.0337 0.0550 0.0626 0.1446 1.6311 0.0003 0.0000 0.0422 0.0000 0.1446 0.0337 0.0550
301-AH 0.0000 0.0000 0.0000 0.0141 0.0644 0.0116 0.0235 0.0141 0.0644 2.0311 0.0001 0.0000 0.0174 0.0000 0.0282 0.0040 0.0107
302-AH 0.0000 0.0000 0.0000 0.0480 0.2239 0.0400 0.0774 0.0480 0.2239 1.9366 0.0003 0.0000 0.0500 0.0000 0.0500 0.0137 0.0234
303-AH 0.0000 0.0000 0.0000 0.0077 0.0264 0.0052 0.0101 0.0077 0.0264 1.9367 0.0001 0.0000 0.0078 0.0000 0.0153 0.0022 0.0058
304-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0258 0.0781 0.0162 0.0309 0.0258 0.0781 1.9024 0.0001 0.0000 0.0243 0.0000 0.0517 0.0074 0.0195
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.0918 0.2421 0.4393 0.4737 0.2525 0.1899 0.3474 0.4737 0.7520 0.0236 0.0000 0.1517 0.0000 0.4737 0.2525 0.1899
309-AH 0.0000 0.0000 0.0049 0.0249 0.0386 0.0123 0.0167 0.0249 0.0386 1.3603 0.0005 0.0000 0.0130 0.0000 0.0386 0.0123 0.0167
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0963 0.1512 0.0430 0.0657 0.0963 0.1512 1.5276 0.0003 0.0000 0.0537 0.0000 0.1512 0.0430 0.0657
312-AH 0.0000 0.0000 0.0000 0.0000 0.3171 0.0396 0.1121 0.0000 0.3171 2.8284 0.0000 0.0000 0.0694 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0150 0.0532 0.0769 0.0267 0.0330 0.0532 0.0769 1.2373 0.0007 0.0000 0.0267 0.0000 0.0769 0.0267 0.0330
315-AH 0.0000 0.0000 0.0000 0.0525 0.0565 0.0202 0.0279 0.0525 0.0565 1.3816 0.0003 0.0000 0.0252 0.0000 0.0565 0.0202 0.0279
316-AH 0.0000 0.0000 0.0541 0.1434 0.1583 0.0692 0.0754 0.1434 0.1583 1.0901 0.0012 0.0000 0.0692 0.0000 0.1583 0.0692 0.0754
317-AH 0.0000 0.0000 0.0000 0.0000 0.0627 0.0078 0.0222 0.0000 0.0627 2.8284 0.0000 0.0000 0.0137 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0159 0.0633 0.1274 0.1800 0.0741 0.0700 0.1115 0.1800 0.9448 0.0087 0.0000 0.0531 0.0000 0.1800 0.0741 0.0700
319-AH 0.0000 0.0000 0.0000 0.0000 0.0191 0.0024 0.0067 0.0000 0.0191 2.8284 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0077 0.0222 0.0242 0.0307 0.0174 0.0115 0.0166 0.0307 0.6629 0.0033 0.0000 0.0092 0.0000 0.0307 0.0174 0.0115
323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0496 0.1369 0.0295 0.0556 0.0496 0.1369 1.8828 0.0001 0.0000 0.0443 0.0000 0.0992 0.0142 0.0375
326-AH 0.0000 0.0000 0.0021 0.0060 0.0071 0.0029 0.0032 0.0060 0.0071 1.1052 0.0002 0.0000 0.0029 0.0000 0.0071 0.0029 0.0032
327-AH 0.0000 0.0000 0.0000 0.0112 0.2105 0.0291 0.0737 0.0112 0.2105 2.5325 0.0001 0.0000 0.0454 0.0000 0.0223 0.0032 0.0084
328-AH 0.0000 0.1759 0.4000 0.4893 0.6129 0.3429 0.2264 0.3134 0.6129 0.6601 0.0309 0.0000 0.1715 0.0000 0.6129 0.3429 0.2264
329-AH 0.0000 0.0149 0.1032 0.2641 0.5833 0.1685 0.2025 0.2492 0.5833 1.2018 0.0136 0.0000 0.1515 0.0000 0.5833 0.1685 0.2025
330-AH 0.0000 0.2143 0.6290 0.6678 0.7069 0.4661 0.2998 0.4535 0.7069 0.6432 0.0390 0.0000 0.2425 0.0000 0.7069 0.4661 0.2998
331-AH 0.0000 0.0886 0.1867 0.2016 0.2154 0.1462 0.0911 0.1130 0.2154 0.6230 0.0165 0.0000 0.0731 0.0000 0.2154 0.1462 0.0911
332-AH 0.0000 0.0921 0.1892 0.2301 0.2692 0.1615 0.1038 0.1380 0.2692 0.6430 0.0176 0.0000 0.0807 0.0000 0.2692 0.1615 0.1038
333-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
334-AH 0.0000 0.0000 0.0124 0.0464 0.0615 0.0224 0.0267 0.0464 0.0615 1.1942 0.0006 0.0000 0.0224 0.0000 0.0615 0.0224 0.0267
335-AH 0.0000 0.0000 0.0000 0.0404 0.0653 0.0183 0.0285 0.0404 0.0653 1.5637 0.0002 0.0000 0.0228 0.0000 0.0653 0.0183 0.0285
336-AH 0.0000 0.0000 0.0000 0.0099 0.0693 0.0111 0.0245 0.0099 0.0693 2.2016 0.0001 0.0000 0.0167 0.0000 0.0197 0.0028 0.0075
337-AH 0.0000 0.1569 0.5323 0.6957 0.7619 0.4414 0.3058 0.5388 0.7619 0.6927 0.0367 0.0000 0.2526 0.0000 0.7619 0.4414 0.3058
338-AH 0.0000 0.0186 0.0583 0.3547 0.8889 0.2190 0.3297 0.3361 0.8889 1.5054 0.0130 0.0000 0.2556 0.0000 0.5714 0.1233 0.2033
339-AH 0.0000 0.0000 0.0093 0.1173 0.2576 0.0638 0.0977 0.1173 0.2576 1.5306 0.0009 0.0000 0.0752 0.0000 0.2576 0.0638 0.0977
340-AH 0.0000 0.0000 0.0357 0.1013 0.1250 0.0499 0.0552 0.1013 0.1250 1.1072 0.0010 0.0000 0.0499 0.0000 0.1250 0.0499 0.0552
175
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0032 0.0352 0.0698 0.1471 0.0454 0.0513 0.0666 0.1471 1.1292 0.0050 0.0000 0.0395 0.0000 0.1471 0.0454 0.0513
342-AH 0.0000 0.1064 0.4257 0.5917 0.7080 0.3694 0.2746 0.4853 0.7080 0.7432 0.0314 0.0000 0.2239 0.0000 0.7080 0.3694 0.2746
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0241 0.1601 0.3907 0.5400 0.2112 0.2099 0.3666 0.5400 0.9938 0.0171 0.0000 0.1805 0.0000 0.5400 0.2112 0.2099
345-AH 0.0000 0.0000 0.0000 0.0274 0.0755 0.0163 0.0307 0.0274 0.0755 1.8822 0.0001 0.0000 0.0244 0.0000 0.0549 0.0078 0.0207
346-AH 0.0000 0.0137 0.0331 0.0475 0.0750 0.0329 0.0251 0.0338 0.0750 0.7605 0.0052 0.0000 0.0179 0.0000 0.0750 0.0329 0.0251
347-AH 0.0000 0.0000 0.0000 0.0167 0.0242 0.0072 0.0102 0.0167 0.0242 1.4221 0.0002 0.0000 0.0090 0.0000 0.0242 0.0072 0.0102
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0145 0.1706 0.2179 0.2391 0.1306 0.1033 0.2034 0.2391 0.7909 0.0133 0.0000 0.0907 0.0000 0.2391 0.1306 0.1033
350-AH 0.0000 0.0755 0.1579 0.2609 0.3478 0.1670 0.1318 0.1854 0.3478 0.7892 0.0173 0.0000 0.0921 0.0000 0.3478 0.1670 0.1318
176
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0000 0.0170 0.2374 0.7857 1.0000 0.3850 0.4287 0.7687 1.0000 1.1133 0.0230 0.0000 0.3541 0.0000 1.0000 0.3850 0.4287
143-AH 0.0000 0.0000 0.0207 0.2667 0.5538 0.1411 0.2355 0.2667 0.5538 1.6690 0.0012 0.0000 0.1895 0.0000 0.5538 0.1411 0.2355
144-AH 0.0000 0.0000 0.0211 0.0912 0.1500 0.0468 0.0582 0.0912 0.1500 1.2418 0.0009 0.0000 0.0480 0.0000 0.1500 0.0468 0.0582
145-AH 0.0000 0.0000 0.0000 0.0416 0.1636 0.0308 0.0610 0.0416 0.1636 1.9785 0.0001 0.0000 0.0463 0.0000 0.0831 0.0119 0.0314
146-AH 0.0000 0.0000 0.0032 0.0411 0.0800 0.0211 0.0324 0.0411 0.0800 1.5374 0.0010 0.0000 0.0256 0.0000 0.0800 0.0211 0.0324
147-AH 0.0000 0.0000 0.0272 0.1272 0.2584 0.0709 0.1008 0.1272 0.2584 1.4210 0.0011 0.0000 0.0779 0.0000 0.2584 0.0709 0.1008
148-AH 0.0000 0.0000 0.0000 0.0139 0.0201 0.0060 0.0088 0.0139 0.0201 1.4675 0.0002 0.0000 0.0075 0.0000 0.0201 0.0060 0.0088
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0061 0.0428 0.0947 0.0241 0.0366 0.0428 0.0947 1.5226 0.0006 0.0000 0.0286 0.0000 0.0947 0.0241 0.0366
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0078 0.0685 0.0105 0.0241 0.0078 0.0685 2.2879 0.0001 0.0000 0.0158 0.0000 0.0156 0.0022 0.0059
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0000 0.0000 0.0099 0.0306 0.0063 0.0120 0.0099 0.0306 1.9078 0.0001 0.0000 0.0094 0.0000 0.0198 0.0028 0.0075
155-AH 0.0000 0.0000 0.0092 0.0817 0.1765 0.0448 0.0652 0.0817 0.1765 1.4551 0.0008 0.0000 0.0514 0.0000 0.1765 0.0448 0.0652
156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
157-AH 0.0000 0.0000 0.0746 0.1591 0.2264 0.0867 0.0957 0.1591 0.2264 1.1035 0.0013 0.0000 0.0867 0.0000 0.2264 0.0867 0.0957
158-AH 0.0000 0.0000 0.0000 0.0208 0.0563 0.0122 0.0230 0.0208 0.0563 1.8793 0.0001 0.0000 0.0183 0.0000 0.0416 0.0059 0.0157
159-AH 0.0000 0.0000 0.0000 0.0000 0.0504 0.0063 0.0178 0.0000 0.0504 2.8284 0.0000 0.0000 0.0110 0.0000 0.0000 0.0000 0.0000
160-AH 0.0000 0.0000 0.0000 0.0477 0.0571 0.0191 0.0265 0.0477 0.0571 1.3900 0.0002 0.0000 0.0238 0.0000 0.0571 0.0191 0.0265
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0000 0.0000 0.0000 0.2117 0.3514 0.0969 0.1492 0.2117 0.3514 1.5403 0.0004 0.0000 0.1211 0.0000 0.3514 0.0969 0.1492
164-AH 0.0000 0.0000 0.0000 0.0000 0.0929 0.0116 0.0329 0.0000 0.0929 2.8284 0.0000 0.0000 0.0203 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.0072 0.0160 0.0038 0.0059 0.0072 0.0160 1.5662 0.0001 0.0000 0.0047 0.0000 0.0160 0.0038 0.0059
168-AH 0.0000 0.0000 0.0000 0.0380 0.2394 0.0394 0.0826 0.0380 0.2394 2.0959 0.0003 0.0000 0.0503 0.0000 0.0408 0.0109 0.0186
169-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0000 0.0000 0.0000 0.0000 0.0257 0.0032 0.0091 0.0000 0.0257 2.8284 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
172-AH 0.0000 0.0000 0.0000 0.0137 0.0290 0.0070 0.0114 0.0137 0.0290 1.6162 0.0002 0.0000 0.0088 0.0000 0.0290 0.0070 0.0114
173-AH 0.0351 0.5286 1.0000 1.0000 1.0000 0.7615 0.4416 0.4714 0.9649 0.5799 0.4600 0.1538 0.3577 0.0351 1.0000 0.7615 0.4416
174-AH 0.0000 0.5110 1.0000 1.0000 1.0000 0.7527 0.4579 0.4890 1.0000 0.6083 0.1471 0.0001 0.3709 0.0000 1.0000 0.7527 0.4579
175-AH 0.0000 0.0000 0.0165 0.0531 0.2414 0.0476 0.0819 0.0531 0.2414 1.7220 0.0008 0.0000 0.0515 0.0000 0.0598 0.0199 0.0260
176-AH 0.0000 0.0650 0.2928 0.6387 0.7500 0.3429 0.3039 0.5737 0.7500 0.8863 0.0274 0.0000 0.2558 0.0000 0.7500 0.3429 0.3039
177-AH 0.0000 0.0204 0.0455 0.0817 0.1304 0.0532 0.0469 0.0613 0.1304 0.8806 0.0071 0.0000 0.0340 0.0000 0.1304 0.0532 0.0469
178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0000 0.0260 0.1639 0.0270 0.0582 0.0260 0.1639 2.1584 0.0001 0.0000 0.0405 0.0000 0.0519 0.0074 0.0196
180-AH 0.0000 0.0000 0.0252 0.1841 0.5143 0.1166 0.1798 0.1841 0.5143 1.5422 0.0013 0.0000 0.1332 0.0000 0.1967 0.0598 0.0872
181-AH 0.0000 0.1269 0.4598 0.6085 0.6917 0.3853 0.2733 0.4816 0.6917 0.7095 0.0329 0.0000 0.2255 0.0000 0.6917 0.3853 0.2733
182-AH 0.0000 0.0000 0.0402 0.0825 0.1600 0.0507 0.0576 0.0825 0.1600 1.1357 0.0024 0.0000 0.0470 0.0000 0.1600 0.0507 0.0576
183-AH 0.0000 0.0690 0.2967 0.3205 0.3636 0.2170 0.1496 0.2515 0.3636 0.6893 0.0215 0.0000 0.1283 0.0000 0.3636 0.2170 0.1496
184-AH 0.0000 0.0000 0.0000 0.0000 0.0134 0.0017 0.0047 0.0000 0.0134 2.8284 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.2188 0.6000 0.7778 0.8750 0.5085 0.3461 0.5590 0.8750 0.6805 0.0411 0.0000 0.2741 0.0000 0.8750 0.5085 0.3461
190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
177
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0000 0.0638 0.5000 0.0785 0.1761 0.0638 0.5000 2.2444 0.0001 0.0000 0.1177 0.0000 0.1277 0.0182 0.0483
193-AH 0.0000 0.0089 0.0555 0.0717 0.1186 0.0489 0.0413 0.0628 0.1186 0.8454 0.0065 0.0000 0.0324 0.0000 0.1186 0.0489 0.0413
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.1217 0.6018 0.9214 0.9245 0.5268 0.4038 0.7998 0.9245 0.7666 0.0401 0.0000 0.3436 0.0000 0.9245 0.5268 0.4038
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0000 0.0957 0.3667 0.4500 0.4737 0.2873 0.1988 0.3543 0.4737 0.6921 0.0265 0.0000 0.1676 0.0000 0.4737 0.2873 0.1988
200-AH 0.0000 0.0000 0.0000 0.0168 0.0307 0.0080 0.0126 0.0168 0.0307 1.5619 0.0002 0.0000 0.0101 0.0000 0.0307 0.0080 0.0126
251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
252-AH 0.0000 0.0000 0.0000 0.0504 0.1598 0.0326 0.0623 0.0504 0.1598 1.9139 0.0001 0.0000 0.0488 0.0000 0.1007 0.0144 0.0381
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0000 0.0064 0.0164 0.0816 0.0159 0.0274 0.0164 0.0816 1.7256 0.0010 0.0000 0.0170 0.0000 0.0183 0.0065 0.0074
256-AH 0.0000 0.0348 0.2937 0.5537 0.5741 0.2923 0.2500 0.5190 0.5741 0.8553 0.0239 0.0000 0.2064 0.0000 0.5741 0.2923 0.2500
257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.0136 0.0017 0.0048 0.0000 0.0136 2.8284 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.0353 0.1281 0.3016 0.0786 0.1108 0.1281 0.3016 1.4101 0.0011 0.0000 0.0824 0.0000 0.3016 0.0786 0.1108
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.0000 0.0322 0.0669 0.0164 0.0304 0.0322 0.0669 1.8521 0.0001 0.0000 0.0246 0.0000 0.0669 0.0164 0.0304
265-AH 0.0000 0.0000 0.0132 0.0882 0.1875 0.0488 0.0689 0.0882 0.1875 1.4130 0.0020 0.0000 0.0544 0.0000 0.1875 0.0488 0.0689
266-AH 0.0000 0.0000 0.0000 0.1141 0.1739 0.0503 0.0741 0.1141 0.1739 1.4735 0.0003 0.0000 0.0628 0.0000 0.1739 0.0503 0.0741
267-AH 0.0000 0.0000 0.0000 0.0126 0.0271 0.0065 0.0121 0.0126 0.0271 1.8534 0.0001 0.0000 0.0098 0.0000 0.0271 0.0065 0.0121
268-AH 0.0000 0.0000 0.0000 0.0000 0.0048 0.0006 0.0017 0.0000 0.0048 2.8284 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0000 0.0543 0.1635 0.0340 0.0647 0.0543 0.1635 1.9013 0.0001 0.0000 0.0510 0.0000 0.1086 0.0155 0.0410
271-AH 0.0000 0.0160 0.0525 0.1472 0.2095 0.0801 0.0783 0.1312 0.2095 0.9777 0.0089 0.0000 0.0659 0.0000 0.2095 0.0801 0.0783
272-AH 0.0000 0.0000 0.0000 0.0000 0.0273 0.0034 0.0097 0.0000 0.0273 2.8284 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
273-AH 0.0000 0.0000 0.0000 0.2305 0.2788 0.0925 0.1293 0.2305 0.2788 1.3984 0.0004 0.0000 0.1156 0.0000 0.2788 0.0925 0.1293
274-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
276-AH 0.0000 0.0000 0.0344 0.0952 0.1770 0.0545 0.0668 0.0952 0.1770 1.2258 0.0010 0.0000 0.0545 0.0000 0.1770 0.0545 0.0668
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0000 0.0000 0.0206 0.0026 0.0073 0.0000 0.0206 2.8284 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0345 0.1144 0.1735 0.1872 0.1040 0.0755 0.1389 0.1872 0.7263 0.0122 0.0000 0.0607 0.0000 0.1872 0.1040 0.0755
282-AH 0.0000 0.0000 0.0000 0.0254 0.0536 0.0130 0.0242 0.0254 0.0536 1.8526 0.0001 0.0000 0.0196 0.0000 0.0536 0.0130 0.0242
283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
284-AH 0.0000 0.0000 0.0000 0.0417 0.3077 0.0489 0.1086 0.0417 0.3077 2.2212 0.0001 0.0000 0.0733 0.0000 0.0833 0.0119 0.0315
285-AH 0.0000 0.0000 0.0000 0.0000 0.3150 0.0394 0.1114 0.0000 0.3150 2.8284 0.0000 0.0000 0.0689 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0000 0.0000 0.1163 0.0145 0.0411 0.0000 0.1163 2.8284 0.0000 0.0000 0.0254 0.0000 0.0000 0.0000 0.0000
288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0924 0.5076 0.5312 0.2164 0.2555 0.5076 0.5312 1.1809 0.0020 0.0000 0.2243 0.0000 0.5312 0.2164 0.2555
290-AH 0.0000 0.0000 0.0000 0.0000 0.0615 0.0077 0.0217 0.0000 0.0615 2.8284 0.0000 0.0000 0.0134 0.0000 0.0000 0.0000 0.0000
178
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0158 0.1378 0.0212 0.0484 0.0158 0.1378 2.2851 0.0001 0.0000 0.0318 0.0000 0.0317 0.0045 0.0120
292-AH 0.0094 0.0134 0.0584 0.3889 0.8000 0.2164 0.2882 0.3755 0.7906 1.3322 0.0707 0.0258 0.2322 0.0094 0.8000 0.2164 0.2882
293-AH 0.0000 0.0000 0.0285 0.2229 0.3924 0.1119 0.1684 0.2229 0.3924 1.5048 0.0013 0.0000 0.1341 0.0000 0.3924 0.1119 0.1684
294-AH 0.0000 0.0000 0.0339 0.1472 0.5435 0.1132 0.1868 0.1472 0.5435 1.6503 0.0013 0.0000 0.1266 0.0000 0.1894 0.0517 0.0739
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.1236 0.3492 0.0745 0.1407 0.1236 0.3492 1.8874 0.0001 0.0000 0.1118 0.0000 0.2472 0.0353 0.0934
297-AH 0.0000 0.0000 0.0000 0.0000 0.0235 0.0029 0.0083 0.0000 0.0235 2.8284 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000
298-AH 0.0000 0.0000 0.0000 0.0187 0.0455 0.0104 0.0193 0.0187 0.0455 1.8631 0.0001 0.0000 0.0155 0.0000 0.0455 0.0104 0.0193
299-AH 0.0000 0.0000 0.0000 0.0000 0.1855 0.0232 0.0656 0.0000 0.1855 2.8284 0.0000 0.0000 0.0406 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0000 0.0337 0.0810 0.0186 0.0346 0.0337 0.0810 1.8619 0.0001 0.0000 0.0278 0.0000 0.0810 0.0186 0.0346
301-AH 0.0000 0.0000 0.0000 0.0000 0.0644 0.0080 0.0228 0.0000 0.0644 2.8284 0.0000 0.0000 0.0141 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0000 0.0000 0.1882 0.0235 0.0666 0.0000 0.1882 2.8284 0.0000 0.0000 0.0412 0.0000 0.0000 0.0000 0.0000
303-AH 0.0000 0.0000 0.0000 0.0000 0.0135 0.0017 0.0048 0.0000 0.0135 2.8284 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000
304-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0000 0.0719 0.0090 0.0254 0.0000 0.0719 2.8284 0.0000 0.0000 0.0157 0.0000 0.0000 0.0000 0.0000
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.0450 0.1419 0.3007 0.4348 0.1763 0.1714 0.2557 0.4348 0.9725 0.0166 0.0000 0.1293 0.0000 0.4348 0.1763 0.1714
309-AH 0.0000 0.0000 0.0000 0.0155 0.0386 0.0087 0.0162 0.0155 0.0386 1.8667 0.0001 0.0000 0.0130 0.0000 0.0386 0.0087 0.0162
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0343 0.1070 0.0219 0.0419 0.0343 0.1070 1.9100 0.0001 0.0000 0.0329 0.0000 0.0685 0.0098 0.0259
312-AH 0.0000 0.0000 0.0000 0.0000 0.2947 0.0368 0.1042 0.0000 0.2947 2.8284 0.0000 0.0000 0.0645 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0098 0.0240 0.0055 0.0102 0.0098 0.0240 1.8642 0.0001 0.0000 0.0082 0.0000 0.0240 0.0055 0.0102
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.0000 0.0000 0.1196 0.0149 0.0423 0.0000 0.1196 2.8284 0.0000 0.0000 0.0262 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0000 0.0000 0.0549 0.0069 0.0194 0.0000 0.0549 2.8284 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0051 0.0175 0.0677 0.1800 0.0451 0.0652 0.0626 0.1800 1.4475 0.0044 0.0000 0.0502 0.0000 0.1111 0.0258 0.0387
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0071 0.0168 0.0249 0.0091 0.0102 0.0168 0.0249 1.1221 0.0004 0.0000 0.0091 0.0000 0.0249 0.0091 0.0102
323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0313 0.0873 0.0187 0.0353 0.0313 0.0873 1.8850 0.0001 0.0000 0.0281 0.0000 0.0626 0.0089 0.0236
326-AH 0.0000 0.0000 0.0021 0.0060 0.0071 0.0029 0.0032 0.0060 0.0071 1.1052 0.0002 0.0000 0.0029 0.0000 0.0071 0.0029 0.0032
327-AH 0.0000 0.0000 0.0000 0.0112 0.2105 0.0291 0.0737 0.0112 0.2105 2.5325 0.0001 0.0000 0.0454 0.0000 0.0223 0.0032 0.0084
328-AH 0.0000 0.1438 0.3580 0.4669 0.5122 0.3062 0.2035 0.3231 0.5122 0.6647 0.0283 0.0000 0.1577 0.0000 0.5122 0.3062 0.2035
329-AH 0.0000 0.0000 0.0533 0.1237 0.2319 0.0732 0.0849 0.1237 0.2319 1.1591 0.0031 0.0000 0.0649 0.0000 0.2319 0.0732 0.0849
330-AH 0.0000 0.1554 0.5552 0.6308 0.6438 0.4158 0.2794 0.4754 0.6438 0.6719 0.0353 0.0000 0.2342 0.0000 0.6438 0.4158 0.2794
331-AH 0.0000 0.0533 0.1448 0.1718 0.1928 0.1166 0.0768 0.1185 0.1928 0.6591 0.0137 0.0000 0.0608 0.0000 0.1928 0.1166 0.0768
332-AH 0.0000 0.0755 0.1705 0.1889 0.2051 0.1344 0.0848 0.1134 0.2051 0.6309 0.0154 0.0000 0.0672 0.0000 0.2051 0.1344 0.0848
333-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
334-AH 0.0000 0.0000 0.0000 0.0000 0.0109 0.0014 0.0039 0.0000 0.0109 2.8284 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0225 0.0028 0.0080 0.0000 0.0225 2.8284 0.0000 0.0000 0.0049 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.1139 0.3650 0.5227 0.6923 0.3369 0.2519 0.4087 0.6923 0.7476 0.0294 0.0000 0.2021 0.0000 0.6923 0.3369 0.2519
338-AH 0.0000 0.0186 0.0491 0.2483 0.6923 0.1655 0.2455 0.2297 0.6923 1.4831 0.0113 0.0000 0.1841 0.0000 0.3750 0.0903 0.1321
339-AH 0.0000 0.0000 0.0090 0.0933 0.2045 0.0512 0.0763 0.0933 0.2045 1.4915 0.0009 0.0000 0.0594 0.0000 0.2045 0.0512 0.0763
340-AH 0.0000 0.0000 0.0000 0.0189 0.1000 0.0172 0.0350 0.0189 0.1000 2.0319 0.0002 0.0000 0.0238 0.0000 0.0298 0.0054 0.0112
179
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0000 0.0141 0.0340 0.0625 0.0198 0.0233 0.0340 0.0625 1.1757 0.0013 0.0000 0.0183 0.0000 0.0625 0.0198 0.0233
342-AH 0.0000 0.0745 0.2147 0.5237 0.6350 0.2826 0.2481 0.4493 0.6350 0.8779 0.0241 0.0000 0.2087 0.0000 0.6350 0.2826 0.2481
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0000 0.1132 0.2476 0.3448 0.1333 0.1409 0.2476 0.3448 1.0570 0.0044 0.0000 0.1245 0.0000 0.3448 0.1333 0.1409
345-AH 0.0000 0.0000 0.0000 0.0274 0.0608 0.0145 0.0268 0.0274 0.0608 1.8549 0.0001 0.0000 0.0217 0.0000 0.0608 0.0145 0.0268
346-AH 0.0000 0.0083 0.0208 0.0284 0.0529 0.0210 0.0170 0.0200 0.0529 0.8112 0.0036 0.0000 0.0117 0.0000 0.0529 0.0210 0.0170
347-AH 0.0000 0.0000 0.0000 0.0045 0.0187 0.0035 0.0069 0.0045 0.0187 1.9936 0.0001 0.0000 0.0052 0.0000 0.0091 0.0013 0.0034
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0000 0.1244 0.1761 0.1953 0.0995 0.0862 0.1761 0.1953 0.8660 0.0042 0.0000 0.0747 0.0000 0.1953 0.0995 0.0862
350-AH 0.0000 0.0738 0.1493 0.1565 0.1579 0.1146 0.0709 0.0828 0.1579 0.6182 0.0137 0.0000 0.0573 0.0000 0.1579 0.1146 0.0709
180
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0455 0.5714 1.0000 1.0000 0.5292 0.5054 0.9545 1.0000 0.9550 0.0327 0.0000 0.4708 0.0000 1.0000 0.5292 0.5054
142-AH 0.0000 0.0170 0.2374 0.7857 1.0000 0.3850 0.4287 0.7687 1.0000 1.1133 0.0230 0.0000 0.3541 0.0000 1.0000 0.3850 0.4287
143-AH 0.0000 0.0000 0.0000 0.0439 0.2583 0.0433 0.0922 0.0439 0.2583 2.1301 0.0001 0.0000 0.0649 0.0000 0.0878 0.0125 0.0332
144-AH 0.0000 0.0000 0.0211 0.0912 0.1500 0.0468 0.0582 0.0912 0.1500 1.2418 0.0009 0.0000 0.0480 0.0000 0.1500 0.0468 0.0582
145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
146-AH 0.0000 0.0000 0.0032 0.0411 0.0800 0.0211 0.0324 0.0411 0.0800 1.5374 0.0010 0.0000 0.0256 0.0000 0.0800 0.0211 0.0324
147-AH 0.0000 0.0000 0.0000 0.0000 0.0725 0.0091 0.0256 0.0000 0.0725 2.8284 0.0000 0.0000 0.0159 0.0000 0.0000 0.0000 0.0000
148-AH 0.0000 0.0000 0.0000 0.0139 0.0201 0.0060 0.0088 0.0139 0.0201 1.4675 0.0002 0.0000 0.0075 0.0000 0.0201 0.0060 0.0088
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0383 0.0901 0.0208 0.0348 0.0383 0.0901 1.6710 0.0002 0.0000 0.0270 0.0000 0.0901 0.0208 0.0348
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.0464 0.0058 0.0164 0.0000 0.0464 2.8284 0.0000 0.0000 0.0102 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0008 0.0141 0.0020 0.0049 0.0008 0.0141 2.5149 0.0000 0.0000 0.0030 0.0000 0.0016 0.0002 0.0006
154-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
155-AH 0.0000 0.0000 0.0092 0.0817 0.1765 0.0448 0.0652 0.0817 0.1765 1.4551 0.0008 0.0000 0.0514 0.0000 0.1765 0.0448 0.0652
156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
157-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
158-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
159-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
160-AH 0.0000 0.0000 0.0000 0.0477 0.0571 0.0191 0.0265 0.0477 0.0571 1.3900 0.0002 0.0000 0.0238 0.0000 0.0571 0.0191 0.0265
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0714 0.2250 0.3750 1.0000 0.2929 0.3272 0.3036 1.0000 1.1172 0.0234 0.0000 0.2286 0.0000 0.5000 0.1918 0.1721
163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
164-AH 0.0000 0.0000 0.0000 0.0000 0.0794 0.0099 0.0281 0.0000 0.0794 2.8284 0.0000 0.0000 0.0174 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.2500 0.7500 1.0000 1.0000 0.6250 0.4432 0.7500 1.0000 0.7091 0.0473 0.0000 0.3750 0.0000 1.0000 0.6250 0.4432
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.0072 0.0160 0.0038 0.0059 0.0072 0.0160 1.5662 0.0001 0.0000 0.0047 0.0000 0.0160 0.0038 0.0059
168-AH 0.0000 0.0000 0.0000 0.0351 0.2368 0.0384 0.0817 0.0351 0.2368 2.1295 0.0003 0.0000 0.0496 0.0000 0.0364 0.0100 0.0172
169-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
171-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
172-AH 0.0000 0.0000 0.0000 0.0137 0.0290 0.0070 0.0114 0.0137 0.0290 1.6162 0.0002 0.0000 0.0088 0.0000 0.0290 0.0070 0.0114
173-AH 0.0351 0.5286 1.0000 1.0000 1.0000 0.7615 0.4416 0.4714 0.9649 0.5799 0.4600 0.1538 0.3577 0.0351 1.0000 0.7615 0.4416
174-AH 0.0000 0.5110 1.0000 1.0000 1.0000 0.7527 0.4579 0.4890 1.0000 0.6083 0.1471 0.0001 0.3709 0.0000 1.0000 0.7527 0.4579
175-AH 0.0000 0.0000 0.0165 0.0531 0.2414 0.0476 0.0819 0.0531 0.2414 1.7220 0.0008 0.0000 0.0515 0.0000 0.0598 0.0199 0.0260
176-AH 0.0000 0.0000 0.0351 0.3498 0.4699 0.1550 0.2077 0.3498 0.4699 1.3406 0.0016 0.0000 0.1761 0.0000 0.4699 0.1550 0.2077
177-AH 0.0000 0.0073 0.0370 0.0471 0.0647 0.0309 0.0240 0.0397 0.0647 0.7772 0.0048 0.0000 0.0200 0.0000 0.0647 0.0309 0.0240
178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0000 0.0000 0.0239 0.0030 0.0084 0.0000 0.0239 2.8284 0.0000 0.0000 0.0052 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0226 0.0637 0.1569 0.0412 0.0558 0.0637 0.1569 1.3542 0.0008 0.0000 0.0412 0.0000 0.1569 0.0412 0.0558
181-AH 0.0000 0.0000 0.0000 0.0534 0.1652 0.0340 0.0649 0.0534 0.1652 1.9075 0.0001 0.0000 0.0510 0.0000 0.1069 0.0153 0.0404
182-AH 0.0000 0.0000 0.0402 0.0825 0.1600 0.0507 0.0576 0.0825 0.1600 1.1357 0.0024 0.0000 0.0470 0.0000 0.1600 0.0507 0.0576
183-AH 0.0000 0.0690 0.2967 0.3205 0.3636 0.2170 0.1496 0.2515 0.3636 0.6893 0.0215 0.0000 0.1283 0.0000 0.3636 0.2170 0.1496
184-AH 0.0000 0.0000 0.0000 0.0000 0.0134 0.0017 0.0047 0.0000 0.0134 2.8284 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000
185-AH 0.0000 0.1667 0.4167 1.0000 1.0000 0.5208 0.4313 0.8333 1.0000 0.8281 0.0392 0.0000 0.3594 0.0000 1.0000 0.5208 0.4313
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0276 0.0711 0.1667 0.0461 0.0577 0.0685 0.1667 1.2517 0.0045 0.0000 0.0426 0.0000 0.1667 0.0461 0.0577
188-AH 0.0000 0.0000 0.0000 0.0312 0.0769 0.0174 0.0325 0.0312 0.0769 1.8648 0.0001 0.0000 0.0261 0.0000 0.0769 0.0174 0.0325
189-AH 0.0000 0.2188 0.6000 0.7778 0.8750 0.5085 0.3461 0.5590 0.8750 0.6805 0.0411 0.0000 0.2741 0.0000 0.8750 0.5085 0.3461
190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
181
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0000 0.0638 0.5000 0.0785 0.1761 0.0638 0.5000 2.2444 0.0001 0.0000 0.1177 0.0000 0.1277 0.0182 0.0483
193-AH 0.0000 0.0089 0.0555 0.0717 0.1186 0.0489 0.0413 0.0628 0.1186 0.8454 0.0065 0.0000 0.0324 0.0000 0.1186 0.0489 0.0413
194-AH 0.0000 0.0047 0.0083 0.0162 0.0625 0.0151 0.0200 0.0115 0.0625 1.3231 0.0045 0.0001 0.0124 0.0000 0.0175 0.0084 0.0063
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1674 0.5000 0.5000 0.5000 0.3543 0.2257 0.3326 0.5000 0.6370 0.0592 0.0001 0.1821 0.0000 0.5000 0.3543 0.2257
197-AH 0.0000 0.0000 0.1116 0.2082 0.2959 0.1169 0.1136 0.2082 0.2959 0.9714 0.0045 0.0000 0.0919 0.0000 0.2959 0.1169 0.1136
198-AH 0.0000 0.0024 0.0197 0.0694 1.0000 0.1479 0.3456 0.0670 1.0000 2.3366 0.0054 0.0000 0.2130 0.0000 0.0833 0.0262 0.0321
199-AH 0.0000 0.0400 0.2649 0.4348 0.4348 0.2393 0.2044 0.3948 0.4348 0.8541 0.0207 0.0000 0.1868 0.0000 0.4348 0.2393 0.2044
200-AH 0.0000 0.0000 0.0000 0.0168 0.0307 0.0080 0.0126 0.0168 0.0307 1.5619 0.0002 0.0000 0.0101 0.0000 0.0307 0.0080 0.0126
251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
252-AH 0.0000 0.0000 0.0000 0.0000 0.1062 0.0133 0.0376 0.0000 0.1062 2.8284 0.0000 0.0000 0.0232 0.0000 0.0000 0.0000 0.0000
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0000 0.0064 0.0164 0.0816 0.0159 0.0274 0.0164 0.0816 1.7256 0.0010 0.0000 0.0170 0.0000 0.0183 0.0065 0.0074
256-AH 0.0000 0.0000 0.0187 0.1358 0.1643 0.0592 0.0738 0.1358 0.1643 1.2466 0.0010 0.0000 0.0646 0.0000 0.1643 0.0592 0.0738
257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.0136 0.0017 0.0048 0.0000 0.0136 2.8284 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
265-AH 0.0000 0.0000 0.0132 0.0882 0.1875 0.0488 0.0689 0.0882 0.1875 1.4130 0.0020 0.0000 0.0544 0.0000 0.1875 0.0488 0.0689
266-AH 0.0000 0.0000 0.0000 0.1141 0.1739 0.0503 0.0741 0.1141 0.1739 1.4735 0.0003 0.0000 0.0628 0.0000 0.1739 0.0503 0.0741
267-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
268-AH 0.0000 0.0000 0.0000 0.0000 0.0048 0.0006 0.0017 0.0000 0.0048 2.8284 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
271-AH 0.0000 0.0000 0.0000 0.0634 0.1017 0.0286 0.0436 0.0634 0.1017 1.5254 0.0003 0.0000 0.0357 0.0000 0.1017 0.0286 0.0436
272-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
273-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
276-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0000 0.0000 0.0206 0.0026 0.0073 0.0000 0.0206 2.8284 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0000 0.0536 0.1660 0.0341 0.0652 0.0536 0.1660 1.9081 0.0001 0.0000 0.0512 0.0000 0.1071 0.0153 0.0405
282-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
284-AH 0.0000 0.0000 0.0000 0.0000 0.2879 0.0360 0.1018 0.0000 0.2879 2.8284 0.0000 0.0000 0.0630 0.0000 0.0000 0.0000 0.0000
285-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0000 0.3167 0.3396 0.1216 0.1682 0.3167 0.3396 1.3833 0.0005 0.0000 0.1520 0.0000 0.3396 0.1216 0.1682
290-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
182
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
292-AH 0.0094 0.0134 0.0584 0.3889 0.8000 0.2164 0.2882 0.3755 0.7906 1.3322 0.0707 0.0258 0.2322 0.0094 0.8000 0.2164 0.2882
293-AH 0.0000 0.0000 0.0000 0.1104 0.3333 0.0693 0.1317 0.1104 0.3333 1.9019 0.0001 0.0000 0.1039 0.0000 0.2208 0.0315 0.0834
294-AH 0.0000 0.0000 0.0000 0.0598 0.1957 0.0394 0.0692 0.0598 0.1957 1.7546 0.0003 0.0000 0.0493 0.0000 0.0752 0.0171 0.0305
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.1034 0.0129 0.0366 0.0000 0.1034 2.8284 0.0000 0.0000 0.0226 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0000 0.0190 0.0024 0.0067 0.0000 0.0190 2.8284 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000
298-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0000 0.0318 0.0733 0.0171 0.0318 0.0318 0.0733 1.8579 0.0001 0.0000 0.0257 0.0000 0.0733 0.0171 0.0318
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0000 0.0000 0.1518 0.0190 0.0537 0.0000 0.1518 2.8284 0.0000 0.0000 0.0332 0.0000 0.0000 0.0000 0.0000
303-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
304-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
306-AH 0.1111 0.3214 1.0000 1.0000 1.0000 0.7192 0.4043 0.6786 0.8889 0.5621 0.5463 0.3478 0.3509 0.1111 1.0000 0.7192 0.4043
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.0000 0.0000 0.1844 0.3929 0.0952 0.1724 0.1844 0.3929 1.8104 0.0003 0.0000 0.1393 0.0000 0.3929 0.0952 0.1724
309-AH 0.0000 0.0000 0.0000 0.0083 0.0249 0.0052 0.0098 0.0083 0.0249 1.9011 0.0001 0.0000 0.0078 0.0000 0.0165 0.0024 0.0062
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
312-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0000 0.0000 0.0423 0.0053 0.0150 0.0000 0.0423 2.8284 0.0000 0.0000 0.0093 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0051 0.0175 0.0677 0.1800 0.0451 0.0652 0.0626 0.1800 1.4475 0.0044 0.0000 0.0502 0.0000 0.1111 0.0258 0.0387
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0249 0.0031 0.0088 0.0000 0.0249 2.8284 0.0000 0.0000 0.0054 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0021 0.0060 0.0071 0.0029 0.0032 0.0060 0.0071 1.1052 0.0002 0.0000 0.0029 0.0000 0.0071 0.0029 0.0032
327-AH 0.0000 0.0000 0.0000 0.0112 0.2105 0.0291 0.0737 0.0112 0.2105 2.5325 0.0001 0.0000 0.0454 0.0000 0.0223 0.0032 0.0084
328-AH 0.0000 0.0752 0.2064 0.2695 0.4600 0.1953 0.1537 0.1943 0.4600 0.7870 0.0194 0.0000 0.1191 0.0000 0.4600 0.1953 0.1537
329-AH 0.0000 0.0000 0.0000 0.1164 0.2152 0.0560 0.0863 0.1164 0.2152 1.5421 0.0004 0.0000 0.0700 0.0000 0.2152 0.0560 0.0863
330-AH 0.0000 0.0000 0.0000 0.2787 0.4595 0.1271 0.2032 0.2787 0.4595 1.5985 0.0005 0.0000 0.1612 0.0000 0.4595 0.1271 0.2032
331-AH 0.0000 0.0486 0.1130 0.1228 0.1328 0.0877 0.0552 0.0743 0.1328 0.6299 0.0112 0.0000 0.0438 0.0000 0.1328 0.0877 0.0552
332-AH 0.0000 0.0755 0.1705 0.1889 0.2051 0.1344 0.0848 0.1134 0.2051 0.6309 0.0154 0.0000 0.0672 0.0000 0.2051 0.1344 0.0848
333-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
334-AH 0.0000 0.0000 0.0000 0.0000 0.0109 0.0014 0.0039 0.0000 0.0109 2.8284 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0365 0.1848 0.3889 0.5405 0.2201 0.2044 0.3524 0.5405 0.9287 0.0192 0.0000 0.1690 0.0000 0.5405 0.2201 0.2044
338-AH 0.0000 0.0000 0.0382 0.1667 0.3333 0.0929 0.1338 0.1667 0.3333 1.4404 0.0030 0.0000 0.1063 0.0000 0.3333 0.0929 0.1338
339-AH 0.0000 0.0000 0.0000 0.0543 0.1195 0.0285 0.0529 0.0543 0.1195 1.8545 0.0001 0.0000 0.0428 0.0000 0.1195 0.0285 0.0529
340-AH 0.0000 0.0000 0.0000 0.0189 0.1000 0.0172 0.0350 0.0189 0.1000 2.0319 0.0002 0.0000 0.0238 0.0000 0.0298 0.0054 0.0112
183
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0000 0.0141 0.0340 0.0625 0.0198 0.0233 0.0340 0.0625 1.1757 0.0013 0.0000 0.0183 0.0000 0.0625 0.0198 0.0233
342-AH 0.0000 0.0000 0.0000 0.0000 0.1073 0.0134 0.0379 0.0000 0.1073 2.8284 0.0000 0.0000 0.0235 0.0000 0.0000 0.0000 0.0000
343-AH 0.0000 0.0000 0.0102 0.0317 0.0385 0.0153 0.0172 0.0317 0.0385 1.1247 0.0005 0.0000 0.0153 0.0000 0.0385 0.0153 0.0172
344-AH 0.0000 0.0000 0.0000 0.1334 0.1626 0.0537 0.0749 0.1334 0.1626 1.3959 0.0004 0.0000 0.0671 0.0000 0.1626 0.0537 0.0749
345-AH 0.0000 0.0000 0.0000 0.0274 0.0608 0.0145 0.0268 0.0274 0.0608 1.8549 0.0001 0.0000 0.0217 0.0000 0.0608 0.0145 0.0268
346-AH 0.0000 0.0000 0.0000 0.0163 0.0516 0.0105 0.0182 0.0163 0.0516 1.7282 0.0002 0.0000 0.0132 0.0000 0.0178 0.0046 0.0080
347-AH 0.0000 0.0000 0.0000 0.0045 0.0187 0.0035 0.0069 0.0045 0.0187 1.9936 0.0001 0.0000 0.0052 0.0000 0.0091 0.0013 0.0034
348-AH 0.0000 0.3333 0.8333 1.0000 1.0000 0.6667 0.4364 0.6667 1.0000 0.6547 0.0508 0.0000 0.3333 0.0000 1.0000 0.6667 0.4364
349-AH 0.0000 0.0000 0.0605 0.1496 0.1731 0.0742 0.0807 0.1496 0.1731 1.0884 0.0012 0.0000 0.0742 0.0000 0.1731 0.0742 0.0807
350-AH 0.0000 0.0000 0.0642 0.1482 0.1493 0.0718 0.0689 0.1482 0.1493 0.9606 0.0033 0.0000 0.0576 0.0000 0.1493 0.0718 0.0689
184
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1069 0.2000 0.2000 1.0690 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1069
142-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
143-AH 0.0000 0.0000 0.3000 0.9000 1.0000 0.4250 0.4713 0.9000 1.0000 1.1090 0.0029 0.0000 0.4250 0.0000 1.0000 0.4250 0.4713
144-AH 0.0000 0.0000 0.4000 0.4000 0.4000 0.2500 0.2070 0.4000 0.4000 0.8281 0.0075 0.0000 0.1875 0.0000 0.4000 0.2500 0.2070
145-AH 0.0000 0.1000 0.5000 1.0000 1.0000 0.5250 0.4652 0.9000 1.0000 0.8861 0.0366 0.0000 0.4250 0.0000 1.0000 0.5250 0.4652
146-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1250 0.1035 0.2000 0.2000 0.8281 0.0049 0.0000 0.0938 0.0000 0.2000 0.1250 0.1035
147-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.2750 0.3536 0.4000 1.0000 1.2856 0.0068 0.0000 0.2625 0.0000 1.0000 0.2750 0.3536
148-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0500 0.1414 0.0000 0.4000 2.8284 0.0000 0.0000 0.0875 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.1000 0.8000 0.1250 0.2816 0.1000 0.8000 2.2526 0.0001 0.0000 0.1875 0.0000 0.2000 0.0286 0.0756
152-AH 0.0000 0.0000 0.1000 0.5000 0.8000 0.2500 0.3162 0.5000 0.8000 1.2649 0.0021 0.0000 0.2625 0.0000 0.8000 0.2500 0.3162
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.1000 0.4000 0.9000 1.0000 0.4750 0.4268 0.8000 1.0000 0.8985 0.0343 0.0000 0.3750 0.0000 1.0000 0.4750 0.4268
155-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1500 0.2070 0.4000 0.4000 1.3801 0.0005 0.0000 0.1875 0.0000 0.4000 0.1500 0.2070
156-AH 0.0000 0.0000 0.2000 0.2000 0.8000 0.2000 0.2619 0.2000 0.8000 1.3093 0.0058 0.0000 0.1500 0.0000 0.2000 0.1143 0.1069
157-AH 0.2000 0.3000 0.4000 0.6000 0.8000 0.4500 0.2070 0.3000 0.6000 0.4600 0.4059 0.3623 0.1625 0.2000 0.8000 0.4500 0.2070
158-AH 0.0000 0.0000 0.6000 0.6000 1.0000 0.4250 0.3770 0.6000 1.0000 0.8871 0.0103 0.0000 0.3188 0.0000 1.0000 0.4250 0.3770
159-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1069 0.2000 0.2000 1.0690 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1069
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1250 0.1035 0.2000 0.2000 0.8281 0.0049 0.0000 0.0938 0.0000 0.2000 0.1250 0.1035
163-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8500 0.2976 0.2000 0.8000 0.3501 0.7672 0.6316 0.2250 0.6000 1.0000 0.9429 0.1512
164-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
168-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0750 0.2121 0.0000 0.6000 2.8284 0.0000 0.0000 0.1313 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.3000 0.4000 0.1250 0.1832 0.3000 0.4000 1.4658 0.0005 0.0000 0.1563 0.0000 0.4000 0.1250 0.1832
170-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1069 0.2000 0.2000 1.0690 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1069
171-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0750 0.1488 0.1000 0.4000 1.9841 0.0001 0.0000 0.1125 0.0000 0.2000 0.0286 0.0756
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.2000 0.3000 0.4000 0.4000 0.4000 0.3500 0.0926 0.1000 0.2000 0.2645 0.3364 0.3200 0.0750 0.2000 0.4000 0.3500 0.0926
174-AH 0.2000 0.3000 0.4000 0.4000 0.4000 0.3500 0.0926 0.1000 0.2000 0.2645 0.3364 0.3200 0.0750 0.2000 0.4000 0.3500 0.0926
175-AH 0.0000 0.3000 0.7000 0.8000 0.8000 0.5500 0.3505 0.5000 0.8000 0.6373 0.0443 0.0000 0.2750 0.0000 0.8000 0.5500 0.3505
176-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8750 0.2375 0.2000 0.6000 0.2715 0.8366 0.7869 0.1875 0.6000 1.0000 0.9429 0.1512
177-AH 0.0000 0.1000 0.4000 0.5000 0.8000 0.3500 0.2777 0.4000 0.8000 0.7936 0.0298 0.0000 0.2125 0.0000 0.8000 0.3500 0.2777
178-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
179-AH 0.0000 0.0000 0.1000 0.3000 1.0000 0.2250 0.3454 0.3000 1.0000 1.5350 0.0019 0.0000 0.2375 0.0000 0.4000 0.1143 0.1574
180-AH 0.0000 0.0000 0.0000 0.7000 0.8000 0.2750 0.3845 0.7000 0.8000 1.3983 0.0007 0.0000 0.3438 0.0000 0.8000 0.2750 0.3845
181-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.7250 0.4528 0.6000 1.0000 0.6245 0.0547 0.0000 0.3625 0.0000 1.0000 0.7250 0.4528
182-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0750 0.1035 0.2000 0.2000 1.3801 0.0004 0.0000 0.0938 0.0000 0.2000 0.0750 0.1035
183-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1069 0.2000 0.2000 1.0690 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1069
184-AH 0.0000 0.0000 0.0000 0.1000 0.6000 0.1000 0.2138 0.1000 0.6000 2.1381 0.0001 0.0000 0.1500 0.0000 0.2000 0.0286 0.0756
185-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.7250 0.4528 0.6000 1.0000 0.6245 0.0547 0.0000 0.3625 0.0000 1.0000 0.7250 0.4528
190-AH 0.0000 0.0000 0.1000 0.3000 0.6000 0.1750 0.2252 0.3000 0.6000 1.2868 0.0018 0.0000 0.1750 0.0000 0.6000 0.1750 0.2252
185
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.1000 0.2000 0.4000 0.8000 0.2750 0.2605 0.3000 0.8000 0.9473 0.0238 0.0000 0.1938 0.0000 0.8000 0.2750 0.2605
193-AH 0.0000 0.2000 0.4000 0.5000 0.8000 0.3750 0.2712 0.3000 0.8000 0.7233 0.0324 0.0000 0.1875 0.0000 0.8000 0.3750 0.2712
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
197-AH 0.0000 0.3000 1.0000 1.0000 1.0000 0.7000 0.4536 0.7000 1.0000 0.6479 0.0528 0.0000 0.3750 0.0000 1.0000 0.7000 0.4536
198-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.3750 0.2252 0.4000 0.6000 0.6005 0.1041 0.0001 0.1813 0.0000 0.6000 0.3750 0.2252
200-AH 0.0000 0.0000 0.1000 0.8000 1.0000 0.3500 0.4375 0.8000 1.0000 1.2501 0.0024 0.0000 0.3875 0.0000 1.0000 0.3500 0.4375
251-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.7250 0.4528 0.6000 1.0000 0.6245 0.0547 0.0000 0.3625 0.0000 1.0000 0.7250 0.4528
252-AH 0.0000 0.2000 0.5000 0.7000 0.8000 0.4500 0.3162 0.5000 0.8000 0.7027 0.0372 0.0000 0.2500 0.0000 0.8000 0.4500 0.3162
253-AH 0.0000 0.1000 0.7000 0.8000 0.8000 0.5000 0.3703 0.7000 0.8000 0.7407 0.0386 0.0000 0.3250 0.0000 0.8000 0.5000 0.3703
254-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1250 0.1488 0.2000 0.4000 1.1904 0.0015 0.0000 0.1250 0.0000 0.4000 0.1250 0.1488
255-AH 0.0000 0.1000 0.2000 0.2000 0.6000 0.2000 0.1852 0.1000 0.6000 0.9258 0.0193 0.0000 0.1000 0.0000 0.2000 0.1429 0.0976
256-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
257-AH 0.0000 0.0000 0.1000 0.7000 1.0000 0.3250 0.4132 0.7000 1.0000 1.2713 0.0024 0.0000 0.3563 0.0000 1.0000 0.3250 0.4132
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1250 0.1488 0.2000 0.4000 1.1904 0.0015 0.0000 0.1250 0.0000 0.4000 0.1250 0.1488
260-AH 0.0000 0.0000 0.4000 0.8000 0.8000 0.4000 0.4276 0.8000 0.8000 1.0690 0.0028 0.0000 0.4000 0.0000 0.8000 0.4000 0.4276
261-AH 0.2000 0.2000 0.3000 0.6000 0.6000 0.3750 0.1982 0.4000 0.4000 0.5285 0.3293 0.2909 0.1750 0.2000 0.6000 0.3750 0.1982
262-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0750 0.1035 0.2000 0.2000 1.3801 0.0004 0.0000 0.0938 0.0000 0.2000 0.0750 0.1035
263-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1069 0.2000 0.2000 1.0690 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1069
264-AH 0.0000 0.0000 0.7000 0.8000 1.0000 0.5000 0.4276 0.8000 1.0000 0.8552 0.0115 0.0000 0.3750 0.0000 1.0000 0.5000 0.4276
265-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1250 0.1488 0.2000 0.4000 1.1904 0.0015 0.0000 0.1250 0.0000 0.4000 0.1250 0.1488
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.0000 0.3000 0.4000 0.6000 0.2500 0.2330 0.4000 0.6000 0.9320 0.0073 0.0000 0.2000 0.0000 0.6000 0.2500 0.2330
268-AH 0.0000 0.0000 0.1000 0.4000 0.4000 0.1750 0.1982 0.4000 0.4000 1.1326 0.0018 0.0000 0.1750 0.0000 0.4000 0.1750 0.1982
269-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7500 0.4629 0.5000 1.0000 0.6172 0.0562 0.0000 0.3750 0.0000 1.0000 0.7500 0.4629
271-AH 0.0000 0.2000 0.8000 1.0000 1.0000 0.6250 0.4334 0.8000 1.0000 0.6935 0.0474 0.0000 0.3688 0.0000 1.0000 0.6250 0.4334
272-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1750 0.1669 0.3000 0.4000 0.9537 0.0058 0.0000 0.1313 0.0000 0.4000 0.1750 0.1669
273-AH 0.0000 0.0000 0.6000 1.0000 1.0000 0.5250 0.5120 1.0000 1.0000 0.9752 0.0109 0.0000 0.4750 0.0000 1.0000 0.5250 0.5120
274-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
275-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2500 0.2976 0.4000 0.8000 1.1904 0.0067 0.0000 0.2250 0.0000 0.8000 0.2500 0.2976
276-AH 0.0000 0.4000 0.6000 0.7000 1.0000 0.5500 0.3162 0.3000 1.0000 0.5750 0.1461 0.0001 0.2250 0.0000 1.0000 0.5500 0.3162
277-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1250 0.1488 0.2000 0.4000 1.1904 0.0015 0.0000 0.1250 0.0000 0.4000 0.1250 0.1488
278-AH 0.0000 0.0000 0.0000 0.3000 0.4000 0.1250 0.1832 0.3000 0.4000 1.4658 0.0005 0.0000 0.1563 0.0000 0.4000 0.1250 0.1832
279-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1512 0.2000 0.4000 1.5119 0.0004 0.0000 0.1250 0.0000 0.4000 0.1000 0.1512
280-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.4000 0.9000 1.0000 0.4500 0.4504 0.9000 1.0000 1.0009 0.0099 0.0000 0.4000 0.0000 1.0000 0.4500 0.4504
282-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1500 0.1414 0.2000 0.4000 0.9428 0.0053 0.0000 0.1125 0.0000 0.4000 0.1500 0.1414
283-AH 0.0000 0.1000 0.4000 0.6000 1.0000 0.4000 0.3546 0.5000 1.0000 0.8864 0.0317 0.0000 0.2500 0.0000 1.0000 0.4000 0.3546
284-AH 0.0000 0.0000 0.1000 0.5000 0.8000 0.2500 0.3162 0.5000 0.8000 1.2649 0.0021 0.0000 0.2625 0.0000 0.8000 0.2500 0.3162
285-AH 0.0000 0.0000 0.2000 0.7000 1.0000 0.3500 0.3964 0.7000 1.0000 1.1326 0.0081 0.0000 0.3375 0.0000 1.0000 0.3500 0.3964
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.1000 0.4000 0.8000 0.2250 0.3105 0.4000 0.8000 1.3801 0.0019 0.0000 0.2375 0.0000 0.8000 0.2250 0.3105
288-AH 0.0000 0.0000 0.4000 0.5000 0.6000 0.3000 0.2619 0.5000 0.6000 0.8729 0.0083 0.0000 0.2250 0.0000 0.6000 0.3000 0.2619
289-AH 0.0000 0.0000 0.3000 0.6000 0.8000 0.3250 0.3536 0.6000 0.8000 1.0879 0.0025 0.0000 0.3250 0.0000 0.8000 0.3250 0.3536
290-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1512 0.2000 0.4000 1.5119 0.0004 0.0000 0.1250 0.0000 0.4000 0.1000 0.1512
186
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3750 0.4334 0.8000 1.0000 1.1558 0.0084 0.0000 0.3688 0.0000 1.0000 0.3750 0.4334
292-AH 0.0000 0.0000 0.1000 0.4000 0.8000 0.2250 0.2915 0.4000 0.8000 1.2958 0.0020 0.0000 0.2313 0.0000 0.8000 0.2250 0.2915
293-AH 0.0000 0.0000 0.3000 0.9000 1.0000 0.4250 0.4713 0.9000 1.0000 1.1090 0.0029 0.0000 0.4250 0.0000 1.0000 0.4250 0.4713
294-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4000 0.2828 0.4000 0.8000 0.7071 0.0341 0.0000 0.2000 0.0000 0.8000 0.4000 0.2828
295-AH 0.0000 0.0000 0.3000 0.6000 0.6000 0.3000 0.3207 0.6000 0.6000 1.0690 0.0024 0.0000 0.3000 0.0000 0.6000 0.3000 0.3207
296-AH 0.0000 0.1000 0.3000 0.6000 0.8000 0.3500 0.3162 0.5000 0.8000 0.9035 0.0283 0.0000 0.2500 0.0000 0.8000 0.3500 0.3162
297-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1750 0.1982 0.2000 0.6000 1.1326 0.0056 0.0000 0.1313 0.0000 0.2000 0.1143 0.1069
298-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1500 0.2070 0.2000 0.6000 1.3801 0.0016 0.0000 0.1500 0.0000 0.2000 0.0857 0.1069
299-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1500 0.1414 0.2000 0.4000 0.9428 0.0053 0.0000 0.1125 0.0000 0.4000 0.1500 0.1414
300-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
301-AH 0.0000 0.0000 0.1000 0.5000 0.8000 0.2500 0.3505 0.5000 0.8000 1.4020 0.0020 0.0000 0.2750 0.0000 0.8000 0.2500 0.3505
302-AH 0.0000 0.2000 0.3000 0.4000 0.6000 0.3000 0.1852 0.2000 0.6000 0.6172 0.0863 0.0001 0.1500 0.0000 0.6000 0.3000 0.1852
303-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1750 0.1669 0.3000 0.4000 0.9537 0.0058 0.0000 0.1313 0.0000 0.4000 0.1750 0.1669
304-AH 0.0000 0.2000 0.6000 0.7000 0.8000 0.4750 0.3196 0.5000 0.8000 0.6728 0.0392 0.0000 0.2563 0.0000 0.8000 0.4750 0.3196
305-AH 0.0000 0.0000 0.4000 0.8000 1.0000 0.4250 0.4200 0.8000 1.0000 0.9883 0.0097 0.0000 0.3750 0.0000 1.0000 0.4250 0.4200
306-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
307-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0500 0.1414 0.0000 0.4000 2.8284 0.0000 0.0000 0.0875 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.4000 0.9000 1.0000 1.0000 0.7000 0.4408 0.6000 1.0000 0.6297 0.0532 0.0000 0.3500 0.0000 1.0000 0.7000 0.4408
309-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
310-AH 0.0000 0.1000 0.2000 0.2000 0.4000 0.1750 0.1282 0.1000 0.4000 0.7324 0.0183 0.0000 0.0875 0.0000 0.2000 0.1429 0.0976
311-AH 0.0000 0.1000 0.2000 0.4000 0.6000 0.2500 0.2070 0.3000 0.6000 0.8281 0.0229 0.0000 0.1625 0.0000 0.6000 0.2500 0.2070
312-AH 0.0000 0.0000 0.0000 0.1000 0.8000 0.1250 0.2816 0.1000 0.8000 2.2526 0.0001 0.0000 0.1875 0.0000 0.2000 0.0286 0.0756
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.1000 0.6000 0.8000 0.2750 0.3370 0.6000 0.8000 1.2255 0.0022 0.0000 0.2938 0.0000 0.8000 0.2750 0.3370
316-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2250 0.2493 0.4000 0.6000 1.1079 0.0064 0.0000 0.1875 0.0000 0.6000 0.2250 0.2493
317-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1852 0.2000 0.4000 1.8516 0.0001 0.0000 0.1500 0.0000 0.4000 0.1000 0.1852
318-AH 0.0000 0.0000 0.0000 0.3000 0.4000 0.1250 0.1832 0.3000 0.4000 1.4658 0.0005 0.0000 0.1563 0.0000 0.4000 0.1250 0.1832
319-AH 0.2000 0.2000 0.3000 0.5000 0.6000 0.3500 0.1773 0.3000 0.4000 0.5065 0.3130 0.2824 0.1500 0.2000 0.6000 0.3500 0.1773
320-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.1000 0.2000 0.4000 0.4000 0.2250 0.1669 0.3000 0.4000 0.7418 0.0218 0.0000 0.1313 0.0000 0.4000 0.2250 0.1669
323-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0750 0.1035 0.2000 0.2000 1.3801 0.0004 0.0000 0.0938 0.0000 0.2000 0.0750 0.1035
324-AH 0.0000 0.0000 0.2000 0.6000 0.6000 0.2750 0.3012 0.6000 0.6000 1.0952 0.0023 0.0000 0.2750 0.0000 0.6000 0.2750 0.3012
325-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1512 0.2000 0.4000 1.5119 0.0004 0.0000 0.1250 0.0000 0.4000 0.1000 0.1512
326-AH 0.0000 0.1000 0.4000 0.4000 0.4000 0.2750 0.1832 0.3000 0.4000 0.6663 0.0259 0.0000 0.1563 0.0000 0.4000 0.2750 0.1832
327-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0500 0.1414 0.0000 0.4000 2.8284 0.0000 0.0000 0.0875 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.1000 0.5000 0.8000 0.8000 0.4500 0.3505 0.7000 0.8000 0.7789 0.0354 0.0000 0.3000 0.0000 0.8000 0.4500 0.3505
329-AH 0.0000 0.3000 0.7000 1.0000 1.0000 0.6250 0.4200 0.7000 1.0000 0.6721 0.0481 0.0000 0.3250 0.0000 1.0000 0.6250 0.4200
330-AH 0.2000 0.5000 0.8000 1.0000 1.0000 0.7250 0.3370 0.5000 0.8000 0.4648 0.6151 0.4776 0.2625 0.2000 1.0000 0.7250 0.3370
331-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
332-AH 0.0000 0.1000 0.4000 0.4000 0.4000 0.2750 0.1832 0.3000 0.4000 0.6663 0.0259 0.0000 0.1563 0.0000 0.4000 0.2750 0.1832
333-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5345 1.0000 1.0000 1.0690 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5345
334-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1250 0.1488 0.2000 0.4000 1.1904 0.0015 0.0000 0.1250 0.0000 0.4000 0.1250 0.1488
335-AH 0.0000 0.0000 0.1000 0.3000 0.4000 0.1500 0.1773 0.3000 0.4000 1.1819 0.0017 0.0000 0.1500 0.0000 0.4000 0.1500 0.1773
336-AH 0.0000 0.0000 0.0000 0.1000 0.6000 0.1000 0.2138 0.1000 0.6000 2.1381 0.0001 0.0000 0.1500 0.0000 0.2000 0.0286 0.0756
337-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6750 0.4268 0.6000 1.0000 0.6323 0.0517 0.0000 0.3375 0.0000 1.0000 0.6750 0.4268
338-AH 0.0000 0.1000 0.4000 0.8000 0.8000 0.4250 0.3454 0.7000 0.8000 0.8127 0.0336 0.0000 0.2813 0.0000 0.8000 0.4250 0.3454
339-AH 0.0000 0.1000 0.2000 0.5000 1.0000 0.3250 0.3370 0.4000 1.0000 1.0369 0.0257 0.0000 0.2563 0.0000 1.0000 0.3250 0.3370
340-AH 0.0000 0.0000 0.1000 0.4000 0.4000 0.1750 0.1982 0.4000 0.4000 1.1326 0.0018 0.0000 0.1750 0.0000 0.4000 0.1750 0.1982
187
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.3000 0.5000 0.7000 0.8000 0.4750 0.2816 0.4000 0.8000 0.5928 0.1284 0.0001 0.2250 0.0000 0.8000 0.4750 0.2816
342-AH 0.2000 0.4000 0.8000 0.8000 1.0000 0.6500 0.2976 0.4000 0.8000 0.4579 0.5611 0.4528 0.2375 0.2000 1.0000 0.6500 0.2976
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.1000 0.5000 0.9000 1.0000 0.5000 0.4140 0.8000 1.0000 0.8281 0.0374 0.0000 0.3500 0.0000 1.0000 0.5000 0.4140
345-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0500 0.1414 0.0000 0.4000 2.8284 0.0000 0.0000 0.0875 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3000 0.1852 0.2000 0.4000 0.6172 0.0283 0.0000 0.1500 0.0000 0.4000 0.3000 0.1852
349-AH 0.0000 0.2000 0.8000 0.9000 1.0000 0.6000 0.4140 0.7000 1.0000 0.6901 0.0461 0.0000 0.3500 0.0000 1.0000 0.6000 0.4140
350-AH 0.0000 0.3000 0.6000 0.7000 1.0000 0.5250 0.3536 0.4000 1.0000 0.6734 0.0424 0.0000 0.2625 0.0000 1.0000 0.5250 0.3536
188
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0625 0.0518 0.1000 0.1000 0.8281 0.0032 0.0000 0.0469 0.0000 0.1000 0.0625 0.0518
142-AH 0.0000 0.3000 0.6500 0.7500 0.8000 0.5250 0.3327 0.4500 0.8000 0.6338 0.0428 0.0000 0.2625 0.0000 0.8000 0.5250 0.3327
143-AH 0.0000 0.0000 0.2500 0.9000 1.0000 0.4125 0.4673 0.9000 1.0000 1.1329 0.0028 0.0000 0.4125 0.0000 1.0000 0.4125 0.4673
144-AH 0.0000 0.0500 0.2000 0.2000 0.2000 0.1375 0.0916 0.1500 0.2000 0.6663 0.0154 0.0000 0.0781 0.0000 0.2000 0.1375 0.0916
145-AH 0.0000 0.1000 0.6000 0.9000 0.9000 0.5125 0.4086 0.8000 0.9000 0.7973 0.0383 0.0000 0.3625 0.0000 0.9000 0.5125 0.4086
146-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0463 0.0500 0.1000 0.6172 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0463
147-AH 0.0000 0.0000 0.2000 0.5000 0.8000 0.2750 0.3196 0.5000 0.8000 1.1622 0.0069 0.0000 0.2500 0.0000 0.8000 0.2750 0.3196
148-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0535 0.1000 0.1000 1.0690 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0535
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0926 0.1000 0.2000 1.8516 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0926
151-AH 0.0000 0.0000 0.0000 0.0500 0.5000 0.0750 0.1753 0.0500 0.5000 2.3367 0.0001 0.0000 0.1125 0.0000 0.1000 0.0143 0.0378
152-AH 0.0000 0.0000 0.1000 0.2500 0.5000 0.1500 0.1852 0.2500 0.5000 1.2344 0.0017 0.0000 0.1500 0.0000 0.5000 0.1500 0.1852
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.1500 0.4000 0.6000 0.7000 0.3750 0.2659 0.4500 0.7000 0.7091 0.0962 0.0001 0.2250 0.0000 0.7000 0.3750 0.2659
155-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0750 0.1035 0.2000 0.2000 1.3801 0.0004 0.0000 0.0938 0.0000 0.2000 0.0750 0.1035
156-AH 0.0000 0.0500 0.1000 0.2000 0.5000 0.1500 0.1604 0.1500 0.5000 1.0690 0.0145 0.0000 0.1125 0.0000 0.2000 0.1000 0.0816
157-AH 0.1000 0.3000 0.6000 0.6000 0.7000 0.4750 0.2375 0.3000 0.6000 0.5001 0.3820 0.2658 0.1875 0.1000 0.7000 0.4750 0.2375
158-AH 0.0000 0.0000 0.4000 0.5500 0.7000 0.3250 0.2866 0.5500 0.7000 0.8819 0.0087 0.0000 0.2438 0.0000 0.7000 0.3250 0.2866
159-AH 0.0000 0.0000 0.0500 0.2000 0.4000 0.1125 0.1458 0.2000 0.4000 1.2958 0.0014 0.0000 0.1156 0.0000 0.4000 0.1125 0.1458
160-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0375 0.0518 0.1000 0.1000 1.3801 0.0003 0.0000 0.0469 0.0000 0.1000 0.0375 0.0518
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0463 0.0500 0.1000 0.6172 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0463
163-AH 0.3000 0.7000 0.9000 0.9500 1.0000 0.8000 0.2390 0.2500 0.7000 0.2988 0.7545 0.6906 0.1750 0.6000 1.0000 0.8714 0.1380
164-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0125 0.0354 0.0000 0.1000 2.8284 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0463 0.0500 0.1000 0.6172 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0463
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.1000 0.0756 0.1000 0.2000 0.7559 0.0119 0.0000 0.0500 0.0000 0.2000 0.1000 0.0756
168-AH 0.0000 0.0000 0.0500 0.2000 0.8000 0.1625 0.2722 0.2000 0.8000 1.6752 0.0015 0.0000 0.1781 0.0000 0.2000 0.0714 0.0951
169-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0750 0.0886 0.1500 0.2000 1.1819 0.0012 0.0000 0.0750 0.0000 0.2000 0.0750 0.0886
170-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0535 0.1000 0.1000 1.0690 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0535
171-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.0926 0.2000 0.2000 0.9258 0.0041 0.0000 0.0750 0.0000 0.2000 0.1000 0.0926
172-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0125 0.0354 0.0000 0.1000 2.8284 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000
173-AH 0.1000 0.1500 0.2000 0.2000 0.2000 0.1750 0.0463 0.0500 0.1000 0.2645 0.1682 0.1600 0.0375 0.1000 0.2000 0.1750 0.0463
174-AH 0.1000 0.1500 0.2000 0.2000 0.2000 0.1750 0.0463 0.0500 0.1000 0.2645 0.1682 0.1600 0.0375 0.1000 0.2000 0.1750 0.0463
175-AH 0.0000 0.1500 0.4000 0.5000 0.5000 0.3250 0.2188 0.3500 0.5000 0.6731 0.0294 0.0000 0.1750 0.0000 0.5000 0.3250 0.2188
176-AH 0.3000 0.7000 1.0000 1.0000 1.0000 0.8375 0.3021 0.3000 0.7000 0.3607 0.7672 0.6761 0.2437 0.3000 1.0000 0.8375 0.3021
177-AH 0.0000 0.2000 0.3500 0.4000 0.5000 0.3000 0.1690 0.2000 0.5000 0.5634 0.0856 0.0001 0.1250 0.0000 0.5000 0.3000 0.1690
178-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0375 0.0518 0.1000 0.1000 1.3801 0.0003 0.0000 0.0469 0.0000 0.1000 0.0375 0.0518
179-AH 0.0000 0.0000 0.1000 0.2500 1.0000 0.2125 0.3399 0.2500 1.0000 1.5996 0.0018 0.0000 0.2188 0.0000 0.3000 0.1000 0.1291
180-AH 0.0000 0.0000 0.0000 0.5500 0.9000 0.2500 0.3625 0.5500 0.9000 1.4501 0.0006 0.0000 0.3125 0.0000 0.9000 0.2500 0.3625
181-AH 0.0000 0.4000 0.9000 0.9500 1.0000 0.6875 0.4291 0.5500 1.0000 0.6241 0.0526 0.0000 0.3437 0.0000 1.0000 0.6875 0.4291
182-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0375 0.0518 0.1000 0.1000 1.3801 0.0003 0.0000 0.0469 0.0000 0.1000 0.0375 0.0518
183-AH 0.0000 0.1000 0.2000 0.2500 0.3000 0.1750 0.1035 0.1500 0.3000 0.5915 0.0540 0.0001 0.0813 0.0000 0.3000 0.1750 0.1035
184-AH 0.0000 0.0000 0.0500 0.2000 0.5000 0.1250 0.1832 0.2000 0.5000 1.4658 0.0014 0.0000 0.1375 0.0000 0.5000 0.1250 0.1832
185-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0463 0.0500 0.1000 0.6172 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0463
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0125 0.0354 0.0000 0.1000 2.8284 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.3000 0.6500 0.7000 0.7000 0.5000 0.3117 0.4000 0.7000 0.6234 0.0414 0.0000 0.2500 0.0000 0.7000 0.5000 0.3117
190-AH 0.0000 0.0000 0.0500 0.2000 0.3000 0.1000 0.1195 0.2000 0.3000 1.1952 0.0014 0.0000 0.1000 0.0000 0.3000 0.1000 0.1195
189
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0500 0.1500 0.2000 0.5000 0.1625 0.1598 0.1500 0.5000 0.9834 0.0159 0.0000 0.1125 0.0000 0.2000 0.1143 0.0900
193-AH 0.0000 0.1000 0.3000 0.3000 0.6000 0.2500 0.1927 0.2000 0.6000 0.7709 0.0236 0.0000 0.1375 0.0000 0.6000 0.2500 0.1927
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0463 0.0500 0.1000 0.6172 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0463
197-AH 0.0000 0.3000 0.8500 1.0000 1.0000 0.6625 0.4373 0.7000 1.0000 0.6601 0.0505 0.0000 0.3469 0.0000 1.0000 0.6625 0.4373
198-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0125 0.0354 0.0000 0.1000 2.8284 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.2500 0.4500 0.5500 0.6000 0.3875 0.2232 0.3000 0.6000 0.5760 0.1047 0.0001 0.1688 0.0000 0.6000 0.3875 0.2232
200-AH 0.0000 0.0000 0.0500 0.5500 0.6000 0.2250 0.2866 0.5500 0.6000 1.2738 0.0019 0.0000 0.2563 0.0000 0.6000 0.2250 0.2866
251-AH 0.0000 0.4000 0.9000 1.0000 1.0000 0.7000 0.4375 0.6000 1.0000 0.6250 0.0533 0.0000 0.3500 0.0000 1.0000 0.7000 0.4375
252-AH 0.0000 0.1500 0.3000 0.4500 0.7000 0.3125 0.2475 0.3000 0.7000 0.7920 0.0276 0.0000 0.1687 0.0000 0.7000 0.3125 0.2475
253-AH 0.0000 0.2000 0.5000 0.7000 0.9000 0.4625 0.3292 0.5000 0.9000 0.7119 0.0380 0.0000 0.2469 0.0000 0.9000 0.4625 0.3292
254-AH 0.0000 0.0000 0.0500 0.2500 0.5000 0.1375 0.1847 0.2500 0.5000 1.3431 0.0015 0.0000 0.1469 0.0000 0.5000 0.1375 0.1847
255-AH 0.0000 0.0500 0.1000 0.1000 0.3000 0.1000 0.0926 0.0500 0.3000 0.9258 0.0115 0.0000 0.0500 0.0000 0.1000 0.0714 0.0488
256-AH 0.0000 0.4000 0.9000 1.0000 1.0000 0.7000 0.4375 0.6000 1.0000 0.6250 0.0533 0.0000 0.3500 0.0000 1.0000 0.7000 0.4375
257-AH 0.0000 0.0500 0.2000 0.5000 0.7000 0.2750 0.2712 0.4500 0.7000 0.9863 0.0218 0.0000 0.2250 0.0000 0.7000 0.2750 0.2712
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0625 0.0744 0.1000 0.2000 1.1904 0.0011 0.0000 0.0625 0.0000 0.2000 0.0625 0.0744
260-AH 0.0000 0.0000 0.3500 0.7500 0.8000 0.3750 0.4027 0.7500 0.8000 1.0738 0.0027 0.0000 0.3750 0.0000 0.8000 0.3750 0.4027
261-AH 0.1000 0.1500 0.2500 0.3000 0.4000 0.2375 0.1061 0.1500 0.3000 0.4466 0.2135 0.1882 0.0875 0.1000 0.4000 0.2375 0.1061
262-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0375 0.0518 0.1000 0.1000 1.3801 0.0003 0.0000 0.0469 0.0000 0.1000 0.0375 0.0518
263-AH 0.0000 0.0000 0.1000 0.2500 0.4000 0.1375 0.1506 0.2500 0.4000 1.0952 0.0047 0.0000 0.1219 0.0000 0.4000 0.1375 0.1506
264-AH 0.0000 0.2000 0.5500 0.7500 0.9000 0.4875 0.3482 0.5500 0.9000 0.7143 0.0394 0.0000 0.2656 0.0000 0.9000 0.4875 0.3482
265-AH 0.0000 0.0000 0.1500 0.2000 0.3000 0.1250 0.1165 0.2000 0.3000 0.9320 0.0047 0.0000 0.1000 0.0000 0.3000 0.1250 0.1165
266-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0375 0.0518 0.1000 0.1000 1.3801 0.0003 0.0000 0.0469 0.0000 0.1000 0.0375 0.0518
267-AH 0.0000 0.0000 0.2000 0.3500 0.4000 0.1875 0.1808 0.3500 0.4000 0.9641 0.0059 0.0000 0.1625 0.0000 0.4000 0.1875 0.1808
268-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1069 0.2000 0.2000 1.0690 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1069
269-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.4000 0.9500 1.0000 1.0000 0.7125 0.4454 0.6000 1.0000 0.6251 0.0540 0.0000 0.3562 0.0000 1.0000 0.7125 0.4454
271-AH 0.0000 0.2000 0.7500 0.8000 0.8000 0.5375 0.3583 0.6000 0.8000 0.6666 0.0429 0.0000 0.3031 0.0000 0.8000 0.5375 0.3583
272-AH 0.0000 0.0500 0.2000 0.3000 0.5000 0.2000 0.1773 0.2500 0.5000 0.8864 0.0189 0.0000 0.1250 0.0000 0.5000 0.2000 0.1773
273-AH 0.0000 0.0500 0.4500 0.9000 1.0000 0.4750 0.4590 0.8500 1.0000 0.9664 0.0300 0.0000 0.4250 0.0000 1.0000 0.4750 0.4590
274-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0625 0.0744 0.1000 0.2000 1.1904 0.0011 0.0000 0.0625 0.0000 0.2000 0.0625 0.0744
275-AH 0.0000 0.0500 0.2000 0.4000 0.6000 0.2375 0.2200 0.3500 0.6000 0.9262 0.0203 0.0000 0.1875 0.0000 0.6000 0.2375 0.2200
276-AH 0.0000 0.3500 0.5000 0.7000 0.7000 0.4750 0.2493 0.3500 0.7000 0.5248 0.1331 0.0001 0.2000 0.0000 0.7000 0.4750 0.2493
277-AH 0.0000 0.1000 0.1000 0.1500 0.3000 0.1250 0.0886 0.0500 0.3000 0.7091 0.0396 0.0001 0.0625 0.1000 0.2000 0.1167 0.0408
278-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0750 0.0886 0.1500 0.2000 1.1819 0.0012 0.0000 0.0750 0.0000 0.2000 0.0750 0.0886
279-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0756 0.1000 0.2000 1.5119 0.0003 0.0000 0.0625 0.0000 0.2000 0.0500 0.0756
280-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0375 0.0744 0.0500 0.2000 1.9841 0.0001 0.0000 0.0563 0.0000 0.1000 0.0143 0.0378
281-AH 0.0000 0.1000 0.4500 0.7500 0.8000 0.4250 0.3576 0.6500 0.8000 0.8413 0.0325 0.0000 0.3250 0.0000 0.8000 0.4250 0.3576
282-AH 0.0000 0.1000 0.2000 0.3500 0.4000 0.2125 0.1553 0.2500 0.4000 0.7307 0.0210 0.0000 0.1156 0.0000 0.4000 0.2125 0.1553
283-AH 0.0000 0.1500 0.3500 0.5000 0.7000 0.3375 0.2504 0.3500 0.7000 0.7418 0.0297 0.0000 0.1875 0.0000 0.7000 0.3375 0.2504
284-AH 0.0000 0.0000 0.2500 0.4000 0.6000 0.2375 0.2387 0.4000 0.6000 1.0049 0.0067 0.0000 0.2125 0.0000 0.6000 0.2375 0.2387
285-AH 0.0000 0.0500 0.2000 0.5000 1.0000 0.3125 0.3441 0.4500 1.0000 1.1011 0.0236 0.0000 0.2656 0.0000 1.0000 0.3125 0.3441
286-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0125 0.0354 0.0000 0.1000 2.8284 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0500 0.1500 0.4000 0.6000 0.2250 0.2252 0.3500 0.6000 1.0009 0.0191 0.0000 0.1813 0.0000 0.6000 0.2250 0.2252
288-AH 0.0000 0.1500 0.3500 0.5000 0.5000 0.3125 0.2100 0.3500 0.5000 0.6721 0.0286 0.0000 0.1625 0.0000 0.5000 0.3125 0.2100
289-AH 0.0000 0.0000 0.3000 0.6000 0.7000 0.3125 0.3357 0.6000 0.7000 1.0742 0.0025 0.0000 0.3125 0.0000 0.7000 0.3125 0.3357
290-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1125 0.1246 0.2000 0.3000 1.1079 0.0015 0.0000 0.1125 0.0000 0.3000 0.1125 0.1246
190
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0500 0.1000 0.7500 1.0000 0.3500 0.4309 0.7000 1.0000 1.2313 0.0217 0.0000 0.3625 0.0000 1.0000 0.3500 0.4309
292-AH 0.0000 0.0500 0.1500 0.3000 0.4000 0.1750 0.1581 0.2500 0.4000 0.9035 0.0168 0.0000 0.1250 0.0000 0.4000 0.1750 0.1581
293-AH 0.0000 0.0000 0.3500 0.7500 0.9000 0.3875 0.4190 0.7500 0.9000 1.0812 0.0028 0.0000 0.3875 0.0000 0.9000 0.3875 0.4190
294-AH 0.0000 0.1500 0.3500 0.4500 0.6000 0.3125 0.2167 0.3000 0.6000 0.6935 0.0285 0.0000 0.1625 0.0000 0.6000 0.3125 0.2167
295-AH 0.0000 0.0000 0.1500 0.3000 0.5000 0.1750 0.1982 0.3000 0.5000 1.1326 0.0018 0.0000 0.1750 0.0000 0.5000 0.1750 0.1982
296-AH 0.0000 0.1500 0.4500 0.6500 0.8000 0.4125 0.3091 0.5000 0.8000 0.7493 0.0341 0.0000 0.2625 0.0000 0.8000 0.4125 0.3091
297-AH 0.0000 0.0000 0.1000 0.2500 0.4000 0.1375 0.1685 0.2500 0.4000 1.2255 0.0045 0.0000 0.1313 0.0000 0.4000 0.1375 0.1685
298-AH 0.0000 0.1000 0.1000 0.2500 0.6000 0.1875 0.1885 0.1500 0.6000 1.0054 0.0495 0.0001 0.1344 0.0000 0.3000 0.1286 0.0951
299-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2000 0.1309 0.2000 0.4000 0.6547 0.0589 0.0001 0.1000 0.0000 0.4000 0.2000 0.1309
300-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0125 0.0354 0.0000 0.1000 2.8284 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000
301-AH 0.0000 0.0000 0.0500 0.3000 0.6000 0.1625 0.2446 0.3000 0.6000 1.5051 0.0015 0.0000 0.1938 0.0000 0.6000 0.1625 0.2446
302-AH 0.1000 0.2500 0.3000 0.3500 0.4000 0.2875 0.0991 0.1000 0.3000 0.3447 0.2671 0.2400 0.0688 0.2000 0.4000 0.3143 0.0690
303-AH 0.0000 0.0000 0.1500 0.3000 0.3000 0.1500 0.1414 0.3000 0.3000 0.9428 0.0052 0.0000 0.1250 0.0000 0.3000 0.1500 0.1414
304-AH 0.0000 0.1500 0.3500 0.4000 0.5000 0.2875 0.1885 0.2500 0.5000 0.6557 0.0271 0.0000 0.1438 0.0000 0.5000 0.2875 0.1885
305-AH 0.0000 0.0500 0.3500 0.5000 0.6000 0.3000 0.2390 0.4500 0.6000 0.7968 0.0255 0.0000 0.2000 0.0000 0.6000 0.3000 0.2390
306-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
307-AH 0.0000 0.0000 0.0000 0.0500 0.6000 0.0875 0.2100 0.0500 0.6000 2.4002 0.0001 0.0000 0.1313 0.0000 0.1000 0.0143 0.0378
308-AH 0.0000 0.2500 0.6500 0.7000 0.8000 0.5000 0.3207 0.4500 0.8000 0.6414 0.0412 0.0000 0.2500 0.0000 0.8000 0.5000 0.3207
309-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0375 0.0744 0.0500 0.2000 1.9841 0.0001 0.0000 0.0563 0.0000 0.1000 0.0143 0.0378
310-AH 0.0000 0.0500 0.1500 0.2000 0.2000 0.1250 0.0886 0.1500 0.2000 0.7091 0.0141 0.0000 0.0750 0.0000 0.2000 0.1250 0.0886
311-AH 0.1000 0.1500 0.3000 0.4000 0.5000 0.2875 0.1458 0.2500 0.4000 0.5070 0.2482 0.2069 0.1156 0.1000 0.5000 0.2875 0.1458
312-AH 0.0000 0.0000 0.0000 0.1500 0.8000 0.1375 0.2875 0.1500 0.8000 2.0912 0.0001 0.0000 0.2063 0.0000 0.3000 0.0429 0.1134
313-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0375 0.0518 0.1000 0.1000 1.3801 0.0003 0.0000 0.0469 0.0000 0.1000 0.0375 0.0518
315-AH 0.0000 0.0000 0.2000 0.6500 0.7000 0.3000 0.3162 0.6500 0.7000 1.0541 0.0077 0.0000 0.2750 0.0000 0.7000 0.3000 0.3162
316-AH 0.0000 0.0500 0.1000 0.3000 0.5000 0.1750 0.1753 0.2500 0.5000 1.0015 0.0161 0.0000 0.1438 0.0000 0.5000 0.1750 0.1753
317-AH 0.0000 0.0000 0.0000 0.1500 0.3000 0.0750 0.1165 0.1500 0.3000 1.5533 0.0004 0.0000 0.0938 0.0000 0.3000 0.0750 0.1165
318-AH 0.0000 0.0500 0.1000 0.3000 0.5000 0.1750 0.1832 0.2500 0.5000 1.0470 0.0159 0.0000 0.1438 0.0000 0.5000 0.1750 0.1832
319-AH 0.1000 0.1500 0.2000 0.4000 0.5000 0.2625 0.1598 0.2500 0.4000 0.6088 0.2225 0.1890 0.1281 0.1000 0.5000 0.2625 0.1598
320-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0750 0.0886 0.1500 0.2000 1.1819 0.0012 0.0000 0.0750 0.0000 0.2000 0.0750 0.0886
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.1000 0.2000 0.2500 0.3000 0.1750 0.1165 0.1500 0.3000 0.6657 0.0186 0.0000 0.0875 0.0000 0.3000 0.1750 0.1165
323-AH 0.0000 0.0000 0.0500 0.1000 0.3000 0.0750 0.1035 0.1000 0.3000 1.3801 0.0011 0.0000 0.0750 0.0000 0.1000 0.0429 0.0535
324-AH 0.0000 0.0000 0.1500 0.6000 0.7000 0.2750 0.3151 0.6000 0.7000 1.1458 0.0023 0.0000 0.2750 0.0000 0.7000 0.2750 0.3151
325-AH 0.0000 0.0500 0.1000 0.2000 0.6000 0.1625 0.1923 0.1500 0.6000 1.1831 0.0149 0.0000 0.1281 0.0000 0.2000 0.1000 0.0816
326-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
327-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0375 0.1061 0.0000 0.3000 2.8284 0.0000 0.0000 0.0656 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.3000 0.4500 0.5500 0.7000 0.4125 0.2232 0.2500 0.7000 0.5411 0.1164 0.0001 0.1625 0.0000 0.7000 0.4125 0.2232
329-AH 0.0000 0.2500 0.6000 0.7500 0.8000 0.5000 0.3251 0.5000 0.8000 0.6503 0.0411 0.0000 0.2500 0.0000 0.8000 0.5000 0.3251
330-AH 0.1000 0.4500 0.7500 0.8500 1.0000 0.6500 0.3251 0.4000 0.9000 0.5002 0.5235 0.3561 0.2500 0.1000 1.0000 0.6500 0.3251
331-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0625 0.0744 0.1000 0.2000 1.1904 0.0011 0.0000 0.0625 0.0000 0.2000 0.0625 0.0744
332-AH 0.0000 0.1000 0.3000 0.3000 0.4000 0.2250 0.1488 0.2000 0.4000 0.6614 0.0225 0.0000 0.1188 0.0000 0.4000 0.2250 0.1488
333-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2500 0.2673 0.5000 0.5000 1.0690 0.0022 0.0000 0.2500 0.0000 0.5000 0.2500 0.2673
334-AH 0.0000 0.0000 0.0500 0.2000 0.2000 0.0875 0.0991 0.2000 0.2000 1.1326 0.0013 0.0000 0.0875 0.0000 0.2000 0.0875 0.0991
335-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1069 0.2000 0.2000 1.0690 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1069
336-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1125 0.1246 0.2000 0.3000 1.1079 0.0042 0.0000 0.0938 0.0000 0.3000 0.1125 0.1246
337-AH 0.0000 0.4000 0.8000 0.9000 0.9000 0.6375 0.3962 0.5000 0.9000 0.6215 0.0497 0.0000 0.3187 0.0000 0.9000 0.6375 0.3962
338-AH 0.0000 0.0500 0.2500 0.6000 0.8000 0.3250 0.3105 0.5500 0.8000 0.9555 0.0253 0.0000 0.2562 0.0000 0.8000 0.3250 0.3105
339-AH 0.0000 0.0500 0.2000 0.5000 0.7000 0.2750 0.2659 0.4500 0.7000 0.9670 0.0219 0.0000 0.2250 0.0000 0.7000 0.2750 0.2659
340-AH 0.0000 0.0000 0.1000 0.2500 0.3000 0.1250 0.1389 0.2500 0.3000 1.1110 0.0016 0.0000 0.1250 0.0000 0.3000 0.1250 0.1389
191
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.1500 0.3000 0.4000 0.4000 0.2625 0.1506 0.2500 0.4000 0.5737 0.0763 0.0001 0.1219 0.0000 0.4000 0.2625 0.1506
342-AH 0.1000 0.4500 0.8000 0.8500 0.9000 0.6500 0.3423 0.4000 0.8000 0.5266 0.4899 0.2939 0.2750 0.1000 0.9000 0.6500 0.3423
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0500 0.6000 0.8000 1.0000 0.4875 0.4016 0.7500 1.0000 0.8237 0.0350 0.0000 0.3406 0.0000 1.0000 0.4875 0.4016
345-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0375 0.1061 0.0000 0.3000 2.8284 0.0000 0.0000 0.0656 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0625 0.0744 0.1000 0.2000 1.1904 0.0011 0.0000 0.0625 0.0000 0.2000 0.0625 0.0744
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1500 0.0926 0.1000 0.2000 0.6172 0.0168 0.0000 0.0750 0.0000 0.2000 0.1500 0.0926
349-AH 0.0000 0.2000 0.5500 0.7000 0.8000 0.4625 0.2973 0.5000 0.8000 0.6428 0.1171 0.0001 0.2469 0.0000 0.8000 0.4625 0.2973
350-AH 0.0000 0.3500 0.5000 0.6000 0.6000 0.4375 0.2200 0.2500 0.6000 0.5028 0.1235 0.0001 0.1688 0.0000 0.6000 0.4375 0.2200
192
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0309 0.0333 0.0667 0.6172 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0309
142-AH 0.0000 0.2667 0.4667 0.5333 0.5333 0.3833 0.2189 0.2667 0.5333 0.5712 0.1003 0.0001 0.1750 0.0000 0.5333 0.3833 0.2189
143-AH 0.0000 0.0000 0.2667 0.7667 1.0000 0.3833 0.4375 0.7667 1.0000 1.1414 0.0027 0.0000 0.3833 0.0000 1.0000 0.3833 0.4375
144-AH 0.0000 0.0333 0.1333 0.1333 0.1333 0.0917 0.0611 0.1000 0.1333 0.6663 0.0114 0.0000 0.0521 0.0000 0.1333 0.0917 0.0611
145-AH 0.0000 0.1000 0.5000 0.8333 0.8667 0.4667 0.3871 0.7333 0.8667 0.8295 0.0352 0.0000 0.3500 0.0000 0.8667 0.4667 0.3871
146-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0309 0.0333 0.0667 0.6172 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0309
147-AH 0.0000 0.0333 0.2000 0.5333 0.8000 0.2917 0.3226 0.5000 0.8000 1.1059 0.0203 0.0000 0.2583 0.0000 0.8000 0.2917 0.3226
148-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0356 0.0667 0.0667 1.0690 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0356
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.1000 0.1333 0.0417 0.0611 0.1000 0.1333 1.4658 0.0003 0.0000 0.0521 0.0000 0.1333 0.0417 0.0611
151-AH 0.0000 0.0000 0.0667 0.0667 0.3333 0.0750 0.1095 0.0667 0.3333 1.4596 0.0030 0.0000 0.0646 0.0000 0.0667 0.0381 0.0356
152-AH 0.0000 0.0000 0.0667 0.2000 0.3333 0.1083 0.1330 0.2000 0.3333 1.2280 0.0014 0.0000 0.1083 0.0000 0.3333 0.1083 0.1330
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.1333 0.3333 0.4667 0.5333 0.3000 0.1952 0.3333 0.5333 0.6506 0.0803 0.0001 0.1583 0.0000 0.5333 0.3000 0.1952
155-AH 0.0000 0.0000 0.0000 0.1333 0.1333 0.0500 0.0690 0.1333 0.1333 1.3801 0.0004 0.0000 0.0625 0.0000 0.1333 0.0500 0.0690
156-AH 0.0000 0.0333 0.0667 0.2000 0.4000 0.1250 0.1400 0.1667 0.4000 1.1201 0.0120 0.0000 0.1063 0.0000 0.4000 0.1250 0.1400
157-AH 0.0667 0.3000 0.5667 0.6333 0.6667 0.4667 0.2364 0.3333 0.6000 0.5065 0.3704 0.2435 0.1833 0.0667 0.6667 0.4667 0.2364
158-AH 0.0000 0.0333 0.3000 0.5667 0.6000 0.3000 0.2594 0.5333 0.6000 0.8648 0.0241 0.0000 0.2167 0.0000 0.6000 0.3000 0.2594
159-AH 0.0000 0.0000 0.0333 0.1333 0.3333 0.0833 0.1168 0.1333 0.3333 1.4020 0.0012 0.0000 0.0875 0.0000 0.3333 0.0833 0.1168
160-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0356 0.0667 0.0667 1.0690 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0356
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0309 0.0333 0.0667 0.6172 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0309
163-AH 0.2667 0.7333 0.8000 0.9333 1.0000 0.7750 0.2335 0.2000 0.7333 0.3013 0.7280 0.6582 0.1542 0.6667 1.0000 0.8476 0.1200
164-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0167 0.0471 0.0000 0.1333 2.8284 0.0000 0.0000 0.0292 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0309 0.0333 0.0667 0.6172 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0309
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0333 0.0667 0.1000 0.2000 0.0750 0.0661 0.0667 0.2000 0.8809 0.0092 0.0000 0.0458 0.0000 0.2000 0.0750 0.0661
168-AH 0.0000 0.0000 0.1000 0.3333 0.6667 0.1917 0.2454 0.3333 0.6667 1.2805 0.0019 0.0000 0.1917 0.0000 0.6667 0.1917 0.2454
169-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0500 0.0591 0.1000 0.1333 1.1819 0.0010 0.0000 0.0500 0.0000 0.1333 0.0500 0.0591
170-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0356 0.0667 0.0667 1.0690 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0356
171-AH 0.0000 0.0000 0.1000 0.1333 0.1333 0.0750 0.0661 0.1333 0.1333 0.8809 0.0035 0.0000 0.0583 0.0000 0.1333 0.0750 0.0661
172-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0167 0.0309 0.0333 0.0667 1.8516 0.0001 0.0000 0.0250 0.0000 0.0667 0.0167 0.0309
173-AH 0.0667 0.1000 0.1333 0.1333 0.1333 0.1167 0.0309 0.0333 0.0667 0.2645 0.1121 0.1067 0.0250 0.0667 0.1333 0.1167 0.0309
174-AH 0.0667 0.1000 0.1333 0.1333 0.1333 0.1167 0.0309 0.0333 0.0667 0.2645 0.1121 0.1067 0.0250 0.0667 0.1333 0.1167 0.0309
175-AH 0.0000 0.1000 0.3000 0.3667 0.4000 0.2417 0.1631 0.2667 0.4000 0.6747 0.0236 0.0000 0.1313 0.0000 0.4000 0.2417 0.1631
176-AH 0.3333 0.7000 0.9667 1.0000 1.0000 0.8333 0.2714 0.3000 0.6667 0.3257 0.7789 0.7089 0.2167 0.3333 1.0000 0.8333 0.2714
177-AH 0.0000 0.2333 0.2667 0.3000 0.4000 0.2500 0.1168 0.0667 0.4000 0.4673 0.0778 0.0001 0.0750 0.2000 0.4000 0.2857 0.0634
178-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0356 0.0667 0.0667 1.0690 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0356
179-AH 0.0000 0.0000 0.1000 0.2333 0.8667 0.1917 0.2948 0.2333 0.8667 1.5381 0.0018 0.0000 0.1917 0.0000 0.2667 0.0952 0.1208
180-AH 0.0000 0.0000 0.0000 0.5000 0.8667 0.2333 0.3418 0.5000 0.8667 1.4648 0.0006 0.0000 0.2917 0.0000 0.8667 0.2333 0.3418
181-AH 0.0000 0.4333 0.9000 0.9333 1.0000 0.6917 0.4109 0.5000 1.0000 0.5940 0.1574 0.0001 0.3292 0.0000 1.0000 0.6917 0.4109
182-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0583 0.0661 0.0667 0.2000 1.1326 0.0028 0.0000 0.0438 0.0000 0.0667 0.0381 0.0356
183-AH 0.0000 0.0667 0.2667 0.2667 0.2667 0.1833 0.1168 0.2000 0.2667 0.6373 0.0527 0.0001 0.1042 0.0000 0.2667 0.1833 0.1168
184-AH 0.0000 0.0000 0.1000 0.1667 0.3333 0.1083 0.1179 0.1667 0.3333 1.0879 0.0041 0.0000 0.0917 0.0000 0.3333 0.1083 0.1179
185-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0309 0.0333 0.0667 0.6172 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0309
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0167 0.0309 0.0333 0.0667 1.8516 0.0001 0.0000 0.0250 0.0000 0.0667 0.0167 0.0309
188-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0083 0.0236 0.0000 0.0667 2.8284 0.0000 0.0000 0.0146 0.0000 0.0000 0.0000 0.0000
189-AH 0.0000 0.2000 0.4667 0.4667 0.4667 0.3417 0.2121 0.2667 0.4667 0.6209 0.0311 0.0000 0.1708 0.0000 0.4667 0.3417 0.2121
190-AH 0.0000 0.0000 0.0333 0.1333 0.2000 0.0667 0.0797 0.1333 0.2000 1.1952 0.0011 0.0000 0.0667 0.0000 0.2000 0.0667 0.0797
193
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0333 0.1333 0.1333 0.4000 0.1250 0.1257 0.1000 0.4000 1.0054 0.0131 0.0000 0.0771 0.0000 0.1333 0.0857 0.0634
193-AH 0.0000 0.1000 0.2000 0.2333 0.4000 0.1833 0.1321 0.1333 0.4000 0.7207 0.0190 0.0000 0.0917 0.0000 0.4000 0.1833 0.1321
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0309 0.0333 0.0667 0.6172 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0309
197-AH 0.0000 0.3000 0.8333 1.0000 1.0000 0.6583 0.4371 0.7000 1.0000 0.6639 0.0501 0.0000 0.3437 0.0000 1.0000 0.6583 0.4371
198-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0167 0.0309 0.0333 0.0667 1.8516 0.0001 0.0000 0.0250 0.0000 0.0667 0.0167 0.0309
199-AH 0.0000 0.2333 0.4333 0.5000 0.5333 0.3583 0.2076 0.2667 0.5333 0.5793 0.0950 0.0001 0.1625 0.0000 0.5333 0.3583 0.2076
200-AH 0.0000 0.0000 0.0333 0.4000 0.4667 0.1667 0.2138 0.4000 0.4667 1.2829 0.0016 0.0000 0.1917 0.0000 0.4667 0.1667 0.2138
251-AH 0.0000 0.4333 0.9000 0.9333 1.0000 0.6917 0.4290 0.5000 1.0000 0.6203 0.0529 0.0000 0.3458 0.0000 1.0000 0.6917 0.4290
252-AH 0.0000 0.1000 0.2333 0.4000 0.5333 0.2500 0.2039 0.3000 0.5333 0.8157 0.0231 0.0000 0.1500 0.0000 0.5333 0.2500 0.2039
253-AH 0.0000 0.1667 0.4000 0.6333 0.9333 0.4167 0.3338 0.4667 0.9333 0.8011 0.0340 0.0000 0.2500 0.0000 0.9333 0.4167 0.3338
254-AH 0.0000 0.0000 0.0667 0.3000 0.6000 0.1667 0.2197 0.3000 0.6000 1.3180 0.0017 0.0000 0.1750 0.0000 0.6000 0.1667 0.2197
255-AH 0.0000 0.0333 0.0667 0.1000 0.2000 0.0750 0.0661 0.0667 0.2000 0.8809 0.0092 0.0000 0.0458 0.0000 0.2000 0.0750 0.0661
256-AH 0.0000 0.3667 0.8667 0.9000 1.0000 0.6583 0.4132 0.5333 1.0000 0.6276 0.0508 0.0000 0.3292 0.0000 1.0000 0.6583 0.4132
257-AH 0.0000 0.0667 0.2000 0.4333 0.5333 0.2417 0.2136 0.3667 0.5333 0.8840 0.0561 0.0001 0.1917 0.0000 0.5333 0.2417 0.2136
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0500 0.0591 0.1000 0.1333 1.1819 0.0010 0.0000 0.0500 0.0000 0.1333 0.0500 0.0591
260-AH 0.0000 0.0000 0.3000 0.7000 0.8000 0.3500 0.3817 0.7000 0.8000 1.0906 0.0026 0.0000 0.3500 0.0000 0.8000 0.3500 0.3817
261-AH 0.0667 0.1333 0.2333 0.3000 0.3333 0.2167 0.0992 0.1667 0.2667 0.4579 0.1923 0.1649 0.0833 0.0667 0.3333 0.2167 0.0992
262-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0500 0.0471 0.0667 0.1333 0.9428 0.0027 0.0000 0.0375 0.0000 0.1333 0.0500 0.0471
263-AH 0.0000 0.0000 0.0667 0.3000 0.3333 0.1333 0.1512 0.3000 0.3333 1.1339 0.0044 0.0000 0.1333 0.0000 0.3333 0.1333 0.1512
264-AH 0.0000 0.1667 0.4333 0.6333 0.7333 0.4000 0.2806 0.4667 0.7333 0.7015 0.0341 0.0000 0.2167 0.0000 0.7333 0.4000 0.2806
265-AH 0.0000 0.0667 0.1667 0.2000 0.2667 0.1417 0.0972 0.1333 0.2667 0.6860 0.0158 0.0000 0.0750 0.0000 0.2667 0.1417 0.0972
266-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0500 0.0591 0.1000 0.1333 1.1819 0.0010 0.0000 0.0500 0.0000 0.1333 0.0500 0.0591
267-AH 0.0000 0.0333 0.2000 0.3333 0.3333 0.1833 0.1623 0.3000 0.3333 0.8854 0.0165 0.0000 0.1500 0.0000 0.3333 0.1833 0.1623
268-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0667 0.0713 0.1333 0.1333 1.0690 0.0012 0.0000 0.0667 0.0000 0.1333 0.0667 0.0713
269-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.3333 0.7667 0.9000 0.9333 0.6167 0.3916 0.5667 0.9333 0.6350 0.0483 0.0000 0.3083 0.0000 0.9333 0.6167 0.3916
271-AH 0.0000 0.1667 0.6333 0.7000 0.7333 0.4667 0.3147 0.5333 0.7333 0.6744 0.0385 0.0000 0.2667 0.0000 0.7333 0.4667 0.3147
272-AH 0.0000 0.0333 0.1667 0.3000 0.4000 0.1750 0.1509 0.2667 0.4000 0.8624 0.0168 0.0000 0.1250 0.0000 0.4000 0.1750 0.1509
273-AH 0.0000 0.0333 0.4667 0.8667 0.9333 0.4583 0.4556 0.8333 0.9333 0.9940 0.0268 0.0000 0.4250 0.0000 0.9333 0.4583 0.4556
274-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0417 0.0496 0.0667 0.1333 1.1904 0.0009 0.0000 0.0417 0.0000 0.1333 0.0417 0.0496
275-AH 0.0000 0.0333 0.1667 0.5000 0.6000 0.2500 0.2462 0.4667 0.6000 0.9850 0.0201 0.0000 0.2125 0.0000 0.6000 0.2500 0.2462
276-AH 0.0000 0.3000 0.5000 0.6333 0.7333 0.4500 0.2462 0.3333 0.7333 0.5472 0.1258 0.0001 0.2000 0.0000 0.7333 0.4500 0.2462
277-AH 0.0667 0.1000 0.1333 0.2000 0.3333 0.1583 0.0868 0.1000 0.2667 0.5484 0.1391 0.1221 0.0646 0.0667 0.3333 0.1583 0.0868
278-AH 0.0000 0.0000 0.0333 0.1000 0.2667 0.0667 0.0943 0.1000 0.2667 1.4142 0.0011 0.0000 0.0667 0.0000 0.1333 0.0381 0.0525
279-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0504 0.0667 0.1333 1.5119 0.0003 0.0000 0.0417 0.0000 0.1333 0.0333 0.0504
280-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0417 0.0707 0.0667 0.2000 1.6971 0.0003 0.0000 0.0521 0.0000 0.0667 0.0190 0.0325
281-AH 0.0000 0.1000 0.4333 0.6667 0.6667 0.3833 0.3122 0.5667 0.6667 0.8144 0.0307 0.0000 0.2833 0.0000 0.6667 0.3833 0.3122
282-AH 0.0000 0.1000 0.2000 0.3333 0.5333 0.2250 0.1780 0.2333 0.5333 0.7909 0.0216 0.0000 0.1313 0.0000 0.5333 0.2250 0.1780
283-AH 0.0000 0.1333 0.3333 0.4667 0.5333 0.3000 0.2108 0.3333 0.5333 0.7027 0.0275 0.0000 0.1667 0.0000 0.5333 0.3000 0.2108
284-AH 0.0000 0.0000 0.1667 0.3667 0.4667 0.1917 0.1966 0.3667 0.4667 1.0257 0.0057 0.0000 0.1750 0.0000 0.4667 0.1917 0.1966
285-AH 0.0000 0.0333 0.1333 0.4000 0.8667 0.2500 0.3039 0.3667 0.8667 1.2158 0.0186 0.0000 0.2292 0.0000 0.8667 0.2500 0.3039
286-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0167 0.0471 0.0000 0.1333 2.8284 0.0000 0.0000 0.0292 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0333 0.1333 0.4333 0.5333 0.2167 0.2189 0.4000 0.5333 1.0105 0.0175 0.0000 0.1875 0.0000 0.5333 0.2167 0.2189
288-AH 0.0000 0.1333 0.3000 0.3667 0.4000 0.2500 0.1623 0.2333 0.4000 0.6493 0.0244 0.0000 0.1250 0.0000 0.4000 0.2500 0.1623
289-AH 0.0000 0.0000 0.2667 0.6667 0.6667 0.3167 0.3413 0.6667 0.6667 1.0779 0.0025 0.0000 0.3167 0.0000 0.6667 0.3167 0.3413
290-AH 0.0000 0.0000 0.0667 0.2000 0.2667 0.1000 0.1182 0.2000 0.2667 1.1819 0.0014 0.0000 0.1000 0.0000 0.2667 0.1000 0.1182
194
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0333 0.1000 0.6000 0.9333 0.3000 0.3737 0.5667 0.9333 1.2458 0.0191 0.0000 0.3083 0.0000 0.9333 0.3000 0.3737
292-AH 0.0000 0.0333 0.1333 0.2667 0.2667 0.1417 0.1151 0.2333 0.2667 0.8127 0.0148 0.0000 0.0938 0.0000 0.2667 0.1417 0.1151
293-AH 0.0000 0.0000 0.3000 0.7000 0.8667 0.3583 0.3903 0.7000 0.8667 1.0891 0.0027 0.0000 0.3583 0.0000 0.8667 0.3583 0.3903
294-AH 0.0000 0.1000 0.2667 0.4000 0.6000 0.2667 0.2078 0.3000 0.6000 0.7792 0.0245 0.0000 0.1667 0.0000 0.6000 0.2667 0.2078
295-AH 0.0000 0.0000 0.1333 0.3000 0.3333 0.1500 0.1623 0.3000 0.3333 1.0822 0.0017 0.0000 0.1500 0.0000 0.3333 0.1500 0.1623
296-AH 0.0000 0.1000 0.3000 0.5667 0.7333 0.3333 0.2806 0.4667 0.7333 0.8418 0.0279 0.0000 0.2333 0.0000 0.7333 0.3333 0.2806
297-AH 0.0000 0.0000 0.0667 0.1667 0.3333 0.1000 0.1285 0.1667 0.3333 1.2848 0.0036 0.0000 0.1000 0.0000 0.3333 0.1000 0.1285
298-AH 0.0000 0.0667 0.0667 0.1667 0.5333 0.1417 0.1688 0.1000 0.5333 1.1915 0.0360 0.0001 0.1125 0.0000 0.2000 0.0857 0.0634
299-AH 0.0000 0.1000 0.2000 0.3333 0.4667 0.2167 0.1584 0.2333 0.4667 0.7309 0.0598 0.0001 0.1333 0.0000 0.4667 0.2167 0.1584
300-AH 0.0000 0.0000 0.0000 0.1000 0.1333 0.0417 0.0611 0.1000 0.1333 1.4658 0.0003 0.0000 0.0521 0.0000 0.1333 0.0417 0.0611
301-AH 0.0000 0.0000 0.0333 0.2667 0.6000 0.1500 0.2275 0.2667 0.6000 1.5165 0.0015 0.0000 0.1750 0.0000 0.6000 0.1500 0.2275
302-AH 0.1333 0.1667 0.2333 0.2667 0.3333 0.2250 0.0707 0.1000 0.2000 0.3143 0.2146 0.2038 0.0583 0.1333 0.3333 0.2250 0.0707
303-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.0943 0.2000 0.2000 0.9428 0.0040 0.0000 0.0833 0.0000 0.2000 0.1000 0.0943
304-AH 0.0000 0.1000 0.2333 0.2667 0.3333 0.1917 0.1257 0.1667 0.3333 0.6557 0.0200 0.0000 0.0958 0.0000 0.3333 0.1917 0.1257
305-AH 0.0000 0.1000 0.3333 0.4000 0.4000 0.2583 0.1762 0.3000 0.4000 0.6819 0.0247 0.0000 0.1438 0.0000 0.4000 0.2583 0.1762
306-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
307-AH 0.0000 0.0000 0.0000 0.0667 0.6000 0.0917 0.2106 0.0667 0.6000 2.2978 0.0001 0.0000 0.1375 0.0000 0.1333 0.0190 0.0504
308-AH 0.0000 0.2333 0.5000 0.5333 0.5333 0.3833 0.2384 0.3000 0.5333 0.6219 0.0339 0.0000 0.1917 0.0000 0.5333 0.3833 0.2384
309-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0504 0.0667 0.1333 1.5119 0.0003 0.0000 0.0417 0.0000 0.1333 0.0333 0.0504
310-AH 0.0000 0.0667 0.1333 0.1667 0.2667 0.1250 0.0831 0.1000 0.2667 0.6648 0.0392 0.0001 0.0604 0.0000 0.2667 0.1250 0.0831
311-AH 0.0667 0.1667 0.2667 0.3667 0.4667 0.2667 0.1333 0.2000 0.4000 0.5000 0.2301 0.1876 0.1000 0.0667 0.4667 0.2667 0.1333
312-AH 0.0000 0.0000 0.0000 0.1667 0.7333 0.1333 0.2594 0.1667 0.7333 1.9457 0.0004 0.0000 0.1833 0.0000 0.2667 0.0476 0.0997
313-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0417 0.0792 0.0667 0.2000 1.9004 0.0001 0.0000 0.0625 0.0000 0.1333 0.0190 0.0504
314-AH 0.0000 0.0333 0.1000 0.1667 0.2000 0.1000 0.0797 0.1333 0.2000 0.7968 0.0115 0.0000 0.0667 0.0000 0.2000 0.1000 0.0797
315-AH 0.0000 0.0000 0.1667 0.5667 0.6000 0.2583 0.2747 0.5667 0.6000 1.0635 0.0069 0.0000 0.2396 0.0000 0.6000 0.2583 0.2747
316-AH 0.0000 0.0333 0.1667 0.2667 0.3333 0.1583 0.1330 0.2333 0.3333 0.8402 0.0158 0.0000 0.1083 0.0000 0.3333 0.1583 0.1330
317-AH 0.0000 0.0333 0.0667 0.1333 0.2667 0.0917 0.0939 0.1000 0.2667 1.0239 0.0101 0.0000 0.0708 0.0000 0.2667 0.0917 0.0939
318-AH 0.0000 0.0667 0.1333 0.2333 0.3333 0.1500 0.1272 0.1667 0.3333 0.8483 0.0156 0.0000 0.0917 0.0000 0.3333 0.1500 0.1272
319-AH 0.1333 0.1333 0.2000 0.3000 0.4667 0.2333 0.1285 0.1667 0.3333 0.5506 0.2083 0.1898 0.1000 0.1333 0.4667 0.2333 0.1285
320-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0667 0.0504 0.0667 0.1333 0.7559 0.0088 0.0000 0.0333 0.0000 0.1333 0.0667 0.0504
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0667 0.1333 0.1667 0.2000 0.1167 0.0777 0.1000 0.2000 0.6657 0.0137 0.0000 0.0583 0.0000 0.2000 0.1167 0.0777
323-AH 0.0000 0.0000 0.0667 0.1000 0.2000 0.0667 0.0713 0.1000 0.2000 1.0690 0.0031 0.0000 0.0500 0.0000 0.2000 0.0667 0.0713
324-AH 0.0000 0.0333 0.1667 0.5000 0.6667 0.2583 0.2653 0.4667 0.6667 1.0271 0.0194 0.0000 0.2250 0.0000 0.6667 0.2583 0.2653
325-AH 0.0000 0.0667 0.1333 0.1667 0.6667 0.1750 0.2106 0.1000 0.6667 1.2036 0.0160 0.0000 0.1292 0.0000 0.2000 0.1048 0.0756
326-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.1000 0.0617 0.0667 0.1333 0.6172 0.0124 0.0000 0.0500 0.0000 0.1333 0.1000 0.0617
327-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
328-AH 0.0667 0.3000 0.4333 0.5667 0.6000 0.4083 0.1900 0.2667 0.5333 0.4654 0.3429 0.2473 0.1417 0.0667 0.6000 0.4083 0.1900
329-AH 0.0000 0.2333 0.5333 0.6000 0.6000 0.4167 0.2613 0.3667 0.6000 0.6270 0.0361 0.0000 0.2083 0.0000 0.6000 0.4167 0.2613
330-AH 0.0667 0.4333 0.7667 0.8000 0.8000 0.6083 0.3156 0.3667 0.7333 0.5188 0.4586 0.2647 0.2542 0.0667 0.8000 0.6083 0.3156
331-AH 0.0000 0.0333 0.1000 0.2000 0.2667 0.1167 0.1054 0.1667 0.2667 0.9035 0.0124 0.0000 0.0833 0.0000 0.2667 0.1167 0.1054
332-AH 0.0000 0.0667 0.2000 0.2667 0.2667 0.1667 0.1127 0.2000 0.2667 0.6761 0.0178 0.0000 0.0917 0.0000 0.2667 0.1667 0.1127
333-AH 0.0000 0.0000 0.1667 0.3333 0.3333 0.1667 0.1782 0.3333 0.3333 1.0690 0.0018 0.0000 0.1667 0.0000 0.3333 0.1667 0.1782
334-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0750 0.0831 0.1333 0.2000 1.1079 0.0012 0.0000 0.0750 0.0000 0.2000 0.0750 0.0831
335-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0833 0.0992 0.1333 0.2667 1.1904 0.0013 0.0000 0.0833 0.0000 0.2667 0.0833 0.0992
336-AH 0.0000 0.0000 0.0667 0.1667 0.2667 0.0917 0.1123 0.1667 0.2667 1.2255 0.0035 0.0000 0.0875 0.0000 0.2667 0.0917 0.1123
337-AH 0.0000 0.4000 0.8000 0.8667 0.8667 0.6250 0.3870 0.4667 0.8667 0.6192 0.0490 0.0000 0.3125 0.0000 0.8667 0.6250 0.3870
338-AH 0.0000 0.1000 0.2333 0.4667 0.6000 0.2750 0.2238 0.3667 0.6000 0.8138 0.0247 0.0000 0.1771 0.0000 0.6000 0.2750 0.2238
339-AH 0.0000 0.0333 0.1667 0.3667 0.5333 0.2083 0.2030 0.3333 0.5333 0.9742 0.0174 0.0000 0.1750 0.0000 0.5333 0.2083 0.2030
340-AH 0.0000 0.0000 0.0667 0.1667 0.2000 0.0833 0.0926 0.1667 0.2000 1.1110 0.0013 0.0000 0.0833 0.0000 0.2000 0.0833 0.0926
195
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.1333 0.2000 0.2667 0.2667 0.1833 0.0992 0.1333 0.2667 0.5411 0.0563 0.0001 0.0750 0.0000 0.2667 0.1833 0.0992
342-AH 0.1333 0.4667 0.8667 0.8667 0.8667 0.6750 0.3351 0.4000 0.7333 0.4965 0.5374 0.3633 0.2708 0.1333 0.8667 0.6750 0.3351
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0333 0.5000 0.7333 0.8667 0.4250 0.3633 0.7000 0.8667 0.8548 0.0305 0.0000 0.3021 0.0000 0.8667 0.4250 0.3633
345-AH 0.0000 0.0000 0.0000 0.0333 0.2000 0.0333 0.0713 0.0333 0.2000 2.1381 0.0001 0.0000 0.0500 0.0000 0.0667 0.0095 0.0252
346-AH 0.0000 0.0333 0.0667 0.1000 0.2000 0.0750 0.0661 0.0667 0.2000 0.8809 0.0092 0.0000 0.0458 0.0000 0.2000 0.0750 0.0661
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.1000 0.0617 0.0667 0.1333 0.6172 0.0124 0.0000 0.0500 0.0000 0.1333 0.1000 0.0617
349-AH 0.0000 0.1333 0.4667 0.5667 0.6000 0.3667 0.2443 0.4333 0.6000 0.6663 0.0927 0.0001 0.2083 0.0000 0.6000 0.3667 0.2443
350-AH 0.0667 0.2333 0.4000 0.4667 0.4667 0.3417 0.1611 0.2333 0.4000 0.4715 0.2876 0.2158 0.1250 0.0667 0.4667 0.3417 0.1611
196
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0231 0.0250 0.0500 0.6172 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0231
142-AH 0.0000 0.2000 0.3500 0.4000 0.4000 0.2875 0.1642 0.2000 0.4000 0.5712 0.0780 0.0001 0.1312 0.0000 0.4000 0.2875 0.1642
143-AH 0.0000 0.0000 0.2250 0.7750 1.0000 0.3750 0.4375 0.7750 1.0000 1.1667 0.0027 0.0000 0.3750 0.0000 1.0000 0.3750 0.4375
144-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0813 0.0530 0.0500 0.1500 0.6527 0.0105 0.0000 0.0406 0.0000 0.1500 0.0813 0.0530
145-AH 0.0000 0.1000 0.4250 0.7500 0.8000 0.4188 0.3443 0.6500 0.8000 0.8222 0.0328 0.0000 0.3063 0.0000 0.8000 0.4188 0.3443
146-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0231 0.0250 0.0500 0.6172 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0231
147-AH 0.0000 0.0500 0.1750 0.5500 0.7500 0.2875 0.3125 0.5000 0.7500 1.0871 0.0541 0.0001 0.2500 0.0000 0.7500 0.2875 0.3125
148-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0267 0.0500 0.0500 1.0690 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0267
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0250 0.0750 0.2000 0.0500 0.0707 0.0750 0.2000 1.4142 0.0009 0.0000 0.0500 0.0000 0.1000 0.0286 0.0393
151-AH 0.0000 0.0000 0.0500 0.0500 0.2500 0.0563 0.0821 0.0500 0.2500 1.4596 0.0025 0.0000 0.0484 0.0000 0.0500 0.0286 0.0267
152-AH 0.0000 0.0000 0.0500 0.1750 0.3500 0.1000 0.1282 0.1750 0.3500 1.2817 0.0013 0.0000 0.1000 0.0000 0.3500 0.1000 0.1282
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.1500 0.3000 0.4000 0.4000 0.2625 0.1575 0.2500 0.4000 0.6002 0.0720 0.0001 0.1219 0.0000 0.4000 0.2625 0.1575
155-AH 0.0000 0.0000 0.0000 0.1000 0.1500 0.0438 0.0623 0.1000 0.1500 1.4245 0.0003 0.0000 0.0547 0.0000 0.1500 0.0438 0.0623
156-AH 0.0000 0.0250 0.0750 0.1750 0.4000 0.1188 0.1335 0.1500 0.4000 1.1239 0.0115 0.0000 0.0984 0.0000 0.4000 0.1188 0.1335
157-AH 0.0500 0.3000 0.5250 0.6250 0.7000 0.4563 0.2456 0.3250 0.6500 0.5383 0.3421 0.1978 0.1906 0.0500 0.7000 0.4563 0.2456
158-AH 0.0000 0.0250 0.3500 0.4500 0.6000 0.2813 0.2344 0.4250 0.6000 0.8335 0.0228 0.0000 0.1984 0.0000 0.6000 0.2813 0.2344
159-AH 0.0000 0.0000 0.0250 0.1000 0.3000 0.0688 0.1033 0.1000 0.3000 1.5025 0.0011 0.0000 0.0734 0.0000 0.1000 0.0357 0.0476
160-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0267 0.0500 0.0500 1.0690 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0267
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0231 0.0250 0.0500 0.6172 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0231
163-AH 0.3000 0.6750 0.8500 0.9500 1.0000 0.7813 0.2344 0.2750 0.7000 0.3001 0.7378 0.6781 0.1734 0.3000 1.0000 0.7813 0.2344
164-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0231 0.0250 0.0500 0.6172 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0231
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0250 0.0750 0.1250 0.1500 0.0750 0.0598 0.1000 0.1500 0.7968 0.0093 0.0000 0.0500 0.0000 0.1500 0.0750 0.0598
168-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2250 0.2493 0.4000 0.6000 1.1079 0.0021 0.0000 0.2250 0.0000 0.6000 0.2250 0.2493
169-AH 0.0000 0.0000 0.0500 0.0750 0.1000 0.0438 0.0417 0.0750 0.1000 0.9537 0.0024 0.0000 0.0328 0.0000 0.1000 0.0438 0.0417
170-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0267 0.0500 0.0500 1.0690 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0267
171-AH 0.0000 0.0250 0.0750 0.1500 0.1500 0.0813 0.0651 0.1250 0.1500 0.8015 0.0098 0.0000 0.0563 0.0000 0.1500 0.0813 0.0651
172-AH 0.0000 0.0000 0.0000 0.0250 0.1000 0.0188 0.0372 0.0250 0.1000 1.9841 0.0001 0.0000 0.0281 0.0000 0.0500 0.0071 0.0189
173-AH 0.0500 0.0750 0.1000 0.1000 0.1000 0.0875 0.0231 0.0250 0.0500 0.2645 0.0841 0.0800 0.0188 0.0500 0.1000 0.0875 0.0231
174-AH 0.0500 0.0750 0.1000 0.1000 0.1000 0.0875 0.0231 0.0250 0.0500 0.2645 0.0841 0.0800 0.0188 0.0500 0.1000 0.0875 0.0231
175-AH 0.0000 0.0750 0.2750 0.3000 0.3000 0.2000 0.1336 0.2250 0.3000 0.6682 0.0204 0.0000 0.1125 0.0000 0.3000 0.2000 0.1336
176-AH 0.3500 0.6250 0.8750 0.9500 1.0000 0.7812 0.2563 0.3250 0.6500 0.3280 0.7317 0.6708 0.2031 0.3500 1.0000 0.7812 0.2563
177-AH 0.0000 0.1750 0.2500 0.2750 0.3500 0.2188 0.1067 0.1000 0.3500 0.4878 0.0686 0.0001 0.0766 0.1500 0.3500 0.2500 0.0645
178-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0267 0.0500 0.0500 1.0690 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0267
179-AH 0.0000 0.0000 0.0750 0.2250 0.7500 0.1688 0.2563 0.2250 0.7500 1.5186 0.0017 0.0000 0.1734 0.0000 0.2500 0.0857 0.1107
180-AH 0.0000 0.0000 0.0000 0.5000 0.8500 0.2313 0.3369 0.5000 0.8500 1.4570 0.0006 0.0000 0.2891 0.0000 0.8500 0.2313 0.3369
181-AH 0.0000 0.4500 0.8750 0.9250 0.9500 0.6812 0.4070 0.4750 0.9500 0.5975 0.1506 0.0001 0.3281 0.0000 0.9500 0.6812 0.4070
182-AH 0.0000 0.0250 0.0500 0.1000 0.1500 0.0625 0.0582 0.0750 0.1500 0.9320 0.0078 0.0000 0.0438 0.0000 0.1500 0.0625 0.0582
183-AH 0.0000 0.0750 0.2000 0.2000 0.2000 0.1438 0.0821 0.1250 0.2000 0.5712 0.0447 0.0001 0.0703 0.0000 0.2000 0.1438 0.0821
184-AH 0.0000 0.0000 0.1000 0.1250 0.2500 0.0875 0.0876 0.1250 0.2500 1.0015 0.0037 0.0000 0.0656 0.0000 0.2500 0.0875 0.0876
185-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0231 0.0250 0.0500 0.6172 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0231
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0188 0.0259 0.0500 0.0500 1.3801 0.0002 0.0000 0.0234 0.0000 0.0500 0.0188 0.0259
188-AH 0.0000 0.0000 0.0000 0.0250 0.0500 0.0125 0.0231 0.0250 0.0500 1.8516 0.0001 0.0000 0.0188 0.0000 0.0500 0.0125 0.0231
189-AH 0.0000 0.1750 0.3500 0.3500 0.3500 0.2625 0.1620 0.1750 0.3500 0.6172 0.0256 0.0000 0.1312 0.0000 0.3500 0.2625 0.1620
190-AH 0.0000 0.0000 0.0250 0.1000 0.1500 0.0500 0.0598 0.1000 0.1500 1.1952 0.0010 0.0000 0.0500 0.0000 0.1500 0.0500 0.0598
197
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0500 0.1000 0.1250 0.3000 0.1063 0.0904 0.0750 0.3000 0.8507 0.0321 0.0001 0.0594 0.0000 0.1500 0.0786 0.0488
193-AH 0.0000 0.0750 0.1500 0.2750 0.3000 0.1625 0.1188 0.2000 0.3000 0.7309 0.0172 0.0000 0.0906 0.0000 0.3000 0.1625 0.1188
194-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0063 0.0177 0.0000 0.0500 2.8284 0.0000 0.0000 0.0109 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0231 0.0250 0.0500 0.6172 0.0059 0.0000 0.0188 0.0000 0.0500 0.0375 0.0231
197-AH 0.0000 0.3000 0.8250 1.0000 1.0000 0.6562 0.4371 0.7000 1.0000 0.6660 0.0500 0.0000 0.3438 0.0000 1.0000 0.6562 0.4371
198-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0188 0.0259 0.0500 0.0500 1.3801 0.0002 0.0000 0.0234 0.0000 0.0500 0.0188 0.0259
199-AH 0.0000 0.2250 0.4000 0.4500 0.4500 0.3250 0.1871 0.2250 0.4500 0.5756 0.0857 0.0001 0.1500 0.0000 0.4500 0.3250 0.1871
200-AH 0.0000 0.0000 0.0250 0.3500 0.3500 0.1375 0.1768 0.3500 0.3500 1.2856 0.0015 0.0000 0.1594 0.0000 0.3500 0.1375 0.1768
251-AH 0.0000 0.4000 0.8750 0.9000 0.9000 0.6562 0.4066 0.5000 0.9000 0.6196 0.0508 0.0000 0.3281 0.0000 0.9000 0.6562 0.4066
252-AH 0.0000 0.0750 0.1750 0.3250 0.4500 0.2000 0.1732 0.2500 0.4500 0.8660 0.0192 0.0000 0.1250 0.0000 0.4500 0.2000 0.1732
253-AH 0.0000 0.1500 0.3750 0.6250 0.8000 0.3875 0.3056 0.4750 0.8000 0.7887 0.0324 0.0000 0.2250 0.0000 0.8000 0.3875 0.3056
254-AH 0.0000 0.0000 0.1000 0.2750 0.5500 0.1625 0.2013 0.2750 0.5500 1.2390 0.0017 0.0000 0.1625 0.0000 0.5500 0.1625 0.2013
255-AH 0.0000 0.0250 0.0500 0.0750 0.1500 0.0563 0.0496 0.0500 0.1500 0.8809 0.0074 0.0000 0.0344 0.0000 0.1000 0.0429 0.0345
256-AH 0.0000 0.3000 0.7500 0.8000 1.0000 0.5875 0.3787 0.5000 1.0000 0.6445 0.0464 0.0000 0.2938 0.0000 1.0000 0.5875 0.3787
257-AH 0.0000 0.0750 0.2000 0.3750 0.4000 0.2125 0.1664 0.3000 0.4000 0.7829 0.0550 0.0001 0.1500 0.0000 0.4000 0.2125 0.1664
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0250 0.1000 0.1000 0.0438 0.0496 0.1000 0.1000 1.1326 0.0009 0.0000 0.0438 0.0000 0.1000 0.0438 0.0496
260-AH 0.0000 0.0000 0.3000 0.6500 0.8000 0.3375 0.3652 0.6500 0.8000 1.0822 0.0026 0.0000 0.3375 0.0000 0.8000 0.3375 0.3652
261-AH 0.0500 0.1500 0.1750 0.2500 0.3000 0.1875 0.0835 0.1000 0.2500 0.4451 0.1671 0.1412 0.0625 0.0500 0.3000 0.1875 0.0835
262-AH 0.0000 0.0250 0.0500 0.0500 0.1000 0.0438 0.0320 0.0250 0.1000 0.7324 0.0065 0.0000 0.0219 0.0000 0.0500 0.0357 0.0244
263-AH 0.0000 0.0000 0.0500 0.2250 0.3000 0.1063 0.1237 0.2250 0.3000 1.1646 0.0037 0.0000 0.1078 0.0000 0.3000 0.1063 0.1237
264-AH 0.0500 0.2000 0.3500 0.5250 0.6000 0.3500 0.2121 0.3250 0.5500 0.6061 0.2541 0.1478 0.1500 0.0500 0.6000 0.3500 0.2121
265-AH 0.0000 0.0500 0.1500 0.1750 0.2000 0.1188 0.0799 0.1250 0.2000 0.6728 0.0138 0.0000 0.0641 0.0000 0.2000 0.1188 0.0799
266-AH 0.0000 0.0000 0.0250 0.0750 0.1000 0.0375 0.0443 0.0750 0.1000 1.1819 0.0008 0.0000 0.0375 0.0000 0.1000 0.0375 0.0443
267-AH 0.0000 0.0250 0.2000 0.3000 0.3000 0.1688 0.1438 0.2750 0.3000 0.8520 0.0159 0.0000 0.1313 0.0000 0.3000 0.1688 0.1438
268-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0535 0.1000 0.1000 1.0690 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0535
269-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.3250 0.7500 0.8250 0.9000 0.5875 0.3701 0.5000 0.9000 0.6299 0.0466 0.0000 0.2937 0.0000 0.9000 0.5875 0.3701
271-AH 0.0000 0.1750 0.5500 0.6000 0.7000 0.4188 0.2777 0.4250 0.7000 0.6631 0.0357 0.0000 0.2266 0.0000 0.7000 0.4188 0.2777
272-AH 0.0000 0.0250 0.1250 0.2500 0.3000 0.1375 0.1217 0.2250 0.3000 0.8854 0.0138 0.0000 0.1000 0.0000 0.3000 0.1375 0.1217
273-AH 0.0500 0.0500 0.4250 0.8750 0.9500 0.4625 0.4430 0.8250 0.9000 0.9578 0.2090 0.0946 0.4125 0.0500 0.9500 0.4625 0.4430
274-AH 0.0000 0.0000 0.0250 0.0750 0.1000 0.0375 0.0443 0.0750 0.1000 1.1819 0.0008 0.0000 0.0375 0.0000 0.1000 0.0375 0.0443
275-AH 0.0000 0.0500 0.1500 0.4750 0.5500 0.2375 0.2264 0.4250 0.5500 0.9532 0.0530 0.0001 0.1969 0.0000 0.5500 0.2375 0.2264
276-AH 0.0000 0.2750 0.4750 0.5750 0.6000 0.4063 0.2129 0.3000 0.6000 0.5240 0.1159 0.0001 0.1688 0.0000 0.6000 0.4063 0.2129
277-AH 0.0500 0.0750 0.1000 0.2250 0.3000 0.1438 0.0943 0.1500 0.2500 0.6557 0.1180 0.0972 0.0797 0.0500 0.3000 0.1438 0.0943
278-AH 0.0000 0.0000 0.0250 0.0750 0.2500 0.0563 0.0863 0.0750 0.2500 1.5350 0.0009 0.0000 0.0594 0.0000 0.1000 0.0286 0.0393
279-AH 0.0000 0.0000 0.0250 0.0500 0.1000 0.0313 0.0372 0.0500 0.1000 1.1904 0.0008 0.0000 0.0313 0.0000 0.1000 0.0313 0.0372
280-AH 0.0000 0.0000 0.0250 0.0500 0.1500 0.0375 0.0518 0.0500 0.1500 1.3801 0.0008 0.0000 0.0375 0.0000 0.0500 0.0214 0.0267
281-AH 0.0000 0.1000 0.3750 0.6000 0.6500 0.3500 0.2790 0.5000 0.6500 0.7972 0.0291 0.0000 0.2500 0.0000 0.6500 0.3500 0.2790
282-AH 0.0000 0.1250 0.2000 0.3250 0.5000 0.2250 0.1604 0.2000 0.5000 0.7127 0.0617 0.0001 0.1188 0.0000 0.5000 0.2250 0.1604
283-AH 0.0000 0.1250 0.2750 0.3750 0.4500 0.2500 0.1690 0.2500 0.4500 0.6761 0.0242 0.0000 0.1250 0.0000 0.4500 0.2500 0.1690
284-AH 0.0000 0.0000 0.1750 0.3500 0.4500 0.1875 0.1941 0.3500 0.4500 1.0353 0.0055 0.0000 0.1750 0.0000 0.4500 0.1875 0.1941
285-AH 0.0500 0.0750 0.1250 0.4000 0.8500 0.2625 0.2888 0.3250 0.8000 1.1001 0.1604 0.1086 0.2188 0.0500 0.8500 0.2625 0.2888
286-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0125 0.0354 0.0000 0.1000 2.8284 0.0000 0.0000 0.0219 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0250 0.2000 0.4750 0.5500 0.2437 0.2412 0.4500 0.5500 0.9895 0.0180 0.0000 0.2187 0.0000 0.5500 0.2437 0.2412
288-AH 0.0000 0.1250 0.2500 0.3000 0.4000 0.2188 0.1438 0.1750 0.4000 0.6572 0.0221 0.0000 0.1094 0.0000 0.4000 0.2188 0.1438
289-AH 0.0000 0.0000 0.2500 0.6000 0.6500 0.2937 0.3178 0.6000 0.6500 1.0820 0.0024 0.0000 0.2937 0.0000 0.6500 0.2937 0.3178
290-AH 0.0000 0.0000 0.0500 0.1750 0.3000 0.0938 0.1208 0.1750 0.3000 1.2888 0.0013 0.0000 0.0938 0.0000 0.3000 0.0938 0.1208
198
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0250 0.1000 0.4500 0.9000 0.2563 0.3300 0.4250 0.9000 1.2877 0.0167 0.0000 0.2578 0.0000 0.9000 0.2563 0.3300
292-AH 0.0000 0.0250 0.1000 0.2000 0.2000 0.1063 0.0863 0.1750 0.2000 0.8127 0.0119 0.0000 0.0703 0.0000 0.2000 0.1063 0.0863
293-AH 0.0000 0.0000 0.2500 0.6000 0.8000 0.3125 0.3482 0.6000 0.8000 1.1143 0.0025 0.0000 0.3125 0.0000 0.8000 0.3125 0.3482
294-AH 0.0000 0.0750 0.2250 0.3500 0.6000 0.2375 0.2031 0.2750 0.6000 0.8552 0.0217 0.0000 0.1625 0.0000 0.6000 0.2375 0.2031
295-AH 0.0000 0.0000 0.1250 0.3000 0.3000 0.1438 0.1545 0.3000 0.3000 1.0751 0.0017 0.0000 0.1438 0.0000 0.3000 0.1438 0.1545
296-AH 0.0000 0.0750 0.2500 0.4750 0.6000 0.2750 0.2405 0.4000 0.6000 0.8747 0.0237 0.0000 0.2000 0.0000 0.6000 0.2750 0.2405
297-AH 0.0000 0.0000 0.0750 0.1750 0.2500 0.0938 0.0980 0.1750 0.2500 1.0450 0.0037 0.0000 0.0813 0.0000 0.2500 0.0938 0.0980
298-AH 0.0000 0.0500 0.0500 0.1500 0.4000 0.1125 0.1302 0.1000 0.4000 1.1578 0.0290 0.0001 0.0938 0.0000 0.2000 0.0714 0.0636
299-AH 0.0500 0.1000 0.2250 0.3750 0.4000 0.2313 0.1438 0.2750 0.3500 0.6217 0.1789 0.1259 0.1187 0.0500 0.4000 0.2313 0.1438
300-AH 0.0000 0.0000 0.0000 0.1000 0.1500 0.0438 0.0623 0.1000 0.1500 1.4245 0.0003 0.0000 0.0547 0.0000 0.1500 0.0438 0.0623
301-AH 0.0000 0.0000 0.0750 0.2250 0.4500 0.1313 0.1689 0.2250 0.4500 1.2868 0.0015 0.0000 0.1313 0.0000 0.4500 0.1313 0.1689
302-AH 0.1000 0.1250 0.1750 0.2500 0.3000 0.1875 0.0791 0.1250 0.2000 0.4216 0.1732 0.1600 0.0625 0.1000 0.3000 0.1875 0.0791
303-AH 0.0000 0.0000 0.1000 0.1750 0.2500 0.1000 0.1000 0.1750 0.2500 1.0000 0.0039 0.0000 0.0875 0.0000 0.2500 0.1000 0.1000
304-AH 0.0000 0.0750 0.2000 0.2250 0.2500 0.1563 0.1016 0.1500 0.2500 0.6499 0.0172 0.0000 0.0797 0.0000 0.2500 0.1563 0.1016
305-AH 0.0000 0.1250 0.2750 0.3500 0.3500 0.2312 0.1487 0.2250 0.3500 0.6428 0.0231 0.0000 0.1156 0.0000 0.3500 0.2312 0.1487
306-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
307-AH 0.0000 0.0000 0.0000 0.0500 0.5000 0.0750 0.1753 0.0500 0.5000 2.3367 0.0001 0.0000 0.1125 0.0000 0.1000 0.0143 0.0378
308-AH 0.0000 0.2250 0.4000 0.4250 0.4500 0.3188 0.1831 0.2000 0.4500 0.5744 0.0845 0.0001 0.1469 0.0000 0.4500 0.3188 0.1831
309-AH 0.0000 0.0000 0.0250 0.0750 0.1500 0.0438 0.0563 0.0750 0.1500 1.2868 0.0009 0.0000 0.0438 0.0000 0.1500 0.0438 0.0563
310-AH 0.0000 0.1000 0.1500 0.1750 0.2500 0.1375 0.0744 0.0750 0.2500 0.5411 0.0450 0.0001 0.0531 0.0000 0.2500 0.1375 0.0744
311-AH 0.1500 0.1750 0.2000 0.3500 0.5500 0.2688 0.1413 0.1750 0.4000 0.5256 0.2423 0.2223 0.1109 0.1500 0.5500 0.2688 0.1413
312-AH 0.0000 0.0000 0.0500 0.1500 0.7000 0.1375 0.2387 0.1500 0.7000 1.7358 0.0014 0.0000 0.1562 0.0000 0.2000 0.0571 0.0787
313-AH 0.0000 0.0000 0.0250 0.0750 0.2000 0.0500 0.0707 0.0750 0.2000 1.4142 0.0009 0.0000 0.0500 0.0000 0.1000 0.0286 0.0393
314-AH 0.0000 0.0250 0.1250 0.1750 0.2500 0.1125 0.0916 0.1500 0.2500 0.8143 0.0124 0.0000 0.0750 0.0000 0.2500 0.1125 0.0916
315-AH 0.0000 0.0000 0.1250 0.4750 0.6000 0.2250 0.2535 0.4750 0.6000 1.1269 0.0061 0.0000 0.2188 0.0000 0.6000 0.2250 0.2535
316-AH 0.0000 0.0500 0.1750 0.2250 0.2500 0.1438 0.1016 0.1750 0.2500 0.7064 0.0157 0.0000 0.0828 0.0000 0.2500 0.1438 0.1016
317-AH 0.0000 0.0250 0.0500 0.1250 0.2000 0.0750 0.0802 0.1000 0.2000 1.0690 0.0084 0.0000 0.0625 0.0000 0.2000 0.0750 0.0802
318-AH 0.0000 0.0500 0.1000 0.2500 0.3000 0.1375 0.1188 0.2000 0.3000 0.8638 0.0144 0.0000 0.0969 0.0000 0.3000 0.1375 0.1188
319-AH 0.1000 0.1250 0.2000 0.3250 0.4000 0.2250 0.1195 0.2000 0.3000 0.5312 0.1984 0.1752 0.0938 0.1000 0.4000 0.2250 0.1195
320-AH 0.0000 0.0250 0.0500 0.0750 0.1500 0.0563 0.0496 0.0500 0.1500 0.8809 0.0074 0.0000 0.0344 0.0000 0.1000 0.0429 0.0345
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0500 0.1250 0.2000 0.2500 0.1250 0.0926 0.1500 0.2500 0.7407 0.0140 0.0000 0.0750 0.0000 0.2500 0.1250 0.0926
323-AH 0.0000 0.0000 0.0500 0.0750 0.1500 0.0500 0.0535 0.0750 0.1500 1.0690 0.0026 0.0000 0.0375 0.0000 0.1500 0.0500 0.0535
324-AH 0.0000 0.0500 0.1500 0.4750 0.7000 0.2562 0.2638 0.4250 0.7000 1.0295 0.0515 0.0001 0.2203 0.0000 0.7000 0.2562 0.2638
325-AH 0.0000 0.0500 0.1500 0.2000 0.6500 0.1812 0.2069 0.1500 0.6500 1.1416 0.0165 0.0000 0.1344 0.0000 0.2500 0.1143 0.0900
326-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0463 0.0500 0.1000 0.6172 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0463
327-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0707 0.0000 0.2000 2.8284 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
328-AH 0.0500 0.3250 0.5000 0.5750 0.6500 0.4375 0.2083 0.2500 0.6000 0.4761 0.3526 0.2205 0.1562 0.0500 0.6500 0.4375 0.2083
329-AH 0.0000 0.1750 0.5000 0.5500 0.5500 0.3750 0.2405 0.3750 0.5500 0.6414 0.0331 0.0000 0.1938 0.0000 0.5500 0.3750 0.2405
330-AH 0.0500 0.4000 0.7500 0.7750 0.8500 0.5938 0.3234 0.3750 0.8000 0.5447 0.4219 0.2113 0.2594 0.0500 0.8500 0.5938 0.3234
331-AH 0.0000 0.0250 0.1250 0.1750 0.3000 0.1188 0.1033 0.1500 0.3000 0.8698 0.0127 0.0000 0.0813 0.0000 0.3000 0.1188 0.1033
332-AH 0.0000 0.0750 0.1750 0.2000 0.2000 0.1375 0.0876 0.1250 0.2000 0.6373 0.0157 0.0000 0.0688 0.0000 0.2000 0.1375 0.0876
333-AH 0.0000 0.0000 0.1250 0.2500 0.2500 0.1250 0.1336 0.2500 0.2500 1.0690 0.0016 0.0000 0.1250 0.0000 0.2500 0.1250 0.1336
334-AH 0.0000 0.0000 0.0500 0.1250 0.1500 0.0625 0.0694 0.1250 0.1500 1.1110 0.0011 0.0000 0.0625 0.0000 0.1500 0.0625 0.0694
335-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0750 0.0845 0.1500 0.2000 1.1269 0.0012 0.0000 0.0750 0.0000 0.2000 0.0750 0.0845
336-AH 0.0000 0.0000 0.0500 0.1500 0.3000 0.0875 0.1094 0.1500 0.3000 1.2501 0.0033 0.0000 0.0844 0.0000 0.3000 0.0875 0.1094
337-AH 0.0000 0.3000 0.7250 0.7500 0.7500 0.5375 0.3357 0.4500 0.7500 0.6245 0.0437 0.0000 0.2688 0.0000 0.7500 0.5375 0.3357
338-AH 0.0000 0.1000 0.2250 0.3750 0.4500 0.2312 0.1689 0.2750 0.4500 0.7304 0.0224 0.0000 0.1312 0.0000 0.4500 0.2312 0.1689
339-AH 0.0000 0.0250 0.1750 0.3250 0.4500 0.1875 0.1808 0.3000 0.4500 0.9641 0.0156 0.0000 0.1625 0.0000 0.4500 0.1875 0.1808
340-AH 0.0000 0.0000 0.0500 0.1250 0.1500 0.0625 0.0694 0.1250 0.1500 1.1110 0.0011 0.0000 0.0625 0.0000 0.1500 0.0625 0.0694
199
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.1000 0.1500 0.2000 0.2000 0.1375 0.0744 0.1000 0.2000 0.5411 0.0438 0.0001 0.0563 0.0000 0.2000 0.1375 0.0744
342-AH 0.2000 0.5250 0.8500 0.8500 0.8500 0.6875 0.2863 0.3250 0.6500 0.4164 0.6041 0.4959 0.2313 0.2000 0.8500 0.6875 0.2863
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0500 0.5500 0.6250 0.8000 0.4063 0.3212 0.5750 0.8000 0.7906 0.0833 0.0001 0.2797 0.0000 0.8000 0.4063 0.3212
345-AH 0.0000 0.0000 0.0000 0.0250 0.2000 0.0313 0.0704 0.0250 0.2000 2.2526 0.0001 0.0000 0.0469 0.0000 0.0500 0.0071 0.0189
346-AH 0.0000 0.0250 0.0500 0.1000 0.1500 0.0625 0.0582 0.0750 0.1500 0.9320 0.0078 0.0000 0.0438 0.0000 0.1500 0.0625 0.0582
347-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0378 0.0500 0.1000 1.5119 0.0003 0.0000 0.0313 0.0000 0.1000 0.0250 0.0378
348-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0750 0.0463 0.0500 0.1000 0.6172 0.0100 0.0000 0.0375 0.0000 0.1000 0.0750 0.0463
349-AH 0.0000 0.1500 0.3750 0.4500 0.5500 0.3125 0.1978 0.3000 0.5500 0.6328 0.0815 0.0001 0.1594 0.0000 0.5500 0.3125 0.1978
350-AH 0.1000 0.2000 0.3250 0.3500 0.3500 0.2750 0.1102 0.1500 0.2500 0.4007 0.2462 0.2100 0.0875 0.1000 0.3500 0.2750 0.1102
200
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0167 0.0333 0.0333 0.0333 0.0250 0.0154 0.0167 0.0333 0.6172 0.0044 0.0000 0.0125 0.0000 0.0333 0.0250 0.0154
142-AH 0.0000 0.1333 0.2500 0.2667 0.2667 0.1958 0.1119 0.1333 0.2667 0.5714 0.0556 0.0001 0.0896 0.0000 0.2667 0.1958 0.1119
143-AH 0.0000 0.0000 0.2167 0.6500 0.9333 0.3333 0.3891 0.6500 0.9333 1.1674 0.0025 0.0000 0.3333 0.0000 0.9333 0.3333 0.3891
144-AH 0.0000 0.0333 0.0667 0.0833 0.1000 0.0583 0.0388 0.0500 0.1000 0.6657 0.0082 0.0000 0.0292 0.0000 0.1000 0.0583 0.0388
145-AH 0.0000 0.1000 0.3167 0.5500 0.7333 0.3333 0.2749 0.4500 0.7333 0.8246 0.0746 0.0001 0.2417 0.0000 0.7333 0.3333 0.2749
146-AH 0.0000 0.0167 0.0333 0.0333 0.0667 0.0292 0.0214 0.0167 0.0667 0.7324 0.0048 0.0000 0.0146 0.0000 0.0333 0.0238 0.0163
147-AH 0.0000 0.0667 0.1667 0.4667 0.6667 0.2583 0.2635 0.4000 0.6667 1.0201 0.0562 0.0001 0.2083 0.0000 0.6667 0.2583 0.2635
148-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0178 0.0333 0.0333 1.0690 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0178
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0167 0.0333 0.1000 0.1333 0.0542 0.0533 0.0833 0.1333 0.9834 0.0068 0.0000 0.0427 0.0000 0.1333 0.0542 0.0533
151-AH 0.0000 0.0000 0.0333 0.0333 0.1667 0.0375 0.0547 0.0333 0.1667 1.4596 0.0019 0.0000 0.0323 0.0000 0.0333 0.0190 0.0178
152-AH 0.0000 0.0000 0.0500 0.1500 0.2333 0.0792 0.0925 0.1500 0.2333 1.1681 0.0012 0.0000 0.0792 0.0000 0.2333 0.0792 0.0925
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.1167 0.2500 0.3000 0.3000 0.2042 0.1214 0.1833 0.3000 0.5947 0.0570 0.0001 0.0948 0.0000 0.3000 0.2042 0.1214
155-AH 0.0000 0.0000 0.0000 0.0833 0.1000 0.0333 0.0471 0.0833 0.1000 1.4142 0.0003 0.0000 0.0417 0.0000 0.1000 0.0333 0.0471
156-AH 0.0000 0.0167 0.0667 0.1333 0.3667 0.1000 0.1208 0.1167 0.3667 1.2084 0.0096 0.0000 0.0833 0.0000 0.1333 0.0619 0.0591
157-AH 0.1000 0.2833 0.5667 0.6000 0.6000 0.4500 0.2211 0.3167 0.5000 0.4914 0.3661 0.2607 0.1750 0.1000 0.6000 0.4500 0.2211
158-AH 0.0000 0.0333 0.2833 0.3667 0.5667 0.2417 0.2030 0.3333 0.5667 0.8398 0.0212 0.0000 0.1646 0.0000 0.5667 0.2417 0.2030
159-AH 0.0000 0.0000 0.0167 0.1000 0.3000 0.0667 0.1039 0.1000 0.3000 1.5584 0.0010 0.0000 0.0750 0.0000 0.1000 0.0333 0.0471
160-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0178 0.0333 0.0333 1.0690 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0178
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0167 0.0333 0.0333 0.0333 0.0250 0.0154 0.0167 0.0333 0.6172 0.0044 0.0000 0.0125 0.0000 0.0333 0.0250 0.0154
163-AH 0.2000 0.6833 0.8667 0.9000 0.9667 0.7583 0.2518 0.2167 0.7667 0.3321 0.6945 0.5910 0.1792 0.6000 0.9667 0.8381 0.1208
164-AH 0.0000 0.0000 0.0000 0.0333 0.2333 0.0375 0.0805 0.0333 0.2333 2.1480 0.0003 0.0000 0.0490 0.0000 0.0333 0.0095 0.0163
165-AH 0.0000 0.0167 0.0333 0.0333 0.0333 0.0250 0.0154 0.0167 0.0333 0.6172 0.0044 0.0000 0.0125 0.0000 0.0333 0.0250 0.0154
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0167 0.0500 0.1000 0.1333 0.0583 0.0527 0.0833 0.1333 0.9035 0.0074 0.0000 0.0417 0.0000 0.1333 0.0583 0.0527
168-AH 0.0000 0.0000 0.1833 0.4167 0.4333 0.2042 0.2193 0.4167 0.4333 1.0739 0.0020 0.0000 0.2042 0.0000 0.4333 0.2042 0.2193
169-AH 0.0000 0.0000 0.0333 0.0500 0.1000 0.0333 0.0356 0.0500 0.1000 1.0690 0.0020 0.0000 0.0250 0.0000 0.1000 0.0333 0.0356
170-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0178 0.0333 0.0333 1.0690 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0178
171-AH 0.0000 0.0333 0.1000 0.1167 0.1333 0.0792 0.0533 0.0833 0.1333 0.6728 0.0102 0.0000 0.0427 0.0000 0.1333 0.0792 0.0533
172-AH 0.0000 0.0000 0.0167 0.0500 0.0667 0.0250 0.0295 0.0500 0.0667 1.1819 0.0007 0.0000 0.0250 0.0000 0.0667 0.0250 0.0295
173-AH 0.0333 0.0500 0.0667 0.0667 0.0667 0.0583 0.0154 0.0167 0.0333 0.2645 0.0561 0.0533 0.0125 0.0333 0.0667 0.0583 0.0154
174-AH 0.0333 0.0500 0.0667 0.0667 0.0667 0.0583 0.0154 0.0167 0.0333 0.2645 0.0561 0.0533 0.0125 0.0333 0.0667 0.0583 0.0154
175-AH 0.0000 0.1000 0.2000 0.2000 0.2333 0.1542 0.0958 0.1000 0.2333 0.6217 0.0171 0.0000 0.0771 0.0000 0.2333 0.1542 0.0958
176-AH 0.2333 0.5667 0.7333 0.8333 0.9000 0.6750 0.2342 0.2667 0.6667 0.3469 0.6239 0.5559 0.1792 0.2333 0.9000 0.6750 0.2342
177-AH 0.0000 0.1500 0.2000 0.2167 0.2667 0.1750 0.0850 0.0667 0.2667 0.4856 0.0562 0.0001 0.0625 0.1000 0.2667 0.2000 0.0509
178-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0178 0.0333 0.0333 1.0690 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0178
179-AH 0.0000 0.0000 0.0833 0.1667 0.5000 0.1250 0.1725 0.1667 0.5000 1.3801 0.0015 0.0000 0.1250 0.0000 0.1667 0.0714 0.0891
180-AH 0.0000 0.0000 0.0167 0.5000 0.6333 0.2083 0.2838 0.5000 0.6333 1.3624 0.0016 0.0000 0.2521 0.0000 0.6333 0.2083 0.2838
181-AH 0.0000 0.4500 0.8333 0.8667 0.8667 0.6458 0.3788 0.4167 0.8667 0.5865 0.1496 0.0001 0.3062 0.0000 0.8667 0.6458 0.3788
182-AH 0.0000 0.0167 0.0500 0.0833 0.1333 0.0542 0.0469 0.0667 0.1333 0.8664 0.0071 0.0000 0.0375 0.0000 0.1333 0.0542 0.0469
183-AH 0.0000 0.0833 0.1333 0.1333 0.1333 0.1042 0.0547 0.0500 0.1333 0.5255 0.0342 0.0001 0.0438 0.0333 0.1333 0.1190 0.0378
184-AH 0.0000 0.0000 0.0667 0.1000 0.2000 0.0667 0.0713 0.1000 0.2000 1.0690 0.0031 0.0000 0.0500 0.0000 0.2000 0.0667 0.0713
185-AH 0.0000 0.0167 0.0333 0.0333 0.0333 0.0250 0.0154 0.0167 0.0333 0.6172 0.0044 0.0000 0.0125 0.0000 0.0333 0.0250 0.0154
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0178 0.0333 0.0333 1.0690 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0178
188-AH 0.0000 0.0000 0.0000 0.0167 0.0333 0.0083 0.0154 0.0167 0.0333 1.8516 0.0001 0.0000 0.0125 0.0000 0.0333 0.0083 0.0154
189-AH 0.0000 0.1167 0.2333 0.2333 0.2333 0.1750 0.1080 0.1167 0.2333 0.6172 0.0189 0.0000 0.0875 0.0000 0.2333 0.1750 0.1080
190-AH 0.0000 0.0000 0.0167 0.0833 0.1000 0.0375 0.0452 0.0833 0.1000 1.2055 0.0008 0.0000 0.0385 0.0000 0.1000 0.0375 0.0452
201
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0333 0.0500 0.0667 0.1000 0.2000 0.0833 0.0563 0.0500 0.1667 0.6761 0.0701 0.0604 0.0417 0.0333 0.1333 0.0667 0.0333
193-AH 0.0000 0.0500 0.1500 0.2000 0.2000 0.1250 0.0886 0.1500 0.2000 0.7091 0.0141 0.0000 0.0750 0.0000 0.2000 0.1250 0.0886
194-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0042 0.0118 0.0000 0.0333 2.8284 0.0000 0.0000 0.0073 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0167 0.0333 0.0333 0.0333 0.0250 0.0154 0.0167 0.0333 0.6172 0.0044 0.0000 0.0125 0.0000 0.0333 0.0250 0.0154
197-AH 0.0000 0.2500 0.8167 0.9833 1.0000 0.6375 0.4278 0.7333 1.0000 0.6710 0.0487 0.0000 0.3531 0.0000 1.0000 0.6375 0.4278
198-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0125 0.0173 0.0333 0.0333 1.3801 0.0002 0.0000 0.0156 0.0000 0.0333 0.0125 0.0173
199-AH 0.0000 0.1667 0.3167 0.3333 0.3333 0.2458 0.1344 0.1667 0.3333 0.5469 0.0712 0.0001 0.1063 0.0000 0.3333 0.2458 0.1344
200-AH 0.0000 0.0000 0.0500 0.2500 0.2667 0.1083 0.1269 0.2500 0.2667 1.1717 0.0014 0.0000 0.1104 0.0000 0.2667 0.1083 0.1269
251-AH 0.0000 0.3667 0.7667 0.8000 0.8000 0.5833 0.3608 0.4333 0.8000 0.6185 0.0466 0.0000 0.2917 0.0000 0.8000 0.5833 0.3608
252-AH 0.0000 0.0500 0.1167 0.2500 0.4333 0.1583 0.1530 0.2000 0.4333 0.9664 0.0154 0.0000 0.1146 0.0000 0.4333 0.1583 0.1530
253-AH 0.0000 0.1500 0.3500 0.5167 0.7000 0.3417 0.2556 0.3667 0.7000 0.7480 0.0299 0.0000 0.1917 0.0000 0.7000 0.3417 0.2556
254-AH 0.0000 0.0000 0.0833 0.2667 0.5333 0.1542 0.1951 0.2667 0.5333 1.2657 0.0017 0.0000 0.1542 0.0000 0.5333 0.1542 0.1951
255-AH 0.0000 0.0167 0.0333 0.0500 0.1000 0.0375 0.0330 0.0333 0.1000 0.8809 0.0055 0.0000 0.0229 0.0000 0.1000 0.0375 0.0330
256-AH 0.0000 0.2833 0.6500 0.7333 0.8333 0.5208 0.3314 0.4500 0.8333 0.6363 0.0425 0.0000 0.2604 0.0000 0.8333 0.5208 0.3314
257-AH 0.0000 0.0667 0.1833 0.3000 0.4000 0.1875 0.1469 0.2333 0.4000 0.7832 0.0488 0.0001 0.1292 0.0000 0.4000 0.1875 0.1469
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0167 0.0667 0.0667 0.0292 0.0330 0.0667 0.0667 1.1326 0.0007 0.0000 0.0292 0.0000 0.0667 0.0292 0.0330
260-AH 0.0000 0.0000 0.2833 0.6167 0.6667 0.3083 0.3308 0.6167 0.6667 1.0729 0.0025 0.0000 0.3083 0.0000 0.6667 0.3083 0.3308
261-AH 0.0667 0.1000 0.1333 0.1667 0.2000 0.1333 0.0471 0.0667 0.1333 0.3536 0.1259 0.1185 0.0333 0.0667 0.2000 0.1333 0.0471
262-AH 0.0000 0.0167 0.0333 0.0667 0.1333 0.0458 0.0434 0.0500 0.1333 0.9473 0.0062 0.0000 0.0323 0.0000 0.1333 0.0458 0.0434
263-AH 0.0000 0.0167 0.0333 0.2167 0.2667 0.1000 0.1127 0.2000 0.2667 1.1269 0.0091 0.0000 0.1000 0.0000 0.2667 0.1000 0.1127
264-AH 0.0333 0.1500 0.2667 0.3833 0.4667 0.2625 0.1588 0.2333 0.4333 0.6050 0.1985 0.1242 0.1135 0.0333 0.4667 0.2625 0.1588
265-AH 0.0000 0.0500 0.1333 0.1333 0.1667 0.1000 0.0642 0.0833 0.1667 0.6424 0.0123 0.0000 0.0500 0.0000 0.1667 0.1000 0.0642
266-AH 0.0000 0.0000 0.0167 0.1000 0.1333 0.0458 0.0589 0.1000 0.1333 1.2856 0.0009 0.0000 0.0490 0.0000 0.1333 0.0458 0.0589
267-AH 0.0000 0.0333 0.1500 0.2000 0.2333 0.1250 0.0955 0.1667 0.2333 0.7643 0.0137 0.0000 0.0833 0.0000 0.2333 0.1250 0.0955
268-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0356 0.0667 0.0667 1.0690 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0356
269-AH 0.0000 0.0000 0.0000 0.0333 0.1667 0.0292 0.0576 0.0333 0.1667 1.9736 0.0003 0.0000 0.0365 0.0000 0.0333 0.0095 0.0163
270-AH 0.0000 0.3167 0.6667 0.7167 0.8000 0.5250 0.3279 0.4000 0.8000 0.6246 0.0429 0.0000 0.2625 0.0000 0.8000 0.5250 0.3279
271-AH 0.0000 0.1500 0.4333 0.4833 0.5667 0.3375 0.2156 0.3333 0.5667 0.6388 0.0828 0.0001 0.1781 0.0000 0.5667 0.3375 0.2156
272-AH 0.0000 0.0333 0.1167 0.2500 0.3000 0.1375 0.1201 0.2167 0.3000 0.8735 0.0141 0.0000 0.0969 0.0000 0.3000 0.1375 0.1201
273-AH 0.0333 0.0500 0.4500 0.8333 0.9000 0.4500 0.4205 0.7833 0.8667 0.9345 0.2094 0.0891 0.3917 0.0333 0.9000 0.4500 0.4205
274-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0309 0.0667 0.0667 0.9258 0.0021 0.0000 0.0250 0.0000 0.0667 0.0333 0.0309
275-AH 0.0000 0.0500 0.1167 0.3833 0.4333 0.1917 0.1797 0.3333 0.4333 0.9377 0.0446 0.0001 0.1563 0.0000 0.4333 0.1917 0.1797
276-AH 0.0333 0.2833 0.4167 0.5500 0.6000 0.3917 0.1900 0.2667 0.5667 0.4852 0.3088 0.1693 0.1500 0.0333 0.6000 0.3917 0.1900
277-AH 0.0333 0.0500 0.1000 0.1500 0.2667 0.1125 0.0775 0.1000 0.2333 0.6892 0.0902 0.0713 0.0573 0.0333 0.2667 0.1125 0.0775
278-AH 0.0000 0.0000 0.0167 0.0500 0.2000 0.0417 0.0684 0.0500 0.2000 1.6423 0.0008 0.0000 0.0458 0.0000 0.0667 0.0190 0.0262
279-AH 0.0000 0.0000 0.0167 0.0333 0.0667 0.0208 0.0248 0.0333 0.0667 1.1904 0.0006 0.0000 0.0208 0.0000 0.0667 0.0208 0.0248
280-AH 0.0000 0.0000 0.0333 0.0500 0.1000 0.0333 0.0356 0.0500 0.1000 1.0690 0.0020 0.0000 0.0250 0.0000 0.1000 0.0333 0.0356
281-AH 0.0000 0.1000 0.3333 0.5333 0.5333 0.3083 0.2362 0.4333 0.5333 0.7661 0.0270 0.0000 0.2083 0.0000 0.5333 0.3083 0.2362
282-AH 0.0333 0.1000 0.2167 0.3000 0.4667 0.2167 0.1425 0.2000 0.4333 0.6579 0.1659 0.1132 0.1083 0.0333 0.4667 0.2167 0.1425
283-AH 0.0000 0.0833 0.2333 0.3167 0.3333 0.2000 0.1369 0.2333 0.3333 0.6843 0.0204 0.0000 0.1083 0.0000 0.3333 0.2000 0.1369
284-AH 0.0000 0.0167 0.1333 0.3333 0.4000 0.1708 0.1750 0.3167 0.4000 1.0242 0.0135 0.0000 0.1542 0.0000 0.4000 0.1708 0.1750
285-AH 0.0333 0.0667 0.1500 0.3333 0.8000 0.2417 0.2593 0.2667 0.7667 1.0729 0.1507 0.0983 0.1875 0.0333 0.4333 0.1619 0.1380
286-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0083 0.0236 0.0000 0.0667 2.8284 0.0000 0.0000 0.0146 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0333 0.2000 0.4167 0.5000 0.2250 0.2129 0.3833 0.5000 0.9461 0.0183 0.0000 0.1917 0.0000 0.5000 0.2250 0.2129
288-AH 0.0000 0.0833 0.2000 0.2833 0.3667 0.1875 0.1321 0.2000 0.3667 0.7043 0.0193 0.0000 0.0990 0.0000 0.3667 0.1875 0.1321
289-AH 0.0000 0.0000 0.2167 0.5167 0.5333 0.2500 0.2690 0.5167 0.5333 1.0761 0.0022 0.0000 0.2500 0.0000 0.5333 0.2500 0.2690
290-AH 0.0000 0.0000 0.0333 0.1667 0.3000 0.0875 0.1181 0.1667 0.3000 1.3498 0.0012 0.0000 0.0927 0.0000 0.3000 0.0875 0.1181
202
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0167 0.1167 0.4000 0.7333 0.2250 0.2689 0.3833 0.7333 1.1951 0.0159 0.0000 0.2146 0.0000 0.7333 0.2250 0.2689
292-AH 0.0000 0.0167 0.0667 0.1333 0.1333 0.0708 0.0576 0.1167 0.1333 0.8127 0.0088 0.0000 0.0469 0.0000 0.1333 0.0708 0.0576
293-AH 0.0000 0.0000 0.2333 0.5833 0.6333 0.2833 0.3076 0.5833 0.6333 1.0856 0.0024 0.0000 0.2833 0.0000 0.6333 0.2833 0.3076
294-AH 0.0000 0.0500 0.2167 0.3667 0.6667 0.2417 0.2321 0.3167 0.6667 0.9606 0.0204 0.0000 0.1917 0.0000 0.6667 0.2417 0.2321
295-AH 0.0000 0.0000 0.1167 0.2167 0.3667 0.1292 0.1397 0.2167 0.3667 1.0812 0.0043 0.0000 0.1208 0.0000 0.3667 0.1292 0.1397
296-AH 0.0000 0.0500 0.1833 0.4000 0.5000 0.2208 0.2039 0.3500 0.5000 0.9232 0.0194 0.0000 0.1708 0.0000 0.5000 0.2208 0.2039
297-AH 0.0000 0.0000 0.0833 0.1500 0.1667 0.0792 0.0775 0.1500 0.1667 0.9794 0.0034 0.0000 0.0708 0.0000 0.1667 0.0792 0.0775
298-AH 0.0000 0.0333 0.0500 0.1167 0.3333 0.0917 0.1065 0.0833 0.3333 1.1622 0.0240 0.0001 0.0729 0.0000 0.1333 0.0571 0.0460
299-AH 0.0333 0.1167 0.2167 0.3667 0.5000 0.2417 0.1679 0.2500 0.4667 0.6946 0.1693 0.0976 0.1271 0.0333 0.5000 0.2417 0.1679
300-AH 0.0000 0.0000 0.0000 0.1000 0.1333 0.0417 0.0584 0.1000 0.1333 1.4020 0.0003 0.0000 0.0521 0.0000 0.1333 0.0417 0.0584
301-AH 0.0000 0.0000 0.0500 0.1667 0.3333 0.0958 0.1265 0.1667 0.3333 1.3204 0.0013 0.0000 0.0958 0.0000 0.3333 0.0958 0.1265
302-AH 0.0667 0.1000 0.1167 0.2000 0.3000 0.1500 0.0854 0.1000 0.2333 0.5697 0.1325 0.1193 0.0667 0.0667 0.3000 0.1500 0.0854
303-AH 0.0000 0.0000 0.0833 0.1500 0.2000 0.0833 0.0836 0.1500 0.2000 1.0029 0.0034 0.0000 0.0750 0.0000 0.2000 0.0833 0.0836
304-AH 0.0000 0.0667 0.1333 0.1500 0.1667 0.1083 0.0684 0.0833 0.1667 0.6317 0.0131 0.0000 0.0542 0.0000 0.1667 0.1083 0.0684
305-AH 0.0000 0.1333 0.2833 0.3167 0.3667 0.2292 0.1452 0.1833 0.3667 0.6337 0.0230 0.0000 0.1146 0.0000 0.3667 0.2292 0.1452
306-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
307-AH 0.0000 0.0000 0.0000 0.0833 0.3667 0.0667 0.1345 0.0833 0.3667 2.0178 0.0001 0.0000 0.1000 0.0000 0.1667 0.0238 0.0630
308-AH 0.0000 0.1833 0.2667 0.3167 0.3667 0.2375 0.1240 0.1333 0.3667 0.5221 0.0717 0.0001 0.0938 0.0000 0.3667 0.2375 0.1240
309-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0458 0.0305 0.0333 0.1000 0.6663 0.0165 0.0001 0.0240 0.0000 0.1000 0.0458 0.0305
310-AH 0.0667 0.0667 0.1167 0.1500 0.2000 0.1167 0.0504 0.0833 0.1333 0.4320 0.1073 0.0988 0.0417 0.0667 0.2000 0.1167 0.0504
311-AH 0.1333 0.1500 0.2000 0.3500 0.5667 0.2625 0.1527 0.2000 0.4333 0.5817 0.2308 0.2073 0.1198 0.1333 0.5667 0.2625 0.1527
312-AH 0.0000 0.0000 0.0500 0.1167 0.6000 0.1167 0.2031 0.1167 0.6000 1.7413 0.0013 0.0000 0.1250 0.0000 0.1333 0.0476 0.0604
313-AH 0.0000 0.0167 0.0333 0.0667 0.1667 0.0500 0.0535 0.0500 0.1667 1.0690 0.0064 0.0000 0.0375 0.0000 0.0667 0.0333 0.0272
314-AH 0.0000 0.0500 0.1333 0.1500 0.1667 0.1042 0.0677 0.1000 0.1667 0.6499 0.0127 0.0000 0.0531 0.0000 0.1667 0.1042 0.0677
315-AH 0.0000 0.0167 0.1000 0.5333 0.6333 0.2417 0.2793 0.5167 0.6333 1.1558 0.0164 0.0000 0.2437 0.0000 0.6333 0.2417 0.2793
316-AH 0.0000 0.0667 0.1667 0.2500 0.2667 0.1542 0.1068 0.1833 0.2667 0.6928 0.0167 0.0000 0.0823 0.0000 0.2667 0.1542 0.1068
317-AH 0.0000 0.0167 0.0333 0.1000 0.2000 0.0625 0.0700 0.0833 0.2000 1.1201 0.0071 0.0000 0.0531 0.0000 0.2000 0.0625 0.0700
318-AH 0.0000 0.0500 0.1000 0.1833 0.2000 0.1083 0.0751 0.1333 0.2000 0.6929 0.0332 0.0001 0.0604 0.0000 0.2000 0.1083 0.0751
319-AH 0.0667 0.1000 0.1667 0.2500 0.3333 0.1792 0.0991 0.1500 0.2667 0.5531 0.1540 0.1304 0.0792 0.0667 0.3333 0.1792 0.0991
320-AH 0.0000 0.0333 0.0500 0.0667 0.1000 0.0500 0.0309 0.0333 0.1000 0.6172 0.0180 0.0001 0.0250 0.0000 0.1000 0.0500 0.0309
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0333 0.1000 0.1667 0.2000 0.1000 0.0756 0.1333 0.2000 0.7559 0.0118 0.0000 0.0583 0.0000 0.2000 0.1000 0.0756
323-AH 0.0000 0.0167 0.0500 0.0667 0.1333 0.0500 0.0436 0.0500 0.1333 0.8729 0.0068 0.0000 0.0333 0.0000 0.1333 0.0500 0.0436
324-AH 0.0000 0.0333 0.1167 0.4000 0.5667 0.2083 0.2166 0.3667 0.5667 1.0396 0.0428 0.0001 0.1854 0.0000 0.5667 0.2083 0.2166
325-AH 0.0333 0.0833 0.1333 0.2500 0.5000 0.1833 0.1522 0.1667 0.4667 0.8304 0.1362 0.0996 0.1125 0.0333 0.5000 0.1833 0.1522
326-AH 0.0000 0.0333 0.0667 0.0833 0.1000 0.0583 0.0388 0.0500 0.1000 0.6657 0.0082 0.0000 0.0292 0.0000 0.1000 0.0583 0.0388
327-AH 0.0000 0.0000 0.0000 0.0167 0.1333 0.0208 0.0469 0.0167 0.1333 2.2526 0.0001 0.0000 0.0313 0.0000 0.0333 0.0048 0.0126
328-AH 0.0333 0.3167 0.5000 0.5333 0.6000 0.4167 0.2101 0.2167 0.5667 0.5042 0.3141 0.1635 0.1667 0.0333 0.6000 0.4167 0.2101
329-AH 0.0000 0.1500 0.3833 0.4167 0.4667 0.2958 0.1889 0.2667 0.4667 0.6386 0.0278 0.0000 0.1479 0.0000 0.4667 0.2958 0.1889
330-AH 0.0667 0.3833 0.7000 0.7667 0.7667 0.5667 0.3101 0.3833 0.7000 0.5473 0.4024 0.2094 0.2500 0.0667 0.7667 0.5667 0.3101
331-AH 0.0000 0.0833 0.1500 0.2500 0.2667 0.1542 0.1007 0.1667 0.2667 0.6531 0.0449 0.0001 0.0792 0.0000 0.2667 0.1542 0.1007
332-AH 0.0000 0.0833 0.2000 0.2167 0.2333 0.1542 0.0975 0.1333 0.2333 0.6324 0.0171 0.0000 0.0771 0.0000 0.2333 0.1542 0.0975
333-AH 0.0000 0.0000 0.0833 0.1667 0.1667 0.0833 0.0891 0.1667 0.1667 1.0690 0.0013 0.0000 0.0833 0.0000 0.1667 0.0833 0.0891
334-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0535 0.1000 0.1000 1.0690 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0535
335-AH 0.0000 0.0000 0.0500 0.1167 0.1667 0.0625 0.0700 0.1167 0.1667 1.1201 0.0011 0.0000 0.0625 0.0000 0.1667 0.0625 0.0700
336-AH 0.0000 0.0167 0.0333 0.1000 0.2000 0.0625 0.0700 0.0833 0.2000 1.1201 0.0071 0.0000 0.0531 0.0000 0.2000 0.0625 0.0700
337-AH 0.0000 0.2333 0.5167 0.5500 0.6000 0.4000 0.2501 0.3167 0.6000 0.6252 0.0350 0.0000 0.2000 0.0000 0.6000 0.4000 0.2501
338-AH 0.0000 0.1000 0.2000 0.2667 0.3333 0.1833 0.1234 0.1667 0.3333 0.6733 0.0192 0.0000 0.0917 0.0000 0.3333 0.1833 0.1234
339-AH 0.0000 0.0167 0.1333 0.2667 0.3333 0.1458 0.1425 0.2500 0.3333 0.9769 0.0125 0.0000 0.1292 0.0000 0.3333 0.1458 0.1425
340-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0535 0.1000 0.1000 1.0690 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0535
203
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0333 0.0667 0.1000 0.1333 0.1333 0.0958 0.0415 0.0667 0.1000 0.4335 0.0846 0.0711 0.0313 0.0333 0.1333 0.0958 0.0415
342-AH 0.2333 0.4667 0.7667 0.8167 0.8667 0.6500 0.2619 0.3500 0.6333 0.4029 0.5808 0.4934 0.2083 0.2333 0.8667 0.6500 0.2619
343-AH 0.0000 0.0000 0.0000 0.0167 0.0333 0.0083 0.0154 0.0167 0.0333 1.8516 0.0001 0.0000 0.0125 0.0000 0.0333 0.0083 0.0154
344-AH 0.0333 0.0500 0.4833 0.5000 0.6667 0.3458 0.2569 0.4500 0.6333 0.7429 0.2030 0.0945 0.2260 0.0333 0.6667 0.3458 0.2569
345-AH 0.0000 0.0000 0.0167 0.0833 0.1333 0.0417 0.0584 0.0833 0.1333 1.4020 0.0008 0.0000 0.0458 0.0000 0.1333 0.0417 0.0584
346-AH 0.0000 0.0167 0.0500 0.0833 0.1000 0.0500 0.0398 0.0667 0.1000 0.7968 0.0069 0.0000 0.0333 0.0000 0.1000 0.0500 0.0398
347-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0250 0.0345 0.0667 0.0667 1.3801 0.0003 0.0000 0.0313 0.0000 0.0667 0.0250 0.0345
348-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0500 0.0309 0.0333 0.0667 0.6172 0.0074 0.0000 0.0250 0.0000 0.0667 0.0500 0.0309
349-AH 0.0000 0.1167 0.3333 0.3667 0.4333 0.2583 0.1631 0.2500 0.4333 0.6312 0.0675 0.0001 0.1354 0.0000 0.4333 0.2583 0.1631
350-AH 0.0667 0.1333 0.2167 0.2500 0.2667 0.1917 0.0812 0.1167 0.2000 0.4235 0.1697 0.1427 0.0625 0.0667 0.2667 0.1917 0.0812
204
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0046 0.0050 0.0100 0.6172 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0046
142-AH 0.0200 0.0450 0.0800 0.0800 0.0800 0.0637 0.0272 0.0350 0.0600 0.4270 0.0556 0.0453 0.0219 0.0200 0.0800 0.0637 0.0272
143-AH 0.0000 0.0000 0.1050 0.3050 0.3700 0.1488 0.1657 0.3050 0.3700 1.1136 0.0040 0.0000 0.1463 0.0000 0.3700 0.1488 0.1657
144-AH 0.0000 0.0100 0.0250 0.0300 0.0300 0.0200 0.0131 0.0200 0.0300 0.6547 0.0037 0.0000 0.0100 0.0000 0.0300 0.0200 0.0131
145-AH 0.0100 0.0400 0.1350 0.2350 0.3100 0.1425 0.1160 0.1950 0.3000 0.8139 0.0800 0.0326 0.1025 0.0100 0.3100 0.1425 0.1160
146-AH 0.0000 0.0050 0.0100 0.0150 0.0200 0.0100 0.0076 0.0100 0.0200 0.7559 0.0021 0.0000 0.0050 0.0000 0.0200 0.0100 0.0076
147-AH 0.0100 0.0300 0.1250 0.2900 0.3800 0.1600 0.1522 0.2600 0.3700 0.9514 0.0837 0.0381 0.1300 0.0100 0.3800 0.1600 0.1522
148-AH 0.0000 0.0000 0.0050 0.0200 0.0200 0.0087 0.0099 0.0200 0.0200 1.1326 0.0004 0.0000 0.0087 0.0000 0.0200 0.0087 0.0099
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0050 0.0100 0.0450 0.0900 0.0263 0.0325 0.0400 0.0900 1.2376 0.0034 0.0000 0.0253 0.0000 0.0900 0.0263 0.0325
151-AH 0.0000 0.0000 0.0100 0.0150 0.0700 0.0150 0.0233 0.0150 0.0700 1.5533 0.0010 0.0000 0.0150 0.0000 0.0200 0.0071 0.0076
152-AH 0.0000 0.0000 0.0150 0.0600 0.0700 0.0275 0.0320 0.0600 0.0700 1.1622 0.0007 0.0000 0.0275 0.0000 0.0700 0.0275 0.0320
153-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0012 0.0035 0.0000 0.0100 2.8284 0.0000 0.0000 0.0022 0.0000 0.0000 0.0000 0.0000
154-AH 0.0100 0.0500 0.1050 0.1150 0.1500 0.0875 0.0509 0.0650 0.1400 0.5819 0.0612 0.0315 0.0388 0.0100 0.1500 0.0875 0.0509
155-AH 0.0000 0.0000 0.0100 0.0300 0.0300 0.0137 0.0151 0.0300 0.0300 1.0952 0.0005 0.0000 0.0137 0.0000 0.0300 0.0137 0.0151
156-AH 0.0100 0.0350 0.0600 0.0650 0.1300 0.0575 0.0362 0.0300 0.1200 0.6288 0.0459 0.0331 0.0231 0.0100 0.0700 0.0471 0.0229
157-AH 0.1000 0.2700 0.4500 0.5000 0.5500 0.3863 0.1765 0.2300 0.4500 0.4571 0.3296 0.2580 0.1381 0.1000 0.5500 0.3863 0.1765
158-AH 0.0100 0.0300 0.1650 0.2100 0.2800 0.1375 0.1031 0.1800 0.2700 0.7495 0.0844 0.0398 0.0875 0.0100 0.2800 0.1375 0.1031
159-AH 0.0000 0.0000 0.0550 0.1400 0.2200 0.0762 0.0872 0.1400 0.2200 1.1432 0.0012 0.0000 0.0762 0.0000 0.2200 0.0762 0.0872
160-AH 0.0000 0.0000 0.0050 0.0200 0.0200 0.0087 0.0099 0.0200 0.0200 1.1326 0.0004 0.0000 0.0087 0.0000 0.0200 0.0087 0.0099
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0046 0.0050 0.0100 0.6172 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0046
163-AH 0.1800 0.4000 0.5900 0.6600 0.7400 0.5275 0.1927 0.2600 0.5600 0.3653 0.4854 0.4311 0.1506 0.1800 0.7400 0.5275 0.1927
164-AH 0.0000 0.0050 0.0150 0.0300 0.1300 0.0287 0.0426 0.0250 0.1300 1.4808 0.0035 0.0000 0.0259 0.0000 0.0300 0.0143 0.0127
165-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0046 0.0050 0.0100 0.6172 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0046
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0100 0.0250 0.0350 0.0400 0.0225 0.0158 0.0250 0.0400 0.7027 0.0039 0.0000 0.0125 0.0000 0.0400 0.0225 0.0158
168-AH 0.0000 0.0000 0.0650 0.1450 0.1800 0.0750 0.0814 0.1450 0.1800 1.0855 0.0012 0.0000 0.0750 0.0000 0.1800 0.0750 0.0814
169-AH 0.0100 0.0100 0.0100 0.0250 0.0500 0.0187 0.0146 0.0150 0.0400 0.7775 0.0153 0.0133 0.0109 0.0100 0.0300 0.0143 0.0079
170-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0690 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
171-AH 0.0100 0.0350 0.0550 0.0650 0.0700 0.0487 0.0223 0.0300 0.0600 0.4579 0.0415 0.0318 0.0169 0.0100 0.0700 0.0487 0.0223
172-AH 0.0000 0.0050 0.0300 0.0450 0.0600 0.0275 0.0231 0.0400 0.0600 0.8417 0.0042 0.0000 0.0200 0.0000 0.0600 0.0275 0.0231
173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
174-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0187 0.0035 0.0000 0.0100 0.1886 0.0183 0.0178 0.0022 0.0200 0.0200 0.0200 0.0000
175-AH 0.0000 0.0300 0.0600 0.0600 0.0700 0.0462 0.0288 0.0300 0.0700 0.6217 0.0069 0.0000 0.0231 0.0000 0.0700 0.0462 0.0288
176-AH 0.1300 0.2200 0.3300 0.3850 0.3900 0.2988 0.1074 0.1650 0.2600 0.3594 0.2764 0.2497 0.0819 0.1300 0.3900 0.2988 0.1074
177-AH 0.0000 0.0650 0.0950 0.1050 0.1200 0.0813 0.0405 0.0400 0.1200 0.4986 0.0284 0.0001 0.0306 0.0400 0.1200 0.0929 0.0256
178-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0690 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
179-AH 0.0000 0.0000 0.0300 0.0800 0.1800 0.0500 0.0650 0.0800 0.1800 1.3005 0.0009 0.0000 0.0500 0.0000 0.1800 0.0500 0.0650
180-AH 0.0000 0.0050 0.0550 0.3050 0.3900 0.1400 0.1656 0.3000 0.3900 1.1830 0.0088 0.0000 0.1450 0.0000 0.3900 0.1400 0.1656
181-AH 0.0100 0.3350 0.6800 0.7200 0.7500 0.5287 0.3032 0.3850 0.7400 0.5735 0.3097 0.0660 0.2419 0.0100 0.7500 0.5287 0.3032
182-AH 0.0000 0.0100 0.0350 0.0400 0.0400 0.0262 0.0177 0.0300 0.0400 0.6734 0.0044 0.0000 0.0147 0.0000 0.0400 0.0262 0.0177
183-AH 0.0100 0.0250 0.0400 0.0400 0.0400 0.0325 0.0139 0.0150 0.0300 0.4273 0.0283 0.0229 0.0112 0.0100 0.0400 0.0325 0.0139
184-AH 0.0000 0.0150 0.0350 0.0450 0.0700 0.0325 0.0225 0.0300 0.0700 0.6929 0.0116 0.0001 0.0175 0.0000 0.0700 0.0325 0.0225
185-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0046 0.0050 0.0100 0.6172 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0046
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0690 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
188-AH 0.0000 0.0000 0.0000 0.0050 0.0100 0.0025 0.0046 0.0050 0.0100 1.8516 0.0001 0.0000 0.0037 0.0000 0.0100 0.0025 0.0046
189-AH 0.0000 0.0350 0.0700 0.0700 0.0700 0.0525 0.0324 0.0350 0.0700 0.6172 0.0077 0.0000 0.0263 0.0000 0.0700 0.0525 0.0324
190-AH 0.0000 0.0000 0.0100 0.0400 0.0500 0.0188 0.0223 0.0400 0.0500 1.1904 0.0006 0.0000 0.0188 0.0000 0.0500 0.0188 0.0223
205
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0200 0.0300 0.0300 0.0500 0.0600 0.0375 0.0149 0.0200 0.0400 0.3968 0.0352 0.0331 0.0119 0.0200 0.0600 0.0375 0.0149
193-AH 0.0000 0.0300 0.0600 0.0650 0.0700 0.0475 0.0296 0.0350 0.0700 0.6240 0.0071 0.0000 0.0237 0.0000 0.0700 0.0475 0.0296
194-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0037 0.0052 0.0100 0.0100 1.3801 0.0001 0.0000 0.0047 0.0000 0.0100 0.0037 0.0052
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0046 0.0050 0.0100 0.6172 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0046
197-AH 0.0000 0.1600 0.4650 0.4900 0.4900 0.3400 0.2173 0.3300 0.4900 0.6390 0.0308 0.0000 0.1750 0.0000 0.4900 0.3400 0.2173
198-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0062 0.0052 0.0100 0.0100 0.8281 0.0007 0.0000 0.0047 0.0000 0.0100 0.0062 0.0052
199-AH 0.0000 0.0700 0.1000 0.1000 0.1000 0.0800 0.0366 0.0300 0.1000 0.4581 0.0286 0.0001 0.0275 0.0500 0.1000 0.0914 0.0186
200-AH 0.0000 0.0000 0.0450 0.0750 0.0800 0.0400 0.0382 0.0750 0.0800 0.9543 0.0022 0.0000 0.0350 0.0000 0.0800 0.0400 0.0382
251-AH 0.0100 0.1450 0.3300 0.3850 0.4100 0.2675 0.1655 0.2400 0.4000 0.6187 0.1438 0.0368 0.1287 0.0100 0.4100 0.2675 0.1655
252-AH 0.0100 0.0300 0.0750 0.1700 0.2200 0.0975 0.0805 0.1400 0.2100 0.8255 0.0601 0.0303 0.0669 0.0100 0.2200 0.0975 0.0805
253-AH 0.0100 0.0900 0.2200 0.3450 0.4700 0.2238 0.1619 0.2550 0.4600 0.7238 0.1306 0.0461 0.1288 0.0100 0.4700 0.2238 0.1619
254-AH 0.0000 0.0100 0.0950 0.3000 0.4100 0.1525 0.1724 0.2900 0.4100 1.1302 0.0111 0.0000 0.1425 0.0000 0.4100 0.1525 0.1724
255-AH 0.0100 0.0150 0.0200 0.0250 0.0400 0.0212 0.0099 0.0100 0.0300 0.4664 0.0193 0.0175 0.0069 0.0100 0.0400 0.0212 0.0099
256-AH 0.0000 0.1450 0.3050 0.3150 0.3300 0.2325 0.1440 0.1700 0.3300 0.6194 0.0233 0.0000 0.1163 0.0000 0.3300 0.2325 0.1440
257-AH 0.0100 0.0500 0.1100 0.2050 0.2500 0.1237 0.0920 0.1550 0.2400 0.7431 0.0759 0.0329 0.0722 0.0100 0.2500 0.1237 0.0920
258-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0012 0.0035 0.0000 0.0100 2.8284 0.0000 0.0000 0.0022 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0100 0.0107 0.0200 0.0200 1.0690 0.0004 0.0000 0.0100 0.0000 0.0200 0.0100 0.0107
260-AH 0.0100 0.0100 0.1700 0.3600 0.4000 0.1863 0.1894 0.3500 0.3900 1.0171 0.0601 0.0195 0.1763 0.0100 0.4000 0.1863 0.1894
261-AH 0.0400 0.0400 0.0500 0.0600 0.0800 0.0525 0.0149 0.0200 0.0400 0.2834 0.0509 0.0494 0.0112 0.0400 0.0800 0.0525 0.0149
262-AH 0.0100 0.0250 0.0500 0.0650 0.1000 0.0488 0.0300 0.0400 0.0900 0.6148 0.0378 0.0261 0.0216 0.0100 0.1000 0.0488 0.0300
263-AH 0.0000 0.0100 0.0350 0.1750 0.2300 0.0838 0.0936 0.1650 0.2300 1.1182 0.0078 0.0000 0.0822 0.0000 0.2300 0.0838 0.0936
264-AH 0.0800 0.1100 0.1300 0.1600 0.1600 0.1300 0.0298 0.0500 0.0800 0.2289 0.1267 0.1233 0.0250 0.0800 0.1600 0.1300 0.0298
265-AH 0.0000 0.0200 0.0500 0.0600 0.0600 0.0400 0.0256 0.0400 0.0600 0.6409 0.0062 0.0000 0.0200 0.0000 0.0600 0.0400 0.0256
266-AH 0.0000 0.0050 0.0250 0.0400 0.0400 0.0225 0.0175 0.0350 0.0400 0.7789 0.0037 0.0000 0.0150 0.0000 0.0400 0.0225 0.0175
267-AH 0.0000 0.0250 0.0700 0.0700 0.0700 0.0500 0.0316 0.0450 0.0700 0.6325 0.0073 0.0000 0.0250 0.0000 0.0700 0.0500 0.0316
268-AH 0.0000 0.0000 0.0150 0.0200 0.0200 0.0112 0.0099 0.0200 0.0200 0.8809 0.0011 0.0000 0.0087 0.0000 0.0200 0.0112 0.0099
269-AH 0.0100 0.0100 0.0200 0.0250 0.0700 0.0237 0.0200 0.0150 0.0600 0.8402 0.0190 0.0161 0.0131 0.0100 0.0300 0.0171 0.0076
270-AH 0.0200 0.1350 0.2700 0.3150 0.4400 0.2375 0.1428 0.1800 0.4200 0.6013 0.1662 0.0838 0.1056 0.0200 0.4400 0.2375 0.1428
271-AH 0.0200 0.0800 0.1800 0.1950 0.2100 0.1425 0.0763 0.1150 0.1900 0.5354 0.1092 0.0683 0.0619 0.0200 0.2100 0.1425 0.0763
272-AH 0.0000 0.0250 0.0500 0.1000 0.1200 0.0587 0.0464 0.0750 0.1200 0.7902 0.0078 0.0000 0.0359 0.0000 0.1200 0.0587 0.0464
273-AH 0.0100 0.0550 0.2800 0.5250 0.6200 0.2938 0.2622 0.4700 0.6100 0.8927 0.1456 0.0506 0.2413 0.0100 0.6200 0.2938 0.2622
274-AH 0.0000 0.0100 0.0300 0.0300 0.0700 0.0262 0.0220 0.0200 0.0700 0.8380 0.0043 0.0000 0.0147 0.0000 0.0300 0.0200 0.0141
275-AH 0.0000 0.0300 0.0850 0.2200 0.2600 0.1162 0.1057 0.1900 0.2600 0.9091 0.0300 0.0001 0.0887 0.0000 0.2600 0.1162 0.1057
276-AH 0.0800 0.1800 0.2550 0.3400 0.3900 0.2525 0.1082 0.1600 0.3100 0.4285 0.2277 0.1987 0.0900 0.0800 0.3900 0.2525 0.1082
277-AH 0.0100 0.0300 0.0600 0.0800 0.1300 0.0600 0.0396 0.0500 0.1200 0.6607 0.0442 0.0279 0.0300 0.0100 0.1300 0.0600 0.0396
278-AH 0.0000 0.0000 0.0050 0.0200 0.1000 0.0188 0.0344 0.0200 0.1000 1.8351 0.0005 0.0000 0.0231 0.0000 0.0300 0.0071 0.0111
279-AH 0.0000 0.0000 0.0150 0.0200 0.0300 0.0125 0.0116 0.0200 0.0300 0.9320 0.0011 0.0000 0.0100 0.0000 0.0300 0.0125 0.0116
280-AH 0.0000 0.0100 0.0150 0.0300 0.0700 0.0225 0.0225 0.0200 0.0700 1.0009 0.0076 0.0001 0.0162 0.0000 0.0400 0.0157 0.0127
281-AH 0.0000 0.0950 0.2300 0.2850 0.3000 0.1900 0.1247 0.1900 0.3000 0.6562 0.0198 0.0000 0.0950 0.0000 0.3000 0.1900 0.1247
282-AH 0.0200 0.0600 0.1250 0.1550 0.2200 0.1150 0.0685 0.0950 0.2000 0.5952 0.0870 0.0558 0.0512 0.0200 0.2200 0.1150 0.0685
283-AH 0.0000 0.0400 0.1300 0.1950 0.2200 0.1187 0.0876 0.1550 0.2200 0.7375 0.0134 0.0000 0.0737 0.0000 0.2200 0.1187 0.0876
284-AH 0.0000 0.0100 0.0750 0.1750 0.3300 0.1063 0.1173 0.1650 0.3300 1.1044 0.0098 0.0000 0.0913 0.0000 0.3300 0.1063 0.1173
285-AH 0.0800 0.0900 0.1250 0.2950 0.5200 0.2025 0.1610 0.2050 0.4400 0.7953 0.1599 0.1335 0.1256 0.0800 0.5200 0.2025 0.1610
286-AH 0.0000 0.0000 0.0000 0.0050 0.0400 0.0062 0.0141 0.0050 0.0400 2.2526 0.0001 0.0000 0.0094 0.0000 0.0100 0.0014 0.0038
287-AH 0.0000 0.0250 0.1550 0.2650 0.3300 0.1525 0.1373 0.2400 0.3300 0.9003 0.0143 0.0000 0.1250 0.0000 0.3300 0.1525 0.1373
288-AH 0.0000 0.0550 0.1700 0.1900 0.2400 0.1338 0.0873 0.1350 0.2400 0.6529 0.0381 0.0001 0.0728 0.0000 0.2400 0.1338 0.0873
289-AH 0.0000 0.0000 0.0850 0.1800 0.1800 0.0888 0.0949 0.1800 0.1800 1.0697 0.0013 0.0000 0.0888 0.0000 0.1800 0.0888 0.0949
290-AH 0.0000 0.0100 0.0300 0.0850 0.1700 0.0525 0.0627 0.0750 0.1700 1.1950 0.0060 0.0000 0.0487 0.0000 0.1700 0.0525 0.0627
206
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0150 0.0600 0.1850 0.2600 0.0975 0.1007 0.1700 0.2600 1.0326 0.0220 0.0001 0.0844 0.0000 0.2600 0.0975 0.1007
292-AH 0.0200 0.0200 0.0400 0.0400 0.0400 0.0325 0.0104 0.0200 0.0200 0.3185 0.0308 0.0291 0.0094 0.0200 0.0400 0.0325 0.0104
293-AH 0.0000 0.0000 0.1200 0.2850 0.3200 0.1412 0.1537 0.2850 0.3200 1.0879 0.0017 0.0000 0.1412 0.0000 0.3200 0.1412 0.1537
294-AH 0.0000 0.0150 0.1000 0.2150 0.2600 0.1150 0.1105 0.2000 0.2600 0.9605 0.0108 0.0000 0.1000 0.0000 0.2600 0.1150 0.1105
295-AH 0.0000 0.0050 0.0450 0.1050 0.1700 0.0600 0.0641 0.1000 0.1700 1.0690 0.0059 0.0000 0.0550 0.0000 0.1700 0.0600 0.0641
296-AH 0.0000 0.0150 0.0800 0.1800 0.2300 0.0975 0.0953 0.1650 0.2300 0.9772 0.0098 0.0000 0.0825 0.0000 0.2300 0.0975 0.0953
297-AH 0.0000 0.0000 0.0350 0.0600 0.0700 0.0325 0.0324 0.0600 0.0700 0.9970 0.0019 0.0000 0.0300 0.0000 0.0700 0.0325 0.0324
298-AH 0.0100 0.0200 0.0300 0.0800 0.1500 0.0525 0.0526 0.0600 0.1400 1.0015 0.0344 0.0235 0.0413 0.0100 0.1500 0.0525 0.0526
299-AH 0.0100 0.0500 0.1500 0.2500 0.3200 0.1537 0.1183 0.2000 0.3100 0.7695 0.0882 0.0338 0.0987 0.0100 0.3200 0.1537 0.1183
300-AH 0.0000 0.0000 0.0500 0.0800 0.2000 0.0575 0.0680 0.0800 0.2000 1.1823 0.0027 0.0000 0.0500 0.0000 0.2000 0.0575 0.0680
301-AH 0.0000 0.0000 0.0350 0.0850 0.1100 0.0438 0.0481 0.0850 0.1100 1.0992 0.0009 0.0000 0.0438 0.0000 0.1100 0.0438 0.0481
302-AH 0.0500 0.0500 0.0600 0.1000 0.1600 0.0787 0.0426 0.0500 0.1100 0.5406 0.0709 0.0653 0.0331 0.0500 0.1600 0.0787 0.0426
303-AH 0.0000 0.0100 0.0450 0.0700 0.0800 0.0412 0.0331 0.0600 0.0800 0.8034 0.0059 0.0000 0.0287 0.0000 0.0800 0.0412 0.0331
304-AH 0.0000 0.0200 0.0500 0.0500 0.0500 0.0363 0.0226 0.0300 0.0500 0.6245 0.0058 0.0000 0.0181 0.0000 0.0500 0.0363 0.0226
305-AH 0.0000 0.0700 0.1550 0.1700 0.1900 0.1225 0.0770 0.1000 0.1900 0.6289 0.0144 0.0000 0.0613 0.0000 0.1900 0.1225 0.0770
306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
307-AH 0.0000 0.0050 0.0150 0.0600 0.2500 0.0513 0.0866 0.0550 0.2500 1.6896 0.0042 0.0000 0.0619 0.0000 0.1000 0.0229 0.0350
308-AH 0.0200 0.0600 0.1000 0.1050 0.1100 0.0825 0.0362 0.0450 0.0900 0.4382 0.0711 0.0561 0.0288 0.0200 0.1100 0.0825 0.0362
309-AH 0.0200 0.0300 0.0400 0.0450 0.0600 0.0387 0.0125 0.0150 0.0400 0.3217 0.0369 0.0350 0.0091 0.0200 0.0600 0.0387 0.0125
310-AH 0.0200 0.0600 0.1050 0.1350 0.1900 0.1012 0.0554 0.0750 0.1700 0.5472 0.0836 0.0630 0.0437 0.0200 0.1900 0.1012 0.0554
311-AH 0.0700 0.1050 0.1800 0.2700 0.3000 0.1850 0.0883 0.1650 0.2300 0.4774 0.1647 0.1447 0.0712 0.0700 0.3000 0.1850 0.0883
312-AH 0.0000 0.0000 0.0300 0.0700 0.2800 0.0600 0.0950 0.0700 0.2800 1.5836 0.0010 0.0000 0.0600 0.0000 0.0800 0.0286 0.0363
313-AH 0.0100 0.0250 0.0350 0.0600 0.0700 0.0400 0.0220 0.0350 0.0600 0.5510 0.0339 0.0276 0.0175 0.0100 0.0700 0.0400 0.0220
314-AH 0.0000 0.0300 0.0600 0.0800 0.1100 0.0562 0.0400 0.0500 0.1100 0.7107 0.0078 0.0000 0.0281 0.0000 0.1100 0.0562 0.0400
315-AH 0.0000 0.0200 0.0850 0.3100 0.4200 0.1562 0.1700 0.2900 0.4200 1.0877 0.0135 0.0000 0.1428 0.0000 0.4200 0.1562 0.1700
316-AH 0.0000 0.0800 0.1650 0.2250 0.2800 0.1525 0.1054 0.1450 0.2800 0.6911 0.0167 0.0000 0.0763 0.0000 0.2800 0.1525 0.1054
317-AH 0.0000 0.0250 0.0550 0.0800 0.1600 0.0600 0.0504 0.0550 0.1600 0.8404 0.0190 0.0001 0.0350 0.0000 0.1600 0.0600 0.0504
318-AH 0.0000 0.0350 0.0700 0.0850 0.0900 0.0588 0.0348 0.0500 0.0900 0.5927 0.0193 0.0001 0.0269 0.0000 0.0900 0.0588 0.0348
319-AH 0.0300 0.0550 0.1100 0.1300 0.1400 0.0950 0.0434 0.0750 0.1100 0.4571 0.0835 0.0704 0.0362 0.0300 0.1400 0.0950 0.0434
320-AH 0.0000 0.0150 0.0300 0.0350 0.0400 0.0250 0.0141 0.0200 0.0400 0.5657 0.0098 0.0001 0.0112 0.0000 0.0400 0.0250 0.0141
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0300 0.0600 0.0650 0.0700 0.0475 0.0271 0.0350 0.0700 0.5710 0.0164 0.0001 0.0212 0.0000 0.0700 0.0475 0.0271
323-AH 0.0000 0.0150 0.0650 0.0800 0.0900 0.0513 0.0368 0.0650 0.0900 0.7183 0.0072 0.0000 0.0309 0.0000 0.0900 0.0513 0.0368
324-AH 0.0000 0.0250 0.0750 0.1900 0.3000 0.1100 0.1084 0.1650 0.3000 0.9851 0.0264 0.0001 0.0900 0.0000 0.3000 0.1100 0.1084
325-AH 0.0300 0.0450 0.0800 0.1800 0.3600 0.1250 0.1155 0.1350 0.3300 0.9241 0.0877 0.0641 0.0863 0.0300 0.3600 0.1250 0.1155
326-AH 0.0000 0.0150 0.0300 0.0300 0.0300 0.0225 0.0139 0.0150 0.0300 0.6172 0.0041 0.0000 0.0112 0.0000 0.0300 0.0225 0.0139
327-AH 0.0000 0.0000 0.0000 0.0200 0.0400 0.0100 0.0160 0.0200 0.0400 1.6036 0.0002 0.0000 0.0125 0.0000 0.0400 0.0100 0.0160
328-AH 0.0200 0.1400 0.2250 0.2300 0.2300 0.1800 0.0847 0.0900 0.2100 0.4705 0.1436 0.0879 0.0675 0.0200 0.2300 0.1800 0.0847
329-AH 0.0000 0.0550 0.1250 0.1450 0.1700 0.1025 0.0658 0.0900 0.1700 0.6424 0.0125 0.0000 0.0513 0.0000 0.1700 0.1025 0.0658
330-AH 0.0200 0.2200 0.4750 0.5000 0.5000 0.3638 0.2139 0.2800 0.4800 0.5881 0.2160 0.0711 0.1719 0.0200 0.5000 0.3638 0.2139
331-AH 0.0000 0.0750 0.1500 0.1550 0.1600 0.1150 0.0682 0.0800 0.1600 0.5934 0.0324 0.0001 0.0550 0.0000 0.1600 0.1150 0.0682
332-AH 0.0000 0.0400 0.0800 0.0800 0.0800 0.0600 0.0370 0.0400 0.0800 0.6172 0.0085 0.0000 0.0300 0.0000 0.0800 0.0600 0.0370
333-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0267 0.0500 0.0500 1.0690 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0267
334-AH 0.0000 0.0000 0.0150 0.0350 0.0400 0.0175 0.0191 0.0350 0.0400 1.0906 0.0006 0.0000 0.0175 0.0000 0.0400 0.0175 0.0191
335-AH 0.0000 0.0000 0.0250 0.0650 0.0900 0.0338 0.0362 0.0650 0.0900 1.0734 0.0019 0.0000 0.0313 0.0000 0.0900 0.0338 0.0362
336-AH 0.0000 0.0100 0.0350 0.0700 0.1000 0.0413 0.0376 0.0600 0.1000 0.9111 0.0057 0.0000 0.0291 0.0000 0.1000 0.0413 0.0376
337-AH 0.0000 0.0900 0.1950 0.2000 0.2000 0.1463 0.0905 0.1100 0.2000 0.6191 0.0165 0.0000 0.0731 0.0000 0.2000 0.1463 0.0905
338-AH 0.0000 0.0350 0.0700 0.0950 0.1000 0.0625 0.0406 0.0600 0.1000 0.6499 0.0086 0.0000 0.0313 0.0000 0.1000 0.0625 0.0406
339-AH 0.0000 0.0100 0.0700 0.1450 0.1800 0.0788 0.0720 0.1350 0.1800 0.9143 0.0087 0.0000 0.0613 0.0000 0.1800 0.0788 0.0720
340-AH 0.0000 0.0000 0.0200 0.0400 0.0500 0.0212 0.0230 0.0400 0.0500 1.0801 0.0007 0.0000 0.0212 0.0000 0.0500 0.0212 0.0230
207
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0100 0.0300 0.0450 0.0500 0.0600 0.0400 0.0169 0.0200 0.0500 0.4226 0.0353 0.0289 0.0125 0.0100 0.0600 0.0400 0.0169
342-AH 0.1700 0.4500 0.6200 0.6400 0.7500 0.5425 0.1983 0.1900 0.5800 0.3655 0.4951 0.4309 0.1537 0.1700 0.7500 0.5425 0.1983
343-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0690 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
344-AH 0.0100 0.0550 0.2400 0.2800 0.3100 0.1838 0.1235 0.2250 0.3000 0.6722 0.1122 0.0445 0.1078 0.0100 0.3100 0.1838 0.1235
345-AH 0.0000 0.0050 0.0150 0.0400 0.0600 0.0225 0.0243 0.0350 0.0600 1.0822 0.0033 0.0000 0.0187 0.0000 0.0600 0.0225 0.0243
346-AH 0.0000 0.0200 0.0450 0.0600 0.0700 0.0400 0.0267 0.0400 0.0700 0.6682 0.0061 0.0000 0.0200 0.0000 0.0700 0.0400 0.0267
347-AH 0.0000 0.0000 0.0150 0.0300 0.0400 0.0162 0.0177 0.0300 0.0400 1.0879 0.0006 0.0000 0.0162 0.0000 0.0400 0.0162 0.0177
348-AH 0.0000 0.0100 0.0200 0.0200 0.0200 0.0150 0.0093 0.0100 0.0200 0.6172 0.0030 0.0000 0.0075 0.0000 0.0200 0.0150 0.0093
349-AH 0.0100 0.0600 0.1900 0.2150 0.2200 0.1450 0.0906 0.1550 0.2100 0.6245 0.0892 0.0343 0.0763 0.0100 0.2200 0.1450 0.0906
350-AH 0.0200 0.0550 0.0900 0.1000 0.1000 0.0763 0.0350 0.0450 0.0800 0.4594 0.0643 0.0490 0.0281 0.0200 0.1000 0.0763 0.0350
208
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0023 0.0025 0.0050 0.6172 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0023
142-AH 0.0100 0.0275 0.0400 0.0400 0.0400 0.0331 0.0116 0.0125 0.0300 0.3511 0.0303 0.0264 0.0091 0.0100 0.0400 0.0331 0.0116
143-AH 0.0000 0.0075 0.0675 0.1725 0.1950 0.0862 0.0863 0.1650 0.1950 1.0011 0.0082 0.0000 0.0775 0.0000 0.1950 0.0862 0.0863
144-AH 0.0000 0.0075 0.0125 0.0150 0.0150 0.0106 0.0056 0.0075 0.0150 0.5299 0.0047 0.0001 0.0044 0.0000 0.0150 0.0106 0.0056
145-AH 0.0100 0.0300 0.0850 0.1350 0.1700 0.0850 0.0607 0.1050 0.1600 0.7142 0.0585 0.0340 0.0525 0.0100 0.1700 0.0850 0.0607
146-AH 0.0000 0.0025 0.0050 0.0100 0.0100 0.0056 0.0042 0.0075 0.0100 0.7418 0.0014 0.0000 0.0033 0.0000 0.0100 0.0056 0.0042
147-AH 0.0050 0.0200 0.0850 0.1825 0.2400 0.1025 0.0952 0.1625 0.2350 0.9288 0.0521 0.0208 0.0825 0.0050 0.2400 0.1025 0.0952
148-AH 0.0000 0.0000 0.0050 0.0225 0.0250 0.0100 0.0116 0.0225 0.0250 1.1650 0.0004 0.0000 0.0100 0.0000 0.0250 0.0100 0.0116
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0050 0.0075 0.0100 0.0450 0.0500 0.0225 0.0204 0.0375 0.0450 0.9046 0.0150 0.0105 0.0181 0.0050 0.0500 0.0225 0.0204
151-AH 0.0000 0.0025 0.0150 0.0150 0.0350 0.0125 0.0113 0.0125 0.0350 0.9071 0.0023 0.0000 0.0081 0.0000 0.0150 0.0093 0.0073
152-AH 0.0000 0.0000 0.0100 0.0375 0.0500 0.0181 0.0210 0.0375 0.0500 1.1605 0.0006 0.0000 0.0181 0.0000 0.0500 0.0181 0.0210
153-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0006 0.0018 0.0000 0.0050 2.8284 0.0000 0.0000 0.0011 0.0000 0.0000 0.0000 0.0000
154-AH 0.0100 0.0325 0.0625 0.0700 0.0800 0.0525 0.0273 0.0375 0.0700 0.5192 0.0413 0.0275 0.0212 0.0100 0.0800 0.0525 0.0273
155-AH 0.0000 0.0000 0.0100 0.0150 0.0150 0.0081 0.0075 0.0150 0.0150 0.9267 0.0008 0.0000 0.0069 0.0000 0.0150 0.0081 0.0075
156-AH 0.0150 0.0350 0.0450 0.0550 0.0700 0.0444 0.0176 0.0200 0.0550 0.3969 0.0405 0.0357 0.0122 0.0150 0.0700 0.0444 0.0176
157-AH 0.0800 0.2225 0.3825 0.4075 0.4300 0.3169 0.1464 0.1850 0.3500 0.4620 0.2666 0.2025 0.1172 0.0800 0.4300 0.3169 0.1464
158-AH 0.0050 0.0250 0.1100 0.1250 0.1500 0.0844 0.0565 0.1000 0.1450 0.6700 0.0551 0.0247 0.0495 0.0050 0.1500 0.0844 0.0565
159-AH 0.0000 0.0000 0.0525 0.1200 0.1800 0.0656 0.0735 0.1200 0.1800 1.1194 0.0011 0.0000 0.0656 0.0000 0.1800 0.0656 0.0735
160-AH 0.0000 0.0000 0.0025 0.0100 0.0100 0.0044 0.0050 0.0100 0.0100 1.1326 0.0003 0.0000 0.0044 0.0000 0.0100 0.0044 0.0050
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0023 0.0025 0.0050 0.6172 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0023
163-AH 0.1300 0.2775 0.3900 0.4600 0.4950 0.3600 0.1280 0.1825 0.3650 0.3556 0.3334 0.2997 0.0988 0.1300 0.4950 0.3600 0.1280
164-AH 0.0000 0.0025 0.0125 0.0300 0.1050 0.0244 0.0350 0.0275 0.1050 1.4356 0.0029 0.0000 0.0230 0.0000 0.0350 0.0129 0.0138
165-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0023 0.0025 0.0050 0.6172 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0023
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0050 0.0125 0.0175 0.0200 0.0112 0.0079 0.0125 0.0200 0.7027 0.0023 0.0000 0.0062 0.0000 0.0200 0.0112 0.0079
168-AH 0.0000 0.0000 0.0350 0.0750 0.0900 0.0388 0.0407 0.0750 0.0900 1.0500 0.0019 0.0000 0.0375 0.0000 0.0900 0.0388 0.0407
169-AH 0.0050 0.0075 0.0100 0.0175 0.0250 0.0125 0.0071 0.0100 0.0200 0.5657 0.0108 0.0093 0.0056 0.0050 0.0250 0.0125 0.0071
170-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0027 0.0050 0.0050 1.0690 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0027
171-AH 0.0200 0.0275 0.0375 0.0450 0.0600 0.0375 0.0131 0.0175 0.0400 0.3491 0.0355 0.0335 0.0100 0.0200 0.0600 0.0375 0.0131
172-AH 0.0000 0.0050 0.0225 0.0300 0.0300 0.0181 0.0131 0.0250 0.0300 0.7214 0.0033 0.0000 0.0111 0.0000 0.0300 0.0181 0.0131
173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
174-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0094 0.0018 0.0000 0.0050 0.1886 0.0092 0.0089 0.0011 0.0100 0.0100 0.0100 0.0000
175-AH 0.0000 0.0150 0.0300 0.0350 0.0350 0.0244 0.0152 0.0200 0.0350 0.6245 0.0043 0.0000 0.0122 0.0000 0.0350 0.0244 0.0152
176-AH 0.0700 0.1125 0.1825 0.1950 0.1950 0.1556 0.0534 0.0825 0.1250 0.3432 0.1449 0.1319 0.0430 0.0700 0.1950 0.1556 0.0534
177-AH 0.0150 0.0350 0.0500 0.0575 0.0600 0.0450 0.0165 0.0225 0.0450 0.3661 0.0412 0.0363 0.0125 0.0150 0.0600 0.0450 0.0165
178-AH 0.0000 0.0000 0.0025 0.0100 0.0100 0.0044 0.0050 0.0100 0.0100 1.1326 0.0003 0.0000 0.0044 0.0000 0.0100 0.0044 0.0050
179-AH 0.0000 0.0000 0.0225 0.0625 0.1000 0.0338 0.0402 0.0625 0.1000 1.1924 0.0008 0.0000 0.0338 0.0000 0.1000 0.0338 0.0402
180-AH 0.0000 0.0025 0.0600 0.1775 0.1950 0.0844 0.0905 0.1750 0.1950 1.0730 0.0060 0.0000 0.0819 0.0000 0.1950 0.0844 0.0905
181-AH 0.0200 0.2025 0.4175 0.4450 0.4500 0.3250 0.1829 0.2425 0.4300 0.5628 0.2176 0.0925 0.1462 0.0200 0.4500 0.3250 0.1829
182-AH 0.0000 0.0075 0.0175 0.0200 0.0200 0.0137 0.0088 0.0125 0.0200 0.6373 0.0028 0.0000 0.0069 0.0000 0.0200 0.0137 0.0088
183-AH 0.0050 0.0125 0.0200 0.0200 0.0200 0.0162 0.0069 0.0075 0.0150 0.4273 0.0141 0.0114 0.0056 0.0050 0.0200 0.0162 0.0069
184-AH 0.0050 0.0150 0.0200 0.0275 0.0400 0.0212 0.0106 0.0125 0.0350 0.4991 0.0185 0.0150 0.0078 0.0050 0.0400 0.0212 0.0106
185-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0023 0.0025 0.0050 0.6172 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0023
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0023 0.0025 0.0050 0.6172 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0023
188-AH 0.0000 0.0000 0.0000 0.0025 0.0050 0.0012 0.0023 0.0025 0.0050 1.8516 0.0000 0.0000 0.0019 0.0000 0.0050 0.0012 0.0023
189-AH 0.0000 0.0175 0.0350 0.0350 0.0350 0.0263 0.0162 0.0175 0.0350 0.6172 0.0046 0.0000 0.0131 0.0000 0.0350 0.0263 0.0162
190-AH 0.0000 0.0000 0.0100 0.0225 0.0300 0.0119 0.0131 0.0225 0.0300 1.1011 0.0005 0.0000 0.0119 0.0000 0.0300 0.0119 0.0131
209
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0150 0.0175 0.0200 0.0250 0.0300 0.0212 0.0058 0.0075 0.0150 0.2741 0.0206 0.0200 0.0044 0.0150 0.0300 0.0212 0.0058
193-AH 0.0000 0.0150 0.0350 0.0350 0.0350 0.0256 0.0159 0.0200 0.0350 0.6209 0.0045 0.0000 0.0128 0.0000 0.0350 0.0256 0.0159
194-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0023 0.0025 0.0050 0.6172 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0023
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0025 0.0050 0.0050 0.0050 0.0037 0.0023 0.0025 0.0050 0.6172 0.0011 0.0000 0.0019 0.0000 0.0050 0.0037 0.0023
197-AH 0.0000 0.1150 0.2450 0.2450 0.2500 0.1825 0.1128 0.1300 0.2500 0.6180 0.0195 0.0000 0.0913 0.0000 0.2500 0.1825 0.1128
198-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0031 0.0026 0.0050 0.0050 0.8281 0.0005 0.0000 0.0023 0.0000 0.0050 0.0031 0.0026
199-AH 0.0100 0.0375 0.0500 0.0500 0.0500 0.0419 0.0156 0.0125 0.0400 0.3718 0.0375 0.0308 0.0122 0.0250 0.0500 0.0464 0.0094
200-AH 0.0000 0.0025 0.0325 0.0400 0.0400 0.0237 0.0187 0.0375 0.0400 0.7857 0.0037 0.0000 0.0166 0.0000 0.0400 0.0237 0.0187
251-AH 0.0050 0.0800 0.1850 0.2200 0.2450 0.1525 0.0960 0.1400 0.2400 0.6297 0.0792 0.0186 0.0737 0.0050 0.2450 0.1525 0.0960
252-AH 0.0050 0.0175 0.0525 0.1050 0.1400 0.0619 0.0508 0.0875 0.1350 0.8206 0.0364 0.0160 0.0411 0.0050 0.1400 0.0619 0.0508
253-AH 0.0200 0.0800 0.1950 0.2625 0.3700 0.1831 0.1205 0.1825 0.3500 0.6582 0.1336 0.0799 0.0994 0.0200 0.3700 0.1831 0.1205
254-AH 0.0050 0.0100 0.0675 0.2425 0.3700 0.1269 0.1498 0.2325 0.3650 1.1804 0.0431 0.0154 0.1186 0.0050 0.3700 0.1269 0.1498
255-AH 0.0050 0.0075 0.0100 0.0125 0.0200 0.0106 0.0050 0.0050 0.0150 0.4664 0.0096 0.0087 0.0034 0.0050 0.0200 0.0106 0.0050
256-AH 0.0000 0.0750 0.1600 0.1650 0.1650 0.1206 0.0746 0.0900 0.1650 0.6186 0.0143 0.0000 0.0603 0.0000 0.1650 0.1206 0.0746
257-AH 0.0100 0.0450 0.0900 0.1275 0.1750 0.0887 0.0579 0.0825 0.1650 0.6520 0.0646 0.0383 0.0438 0.0100 0.1750 0.0887 0.0579
258-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0012 0.0035 0.0000 0.0100 2.8284 0.0000 0.0000 0.0022 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0690 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
260-AH 0.0100 0.0200 0.1275 0.2400 0.2950 0.1350 0.1240 0.2200 0.2850 0.9184 0.0667 0.0288 0.1137 0.0100 0.2950 0.1350 0.1240
261-AH 0.0350 0.0375 0.0425 0.0500 0.0550 0.0438 0.0074 0.0125 0.0200 0.1701 0.0432 0.0427 0.0063 0.0350 0.0550 0.0438 0.0074
262-AH 0.0050 0.0175 0.0450 0.0600 0.0700 0.0400 0.0254 0.0425 0.0650 0.6339 0.0279 0.0152 0.0212 0.0050 0.0700 0.0400 0.0254
263-AH 0.0000 0.0050 0.0250 0.1175 0.1500 0.0556 0.0624 0.1125 0.1500 1.1221 0.0055 0.0000 0.0545 0.0000 0.1500 0.0556 0.0624
264-AH 0.0450 0.0675 0.0825 0.0900 0.0950 0.0775 0.0179 0.0225 0.0500 0.2313 0.0753 0.0728 0.0137 0.0450 0.0950 0.0775 0.0179
265-AH 0.0000 0.0100 0.0250 0.0300 0.0300 0.0200 0.0128 0.0200 0.0300 0.6409 0.0037 0.0000 0.0100 0.0000 0.0300 0.0200 0.0128
266-AH 0.0000 0.0075 0.0150 0.0200 0.0200 0.0131 0.0084 0.0125 0.0200 0.6419 0.0027 0.0000 0.0066 0.0000 0.0200 0.0131 0.0084
267-AH 0.0000 0.0175 0.0400 0.0525 0.0650 0.0356 0.0240 0.0350 0.0650 0.6728 0.0056 0.0000 0.0180 0.0000 0.0650 0.0356 0.0240
268-AH 0.0000 0.0025 0.0100 0.0100 0.0100 0.0069 0.0046 0.0075 0.0100 0.6663 0.0016 0.0000 0.0039 0.0000 0.0100 0.0069 0.0046
269-AH 0.0050 0.0100 0.0125 0.0275 0.0400 0.0181 0.0122 0.0175 0.0350 0.6747 0.0148 0.0120 0.0102 0.0050 0.0400 0.0181 0.0122
270-AH 0.0300 0.1000 0.1725 0.1950 0.2500 0.1519 0.0783 0.0950 0.2200 0.5154 0.1220 0.0853 0.0597 0.0300 0.2500 0.1519 0.0783
271-AH 0.0300 0.0625 0.0950 0.1125 0.1150 0.0856 0.0343 0.0500 0.0850 0.4003 0.0770 0.0663 0.0266 0.0300 0.1150 0.0856 0.0343
272-AH 0.0000 0.0200 0.0425 0.0600 0.0600 0.0381 0.0251 0.0400 0.0600 0.6574 0.0059 0.0000 0.0191 0.0000 0.0600 0.0381 0.0251
273-AH 0.0200 0.0300 0.1725 0.3375 0.3650 0.1831 0.1604 0.3075 0.3450 0.8759 0.1016 0.0520 0.1481 0.0200 0.3650 0.1831 0.1604
274-AH 0.0000 0.0100 0.0200 0.0250 0.0350 0.0181 0.0122 0.0150 0.0350 0.6747 0.0034 0.0000 0.0091 0.0000 0.0350 0.0181 0.0122
275-AH 0.0000 0.0200 0.0775 0.1575 0.2050 0.0894 0.0803 0.1375 0.2050 0.8983 0.0227 0.0001 0.0719 0.0000 0.2050 0.0894 0.0803
276-AH 0.0800 0.1300 0.1675 0.2200 0.2550 0.1712 0.0597 0.0900 0.1750 0.3489 0.1613 0.1507 0.0500 0.0800 0.2550 0.1712 0.0597
277-AH 0.0050 0.0200 0.0350 0.0525 0.0700 0.0362 0.0222 0.0325 0.0650 0.6113 0.0277 0.0180 0.0175 0.0050 0.0700 0.0362 0.0222
278-AH 0.0000 0.0000 0.0025 0.0175 0.0550 0.0119 0.0194 0.0175 0.0550 1.6375 0.0004 0.0000 0.0141 0.0000 0.0250 0.0057 0.0093
279-AH 0.0000 0.0025 0.0100 0.0100 0.0200 0.0081 0.0065 0.0075 0.0200 0.8015 0.0018 0.0000 0.0048 0.0000 0.0200 0.0081 0.0065
280-AH 0.0000 0.0050 0.0075 0.0250 0.0500 0.0156 0.0176 0.0200 0.0500 1.1273 0.0049 0.0001 0.0134 0.0000 0.0500 0.0156 0.0176
281-AH 0.0000 0.0675 0.1675 0.1825 0.1850 0.1275 0.0804 0.1150 0.1850 0.6306 0.0148 0.0000 0.0638 0.0000 0.1850 0.1275 0.0804
282-AH 0.0100 0.0475 0.0875 0.0925 0.1250 0.0738 0.0402 0.0450 0.1150 0.5445 0.0561 0.0345 0.0306 0.0100 0.1250 0.0738 0.0402
283-AH 0.0000 0.0225 0.0825 0.1275 0.1350 0.0750 0.0566 0.1050 0.1350 0.7542 0.0094 0.0000 0.0487 0.0000 0.1350 0.0750 0.0566
284-AH 0.0000 0.0050 0.0450 0.1100 0.1900 0.0637 0.0709 0.1050 0.1900 1.1122 0.0065 0.0000 0.0550 0.0000 0.1900 0.0637 0.0709
285-AH 0.0650 0.0775 0.0875 0.2000 0.3150 0.1387 0.0921 0.1225 0.2500 0.6636 0.1174 0.1029 0.0747 0.0650 0.3150 0.1387 0.0921
286-AH 0.0000 0.0000 0.0000 0.0050 0.0250 0.0044 0.0086 0.0050 0.0250 1.9736 0.0001 0.0000 0.0055 0.0000 0.0050 0.0014 0.0024
287-AH 0.0000 0.0350 0.1150 0.1700 0.2050 0.1056 0.0791 0.1350 0.2050 0.7487 0.0263 0.0001 0.0681 0.0000 0.2050 0.1056 0.0791
288-AH 0.0050 0.0400 0.1225 0.1500 0.1600 0.0987 0.0624 0.1100 0.1550 0.6323 0.0650 0.0264 0.0528 0.0050 0.1600 0.0987 0.0624
289-AH 0.0000 0.0000 0.0425 0.0900 0.0900 0.0444 0.0475 0.0900 0.0900 1.0697 0.0009 0.0000 0.0444 0.0000 0.0900 0.0444 0.0475
290-AH 0.0000 0.0075 0.0400 0.0750 0.1150 0.0450 0.0416 0.0675 0.1150 0.9239 0.0059 0.0000 0.0338 0.0000 0.1150 0.0450 0.0416
210
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0050 0.0100 0.0550 0.1100 0.1350 0.0613 0.0552 0.1000 0.1300 0.9014 0.0331 0.0164 0.0500 0.0050 0.1350 0.0613 0.0552
292-AH 0.0100 0.0125 0.0200 0.0200 0.0200 0.0169 0.0046 0.0075 0.0100 0.2714 0.0162 0.0155 0.0039 0.0100 0.0200 0.0169 0.0046
293-AH 0.0000 0.0000 0.0725 0.1550 0.1700 0.0781 0.0819 0.1550 0.1700 1.0477 0.0029 0.0000 0.0756 0.0000 0.1700 0.0781 0.0819
294-AH 0.0050 0.0100 0.0750 0.1225 0.1350 0.0694 0.0583 0.1125 0.1300 0.8409 0.0368 0.0153 0.0531 0.0050 0.1350 0.0694 0.0583
295-AH 0.0000 0.0050 0.0400 0.0825 0.1200 0.0469 0.0467 0.0775 0.1200 0.9956 0.0109 0.0001 0.0406 0.0000 0.1200 0.0469 0.0467
296-AH 0.0000 0.0125 0.0500 0.1025 0.1150 0.0556 0.0501 0.0900 0.1150 0.9007 0.0148 0.0001 0.0456 0.0000 0.1150 0.0556 0.0501
297-AH 0.0000 0.0000 0.0175 0.0325 0.0500 0.0187 0.0198 0.0325 0.0500 1.0547 0.0013 0.0000 0.0175 0.0000 0.0500 0.0187 0.0198
298-AH 0.0050 0.0125 0.0225 0.0550 0.1050 0.0362 0.0375 0.0425 0.1000 1.0342 0.0220 0.0133 0.0294 0.0050 0.1050 0.0362 0.0375
299-AH 0.0050 0.0325 0.0850 0.1825 0.2550 0.1075 0.0916 0.1500 0.2500 0.8518 0.0552 0.0175 0.0744 0.0050 0.2550 0.1075 0.0916
300-AH 0.0000 0.0000 0.0350 0.0750 0.1500 0.0463 0.0533 0.0750 0.1500 1.1525 0.0023 0.0000 0.0425 0.0000 0.1500 0.0463 0.0533
301-AH 0.0000 0.0000 0.0250 0.0550 0.0600 0.0275 0.0295 0.0550 0.0600 1.0735 0.0007 0.0000 0.0275 0.0000 0.0600 0.0275 0.0295
302-AH 0.0250 0.0300 0.0425 0.0550 0.0850 0.0456 0.0204 0.0250 0.0600 0.4478 0.0421 0.0390 0.0147 0.0250 0.0850 0.0456 0.0204
303-AH 0.0000 0.0125 0.0300 0.0375 0.0500 0.0262 0.0173 0.0250 0.0500 0.6579 0.0094 0.0001 0.0138 0.0000 0.0500 0.0262 0.0173
304-AH 0.0000 0.0125 0.0250 0.0300 0.0350 0.0213 0.0127 0.0175 0.0350 0.5999 0.0081 0.0001 0.0097 0.0000 0.0350 0.0213 0.0127
305-AH 0.0000 0.0450 0.0950 0.1200 0.1250 0.0806 0.0504 0.0750 0.1250 0.6250 0.0226 0.0001 0.0391 0.0000 0.1250 0.0806 0.0504
306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
307-AH 0.0000 0.0075 0.0175 0.0400 0.1550 0.0356 0.0516 0.0325 0.1550 1.4478 0.0085 0.0001 0.0359 0.0000 0.0600 0.0186 0.0197
308-AH 0.0150 0.0325 0.0500 0.0525 0.0550 0.0425 0.0171 0.0200 0.0400 0.4027 0.0379 0.0320 0.0138 0.0150 0.0550 0.0425 0.0171
309-AH 0.0200 0.0225 0.0275 0.0350 0.0350 0.0281 0.0065 0.0125 0.0150 0.2316 0.0274 0.0268 0.0056 0.0200 0.0350 0.0281 0.0065
310-AH 0.0100 0.0450 0.0825 0.1125 0.1350 0.0781 0.0437 0.0675 0.1250 0.5600 0.0608 0.0390 0.0344 0.0100 0.1350 0.0781 0.0437
311-AH 0.0550 0.0750 0.1275 0.1800 0.2000 0.1275 0.0566 0.1050 0.1450 0.4442 0.1152 0.1028 0.0450 0.0550 0.2000 0.1275 0.0566
312-AH 0.0000 0.0025 0.0250 0.0475 0.1500 0.0375 0.0500 0.0450 0.1500 1.3333 0.0040 0.0000 0.0338 0.0000 0.0500 0.0214 0.0225
313-AH 0.0050 0.0125 0.0225 0.0375 0.0500 0.0250 0.0160 0.0250 0.0450 0.6414 0.0198 0.0148 0.0138 0.0050 0.0500 0.0250 0.0160
314-AH 0.0000 0.0175 0.0375 0.0625 0.0750 0.0388 0.0283 0.0450 0.0750 0.7291 0.0059 0.0000 0.0213 0.0000 0.0750 0.0388 0.0283
315-AH 0.0000 0.0225 0.0700 0.1850 0.2200 0.0969 0.0893 0.1625 0.2200 0.9220 0.0106 0.0000 0.0748 0.0000 0.2200 0.0969 0.0893
316-AH 0.0000 0.0675 0.1375 0.2025 0.2400 0.1319 0.0901 0.1350 0.2400 0.6833 0.0150 0.0000 0.0659 0.0000 0.2400 0.1319 0.0901
317-AH 0.0150 0.0275 0.0350 0.0625 0.1100 0.0469 0.0314 0.0350 0.0950 0.6696 0.0392 0.0332 0.0236 0.0150 0.1100 0.0469 0.0314
318-AH 0.0000 0.0250 0.0400 0.0425 0.0450 0.0325 0.0163 0.0175 0.0450 0.5002 0.0127 0.0001 0.0125 0.0000 0.0450 0.0325 0.0163
319-AH 0.0250 0.0400 0.0650 0.0725 0.0750 0.0569 0.0207 0.0325 0.0500 0.3638 0.0524 0.0471 0.0164 0.0250 0.0750 0.0569 0.0207
320-AH 0.0050 0.0125 0.0200 0.0275 0.0300 0.0194 0.0098 0.0150 0.0250 0.5057 0.0161 0.0122 0.0072 0.0050 0.0300 0.0194 0.0098
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0050 0.0250 0.0375 0.0450 0.0450 0.0331 0.0149 0.0200 0.0400 0.4488 0.0279 0.0197 0.0119 0.0050 0.0450 0.0331 0.0149
323-AH 0.0000 0.0125 0.0450 0.0600 0.0750 0.0388 0.0286 0.0475 0.0750 0.7388 0.0058 0.0000 0.0228 0.0000 0.0750 0.0388 0.0286
324-AH 0.0000 0.0250 0.0550 0.1100 0.1950 0.0719 0.0649 0.0850 0.1950 0.9024 0.0208 0.0001 0.0519 0.0000 0.1950 0.0719 0.0649
325-AH 0.0250 0.0400 0.0675 0.1375 0.2200 0.0919 0.0698 0.0975 0.1950 0.7596 0.0715 0.0566 0.0548 0.0250 0.2200 0.0919 0.0698
326-AH 0.0000 0.0075 0.0150 0.0150 0.0150 0.0112 0.0069 0.0075 0.0150 0.6172 0.0024 0.0000 0.0056 0.0000 0.0150 0.0112 0.0069
327-AH 0.0000 0.0000 0.0050 0.0125 0.0200 0.0069 0.0084 0.0125 0.0200 1.2255 0.0007 0.0000 0.0066 0.0000 0.0200 0.0069 0.0084
328-AH 0.0200 0.0775 0.1150 0.1150 0.1150 0.0938 0.0397 0.0375 0.0950 0.4236 0.0810 0.0629 0.0319 0.0400 0.1150 0.1043 0.0283
329-AH 0.0000 0.0325 0.0725 0.0825 0.0850 0.0575 0.0349 0.0500 0.0850 0.6078 0.0176 0.0001 0.0275 0.0000 0.0850 0.0575 0.0349
330-AH 0.0100 0.1300 0.2475 0.2525 0.2550 0.1906 0.1071 0.1225 0.2450 0.5619 0.1247 0.0487 0.0866 0.0100 0.2550 0.1906 0.1071
331-AH 0.0000 0.0475 0.0850 0.0850 0.0850 0.0650 0.0371 0.0375 0.0850 0.5712 0.0210 0.0001 0.0300 0.0000 0.0850 0.0650 0.0371
332-AH 0.0000 0.0200 0.0400 0.0400 0.0400 0.0300 0.0185 0.0200 0.0400 0.6172 0.0050 0.0000 0.0150 0.0000 0.0400 0.0300 0.0185
333-AH 0.0000 0.0000 0.0125 0.0250 0.0250 0.0125 0.0134 0.0250 0.0250 1.0690 0.0005 0.0000 0.0125 0.0000 0.0250 0.0125 0.0134
334-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0100 0.0107 0.0200 0.0200 1.0690 0.0004 0.0000 0.0100 0.0000 0.0200 0.0100 0.0107
335-AH 0.0000 0.0025 0.0175 0.0500 0.0650 0.0256 0.0270 0.0475 0.0650 1.0556 0.0032 0.0000 0.0231 0.0000 0.0650 0.0256 0.0270
336-AH 0.0000 0.0050 0.0200 0.0450 0.0650 0.0256 0.0243 0.0400 0.0650 0.9470 0.0039 0.0000 0.0195 0.0000 0.0650 0.0256 0.0243
337-AH 0.0000 0.0475 0.1000 0.1000 0.1000 0.0744 0.0459 0.0525 0.1000 0.6176 0.0099 0.0000 0.0372 0.0000 0.1000 0.0744 0.0459
338-AH 0.0000 0.0200 0.0400 0.0500 0.0500 0.0338 0.0203 0.0300 0.0500 0.6018 0.0117 0.0001 0.0156 0.0000 0.0500 0.0338 0.0203
339-AH 0.0000 0.0125 0.0550 0.0825 0.0950 0.0494 0.0389 0.0700 0.0950 0.7871 0.0068 0.0000 0.0331 0.0000 0.0950 0.0494 0.0389
340-AH 0.0000 0.0000 0.0100 0.0225 0.0250 0.0112 0.0122 0.0225 0.0250 1.0822 0.0005 0.0000 0.0112 0.0000 0.0250 0.0112 0.0122
211
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0050 0.0175 0.0225 0.0275 0.0300 0.0212 0.0083 0.0100 0.0250 0.3927 0.0190 0.0156 0.0063 0.0050 0.0300 0.0212 0.0083
342-AH 0.1450 0.3125 0.3850 0.4425 0.4750 0.3625 0.1081 0.1300 0.3300 0.2981 0.3432 0.3173 0.0794 0.1450 0.4750 0.3625 0.1081
343-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0027 0.0050 0.0050 1.0690 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0027
344-AH 0.0050 0.0450 0.1375 0.1575 0.1600 0.1056 0.0658 0.1125 0.1550 0.6226 0.0672 0.0255 0.0555 0.0050 0.1600 0.1056 0.0658
345-AH 0.0000 0.0050 0.0150 0.0350 0.0450 0.0194 0.0178 0.0300 0.0450 0.9195 0.0032 0.0000 0.0142 0.0000 0.0450 0.0194 0.0178
346-AH 0.0000 0.0225 0.0400 0.0450 0.0500 0.0331 0.0193 0.0225 0.0500 0.5815 0.0116 0.0001 0.0153 0.0000 0.0500 0.0331 0.0193
347-AH 0.0000 0.0050 0.0125 0.0150 0.0250 0.0112 0.0083 0.0100 0.0250 0.7418 0.0023 0.0000 0.0062 0.0000 0.0250 0.0112 0.0083
348-AH 0.0000 0.0050 0.0100 0.0100 0.0100 0.0075 0.0046 0.0050 0.0100 0.6172 0.0018 0.0000 0.0037 0.0000 0.0100 0.0075 0.0046
349-AH 0.0050 0.0400 0.1225 0.1350 0.1350 0.0919 0.0571 0.0950 0.1300 0.6218 0.0537 0.0177 0.0477 0.0050 0.1350 0.0919 0.0571
350-AH 0.0100 0.0275 0.0500 0.0500 0.0500 0.0394 0.0182 0.0225 0.0400 0.4625 0.0330 0.0248 0.0147 0.0100 0.0500 0.0394 0.0182
212
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
142-AH 0.0060 0.0130 0.0160 0.0160 0.0160 0.0140 0.0039 0.0030 0.0100 0.2753 0.0133 0.0125 0.0030 0.0100 0.0160 0.0151 0.0023
143-AH 0.0000 0.0080 0.0420 0.0740 0.0780 0.0408 0.0357 0.0660 0.0780 0.8760 0.0054 0.0000 0.0328 0.0000 0.0780 0.0408 0.0357
144-AH 0.0000 0.0040 0.0050 0.0060 0.0060 0.0045 0.0021 0.0020 0.0060 0.4600 0.0023 0.0001 0.0015 0.0040 0.0060 0.0051 0.0011
145-AH 0.0060 0.0260 0.0440 0.0640 0.0720 0.0432 0.0241 0.0380 0.0660 0.5571 0.0340 0.0225 0.0187 0.0060 0.0720 0.0432 0.0241
146-AH 0.0000 0.0010 0.0020 0.0040 0.0040 0.0023 0.0017 0.0030 0.0040 0.7418 0.0007 0.0000 0.0013 0.0000 0.0040 0.0023 0.0017
147-AH 0.0040 0.0150 0.0530 0.0860 0.1000 0.0515 0.0398 0.0710 0.0960 0.7725 0.0315 0.0149 0.0355 0.0040 0.1000 0.0515 0.0398
148-AH 0.0000 0.0000 0.0020 0.0110 0.0120 0.0048 0.0057 0.0110 0.0120 1.1896 0.0003 0.0000 0.0049 0.0000 0.0120 0.0048 0.0057
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0020 0.0050 0.0120 0.0180 0.0200 0.0115 0.0075 0.0130 0.0180 0.6491 0.0085 0.0054 0.0065 0.0020 0.0200 0.0115 0.0075
151-AH 0.0000 0.0020 0.0080 0.0090 0.0160 0.0068 0.0053 0.0070 0.0160 0.7909 0.0015 0.0000 0.0041 0.0000 0.0160 0.0068 0.0053
152-AH 0.0000 0.0000 0.0060 0.0170 0.0220 0.0085 0.0092 0.0170 0.0220 1.0801 0.0008 0.0000 0.0080 0.0000 0.0220 0.0085 0.0092
153-AH 0.0000 0.0000 0.0000 0.0000 0.0020 0.0003 0.0007 0.0000 0.0020 2.8284 0.0000 0.0000 0.0004 0.0000 0.0000 0.0000 0.0000
154-AH 0.0060 0.0160 0.0300 0.0330 0.0360 0.0250 0.0117 0.0170 0.0300 0.4665 0.0212 0.0164 0.0092 0.0060 0.0360 0.0250 0.0117
155-AH 0.0000 0.0020 0.0050 0.0060 0.0060 0.0040 0.0026 0.0040 0.0060 0.6547 0.0011 0.0000 0.0020 0.0000 0.0060 0.0040 0.0026
156-AH 0.0080 0.0210 0.0300 0.0320 0.0340 0.0260 0.0096 0.0110 0.0260 0.3701 0.0236 0.0205 0.0075 0.0080 0.0340 0.0260 0.0096
157-AH 0.0480 0.1220 0.2180 0.2340 0.2440 0.1800 0.0828 0.1120 0.1960 0.4599 0.1521 0.1166 0.0660 0.0480 0.2440 0.1800 0.0828
158-AH 0.0040 0.0200 0.0520 0.0550 0.0600 0.0398 0.0218 0.0350 0.0560 0.5475 0.0303 0.0177 0.0188 0.0040 0.0600 0.0398 0.0218
159-AH 0.0000 0.0020 0.0330 0.0760 0.0860 0.0385 0.0396 0.0740 0.0860 1.0284 0.0039 0.0000 0.0365 0.0000 0.0860 0.0385 0.0396
160-AH 0.0000 0.0010 0.0020 0.0040 0.0040 0.0023 0.0017 0.0030 0.0040 0.7418 0.0007 0.0000 0.0013 0.0000 0.0040 0.0023 0.0017
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
163-AH 0.0760 0.1380 0.1990 0.2190 0.2320 0.1775 0.0577 0.0810 0.1560 0.3253 0.1667 0.1535 0.0451 0.0760 0.2320 0.1775 0.0577
164-AH 0.0000 0.0080 0.0140 0.0220 0.0540 0.0178 0.0170 0.0140 0.0540 0.9588 0.0058 0.0001 0.0116 0.0000 0.0280 0.0126 0.0094
165-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0040 0.0080 0.0080 0.0100 0.0063 0.0039 0.0040 0.0100 0.6270 0.0015 0.0000 0.0031 0.0000 0.0100 0.0063 0.0039
168-AH 0.0000 0.0000 0.0140 0.0350 0.0360 0.0167 0.0177 0.0350 0.0360 1.0544 0.0011 0.0000 0.0162 0.0000 0.0360 0.0167 0.0177
169-AH 0.0040 0.0040 0.0060 0.0090 0.0100 0.0065 0.0028 0.0050 0.0060 0.4273 0.0060 0.0055 0.0025 0.0040 0.0100 0.0065 0.0028
170-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0011 0.0020 0.0020 1.0690 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0011
171-AH 0.0160 0.0200 0.0260 0.0290 0.0340 0.0250 0.0060 0.0090 0.0180 0.2381 0.0243 0.0237 0.0048 0.0160 0.0340 0.0250 0.0060
172-AH 0.0020 0.0080 0.0110 0.0130 0.0140 0.0100 0.0040 0.0050 0.0120 0.4000 0.0088 0.0069 0.0030 0.0020 0.0140 0.0100 0.0040
173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
174-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0038 0.0007 0.0000 0.0020 0.1886 0.0037 0.0036 0.0004 0.0040 0.0040 0.0040 0.0000
175-AH 0.0000 0.0060 0.0130 0.0140 0.0140 0.0100 0.0062 0.0080 0.0140 0.6234 0.0022 0.0000 0.0050 0.0000 0.0140 0.0100 0.0062
176-AH 0.0340 0.0540 0.0750 0.0780 0.0780 0.0658 0.0197 0.0240 0.0440 0.2991 0.0623 0.0582 0.0159 0.0340 0.0780 0.0658 0.0197
177-AH 0.0100 0.0190 0.0260 0.0260 0.0260 0.0223 0.0065 0.0070 0.0160 0.2900 0.0211 0.0197 0.0051 0.0100 0.0260 0.0223 0.0065
178-AH 0.0000 0.0000 0.0020 0.0040 0.0060 0.0023 0.0025 0.0040 0.0060 1.1079 0.0002 0.0000 0.0023 0.0000 0.0060 0.0023 0.0025
179-AH 0.0000 0.0000 0.0130 0.0350 0.0420 0.0173 0.0193 0.0350 0.0420 1.1189 0.0006 0.0000 0.0173 0.0000 0.0420 0.0173 0.0193
180-AH 0.0000 0.0130 0.0470 0.0790 0.0800 0.0447 0.0350 0.0660 0.0800 0.7825 0.0120 0.0001 0.0312 0.0000 0.0800 0.0447 0.0350
181-AH 0.0180 0.1020 0.1730 0.1800 0.1820 0.1388 0.0698 0.0780 0.1640 0.5034 0.1079 0.0672 0.0564 0.0180 0.1820 0.1388 0.0698
182-AH 0.0000 0.0040 0.0080 0.0080 0.0080 0.0060 0.0032 0.0040 0.0080 0.5345 0.0028 0.0001 0.0025 0.0000 0.0080 0.0060 0.0032
183-AH 0.0020 0.0050 0.0080 0.0080 0.0080 0.0065 0.0028 0.0030 0.0060 0.4273 0.0057 0.0046 0.0023 0.0020 0.0080 0.0065 0.0028
184-AH 0.0040 0.0080 0.0100 0.0120 0.0160 0.0100 0.0035 0.0040 0.0120 0.3546 0.0094 0.0086 0.0025 0.0040 0.0160 0.0100 0.0035
185-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
188-AH 0.0000 0.0000 0.0000 0.0010 0.0020 0.0005 0.0009 0.0010 0.0020 1.8516 0.0000 0.0000 0.0008 0.0000 0.0020 0.0005 0.0009
189-AH 0.0000 0.0070 0.0140 0.0140 0.0140 0.0105 0.0065 0.0070 0.0140 0.6172 0.0023 0.0000 0.0053 0.0000 0.0140 0.0105 0.0065
190-AH 0.0000 0.0000 0.0050 0.0110 0.0160 0.0060 0.0067 0.0110 0.0160 1.1127 0.0003 0.0000 0.0060 0.0000 0.0160 0.0060 0.0067
213
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0060 0.0070 0.0090 0.0110 0.0120 0.0090 0.0024 0.0040 0.0060 0.2656 0.0087 0.0084 0.0020 0.0060 0.0120 0.0090 0.0024
193-AH 0.0000 0.0070 0.0140 0.0140 0.0140 0.0105 0.0065 0.0070 0.0140 0.6172 0.0023 0.0000 0.0053 0.0000 0.0140 0.0105 0.0065
194-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0007 0.0000 0.0020 0.4041 0.0010 0.0001 0.0004 0.0020 0.0020 0.0020 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
197-AH 0.0000 0.0490 0.1000 0.1000 0.1000 0.0748 0.0461 0.0510 0.1000 0.6173 0.0100 0.0000 0.0374 0.0000 0.1000 0.0748 0.0461
198-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
199-AH 0.0040 0.0170 0.0200 0.0200 0.0200 0.0172 0.0058 0.0030 0.0160 0.3334 0.0156 0.0129 0.0041 0.0140 0.0200 0.0191 0.0023
200-AH 0.0000 0.0060 0.0160 0.0170 0.0180 0.0120 0.0076 0.0110 0.0180 0.6362 0.0025 0.0000 0.0060 0.0000 0.0180 0.0120 0.0076
251-AH 0.0120 0.0400 0.0840 0.1000 0.1020 0.0703 0.0384 0.0600 0.0900 0.5471 0.0536 0.0339 0.0297 0.0120 0.1020 0.0703 0.0384
252-AH 0.0040 0.0130 0.0260 0.0480 0.0580 0.0295 0.0204 0.0350 0.0540 0.6921 0.0213 0.0132 0.0165 0.0040 0.0580 0.0295 0.0204
253-AH 0.0160 0.0460 0.1240 0.1770 0.2300 0.1175 0.0777 0.1310 0.2140 0.6612 0.0859 0.0539 0.0640 0.0160 0.2300 0.1175 0.0777
254-AH 0.0060 0.0090 0.0500 0.1930 0.2740 0.0980 0.1110 0.1840 0.2680 1.1330 0.0396 0.0166 0.0915 0.0060 0.2740 0.0980 0.1110
255-AH 0.0020 0.0040 0.0060 0.0080 0.0080 0.0058 0.0025 0.0040 0.0060 0.4335 0.0051 0.0043 0.0019 0.0020 0.0080 0.0058 0.0025
256-AH 0.0000 0.0310 0.0660 0.0680 0.0680 0.0498 0.0308 0.0370 0.0680 0.6185 0.0073 0.0000 0.0249 0.0000 0.0680 0.0498 0.0308
257-AH 0.0040 0.0250 0.0570 0.0760 0.0980 0.0522 0.0332 0.0510 0.0940 0.6361 0.0371 0.0190 0.0257 0.0040 0.0980 0.0522 0.0332
258-AH 0.0000 0.0000 0.0000 0.0010 0.0040 0.0008 0.0015 0.0010 0.0040 1.9841 0.0000 0.0000 0.0011 0.0000 0.0020 0.0003 0.0008
259-AH 0.0000 0.0000 0.0020 0.0040 0.0060 0.0023 0.0025 0.0040 0.0060 1.1079 0.0002 0.0000 0.0023 0.0000 0.0060 0.0023 0.0025
260-AH 0.0060 0.0290 0.0780 0.1140 0.1240 0.0715 0.0487 0.0850 0.1180 0.6805 0.0480 0.0245 0.0430 0.0060 0.1240 0.0715 0.0487
261-AH 0.0180 0.0190 0.0230 0.0240 0.0260 0.0220 0.0030 0.0050 0.0080 0.1374 0.0218 0.0216 0.0025 0.0180 0.0260 0.0220 0.0030
262-AH 0.0020 0.0180 0.0380 0.0510 0.0600 0.0345 0.0218 0.0330 0.0580 0.6326 0.0220 0.0090 0.0170 0.0020 0.0600 0.0345 0.0218
263-AH 0.0000 0.0020 0.0310 0.0580 0.0760 0.0322 0.0325 0.0560 0.0760 1.0062 0.0037 0.0000 0.0297 0.0000 0.0760 0.0322 0.0325
264-AH 0.0220 0.0300 0.0370 0.0390 0.0420 0.0345 0.0070 0.0090 0.0200 0.2026 0.0338 0.0330 0.0054 0.0220 0.0420 0.0345 0.0070
265-AH 0.0000 0.0050 0.0120 0.0120 0.0120 0.0088 0.0054 0.0070 0.0120 0.6222 0.0020 0.0000 0.0044 0.0000 0.0120 0.0088 0.0054
266-AH 0.0000 0.0040 0.0060 0.0080 0.0080 0.0055 0.0030 0.0040 0.0080 0.5411 0.0026 0.0001 0.0023 0.0000 0.0080 0.0055 0.0030
267-AH 0.0000 0.0100 0.0270 0.0290 0.0340 0.0208 0.0134 0.0190 0.0340 0.6454 0.0038 0.0000 0.0106 0.0000 0.0340 0.0208 0.0134
268-AH 0.0000 0.0010 0.0040 0.0040 0.0040 0.0028 0.0018 0.0030 0.0040 0.6663 0.0008 0.0000 0.0016 0.0000 0.0040 0.0028 0.0018
269-AH 0.0080 0.0080 0.0080 0.0120 0.0160 0.0100 0.0030 0.0040 0.0080 0.3024 0.0097 0.0094 0.0025 0.0080 0.0160 0.0100 0.0030
270-AH 0.0240 0.0510 0.0820 0.0980 0.1080 0.0743 0.0329 0.0470 0.0840 0.4432 0.0648 0.0532 0.0251 0.0240 0.1080 0.0743 0.0329
271-AH 0.0180 0.0310 0.0450 0.0470 0.0480 0.0390 0.0125 0.0160 0.0300 0.3208 0.0366 0.0337 0.0100 0.0180 0.0480 0.0390 0.0125
272-AH 0.0000 0.0100 0.0230 0.0240 0.0260 0.0175 0.0109 0.0140 0.0260 0.6252 0.0033 0.0000 0.0088 0.0000 0.0260 0.0175 0.0109
273-AH 0.0100 0.0240 0.0790 0.1540 0.1560 0.0850 0.0677 0.1300 0.1460 0.7969 0.0552 0.0331 0.0625 0.0100 0.1560 0.0850 0.0677
274-AH 0.0000 0.0050 0.0120 0.0180 0.0200 0.0112 0.0078 0.0130 0.0200 0.6914 0.0024 0.0000 0.0059 0.0000 0.0200 0.0112 0.0078
275-AH 0.0000 0.0160 0.0490 0.0970 0.1060 0.0537 0.0443 0.0810 0.1060 0.8245 0.0159 0.0001 0.0402 0.0000 0.1060 0.0537 0.0443
276-AH 0.0480 0.0540 0.0820 0.1010 0.1100 0.0790 0.0252 0.0470 0.0620 0.3194 0.0753 0.0717 0.0220 0.0480 0.1100 0.0790 0.0252
277-AH 0.0020 0.0110 0.0160 0.0210 0.0280 0.0158 0.0082 0.0100 0.0260 0.5189 0.0127 0.0084 0.0062 0.0020 0.0280 0.0158 0.0082
278-AH 0.0000 0.0000 0.0020 0.0130 0.0280 0.0073 0.0108 0.0130 0.0280 1.4888 0.0003 0.0000 0.0084 0.0000 0.0280 0.0073 0.0108
279-AH 0.0000 0.0020 0.0050 0.0060 0.0080 0.0043 0.0029 0.0040 0.0080 0.6860 0.0011 0.0000 0.0023 0.0000 0.0080 0.0043 0.0029
280-AH 0.0000 0.0030 0.0090 0.0160 0.0360 0.0115 0.0120 0.0130 0.0360 1.0424 0.0039 0.0001 0.0087 0.0000 0.0220 0.0080 0.0073
281-AH 0.0000 0.0370 0.0780 0.0830 0.0840 0.0600 0.0372 0.0460 0.0840 0.6200 0.0085 0.0000 0.0300 0.0000 0.0840 0.0600 0.0372
282-AH 0.0080 0.0260 0.0420 0.0490 0.0540 0.0370 0.0180 0.0230 0.0460 0.4869 0.0306 0.0225 0.0140 0.0080 0.0540 0.0370 0.0180
283-AH 0.0060 0.0160 0.0410 0.0610 0.0680 0.0388 0.0249 0.0450 0.0620 0.6428 0.0280 0.0170 0.0213 0.0060 0.0680 0.0388 0.0249
284-AH 0.0000 0.0040 0.0260 0.0500 0.0760 0.0295 0.0294 0.0460 0.0760 0.9976 0.0041 0.0000 0.0220 0.0000 0.0760 0.0295 0.0294
285-AH 0.0400 0.0420 0.0500 0.1030 0.1320 0.0702 0.0364 0.0610 0.0920 0.5188 0.0630 0.0573 0.0318 0.0400 0.1320 0.0702 0.0364
286-AH 0.0000 0.0000 0.0000 0.0030 0.0120 0.0023 0.0042 0.0030 0.0120 1.8668 0.0001 0.0000 0.0029 0.0000 0.0040 0.0009 0.0016
287-AH 0.0000 0.0380 0.0710 0.0790 0.0940 0.0588 0.0331 0.0410 0.0940 0.5632 0.0203 0.0001 0.0254 0.0000 0.0940 0.0588 0.0331
288-AH 0.0120 0.0240 0.0670 0.0770 0.0820 0.0537 0.0293 0.0530 0.0700 0.5452 0.0433 0.0317 0.0253 0.0120 0.0820 0.0537 0.0293
289-AH 0.0000 0.0000 0.0170 0.0360 0.0360 0.0177 0.0190 0.0360 0.0360 1.0697 0.0006 0.0000 0.0177 0.0000 0.0360 0.0177 0.0190
290-AH 0.0000 0.0050 0.0280 0.0570 0.0720 0.0315 0.0296 0.0520 0.0720 0.9404 0.0044 0.0000 0.0255 0.0000 0.0720 0.0315 0.0296
214
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0020 0.0080 0.0280 0.0480 0.0560 0.0283 0.0220 0.0400 0.0540 0.7778 0.0179 0.0089 0.0198 0.0020 0.0560 0.0283 0.0220
292-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
293-AH 0.0000 0.0060 0.0360 0.0650 0.0680 0.0353 0.0317 0.0590 0.0680 0.8996 0.0047 0.0000 0.0293 0.0000 0.0680 0.0353 0.0317
294-AH 0.0040 0.0070 0.0430 0.0530 0.0540 0.0330 0.0233 0.0460 0.0500 0.7060 0.0218 0.0124 0.0203 0.0040 0.0540 0.0330 0.0233
295-AH 0.0020 0.0060 0.0230 0.0410 0.0660 0.0260 0.0233 0.0350 0.0640 0.8980 0.0141 0.0062 0.0200 0.0020 0.0660 0.0260 0.0233
296-AH 0.0000 0.0090 0.0250 0.0410 0.0480 0.0247 0.0189 0.0320 0.0480 0.7617 0.0086 0.0001 0.0167 0.0000 0.0480 0.0247 0.0189
297-AH 0.0000 0.0000 0.0090 0.0180 0.0220 0.0095 0.0098 0.0180 0.0220 1.0298 0.0008 0.0000 0.0090 0.0000 0.0220 0.0095 0.0098
298-AH 0.0020 0.0060 0.0170 0.0400 0.0520 0.0225 0.0197 0.0340 0.0500 0.8758 0.0131 0.0062 0.0161 0.0020 0.0520 0.0225 0.0197
299-AH 0.0020 0.0160 0.0460 0.0980 0.1420 0.0580 0.0507 0.0820 0.1400 0.8743 0.0274 0.0072 0.0415 0.0020 0.1420 0.0580 0.0507
300-AH 0.0000 0.0000 0.0240 0.0600 0.0760 0.0305 0.0321 0.0600 0.0760 1.0520 0.0018 0.0000 0.0265 0.0000 0.0760 0.0305 0.0321
301-AH 0.0000 0.0000 0.0140 0.0250 0.0300 0.0135 0.0133 0.0250 0.0300 0.9819 0.0011 0.0000 0.0120 0.0000 0.0300 0.0135 0.0133
302-AH 0.0100 0.0130 0.0240 0.0300 0.0340 0.0223 0.0092 0.0170 0.0240 0.4145 0.0203 0.0184 0.0078 0.0100 0.0340 0.0223 0.0092
303-AH 0.0020 0.0080 0.0170 0.0200 0.0240 0.0145 0.0079 0.0120 0.0220 0.5455 0.0113 0.0073 0.0064 0.0020 0.0240 0.0145 0.0079
304-AH 0.0000 0.0060 0.0110 0.0150 0.0160 0.0100 0.0060 0.0090 0.0160 0.6047 0.0041 0.0001 0.0045 0.0000 0.0160 0.0100 0.0060
305-AH 0.0000 0.0250 0.0580 0.0740 0.0800 0.0493 0.0316 0.0490 0.0800 0.6417 0.0139 0.0001 0.0244 0.0000 0.0800 0.0493 0.0316
306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
307-AH 0.0000 0.0080 0.0110 0.0350 0.0840 0.0240 0.0293 0.0270 0.0840 1.2199 0.0069 0.0001 0.0225 0.0000 0.0540 0.0154 0.0177
308-AH 0.0080 0.0140 0.0200 0.0210 0.0220 0.0175 0.0059 0.0070 0.0140 0.3388 0.0163 0.0148 0.0047 0.0080 0.0220 0.0175 0.0059
309-AH 0.0100 0.0110 0.0140 0.0160 0.0200 0.0140 0.0035 0.0050 0.0100 0.2533 0.0136 0.0133 0.0025 0.0100 0.0200 0.0140 0.0035
310-AH 0.0060 0.0240 0.0460 0.0700 0.0800 0.0457 0.0274 0.0460 0.0740 0.5982 0.0347 0.0220 0.0223 0.0060 0.0800 0.0457 0.0274
311-AH 0.0420 0.0510 0.0720 0.0840 0.0980 0.0693 0.0199 0.0330 0.0560 0.2880 0.0666 0.0640 0.0159 0.0420 0.0980 0.0693 0.0199
312-AH 0.0020 0.0050 0.0140 0.0250 0.0600 0.0187 0.0194 0.0200 0.0580 1.0341 0.0111 0.0065 0.0142 0.0020 0.0280 0.0129 0.0107
313-AH 0.0020 0.0080 0.0110 0.0220 0.0240 0.0135 0.0083 0.0140 0.0220 0.6172 0.0106 0.0074 0.0070 0.0020 0.0240 0.0135 0.0083
314-AH 0.0000 0.0070 0.0210 0.0310 0.0320 0.0188 0.0137 0.0240 0.0320 0.7300 0.0034 0.0000 0.0118 0.0000 0.0320 0.0188 0.0137
315-AH 0.0040 0.0150 0.0520 0.0830 0.0900 0.0493 0.0371 0.0680 0.0860 0.7541 0.0295 0.0129 0.0333 0.0040 0.0900 0.0493 0.0371
316-AH 0.0000 0.0380 0.1020 0.1620 0.1760 0.0975 0.0705 0.1240 0.1760 0.7232 0.0117 0.0000 0.0580 0.0000 0.1760 0.0975 0.0705
317-AH 0.0140 0.0170 0.0250 0.0410 0.0540 0.0292 0.0149 0.0240 0.0400 0.5103 0.0261 0.0235 0.0122 0.0140 0.0540 0.0292 0.0149
318-AH 0.0000 0.0120 0.0160 0.0180 0.0180 0.0138 0.0065 0.0060 0.0180 0.4693 0.0061 0.0001 0.0049 0.0080 0.0180 0.0157 0.0035
319-AH 0.0120 0.0210 0.0280 0.0300 0.0300 0.0250 0.0070 0.0090 0.0180 0.2804 0.0239 0.0225 0.0055 0.0120 0.0300 0.0250 0.0070
320-AH 0.0020 0.0070 0.0140 0.0160 0.0180 0.0118 0.0063 0.0090 0.0160 0.5339 0.0090 0.0057 0.0049 0.0020 0.0180 0.0118 0.0063
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0020 0.0170 0.0220 0.0220 0.0240 0.0185 0.0076 0.0050 0.0220 0.4117 0.0153 0.0094 0.0057 0.0120 0.0240 0.0209 0.0040
323-AH 0.0000 0.0050 0.0270 0.0320 0.0340 0.0203 0.0146 0.0270 0.0340 0.7189 0.0036 0.0000 0.0127 0.0000 0.0340 0.0203 0.0146
324-AH 0.0060 0.0180 0.0320 0.0470 0.0920 0.0365 0.0270 0.0290 0.0860 0.7385 0.0280 0.0201 0.0200 0.0060 0.0480 0.0286 0.0162
325-AH 0.0240 0.0300 0.0510 0.0860 0.1040 0.0578 0.0320 0.0560 0.0800 0.5549 0.0499 0.0431 0.0277 0.0240 0.1040 0.0578 0.0320
326-AH 0.0000 0.0030 0.0060 0.0060 0.0060 0.0045 0.0028 0.0030 0.0060 0.6172 0.0012 0.0000 0.0023 0.0000 0.0060 0.0045 0.0028
327-AH 0.0000 0.0000 0.0030 0.0060 0.0080 0.0033 0.0034 0.0060 0.0080 1.0369 0.0005 0.0000 0.0028 0.0000 0.0080 0.0033 0.0034
328-AH 0.0120 0.0320 0.0460 0.0460 0.0460 0.0382 0.0144 0.0140 0.0340 0.3775 0.0346 0.0297 0.0116 0.0120 0.0460 0.0382 0.0144
329-AH 0.0020 0.0160 0.0320 0.0340 0.0340 0.0250 0.0137 0.0180 0.0320 0.5493 0.0176 0.0085 0.0110 0.0020 0.0340 0.0250 0.0137
330-AH 0.0120 0.0580 0.1000 0.1020 0.1020 0.0792 0.0403 0.0440 0.0900 0.5085 0.0615 0.0390 0.0326 0.0120 0.1020 0.0792 0.0403
331-AH 0.0000 0.0200 0.0340 0.0340 0.0340 0.0263 0.0144 0.0140 0.0340 0.5501 0.0099 0.0001 0.0116 0.0000 0.0340 0.0263 0.0144
332-AH 0.0000 0.0080 0.0160 0.0160 0.0160 0.0120 0.0074 0.0080 0.0160 0.6172 0.0025 0.0000 0.0060 0.0000 0.0160 0.0120 0.0074
333-AH 0.0000 0.0010 0.0060 0.0100 0.0100 0.0055 0.0049 0.0090 0.0100 0.8854 0.0012 0.0000 0.0045 0.0000 0.0100 0.0055 0.0049
334-AH 0.0000 0.0000 0.0050 0.0080 0.0100 0.0045 0.0044 0.0080 0.0100 0.9723 0.0006 0.0000 0.0040 0.0000 0.0100 0.0045 0.0044
335-AH 0.0000 0.0020 0.0100 0.0240 0.0260 0.0123 0.0114 0.0220 0.0260 0.9336 0.0037 0.0001 0.0103 0.0000 0.0260 0.0123 0.0114
336-AH 0.0000 0.0040 0.0100 0.0230 0.0300 0.0130 0.0113 0.0190 0.0300 0.8664 0.0024 0.0000 0.0092 0.0000 0.0300 0.0130 0.0113
337-AH 0.0000 0.0200 0.0400 0.0400 0.0400 0.0300 0.0185 0.0200 0.0400 0.6172 0.0050 0.0000 0.0150 0.0000 0.0400 0.0300 0.0185
338-AH 0.0020 0.0100 0.0200 0.0200 0.0200 0.0152 0.0082 0.0100 0.0180 0.5382 0.0111 0.0061 0.0066 0.0020 0.0200 0.0152 0.0082
339-AH 0.0000 0.0110 0.0260 0.0370 0.0380 0.0232 0.0156 0.0260 0.0380 0.6710 0.0041 0.0000 0.0119 0.0000 0.0380 0.0232 0.0156
340-AH 0.0000 0.0020 0.0070 0.0090 0.0100 0.0058 0.0039 0.0070 0.0100 0.6815 0.0025 0.0001 0.0033 0.0000 0.0100 0.0058 0.0039
215
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0020 0.0070 0.0110 0.0120 0.0120 0.0093 0.0037 0.0050 0.0100 0.3993 0.0082 0.0065 0.0029 0.0020 0.0120 0.0093 0.0037
342-AH 0.0860 0.1400 0.1770 0.1880 0.1900 0.1608 0.0384 0.0480 0.1040 0.2388 0.1557 0.1496 0.0294 0.0860 0.1900 0.1608 0.0384
343-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0011 0.0020 0.0020 1.0690 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0011
344-AH 0.0060 0.0330 0.0600 0.0660 0.0660 0.0488 0.0241 0.0330 0.0600 0.4952 0.0386 0.0244 0.0189 0.0060 0.0660 0.0488 0.0241
345-AH 0.0000 0.0030 0.0110 0.0160 0.0180 0.0097 0.0074 0.0130 0.0180 0.7552 0.0020 0.0000 0.0062 0.0000 0.0180 0.0097 0.0074
346-AH 0.0040 0.0130 0.0200 0.0200 0.0220 0.0165 0.0067 0.0070 0.0180 0.4033 0.0146 0.0118 0.0052 0.0040 0.0220 0.0165 0.0067
347-AH 0.0000 0.0040 0.0100 0.0140 0.0180 0.0092 0.0063 0.0100 0.0180 0.6831 0.0038 0.0001 0.0049 0.0000 0.0180 0.0092 0.0063
348-AH 0.0000 0.0020 0.0040 0.0040 0.0040 0.0030 0.0019 0.0020 0.0040 0.6172 0.0009 0.0000 0.0015 0.0000 0.0040 0.0030 0.0019
349-AH 0.0020 0.0220 0.0530 0.0540 0.0540 0.0393 0.0229 0.0320 0.0520 0.5829 0.0248 0.0092 0.0181 0.0020 0.0540 0.0393 0.0229
350-AH 0.0040 0.0120 0.0200 0.0200 0.0200 0.0160 0.0068 0.0080 0.0160 0.4278 0.0139 0.0111 0.0055 0.0040 0.0200 0.0160 0.0068
216
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0005 0.0005 0.0010 0.6172 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0005
142-AH 0.0050 0.0065 0.0080 0.0080 0.0080 0.0073 0.0014 0.0015 0.0030 0.1915 0.0071 0.0070 0.0011 0.0050 0.0080 0.0073 0.0014
143-AH 0.0000 0.0060 0.0245 0.0375 0.0390 0.0219 0.0174 0.0315 0.0390 0.7953 0.0036 0.0000 0.0156 0.0000 0.0390 0.0219 0.0174
144-AH 0.0010 0.0020 0.0025 0.0030 0.0030 0.0024 0.0007 0.0010 0.0020 0.3133 0.0022 0.0021 0.0006 0.0010 0.0030 0.0024 0.0007
145-AH 0.0060 0.0150 0.0240 0.0340 0.0360 0.0235 0.0117 0.0190 0.0300 0.4994 0.0197 0.0153 0.0086 0.0060 0.0360 0.0235 0.0117
146-AH 0.0000 0.0005 0.0020 0.0020 0.0020 0.0014 0.0009 0.0015 0.0020 0.6663 0.0005 0.0000 0.0008 0.0000 0.0020 0.0014 0.0009
147-AH 0.0030 0.0105 0.0345 0.0475 0.0510 0.0299 0.0204 0.0370 0.0480 0.6823 0.0203 0.0111 0.0181 0.0030 0.0510 0.0299 0.0204
148-AH 0.0000 0.0000 0.0025 0.0060 0.0060 0.0029 0.0031 0.0060 0.0060 1.0751 0.0002 0.0000 0.0029 0.0000 0.0060 0.0029 0.0031
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0010 0.0045 0.0080 0.0100 0.0100 0.0070 0.0036 0.0055 0.0090 0.5179 0.0055 0.0036 0.0027 0.0010 0.0100 0.0070 0.0036
151-AH 0.0000 0.0010 0.0045 0.0065 0.0080 0.0040 0.0031 0.0055 0.0080 0.7676 0.0010 0.0000 0.0025 0.0000 0.0080 0.0040 0.0031
152-AH 0.0000 0.0010 0.0035 0.0095 0.0110 0.0049 0.0045 0.0085 0.0110 0.9267 0.0018 0.0001 0.0039 0.0000 0.0110 0.0049 0.0045
153-AH 0.0000 0.0000 0.0000 0.0005 0.0010 0.0003 0.0005 0.0005 0.0010 1.8516 0.0000 0.0000 0.0004 0.0000 0.0010 0.0003 0.0005
154-AH 0.0030 0.0100 0.0175 0.0185 0.0190 0.0142 0.0067 0.0085 0.0160 0.4711 0.0118 0.0087 0.0054 0.0030 0.0190 0.0142 0.0067
155-AH 0.0000 0.0010 0.0025 0.0030 0.0030 0.0020 0.0013 0.0020 0.0030 0.6547 0.0007 0.0000 0.0010 0.0000 0.0030 0.0020 0.0013
156-AH 0.0060 0.0125 0.0165 0.0180 0.0190 0.0149 0.0046 0.0055 0.0130 0.3100 0.0140 0.0129 0.0034 0.0060 0.0190 0.0149 0.0046
157-AH 0.0290 0.0745 0.1250 0.1275 0.1310 0.1018 0.0429 0.0530 0.1020 0.4213 0.0892 0.0729 0.0344 0.0290 0.1310 0.1018 0.0429
158-AH 0.0030 0.0125 0.0290 0.0310 0.0330 0.0226 0.0118 0.0185 0.0300 0.5235 0.0178 0.0115 0.0100 0.0030 0.0330 0.0226 0.0118
159-AH 0.0000 0.0020 0.0200 0.0445 0.0490 0.0227 0.0225 0.0425 0.0490 0.9904 0.0029 0.0000 0.0207 0.0000 0.0490 0.0227 0.0225
160-AH 0.0000 0.0005 0.0010 0.0020 0.0020 0.0011 0.0008 0.0015 0.0020 0.7418 0.0004 0.0000 0.0007 0.0000 0.0020 0.0011 0.0008
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0005 0.0005 0.0010 0.6172 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0005
163-AH 0.0460 0.0780 0.1075 0.1130 0.1190 0.0952 0.0283 0.0350 0.0730 0.2968 0.0905 0.0846 0.0224 0.0460 0.1190 0.0952 0.0283
164-AH 0.0000 0.0060 0.0120 0.0165 0.0270 0.0120 0.0086 0.0105 0.0270 0.7169 0.0046 0.0001 0.0060 0.0000 0.0270 0.0120 0.0086
165-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0005 0.0005 0.0010 0.6172 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0005
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0020 0.0040 0.0050 0.0050 0.0034 0.0021 0.0030 0.0050 0.6323 0.0010 0.0000 0.0017 0.0000 0.0050 0.0034 0.0021
168-AH 0.0000 0.0000 0.0075 0.0180 0.0180 0.0086 0.0089 0.0180 0.0180 1.0276 0.0008 0.0000 0.0081 0.0000 0.0180 0.0086 0.0089
169-AH 0.0020 0.0020 0.0040 0.0050 0.0050 0.0036 0.0015 0.0030 0.0030 0.4154 0.0033 0.0030 0.0014 0.0020 0.0050 0.0036 0.0015
170-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 1.0690 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005
171-AH 0.0110 0.0135 0.0150 0.0170 0.0180 0.0150 0.0024 0.0035 0.0070 0.1633 0.0148 0.0146 0.0018 0.0110 0.0180 0.0150 0.0024
172-AH 0.0030 0.0050 0.0060 0.0070 0.0070 0.0058 0.0014 0.0020 0.0040 0.2415 0.0056 0.0054 0.0011 0.0030 0.0070 0.0058 0.0014
173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
174-AH 0.0010 0.0020 0.0020 0.0020 0.0020 0.0019 0.0004 0.0000 0.0010 0.1886 0.0018 0.0018 0.0002 0.0020 0.0020 0.0020 0.0000
175-AH 0.0000 0.0030 0.0065 0.0070 0.0070 0.0050 0.0031 0.0040 0.0070 0.6234 0.0013 0.0000 0.0025 0.0000 0.0070 0.0050 0.0031
176-AH 0.0170 0.0270 0.0385 0.0390 0.0390 0.0331 0.0100 0.0120 0.0220 0.3012 0.0314 0.0292 0.0081 0.0170 0.0390 0.0331 0.0100
177-AH 0.0070 0.0105 0.0130 0.0130 0.0130 0.0116 0.0026 0.0025 0.0060 0.2202 0.0113 0.0110 0.0021 0.0070 0.0130 0.0116 0.0026
178-AH 0.0000 0.0000 0.0010 0.0025 0.0030 0.0013 0.0014 0.0025 0.0030 1.1110 0.0002 0.0000 0.0013 0.0000 0.0030 0.0013 0.0014
179-AH 0.0000 0.0000 0.0090 0.0195 0.0220 0.0099 0.0106 0.0195 0.0220 1.0777 0.0004 0.0000 0.0099 0.0000 0.0220 0.0099 0.0106
180-AH 0.0000 0.0150 0.0355 0.0400 0.0400 0.0276 0.0173 0.0250 0.0400 0.6267 0.0083 0.0001 0.0136 0.0000 0.0400 0.0276 0.0173
181-AH 0.0150 0.0585 0.0910 0.0915 0.0920 0.0736 0.0324 0.0330 0.0770 0.4397 0.0627 0.0475 0.0261 0.0150 0.0920 0.0736 0.0324
182-AH 0.0000 0.0020 0.0040 0.0040 0.0040 0.0030 0.0016 0.0020 0.0040 0.5345 0.0015 0.0001 0.0013 0.0000 0.0040 0.0030 0.0016
183-AH 0.0010 0.0025 0.0040 0.0040 0.0040 0.0033 0.0014 0.0015 0.0030 0.4273 0.0028 0.0023 0.0011 0.0010 0.0040 0.0033 0.0014
184-AH 0.0030 0.0045 0.0055 0.0075 0.0090 0.0059 0.0020 0.0030 0.0060 0.3457 0.0056 0.0052 0.0016 0.0030 0.0090 0.0059 0.0020
185-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0005 0.0005 0.0010 0.6172 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0005
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0005 0.0005 0.0010 0.6172 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0005
188-AH 0.0000 0.0000 0.0000 0.0005 0.0010 0.0003 0.0005 0.0005 0.0010 1.8516 0.0000 0.0000 0.0004 0.0000 0.0010 0.0003 0.0005
189-AH 0.0000 0.0035 0.0070 0.0070 0.0070 0.0053 0.0032 0.0035 0.0070 0.6172 0.0014 0.0000 0.0026 0.0000 0.0070 0.0053 0.0032
190-AH 0.0000 0.0000 0.0030 0.0060 0.0080 0.0033 0.0034 0.0060 0.0080 1.0369 0.0004 0.0000 0.0030 0.0000 0.0080 0.0033 0.0034
217
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0030 0.0040 0.0050 0.0055 0.0060 0.0047 0.0012 0.0015 0.0030 0.2453 0.0046 0.0044 0.0009 0.0030 0.0060 0.0047 0.0012
193-AH 0.0000 0.0035 0.0070 0.0070 0.0070 0.0053 0.0032 0.0035 0.0070 0.6172 0.0014 0.0000 0.0026 0.0000 0.0070 0.0053 0.0032
194-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0004 0.0000 0.0010 0.4041 0.0006 0.0001 0.0002 0.0010 0.0010 0.0010 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0009 0.0004 0.0000 0.0010 0.4041 0.0006 0.0001 0.0002 0.0010 0.0010 0.0010 0.0000
197-AH 0.0000 0.0250 0.0500 0.0500 0.0500 0.0375 0.0228 0.0250 0.0500 0.6091 0.0105 0.0001 0.0185 0.0000 0.0500 0.0375 0.0228
198-AH 0.0000 0.0005 0.0010 0.0010 0.0010 0.0008 0.0005 0.0005 0.0010 0.6172 0.0003 0.0000 0.0004 0.0000 0.0010 0.0008 0.0005
199-AH 0.0030 0.0085 0.0100 0.0100 0.0100 0.0087 0.0025 0.0015 0.0070 0.2914 0.0082 0.0074 0.0019 0.0070 0.0100 0.0096 0.0011
200-AH 0.0000 0.0040 0.0080 0.0090 0.0090 0.0064 0.0040 0.0050 0.0090 0.6215 0.0016 0.0000 0.0032 0.0000 0.0090 0.0064 0.0040
251-AH 0.0080 0.0225 0.0450 0.0545 0.0550 0.0384 0.0202 0.0320 0.0470 0.5267 0.0305 0.0212 0.0159 0.0080 0.0550 0.0384 0.0202
252-AH 0.0030 0.0075 0.0155 0.0255 0.0290 0.0161 0.0101 0.0180 0.0260 0.6293 0.0122 0.0080 0.0084 0.0030 0.0290 0.0161 0.0101
253-AH 0.0190 0.0325 0.0740 0.1260 0.1300 0.0767 0.0468 0.0935 0.1110 0.6101 0.0612 0.0460 0.0390 0.0190 0.1300 0.0767 0.0468
254-AH 0.0080 0.0125 0.0415 0.1270 0.1770 0.0684 0.0700 0.1145 0.1690 1.0231 0.0371 0.0208 0.0565 0.0080 0.1770 0.0684 0.0700
255-AH 0.0010 0.0020 0.0040 0.0040 0.0040 0.0031 0.0014 0.0020 0.0030 0.4340 0.0027 0.0022 0.0011 0.0010 0.0040 0.0031 0.0014
256-AH 0.0000 0.0160 0.0335 0.0340 0.0340 0.0251 0.0155 0.0180 0.0340 0.6179 0.0044 0.0000 0.0126 0.0000 0.0340 0.0251 0.0155
257-AH 0.0020 0.0155 0.0320 0.0455 0.0550 0.0304 0.0189 0.0300 0.0530 0.6219 0.0216 0.0103 0.0146 0.0020 0.0550 0.0304 0.0189
258-AH 0.0000 0.0000 0.0005 0.0010 0.0030 0.0008 0.0010 0.0010 0.0030 1.3801 0.0001 0.0000 0.0008 0.0000 0.0010 0.0004 0.0005
259-AH 0.0000 0.0010 0.0015 0.0020 0.0030 0.0015 0.0009 0.0010 0.0030 0.6172 0.0008 0.0001 0.0008 0.0000 0.0030 0.0015 0.0009
260-AH 0.0070 0.0280 0.0515 0.0605 0.0620 0.0436 0.0220 0.0325 0.0550 0.5049 0.0351 0.0241 0.0170 0.0070 0.0620 0.0436 0.0220
261-AH 0.0110 0.0115 0.0130 0.0140 0.0150 0.0129 0.0015 0.0025 0.0040 0.1132 0.0128 0.0127 0.0012 0.0110 0.0150 0.0129 0.0015
262-AH 0.0030 0.0120 0.0255 0.0415 0.0480 0.0261 0.0173 0.0295 0.0450 0.6628 0.0182 0.0102 0.0144 0.0030 0.0480 0.0261 0.0173
263-AH 0.0000 0.0015 0.0165 0.0360 0.0400 0.0185 0.0183 0.0345 0.0400 0.9879 0.0026 0.0000 0.0167 0.0000 0.0400 0.0185 0.0183
264-AH 0.0130 0.0160 0.0190 0.0195 0.0210 0.0179 0.0031 0.0035 0.0080 0.1729 0.0176 0.0173 0.0024 0.0130 0.0210 0.0179 0.0031
265-AH 0.0000 0.0025 0.0060 0.0060 0.0060 0.0044 0.0027 0.0035 0.0060 0.6222 0.0012 0.0000 0.0022 0.0000 0.0060 0.0044 0.0027
266-AH 0.0000 0.0020 0.0030 0.0040 0.0040 0.0028 0.0015 0.0020 0.0040 0.5411 0.0014 0.0001 0.0011 0.0000 0.0040 0.0028 0.0015
267-AH 0.0000 0.0075 0.0175 0.0185 0.0190 0.0132 0.0083 0.0110 0.0190 0.6246 0.0027 0.0000 0.0066 0.0000 0.0190 0.0132 0.0083
268-AH 0.0000 0.0010 0.0020 0.0020 0.0030 0.0016 0.0011 0.0010 0.0030 0.6527 0.0006 0.0000 0.0008 0.0000 0.0030 0.0016 0.0011
269-AH 0.0040 0.0040 0.0045 0.0060 0.0080 0.0051 0.0015 0.0020 0.0040 0.2844 0.0050 0.0048 0.0012 0.0040 0.0080 0.0051 0.0015
270-AH 0.0170 0.0310 0.0455 0.0525 0.0560 0.0414 0.0150 0.0215 0.0390 0.3626 0.0382 0.0344 0.0114 0.0170 0.0560 0.0414 0.0150
271-AH 0.0140 0.0180 0.0225 0.0240 0.0240 0.0209 0.0043 0.0060 0.0100 0.2071 0.0204 0.0199 0.0034 0.0140 0.0240 0.0209 0.0043
272-AH 0.0000 0.0060 0.0120 0.0120 0.0130 0.0091 0.0056 0.0060 0.0130 0.6184 0.0021 0.0000 0.0046 0.0000 0.0130 0.0091 0.0056
273-AH 0.0140 0.0155 0.0430 0.0795 0.0820 0.0465 0.0330 0.0640 0.0680 0.7087 0.0349 0.0261 0.0305 0.0140 0.0820 0.0465 0.0330
274-AH 0.0010 0.0040 0.0080 0.0095 0.0140 0.0072 0.0044 0.0055 0.0130 0.6113 0.0052 0.0030 0.0032 0.0010 0.0140 0.0072 0.0044
275-AH 0.0040 0.0115 0.0330 0.0545 0.0590 0.0326 0.0240 0.0430 0.0550 0.7354 0.0226 0.0140 0.0221 0.0040 0.0590 0.0326 0.0240
276-AH 0.0310 0.0315 0.0480 0.0555 0.0560 0.0446 0.0119 0.0240 0.0250 0.2667 0.0432 0.0417 0.0106 0.0310 0.0560 0.0446 0.0119
277-AH 0.0010 0.0055 0.0095 0.0125 0.0160 0.0090 0.0050 0.0070 0.0150 0.5571 0.0070 0.0044 0.0040 0.0010 0.0160 0.0090 0.0050
278-AH 0.0000 0.0000 0.0015 0.0070 0.0170 0.0043 0.0064 0.0070 0.0170 1.4974 0.0003 0.0000 0.0049 0.0000 0.0170 0.0043 0.0064
279-AH 0.0000 0.0015 0.0030 0.0030 0.0040 0.0024 0.0015 0.0015 0.0040 0.6341 0.0007 0.0000 0.0012 0.0000 0.0040 0.0024 0.0015
280-AH 0.0010 0.0030 0.0050 0.0105 0.0180 0.0070 0.0059 0.0075 0.0170 0.8469 0.0050 0.0034 0.0045 0.0010 0.0180 0.0070 0.0059
281-AH 0.0000 0.0205 0.0405 0.0415 0.0420 0.0309 0.0185 0.0210 0.0420 0.5983 0.0099 0.0001 0.0149 0.0000 0.0420 0.0309 0.0185
282-AH 0.0070 0.0155 0.0240 0.0280 0.0300 0.0215 0.0088 0.0125 0.0230 0.4085 0.0192 0.0164 0.0068 0.0070 0.0300 0.0215 0.0088
283-AH 0.0030 0.0090 0.0255 0.0330 0.0340 0.0215 0.0132 0.0240 0.0310 0.6145 0.0154 0.0088 0.0110 0.0030 0.0340 0.0215 0.0132
284-AH 0.0000 0.0035 0.0155 0.0270 0.0380 0.0162 0.0146 0.0235 0.0380 0.8965 0.0028 0.0000 0.0110 0.0000 0.0380 0.0162 0.0146
285-AH 0.0270 0.0325 0.0395 0.0590 0.0680 0.0446 0.0154 0.0265 0.0410 0.3444 0.0424 0.0403 0.0130 0.0270 0.0680 0.0446 0.0154
286-AH 0.0000 0.0000 0.0010 0.0020 0.0100 0.0020 0.0033 0.0020 0.0100 1.6690 0.0003 0.0000 0.0020 0.0000 0.0020 0.0009 0.0009
287-AH 0.0080 0.0245 0.0385 0.0420 0.0480 0.0332 0.0148 0.0175 0.0400 0.4463 0.0286 0.0225 0.0116 0.0080 0.0480 0.0332 0.0148
288-AH 0.0110 0.0215 0.0425 0.0465 0.0540 0.0358 0.0163 0.0250 0.0430 0.4569 0.0310 0.0254 0.0133 0.0110 0.0540 0.0358 0.0163
289-AH 0.0000 0.0000 0.0085 0.0180 0.0180 0.0089 0.0095 0.0180 0.0180 1.0697 0.0004 0.0000 0.0089 0.0000 0.0180 0.0089 0.0095
290-AH 0.0010 0.0035 0.0210 0.0355 0.0480 0.0211 0.0180 0.0320 0.0470 0.8537 0.0111 0.0042 0.0156 0.0010 0.0480 0.0211 0.0180
218
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0060 0.0090 0.0175 0.0275 0.0290 0.0179 0.0100 0.0185 0.0230 0.5590 0.0151 0.0127 0.0091 0.0060 0.0290 0.0179 0.0100
292-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
293-AH 0.0000 0.0045 0.0205 0.0325 0.0340 0.0186 0.0153 0.0280 0.0340 0.8218 0.0032 0.0000 0.0139 0.0000 0.0340 0.0186 0.0153
294-AH 0.0020 0.0080 0.0245 0.0270 0.0270 0.0185 0.0107 0.0190 0.0250 0.5793 0.0138 0.0081 0.0094 0.0020 0.0270 0.0185 0.0107
295-AH 0.0010 0.0035 0.0135 0.0250 0.0390 0.0155 0.0139 0.0215 0.0380 0.8940 0.0082 0.0032 0.0118 0.0010 0.0390 0.0155 0.0139
296-AH 0.0000 0.0055 0.0130 0.0205 0.0240 0.0127 0.0092 0.0150 0.0240 0.7198 0.0049 0.0001 0.0080 0.0000 0.0240 0.0127 0.0092
297-AH 0.0000 0.0000 0.0065 0.0100 0.0120 0.0056 0.0053 0.0100 0.0120 0.9500 0.0007 0.0000 0.0049 0.0000 0.0120 0.0056 0.0053
298-AH 0.0010 0.0055 0.0125 0.0230 0.0280 0.0139 0.0103 0.0175 0.0270 0.7435 0.0092 0.0046 0.0086 0.0010 0.0280 0.0139 0.0103
299-AH 0.0010 0.0110 0.0295 0.0570 0.0750 0.0339 0.0273 0.0460 0.0740 0.8062 0.0188 0.0058 0.0234 0.0010 0.0750 0.0339 0.0273
300-AH 0.0000 0.0015 0.0215 0.0380 0.0420 0.0205 0.0185 0.0365 0.0420 0.9032 0.0030 0.0000 0.0165 0.0000 0.0420 0.0205 0.0185
301-AH 0.0000 0.0015 0.0070 0.0125 0.0150 0.0071 0.0063 0.0110 0.0150 0.8795 0.0015 0.0000 0.0056 0.0000 0.0150 0.0071 0.0063
302-AH 0.0060 0.0075 0.0125 0.0150 0.0170 0.0116 0.0041 0.0075 0.0110 0.3560 0.0109 0.0102 0.0035 0.0060 0.0170 0.0116 0.0041
303-AH 0.0020 0.0045 0.0100 0.0110 0.0130 0.0083 0.0042 0.0065 0.0110 0.5132 0.0068 0.0050 0.0034 0.0020 0.0130 0.0083 0.0042
304-AH 0.0010 0.0035 0.0065 0.0085 0.0100 0.0060 0.0032 0.0050 0.0090 0.5345 0.0048 0.0034 0.0025 0.0010 0.0100 0.0060 0.0032
305-AH 0.0000 0.0185 0.0410 0.0480 0.0590 0.0343 0.0221 0.0295 0.0590 0.6438 0.0097 0.0001 0.0169 0.0000 0.0590 0.0343 0.0221
306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
307-AH 0.0010 0.0045 0.0080 0.0215 0.0560 0.0156 0.0192 0.0170 0.0550 1.2310 0.0083 0.0043 0.0147 0.0010 0.0340 0.0099 0.0110
308-AH 0.0060 0.0085 0.0100 0.0110 0.0110 0.0095 0.0019 0.0025 0.0050 0.2029 0.0093 0.0091 0.0015 0.0060 0.0110 0.0095 0.0019
309-AH 0.0060 0.0070 0.0075 0.0090 0.0100 0.0079 0.0015 0.0020 0.0040 0.1851 0.0078 0.0077 0.0011 0.0060 0.0100 0.0079 0.0015
310-AH 0.0060 0.0165 0.0320 0.0435 0.0470 0.0296 0.0158 0.0270 0.0410 0.5349 0.0240 0.0173 0.0125 0.0060 0.0470 0.0296 0.0158
311-AH 0.0300 0.0310 0.0415 0.0470 0.0510 0.0400 0.0085 0.0160 0.0210 0.2130 0.0392 0.0384 0.0070 0.0300 0.0510 0.0400 0.0085
312-AH 0.0020 0.0025 0.0085 0.0155 0.0300 0.0106 0.0100 0.0130 0.0280 0.9411 0.0066 0.0042 0.0081 0.0020 0.0300 0.0106 0.0100
313-AH 0.0060 0.0065 0.0100 0.0120 0.0120 0.0094 0.0027 0.0055 0.0060 0.2904 0.0090 0.0086 0.0024 0.0060 0.0120 0.0094 0.0027
314-AH 0.0000 0.0045 0.0125 0.0165 0.0170 0.0105 0.0071 0.0120 0.0170 0.6773 0.0039 0.0001 0.0060 0.0000 0.0170 0.0105 0.0071
315-AH 0.0060 0.0145 0.0305 0.0480 0.0490 0.0301 0.0179 0.0335 0.0430 0.5953 0.0242 0.0181 0.0161 0.0060 0.0490 0.0301 0.0179
316-AH 0.0000 0.0400 0.0920 0.1045 0.1080 0.0726 0.0460 0.0645 0.1080 0.6331 0.0097 0.0000 0.0363 0.0000 0.1080 0.0726 0.0460
317-AH 0.0110 0.0135 0.0170 0.0220 0.0300 0.0182 0.0063 0.0085 0.0190 0.3450 0.0174 0.0166 0.0050 0.0110 0.0300 0.0182 0.0063
318-AH 0.0020 0.0065 0.0090 0.0090 0.0090 0.0075 0.0028 0.0025 0.0070 0.3771 0.0067 0.0056 0.0022 0.0040 0.0090 0.0083 0.0019
319-AH 0.0100 0.0120 0.0145 0.0150 0.0160 0.0136 0.0023 0.0030 0.0060 0.1707 0.0134 0.0132 0.0018 0.0100 0.0160 0.0136 0.0023
320-AH 0.0010 0.0045 0.0095 0.0100 0.0110 0.0075 0.0039 0.0055 0.0100 0.5189 0.0059 0.0037 0.0031 0.0010 0.0110 0.0075 0.0039
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0040 0.0090 0.0125 0.0130 0.0140 0.0109 0.0037 0.0040 0.0100 0.3421 0.0101 0.0090 0.0029 0.0040 0.0140 0.0109 0.0037
323-AH 0.0000 0.0055 0.0160 0.0190 0.0200 0.0126 0.0083 0.0135 0.0200 0.6572 0.0026 0.0000 0.0067 0.0000 0.0200 0.0126 0.0083
324-AH 0.0050 0.0150 0.0215 0.0250 0.0590 0.0234 0.0159 0.0100 0.0540 0.6795 0.0193 0.0153 0.0097 0.0050 0.0250 0.0183 0.0073
325-AH 0.0150 0.0235 0.0340 0.0500 0.0560 0.0358 0.0157 0.0265 0.0410 0.4379 0.0325 0.0292 0.0133 0.0150 0.0560 0.0358 0.0157
326-AH 0.0000 0.0015 0.0035 0.0040 0.0040 0.0028 0.0018 0.0025 0.0040 0.6373 0.0008 0.0000 0.0014 0.0000 0.0040 0.0028 0.0018
327-AH 0.0000 0.0000 0.0025 0.0035 0.0040 0.0020 0.0018 0.0035 0.0040 0.8864 0.0004 0.0000 0.0015 0.0000 0.0040 0.0020 0.0018
328-AH 0.0080 0.0165 0.0230 0.0230 0.0230 0.0195 0.0065 0.0065 0.0150 0.3335 0.0182 0.0165 0.0052 0.0080 0.0230 0.0195 0.0065
329-AH 0.0030 0.0085 0.0160 0.0170 0.0170 0.0129 0.0062 0.0085 0.0140 0.4796 0.0106 0.0077 0.0049 0.0030 0.0170 0.0129 0.0062
330-AH 0.0090 0.0340 0.0500 0.0510 0.0510 0.0412 0.0173 0.0170 0.0420 0.4194 0.0358 0.0280 0.0139 0.0090 0.0510 0.0412 0.0173
331-AH 0.0000 0.0115 0.0170 0.0170 0.0170 0.0135 0.0067 0.0055 0.0170 0.4945 0.0059 0.0001 0.0053 0.0060 0.0170 0.0154 0.0042
332-AH 0.0000 0.0040 0.0080 0.0080 0.0080 0.0060 0.0037 0.0040 0.0080 0.6172 0.0015 0.0000 0.0030 0.0000 0.0080 0.0060 0.0037
333-AH 0.0000 0.0020 0.0040 0.0050 0.0050 0.0034 0.0020 0.0030 0.0050 0.5913 0.0017 0.0001 0.0016 0.0000 0.0050 0.0034 0.0020
334-AH 0.0000 0.0000 0.0030 0.0040 0.0050 0.0024 0.0021 0.0040 0.0050 0.8985 0.0004 0.0000 0.0019 0.0000 0.0050 0.0024 0.0021
335-AH 0.0000 0.0015 0.0075 0.0125 0.0130 0.0070 0.0058 0.0110 0.0130 0.8224 0.0025 0.0001 0.0053 0.0000 0.0130 0.0070 0.0058
336-AH 0.0000 0.0035 0.0080 0.0125 0.0160 0.0080 0.0059 0.0090 0.0160 0.7319 0.0018 0.0000 0.0045 0.0000 0.0160 0.0080 0.0059
337-AH 0.0000 0.0100 0.0200 0.0200 0.0200 0.0150 0.0093 0.0100 0.0200 0.6172 0.0030 0.0000 0.0075 0.0000 0.0200 0.0150 0.0093
338-AH 0.0010 0.0050 0.0100 0.0100 0.0100 0.0076 0.0041 0.0050 0.0090 0.5382 0.0055 0.0031 0.0033 0.0010 0.0100 0.0076 0.0041
339-AH 0.0000 0.0065 0.0165 0.0185 0.0190 0.0127 0.0079 0.0120 0.0190 0.6215 0.0046 0.0001 0.0063 0.0000 0.0190 0.0127 0.0079
340-AH 0.0010 0.0015 0.0035 0.0050 0.0050 0.0033 0.0018 0.0035 0.0040 0.5392 0.0027 0.0022 0.0015 0.0010 0.0050 0.0033 0.0018
219
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0020 0.0040 0.0060 0.0060 0.0060 0.0050 0.0016 0.0020 0.0040 0.3207 0.0047 0.0043 0.0013 0.0020 0.0060 0.0050 0.0016
342-AH 0.0580 0.0780 0.0945 0.0950 0.0960 0.0861 0.0159 0.0170 0.0380 0.1846 0.0846 0.0829 0.0128 0.0580 0.0960 0.0861 0.0159
343-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 1.0690 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005
344-AH 0.0060 0.0220 0.0310 0.0330 0.0330 0.0264 0.0100 0.0110 0.0270 0.3797 0.0235 0.0190 0.0077 0.0060 0.0330 0.0264 0.0100
345-AH 0.0000 0.0020 0.0065 0.0080 0.0090 0.0052 0.0036 0.0060 0.0090 0.6887 0.0013 0.0000 0.0029 0.0000 0.0090 0.0052 0.0036
346-AH 0.0060 0.0080 0.0100 0.0110 0.0110 0.0094 0.0021 0.0030 0.0050 0.2276 0.0091 0.0088 0.0017 0.0060 0.0110 0.0094 0.0021
347-AH 0.0000 0.0040 0.0065 0.0085 0.0090 0.0059 0.0033 0.0045 0.0090 0.5567 0.0027 0.0001 0.0024 0.0000 0.0090 0.0059 0.0033
348-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0015 0.0009 0.0010 0.0020 0.6172 0.0005 0.0000 0.0008 0.0000 0.0020 0.0015 0.0009
349-AH 0.0020 0.0130 0.0265 0.0270 0.0270 0.0203 0.0110 0.0140 0.0250 0.5453 0.0145 0.0075 0.0089 0.0020 0.0270 0.0203 0.0110
350-AH 0.0040 0.0065 0.0100 0.0100 0.0100 0.0084 0.0027 0.0035 0.0060 0.3250 0.0078 0.0072 0.0022 0.0040 0.0100 0.0084 0.0027
220
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precisi
100%
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
90% ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
221
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box Plot of the Topics
unine [Experiment UNINEROBUST6; MAP 44.99%; Not Pooled]
unine [Experiment UNINEROBUST5; MAP 44.10%; Not Pooled]
unine [Experiment UNINEROBUST3; MAP 43.47%; Not Pooled]
unine [Experiment UNINEROBUST2; MAP 40.00%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_09; MAP 39.57%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_00; MAP 39.37%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_03; MAP 39.35%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_06; MAP 39.26%; Not Pooled]
ixa [Experiment EN2ENUBCDOCSPSREL; MAP 38.99%; Not Pooled]
ixa [Experiment EN2ENFULLSTRUCTOPSNUSDOCSPSREL; MAP 38.90%; Not Pooled]
ixa [Experiment EN2ENNUSDOCSPSREL; MAP 38.62%; Not Pooled]
geneva [Experiment ISINUSLWTDN; MAP 38.14%; Not Pooled]
Experiments
ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; MAP 34.65%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD3_TEST; MAP 34.34%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD4_TEST; MAP 34.32%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD1_TEST; MAP 34.24%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD2_TEST; MAP 33.91%; Not Pooled]
geneva [Experiment ISINUSWDTDN; MAP 32.69%; Not Pooled]
geneva [Experiment ISIUBCWSDTDN; MAP 29.62%; Not Pooled]
geneva [Experiment ISINUSWDTD; MAP 29.34%; Not Pooled]
know−center [Experiment ASSO_WSD; MAP 25.73%; Not Pooled]
uniba [Experiment MONOWSD13NUS2F; MAP 22.78%; Not Pooled]
uniba [Experiment MONOWSD12NUS2F; MAP 22.05%; Not Pooled]
uniba [Experiment MONOWSD11NUS2F; MAP 18.61%; Not Pooled]
uniba [Experiment MONOWSD1NUS2F; MAP 18.02%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
222
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
10.2455/TUKEY_T_TEST.C030D0A600D6CCFEA19B2E78DC2B5BBA
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Tukey T test with "top group" highlighted
UNINEROBUST6
UNINEROBUST5
UNINEROBUST3
UNINEROBUST2
EN2ENUBCDOCSPSREL
BM25_BO1_CLAUSES_09
BM25_BO1_CLAUSES_00
BM25_BO1_CLAUSES_03
BM25_BO1_CLAUSES_06
Experiments
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
EN2ENNUSDOCSPSREL
ISINUSLWTDN
UFRGS_R_MONO_WSD5_TEST
UFRGS_R_MONO_WSD3_TEST
UFRGS_R_MONO_WSD4_TEST
UFRGS_R_MONO_WSD1_TEST
UFRGS_R_MONO_WSD2_TEST
ISINUSWDTDN
ISINUSWDTD
ISIUBCWSDTDN
ASSO_WSD
MONOWSD13NUS2F
MONOWSD12NUS2F
MONOWSD11NUS2F
MONOWSD1NUS2F
0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8
arcsin(sqrt(Average Precsion))
223
224
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
90% ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
0.5 ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
Difference
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
0 ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
225
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box Plot of the Topics
unine [Experiment UNINEROBUST6; R−Prec 42.78%; Not Pooled]
unine [Experiment UNINEROBUST5; R−Prec 40.95%; Not Pooled]
unine [Experiment UNINEROBUST3; R−Prec 40.81%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_09; R−Prec 37.72%; Not Pooled]
unine [Experiment UNINEROBUST2; R−Prec 37.69%; Not Pooled]
ixa [Experiment EN2ENUBCDOCSPSREL; R−Prec 37.46%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_06; R−Prec 37.37%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_00; R−Prec 37.35%; Not Pooled]
ucm [Experiment BM25_BO1_CLAUSES_03; R−Prec 37.26%; Not Pooled]
ixa [Experiment EN2ENFULLSTRUCTOPSNUSDOCSPSREL; R−Prec 36.91%; Not Pooled]
geneva [Experiment ISINUSLWTDN; R−Prec 36.72%; Not Pooled]
ixa [Experiment EN2ENNUSDOCSPSREL; R−Prec 36.63%; Not Pooled]
Experiments
ufrgs [Experiment UFRGS_R_MONO_WSD4_TEST; R−Prec 34.32%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD1_TEST; R−Prec 34.16%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD5_TEST; R−Prec 33.97%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD3_TEST; R−Prec 33.33%; Not Pooled]
ufrgs [Experiment UFRGS_R_MONO_WSD2_TEST; R−Prec 32.67%; Not Pooled]
geneva [Experiment ISINUSWDTDN; R−Prec 31.20%; Not Pooled]
geneva [Experiment ISINUSWDTD; R−Prec 29.47%; Not Pooled]
geneva [Experiment ISIUBCWSDTDN; R−Prec 28.94%; Not Pooled]
know−center [Experiment ASSO_WSD; R−Prec 25.68%; Not Pooled]
uniba [Experiment MONOWSD13NUS2F; R−Prec 24.23%; Not Pooled]
uniba [Experiment MONOWSD12NUS2F; R−Prec 24.07%; Not Pooled]
uniba [Experiment MONOWSD11NUS2F; R−Prec 20.49%; Not Pooled]
uniba [Experiment MONOWSD1NUS2F; R−Prec 19.74%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
226
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Tukey T test with "top group" highlighted
UNINEROBUST6
UNINEROBUST3
UNINEROBUST5
EN2ENUBCDOCSPSREL
UNINEROBUST2
BM25_BO1_CLAUSES_09
EN2ENNUSDOCSPSREL
BM25_BO1_CLAUSES_06
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
Experiments
ISINUSLWTDN
BM25_BO1_CLAUSES_00
BM25_BO1_CLAUSES_03
UFRGS_R_MONO_WSD1_TEST
UFRGS_R_MONO_WSD4_TEST
UFRGS_R_MONO_WSD5_TEST
UFRGS_R_MONO_WSD3_TEST
UFRGS_R_MONO_WSD2_TEST
ISINUSWDTDN
ISINUSWDTD
ISIUBCWSDTDN
ASSO_WSD
MONOWSD13NUS2F
MONOWSD12NUS2F
MONOWSD11NUS2F
MONOWSD1NUS2F
0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75
arcsin(sqrt(R−Precision))
227
228
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.00 1.00 1.00 1.00 1.00 0.84 0.37 0.00 1.00 0.45 0.16 0.00 0.27 1.00 1.00 1.00 0.00
142-AH 5.00 7.00 8.00 8.00 8.00 7.48 0.96 1.00 3.00 0.13 7.41 7.33 0.75 6.00 8.00 7.70 0.63
143-AH 29.00 39.00 39.00 39.00 39.00 37.64 3.21 0.00 10.00 0.09 37.49 37.33 2.28 39.00 39.00 39.00 0.00
144-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
145-AH 35.00 36.00 37.00 37.00 37.00 36.60 0.58 1.00 2.00 0.02 36.60 36.59 0.51 35.00 37.00 36.60 0.58
146-AH 1.00 2.00 2.00 2.00 2.00 1.92 0.28 0.00 1.00 0.14 1.89 1.85 0.15 2.00 2.00 2.00 0.00
147-AH 45.00 48.00 50.00 51.00 51.00 49.36 2.10 3.00 6.00 0.04 49.32 49.27 1.70 45.00 51.00 49.36 2.10
148-AH 2.00 4.00 6.00 6.00 6.00 5.00 1.35 2.00 4.00 0.27 4.77 4.48 1.20 2.00 6.00 5.00 1.35
149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
150-AH 0.00 8.00 9.00 10.00 10.00 7.96 3.22 2.00 10.00 0.40 4.20 0.00 2.30 7.00 10.00 9.29 0.90
151-AH 6.00 9.00 9.00 10.00 11.00 9.04 1.21 1.00 5.00 0.13 8.95 8.86 0.77 9.00 11.00 9.48 0.68
152-AH 9.00 10.75 11.00 11.00 11.00 10.72 0.54 0.25 2.00 0.05 10.71 10.69 0.43 11.00 11.00 11.00 0.00
153-AH 0.00 0.00 0.00 1.00 1.00 0.32 0.48 1.00 1.00 1.49 0.00 0.00 0.44 0.00 1.00 0.32 0.48
154-AH 15.00 18.00 20.00 20.00 21.00 19.20 1.55 2.00 6.00 0.08 19.14 19.07 1.23 15.00 21.00 19.20 1.55
155-AH 0.00 3.00 3.00 3.00 3.00 2.52 1.12 0.00 3.00 0.45 0.40 0.00 0.81 3.00 3.00 3.00 0.00
156-AH 8.00 15.00 19.00 20.00 21.00 17.32 3.64 5.00 13.00 0.21 16.87 16.32 3.06 8.00 21.00 17.32 3.64
157-AH 25.00 102.25 125.00 139.00 139.00 112.32 32.65 36.75 114.00 0.29 104.84 92.48 24.66 61.00 139.00 119.48 22.15
158-AH 1.00 30.75 33.00 33.25 34.00 30.88 6.47 2.50 33.00 0.21 27.92 14.29 3.06 28.00 34.00 32.12 1.80
159-AH 26.00 39.00 44.00 53.25 54.00 45.16 7.21 14.25 28.00 0.16 44.56 43.89 5.86 26.00 54.00 45.16 7.21
160-AH 1.00 2.00 2.00 2.00 2.00 1.96 0.20 0.00 1.00 0.10 1.95 1.92 0.08 2.00 2.00 2.00 0.00
161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
162-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
163-AH 102.00 117.00 121.00 121.00 121.00 117.48 5.99 4.00 19.00 0.05 117.32 117.16 4.27 117.00 121.00 119.95 1.60
164-AH 8.00 23.50 25.00 26.25 27.00 23.72 4.45 2.75 19.00 0.19 23.12 22.16 3.15 22.00 27.00 25.60 1.35
165-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
167-AH 4.00 5.00 5.00 5.00 5.00 4.92 0.28 0.00 1.00 0.06 4.91 4.90 0.15 5.00 5.00 5.00 0.00
168-AH 2.00 16.50 18.00 18.00 18.00 15.76 4.71 1.50 16.00 0.30 14.14 10.45 3.32 15.00 18.00 17.80 0.70
169-AH 1.00 2.00 4.00 6.00 6.00 4.12 1.72 4.00 5.00 0.42 3.69 3.21 1.48 1.00 6.00 4.12 1.72
170-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
171-AH 2.00 5.00 17.00 19.00 19.00 13.64 6.54 14.00 17.00 0.48 11.10 7.83 5.61 2.00 19.00 13.64 6.54
172-AH 5.00 7.00 7.00 7.00 7.00 6.76 0.52 0.00 2.00 0.08 6.74 6.71 0.38 7.00 7.00 7.00 0.00
173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
174-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
175-AH 4.00 6.75 7.00 7.00 7.00 6.52 0.96 0.25 3.00 0.15 6.44 6.33 0.73 7.00 7.00 7.00 0.00
176-AH 36.00 39.00 39.00 39.00 39.00 38.76 0.83 0.00 3.00 0.02 38.75 38.74 0.44 39.00 39.00 39.00 0.00
177-AH 12.00 12.00 13.00 13.00 13.00 12.68 0.48 1.00 1.00 0.04 12.67 12.66 0.44 12.00 13.00 12.68 0.48
178-AH 0.00 2.00 3.00 3.25 4.00 2.52 1.33 1.25 4.00 0.53 0.39 0.00 1.06 2.00 4.00 3.00 0.77
179-AH 17.00 20.75 22.00 22.00 22.00 20.96 1.57 1.25 5.00 0.07 20.90 20.83 1.18 20.00 22.00 21.57 0.68
180-AH 30.00 38.25 40.00 40.00 40.00 37.96 3.71 1.75 10.00 0.10 37.77 37.55 2.94 36.00 40.00 39.70 0.92
181-AH 51.00 91.00 91.00 92.00 92.00 85.08 14.09 1.00 41.00 0.17 83.65 81.87 10.11 91.00 92.00 91.40 0.50
182-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
183-AH 1.00 4.00 4.00 4.00 4.00 3.48 1.08 0.00 3.00 0.31 3.20 2.78 0.83 4.00 4.00 4.00 0.00
184-AH 7.00 8.00 9.00 9.00 9.00 8.52 0.77 1.00 2.00 0.09 8.48 8.45 0.65 7.00 9.00 8.52 0.77
185-AH 0.00 0.75 1.00 1.00 1.00 0.76 0.44 0.25 1.00 0.57 0.06 0.00 0.36 1.00 1.00 1.00 0.00
186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
187-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
188-AH 0.00 0.00 1.00 1.00 1.00 0.68 0.48 1.00 1.00 0.70 0.03 0.00 0.44 0.00 1.00 0.68 0.48
189-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00
190-AH 4.00 7.00 7.00 8.25 9.00 7.24 1.54 1.25 5.00 0.21 7.05 6.83 1.15 6.00 9.00 7.68 0.99
229
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
192-AH 3.00 4.75 6.00 6.00 6.00 5.32 1.03 1.25 3.00 0.19 5.20 5.07 0.87 3.00 6.00 5.32 1.03
193-AH 4.00 7.00 7.00 7.00 7.00 6.52 1.12 0.00 3.00 0.17 6.40 6.25 0.81 7.00 7.00 7.00 0.00
194-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
196-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
197-AH 38.00 49.25 50.00 50.00 50.00 48.08 3.90 0.75 12.00 0.08 47.91 47.72 2.92 50.00 50.00 50.00 0.00
198-AH 0.00 1.00 1.00 1.00 1.00 0.84 0.37 0.00 1.00 0.45 0.16 0.00 0.27 1.00 1.00 1.00 0.00
199-AH 7.00 10.00 10.00 10.00 10.00 9.72 0.74 0.00 3.00 0.08 9.69 9.65 0.47 10.00 10.00 10.00 0.00
200-AH 7.00 8.75 9.00 9.00 9.00 8.60 0.76 0.25 2.00 0.09 8.56 8.53 0.61 9.00 9.00 9.00 0.00
251-AH 49.00 54.00 56.00 60.25 62.00 56.04 4.08 6.25 13.00 0.07 55.90 55.75 3.25 49.00 62.00 56.04 4.08
252-AH 23.00 27.75 29.00 29.00 29.00 27.88 1.99 1.25 6.00 0.07 27.81 27.73 1.54 27.00 29.00 28.80 0.52
253-AH 52.00 113.25 133.00 145.50 162.00 123.68 32.90 32.25 110.00 0.27 118.27 111.59 26.09 66.00 162.00 126.67 29.95
254-AH 84.00 133.50 155.00 183.50 205.00 154.52 39.18 50.00 121.00 0.25 149.05 142.91 31.86 84.00 205.00 154.52 39.18
255-AH 3.00 4.00 4.00 4.00 4.00 3.84 0.37 0.00 1.00 0.10 3.82 3.80 0.27 4.00 4.00 4.00 0.00
256-AH 19.00 30.00 34.00 34.00 34.00 31.88 3.76 4.00 15.00 0.12 31.62 31.31 2.88 26.00 34.00 32.42 2.69
257-AH 44.00 49.00 56.00 61.00 62.00 54.64 6.66 12.00 18.00 0.12 54.24 53.83 5.89 44.00 62.00 54.64 6.66
258-AH 0.00 2.00 3.00 4.00 4.00 2.92 1.26 2.00 4.00 0.43 1.67 0.00 1.00 0.00 4.00 2.92 1.26
259-AH 2.00 2.00 3.00 3.00 3.00 2.72 0.46 1.00 1.00 0.17 2.68 2.63 0.40 2.00 3.00 2.72 0.46
260-AH 34.00 60.75 62.00 62.00 62.00 58.12 8.26 1.25 28.00 0.14 57.41 56.52 5.97 60.00 62.00 61.85 0.49
261-AH 9.00 15.75 17.00 21.00 25.00 17.40 4.32 5.25 16.00 0.25 16.83 16.20 3.44 9.00 25.00 17.40 4.32
262-AH 32.00 42.75 58.00 76.25 80.00 57.08 16.77 33.50 48.00 0.29 54.67 52.32 15.12 32.00 80.00 57.08 16.77
263-AH 18.00 21.00 40.00 46.25 47.00 35.76 12.00 25.25 29.00 0.34 33.43 30.86 10.79 18.00 47.00 35.76 12.00
264-AH 14.00 20.00 20.00 22.00 22.00 19.96 2.42 2.00 8.00 0.12 19.80 19.61 1.66 19.00 22.00 20.90 1.00
265-AH 4.00 5.00 6.00 6.00 6.00 5.64 0.57 1.00 2.00 0.10 5.61 5.58 0.49 4.00 6.00 5.64 0.57
266-AH 1.00 4.00 4.00 4.00 4.00 3.48 1.12 0.00 3.00 0.32 3.17 2.68 0.83 4.00 4.00 4.00 0.00
267-AH 16.00 19.00 20.00 21.00 21.00 19.72 1.40 2.00 5.00 0.07 19.67 19.62 1.14 16.00 21.00 19.72 1.40
268-AH 2.00 3.00 3.00 3.00 3.00 2.80 0.41 0.00 1.00 0.15 2.77 2.73 0.32 3.00 3.00 3.00 0.00
269-AH 6.00 8.00 8.00 8.00 8.00 7.92 0.40 0.00 2.00 0.05 7.91 7.89 0.15 8.00 8.00 8.00 0.00
270-AH 15.00 37.50 54.00 57.00 57.00 47.16 13.66 19.50 42.00 0.29 44.47 40.79 11.29 15.00 57.00 47.16 13.66
271-AH 3.00 23.75 24.00 24.00 24.00 22.72 4.22 0.25 21.00 0.19 21.66 18.46 1.97 24.00 24.00 24.00 0.00
272-AH 3.00 10.00 13.00 13.25 14.00 11.56 3.23 3.25 11.00 0.28 10.83 9.60 2.47 7.00 14.00 12.30 2.03
273-AH 16.00 62.00 78.00 82.25 83.00 70.12 16.73 20.25 67.00 0.24 67.03 61.48 12.82 44.00 83.00 72.38 12.63
274-AH 7.00 15.00 16.00 16.00 16.00 14.44 2.97 1.00 9.00 0.21 14.04 13.50 2.18 15.00 16.00 15.80 0.41
275-AH 13.00 47.00 62.00 64.00 66.00 52.72 16.54 17.00 53.00 0.31 48.71 42.60 12.78 22.00 66.00 56.04 12.40
276-AH 50.00 53.00 55.00 59.00 59.00 55.28 3.13 6.00 9.00 0.06 55.19 55.11 2.61 50.00 59.00 55.28 3.13
277-AH 12.00 13.50 18.00 19.00 22.00 16.72 3.21 5.50 10.00 0.19 16.40 16.06 2.76 12.00 22.00 16.72 3.21
278-AH 2.00 11.75 14.00 16.25 21.00 13.60 5.36 4.50 19.00 0.39 11.91 9.06 4.05 6.00 21.00 14.61 4.25
279-AH 2.00 4.00 4.00 4.00 4.00 3.76 0.60 0.00 2.00 0.16 3.70 3.61 0.40 4.00 4.00 4.00 0.00
280-AH 6.00 11.00 17.00 20.00 21.00 15.32 5.08 9.00 15.00 0.33 14.35 13.24 4.52 6.00 21.00 15.32 5.08
281-AH 19.00 40.00 41.00 42.00 42.00 39.08 6.31 2.00 23.00 0.16 38.36 37.32 3.79 39.00 42.00 41.33 0.91
282-AH 11.00 21.00 26.00 28.25 30.00 24.36 5.48 7.25 19.00 0.22 23.59 22.58 4.26 11.00 30.00 24.36 5.48
283-AH 15.00 19.00 28.00 35.00 37.00 26.76 7.72 16.00 22.00 0.29 25.64 24.51 6.97 15.00 37.00 26.76 7.72
284-AH 31.00 38.00 38.00 38.00 38.00 36.88 2.62 0.00 7.00 0.07 36.78 36.67 1.88 38.00 38.00 38.00 0.00
285-AH 20.00 59.75 66.00 68.00 69.00 59.00 15.19 8.25 49.00 0.26 56.23 52.25 11.92 50.00 69.00 66.00 4.14
286-AH 3.00 5.75 9.00 9.00 11.00 7.40 2.16 3.25 8.00 0.29 7.05 6.66 1.95 3.00 11.00 7.40 2.16
287-AH 38.00 44.00 46.00 48.00 49.00 45.52 3.34 4.00 11.00 0.07 45.40 45.27 2.74 38.00 49.00 45.52 3.34
288-AH 37.00 42.75 63.00 68.50 71.00 56.44 13.30 25.75 34.00 0.24 54.81 53.12 12.31 37.00 71.00 56.44 13.30
289-AH 13.00 16.00 17.00 18.00 18.00 16.48 1.94 2.00 5.00 0.12 16.36 16.23 1.58 13.00 18.00 16.48 1.94
290-AH 26.00 38.75 46.00 49.00 49.00 43.56 6.51 10.25 23.00 0.15 43.03 42.41 5.33 26.00 49.00 43.56 6.51
230
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 23.00 26.00 27.00 28.00 28.00 26.32 1.73 2.00 5.00 0.07 26.26 26.20 1.35 23.00 28.00 26.32 1.73
292-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
293-AH 28.00 34.00 34.00 34.00 34.00 33.00 2.24 0.00 6.00 0.07 32.92 32.83 1.60 34.00 34.00 34.00 0.00
294-AH 9.00 27.00 27.00 27.00 27.00 24.68 5.57 0.00 18.00 0.23 23.75 22.36 3.90 27.00 27.00 27.00 0.00
295-AH 17.00 32.75 39.00 48.00 49.00 38.68 9.97 15.25 32.00 0.26 37.16 35.31 7.98 17.00 49.00 38.68 9.97
296-AH 1.00 14.00 24.00 24.00 24.00 18.60 8.07 10.00 23.00 0.43 14.54 7.11 6.50 1.00 24.00 18.60 8.07
297-AH 5.00 11.00 12.00 12.00 12.00 11.00 1.66 1.00 7.00 0.15 10.84 10.61 1.12 11.00 12.00 11.70 0.47
298-AH 21.00 24.75 29.00 30.00 30.00 27.36 3.11 5.25 9.00 0.11 27.18 26.98 2.61 21.00 30.00 27.36 3.11
299-AH 52.00 70.00 74.00 75.00 76.00 71.00 7.11 5.00 24.00 0.10 70.61 70.17 5.04 70.00 76.00 73.86 2.15
300-AH 24.00 39.50 42.00 42.00 42.00 39.20 5.04 2.50 18.00 0.13 38.82 38.37 3.70 37.00 42.00 41.24 1.37
301-AH 4.00 4.00 5.00 9.50 16.00 7.36 4.64 5.50 12.00 0.63 6.28 5.56 3.85 4.00 16.00 7.36 4.64
302-AH 10.00 15.00 17.00 17.00 17.00 15.84 1.95 2.00 7.00 0.12 15.70 15.54 1.50 14.00 17.00 16.30 1.15
303-AH 10.00 11.00 13.00 14.00 14.00 12.60 1.63 3.00 4.00 0.13 12.49 12.38 1.47 10.00 14.00 12.60 1.63
304-AH 8.00 11.00 12.00 15.00 15.00 12.36 2.31 4.00 7.00 0.19 12.14 11.91 1.89 8.00 15.00 12.36 2.31
305-AH 4.00 47.00 57.00 61.00 61.00 52.04 12.50 14.00 57.00 0.24 48.23 35.54 8.92 39.00 61.00 54.04 7.65
306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
307-AH 25.00 36.00 60.00 72.00 74.00 53.52 19.17 36.00 49.00 0.36 49.69 45.60 17.50 25.00 74.00 53.52 19.17
308-AH 7.00 10.00 10.00 10.00 11.00 9.68 1.18 0.00 4.00 0.12 9.60 9.51 0.83 10.00 10.00 10.00 0.00
309-AH 5.00 8.00 10.00 10.00 10.00 8.92 1.47 2.00 5.00 0.16 8.78 8.62 1.16 5.00 10.00 8.92 1.47
310-AH 13.00 29.00 39.00 44.50 54.00 36.32 12.07 15.50 41.00 0.33 33.76 30.52 9.72 13.00 54.00 36.32 12.07
311-AH 35.00 44.00 49.00 51.25 53.00 47.44 5.16 7.25 18.00 0.11 47.15 46.83 4.20 35.00 53.00 47.44 5.16
312-AH 12.00 31.00 31.00 31.00 31.00 28.40 5.95 0.00 19.00 0.21 27.52 26.24 4.16 31.00 31.00 31.00 0.00
313-AH 5.00 11.00 16.00 17.00 19.00 14.00 4.03 6.00 14.00 0.29 13.30 12.43 3.28 5.00 19.00 14.00 4.03
314-AH 7.00 16.00 17.00 17.00 17.00 15.48 2.84 1.00 10.00 0.18 15.13 14.64 1.95 15.00 17.00 16.62 0.59
315-AH 24.00 33.75 48.00 49.25 59.00 42.84 10.53 15.50 35.00 0.25 41.42 39.85 8.83 24.00 59.00 42.84 10.53
316-AH 25.00 61.25 86.00 95.75 106.00 78.72 22.90 34.50 81.00 0.29 74.66 69.45 19.06 25.00 106.00 78.72 22.90
317-AH 23.00 27.75 29.00 29.00 30.00 27.96 2.24 1.25 7.00 0.08 27.87 27.77 1.74 27.00 30.00 29.00 0.79
318-AH 7.00 9.00 9.00 9.00 9.00 8.92 0.40 0.00 2.00 0.04 8.91 8.90 0.15 9.00 9.00 9.00 0.00
319-AH 4.00 11.50 13.00 16.00 17.00 12.16 4.39 4.50 13.00 0.36 11.06 9.61 3.34 5.00 17.00 13.27 3.35
320-AH 8.00 10.00 11.00 13.00 13.00 11.04 1.51 3.00 5.00 0.14 10.94 10.84 1.25 8.00 13.00 11.04 1.51
321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
322-AH 7.00 10.75 13.00 13.00 14.00 11.60 2.35 2.25 7.00 0.20 11.33 11.01 1.90 8.00 14.00 12.23 1.69
323-AH 14.00 20.75 24.00 25.00 26.00 22.68 3.35 4.25 12.00 0.15 22.40 22.07 2.62 15.00 26.00 23.04 2.88
324-AH 6.00 26.50 35.00 69.00 69.00 43.08 21.17 42.50 63.00 0.49 37.00 29.48 18.49 6.00 69.00 43.08 21.17
325-AH 51.00 58.50 59.00 60.00 61.00 58.32 2.66 1.50 10.00 0.05 58.26 58.20 1.99 57.00 61.00 59.50 0.89
326-AH 2.00 2.75 3.00 3.00 4.00 2.88 0.60 0.25 2.00 0.21 2.82 2.75 0.42 3.00 3.00 3.00 0.00
327-AH 0.00 4.00 4.00 4.00 4.00 3.36 1.32 0.00 4.00 0.39 1.91 0.00 1.02 4.00 4.00 4.00 0.00
328-AH 15.00 23.00 23.00 23.00 23.00 21.72 2.99 0.00 8.00 0.14 21.48 21.19 2.15 23.00 23.00 23.00 0.00
329-AH 17.00 17.00 17.00 17.00 17.00 17.00 0.00 0.00 0.00 0.00 17.00 17.00 0.00 17.00 17.00 17.00 0.00
330-AH 33.00 44.25 51.00 51.00 51.00 47.24 5.80 6.75 18.00 0.12 46.85 46.42 4.73 38.00 51.00 48.43 4.25
331-AH 12.00 16.00 17.00 17.00 17.00 16.32 1.38 1.00 5.00 0.08 16.26 16.18 0.98 15.00 17.00 16.77 0.53
332-AH 0.00 2.75 8.00 8.00 8.00 6.16 3.05 5.25 8.00 0.50 3.11 0.00 2.65 0.00 8.00 6.16 3.05
333-AH 4.00 5.00 5.00 5.00 5.00 4.96 0.20 0.00 1.00 0.04 4.96 4.95 0.08 5.00 5.00 5.00 0.00
334-AH 4.00 5.00 5.00 5.00 5.00 4.84 0.37 0.00 1.00 0.08 4.82 4.81 0.27 5.00 5.00 5.00 0.00
335-AH 12.00 14.00 15.00 15.00 15.00 14.24 1.20 1.00 3.00 0.08 14.19 14.13 0.97 14.00 15.00 14.80 0.41
336-AH 0.00 5.00 10.00 12.00 15.00 8.32 4.75 7.00 15.00 0.57 1.66 0.00 4.23 0.00 15.00 8.32 4.75
337-AH 5.00 19.00 20.00 20.00 20.00 17.68 4.81 1.00 15.00 0.27 16.65 15.07 3.42 18.00 20.00 19.71 0.56
338-AH 6.00 10.00 10.00 10.00 10.00 9.52 1.08 0.00 4.00 0.11 9.45 9.36 0.77 10.00 10.00 10.00 0.00
339-AH 18.00 19.00 19.00 19.00 19.00 18.96 0.20 0.00 1.00 0.01 18.96 18.96 0.08 19.00 19.00 19.00 0.00
340-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00
231
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 5.00 6.00 6.00 6.00 6.00 5.92 0.28 0.00 1.00 0.05 5.91 5.91 0.15 6.00 6.00 6.00 0.00
342-AH 57.00 86.00 95.00 95.00 96.00 88.40 12.01 9.00 39.00 0.14 87.46 86.33 9.02 82.00 96.00 93.14 4.11
343-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
344-AH 24.00 31.25 33.00 33.00 33.00 31.00 3.42 1.75 9.00 0.11 30.80 30.57 2.72 29.00 33.00 32.60 0.94
345-AH 3.00 7.00 8.00 9.00 9.00 7.48 2.16 2.00 6.00 0.29 7.04 6.43 1.67 6.00 9.00 8.33 0.91
346-AH 9.00 11.00 11.00 11.00 11.00 10.76 0.52 0.00 2.00 0.05 10.75 10.73 0.38 11.00 11.00 11.00 0.00
347-AH 6.00 7.75 8.00 9.00 9.00 7.88 1.01 1.25 3.00 0.13 7.81 7.74 0.74 6.00 9.00 7.88 1.01
348-AH 0.00 1.75 2.00 2.00 2.00 1.56 0.82 0.25 2.00 0.53 0.17 0.00 0.67 2.00 2.00 2.00 0.00
349-AH 26.00 27.00 27.00 27.00 27.00 26.96 0.20 0.00 1.00 0.01 26.96 26.96 0.08 27.00 27.00 27.00 0.00
350-AH 9.00 10.00 10.00 10.00 10.00 9.96 0.20 0.00 1.00 0.02 9.96 9.96 0.08 10.00 10.00 10.00 0.00
232
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.2958 0.5972 0.9260 0.9861 1.0000 0.8161 0.2287 0.3889 0.7042 0.2802 0.7742 0.7194 0.1922 0.2958 1.0000 0.8161 0.2287
143-AH 0.0957 0.6599 0.8303 0.8693 0.9076 0.6978 0.2646 0.2095 0.8119 0.3792 0.6004 0.4380 0.1959 0.6453 0.9076 0.8046 0.0948
144-AH 0.2297 0.2766 0.3707 0.5286 0.7051 0.4168 0.1481 0.2520 0.4755 0.3553 0.3919 0.3685 0.1296 0.2297 0.7051 0.4168 0.1481
145-AH 0.2344 0.4709 0.5327 0.6215 0.7785 0.5457 0.1427 0.1506 0.5441 0.2615 0.5256 0.5025 0.1098 0.2930 0.7785 0.5587 0.1299
146-AH 0.0343 0.1367 0.2557 0.5024 0.5065 0.3183 0.1910 0.3657 0.4723 0.6000 0.2406 0.1585 0.1773 0.0343 0.5065 0.3183 0.1910
147-AH 0.2763 0.5231 0.6645 0.7368 0.8264 0.6399 0.1366 0.2137 0.5502 0.2134 0.6231 0.6025 0.1133 0.2763 0.8264 0.6399 0.1366
148-AH 0.0202 0.0526 0.0926 0.1730 0.2045 0.1083 0.0645 0.1204 0.1843 0.5951 0.0871 0.0660 0.0549 0.0202 0.2045 0.1083 0.0645
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0247 0.1313 0.1558 0.2809 0.1135 0.0898 0.1311 0.2809 0.7919 0.0347 0.0002 0.0727 0.0000 0.2809 0.1135 0.0898
151-AH 0.0204 0.0586 0.1132 0.1871 0.3627 0.1371 0.1041 0.1285 0.3423 0.7590 0.1011 0.0714 0.0832 0.0204 0.3627 0.1371 0.1041
152-AH 0.3380 0.3970 0.4608 0.5697 0.6644 0.4813 0.1016 0.1728 0.3264 0.2112 0.4711 0.4612 0.0893 0.3380 0.6644 0.4813 0.1016
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.1829 0.2975 0.3379 0.3601 0.5194 0.3237 0.0720 0.0626 0.3364 0.2225 0.3156 0.3070 0.0526 0.2089 0.3926 0.3214 0.0549
155-AH 0.0000 0.0650 0.1126 0.3387 0.5200 0.1930 0.1735 0.2737 0.5200 0.8987 0.0367 0.0001 0.1503 0.0000 0.5200 0.1930 0.1735
156-AH 0.0102 0.0435 0.0822 0.0985 0.1858 0.0813 0.0434 0.0549 0.1756 0.5340 0.0685 0.0530 0.0331 0.0102 0.1597 0.0770 0.0384
157-AH 0.0052 0.2318 0.3968 0.6434 0.7393 0.3832 0.2280 0.4116 0.7341 0.5950 0.2532 0.0628 0.1811 0.0052 0.7393 0.3832 0.2280
158-AH 0.0001 0.2588 0.4000 0.5220 0.6254 0.3986 0.1590 0.2632 0.6253 0.3989 0.2778 0.0019 0.1273 0.0001 0.6254 0.3986 0.1590
159-AH 0.0241 0.0989 0.1086 0.2017 0.7632 0.2333 0.2471 0.1029 0.7391 1.0589 0.1559 0.1146 0.1873 0.0241 0.2311 0.1163 0.0441
160-AH 0.0158 0.0410 0.0682 0.1151 0.1964 0.0837 0.0576 0.0741 0.1806 0.6883 0.0657 0.0510 0.0481 0.0158 0.1964 0.0837 0.0576
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.3290 0.6813 0.8557 0.8671 0.9026 0.7585 0.1710 0.1859 0.5736 0.2255 0.7338 0.7012 0.1326 0.4455 0.9026 0.7940 0.1242
164-AH 0.0017 0.0541 0.0987 0.1751 0.3311 0.1277 0.0955 0.1210 0.3294 0.7479 0.0847 0.0264 0.0802 0.0017 0.3311 0.1277 0.0955
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0049 0.0640 0.1481 0.2329 0.3699 0.1585 0.1082 0.1689 0.3651 0.6824 0.1009 0.0373 0.0910 0.0049 0.3699 0.1585 0.1082
168-AH 0.0004 0.2047 0.2767 0.3784 0.5217 0.2759 0.1497 0.1738 0.5212 0.5425 0.1520 0.0057 0.1164 0.0004 0.5217 0.2759 0.1497
169-AH 0.0006 0.0239 0.0339 0.0774 0.1357 0.0534 0.0449 0.0535 0.1351 0.8407 0.0351 0.0106 0.0368 0.0006 0.1357 0.0534 0.0449
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0005 0.0045 0.0825 0.1281 0.2364 0.0923 0.0784 0.1236 0.2359 0.8493 0.0358 0.0047 0.0605 0.0005 0.2364 0.0923 0.0784
172-AH 0.0249 0.0756 0.0981 0.1363 0.2817 0.1198 0.0660 0.0606 0.2568 0.5512 0.1048 0.0909 0.0502 0.0249 0.2020 0.1007 0.0419
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.3615 0.6417 0.7200 0.7957 0.9196 0.7046 0.1517 0.1541 0.5582 0.2154 0.6864 0.6653 0.1148 0.4799 0.9196 0.7325 0.1220
176-AH 0.6917 0.7875 0.8736 0.9147 0.9409 0.8493 0.0821 0.1272 0.2493 0.0967 0.8453 0.8410 0.0669 0.6917 0.9409 0.8493 0.0821
177-AH 0.0547 0.1537 0.2122 0.4070 0.5907 0.2891 0.1567 0.2533 0.5360 0.5420 0.2463 0.2043 0.1393 0.0547 0.5907 0.2891 0.1567
178-AH 0.0000 0.0079 0.0383 0.2636 0.5341 0.1378 0.1808 0.2557 0.5341 1.3125 0.0179 0.0001 0.1495 0.0000 0.5341 0.1378 0.1808
179-AH 0.0276 0.2277 0.5585 0.6658 0.8990 0.4682 0.2878 0.4381 0.8715 0.6147 0.3204 0.1460 0.2548 0.0276 0.8990 0.4682 0.2878
180-AH 0.0482 0.0733 0.4156 0.6835 0.7396 0.4186 0.2828 0.6101 0.6914 0.6755 0.2816 0.1616 0.2577 0.0482 0.7396 0.4186 0.2828
181-AH 0.0700 0.7260 0.7556 0.8549 0.8781 0.6614 0.2804 0.1289 0.8081 0.4240 0.5341 0.3314 0.2142 0.7252 0.8781 0.7953 0.0587
182-AH 0.0355 0.0731 0.2346 0.3221 0.5083 0.2294 0.1575 0.2490 0.4728 0.6865 0.1682 0.1161 0.1356 0.0355 0.5083 0.2294 0.1575
183-AH 0.0003 0.0143 0.0566 0.2329 0.2735 0.1047 0.1032 0.2186 0.2732 0.9856 0.0478 0.0059 0.0909 0.0003 0.2735 0.1047 0.1032
184-AH 0.0743 0.3865 0.5882 0.6663 0.6997 0.5368 0.1609 0.2798 0.6254 0.2998 0.4972 0.4178 0.1284 0.0743 0.6997 0.5368 0.1609
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.5622 0.7254 0.8923 0.9221 1.0000 0.8310 0.1470 0.1967 0.4378 0.1769 0.8171 0.8017 0.1224 0.5622 1.0000 0.8310 0.1470
190-AH 0.1265 0.4032 0.5444 0.7186 0.8063 0.5200 0.2195 0.3154 0.6798 0.4221 0.4583 0.3795 0.1805 0.1265 0.8063 0.5200 0.2195
233
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0237 0.2607 0.3897 0.6502 0.8515 0.4261 0.2590 0.3895 0.8279 0.6079 0.3076 0.1583 0.2094 0.0237 0.8515 0.4261 0.2590
193-AH 0.3460 0.4152 0.4395 0.4724 0.5702 0.4516 0.0569 0.0572 0.2242 0.1259 0.4483 0.4450 0.0435 0.3460 0.5458 0.4415 0.0468
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1058 0.4146 0.5231 0.6785 0.8052 0.5046 0.2043 0.2639 0.6994 0.4049 0.4486 0.3709 0.1583 0.1058 0.8052 0.5046 0.2043
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.2464 0.5678 0.6445 0.6846 0.7532 0.5968 0.1411 0.1167 0.5068 0.2365 0.5748 0.5447 0.1045 0.4542 0.7532 0.6394 0.0807
200-AH 0.2122 0.3063 0.4735 0.5946 0.7523 0.4662 0.1611 0.2883 0.5401 0.3455 0.4368 0.4059 0.1302 0.2122 0.7523 0.4662 0.1611
251-AH 0.3764 0.4424 0.5069 0.5796 0.6394 0.5066 0.0792 0.1372 0.2630 0.1563 0.5006 0.4944 0.0680 0.3764 0.6394 0.5066 0.0792
252-AH 0.0710 0.1687 0.3170 0.4522 0.5477 0.3110 0.1491 0.2834 0.4768 0.4795 0.2641 0.2088 0.1236 0.0710 0.5477 0.3110 0.1491
253-AH 0.0221 0.1741 0.3760 0.4054 0.4687 0.3067 0.1432 0.2314 0.4467 0.4668 0.2511 0.1649 0.1243 0.0221 0.4687 0.3067 0.1432
254-AH 0.0474 0.1559 0.2451 0.3079 0.3480 0.2230 0.1016 0.1520 0.3006 0.4558 0.1901 0.1484 0.0837 0.0474 0.3480 0.2230 0.1016
255-AH 0.0676 0.2371 0.3473 0.4540 0.4791 0.3274 0.1498 0.2169 0.4115 0.4575 0.2747 0.2063 0.1226 0.0676 0.4791 0.3274 0.1498
256-AH 0.0402 0.4128 0.8083 0.9044 0.9107 0.6530 0.3026 0.4916 0.8705 0.4635 0.5136 0.2736 0.2620 0.0402 0.9107 0.6530 0.3026
257-AH 0.1468 0.1652 0.2153 0.2557 0.2906 0.2097 0.0475 0.0905 0.1438 0.2266 0.2046 0.1997 0.0410 0.1468 0.2906 0.2097 0.0475
258-AH 0.0000 0.0106 0.0195 0.1314 0.3043 0.0662 0.0794 0.1209 0.3043 1.1993 0.0192 0.0002 0.0650 0.0000 0.3043 0.0662 0.0794
259-AH 0.0113 0.3379 0.4188 0.5849 0.6698 0.4385 0.1997 0.2470 0.6585 0.4554 0.3386 0.1318 0.1599 0.0113 0.6698 0.4385 0.1997
260-AH 0.1551 0.5097 0.6528 0.6793 0.7419 0.5613 0.1783 0.1696 0.5868 0.3177 0.5192 0.4576 0.1408 0.2846 0.7419 0.5964 0.1361
261-AH 0.0686 0.1038 0.1403 0.1640 0.2863 0.1404 0.0605 0.0602 0.2177 0.4307 0.1294 0.1198 0.0452 0.0686 0.2118 0.1229 0.0383
262-AH 0.0494 0.1046 0.1607 0.2793 0.5066 0.2055 0.1272 0.1747 0.4572 0.6189 0.1699 0.1381 0.1009 0.0494 0.5066 0.2055 0.1272
263-AH 0.0357 0.0515 0.1342 0.2109 0.2386 0.1332 0.0791 0.1594 0.2029 0.5942 0.1063 0.0819 0.0713 0.0357 0.2386 0.1332 0.0791
264-AH 0.1013 0.2837 0.5585 0.6012 0.7277 0.4591 0.1988 0.3175 0.6264 0.4331 0.4028 0.3314 0.1751 0.1013 0.7277 0.4591 0.1988
265-AH 0.0088 0.0213 0.4182 0.4736 0.6567 0.3258 0.2361 0.4523 0.6480 0.7246 0.1551 0.0417 0.2093 0.0088 0.6567 0.3258 0.2361
266-AH 0.0005 0.0135 0.0439 0.0633 0.1339 0.0457 0.0382 0.0499 0.1334 0.8358 0.0218 0.0038 0.0317 0.0005 0.1339 0.0457 0.0382
267-AH 0.0720 0.2162 0.2956 0.4037 0.4978 0.3077 0.1121 0.1875 0.4259 0.3644 0.2855 0.2574 0.0894 0.0720 0.4978 0.3077 0.1121
268-AH 0.0111 0.1809 0.4667 0.6690 0.7436 0.4281 0.2549 0.4881 0.7324 0.5954 0.2960 0.1228 0.2191 0.0111 0.7436 0.4281 0.2549
269-AH 0.0574 0.1813 0.2330 0.2584 0.3545 0.2193 0.0812 0.0771 0.2971 0.3704 0.2004 0.1750 0.0634 0.1115 0.3545 0.2334 0.0679
270-AH 0.0114 0.4130 0.5409 0.7537 0.7863 0.5159 0.2693 0.3407 0.7749 0.5220 0.3515 0.1213 0.2091 0.0114 0.7863 0.5159 0.2693
271-AH 0.0421 0.4896 0.5604 0.6039 0.6795 0.5270 0.1314 0.1143 0.6374 0.2493 0.4878 0.3633 0.0889 0.3569 0.6795 0.5472 0.0858
272-AH 0.0012 0.1316 0.2073 0.2851 0.3007 0.1800 0.1038 0.1535 0.2995 0.5766 0.1027 0.0134 0.0824 0.0012 0.3007 0.1800 0.1038
273-AH 0.1342 0.3568 0.6581 0.7896 0.9101 0.5989 0.2466 0.4328 0.7759 0.4118 0.5338 0.4536 0.2080 0.1342 0.9101 0.5989 0.2466
274-AH 0.1017 0.1639 0.2793 0.4100 0.5573 0.3061 0.1498 0.2461 0.4556 0.4894 0.2698 0.2355 0.1258 0.1017 0.5573 0.3061 0.1498
275-AH 0.0157 0.1249 0.3767 0.4481 0.5339 0.2943 0.1809 0.3232 0.5182 0.6147 0.1989 0.0902 0.1670 0.0157 0.5339 0.2943 0.1809
276-AH 0.2373 0.3083 0.3380 0.4725 0.5682 0.3857 0.1072 0.1641 0.3309 0.2781 0.3720 0.3593 0.0938 0.2373 0.5682 0.3857 0.1072
277-AH 0.0163 0.1201 0.1578 0.2017 0.3595 0.1668 0.0881 0.0816 0.3432 0.5280 0.1361 0.0931 0.0634 0.0163 0.3150 0.1508 0.0715
278-AH 0.0008 0.0864 0.1390 0.2676 0.4433 0.1748 0.1305 0.1812 0.4425 0.7465 0.0980 0.0111 0.1061 0.0008 0.4433 0.1748 0.1305
279-AH 0.0079 0.0997 0.1171 0.2906 0.4667 0.1965 0.1473 0.1909 0.4588 0.7494 0.1230 0.0480 0.1268 0.0079 0.4667 0.1965 0.1473
280-AH 0.0043 0.0212 0.0319 0.0458 0.0732 0.0334 0.0173 0.0246 0.0689 0.5187 0.0276 0.0197 0.0139 0.0043 0.0732 0.0334 0.0173
281-AH 0.0177 0.3432 0.4157 0.5395 0.5911 0.4180 0.1544 0.1963 0.5735 0.3693 0.3454 0.1662 0.1126 0.2694 0.5911 0.4525 0.1022
282-AH 0.0320 0.0586 0.1598 0.2191 0.2568 0.1469 0.0745 0.1604 0.2248 0.5074 0.1229 0.0966 0.0639 0.0320 0.2568 0.1469 0.0745
283-AH 0.0133 0.0540 0.1483 0.4681 0.7360 0.2522 0.2503 0.4140 0.7228 0.9922 0.1322 0.0650 0.2156 0.0133 0.7360 0.2522 0.2503
284-AH 0.2507 0.4720 0.5079 0.5325 0.5725 0.4790 0.0884 0.0604 0.3217 0.1846 0.4690 0.4563 0.0640 0.4067 0.5725 0.5128 0.0376
285-AH 0.0312 0.2609 0.5882 0.7957 0.8433 0.5265 0.2824 0.5347 0.8122 0.5363 0.3754 0.1703 0.2262 0.0312 0.8433 0.5265 0.2824
286-AH 0.0029 0.0150 0.0246 0.0463 0.0715 0.0304 0.0188 0.0313 0.0686 0.6205 0.0235 0.0158 0.0166 0.0029 0.0715 0.0304 0.0188
287-AH 0.1021 0.2861 0.3438 0.4340 0.4617 0.3326 0.1167 0.1479 0.3596 0.3510 0.3055 0.2700 0.0965 0.1021 0.4617 0.3326 0.1167
288-AH 0.0602 0.1197 0.1919 0.2728 0.5255 0.2280 0.1473 0.1530 0.4653 0.6462 0.1878 0.1550 0.1134 0.0602 0.4961 0.1875 0.1026
289-AH 0.0116 0.3521 0.6040 0.8308 0.8649 0.5247 0.3081 0.4787 0.8533 0.5872 0.2934 0.0643 0.2500 0.0116 0.8649 0.5247 0.3081
290-AH 0.0396 0.1396 0.2502 0.2843 0.4168 0.2216 0.1109 0.1448 0.3772 0.5007 0.1834 0.1380 0.0900 0.0396 0.4168 0.2216 0.1109
234
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.1213 0.3269 0.5329 0.6385 0.7635 0.4943 0.2001 0.3116 0.6423 0.4048 0.4399 0.3687 0.1667 0.1213 0.7635 0.4943 0.2001
292-AH 0.0411 0.4955 0.6659 1.0000 1.0000 0.6424 0.3055 0.5045 0.9589 0.4755 0.5191 0.3180 0.2417 0.0411 1.0000 0.6424 0.3055
293-AH 0.1989 0.3788 0.5850 0.6608 0.7509 0.5258 0.1768 0.2820 0.5520 0.3362 0.4904 0.4486 0.1537 0.1989 0.7509 0.5258 0.1768
294-AH 0.0656 0.5941 0.6595 0.6873 0.7760 0.5796 0.2114 0.0932 0.7104 0.3647 0.4973 0.3429 0.1488 0.5563 0.7760 0.6671 0.0535
295-AH 0.0373 0.1841 0.2221 0.3355 0.4261 0.2411 0.1112 0.1513 0.3889 0.4613 0.2085 0.1634 0.0851 0.0373 0.4261 0.2411 0.1112
296-AH 0.0001 0.1096 0.3476 0.5424 0.6112 0.3167 0.2219 0.4327 0.6110 0.7006 0.1045 0.0018 0.1863 0.0001 0.6112 0.3167 0.2219
297-AH 0.1038 0.2929 0.3363 0.4333 0.4741 0.3530 0.0896 0.1404 0.3703 0.2539 0.3389 0.3186 0.0732 0.1038 0.4741 0.3530 0.0896
298-AH 0.1310 0.1707 0.2007 0.2379 0.3431 0.2128 0.0602 0.0672 0.2121 0.2829 0.2050 0.1979 0.0471 0.1310 0.3135 0.2073 0.0549
299-AH 0.1329 0.3451 0.3882 0.4778 0.5976 0.3855 0.1350 0.1327 0.4647 0.3502 0.3550 0.3159 0.1061 0.1548 0.5976 0.4196 0.1035
300-AH 0.0504 0.2076 0.2352 0.2565 0.2832 0.2221 0.0537 0.0489 0.2328 0.2420 0.2121 0.1943 0.0391 0.1539 0.2832 0.2335 0.0360
301-AH 0.0028 0.0115 0.0162 0.2368 0.5135 0.1249 0.1809 0.2253 0.5107 1.4485 0.0332 0.0133 0.1531 0.0028 0.5135 0.1249 0.1809
302-AH 0.0316 0.1615 0.2184 0.3259 0.4232 0.2345 0.1098 0.1644 0.3917 0.4681 0.2041 0.1632 0.0897 0.0316 0.4232 0.2345 0.1098
303-AH 0.0125 0.0863 0.2617 0.3918 0.4182 0.2493 0.1443 0.3055 0.4057 0.5788 0.1791 0.0862 0.1224 0.0125 0.4182 0.2493 0.1443
304-AH 0.1207 0.2986 0.3156 0.3571 0.4231 0.3182 0.0641 0.0585 0.3023 0.2015 0.3100 0.2985 0.0424 0.2692 0.4231 0.3325 0.0416
305-AH 0.0002 0.1995 0.2861 0.3477 0.4878 0.2781 0.1260 0.1483 0.4876 0.4531 0.1985 0.0044 0.0957 0.0002 0.4878 0.2781 0.1260
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0104 0.0413 0.1779 0.2661 0.3837 0.1641 0.1313 0.2248 0.3734 0.8002 0.1012 0.0513 0.1140 0.0104 0.3837 0.1641 0.1313
308-AH 0.4264 0.5722 0.6904 0.7601 0.8428 0.6768 0.1143 0.1879 0.4164 0.1688 0.6672 0.6571 0.1007 0.4264 0.8428 0.6768 0.1143
309-AH 0.0162 0.0461 0.0911 0.1114 0.1633 0.0812 0.0413 0.0653 0.1471 0.5081 0.0699 0.0580 0.0355 0.0162 0.1633 0.0812 0.0413
310-AH 0.0251 0.0503 0.0580 0.0951 0.1292 0.0687 0.0310 0.0449 0.1041 0.4515 0.0615 0.0543 0.0262 0.0251 0.1292 0.0687 0.0310
311-AH 0.0975 0.2084 0.3080 0.3250 0.4244 0.2735 0.0804 0.1166 0.3270 0.2942 0.2606 0.2458 0.0703 0.0975 0.4244 0.2735 0.0804
312-AH 0.0388 0.2850 0.4280 0.6057 0.6776 0.4174 0.2045 0.3208 0.6388 0.4900 0.3373 0.2161 0.1724 0.0388 0.6776 0.4174 0.2045
313-AH 0.0033 0.0389 0.0987 0.1405 0.2332 0.0928 0.0628 0.1016 0.2299 0.6771 0.0664 0.0340 0.0546 0.0033 0.2332 0.0928 0.0628
314-AH 0.0056 0.0446 0.0634 0.0811 0.0976 0.0601 0.0273 0.0365 0.0920 0.4548 0.0494 0.0322 0.0223 0.0056 0.0976 0.0601 0.0273
315-AH 0.0684 0.1159 0.2274 0.3447 0.6319 0.2411 0.1512 0.2289 0.5635 0.6271 0.1987 0.1638 0.1216 0.0684 0.6319 0.2411 0.1512
316-AH 0.0115 0.0801 0.1004 0.1526 0.2405 0.1206 0.0558 0.0725 0.2291 0.4628 0.1058 0.0810 0.0432 0.0115 0.2405 0.1206 0.0558
317-AH 0.1011 0.2008 0.2457 0.2764 0.3075 0.2319 0.0566 0.0757 0.2064 0.2442 0.2238 0.2138 0.0454 0.1011 0.3075 0.2319 0.0566
318-AH 0.0388 0.0899 0.1075 0.1635 0.2444 0.1277 0.0602 0.0736 0.2057 0.4720 0.1150 0.1033 0.0483 0.0388 0.2444 0.1277 0.0602
319-AH 0.0203 0.1348 0.2381 0.3965 0.5350 0.2557 0.1435 0.2617 0.5147 0.5615 0.2092 0.1473 0.1239 0.0203 0.5350 0.2557 0.1435
320-AH 0.0096 0.0117 0.0266 0.0326 0.2109 0.0412 0.0539 0.0209 0.2013 1.3090 0.0260 0.0197 0.0335 0.0096 0.0338 0.0202 0.0091
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0234 0.0433 0.0846 0.1319 0.2002 0.0892 0.0554 0.0887 0.1768 0.6207 0.0720 0.0571 0.0477 0.0234 0.2002 0.0892 0.0554
323-AH 0.0791 0.1657 0.2426 0.2464 0.3353 0.2156 0.0681 0.0808 0.2562 0.3159 0.2032 0.1881 0.0544 0.0791 0.3353 0.2156 0.0681
324-AH 0.0005 0.0744 0.1622 0.4598 0.5654 0.2469 0.1974 0.3854 0.5649 0.7996 0.1161 0.0099 0.1726 0.0005 0.5654 0.2469 0.1974
325-AH 0.2584 0.4946 0.5460 0.6014 0.6894 0.5332 0.1224 0.1068 0.4310 0.2295 0.5170 0.4974 0.0909 0.3749 0.6894 0.5669 0.0847
326-AH 0.0025 0.0451 0.1879 0.3388 0.5165 0.2179 0.1781 0.2936 0.5140 0.8170 0.1217 0.0289 0.1418 0.0025 0.5165 0.2179 0.1781
327-AH 0.0000 0.0111 0.1309 0.3570 0.7049 0.1956 0.2071 0.3459 0.7049 1.0584 0.0560 0.0002 0.1709 0.0000 0.7049 0.1956 0.2071
328-AH 0.0911 0.3487 0.4978 0.5689 0.6824 0.4459 0.1617 0.2203 0.5913 0.3626 0.4026 0.3369 0.1275 0.0911 0.6824 0.4459 0.1617
329-AH 0.5232 0.6195 0.6692 0.6962 0.7362 0.6514 0.0621 0.0767 0.2131 0.0953 0.6483 0.6452 0.0495 0.5232 0.7362 0.6514 0.0621
330-AH 0.0794 0.3263 0.7223 0.7748 0.8362 0.5661 0.2685 0.4485 0.7568 0.4742 0.4678 0.3373 0.2361 0.0794 0.8362 0.5661 0.2685
331-AH 0.0375 0.1925 0.2055 0.2586 0.5532 0.2208 0.1200 0.0661 0.5157 0.5435 0.1838 0.1399 0.0820 0.1914 0.2943 0.2203 0.0308
332-AH 0.0000 0.1258 0.4174 0.4405 0.5407 0.3221 0.1816 0.3147 0.5407 0.5639 0.1120 0.0002 0.1555 0.0000 0.5407 0.3221 0.1816
333-AH 0.0418 0.8524 1.0000 1.0000 1.0000 0.8262 0.3299 0.1476 0.9582 0.3993 0.6625 0.3364 0.2549 0.7544 1.0000 0.9820 0.0594
334-AH 0.0487 0.1985 0.2586 0.3825 0.5009 0.2732 0.1281 0.1841 0.4521 0.4688 0.2350 0.1855 0.1049 0.0487 0.5009 0.2732 0.1281
335-AH 0.0414 0.1205 0.1664 0.2688 0.3767 0.1953 0.0977 0.1483 0.3353 0.5003 0.1718 0.1480 0.0817 0.0414 0.3767 0.1953 0.0977
336-AH 0.0000 0.0034 0.0264 0.0502 0.1953 0.0384 0.0463 0.0468 0.1953 1.2067 0.0086 0.0001 0.0332 0.0000 0.1098 0.0318 0.0335
337-AH 0.0069 0.5588 0.6832 0.8178 0.8954 0.6073 0.2824 0.2590 0.8885 0.4650 0.4144 0.0968 0.2083 0.4598 0.8954 0.7166 0.1313
338-AH 0.0383 0.3168 0.7199 0.7778 0.9042 0.5605 0.2958 0.4610 0.8659 0.5278 0.4339 0.2616 0.2566 0.0383 0.9042 0.5605 0.2958
339-AH 0.0703 0.4708 0.5328 0.7758 0.8888 0.5696 0.2178 0.3050 0.8185 0.3824 0.5014 0.3733 0.1700 0.0703 0.8888 0.5696 0.2178
340-AH 0.0215 0.3219 0.3521 0.4154 0.7603 0.3802 0.1498 0.0935 0.7387 0.3940 0.3373 0.2227 0.0979 0.2274 0.5024 0.3517 0.0602
235
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.4893 0.7312 0.8472 0.8621 1.0000 0.7885 0.1208 0.1309 0.5107 0.1532 0.7783 0.7665 0.0947 0.6772 1.0000 0.8145 0.0842
342-AH 0.2546 0.4160 0.5681 0.6615 0.8042 0.5571 0.1585 0.2455 0.5496 0.2846 0.5312 0.5010 0.1210 0.2546 0.8042 0.5571 0.1585
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0177 0.3257 0.3961 0.4639 0.6646 0.3917 0.1567 0.1382 0.6469 0.4001 0.3368 0.1989 0.1163 0.2023 0.6646 0.4203 0.1263
345-AH 0.0061 0.0455 0.1114 0.1494 0.3320 0.1093 0.0746 0.1038 0.3259 0.6831 0.0763 0.0382 0.0571 0.0061 0.1838 0.1000 0.0597
346-AH 0.0399 0.0526 0.0679 0.0848 0.1807 0.0768 0.0342 0.0323 0.1408 0.4448 0.0712 0.0670 0.0246 0.0399 0.1273 0.0690 0.0214
347-AH 0.0086 0.0536 0.0659 0.1065 0.1990 0.0863 0.0543 0.0529 0.1904 0.6295 0.0689 0.0478 0.0422 0.0086 0.1756 0.0714 0.0380
348-AH 0.0000 0.0042 1.0000 1.0000 1.0000 0.6368 0.4683 0.9958 1.0000 0.7354 0.0530 0.0000 0.4358 0.0000 1.0000 0.6368 0.4683
349-AH 0.1538 0.2626 0.3381 0.4378 0.4892 0.3415 0.1012 0.1752 0.3354 0.2963 0.3255 0.3082 0.0893 0.1538 0.4892 0.3415 0.1012
350-AH 0.3070 0.4775 0.6136 0.6829 0.7531 0.5684 0.1499 0.2054 0.4461 0.2637 0.5461 0.5208 0.1253 0.3070 0.7531 0.5684 0.1499
236
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7600 0.4359 0.2500 1.0000 0.5735 0.0631 0.0000 0.3648 1.0000 1.0000 1.0000 0.0000
142-AH 0.3750 0.6250 0.8750 0.8750 1.0000 0.7800 0.1778 0.2500 0.6250 0.2280 0.7563 0.7280 0.1492 0.3750 1.0000 0.7800 0.1778
143-AH 0.1538 0.5577 0.7436 0.7949 0.8462 0.6379 0.2231 0.2372 0.6923 0.3497 0.5762 0.4841 0.1760 0.2308 0.8462 0.7016 0.1465
144-AH 0.0000 0.3333 0.3333 0.3333 0.6667 0.3600 0.1644 0.0000 0.6667 0.4567 0.1619 0.0001 0.0981 0.3333 0.3333 0.3333 0.0000
145-AH 0.2895 0.4211 0.5000 0.5592 0.7105 0.5116 0.1091 0.1382 0.4211 0.2132 0.5002 0.4886 0.0834 0.2895 0.7105 0.5116 0.1091
146-AH 0.0000 0.0000 0.5000 0.5000 0.5000 0.3200 0.2449 0.5000 0.5000 0.7655 0.0102 0.0000 0.2304 0.0000 0.5000 0.3200 0.2449
147-AH 0.3333 0.5049 0.5882 0.6520 0.7647 0.5804 0.1054 0.1471 0.4314 0.1817 0.5707 0.5602 0.0816 0.3333 0.7647 0.5804 0.1054
148-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1333 0.0680 0.0000 0.1667 0.5103 0.0238 0.0000 0.0533 0.1667 0.1667 0.1667 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.0960 0.1060 0.2000 0.3000 1.1040 0.0016 0.0000 0.0922 0.0000 0.3000 0.0960 0.1060
151-AH 0.0000 0.0000 0.1667 0.3333 0.4167 0.1633 0.1453 0.3333 0.4167 0.8896 0.0087 0.0000 0.1301 0.0000 0.4167 0.1633 0.1453
152-AH 0.2727 0.3636 0.4545 0.4545 0.6364 0.4291 0.0851 0.0909 0.3636 0.1984 0.4213 0.4138 0.0701 0.2727 0.5455 0.4205 0.0749
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.2381 0.3333 0.3333 0.4286 0.4762 0.3581 0.0689 0.0952 0.2381 0.1924 0.3514 0.3444 0.0562 0.2381 0.4762 0.3581 0.0689
155-AH 0.0000 0.0000 0.0000 0.3333 0.3333 0.1200 0.1633 0.3333 0.3333 1.3608 0.0004 0.0000 0.1536 0.0000 0.3333 0.1200 0.1633
156-AH 0.0000 0.0909 0.0909 0.1818 0.3182 0.1218 0.0691 0.0909 0.3182 0.5671 0.0768 0.0002 0.0540 0.0000 0.3182 0.1218 0.0691
157-AH 0.0360 0.2572 0.4388 0.6079 0.6835 0.4095 0.1983 0.3507 0.6475 0.4843 0.3318 0.2078 0.1607 0.0360 0.6835 0.4095 0.1983
158-AH 0.0000 0.3088 0.4118 0.4779 0.5882 0.3941 0.1418 0.1691 0.5882 0.3598 0.2576 0.0002 0.1115 0.2353 0.5882 0.4105 0.1181
159-AH 0.0185 0.1111 0.1481 0.2361 0.7037 0.2370 0.2182 0.1250 0.6852 0.9205 0.1681 0.1171 0.1662 0.0185 0.2778 0.1352 0.0580
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
163-AH 0.3934 0.6537 0.7705 0.7971 0.8361 0.7082 0.1371 0.1434 0.4426 0.1936 0.6926 0.6736 0.1073 0.4836 0.8361 0.7481 0.0866
164-AH 0.0000 0.0741 0.1111 0.2315 0.3704 0.1481 0.1121 0.1574 0.3704 0.7569 0.0321 0.0001 0.0978 0.0000 0.3704 0.1481 0.1121
165-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6800 0.4761 1.0000 1.0000 0.7001 0.0251 0.0000 0.4352 0.0000 1.0000 0.6800 0.4761
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1600 0.1291 0.2000 0.4000 0.8069 0.0091 0.0000 0.1024 0.0000 0.4000 0.1600 0.1291
168-AH 0.0000 0.2778 0.3333 0.4583 0.6111 0.3311 0.1616 0.1806 0.6111 0.4879 0.1026 0.0001 0.1223 0.2222 0.6111 0.3763 0.1097
169-AH 0.0000 0.0000 0.0000 0.0417 0.1667 0.0400 0.0726 0.0417 0.1667 1.8162 0.0001 0.0000 0.0608 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0526 0.0526 0.1184 0.3158 0.1032 0.0979 0.0658 0.3158 0.9486 0.0162 0.0000 0.0736 0.0000 0.2105 0.0677 0.0556
172-AH 0.0000 0.0000 0.0000 0.1429 0.2857 0.0857 0.1010 0.1429 0.2857 1.1785 0.0011 0.0000 0.0891 0.0000 0.2857 0.0857 0.1010
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.4286 0.5714 0.7143 0.7143 0.8571 0.6629 0.1158 0.1429 0.4286 0.1746 0.6532 0.6435 0.0992 0.4286 0.8571 0.6629 0.1158
176-AH 0.5641 0.6154 0.7179 0.8205 0.8462 0.7282 0.0965 0.2051 0.2821 0.1325 0.7218 0.7152 0.0825 0.5641 0.8462 0.7282 0.0965
177-AH 0.0769 0.0769 0.3077 0.4808 0.5385 0.3077 0.1858 0.4038 0.4615 0.6038 0.2363 0.1686 0.1600 0.0769 0.5385 0.3077 0.1858
178-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1400 0.1780 0.2500 0.5000 1.2711 0.0009 0.0000 0.1568 0.0000 0.5000 0.1400 0.1780
179-AH 0.0455 0.3182 0.5455 0.5909 0.8182 0.4618 0.2372 0.2727 0.7727 0.5135 0.3646 0.2270 0.1991 0.0455 0.8182 0.4618 0.2372
180-AH 0.0000 0.1000 0.4500 0.6750 0.7500 0.4010 0.2749 0.5750 0.7500 0.6854 0.1704 0.0002 0.2429 0.0000 0.7500 0.4010 0.2749
181-AH 0.1739 0.7174 0.7500 0.7935 0.8370 0.6557 0.2324 0.0761 0.6630 0.3545 0.5870 0.4852 0.1788 0.7174 0.8370 0.7674 0.0403
182-AH 0.0000 0.0000 0.2500 0.2500 0.5000 0.1800 0.1979 0.2500 0.5000 1.0995 0.0022 0.0000 0.1728 0.0000 0.5000 0.1800 0.1979
183-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0300 0.0829 0.0000 0.2500 2.7639 0.0000 0.0000 0.0528 0.0000 0.0000 0.0000 0.0000
184-AH 0.1111 0.4167 0.5556 0.6667 0.6667 0.5200 0.1460 0.2500 0.5556 0.2808 0.4906 0.4421 0.1134 0.1111 0.6667 0.5200 0.1460
185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0800 0.2769 0.0000 1.0000 3.4611 0.0000 0.0000 0.1472 0.0000 0.0000 0.0000 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.5714 0.7143 0.7143 0.8571 1.0000 0.7771 0.1097 0.1429 0.4286 0.1412 0.7701 0.7634 0.0919 0.5714 1.0000 0.7771 0.1097
190-AH 0.1111 0.4167 0.5556 0.6944 0.7778 0.5156 0.2149 0.2778 0.6667 0.4168 0.4524 0.3628 0.1749 0.1111 0.7778 0.5156 0.2149
237
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.2917 0.3333 0.6667 0.8333 0.4200 0.2551 0.3750 0.8333 0.6075 0.1189 0.0001 0.2101 0.0000 0.8333 0.4200 0.2551
193-AH 0.2857 0.2857 0.4286 0.4286 0.5714 0.3829 0.0986 0.1429 0.2857 0.2576 0.3711 0.3601 0.0855 0.2857 0.5714 0.3829 0.0986
194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2000 0.4082 0.0000 1.0000 2.0412 0.0001 0.0000 0.3200 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2400 0.4359 0.2500 1.0000 1.8162 0.0002 0.0000 0.3648 0.0000 0.0000 0.0000 0.0000
197-AH 0.1200 0.4000 0.5000 0.6000 0.7200 0.4800 0.1576 0.2000 0.6000 0.3283 0.4454 0.3950 0.1232 0.1200 0.7200 0.4800 0.1576
198-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.5600 0.5066 1.0000 1.0000 0.9047 0.0063 0.0000 0.4928 0.0000 1.0000 0.5600 0.5066
199-AH 0.3000 0.5000 0.6000 0.7000 0.7000 0.5720 0.1208 0.2000 0.4000 0.2112 0.5581 0.5424 0.0998 0.3000 0.7000 0.5720 0.1208
200-AH 0.2222 0.4444 0.5556 0.5833 0.7778 0.5111 0.1571 0.1389 0.5556 0.3074 0.4833 0.4503 0.1244 0.3333 0.7778 0.5505 0.1211
251-AH 0.3538 0.4308 0.5077 0.5731 0.6308 0.4985 0.0802 0.1423 0.2769 0.1609 0.4921 0.4855 0.0699 0.3538 0.6308 0.4985 0.0802
252-AH 0.1379 0.2328 0.3793 0.4483 0.5172 0.3366 0.1248 0.2155 0.3793 0.3709 0.3093 0.2784 0.1092 0.1379 0.5172 0.3366 0.1248
253-AH 0.1105 0.2645 0.4263 0.4500 0.5211 0.3678 0.1284 0.1855 0.4105 0.3491 0.3386 0.3018 0.1099 0.1105 0.5211 0.3678 0.1284
254-AH 0.1266 0.2544 0.3406 0.3668 0.4148 0.3093 0.0933 0.1124 0.2882 0.3015 0.2914 0.2688 0.0747 0.1266 0.4148 0.3093 0.0933
255-AH 0.0000 0.2500 0.2500 0.5000 0.5000 0.3000 0.1614 0.2500 0.5000 0.5379 0.0926 0.0001 0.1280 0.0000 0.5000 0.3000 0.1614
256-AH 0.0588 0.3750 0.7059 0.7353 0.7647 0.5706 0.2361 0.3603 0.7059 0.4137 0.4806 0.3219 0.2028 0.0588 0.7647 0.5706 0.2361
257-AH 0.2063 0.2381 0.2857 0.3214 0.3968 0.2902 0.0547 0.0833 0.1905 0.1885 0.2853 0.2805 0.0465 0.2063 0.3968 0.2902 0.0547
258-AH 0.0000 0.0000 0.0000 0.2500 0.2500 0.0700 0.1146 0.2500 0.2500 1.6366 0.0002 0.0000 0.1008 0.0000 0.2500 0.0700 0.1146
259-AH 0.0000 0.3333 0.3333 0.6667 0.6667 0.4000 0.2152 0.3333 0.6667 0.5379 0.1193 0.0001 0.1707 0.0000 0.6667 0.4000 0.2152
260-AH 0.3016 0.5040 0.5873 0.6508 0.6825 0.5460 0.1302 0.1468 0.3810 0.2385 0.5276 0.5054 0.1031 0.3016 0.6825 0.5460 0.1302
261-AH 0.1176 0.1765 0.2059 0.2426 0.3529 0.2141 0.0692 0.0662 0.2353 0.3234 0.2035 0.1931 0.0522 0.1176 0.2647 0.1952 0.0485
262-AH 0.1294 0.1971 0.2471 0.3294 0.5059 0.2706 0.1027 0.1324 0.3765 0.3797 0.2529 0.2364 0.0800 0.1294 0.5059 0.2706 0.1027
263-AH 0.0208 0.0990 0.2292 0.2708 0.3125 0.1850 0.0996 0.1719 0.2917 0.5384 0.1488 0.1018 0.0911 0.0208 0.3125 0.1850 0.0996
264-AH 0.0909 0.3523 0.5455 0.5455 0.6364 0.4527 0.1647 0.1932 0.5455 0.3637 0.4075 0.3370 0.1369 0.0909 0.6364 0.4527 0.1647
265-AH 0.0000 0.0000 0.3333 0.5000 0.6667 0.2933 0.2219 0.5000 0.6667 0.7566 0.0139 0.0000 0.1877 0.0000 0.6667 0.2933 0.2219
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0952 0.2381 0.3333 0.3810 0.4762 0.3105 0.0892 0.1429 0.3810 0.2873 0.2953 0.2755 0.0713 0.0952 0.4762 0.3105 0.0892
268-AH 0.0000 0.2500 0.6667 0.6667 0.6667 0.4533 0.2867 0.4167 0.6667 0.6325 0.0415 0.0000 0.2560 0.0000 0.6667 0.4533 0.2867
269-AH 0.0000 0.2222 0.2222 0.2222 0.3333 0.2267 0.0751 0.0000 0.3333 0.3313 0.1528 0.0002 0.0427 0.2222 0.2222 0.2222 0.0000
270-AH 0.0702 0.4211 0.4912 0.6360 0.7018 0.4632 0.2091 0.2149 0.6316 0.4514 0.3800 0.2635 0.1586 0.1053 0.7018 0.5355 0.1345
271-AH 0.1250 0.4896 0.5000 0.5521 0.5833 0.5017 0.0935 0.0625 0.4583 0.1865 0.4864 0.4557 0.0552 0.4167 0.5833 0.5174 0.0520
272-AH 0.0000 0.1429 0.2143 0.2857 0.3571 0.1886 0.1200 0.1429 0.3571 0.6365 0.0300 0.0000 0.1010 0.0000 0.3571 0.1886 0.1200
273-AH 0.1687 0.3855 0.6506 0.7289 0.8916 0.5904 0.2004 0.3434 0.7229 0.3395 0.5501 0.5008 0.1687 0.1687 0.8916 0.5904 0.2004
274-AH 0.1875 0.2500 0.3750 0.4375 0.5625 0.3550 0.1220 0.1875 0.3750 0.3436 0.3347 0.3154 0.1108 0.1875 0.5625 0.3550 0.1220
275-AH 0.0606 0.1970 0.4091 0.4697 0.5758 0.3388 0.1657 0.2727 0.5152 0.4892 0.2831 0.2150 0.1478 0.0606 0.5758 0.3388 0.1657
276-AH 0.2881 0.3390 0.3729 0.4958 0.5424 0.4075 0.0873 0.1568 0.2542 0.2143 0.3987 0.3902 0.0780 0.2881 0.5424 0.4075 0.0873
277-AH 0.0385 0.2308 0.2692 0.3173 0.4615 0.2631 0.1069 0.0865 0.4231 0.4063 0.2279 0.1703 0.0786 0.1154 0.3846 0.2839 0.0671
278-AH 0.0000 0.0952 0.1905 0.3333 0.3810 0.2114 0.1245 0.2381 0.3810 0.5890 0.0892 0.0001 0.1018 0.0000 0.3810 0.2114 0.1245
279-AH 0.0000 0.0000 0.2500 0.3125 0.5000 0.2200 0.1953 0.3125 0.5000 0.8875 0.0077 0.0000 0.1584 0.0000 0.5000 0.2200 0.1953
280-AH 0.0000 0.0400 0.0800 0.0800 0.1200 0.0576 0.0348 0.0400 0.1200 0.6041 0.0117 0.0000 0.0301 0.0000 0.1200 0.0576 0.0348
281-AH 0.0714 0.3571 0.4048 0.5298 0.6190 0.4219 0.1391 0.1726 0.5476 0.3297 0.3855 0.3207 0.1074 0.2857 0.6190 0.4513 0.0988
282-AH 0.0645 0.1210 0.1935 0.2661 0.3226 0.1948 0.0820 0.1452 0.2581 0.4207 0.1769 0.1586 0.0686 0.0645 0.3226 0.1948 0.0820
283-AH 0.0526 0.1316 0.2105 0.5263 0.7105 0.2968 0.2128 0.3947 0.6579 0.7168 0.2258 0.1713 0.1884 0.0526 0.7105 0.2968 0.2128
284-AH 0.3421 0.4211 0.4737 0.5000 0.5526 0.4621 0.0584 0.0789 0.2105 0.1264 0.4583 0.4542 0.0485 0.3421 0.5526 0.4621 0.0584
285-AH 0.0870 0.2826 0.5942 0.6993 0.7536 0.5212 0.2355 0.4167 0.6667 0.4519 0.4327 0.3106 0.1968 0.0870 0.7536 0.5212 0.2355
286-AH 0.0000 0.0000 0.0833 0.0833 0.1667 0.0467 0.0486 0.0833 0.1667 1.0412 0.0011 0.0000 0.0448 0.0000 0.1667 0.0467 0.0486
287-AH 0.1429 0.3418 0.3878 0.5306 0.5510 0.3910 0.1357 0.1888 0.4082 0.3471 0.3622 0.3270 0.1079 0.1429 0.5510 0.3910 0.1357
288-AH 0.1579 0.2237 0.2895 0.3882 0.5132 0.3105 0.1144 0.1645 0.3553 0.3684 0.2902 0.2706 0.0926 0.1579 0.5132 0.3105 0.1144
289-AH 0.0000 0.3750 0.5556 0.7222 0.7778 0.4889 0.2717 0.3472 0.7778 0.5557 0.1301 0.0001 0.2222 0.0000 0.7778 0.4889 0.2717
290-AH 0.0408 0.1990 0.3265 0.3776 0.5510 0.2955 0.1398 0.1786 0.5102 0.4731 0.2494 0.1892 0.1115 0.0408 0.5510 0.2955 0.1398
238
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.2000 0.3917 0.5333 0.5750 0.7333 0.4933 0.1558 0.1833 0.5333 0.3157 0.4648 0.4308 0.1259 0.2000 0.7333 0.4933 0.1558
292-AH 0.0000 0.4375 0.5000 1.0000 1.0000 0.5400 0.3437 0.5625 1.0000 0.6365 0.1017 0.0001 0.2576 0.0000 1.0000 0.5400 0.3437
293-AH 0.2353 0.4338 0.5588 0.5662 0.6471 0.5059 0.1081 0.1324 0.4118 0.2136 0.4925 0.4761 0.0871 0.2941 0.6471 0.5172 0.0942
294-AH 0.0741 0.5463 0.6296 0.6667 0.7037 0.5496 0.1762 0.1204 0.6296 0.3206 0.4907 0.3678 0.1246 0.4815 0.7037 0.6190 0.0563
295-AH 0.0980 0.2500 0.3137 0.3824 0.4706 0.3106 0.1012 0.1324 0.3725 0.3258 0.2912 0.2673 0.0775 0.0980 0.4706 0.3106 0.1012
296-AH 0.0000 0.1458 0.3333 0.5000 0.6250 0.3183 0.2148 0.3542 0.6250 0.6747 0.0441 0.0000 0.1725 0.0000 0.6250 0.3183 0.2148
297-AH 0.0833 0.3333 0.4167 0.4167 0.4167 0.3700 0.0764 0.0833 0.3333 0.2064 0.3564 0.3289 0.0560 0.2500 0.4167 0.3819 0.0486
298-AH 0.1333 0.2667 0.2667 0.3333 0.4000 0.2813 0.0609 0.0667 0.2667 0.2165 0.2741 0.2658 0.0473 0.2000 0.4000 0.2875 0.0537
299-AH 0.1711 0.3816 0.4211 0.5033 0.5658 0.4095 0.1073 0.1217 0.3947 0.2619 0.3928 0.3726 0.0803 0.2237 0.5658 0.4194 0.0971
300-AH 0.1190 0.2381 0.2619 0.2857 0.3810 0.2629 0.0498 0.0476 0.2619 0.1894 0.2576 0.2512 0.0372 0.2143 0.3333 0.2640 0.0336
301-AH 0.0000 0.0000 0.0000 0.2344 0.5625 0.1275 0.2005 0.2344 0.5625 1.5725 0.0004 0.0000 0.1684 0.0000 0.5625 0.1275 0.2005
302-AH 0.0588 0.1765 0.2941 0.2941 0.4118 0.2565 0.0812 0.1176 0.3529 0.3167 0.2407 0.2181 0.0674 0.0588 0.4118 0.2565 0.0812
303-AH 0.0000 0.1429 0.2857 0.4286 0.5714 0.2943 0.1628 0.2857 0.5714 0.5531 0.1232 0.0001 0.1346 0.0000 0.5714 0.2943 0.1628
304-AH 0.2000 0.2667 0.2667 0.3500 0.4000 0.3067 0.0638 0.0833 0.2000 0.2081 0.3003 0.2941 0.0555 0.2000 0.4000 0.3067 0.0638
305-AH 0.0000 0.2910 0.3115 0.3730 0.4754 0.3121 0.1168 0.0820 0.4754 0.3743 0.2019 0.0002 0.0794 0.1967 0.4754 0.3458 0.0736
306-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6800 0.4761 1.0000 1.0000 0.7001 0.0251 0.0000 0.4352 0.0000 1.0000 0.6800 0.4761
307-AH 0.0260 0.1169 0.2597 0.3474 0.4675 0.2364 0.1497 0.2305 0.4416 0.6333 0.1779 0.1147 0.1303 0.0260 0.4675 0.2364 0.1497
308-AH 0.5455 0.5455 0.7273 0.7273 0.8182 0.6509 0.1072 0.1818 0.2727 0.1647 0.6425 0.6342 0.1012 0.5455 0.8182 0.6509 0.1072
309-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.0920 0.0862 0.2000 0.2000 0.9371 0.0031 0.0000 0.0736 0.0000 0.2000 0.0920 0.0862
310-AH 0.0476 0.0476 0.1111 0.1468 0.2063 0.1079 0.0489 0.0992 0.1587 0.4533 0.0962 0.0847 0.0404 0.0476 0.2063 0.1079 0.0489
311-AH 0.1481 0.2917 0.3519 0.4074 0.4444 0.3452 0.0670 0.1157 0.2963 0.1940 0.3375 0.3276 0.0515 0.1481 0.4444 0.3452 0.0670
312-AH 0.0645 0.2823 0.4516 0.5484 0.6774 0.4077 0.1724 0.2661 0.6129 0.4229 0.3554 0.2755 0.1446 0.0645 0.6774 0.4077 0.1724
313-AH 0.0000 0.0500 0.1000 0.2500 0.3500 0.1400 0.1199 0.2000 0.3500 0.8564 0.0210 0.0000 0.0976 0.0000 0.3500 0.1400 0.1199
314-AH 0.0000 0.0000 0.0000 0.0556 0.1111 0.0311 0.0361 0.0556 0.1111 1.1619 0.0007 0.0000 0.0324 0.0000 0.1111 0.0311 0.0361
315-AH 0.0847 0.1653 0.3390 0.4068 0.6271 0.3044 0.1544 0.2415 0.5424 0.5071 0.2646 0.2261 0.1322 0.0847 0.6271 0.3044 0.1544
316-AH 0.0593 0.0996 0.1780 0.2415 0.3051 0.1746 0.0782 0.1419 0.2458 0.4480 0.1567 0.1394 0.0668 0.0593 0.3051 0.1746 0.0782
317-AH 0.1000 0.2333 0.3333 0.3667 0.4000 0.2947 0.0880 0.1333 0.3000 0.2987 0.2778 0.2559 0.0713 0.1000 0.4000 0.2947 0.0880
318-AH 0.0000 0.0000 0.1111 0.1389 0.3333 0.0933 0.1096 0.1389 0.3333 1.1745 0.0015 0.0000 0.0896 0.0000 0.3333 0.0933 0.1096
319-AH 0.0526 0.1579 0.2105 0.4211 0.6316 0.2758 0.1499 0.2632 0.5789 0.5434 0.2360 0.1966 0.1288 0.0526 0.6316 0.2758 0.1499
320-AH 0.0000 0.0000 0.0000 0.0156 0.2500 0.0400 0.0804 0.0156 0.2500 2.0111 0.0001 0.0000 0.0608 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0714 0.0714 0.1429 0.2143 0.1086 0.0656 0.0714 0.2143 0.6042 0.0367 0.0001 0.0558 0.0000 0.2143 0.1086 0.0656
323-AH 0.1154 0.1538 0.2308 0.2308 0.3462 0.2169 0.0507 0.0769 0.2308 0.2339 0.2108 0.2043 0.0384 0.1154 0.2692 0.2115 0.0439
324-AH 0.0000 0.1486 0.2432 0.4899 0.6081 0.2930 0.1947 0.3412 0.6081 0.6647 0.1463 0.0002 0.1663 0.0000 0.6081 0.2930 0.1947
325-AH 0.3115 0.5041 0.5410 0.5738 0.6557 0.5233 0.0945 0.0697 0.3443 0.1806 0.5137 0.5026 0.0673 0.4262 0.6557 0.5507 0.0602
326-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2600 0.2102 0.5000 0.5000 0.8083 0.0126 0.0000 0.1728 0.0000 0.5000 0.2600 0.2102
327-AH 0.0000 0.0000 0.2500 0.2500 0.5000 0.1600 0.1750 0.2500 0.5000 1.0938 0.0021 0.0000 0.1536 0.0000 0.5000 0.1600 0.1750
328-AH 0.1739 0.4348 0.4783 0.5652 0.6957 0.4817 0.1203 0.1304 0.5217 0.2498 0.4615 0.4322 0.0839 0.3478 0.6957 0.5085 0.0802
329-AH 0.4706 0.5735 0.5882 0.6618 0.7647 0.6071 0.0809 0.0882 0.2941 0.1333 0.6018 0.5965 0.0649 0.4706 0.7647 0.6071 0.0809
330-AH 0.1569 0.3529 0.6863 0.7255 0.7843 0.5608 0.2198 0.3725 0.6275 0.3920 0.5024 0.4289 0.1929 0.1569 0.7843 0.5608 0.2198
331-AH 0.0000 0.0588 0.2353 0.2941 0.5294 0.2118 0.1461 0.2353 0.5294 0.6898 0.1158 0.0002 0.1205 0.0000 0.5294 0.2118 0.1461
332-AH 0.0000 0.1250 0.3750 0.3750 0.5000 0.2800 0.1703 0.2500 0.5000 0.6083 0.0582 0.0001 0.1464 0.0000 0.5000 0.2800 0.1703
333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8160 0.3412 0.2000 1.0000 0.4181 0.4791 0.0002 0.2650 0.8000 1.0000 0.9800 0.0616
334-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.2800 0.1528 0.2000 0.4000 0.5455 0.0605 0.0001 0.1344 0.0000 0.4000 0.2800 0.1528
335-AH 0.0667 0.1333 0.1333 0.2667 0.4000 0.1787 0.0810 0.1333 0.3333 0.4534 0.1616 0.1449 0.0668 0.0667 0.4000 0.1787 0.0810
336-AH 0.0000 0.0000 0.0000 0.1176 0.3529 0.0635 0.0881 0.1176 0.3529 1.3868 0.0009 0.0000 0.0676 0.0000 0.1765 0.0515 0.0656
337-AH 0.0000 0.5500 0.6500 0.7625 0.8000 0.5880 0.2463 0.2125 0.8000 0.4189 0.3456 0.0002 0.1773 0.5000 0.8000 0.6857 0.0989
338-AH 0.0000 0.3000 0.6000 0.7000 0.8000 0.4960 0.2525 0.4000 0.8000 0.5090 0.2815 0.0002 0.2131 0.0000 0.8000 0.4960 0.2525
339-AH 0.1053 0.3684 0.4737 0.7368 0.8421 0.5158 0.2094 0.3684 0.7368 0.4060 0.4604 0.3822 0.1743 0.1053 0.8421 0.5158 0.2094
340-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3360 0.1497 0.2000 0.6000 0.4454 0.2142 0.0002 0.1248 0.0000 0.6000 0.3360 0.1497
239
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.5000 0.6667 0.8333 0.8333 1.0000 0.7467 0.1190 0.1667 0.5000 0.1594 0.7370 0.7267 0.1035 0.5000 1.0000 0.7467 0.1190
342-AH 0.2708 0.5078 0.5729 0.6693 0.7396 0.5546 0.1337 0.1615 0.4687 0.2410 0.5372 0.5178 0.1074 0.2708 0.7396 0.5546 0.1337
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.3636 0.3939 0.4621 0.6061 0.3952 0.1387 0.0985 0.6061 0.3511 0.2477 0.0002 0.0862 0.3333 0.6061 0.4282 0.0819
345-AH 0.0000 0.0833 0.1111 0.2222 0.4444 0.1289 0.1048 0.1389 0.4444 0.8133 0.0152 0.0000 0.0775 0.0000 0.2222 0.1157 0.0834
346-AH 0.0000 0.0000 0.0909 0.0909 0.3636 0.0764 0.0816 0.0909 0.3636 1.0692 0.0038 0.0000 0.0550 0.0000 0.1818 0.0644 0.0567
347-AH 0.0000 0.0000 0.1111 0.1111 0.2222 0.0756 0.0619 0.1111 0.2222 0.8188 0.0040 0.0000 0.0544 0.0000 0.2222 0.0756 0.0619
348-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6200 0.4848 1.0000 1.0000 0.7819 0.0154 0.0000 0.4560 0.0000 1.0000 0.6200 0.4848
349-AH 0.1481 0.3241 0.3704 0.4444 0.4815 0.3644 0.0966 0.1204 0.3333 0.2651 0.3488 0.3286 0.0753 0.1481 0.4815 0.3644 0.0966
350-AH 0.2000 0.3750 0.5000 0.7000 0.7000 0.5160 0.1930 0.3250 0.5000 0.3740 0.4722 0.4210 0.1619 0.2000 0.7000 0.5160 0.1930
240
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.7500 1.0000 1.0000 1.0000 0.7600 0.4359 0.2500 1.0000 0.5735 0.0631 0.0000 0.3648 1.0000 1.0000 1.0000 0.0000
142-AH 0.3906 0.5898 0.8750 0.9844 1.0000 0.8062 0.2061 0.3945 0.6094 0.2556 0.7750 0.7378 0.1728 0.3906 1.0000 0.8062 0.2061
143-AH 0.3057 0.6427 0.8310 0.8590 0.9198 0.7283 0.1953 0.2163 0.6141 0.2681 0.6934 0.6470 0.1505 0.3228 0.9198 0.7459 0.1781
144-AH 0.0000 0.2222 0.3333 0.4444 0.6667 0.3111 0.1786 0.2222 0.6667 0.5740 0.1328 0.0001 0.1387 0.0000 0.6667 0.3111 0.1786
145-AH 0.3504 0.4578 0.4848 0.5914 0.7223 0.5210 0.1106 0.1337 0.3719 0.2123 0.5102 0.4998 0.0873 0.3504 0.7223 0.5210 0.1106
146-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2800 0.2318 0.5000 0.5000 0.8280 0.0091 0.0000 0.2112 0.0000 0.5000 0.2800 0.2318
147-AH 0.3137 0.5497 0.6582 0.7309 0.8197 0.6350 0.1264 0.1812 0.5060 0.1990 0.6213 0.6053 0.1020 0.3137 0.8197 0.6350 0.1264
148-AH 0.0000 0.0833 0.1111 0.1667 0.1667 0.1011 0.0610 0.0833 0.1667 0.6034 0.0185 0.0000 0.0490 0.0000 0.1667 0.1011 0.0610
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0200 0.0650 0.2500 0.0476 0.0702 0.0650 0.2500 1.4747 0.0010 0.0000 0.0523 0.0000 0.1600 0.0326 0.0485
151-AH 0.0000 0.0000 0.1111 0.2951 0.3750 0.1517 0.1336 0.2951 0.3750 0.8810 0.0084 0.0000 0.1188 0.0000 0.3750 0.1517 0.1336
152-AH 0.3223 0.4029 0.5124 0.5372 0.6694 0.4893 0.0925 0.1343 0.3471 0.1890 0.4805 0.4713 0.0752 0.3223 0.6694 0.4893 0.0925
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.1973 0.2619 0.3288 0.3605 0.4671 0.3166 0.0697 0.0986 0.2698 0.2203 0.3090 0.3013 0.0577 0.1973 0.4671 0.3166 0.0697
155-AH 0.0000 0.0000 0.0000 0.3333 0.4444 0.1289 0.1747 0.3333 0.4444 1.3558 0.0006 0.0000 0.1561 0.0000 0.4444 0.1289 0.1747
156-AH 0.0145 0.0527 0.0661 0.1142 0.2438 0.0891 0.0606 0.0615 0.2293 0.6800 0.0712 0.0553 0.0473 0.0145 0.1839 0.0769 0.0452
157-AH 0.1634 0.5532 0.5702 0.7422 0.8284 0.5793 0.1639 0.1889 0.6650 0.2829 0.5486 0.5041 0.1111 0.3647 0.8284 0.6127 0.1207
158-AH 0.0277 0.2984 0.3555 0.4645 0.5917 0.3717 0.1379 0.1661 0.5640 0.3711 0.3307 0.2371 0.1070 0.1946 0.5917 0.3860 0.1204
159-AH 0.0343 0.0664 0.0926 0.1552 0.7075 0.2032 0.2381 0.0887 0.6732 1.1715 0.1237 0.0903 0.1813 0.0343 0.2102 0.0903 0.0422
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
163-AH 0.7139 0.8555 0.9175 0.9399 0.9489 0.8856 0.0752 0.0844 0.2351 0.0849 0.8823 0.8787 0.0592 0.7350 0.9489 0.9001 0.0583
164-AH 0.0000 0.0415 0.0974 0.1495 0.3539 0.1099 0.0953 0.1080 0.3539 0.8671 0.0400 0.0001 0.0752 0.0000 0.2894 0.0997 0.0823
165-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6800 0.4761 1.0000 1.0000 0.7001 0.0251 0.0000 0.4352 0.0000 1.0000 0.6800 0.4761
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.1200 0.2000 0.3200 0.1200 0.1033 0.2000 0.3200 0.8607 0.0072 0.0000 0.0896 0.0000 0.3200 0.1200 0.1033
168-AH 0.0340 0.1651 0.2315 0.3426 0.5617 0.2627 0.1482 0.1775 0.5278 0.5642 0.2120 0.1483 0.1204 0.0340 0.5617 0.2627 0.1482
169-AH 0.0000 0.0000 0.0278 0.1181 0.1944 0.0522 0.0658 0.1181 0.1944 1.2599 0.0014 0.0000 0.0577 0.0000 0.1944 0.0522 0.0658
170-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9600 0.2000 0.0000 1.0000 0.2083 0.6310 0.0002 0.0768 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0332 0.0693 0.0963 0.2133 0.0813 0.0644 0.0630 0.2133 0.7913 0.0432 0.0002 0.0476 0.0000 0.1247 0.0571 0.0334
172-AH 0.0000 0.0000 0.0204 0.1276 0.1633 0.0555 0.0668 0.1276 0.1633 1.2032 0.0011 0.0000 0.0613 0.0000 0.1633 0.0555 0.0668
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.4082 0.6122 0.7143 0.7755 0.8571 0.6849 0.1261 0.1633 0.4490 0.1841 0.6726 0.6591 0.1015 0.4082 0.8571 0.6849 0.1261
176-AH 0.6489 0.7426 0.8383 0.8935 0.9316 0.8221 0.0909 0.1509 0.2827 0.1106 0.8170 0.8116 0.0739 0.6489 0.9316 0.8221 0.0909
177-AH 0.0769 0.0769 0.2189 0.4098 0.5503 0.2625 0.1650 0.3328 0.4734 0.6288 0.2058 0.1561 0.1447 0.0769 0.5503 0.2625 0.1650
178-AH 0.0000 0.0000 0.1875 0.2500 0.5000 0.1550 0.1674 0.2500 0.5000 1.0802 0.0029 0.0000 0.1388 0.0000 0.5000 0.1550 0.1674
179-AH 0.0207 0.2417 0.5310 0.5780 0.8905 0.4437 0.2673 0.3363 0.8698 0.6025 0.3164 0.1471 0.2268 0.0207 0.8905 0.4437 0.2673
180-AH 0.0012 0.0600 0.4006 0.8009 0.8394 0.4366 0.3383 0.7409 0.8381 0.7749 0.1542 0.0119 0.3068 0.0012 0.8394 0.4366 0.3383
181-AH 0.2890 0.8232 0.8424 0.8891 0.9045 0.7688 0.2010 0.0659 0.6155 0.2615 0.7309 0.6769 0.1491 0.8208 0.9045 0.8620 0.0308
182-AH 0.0000 0.0000 0.1250 0.2500 0.5000 0.1550 0.1769 0.2500 0.5000 1.1412 0.0020 0.0000 0.1536 0.0000 0.5000 0.1550 0.1769
183-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0175 0.0557 0.0000 0.2500 3.1810 0.0000 0.0000 0.0308 0.0000 0.0000 0.0000 0.0000
184-AH 0.0988 0.3611 0.5432 0.6204 0.6420 0.5007 0.1502 0.2593 0.5432 0.2999 0.4680 0.4146 0.1214 0.0988 0.6420 0.5007 0.1502
185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0800 0.2769 0.0000 1.0000 3.4611 0.0000 0.0000 0.1472 0.0000 0.0000 0.0000 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.5510 0.7908 0.8367 0.9031 1.0000 0.8212 0.1386 0.1122 0.4490 0.1687 0.8088 0.7952 0.1039 0.7755 1.0000 0.8806 0.0750
190-AH 0.1111 0.3735 0.5185 0.6883 0.7778 0.5062 0.2148 0.3148 0.6667 0.4243 0.4434 0.3584 0.1758 0.1111 0.7778 0.5062 0.2148
241
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0833 0.3056 0.4444 0.5833 0.8333 0.4578 0.2008 0.2778 0.7500 0.4387 0.4077 0.3437 0.1561 0.0833 0.8333 0.4578 0.2008
193-AH 0.2653 0.2857 0.3469 0.4133 0.5510 0.3608 0.0830 0.1276 0.2857 0.2302 0.3523 0.3446 0.0694 0.2653 0.5510 0.3608 0.0830
194-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2000 0.4082 0.0000 1.0000 2.0412 0.0001 0.0000 0.3200 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 0.2500 1.0000 0.2400 0.4359 0.2500 1.0000 1.8162 0.0002 0.0000 0.3648 0.0000 0.0000 0.0000 0.0000
197-AH 0.3012 0.4111 0.6008 0.6539 0.9016 0.5552 0.1768 0.2428 0.6004 0.3184 0.5280 0.5015 0.1520 0.3012 0.9016 0.5552 0.1768
198-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.5600 0.5066 1.0000 1.0000 0.9047 0.0063 0.0000 0.4928 0.0000 1.0000 0.5600 0.5066
199-AH 0.2100 0.5075 0.6000 0.6925 0.7300 0.5700 0.1450 0.1850 0.5200 0.2543 0.5461 0.5135 0.1112 0.3900 0.7300 0.6004 0.1040
200-AH 0.1975 0.4074 0.4938 0.5586 0.7407 0.4760 0.1543 0.1512 0.5432 0.3241 0.4465 0.4112 0.1171 0.1975 0.7407 0.4760 0.1543
251-AH 0.4111 0.4884 0.5280 0.5698 0.6232 0.5300 0.0566 0.0814 0.2121 0.1067 0.5270 0.5239 0.0478 0.4111 0.6232 0.5300 0.0566
252-AH 0.0880 0.1834 0.3199 0.4340 0.4816 0.2995 0.1337 0.2506 0.3936 0.4464 0.2621 0.2191 0.1155 0.0880 0.4816 0.2995 0.1337
253-AH 0.2536 0.5126 0.6132 0.6515 0.6902 0.5523 0.1370 0.1389 0.4366 0.2481 0.5314 0.5058 0.1108 0.3062 0.6902 0.5647 0.1247
254-AH 0.3002 0.4148 0.5304 0.6183 0.6320 0.5007 0.1167 0.2035 0.3317 0.2330 0.4859 0.4695 0.0967 0.3002 0.6320 0.5007 0.1167
255-AH 0.0000 0.1719 0.2500 0.3281 0.4375 0.2500 0.1338 0.1562 0.4375 0.5352 0.0770 0.0001 0.1000 0.0000 0.4375 0.2500 0.1338
256-AH 0.0796 0.4628 0.8054 0.8893 0.8979 0.6685 0.2746 0.4265 0.8183 0.4107 0.5700 0.4041 0.2330 0.0796 0.8979 0.6685 0.2746
257-AH 0.1537 0.1956 0.2376 0.2860 0.3333 0.2412 0.0584 0.0904 0.1796 0.2422 0.2343 0.2274 0.0495 0.1537 0.3333 0.2412 0.0584
258-AH 0.0000 0.0000 0.0000 0.0781 0.1875 0.0425 0.0692 0.0781 0.1875 1.6287 0.0002 0.0000 0.0578 0.0000 0.1875 0.0425 0.0692
259-AH 0.0000 0.3056 0.4444 0.5833 0.6667 0.3956 0.2105 0.2778 0.6667 0.5322 0.1175 0.0001 0.1664 0.0000 0.6667 0.3956 0.2105
260-AH 0.4381 0.5911 0.6453 0.7156 0.7574 0.6379 0.1039 0.1245 0.3192 0.1629 0.6287 0.6186 0.0830 0.4381 0.7574 0.6379 0.1039
261-AH 0.1237 0.1758 0.2042 0.2282 0.3945 0.2236 0.0786 0.0523 0.2708 0.3515 0.2119 0.2016 0.0560 0.1237 0.2924 0.1943 0.0413
262-AH 0.1579 0.2157 0.2756 0.4194 0.5397 0.3026 0.1104 0.2037 0.3817 0.3650 0.2845 0.2681 0.0888 0.1579 0.5397 0.3026 0.1104
263-AH 0.0699 0.1101 0.1905 0.2221 0.2795 0.1715 0.0665 0.1120 0.2096 0.3876 0.1575 0.1427 0.0591 0.0699 0.2795 0.1715 0.0665
264-AH 0.1467 0.3466 0.5227 0.5418 0.6777 0.4564 0.1519 0.1952 0.5310 0.3328 0.4259 0.3885 0.1237 0.1467 0.6777 0.4564 0.1519
265-AH 0.0000 0.0000 0.3333 0.4236 0.5833 0.2633 0.2063 0.4236 0.5833 0.7836 0.0179 0.0000 0.1773 0.0000 0.5833 0.2633 0.2063
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0680 0.2137 0.2608 0.3481 0.4444 0.2738 0.0886 0.1344 0.3764 0.3235 0.2575 0.2357 0.0694 0.0680 0.4444 0.2738 0.0886
268-AH 0.0000 0.2222 0.4444 0.6667 0.6667 0.4267 0.2436 0.4444 0.6667 0.5709 0.1208 0.0001 0.2080 0.0000 0.6667 0.4267 0.2436
269-AH 0.0494 0.1481 0.2099 0.2377 0.3086 0.1896 0.0732 0.0895 0.2593 0.3860 0.1716 0.1479 0.0592 0.0494 0.3086 0.1896 0.0732
270-AH 0.2413 0.5516 0.6617 0.7499 0.7842 0.6085 0.1585 0.1983 0.5429 0.2605 0.5833 0.5518 0.1253 0.3420 0.7842 0.6238 0.1418
271-AH 0.0938 0.4306 0.5000 0.5378 0.6024 0.4766 0.1014 0.1072 0.5087 0.2128 0.4572 0.4151 0.0689 0.3628 0.6024 0.4925 0.0640
272-AH 0.0000 0.0689 0.0969 0.2309 0.2449 0.1200 0.0883 0.1620 0.2449 0.7359 0.0200 0.0000 0.0734 0.0000 0.2449 0.1200 0.0883
273-AH 0.1804 0.6101 0.7425 0.7853 0.8988 0.6901 0.1717 0.1752 0.7184 0.2489 0.6602 0.6126 0.1293 0.4221 0.8988 0.7113 0.1379
274-AH 0.1641 0.1982 0.2695 0.3867 0.5156 0.3005 0.1204 0.1885 0.3516 0.4006 0.2788 0.2600 0.1044 0.1641 0.5156 0.3005 0.1204
275-AH 0.1185 0.2037 0.4254 0.4660 0.5663 0.3462 0.1471 0.2623 0.4479 0.4248 0.3111 0.2746 0.1378 0.1185 0.5663 0.3462 0.1471
276-AH 0.3134 0.3416 0.3677 0.4678 0.5412 0.4051 0.0782 0.1263 0.2278 0.1931 0.3982 0.3917 0.0681 0.3134 0.5412 0.4051 0.0782
277-AH 0.0607 0.1834 0.2027 0.2326 0.3476 0.1995 0.0716 0.0492 0.2870 0.3592 0.1833 0.1622 0.0501 0.1524 0.2870 0.2126 0.0338
278-AH 0.0295 0.1111 0.1882 0.3044 0.3764 0.2022 0.1092 0.1933 0.3469 0.5400 0.1667 0.1259 0.0872 0.0295 0.3764 0.2022 0.1092
279-AH 0.0000 0.0000 0.1250 0.2656 0.5000 0.1675 0.1661 0.2656 0.5000 0.9914 0.0062 0.0000 0.1376 0.0000 0.5000 0.1675 0.1661
280-AH 0.0000 0.0144 0.0288 0.0472 0.0848 0.0324 0.0208 0.0328 0.0848 0.6425 0.0198 0.0002 0.0174 0.0000 0.0848 0.0324 0.0208
281-AH 0.1797 0.3104 0.3849 0.5166 0.5658 0.4034 0.1192 0.2062 0.3861 0.2955 0.3846 0.3641 0.1015 0.1797 0.5658 0.4034 0.1192
282-AH 0.0604 0.1171 0.1592 0.2120 0.2393 0.1595 0.0569 0.0950 0.1790 0.3569 0.1482 0.1358 0.0492 0.0604 0.2393 0.1595 0.0569
283-AH 0.0360 0.1013 0.2251 0.4505 0.7299 0.2837 0.2174 0.3492 0.6939 0.7664 0.2051 0.1434 0.1831 0.0360 0.7299 0.2837 0.2174
284-AH 0.3206 0.3999 0.4494 0.4595 0.5021 0.4311 0.0456 0.0596 0.1814 0.1058 0.4286 0.4261 0.0382 0.3206 0.5021 0.4311 0.0456
285-AH 0.1477 0.3548 0.6646 0.7946 0.8601 0.5980 0.2397 0.4398 0.7125 0.4008 0.5288 0.4381 0.1982 0.1477 0.8601 0.5980 0.2397
286-AH 0.0000 0.0052 0.0278 0.0486 0.1250 0.0336 0.0360 0.0434 0.1250 1.0714 0.0046 0.0000 0.0276 0.0000 0.1111 0.0298 0.0312
287-AH 0.1333 0.3036 0.3503 0.4503 0.4702 0.3419 0.1066 0.1467 0.3369 0.3118 0.3215 0.2964 0.0870 0.1333 0.4702 0.3419 0.1066
288-AH 0.1527 0.2381 0.2845 0.3261 0.5706 0.3088 0.1241 0.0880 0.4179 0.4020 0.2882 0.2705 0.0885 0.1527 0.3598 0.2609 0.0587
289-AH 0.0000 0.3719 0.5710 0.8094 0.8519 0.5199 0.3020 0.4375 0.8519 0.5809 0.1335 0.0001 0.2491 0.0000 0.8519 0.5199 0.3020
290-AH 0.0200 0.1953 0.2786 0.3052 0.4581 0.2527 0.1203 0.1099 0.4382 0.4763 0.2063 0.1343 0.0910 0.0400 0.4581 0.2624 0.1125
242
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.1911 0.3733 0.5511 0.5958 0.8367 0.5151 0.1895 0.2225 0.6456 0.3679 0.4745 0.4271 0.1432 0.1911 0.8367 0.5151 0.1895
292-AH 0.0000 0.3125 0.5000 1.0000 1.0000 0.5525 0.3469 0.6875 1.0000 0.6279 0.1038 0.0001 0.2688 0.0000 1.0000 0.5525 0.3469
293-AH 0.2760 0.4141 0.5277 0.5915 0.6972 0.5028 0.1316 0.1773 0.4213 0.2618 0.4842 0.4637 0.1085 0.2760 0.6972 0.5028 0.1316
294-AH 0.1468 0.5936 0.6433 0.6975 0.7531 0.5918 0.1794 0.1039 0.6063 0.3031 0.5474 0.4760 0.1262 0.5473 0.7531 0.6644 0.0569
295-AH 0.1676 0.2328 0.2987 0.3470 0.4210 0.2908 0.0720 0.1142 0.2534 0.2474 0.2822 0.2737 0.0618 0.1676 0.4210 0.2908 0.0720
296-AH 0.0000 0.1063 0.3038 0.4644 0.5868 0.2958 0.2051 0.3581 0.5868 0.6935 0.0746 0.0001 0.1660 0.0000 0.5868 0.2958 0.2051
297-AH 0.0833 0.3385 0.4028 0.4201 0.4514 0.3722 0.0785 0.0816 0.3681 0.2109 0.3583 0.3304 0.0559 0.2708 0.4514 0.3843 0.0515
298-AH 0.1011 0.1969 0.2311 0.2506 0.3378 0.2274 0.0546 0.0536 0.2367 0.2401 0.2205 0.2127 0.0404 0.1544 0.3167 0.2281 0.0444
299-AH 0.3217 0.4123 0.4598 0.5422 0.5776 0.4565 0.0845 0.1298 0.2559 0.1851 0.4486 0.4403 0.0695 0.3217 0.5776 0.4565 0.0845
300-AH 0.1321 0.1648 0.2404 0.2700 0.3271 0.2228 0.0573 0.1052 0.1950 0.2574 0.2155 0.2082 0.0499 0.1321 0.3271 0.2228 0.0573
301-AH 0.0000 0.0000 0.0000 0.2656 0.5039 0.1170 0.1824 0.2656 0.5039 1.5583 0.0004 0.0000 0.1573 0.0000 0.5039 0.1170 0.1824
302-AH 0.0761 0.1834 0.2111 0.2664 0.3529 0.2251 0.0756 0.0830 0.2768 0.3360 0.2117 0.1969 0.0608 0.0761 0.3529 0.2251 0.0756
303-AH 0.0000 0.1020 0.2602 0.3495 0.4286 0.2382 0.1334 0.2474 0.4286 0.5601 0.1013 0.0001 0.1119 0.0000 0.4286 0.2382 0.1334
304-AH 0.1822 0.2622 0.2667 0.3244 0.3644 0.2868 0.0468 0.0622 0.1822 0.1633 0.2829 0.2789 0.0381 0.1822 0.3644 0.2868 0.0468
305-AH 0.0411 0.2383 0.2679 0.3238 0.4566 0.2802 0.1060 0.0855 0.4155 0.3781 0.2528 0.2088 0.0775 0.1653 0.4515 0.2999 0.0747
306-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6800 0.4761 1.0000 1.0000 0.7001 0.0251 0.0000 0.4352 0.0000 1.0000 0.6800 0.4761
307-AH 0.0680 0.2267 0.3124 0.3525 0.4449 0.2817 0.1117 0.1257 0.3770 0.3965 0.2513 0.2104 0.0904 0.0680 0.4449 0.2817 0.1117
308-AH 0.5289 0.5434 0.6860 0.7273 0.8182 0.6450 0.1096 0.1839 0.2893 0.1700 0.6362 0.6277 0.1008 0.5289 0.8182 0.6450 0.1096
309-AH 0.0000 0.0000 0.0100 0.0875 0.1700 0.0508 0.0580 0.0875 0.1700 1.1421 0.0024 0.0000 0.0498 0.0000 0.1700 0.0508 0.0580
310-AH 0.0403 0.0545 0.1028 0.1167 0.1565 0.0937 0.0343 0.0622 0.1162 0.3663 0.0869 0.0797 0.0286 0.0403 0.1565 0.0937 0.0343
311-AH 0.2428 0.2946 0.3350 0.3648 0.4036 0.3247 0.0439 0.0702 0.1608 0.1351 0.3218 0.3187 0.0364 0.2428 0.4036 0.3247 0.0439
312-AH 0.1550 0.3306 0.4058 0.5687 0.6764 0.4276 0.1666 0.2380 0.5213 0.3895 0.3895 0.3457 0.1380 0.1550 0.6764 0.4276 0.1666
313-AH 0.0000 0.0150 0.0925 0.1763 0.2275 0.0986 0.0823 0.1613 0.2275 0.8342 0.0147 0.0000 0.0697 0.0000 0.2275 0.0986 0.0823
314-AH 0.0000 0.0000 0.0000 0.0332 0.0710 0.0157 0.0225 0.0332 0.0710 1.4364 0.0004 0.0000 0.0191 0.0000 0.0710 0.0157 0.0225
315-AH 0.1207 0.1837 0.3163 0.3954 0.7053 0.3060 0.1514 0.2117 0.5846 0.4949 0.2713 0.2399 0.1232 0.1207 0.7053 0.3060 0.1514
316-AH 0.0706 0.1528 0.2150 0.2753 0.3093 0.2118 0.0724 0.1224 0.2387 0.3420 0.1984 0.1835 0.0654 0.0706 0.3093 0.2118 0.0724
317-AH 0.1078 0.1925 0.2544 0.2911 0.3256 0.2424 0.0638 0.0986 0.2178 0.2634 0.2327 0.2214 0.0518 0.1078 0.3256 0.2424 0.0638
318-AH 0.0000 0.0000 0.0123 0.0895 0.1975 0.0514 0.0635 0.0895 0.1975 1.2368 0.0011 0.0000 0.0555 0.0000 0.1975 0.0514 0.0635
319-AH 0.0499 0.1489 0.2133 0.3594 0.5679 0.2717 0.1597 0.2105 0.5180 0.5879 0.2269 0.1847 0.1328 0.0499 0.5679 0.2717 0.1597
320-AH 0.0000 0.0000 0.0000 0.0205 0.1992 0.0288 0.0594 0.0205 0.1992 2.0650 0.0002 0.0000 0.0423 0.0000 0.0234 0.0023 0.0066
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0306 0.0918 0.1607 0.4082 0.1110 0.1048 0.1301 0.4082 0.9443 0.0297 0.0001 0.0804 0.0000 0.3469 0.0986 0.0864
323-AH 0.0873 0.1457 0.2101 0.2193 0.3033 0.1982 0.0488 0.0736 0.2160 0.2465 0.1916 0.1841 0.0375 0.0873 0.3033 0.1982 0.0488
324-AH 0.0467 0.1924 0.2487 0.4953 0.5877 0.3069 0.1783 0.3028 0.5409 0.5808 0.2428 0.1707 0.1524 0.0467 0.5877 0.3069 0.1783
325-AH 0.3512 0.5134 0.5544 0.6588 0.6799 0.5541 0.0979 0.1454 0.3287 0.1767 0.5450 0.5350 0.0713 0.3512 0.6799 0.5541 0.0979
326-AH 0.0000 0.0000 0.1875 0.3906 0.5000 0.2175 0.1902 0.3906 0.5000 0.8744 0.0109 0.0000 0.1562 0.0000 0.5000 0.2175 0.1902
327-AH 0.0000 0.0000 0.0625 0.2500 0.5000 0.1150 0.1462 0.2500 0.5000 1.2715 0.0016 0.0000 0.1188 0.0000 0.5000 0.1150 0.1462
328-AH 0.2155 0.3634 0.4480 0.5553 0.6371 0.4431 0.1255 0.1919 0.4216 0.2833 0.4235 0.4015 0.1034 0.2155 0.6371 0.4431 0.1255
329-AH 0.4187 0.6021 0.6228 0.6583 0.6920 0.6140 0.0644 0.0562 0.2734 0.1049 0.6103 0.6061 0.0448 0.5675 0.6920 0.6337 0.0341
330-AH 0.2884 0.5276 0.7686 0.8139 0.8535 0.6663 0.1921 0.2863 0.5652 0.2883 0.6323 0.5907 0.1654 0.2884 0.8535 0.6663 0.1921
331-AH 0.0311 0.0580 0.1038 0.1730 0.4983 0.1625 0.1446 0.1151 0.4671 0.8897 0.1163 0.0863 0.1078 0.0311 0.2768 0.1055 0.0603
332-AH 0.0000 0.1250 0.3125 0.3594 0.4375 0.2456 0.1437 0.2344 0.4375 0.5849 0.0528 0.0001 0.1265 0.0000 0.4375 0.2456 0.1437
333-AH 0.0400 0.9100 1.0000 1.0000 1.0000 0.8208 0.3493 0.0900 0.9600 0.4256 0.6394 0.3207 0.2707 0.8800 1.0000 0.9900 0.0315
334-AH 0.0000 0.1500 0.2400 0.3200 0.4000 0.2192 0.1281 0.1700 0.4000 0.5845 0.0485 0.0001 0.1065 0.0000 0.4000 0.2192 0.1281
335-AH 0.0533 0.1011 0.1289 0.2289 0.3289 0.1644 0.0813 0.1278 0.2756 0.4946 0.1442 0.1249 0.0729 0.0533 0.3289 0.1644 0.0813
336-AH 0.0000 0.0000 0.0208 0.0926 0.2595 0.0541 0.0658 0.0926 0.2595 1.2166 0.0032 0.0000 0.0542 0.0000 0.1522 0.0456 0.0511
337-AH 0.0200 0.5444 0.6825 0.8331 0.8825 0.6154 0.2710 0.2888 0.8625 0.4404 0.4743 0.2143 0.2059 0.4425 0.8825 0.7199 0.1279
338-AH 0.0000 0.2775 0.7000 0.7275 0.8900 0.5220 0.3008 0.4500 0.8900 0.5762 0.2735 0.0002 0.2611 0.0000 0.8900 0.5220 0.3008
339-AH 0.2382 0.3878 0.5180 0.7119 0.8587 0.5385 0.1813 0.3241 0.6205 0.3366 0.5087 0.4793 0.1553 0.2382 0.8587 0.5385 0.1813
340-AH 0.0000 0.1600 0.2400 0.3300 0.6800 0.2640 0.1596 0.1700 0.6800 0.6045 0.1600 0.0002 0.1197 0.0000 0.4400 0.2296 0.1107
243
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.5000 0.6667 0.8333 0.8333 1.0000 0.7467 0.1209 0.1667 0.5000 0.1619 0.7367 0.7262 0.1057 0.5000 1.0000 0.7467 0.1209
342-AH 0.2981 0.5243 0.5988 0.7820 0.8500 0.6188 0.1632 0.2577 0.5520 0.2637 0.5956 0.5698 0.1368 0.2981 0.8500 0.6188 0.1632
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0184 0.3404 0.3682 0.4178 0.6226 0.3802 0.1224 0.0774 0.6042 0.3219 0.3403 0.2108 0.0804 0.2433 0.5271 0.3680 0.0688
345-AH 0.0000 0.0216 0.0864 0.1358 0.3333 0.0938 0.0864 0.1142 0.3333 0.9211 0.0191 0.0001 0.0666 0.0000 0.2593 0.0838 0.0721
346-AH 0.0000 0.0000 0.0165 0.0537 0.1983 0.0357 0.0489 0.0537 0.1983 1.3706 0.0020 0.0000 0.0358 0.0000 0.0744 0.0241 0.0277
347-AH 0.0000 0.0000 0.0494 0.0864 0.1852 0.0538 0.0511 0.0864 0.1852 0.9500 0.0030 0.0000 0.0441 0.0000 0.1852 0.0538 0.0511
348-AH 0.0000 0.0000 1.0000 1.0000 1.0000 0.6200 0.4848 1.0000 1.0000 0.7819 0.0154 0.0000 0.4560 0.0000 1.0000 0.6200 0.4848
349-AH 0.1399 0.2305 0.3251 0.3584 0.4870 0.2957 0.0914 0.1279 0.3471 0.3091 0.2806 0.2641 0.0769 0.1399 0.4870 0.2957 0.0914
350-AH 0.2000 0.3550 0.5400 0.6425 0.6900 0.4932 0.1742 0.2875 0.4900 0.3532 0.4559 0.4124 0.1484 0.2000 0.6900 0.4932 0.1742
244
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9867 0.0667 0.0000 0.3333 0.0676 0.9839 0.9804 0.0256 1.0000 1.0000 1.0000 0.0000
143-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9333 0.1596 0.0000 0.5000 0.1710 0.9159 0.8929 0.1120 1.0000 1.0000 1.0000 0.0000
144-AH 0.3333 0.5000 0.6000 1.0000 1.0000 0.7040 0.2783 0.5000 0.6667 0.3953 0.6478 0.5929 0.2605 0.3333 1.0000 0.7040 0.2783
145-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9840 0.0554 0.0000 0.2000 0.0563 0.9823 0.9804 0.0294 1.0000 1.0000 1.0000 0.0000
146-AH 0.0526 0.2375 0.5000 1.0000 1.0000 0.6229 0.3894 0.7625 0.9474 0.6251 0.4550 0.2809 0.3620 0.0526 1.0000 0.6229 0.3894
147-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9692 0.0878 0.0000 0.3333 0.0906 0.9646 0.9592 0.0543 1.0000 1.0000 1.0000 0.0000
148-AH 0.0714 0.2500 0.3333 1.0000 1.0000 0.4819 0.3708 0.7500 0.9286 0.7694 0.3515 0.2525 0.3316 0.0714 1.0000 0.4819 0.3708
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0400 0.2143 0.2857 0.6667 0.2198 0.1874 0.2457 0.6667 0.8525 0.0765 0.0002 0.1360 0.0000 0.5000 0.1810 0.1363
151-AH 0.0547 0.0964 0.4286 1.0000 1.0000 0.4828 0.3849 0.9036 0.9453 0.7973 0.3034 0.1730 0.3413 0.0547 1.0000 0.4828 0.3849
152-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9867 0.0667 0.0000 0.3333 0.0676 0.9839 0.9804 0.0256 1.0000 1.0000 1.0000 0.0000
155-AH 0.0000 0.1321 0.1667 0.5000 1.0000 0.3162 0.3108 0.3679 1.0000 0.9829 0.0546 0.0001 0.2523 0.0000 1.0000 0.3162 0.3108
156-AH 0.0606 0.1364 0.2000 0.4250 1.0000 0.3076 0.2492 0.2886 0.9394 0.8103 0.2389 0.1921 0.1818 0.0606 0.5000 0.2474 0.1428
157-AH 0.0588 0.8000 1.0000 1.0000 1.0000 0.8411 0.3059 0.2000 0.9412 0.3638 0.6971 0.3929 0.2209 0.5238 1.0000 0.9435 0.1230
158-AH 0.0026 1.0000 1.0000 1.0000 1.0000 0.9308 0.2185 0.0000 0.9974 0.2348 0.7596 0.0607 0.1218 1.0000 1.0000 1.0000 0.0000
159-AH 0.1402 0.5000 1.0000 1.0000 1.0000 0.7995 0.3379 0.5000 0.8598 0.4227 0.6765 0.5002 0.2887 0.1402 1.0000 0.7995 0.3379
160-AH 0.0294 0.0500 0.0909 0.1667 0.3333 0.1212 0.0860 0.1167 0.3039 0.7101 0.0944 0.0747 0.0741 0.0294 0.3333 0.1212 0.0860
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
164-AH 0.0080 0.1160 0.2154 0.3611 1.0000 0.2976 0.2617 0.2451 0.9920 0.8794 0.1951 0.0889 0.1904 0.0080 0.5714 0.2365 0.1611
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0077 0.1667 0.3333 1.0000 1.0000 0.4538 0.3777 0.8333 0.9923 0.8322 0.2423 0.0626 0.3206 0.0077 1.0000 0.4538 0.3777
168-AH 0.0044 0.3561 0.4333 0.5647 1.0000 0.4307 0.2110 0.2087 0.9956 0.4898 0.2894 0.0478 0.1419 0.2857 0.6250 0.4634 0.0989
169-AH 0.0022 0.0656 0.1250 0.2879 0.5000 0.1784 0.1660 0.2223 0.4978 0.9308 0.1085 0.0339 0.1353 0.0022 0.5000 0.1784 0.1660
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0054 0.0616 1.0000 1.0000 1.0000 0.5794 0.4589 0.9384 0.9946 0.7920 0.2415 0.0433 0.4375 0.0054 1.0000 0.5794 0.4589
172-AH 0.0411 0.1326 0.1667 0.3500 1.0000 0.2997 0.2903 0.2174 0.9589 0.9685 0.2128 0.1619 0.2135 0.0411 0.5000 0.2043 0.1293
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.3333 0.5625 1.0000 1.0000 1.0000 0.8474 0.2536 0.4375 0.6667 0.2993 0.7984 0.7372 0.2197 0.3333 1.0000 0.8474 0.2536
178-AH 0.0000 0.0258 0.1000 0.6250 1.0000 0.3315 0.4015 0.5992 1.0000 1.2112 0.0397 0.0001 0.3345 0.0000 1.0000 0.3315 0.4015
179-AH 0.0625 0.9167 1.0000 1.0000 1.0000 0.8280 0.3318 0.0833 0.9375 0.4008 0.6776 0.4000 0.2614 1.0000 1.0000 1.0000 0.0000
180-AH 0.0700 0.1666 1.0000 1.0000 1.0000 0.7170 0.4222 0.8334 0.9300 0.5888 0.4874 0.2551 0.3849 0.0700 1.0000 0.7170 0.4222
181-AH 0.2222 1.0000 1.0000 1.0000 1.0000 0.9200 0.2112 0.0000 0.7778 0.2296 0.8741 0.7850 0.1280 1.0000 1.0000 1.0000 0.0000
182-AH 0.0435 0.1143 0.4000 0.7500 1.0000 0.4684 0.3683 0.6357 0.9565 0.7864 0.3011 0.1738 0.3211 0.0435 1.0000 0.4684 0.3683
183-AH 0.0012 0.0378 0.0714 0.3083 0.5000 0.1506 0.1497 0.2706 0.4988 0.9939 0.0753 0.0185 0.1329 0.0012 0.5000 0.1506 0.1497
184-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9700 0.1500 0.0000 0.7500 0.1546 0.9461 0.8929 0.0576 1.0000 1.0000 1.0000 0.0000
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.8000 0.8333 1.0000 1.0000 1.0000 0.9480 0.0856 0.1667 0.2000 0.0903 0.9440 0.9398 0.0749 0.8000 1.0000 0.9480 0.0856
190-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
245
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0909 0.6667 1.0000 1.0000 1.0000 0.7955 0.3243 0.3333 0.9091 0.4076 0.6680 0.4615 0.2618 0.5000 1.0000 0.9206 0.1525
193-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9900 0.0500 0.0000 0.2500 0.0505 0.9886 0.9868 0.0192 1.0000 1.0000 1.0000 0.0000
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1750 1.0000 1.0000 1.0000 1.0000 0.8912 0.2614 0.0000 0.8250 0.2933 0.8181 0.6809 0.1828 1.0000 1.0000 1.0000 0.0000
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.3846 1.0000 1.0000 1.0000 1.0000 0.9176 0.1965 0.0000 0.6154 0.2141 0.8880 0.8455 0.1384 1.0000 1.0000 1.0000 0.0000
200-AH 0.5000 0.7143 1.0000 1.0000 1.0000 0.8643 0.1681 0.2857 0.5000 0.1946 0.8467 0.8274 0.1520 0.5000 1.0000 0.8643 0.1681
251-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
252-AH 0.2222 0.4583 1.0000 1.0000 1.0000 0.7468 0.3095 0.5417 0.7778 0.4144 0.6664 0.5746 0.2836 0.2222 1.0000 0.7468 0.3095
253-AH 0.1154 0.8519 1.0000 1.0000 1.0000 0.8944 0.1929 0.1481 0.8846 0.2157 0.8471 0.7154 0.1267 0.6667 1.0000 0.9269 0.1065
254-AH 0.2131 0.4177 0.5556 0.8000 1.0000 0.6072 0.2543 0.3823 0.7869 0.4189 0.5486 0.4862 0.2202 0.2131 1.0000 0.6072 0.2543
255-AH 0.1000 0.4583 1.0000 1.0000 1.0000 0.7067 0.3460 0.5417 0.9000 0.4896 0.5761 0.4032 0.3051 0.1000 1.0000 0.7067 0.3460
256-AH 0.0857 1.0000 1.0000 1.0000 1.0000 0.9029 0.2734 0.0000 0.9143 0.3028 0.7925 0.5245 0.1709 1.0000 1.0000 1.0000 0.0000
257-AH 0.2885 0.4503 0.6667 1.0000 1.0000 0.7161 0.2734 0.5497 0.7115 0.3818 0.6613 0.6062 0.2498 0.2885 1.0000 0.7161 0.2734
258-AH 0.0000 0.0208 0.0385 0.2500 0.5000 0.1352 0.1567 0.2292 0.5000 1.1587 0.0396 0.0002 0.1317 0.0000 0.5000 0.1352 0.1567
259-AH 0.0312 0.6250 1.0000 1.0000 1.0000 0.8173 0.3247 0.3750 0.9688 0.3973 0.6584 0.3185 0.2632 0.0667 1.0000 0.8500 0.2864
260-AH 0.3220 1.0000 1.0000 1.0000 1.0000 0.9382 0.1880 0.0000 0.6780 0.2004 0.9065 0.8516 0.1087 1.0000 1.0000 1.0000 0.0000
261-AH 0.5000 0.7024 1.0000 1.0000 1.0000 0.8438 0.1913 0.2976 0.5000 0.2267 0.8204 0.7949 0.1749 0.5000 1.0000 0.8438 0.1913
262-AH 0.1719 1.0000 1.0000 1.0000 1.0000 0.9535 0.1759 0.0000 0.8281 0.1845 0.9170 0.8246 0.0855 1.0000 1.0000 1.0000 0.0000
263-AH 0.1579 0.3269 0.4615 0.7500 1.0000 0.5467 0.2878 0.4231 0.8421 0.5265 0.4784 0.4189 0.2411 0.1579 1.0000 0.5467 0.2878
264-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9467 0.1481 0.0000 0.6667 0.1564 0.9284 0.8971 0.0896 1.0000 1.0000 1.0000 0.0000
265-AH 0.0215 0.0672 0.5714 1.0000 1.0000 0.5562 0.4188 0.9328 0.9785 0.7530 0.2739 0.0814 0.3686 0.0215 1.0000 0.5562 0.4188
266-AH 0.0021 0.0183 0.0714 0.1456 0.2000 0.0853 0.0733 0.1273 0.1979 0.8589 0.0432 0.0132 0.0641 0.0021 0.2000 0.0853 0.0733
267-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9467 0.1575 0.0000 0.6667 0.1664 0.9265 0.8929 0.0939 1.0000 1.0000 1.0000 0.0000
268-AH 0.0172 0.3125 1.0000 1.0000 1.0000 0.6924 0.3715 0.6875 0.9828 0.5366 0.4964 0.1963 0.3199 0.0172 1.0000 0.6924 0.3715
269-AH 0.1250 0.4000 0.6000 0.7500 1.0000 0.5911 0.2820 0.3500 0.8750 0.4771 0.5169 0.4335 0.2333 0.1250 1.0000 0.5911 0.2820
270-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9110 0.2476 0.0000 0.8571 0.2718 0.8437 0.7075 0.1566 1.0000 1.0000 1.0000 0.0000
271-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000
272-AH 0.0080 0.2622 0.3333 0.6250 1.0000 0.4514 0.3467 0.3628 0.9920 0.7680 0.2692 0.0722 0.2750 0.0080 1.0000 0.4514 0.3467
273-AH 0.7273 1.0000 1.0000 1.0000 1.0000 0.9791 0.0724 0.0000 0.2727 0.0740 0.9760 0.9724 0.0385 1.0000 1.0000 1.0000 0.0000
274-AH 0.5000 0.6000 0.6667 0.7708 1.0000 0.6795 0.1372 0.1708 0.5000 0.2020 0.6667 0.6546 0.1124 0.5000 1.0000 0.6795 0.1372
275-AH 0.0833 0.7292 1.0000 1.0000 1.0000 0.8442 0.2724 0.2708 0.9167 0.3226 0.7533 0.5542 0.2118 0.5000 1.0000 0.9073 0.1697
276-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9900 0.0500 0.0000 0.2500 0.0505 0.9886 0.9868 0.0192 1.0000 1.0000 1.0000 0.0000
277-AH 0.0698 0.3972 0.5000 1.0000 1.0000 0.5662 0.2955 0.6028 0.9302 0.5219 0.4811 0.3692 0.2429 0.0698 1.0000 0.5662 0.2955
278-AH 0.0132 0.5000 1.0000 1.0000 1.0000 0.7456 0.3335 0.5000 0.9868 0.4473 0.5600 0.1710 0.2849 0.0132 1.0000 0.7456 0.3335
279-AH 0.0190 0.1607 0.3333 0.5250 1.0000 0.4032 0.2989 0.3643 0.9810 0.7413 0.2627 0.1157 0.2399 0.0190 1.0000 0.4032 0.2989
280-AH 0.0184 0.0738 0.1000 0.1571 0.5000 0.1409 0.1258 0.0833 0.4816 0.8927 0.1043 0.0775 0.0885 0.0184 0.2500 0.1097 0.0672
281-AH 0.1250 1.0000 1.0000 1.0000 1.0000 0.9117 0.2512 0.0000 0.8750 0.2756 0.8331 0.6579 0.1555 1.0000 1.0000 1.0000 0.0000
282-AH 0.1111 0.4242 1.0000 1.0000 1.0000 0.7660 0.3568 0.5758 0.8889 0.4658 0.6312 0.4557 0.3183 0.1111 1.0000 0.7660 0.3568
283-AH 0.0833 0.2875 1.0000 1.0000 1.0000 0.6855 0.3719 0.7125 0.9167 0.5425 0.5481 0.3927 0.3523 0.0833 1.0000 0.6855 0.3719
284-AH 0.3793 1.0000 1.0000 1.0000 1.0000 0.9507 0.1707 0.0000 0.6207 0.1796 0.9262 0.8860 0.0907 1.0000 1.0000 1.0000 0.0000
285-AH 0.1250 0.8182 1.0000 1.0000 1.0000 0.8477 0.2555 0.1818 0.8750 0.3014 0.7756 0.6336 0.1856 0.6667 1.0000 0.9461 0.0949
286-AH 0.0144 0.0452 0.0909 0.1667 0.5000 0.1328 0.1331 0.1215 0.4856 1.0021 0.0878 0.0574 0.0931 0.0144 0.3333 0.1009 0.0774
287-AH 0.2500 0.6076 0.7143 1.0000 1.0000 0.7336 0.2263 0.3924 0.7500 0.3085 0.6921 0.6391 0.1825 0.2500 1.0000 0.7336 0.2263
288-AH 0.1970 0.3596 0.6667 1.0000 1.0000 0.6751 0.3186 0.6404 0.8030 0.4719 0.5913 0.5066 0.2959 0.1970 1.0000 0.6751 0.3186
289-AH 0.0190 0.7812 1.0000 1.0000 1.0000 0.7847 0.3893 0.2188 0.9810 0.4961 0.4998 0.1297 0.3172 0.5000 1.0000 0.9688 0.1138
290-AH 0.1070 0.3304 0.5455 0.6667 1.0000 0.5412 0.2807 0.3362 0.8930 0.5188 0.4508 0.3449 0.2207 0.1070 1.0000 0.5412 0.2807
246
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9333 0.1863 0.0000 0.6667 0.1996 0.9054 0.8621 0.1173 1.0000 1.0000 1.0000 0.0000
292-AH 0.0667 0.6000 1.0000 1.0000 1.0000 0.8181 0.3165 0.4000 0.9333 0.3869 0.7006 0.4823 0.2619 0.0667 1.0000 0.8181 0.3165
293-AH 0.5000 0.7107 1.0000 1.0000 1.0000 0.8848 0.1780 0.2893 0.5000 0.2012 0.8644 0.8408 0.1567 0.5000 1.0000 0.8848 0.1780
294-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9900 0.0500 0.0000 0.2500 0.0505 0.9886 0.9868 0.0192 1.0000 1.0000 1.0000 0.0000
295-AH 0.2667 0.5119 1.0000 1.0000 1.0000 0.7739 0.2998 0.4881 0.7333 0.3874 0.6993 0.6115 0.2713 0.2667 1.0000 0.7739 0.2998
296-AH 0.0036 0.4432 0.7143 0.8083 1.0000 0.6151 0.3471 0.3652 0.9964 0.5644 0.3081 0.0325 0.2773 0.0036 1.0000 0.6151 0.3471
297-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
298-AH 0.3333 0.5000 0.6667 1.0000 1.0000 0.7132 0.2243 0.5000 0.6667 0.3145 0.6786 0.6443 0.1935 0.3333 1.0000 0.7132 0.2243
299-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9224 0.1641 0.0000 0.5000 0.1779 0.9043 0.8811 0.1241 1.0000 1.0000 1.0000 0.0000
300-AH 0.2857 0.5417 1.0000 1.0000 1.0000 0.7823 0.2676 0.4583 0.7143 0.3421 0.7276 0.6643 0.2438 0.2857 1.0000 0.7823 0.2676
301-AH 0.0278 0.0663 0.0870 1.0000 1.0000 0.3686 0.4426 0.9337 0.9722 1.2006 0.1573 0.0850 0.4041 0.0278 1.0000 0.3686 0.4426
302-AH 0.0870 0.3333 0.5000 1.0000 1.0000 0.6061 0.2863 0.6667 0.9130 0.4723 0.5308 0.4348 0.2399 0.0870 1.0000 0.6061 0.2863
303-AH 0.0248 0.3958 1.0000 1.0000 1.0000 0.7207 0.3521 0.6042 0.9752 0.4885 0.5445 0.2174 0.3191 0.0248 1.0000 0.7207 0.3521
304-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9800 0.1000 0.0000 0.5000 0.1020 0.9727 0.9615 0.0384 1.0000 1.0000 1.0000 0.0000
305-AH 0.0040 0.6023 1.0000 1.0000 1.0000 0.8113 0.2826 0.3977 0.9960 0.3484 0.6523 0.0896 0.2415 0.3333 1.0000 0.8450 0.2321
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0714 0.1969 0.3158 1.0000 1.0000 0.5173 0.3706 0.8031 0.9286 0.7165 0.3760 0.2552 0.3367 0.0714 1.0000 0.5173 0.3706
308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
309-AH 0.0698 0.1000 0.1500 0.3333 1.0000 0.2490 0.2442 0.2333 0.9302 0.9808 0.1859 0.1515 0.1541 0.0698 0.3333 0.1837 0.0966
310-AH 0.1818 0.3250 0.5000 0.5000 1.0000 0.4791 0.2566 0.1750 0.8182 0.5357 0.4233 0.3773 0.1818 0.1818 0.5000 0.3798 0.1200
311-AH 0.3953 0.5341 0.7500 1.0000 1.0000 0.7507 0.2322 0.4659 0.6047 0.3093 0.7133 0.6747 0.2034 0.3953 1.0000 0.7507 0.2322
312-AH 0.3846 1.0000 1.0000 1.0000 1.0000 0.8993 0.2127 0.0000 0.6154 0.2365 0.8647 0.8170 0.1611 1.0000 1.0000 1.0000 0.0000
313-AH 0.0206 0.1135 0.3529 0.6667 1.0000 0.4314 0.3482 0.5532 0.9794 0.8070 0.2677 0.1319 0.2834 0.0206 1.0000 0.4314 0.3482
314-AH 0.0311 0.0730 0.1017 0.1558 0.2000 0.1136 0.0554 0.0828 0.1689 0.4872 0.0985 0.0822 0.0465 0.0311 0.2000 0.1136 0.0554
315-AH 0.1429 0.6667 1.0000 1.0000 1.0000 0.8094 0.2828 0.3333 0.8571 0.3494 0.7227 0.5756 0.2287 0.2000 1.0000 0.8663 0.2119
316-AH 0.1111 0.2979 0.5000 1.0000 1.0000 0.5559 0.3243 0.7021 0.8889 0.5834 0.4511 0.3484 0.2677 0.1111 1.0000 0.5559 0.3243
317-AH 0.2391 0.5000 1.0000 1.0000 1.0000 0.7774 0.2695 0.5000 0.7609 0.3467 0.7214 0.6548 0.2493 0.2391 1.0000 0.7774 0.2695
318-AH 0.0714 0.1184 0.1724 0.2557 0.6667 0.2090 0.1283 0.1373 0.5952 0.6136 0.1805 0.1585 0.0951 0.0714 0.3636 0.1900 0.0876
319-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9680 0.1600 0.0000 0.8000 0.1653 0.9377 0.8621 0.0614 1.0000 1.0000 1.0000 0.0000
320-AH 0.0209 0.0329 0.0612 0.0887 1.0000 0.1493 0.2636 0.0557 0.9791 1.7661 0.0709 0.0480 0.1552 0.0209 0.0938 0.0523 0.0261
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0568 0.1111 0.2857 0.6667 1.0000 0.4011 0.3199 0.5556 0.9432 0.7976 0.2754 0.1841 0.2737 0.0568 1.0000 0.4011 0.3199
323-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9129 0.1856 0.0000 0.6000 0.2033 0.8881 0.8547 0.1394 1.0000 1.0000 1.0000 0.0000
324-AH 0.0079 0.6875 1.0000 1.0000 1.0000 0.7510 0.3382 0.3125 0.9921 0.4504 0.5442 0.1255 0.2611 0.3125 1.0000 0.8733 0.1933
325-AH 0.5556 1.0000 1.0000 1.0000 1.0000 0.9778 0.0907 0.0000 0.4444 0.0928 0.9722 0.9643 0.0409 1.0000 1.0000 1.0000 0.0000
326-AH 0.0062 0.1528 0.5000 0.7500 1.0000 0.4868 0.3471 0.5972 0.9938 0.7131 0.2999 0.0770 0.2692 0.0062 1.0000 0.4868 0.3471
327-AH 0.0000 0.0186 0.2500 0.5000 1.0000 0.3152 0.3138 0.4814 1.0000 0.9957 0.1041 0.0002 0.2382 0.0000 1.0000 0.3152 0.3138
328-AH 0.4286 0.5179 1.0000 1.0000 1.0000 0.8055 0.2370 0.4821 0.5714 0.2943 0.7669 0.7251 0.2178 0.4286 1.0000 0.8055 0.2370
329-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
330-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9700 0.1099 0.0000 0.5000 0.1133 0.9615 0.9494 0.0552 1.0000 1.0000 1.0000 0.0000
331-AH 0.1111 0.2548 0.2857 0.3657 1.0000 0.3890 0.2841 0.1109 0.8889 0.7303 0.3176 0.2668 0.2001 0.1111 0.4444 0.2727 0.0895
332-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8408 0.3724 0.0000 1.0000 0.4429 0.3304 0.0002 0.2675 1.0000 1.0000 1.0000 0.0000
333-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9037 0.2666 0.0000 0.8571 0.2950 0.8206 0.6579 0.1695 1.0000 1.0000 1.0000 0.0000
334-AH 0.0968 0.3833 0.5000 1.0000 1.0000 0.6315 0.3278 0.6167 0.9032 0.5190 0.5265 0.3979 0.2948 0.0968 1.0000 0.6315 0.3278
335-AH 0.2000 0.3333 1.0000 1.0000 1.0000 0.7927 0.3404 0.6667 0.8000 0.4295 0.6818 0.5435 0.2986 0.2000 1.0000 0.7927 0.3404
336-AH 0.0000 0.0244 0.0625 0.2708 0.6667 0.1655 0.2055 0.2464 0.6667 1.2414 0.0319 0.0001 0.1653 0.0000 0.5000 0.1219 0.1457
337-AH 0.0513 1.0000 1.0000 1.0000 1.0000 0.8760 0.2736 0.0000 0.9487 0.3123 0.7721 0.4950 0.1984 1.0000 1.0000 1.0000 0.0000
338-AH 0.0541 1.0000 1.0000 1.0000 1.0000 0.8994 0.2652 0.0000 0.9459 0.2949 0.7907 0.4959 0.1690 1.0000 1.0000 1.0000 0.0000
339-AH 0.2222 1.0000 1.0000 1.0000 1.0000 0.8944 0.2348 0.0000 0.7778 0.2626 0.8402 0.7418 0.1689 1.0000 1.0000 1.0000 0.0000
340-AH 0.0276 0.3909 0.5000 0.5250 1.0000 0.5212 0.2440 0.1341 0.9724 0.4681 0.4499 0.2889 0.1711 0.2857 0.6667 0.4502 0.0937
247
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
342-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0309 1.0000 1.0000 1.0000 1.0000 0.9272 0.2525 0.0000 0.9691 0.2723 0.8065 0.4031 0.1339 1.0000 1.0000 1.0000 0.0000
345-AH 0.0455 0.1387 0.2667 0.3333 1.0000 0.2687 0.2075 0.1946 0.9545 0.7724 0.1961 0.1300 0.1400 0.0455 0.5714 0.2382 0.1439
346-AH 0.0606 0.0993 0.1471 0.1705 0.4000 0.1641 0.0962 0.0712 0.3394 0.5865 0.1429 0.1269 0.0695 0.0606 0.2222 0.1267 0.0421
347-AH 0.0156 0.0992 0.1667 0.3333 1.0000 0.3179 0.3261 0.2341 0.9844 1.0258 0.1925 0.1041 0.2390 0.0156 0.5000 0.1880 0.1299
348-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6454 0.4635 0.9936 1.0000 0.7182 0.0569 0.0000 0.4272 0.0000 1.0000 0.6454 0.4635
349-AH 0.3158 0.4503 0.6667 1.0000 1.0000 0.7280 0.2779 0.5497 0.6842 0.3818 0.6721 0.6165 0.2611 0.3158 1.0000 0.7280 0.2779
350-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9733 0.0923 0.0000 0.3333 0.0948 0.9681 0.9615 0.0491 1.0000 1.0000 1.0000 0.0000
248
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9867 0.0667 0.0000 0.3333 0.0676 0.9839 0.9804 0.0256 1.0000 1.0000 1.0000 0.0000
143-AH 0.3077 1.0000 1.0000 1.0000 1.0000 0.9152 0.2024 0.0000 0.6923 0.2211 0.8825 0.8333 0.1425 1.0000 1.0000 1.0000 0.0000
144-AH 0.3333 0.5000 0.6000 1.0000 1.0000 0.7040 0.2783 0.5000 0.6667 0.3953 0.6478 0.5929 0.2605 0.3333 1.0000 0.7040 0.2783
145-AH 0.7273 1.0000 1.0000 1.0000 1.0000 0.9664 0.0801 0.0000 0.2727 0.0829 0.9628 0.9588 0.0564 1.0000 1.0000 1.0000 0.0000
146-AH 0.0526 0.2375 0.5000 1.0000 1.0000 0.6229 0.3894 0.7625 0.9474 0.6251 0.4550 0.2809 0.3620 0.0526 1.0000 0.6229 0.3894
147-AH 0.6000 0.9040 1.0000 1.0000 1.0000 0.9449 0.1004 0.0960 0.4000 0.1063 0.9388 0.9315 0.0749 0.8125 1.0000 0.9684 0.0574
148-AH 0.0714 0.2500 0.3333 1.0000 1.0000 0.4819 0.3708 0.7500 0.9286 0.7694 0.3515 0.2525 0.3316 0.0714 1.0000 0.4819 0.3708
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0400 0.2143 0.2857 0.6667 0.2198 0.1874 0.2457 0.6667 0.8525 0.0765 0.0002 0.1360 0.0000 0.5000 0.1810 0.1363
151-AH 0.0547 0.0903 0.2000 0.5952 1.0000 0.3372 0.3094 0.5049 0.9453 0.9176 0.2122 0.1391 0.2659 0.0547 1.0000 0.3372 0.3094
152-AH 0.6667 0.7875 1.0000 1.0000 1.0000 0.9220 0.1305 0.2125 0.3333 0.1415 0.9120 0.9009 0.1123 0.6667 1.0000 0.9220 0.1305
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.3333 0.7500 1.0000 1.0000 1.0000 0.8648 0.2148 0.2500 0.6667 0.2484 0.8290 0.7796 0.1731 0.5000 1.0000 0.9101 0.1531
155-AH 0.0000 0.1321 0.1667 0.5000 1.0000 0.3162 0.3108 0.3679 1.0000 0.9829 0.0546 0.0001 0.2523 0.0000 1.0000 0.3162 0.3108
156-AH 0.0237 0.0953 0.1379 0.2118 0.5000 0.1682 0.1110 0.1165 0.4763 0.6597 0.1356 0.1016 0.0802 0.0237 0.3077 0.1442 0.0749
157-AH 0.0260 0.2966 0.7083 0.8421 0.9524 0.5974 0.2979 0.5455 0.9264 0.4987 0.4549 0.2187 0.2532 0.0260 0.9524 0.5974 0.2979
158-AH 0.0000 0.8250 1.0000 1.0000 1.0000 0.8767 0.2342 0.1750 1.0000 0.2672 0.5698 0.0002 0.1677 0.6000 1.0000 0.9132 0.1498
159-AH 0.0576 0.1409 0.1711 0.2875 1.0000 0.3330 0.3254 0.1466 0.9424 0.9770 0.2361 0.1864 0.2537 0.0576 0.4000 0.1778 0.0685
160-AH 0.0294 0.0500 0.0909 0.1667 0.3333 0.1212 0.0860 0.1167 0.3039 0.7101 0.0944 0.0747 0.0741 0.0294 0.3333 0.1212 0.0860
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.6585 1.0000 1.0000 1.0000 1.0000 0.9677 0.0909 0.0000 0.3415 0.0939 0.9627 0.9566 0.0542 1.0000 1.0000 1.0000 0.0000
164-AH 0.0080 0.0701 0.1364 0.2717 1.0000 0.2381 0.2437 0.2017 0.9920 1.0234 0.1465 0.0747 0.1759 0.0080 0.5714 0.1827 0.1526
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0077 0.1667 0.3333 1.0000 1.0000 0.4538 0.3777 0.8333 0.9923 0.8322 0.2423 0.0626 0.3206 0.0077 1.0000 0.4538 0.3777
168-AH 0.0036 0.3561 0.4333 0.5625 0.6250 0.4117 0.1767 0.2064 0.6214 0.4293 0.2789 0.0422 0.1253 0.2857 0.6250 0.4663 0.0986
169-AH 0.0022 0.0656 0.1250 0.2879 0.5000 0.1784 0.1660 0.2223 0.4978 0.9308 0.1085 0.0339 0.1353 0.0022 0.5000 0.1784 0.1660
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0049 0.0105 0.1304 0.2542 1.0000 0.2509 0.3449 0.2436 0.9951 1.3745 0.0869 0.0246 0.2476 0.0049 0.3333 0.1082 0.0956
172-AH 0.0411 0.1326 0.1667 0.3500 1.0000 0.2997 0.2903 0.2174 0.9589 0.9685 0.2128 0.1619 0.2135 0.0411 0.5000 0.2043 0.1293
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.0236 0.1667 0.5000 0.8125 1.0000 0.5378 0.3519 0.6458 0.9764 0.6543 0.3836 0.2077 0.3104 0.0236 1.0000 0.5378 0.3519
178-AH 0.0000 0.0258 0.1000 0.6250 1.0000 0.3315 0.4015 0.5992 1.0000 1.2112 0.0397 0.0001 0.3345 0.0000 1.0000 0.3315 0.4015
179-AH 0.0471 0.3938 1.0000 1.0000 1.0000 0.7322 0.3747 0.6062 0.9529 0.5118 0.5328 0.2555 0.3295 0.0471 1.0000 0.7322 0.3747
180-AH 0.0700 0.1666 1.0000 1.0000 1.0000 0.6916 0.4085 0.8334 0.9300 0.5907 0.4741 0.2531 0.3686 0.0700 1.0000 0.6916 0.4085
181-AH 0.2200 0.8554 0.9167 1.0000 1.0000 0.8102 0.2716 0.1446 0.7800 0.3352 0.7341 0.6178 0.2038 0.8500 1.0000 0.9375 0.0519
182-AH 0.0435 0.1143 0.4000 0.7500 1.0000 0.4684 0.3683 0.6357 0.9565 0.7864 0.3011 0.1738 0.3211 0.0435 1.0000 0.4684 0.3683
183-AH 0.0012 0.0378 0.0714 0.3083 0.5000 0.1506 0.1497 0.2706 0.4988 0.9939 0.0753 0.0185 0.1329 0.0012 0.5000 0.1506 0.1497
184-AH 0.2500 1.0000 1.0000 1.0000 1.0000 0.9700 0.1500 0.0000 0.7500 0.1546 0.9461 0.8929 0.0576 1.0000 1.0000 1.0000 0.0000
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.8000 0.8333 1.0000 1.0000 1.0000 0.9480 0.0856 0.1667 0.2000 0.0903 0.9440 0.9398 0.0749 0.8000 1.0000 0.9480 0.0856
190-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
249
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0909 0.6667 1.0000 1.0000 1.0000 0.7955 0.3243 0.3333 0.9091 0.4076 0.6680 0.4615 0.2618 0.5000 1.0000 0.9206 0.1525
193-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9900 0.0500 0.0000 0.2500 0.0505 0.9886 0.9868 0.0192 1.0000 1.0000 1.0000 0.0000
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1721 0.7062 0.8889 1.0000 1.0000 0.7955 0.2654 0.2938 0.8279 0.3336 0.7241 0.6093 0.2054 0.3387 1.0000 0.8496 0.1965
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.3846 1.0000 1.0000 1.0000 1.0000 0.9176 0.1965 0.0000 0.6154 0.2141 0.8880 0.8455 0.1384 1.0000 1.0000 1.0000 0.0000
200-AH 0.5000 0.7143 1.0000 1.0000 1.0000 0.8643 0.1681 0.2857 0.5000 0.1946 0.8467 0.8274 0.1520 0.5000 1.0000 0.8643 0.1681
251-AH 0.9375 1.0000 1.0000 1.0000 1.0000 0.9975 0.0125 0.0000 0.0625 0.0125 0.9974 0.9973 0.0048 1.0000 1.0000 1.0000 0.0000
252-AH 0.1905 0.3058 0.6000 0.7036 1.0000 0.5474 0.2259 0.3978 0.8095 0.4127 0.4927 0.4313 0.1846 0.1905 1.0000 0.5474 0.2259
253-AH 0.1154 0.3858 0.7917 0.8563 0.9048 0.6623 0.2607 0.4705 0.7894 0.3937 0.5880 0.4843 0.2281 0.1154 0.9048 0.6623 0.2607
254-AH 0.1745 0.3579 0.4792 0.5364 0.8621 0.4696 0.1881 0.1786 0.6876 0.4006 0.4289 0.3843 0.1422 0.1745 0.6970 0.4365 0.1558
255-AH 0.1000 0.4583 1.0000 1.0000 1.0000 0.7067 0.3460 0.5417 0.9000 0.4896 0.5761 0.4032 0.3051 0.1000 1.0000 0.7067 0.3460
256-AH 0.0857 1.0000 1.0000 1.0000 1.0000 0.8896 0.2724 0.0000 0.9143 0.3062 0.7810 0.5201 0.1767 1.0000 1.0000 1.0000 0.0000
257-AH 0.2576 0.3512 0.4118 0.4737 0.6364 0.4063 0.0920 0.1225 0.3788 0.2265 0.3960 0.3852 0.0724 0.2576 0.6364 0.4063 0.0920
258-AH 0.0000 0.0208 0.0385 0.2500 0.5000 0.1352 0.1567 0.2292 0.5000 1.1587 0.0396 0.0002 0.1317 0.0000 0.5000 0.1352 0.1567
259-AH 0.0312 0.6250 1.0000 1.0000 1.0000 0.8173 0.3247 0.3750 0.9688 0.3973 0.6584 0.3185 0.2632 0.0667 1.0000 0.8500 0.2864
260-AH 0.3220 0.8712 1.0000 1.0000 1.0000 0.9038 0.1919 0.1288 0.6780 0.2123 0.8723 0.8214 0.1318 0.7273 1.0000 0.9539 0.0859
261-AH 0.1538 0.3571 0.5714 0.7143 0.8333 0.5365 0.2077 0.3571 0.6795 0.3872 0.4873 0.4282 0.1752 0.1538 0.8333 0.5365 0.2077
262-AH 0.1294 0.2610 0.4091 0.5758 1.0000 0.4640 0.2569 0.3147 0.8706 0.5537 0.3982 0.3380 0.2043 0.1294 1.0000 0.4640 0.2569
263-AH 0.0330 0.1299 0.2647 0.3774 0.4615 0.2493 0.1458 0.2476 0.4285 0.5847 0.1948 0.1357 0.1290 0.0330 0.4615 0.2493 0.1458
264-AH 0.1304 0.7375 1.0000 1.0000 1.0000 0.8016 0.2858 0.2625 0.8696 0.3565 0.7115 0.5550 0.2247 0.3750 1.0000 0.8854 0.1764
265-AH 0.0215 0.0672 0.5714 1.0000 1.0000 0.5562 0.4188 0.9328 0.9785 0.7530 0.2739 0.0814 0.3686 0.0215 1.0000 0.5562 0.4188
266-AH 0.0021 0.0183 0.0714 0.1456 0.2000 0.0853 0.0733 0.1273 0.1979 0.8589 0.0432 0.0132 0.0641 0.0021 0.2000 0.0853 0.0733
267-AH 0.1190 0.6500 1.0000 1.0000 1.0000 0.8132 0.2612 0.3500 0.8810 0.3212 0.7481 0.6300 0.2241 0.4286 1.0000 0.8422 0.2222
268-AH 0.0172 0.3125 1.0000 1.0000 1.0000 0.6924 0.3715 0.6875 0.9828 0.5366 0.4964 0.1963 0.3199 0.0172 1.0000 0.6924 0.3715
269-AH 0.1250 0.4000 0.6000 0.7500 1.0000 0.5911 0.2820 0.3500 0.8750 0.4771 0.5169 0.4335 0.2333 0.1250 1.0000 0.5911 0.2820
270-AH 0.0302 1.0000 1.0000 1.0000 1.0000 0.8173 0.3734 0.0000 0.9698 0.4569 0.5974 0.2576 0.2924 1.0000 1.0000 1.0000 0.0000
271-AH 0.1765 1.0000 1.0000 1.0000 1.0000 0.9513 0.1710 0.0000 0.8235 0.1798 0.9166 0.8287 0.0856 1.0000 1.0000 1.0000 0.0000
272-AH 0.0080 0.1538 0.2941 0.4444 1.0000 0.3113 0.2560 0.2906 0.9920 0.8223 0.1971 0.0678 0.1774 0.0080 0.5000 0.2514 0.1569
273-AH 0.6923 0.9375 1.0000 1.0000 1.0000 0.9340 0.1053 0.0625 0.3077 0.1127 0.9276 0.9205 0.0823 0.9000 1.0000 0.9837 0.0282
274-AH 0.4000 0.6000 0.6667 0.7708 1.0000 0.6726 0.1483 0.1708 0.6000 0.2204 0.6567 0.6406 0.1173 0.4000 1.0000 0.6726 0.1483
275-AH 0.0220 0.2250 0.5846 0.7297 0.8750 0.4867 0.2793 0.5047 0.8530 0.5739 0.3579 0.1863 0.2515 0.0220 0.8750 0.4867 0.2793
276-AH 0.5714 0.7240 0.7500 0.7778 0.9000 0.7499 0.0753 0.0538 0.3286 0.1004 0.7462 0.7425 0.0505 0.6500 0.8182 0.7380 0.0448
277-AH 0.0698 0.3523 0.4118 0.5750 1.0000 0.4860 0.2889 0.2227 0.9302 0.5944 0.3920 0.2859 0.2181 0.0698 0.8000 0.3881 0.1929
278-AH 0.0000 0.1302 0.4444 0.6000 1.0000 0.4244 0.2815 0.4698 1.0000 0.6632 0.1542 0.0001 0.2372 0.0000 1.0000 0.4244 0.2815
279-AH 0.0190 0.1607 0.3333 0.5250 1.0000 0.4032 0.2989 0.3643 0.9810 0.7413 0.2627 0.1157 0.2399 0.0190 1.0000 0.4032 0.2989
280-AH 0.0184 0.0621 0.0746 0.1009 0.1724 0.0805 0.0338 0.0387 0.1540 0.4191 0.0730 0.0637 0.0245 0.0184 0.1475 0.0767 0.0284
281-AH 0.0476 0.7024 0.8462 1.0000 1.0000 0.7695 0.2696 0.2976 0.9524 0.3504 0.6581 0.3913 0.1995 0.4848 1.0000 0.8312 0.1719
282-AH 0.0562 0.1330 0.3125 0.4000 0.5000 0.2822 0.1469 0.2670 0.4438 0.5204 0.2308 0.1731 0.1276 0.0562 0.5000 0.2822 0.1469
283-AH 0.0299 0.2265 0.4000 1.0000 1.0000 0.5316 0.3867 0.7735 0.9701 0.7274 0.3631 0.2029 0.3555 0.0299 1.0000 0.5316 0.3867
284-AH 0.3793 0.6188 1.0000 1.0000 1.0000 0.8386 0.2173 0.3812 0.6207 0.2591 0.8053 0.7652 0.1937 0.3793 1.0000 0.8386 0.2173
285-AH 0.0891 0.8081 0.8750 1.0000 1.0000 0.7733 0.3157 0.1919 0.9109 0.4082 0.6403 0.4196 0.2358 0.7778 1.0000 0.9207 0.0859
286-AH 0.0144 0.0422 0.0526 0.0782 0.1667 0.0652 0.0390 0.0360 0.1522 0.5984 0.0548 0.0450 0.0293 0.0144 0.1250 0.0577 0.0300
287-AH 0.2400 0.5556 0.6000 0.6364 0.7143 0.5621 0.1254 0.0808 0.4743 0.2231 0.5439 0.5192 0.0853 0.5556 0.7143 0.6114 0.0488
288-AH 0.1970 0.3235 0.4444 0.6818 1.0000 0.5163 0.2565 0.3583 0.8030 0.4968 0.4609 0.4143 0.2114 0.1970 1.0000 0.5163 0.2565
289-AH 0.0190 0.6875 0.8889 1.0000 1.0000 0.7363 0.3781 0.3125 0.9810 0.5135 0.4462 0.1070 0.3000 0.5000 1.0000 0.9120 0.1336
290-AH 0.1070 0.2963 0.4211 0.5341 0.7143 0.4010 0.1809 0.2379 0.6073 0.4511 0.3474 0.2830 0.1433 0.1070 0.7143 0.4010 0.1809
250
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.3333 0.9583 1.0000 1.0000 1.0000 0.8954 0.2186 0.0417 0.6667 0.2441 0.8552 0.7945 0.1590 1.0000 1.0000 1.0000 0.0000
292-AH 0.0667 0.6000 1.0000 1.0000 1.0000 0.8181 0.3165 0.4000 0.9333 0.3869 0.7006 0.4823 0.2619 0.0667 1.0000 0.8181 0.3165
293-AH 0.3529 0.5958 0.9000 1.0000 1.0000 0.8076 0.2224 0.4042 0.6471 0.2754 0.7724 0.7317 0.1995 0.3529 1.0000 0.8076 0.2224
294-AH 0.0800 0.7500 0.8750 1.0000 1.0000 0.8200 0.2597 0.2500 0.9200 0.3167 0.7230 0.4942 0.1827 0.5000 1.0000 0.8840 0.1417
295-AH 0.1250 0.3315 0.5882 0.7500 1.0000 0.5566 0.2480 0.4185 0.8750 0.4455 0.4912 0.4134 0.2047 0.1250 1.0000 0.5566 0.2480
296-AH 0.0000 0.1649 0.7143 0.7500 1.0000 0.5321 0.3326 0.5851 1.0000 0.6250 0.1580 0.0001 0.2926 0.0000 1.0000 0.5321 0.3326
297-AH 0.0811 1.0000 1.0000 1.0000 1.0000 0.9366 0.2006 0.0000 0.9189 0.2142 0.8755 0.6696 0.1116 1.0000 1.0000 1.0000 0.0000
298-AH 0.2727 0.4486 0.5556 0.6063 0.7500 0.5399 0.1407 0.1576 0.4773 0.2606 0.5209 0.5006 0.1133 0.2727 0.7500 0.5399 0.1407
299-AH 0.2821 0.5335 0.7692 0.8840 1.0000 0.6983 0.2081 0.3505 0.7179 0.2980 0.6612 0.6165 0.1723 0.2821 1.0000 0.6983 0.2081
300-AH 0.1852 0.2756 0.3600 0.4294 0.5556 0.3692 0.1071 0.1538 0.3704 0.2901 0.3543 0.3397 0.0855 0.1852 0.5556 0.3692 0.1071
301-AH 0.0070 0.0499 0.0870 1.0000 1.0000 0.3657 0.4449 0.9501 0.9930 1.2166 0.1380 0.0495 0.4060 0.0070 1.0000 0.3657 0.4449
302-AH 0.0870 0.3118 0.3333 0.6667 0.7500 0.4430 0.1946 0.3548 0.6630 0.4393 0.3965 0.3418 0.1769 0.0870 0.7500 0.4430 0.1946
303-AH 0.0248 0.3214 0.6000 1.0000 1.0000 0.6062 0.3507 0.6786 0.9752 0.5784 0.4419 0.1958 0.3029 0.0248 1.0000 0.6062 0.3507
304-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9667 0.1179 0.0000 0.5000 0.1219 0.9570 0.9434 0.0613 1.0000 1.0000 1.0000 0.0000
305-AH 0.0000 0.4200 0.5000 0.7067 0.8750 0.5289 0.2418 0.2868 0.8750 0.4571 0.3230 0.0002 0.1987 0.0000 0.8750 0.5289 0.2418
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0301 0.1773 0.3077 0.4752 0.6154 0.3034 0.1793 0.2979 0.5852 0.5909 0.2318 0.1496 0.1509 0.0301 0.6154 0.3034 0.1793
308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
309-AH 0.0698 0.1000 0.1500 0.3333 1.0000 0.2490 0.2442 0.2333 0.9302 0.9808 0.1859 0.1515 0.1541 0.0698 0.3333 0.1837 0.0966
310-AH 0.0139 0.0897 0.1176 0.1778 0.2857 0.1321 0.0765 0.0881 0.2718 0.5794 0.0997 0.0582 0.0614 0.0139 0.2857 0.1321 0.0765
311-AH 0.2609 0.3903 0.5217 0.7067 1.0000 0.5532 0.2073 0.3165 0.7391 0.3746 0.5189 0.4882 0.1669 0.2609 1.0000 0.5532 0.2073
312-AH 0.0923 0.3785 0.7143 0.9000 1.0000 0.6361 0.2957 0.5215 0.9077 0.4648 0.5435 0.4157 0.2549 0.0923 1.0000 0.6361 0.2957
313-AH 0.0206 0.1135 0.3529 0.6000 1.0000 0.3786 0.3105 0.4865 0.9794 0.8201 0.2415 0.1276 0.2496 0.0206 1.0000 0.3786 0.3105
314-AH 0.0146 0.0730 0.0968 0.1326 0.2000 0.0983 0.0488 0.0596 0.1854 0.4963 0.0831 0.0632 0.0366 0.0146 0.2000 0.0983 0.0488
315-AH 0.1146 0.3688 0.5455 0.7500 0.8125 0.5118 0.2383 0.3812 0.6979 0.4656 0.4346 0.3395 0.1949 0.1146 0.8125 0.5118 0.2383
316-AH 0.0607 0.1490 0.2295 0.3660 0.4615 0.2504 0.1224 0.2170 0.4008 0.4890 0.2193 0.1878 0.1065 0.0607 0.4615 0.2504 0.1224
317-AH 0.1569 0.4405 0.5000 0.7500 0.8000 0.5577 0.1773 0.3095 0.6431 0.3179 0.5245 0.4813 0.1492 0.1569 0.8000 0.5577 0.1773
318-AH 0.0714 0.1184 0.1724 0.2557 0.6667 0.2090 0.1283 0.1373 0.5952 0.6136 0.1805 0.1585 0.0951 0.0714 0.3636 0.1900 0.0876
319-AH 0.0909 0.7667 1.0000 1.0000 1.0000 0.8304 0.2974 0.2333 0.9091 0.3581 0.7290 0.5435 0.2307 0.6667 1.0000 0.9492 0.1114
320-AH 0.0209 0.0244 0.0588 0.0887 1.0000 0.1476 0.2644 0.0643 0.9791 1.7916 0.0674 0.0445 0.1559 0.0209 0.0938 0.0501 0.0273
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0455 0.0764 0.1579 0.4250 0.7500 0.2694 0.2393 0.3486 0.7045 0.8884 0.1798 0.1256 0.2006 0.0455 0.7500 0.2694 0.2393
323-AH 0.1321 0.6000 0.8571 1.0000 1.0000 0.8039 0.2441 0.4000 0.8679 0.3036 0.7473 0.6454 0.2010 0.1321 1.0000 0.8039 0.2441
324-AH 0.0000 0.2609 0.7500 0.8045 0.9286 0.5694 0.3346 0.5436 0.9286 0.5876 0.2613 0.0002 0.2932 0.0000 0.9286 0.5694 0.3346
325-AH 0.5385 0.8291 0.8889 0.9474 1.0000 0.8553 0.1433 0.1183 0.4615 0.1675 0.8417 0.8257 0.1078 0.7273 1.0000 0.9092 0.0718
326-AH 0.0062 0.1528 0.5000 0.7500 1.0000 0.4868 0.3471 0.5972 0.9938 0.7131 0.2999 0.0770 0.2692 0.0062 1.0000 0.4868 0.3471
327-AH 0.0000 0.0186 0.2500 0.5000 1.0000 0.3152 0.3138 0.4814 1.0000 0.9957 0.1041 0.0002 0.2382 0.0000 1.0000 0.3152 0.3138
328-AH 0.4286 0.5000 0.5833 0.8000 1.0000 0.6583 0.2037 0.3000 0.5714 0.3094 0.6306 0.6061 0.1703 0.4286 1.0000 0.6583 0.2037
329-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9622 0.0885 0.0000 0.2500 0.0920 0.9578 0.9528 0.0635 1.0000 1.0000 1.0000 0.0000
330-AH 0.1750 0.7028 0.8333 1.0000 1.0000 0.7667 0.2693 0.2972 0.8250 0.3513 0.6947 0.5888 0.2057 0.3158 1.0000 0.8172 0.2138
331-AH 0.0909 0.2500 0.2800 0.3657 1.0000 0.3753 0.2919 0.1157 0.9091 0.7778 0.2961 0.2402 0.2067 0.0909 0.4444 0.2563 0.0966
332-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8408 0.3724 0.0000 1.0000 0.4429 0.3304 0.0002 0.2675 1.0000 1.0000 1.0000 0.0000
333-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9037 0.2666 0.0000 0.8571 0.2950 0.8206 0.6579 0.1695 1.0000 1.0000 1.0000 0.0000
334-AH 0.0968 0.3833 0.5000 1.0000 1.0000 0.6315 0.3278 0.6167 0.9032 0.5190 0.5265 0.3979 0.2948 0.0968 1.0000 0.6315 0.3278
335-AH 0.1000 0.2130 0.3636 1.0000 1.0000 0.5654 0.3700 0.7870 0.9000 0.6545 0.4302 0.3122 0.3439 0.1000 1.0000 0.5654 0.3700
336-AH 0.0000 0.0244 0.0523 0.1824 0.6667 0.1451 0.2000 0.1580 0.6667 1.3787 0.0278 0.0001 0.1467 0.0000 0.4000 0.0815 0.0980
337-AH 0.0513 0.8000 1.0000 1.0000 1.0000 0.8110 0.3159 0.2000 0.9487 0.3895 0.6741 0.4122 0.2304 0.6667 1.0000 0.9397 0.1025
338-AH 0.0541 1.0000 1.0000 1.0000 1.0000 0.8994 0.2652 0.0000 0.9459 0.2949 0.7907 0.4959 0.1690 1.0000 1.0000 1.0000 0.0000
339-AH 0.2222 0.9375 1.0000 1.0000 1.0000 0.8844 0.2355 0.0625 0.7778 0.2663 0.8306 0.7346 0.1756 1.0000 1.0000 1.0000 0.0000
340-AH 0.0276 0.3909 0.5000 0.5250 1.0000 0.5212 0.2440 0.1341 0.9724 0.4681 0.4499 0.2889 0.1711 0.2857 0.6667 0.4502 0.0937
251
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
342-AH 0.6667 0.8214 0.8824 0.9110 1.0000 0.8669 0.0785 0.0896 0.3333 0.0906 0.8633 0.8595 0.0587 0.7500 1.0000 0.8752 0.0680
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0309 0.5238 0.6667 1.0000 1.0000 0.7107 0.2823 0.4762 0.9691 0.3973 0.6056 0.3478 0.2346 0.0309 1.0000 0.7107 0.2823
345-AH 0.0455 0.1387 0.2667 0.3333 1.0000 0.2687 0.2075 0.1946 0.9545 0.7724 0.1961 0.1300 0.1400 0.0455 0.5714 0.2382 0.1439
346-AH 0.0606 0.0758 0.0971 0.1504 0.4000 0.1287 0.0890 0.0746 0.3394 0.6921 0.1099 0.0983 0.0627 0.0606 0.2222 0.1061 0.0449
347-AH 0.0156 0.0992 0.1667 0.3333 1.0000 0.3179 0.3261 0.2341 0.9844 1.0258 0.1925 0.1041 0.2390 0.0156 0.5000 0.1880 0.1299
348-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6454 0.4635 0.9936 1.0000 0.7182 0.0569 0.0000 0.4272 0.0000 1.0000 0.6454 0.4635
349-AH 0.2500 0.4074 0.6000 0.8083 1.0000 0.6096 0.2477 0.4009 0.7500 0.4063 0.5615 0.5158 0.2014 0.2500 1.0000 0.6096 0.2477
350-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9733 0.0923 0.0000 0.3333 0.0948 0.9681 0.9615 0.0491 1.0000 1.0000 1.0000 0.0000
252
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9600 0.1106 0.0000 0.3333 0.1152 0.9525 0.9434 0.0704 1.0000 1.0000 1.0000 0.0000
143-AH 0.1208 1.0000 1.0000 1.0000 1.0000 0.8702 0.3042 0.0000 0.8792 0.3495 0.7617 0.5717 0.2181 1.0000 1.0000 1.0000 0.0000
144-AH 0.3333 0.5000 0.6000 1.0000 1.0000 0.7040 0.2783 0.5000 0.6667 0.3953 0.6478 0.5929 0.2605 0.3333 1.0000 0.7040 0.2783
145-AH 0.3929 0.8889 1.0000 1.0000 1.0000 0.9024 0.1593 0.1111 0.6071 0.1766 0.8839 0.8580 0.1116 0.7273 1.0000 0.9410 0.0884
146-AH 0.0526 0.2375 0.5000 1.0000 1.0000 0.6229 0.3894 0.7625 0.9474 0.6251 0.4550 0.2809 0.3620 0.0526 1.0000 0.6229 0.3894
147-AH 0.4783 0.8208 0.9412 1.0000 1.0000 0.9030 0.1309 0.1792 0.5217 0.1450 0.8917 0.8777 0.1021 0.6667 1.0000 0.9207 0.0986
148-AH 0.0026 0.0273 0.0392 0.0764 0.2857 0.0590 0.0560 0.0491 0.2831 0.9494 0.0397 0.0200 0.0364 0.0026 0.1053 0.0496 0.0308
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0400 0.2143 0.2857 0.6667 0.2149 0.1905 0.2457 0.6667 0.8863 0.0478 0.0001 0.1407 0.0000 0.5000 0.1756 0.1393
151-AH 0.0547 0.0793 0.1143 0.5714 0.7500 0.2972 0.2646 0.4921 0.6953 0.8903 0.1910 0.1288 0.2321 0.0547 0.7500 0.2972 0.2646
152-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8807 0.1643 0.2500 0.5000 0.1865 0.8632 0.8427 0.1432 0.5000 1.0000 0.8807 0.1643
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.2778 0.4200 0.5556 0.6562 1.0000 0.5742 0.1897 0.2363 0.7222 0.3304 0.5445 0.5157 0.1493 0.2778 1.0000 0.5742 0.1897
155-AH 0.0000 0.1321 0.1667 0.5000 1.0000 0.3162 0.3108 0.3679 1.0000 0.9829 0.0546 0.0001 0.2523 0.0000 1.0000 0.3162 0.3108
156-AH 0.0177 0.0583 0.1250 0.1688 0.3889 0.1277 0.0842 0.1105 0.3712 0.6593 0.0995 0.0713 0.0623 0.0177 0.2381 0.1169 0.0657
157-AH 0.0000 0.2964 0.6222 0.7778 0.8913 0.5353 0.2757 0.4814 0.8913 0.5150 0.2993 0.0002 0.2300 0.0000 0.8913 0.5353 0.2757
158-AH 0.0000 0.5594 0.7778 0.8917 1.0000 0.6883 0.2711 0.3323 1.0000 0.3938 0.4294 0.0002 0.2135 0.2917 1.0000 0.7169 0.2350
159-AH 0.0553 0.1397 0.1635 0.2857 1.0000 0.3254 0.3235 0.1460 0.9447 0.9940 0.2284 0.1792 0.2502 0.0553 0.3929 0.1724 0.0694
160-AH 0.0294 0.0500 0.0909 0.1667 0.3333 0.1212 0.0860 0.1167 0.3039 0.7101 0.0944 0.0747 0.0741 0.0294 0.3333 0.1212 0.0860
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.6585 0.9667 1.0000 1.0000 1.0000 0.9532 0.0908 0.0333 0.3415 0.0953 0.9482 0.9423 0.0583 0.9310 1.0000 0.9869 0.0192
164-AH 0.0080 0.0651 0.1290 0.2717 0.5625 0.1850 0.1440 0.2067 0.5545 0.7781 0.1273 0.0687 0.1201 0.0080 0.5625 0.1850 0.1440
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0077 0.1667 0.3333 1.0000 1.0000 0.4538 0.3777 0.8333 0.9923 0.8322 0.2423 0.0626 0.3206 0.0077 1.0000 0.4538 0.3777
168-AH 0.0000 0.3333 0.4286 0.5156 0.6250 0.4007 0.1737 0.1823 0.6250 0.4334 0.1688 0.0001 0.1225 0.2857 0.6250 0.4541 0.0977
169-AH 0.0000 0.0185 0.0541 0.1048 0.2727 0.0732 0.0713 0.0863 0.2727 0.9739 0.0332 0.0002 0.0567 0.0000 0.1818 0.0649 0.0591
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0091 0.1081 0.1454 0.3333 0.1194 0.1106 0.1363 0.3333 0.9264 0.0355 0.0001 0.0840 0.0000 0.3333 0.1194 0.1106
172-AH 0.0411 0.1272 0.1471 0.2031 0.4000 0.1719 0.0779 0.0759 0.3589 0.4534 0.1559 0.1390 0.0576 0.0411 0.2857 0.1624 0.0631
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.6667 0.7500 1.0000 1.0000 1.0000 0.9040 0.1343 0.2500 0.3333 0.1486 0.8936 0.8824 0.1229 0.6667 1.0000 0.9040 0.1343
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.0236 0.1667 0.5000 0.7500 1.0000 0.5212 0.3336 0.5833 0.9764 0.6400 0.3765 0.2068 0.2930 0.0236 1.0000 0.5212 0.3336
178-AH 0.0000 0.0258 0.1000 0.6250 1.0000 0.3315 0.4015 0.5992 1.0000 1.2112 0.0397 0.0001 0.3345 0.0000 1.0000 0.3315 0.4015
179-AH 0.0400 0.3921 1.0000 1.0000 1.0000 0.7254 0.3835 0.6079 0.9600 0.5287 0.5100 0.2231 0.3381 0.0400 1.0000 0.7254 0.3835
180-AH 0.0700 0.1323 0.6667 0.8393 1.0000 0.5728 0.3552 0.7070 0.9300 0.6201 0.4018 0.2350 0.3102 0.0700 1.0000 0.5728 0.3552
181-AH 0.1338 0.8287 0.8929 0.9667 1.0000 0.7730 0.3012 0.1380 0.8662 0.3897 0.6607 0.4830 0.2291 0.8148 1.0000 0.9162 0.0606
182-AH 0.0435 0.1143 0.4000 0.7500 1.0000 0.4684 0.3683 0.6357 0.9565 0.7864 0.3011 0.1738 0.3211 0.0435 1.0000 0.4684 0.3683
183-AH 0.0012 0.0378 0.0714 0.3083 0.5000 0.1506 0.1497 0.2706 0.4988 0.9939 0.0753 0.0185 0.1329 0.0012 0.5000 0.1506 0.1497
184-AH 0.1538 1.0000 1.0000 1.0000 1.0000 0.8902 0.2349 0.0000 0.8462 0.2639 0.8365 0.7317 0.1758 1.0000 1.0000 1.0000 0.0000
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.8000 0.8333 1.0000 1.0000 1.0000 0.9480 0.0856 0.1667 0.2000 0.0903 0.9440 0.9398 0.0749 0.8000 1.0000 0.9480 0.0856
190-AH 0.0600 0.9500 1.0000 1.0000 1.0000 0.8398 0.3188 0.0500 0.9400 0.3796 0.7013 0.4292 0.2435 1.0000 1.0000 1.0000 0.0000
253
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0263 0.3833 0.6667 1.0000 1.0000 0.6453 0.3407 0.6167 0.9737 0.5280 0.4779 0.2158 0.2807 0.0263 1.0000 0.6453 0.3407
193-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9400 0.1239 0.0000 0.3333 0.1318 0.9308 0.9202 0.0960 1.0000 1.0000 1.0000 0.0000
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1721 0.6500 0.7778 0.9687 1.0000 0.7434 0.2649 0.3187 0.8279 0.3563 0.6737 0.5710 0.2071 0.1721 1.0000 0.7434 0.2649
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.3846 0.7292 0.7778 1.0000 1.0000 0.7905 0.1829 0.2708 0.6154 0.2314 0.7668 0.7388 0.1390 0.3846 1.0000 0.7905 0.1829
200-AH 0.5000 0.6667 0.7500 1.0000 1.0000 0.7730 0.1778 0.3333 0.5000 0.2300 0.7523 0.7310 0.1486 0.5000 1.0000 0.7730 0.1778
251-AH 0.8750 0.9321 0.9412 0.9486 1.0000 0.9431 0.0359 0.0165 0.1250 0.0381 0.9424 0.9417 0.0254 0.9286 0.9524 0.9413 0.0071
252-AH 0.1017 0.2875 0.5000 0.5333 0.8750 0.4488 0.2101 0.2458 0.7733 0.4681 0.3879 0.3123 0.1655 0.1017 0.8750 0.4488 0.2101
253-AH 0.0654 0.2925 0.7018 0.7814 0.8000 0.5726 0.2681 0.4890 0.7346 0.4682 0.4749 0.3432 0.2368 0.0654 0.8000 0.5726 0.2681
254-AH 0.1143 0.3256 0.4700 0.5211 0.5823 0.3980 0.1540 0.1955 0.4679 0.3870 0.3575 0.3058 0.1274 0.1143 0.5823 0.3980 0.1540
255-AH 0.1000 0.4583 1.0000 1.0000 1.0000 0.7067 0.3460 0.5417 0.9000 0.4896 0.5761 0.4032 0.3051 0.1000 1.0000 0.7067 0.3460
256-AH 0.0706 0.8542 1.0000 1.0000 1.0000 0.8488 0.2962 0.1458 0.9294 0.3489 0.7242 0.4493 0.2209 0.7500 1.0000 0.9819 0.0600
257-AH 0.2533 0.2927 0.3696 0.4238 0.5185 0.3627 0.0772 0.1311 0.2652 0.2128 0.3547 0.3466 0.0655 0.2533 0.5185 0.3627 0.0772
258-AH 0.0000 0.0208 0.0385 0.2500 0.5000 0.1352 0.1567 0.2292 0.5000 1.1587 0.0396 0.0002 0.1317 0.0000 0.5000 0.1352 0.1567
259-AH 0.0312 0.6250 1.0000 1.0000 1.0000 0.8173 0.3247 0.3750 0.9688 0.3973 0.6584 0.3185 0.2632 0.0667 1.0000 0.8500 0.2864
260-AH 0.3220 0.7360 0.8667 0.9298 1.0000 0.7981 0.1770 0.1937 0.6780 0.2218 0.7718 0.7344 0.1301 0.6190 1.0000 0.8390 0.1110
261-AH 0.0197 0.1986 0.2917 0.4750 0.7273 0.3190 0.2096 0.2764 0.7075 0.6570 0.2163 0.1025 0.1695 0.0197 0.7273 0.3190 0.2096
262-AH 0.0914 0.2138 0.3474 0.4341 0.8095 0.3559 0.1944 0.2204 0.7181 0.5463 0.3064 0.2586 0.1457 0.0914 0.7500 0.3370 0.1736
263-AH 0.0330 0.0876 0.2444 0.3306 0.4138 0.2117 0.1344 0.2430 0.3808 0.6346 0.1552 0.1009 0.1216 0.0330 0.4138 0.2117 0.1344
264-AH 0.0870 0.6136 0.8889 1.0000 1.0000 0.7408 0.3042 0.3864 0.9130 0.4106 0.6302 0.4466 0.2468 0.0870 1.0000 0.7408 0.3042
265-AH 0.0090 0.0221 0.5000 0.6875 1.0000 0.4522 0.3505 0.6654 0.9910 0.7752 0.2072 0.0507 0.2845 0.0090 1.0000 0.4522 0.3505
266-AH 0.0021 0.0183 0.0714 0.1456 0.2000 0.0853 0.0733 0.1273 0.1979 0.8589 0.0432 0.0132 0.0641 0.0021 0.2000 0.0853 0.0733
267-AH 0.1190 0.2778 0.5000 1.0000 1.0000 0.5686 0.3198 0.7222 0.8810 0.5625 0.4710 0.3721 0.2745 0.1190 1.0000 0.5686 0.3198
268-AH 0.0172 0.3125 1.0000 1.0000 1.0000 0.6924 0.3715 0.6875 0.9828 0.5366 0.4964 0.1963 0.3199 0.0172 1.0000 0.6924 0.3715
269-AH 0.1176 0.3333 0.6000 0.7500 1.0000 0.5739 0.2949 0.4167 0.8824 0.5140 0.4904 0.3989 0.2512 0.1176 1.0000 0.5739 0.2949
270-AH 0.0186 0.9583 1.0000 1.0000 1.0000 0.8038 0.3850 0.0417 0.9814 0.4790 0.5405 0.1783 0.3006 1.0000 1.0000 1.0000 0.0000
271-AH 0.0000 0.7778 0.8750 1.0000 1.0000 0.8427 0.2151 0.2222 1.0000 0.2552 0.5506 0.0002 0.1359 0.5000 1.0000 0.8778 0.1269
272-AH 0.0041 0.1500 0.2941 0.3636 0.5000 0.2566 0.1573 0.2136 0.4959 0.6132 0.1651 0.0399 0.1302 0.0041 0.5000 0.2566 0.1573
273-AH 0.0000 0.6333 0.9524 1.0000 1.0000 0.8306 0.2468 0.3667 1.0000 0.2972 0.5357 0.0002 0.1912 0.4250 1.0000 0.8652 0.1798
274-AH 0.1333 0.3497 0.4286 0.6773 0.8889 0.5029 0.2285 0.3276 0.7556 0.4543 0.4506 0.3961 0.1881 0.1333 0.8889 0.5029 0.2285
275-AH 0.0000 0.1887 0.5833 0.6467 0.7368 0.4313 0.2541 0.4580 0.7368 0.5891 0.2197 0.0002 0.2322 0.0000 0.7368 0.4313 0.2541
276-AH 0.4286 0.5455 0.6190 0.7059 0.7500 0.6192 0.0909 0.1604 0.3214 0.1468 0.6125 0.6056 0.0772 0.4286 0.7500 0.6192 0.0909
277-AH 0.0500 0.3068 0.4000 0.4662 0.6667 0.3676 0.1660 0.1593 0.6167 0.4515 0.3077 0.2199 0.1233 0.0750 0.6667 0.3947 0.1429
278-AH 0.0000 0.1101 0.2400 0.3914 0.8333 0.2787 0.2282 0.2813 0.8333 0.8186 0.0956 0.0001 0.1792 0.0000 0.6364 0.2556 0.2010
279-AH 0.0190 0.1607 0.3333 0.5250 1.0000 0.4032 0.2989 0.3643 0.9810 0.7413 0.2627 0.1157 0.2399 0.0190 1.0000 0.4032 0.2989
280-AH 0.0126 0.0593 0.0667 0.0758 0.1724 0.0692 0.0345 0.0165 0.1598 0.4984 0.0601 0.0484 0.0209 0.0379 0.0946 0.0682 0.0126
281-AH 0.0209 0.5554 0.6250 0.8333 0.9286 0.6275 0.2440 0.2779 0.9077 0.3889 0.5063 0.2153 0.1805 0.3200 0.9286 0.6797 0.1709
282-AH 0.0255 0.0923 0.2121 0.3810 0.5000 0.2204 0.1439 0.2887 0.4745 0.6528 0.1676 0.1152 0.1210 0.0255 0.5000 0.2204 0.1439
283-AH 0.0235 0.0698 0.2667 0.8889 1.0000 0.4080 0.3987 0.8191 0.9765 0.9771 0.2025 0.0931 0.3573 0.0235 1.0000 0.4080 0.3987
284-AH 0.3793 0.5333 0.6129 0.6731 0.8889 0.6155 0.1135 0.1397 0.5096 0.1844 0.6051 0.5941 0.0848 0.3793 0.8182 0.6041 0.1003
285-AH 0.0383 0.4828 0.7600 1.0000 1.0000 0.6785 0.3239 0.5172 0.9617 0.4774 0.5071 0.2383 0.2497 0.0383 1.0000 0.6785 0.3239
286-AH 0.0144 0.0312 0.0500 0.0638 0.1364 0.0506 0.0297 0.0326 0.1219 0.5867 0.0431 0.0364 0.0210 0.0144 0.0820 0.0440 0.0194
287-AH 0.1625 0.3725 0.5455 0.5689 0.6111 0.4500 0.1578 0.1964 0.4486 0.3506 0.4141 0.3692 0.1362 0.1625 0.6111 0.4500 0.1578
288-AH 0.0990 0.2570 0.3649 0.4904 0.8214 0.3974 0.2235 0.2333 0.7224 0.5624 0.3357 0.2763 0.1763 0.0990 0.8214 0.3974 0.2235
289-AH 0.0182 0.5938 0.8333 1.0000 1.0000 0.6952 0.3746 0.4062 0.9818 0.5388 0.3983 0.0897 0.3004 0.0182 1.0000 0.6952 0.3746
290-AH 0.0893 0.2084 0.3939 0.4630 0.6316 0.3538 0.1668 0.2545 0.5423 0.4714 0.3020 0.2419 0.1366 0.0893 0.6316 0.3538 0.1668
254
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.2222 0.5822 1.0000 1.0000 1.0000 0.8233 0.2847 0.4178 0.7778 0.3458 0.7482 0.6397 0.2377 0.2222 1.0000 0.8233 0.2847
292-AH 0.0667 0.6000 1.0000 1.0000 1.0000 0.8181 0.3165 0.4000 0.9333 0.3869 0.7006 0.4823 0.2619 0.0667 1.0000 0.8181 0.3165
293-AH 0.3500 0.5764 0.9000 1.0000 1.0000 0.7820 0.2143 0.4236 0.6500 0.2740 0.7484 0.7097 0.1882 0.3500 1.0000 0.7820 0.2143
294-AH 0.0271 0.5918 0.7333 0.8364 1.0000 0.6794 0.2466 0.2446 0.9729 0.3630 0.5619 0.2678 0.1801 0.4000 1.0000 0.7354 0.1590
295-AH 0.0637 0.3143 0.4800 0.5500 0.5714 0.3996 0.1649 0.2357 0.5077 0.4127 0.3498 0.2776 0.1422 0.0637 0.5714 0.3996 0.1649
296-AH 0.0000 0.1634 0.7143 0.7500 0.8333 0.5042 0.3240 0.5866 0.8333 0.6427 0.0864 0.0001 0.2959 0.0000 0.8333 0.5042 0.3240
297-AH 0.0811 0.4821 1.0000 1.0000 1.0000 0.7548 0.3052 0.5179 0.9189 0.4043 0.6633 0.5111 0.2746 0.0811 1.0000 0.7548 0.3052
298-AH 0.1887 0.3442 0.4118 0.4625 0.7500 0.4328 0.1476 0.1183 0.5613 0.3411 0.4100 0.3879 0.1057 0.1887 0.6000 0.3906 0.0966
299-AH 0.1930 0.4734 0.5484 0.6789 0.8636 0.5514 0.1893 0.2055 0.6707 0.3432 0.5137 0.4693 0.1511 0.1930 0.8636 0.5514 0.1893
300-AH 0.0841 0.2652 0.3226 0.3600 0.5294 0.3158 0.0792 0.0948 0.4453 0.2508 0.3033 0.2836 0.0562 0.2391 0.3871 0.3166 0.0483
301-AH 0.0053 0.0276 0.0412 0.3304 1.0000 0.2571 0.3806 0.3029 0.9947 1.4804 0.0778 0.0304 0.3146 0.0053 0.1739 0.0501 0.0442
302-AH 0.0580 0.2503 0.3333 0.4375 0.7500 0.3613 0.1830 0.1872 0.6920 0.5064 0.3106 0.2496 0.1385 0.0580 0.6667 0.3451 0.1676
303-AH 0.0248 0.1645 0.6000 1.0000 1.0000 0.5583 0.3690 0.8355 0.9752 0.6610 0.3624 0.1561 0.3203 0.0248 1.0000 0.5583 0.3690
304-AH 0.3750 1.0000 1.0000 1.0000 1.0000 0.9590 0.1456 0.0000 0.6250 0.1518 0.9421 0.9146 0.0754 1.0000 1.0000 1.0000 0.0000
305-AH 0.0000 0.3590 0.4167 0.5763 0.7619 0.4411 0.1868 0.2173 0.7619 0.4236 0.2775 0.0002 0.1482 0.1471 0.7619 0.4595 0.1662
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0301 0.0784 0.2692 0.4539 0.5294 0.2536 0.1769 0.3756 0.4993 0.6977 0.1828 0.1215 0.1554 0.0301 0.5294 0.2536 0.1769
308-AH 0.7143 1.0000 1.0000 1.0000 1.0000 0.9886 0.0571 0.0000 0.2857 0.0578 0.9866 0.9843 0.0219 1.0000 1.0000 1.0000 0.0000
309-AH 0.0698 0.1000 0.1500 0.2500 0.4000 0.1773 0.0872 0.1500 0.3302 0.4920 0.1580 0.1411 0.0729 0.0698 0.4000 0.1773 0.0872
310-AH 0.0134 0.0856 0.0968 0.1665 0.2188 0.1136 0.0605 0.0809 0.2053 0.5322 0.0887 0.0550 0.0493 0.0134 0.2188 0.1136 0.0605
311-AH 0.0586 0.3754 0.5217 0.6201 0.7333 0.4882 0.1638 0.2447 0.6748 0.3355 0.4480 0.3669 0.1361 0.0586 0.7333 0.4882 0.1638
312-AH 0.0737 0.3235 0.5294 0.8417 1.0000 0.5659 0.2980 0.5181 0.9263 0.5267 0.4643 0.3350 0.2619 0.0737 1.0000 0.5659 0.2980
313-AH 0.0127 0.0419 0.1250 0.2878 0.4615 0.1790 0.1474 0.2460 0.4488 0.8234 0.1170 0.0695 0.1261 0.0127 0.4615 0.1790 0.1474
314-AH 0.0115 0.0669 0.0884 0.1176 0.1522 0.0891 0.0394 0.0507 0.1406 0.4428 0.0759 0.0558 0.0303 0.0115 0.1522 0.0891 0.0394
315-AH 0.1000 0.1395 0.3934 0.6268 0.8125 0.4012 0.2510 0.4873 0.7125 0.6256 0.3194 0.2490 0.2159 0.1000 0.8125 0.4012 0.2510
316-AH 0.0291 0.1316 0.2115 0.3021 0.4000 0.2055 0.0969 0.1705 0.3709 0.4716 0.1776 0.1415 0.0797 0.0291 0.4000 0.2055 0.0969
317-AH 0.1569 0.3250 0.4167 0.4615 0.7000 0.4021 0.1437 0.1365 0.5431 0.3575 0.3739 0.3416 0.1044 0.1569 0.5455 0.3762 0.1173
318-AH 0.0606 0.1184 0.1724 0.2557 0.6667 0.2007 0.1276 0.1373 0.6061 0.6358 0.1730 0.1521 0.0888 0.0606 0.3636 0.1813 0.0847
319-AH 0.0183 0.1335 0.6667 0.8000 1.0000 0.5102 0.3428 0.6665 0.9817 0.6718 0.3173 0.1280 0.3059 0.0183 1.0000 0.5102 0.3428
320-AH 0.0209 0.0221 0.0526 0.0825 0.3636 0.0748 0.0907 0.0604 0.3427 1.2119 0.0505 0.0391 0.0514 0.0209 0.0976 0.0497 0.0269
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0385 0.0637 0.1000 0.1691 0.7500 0.1700 0.1985 0.1054 0.7115 1.1678 0.1140 0.0889 0.1271 0.0385 0.2174 0.1022 0.0546
323-AH 0.0659 0.1973 0.4286 0.6000 0.8571 0.4522 0.2724 0.4027 0.7912 0.6024 0.3460 0.2313 0.2244 0.0659 0.8571 0.4522 0.2724
324-AH 0.0000 0.1425 0.5000 0.7500 0.8421 0.4512 0.3200 0.6075 0.8421 0.7091 0.1431 0.0001 0.2852 0.0000 0.8421 0.4512 0.3200
325-AH 0.4375 0.6875 0.8333 0.9286 0.9500 0.7854 0.1564 0.2411 0.5125 0.1991 0.7680 0.7477 0.1271 0.4375 0.9500 0.7854 0.1564
326-AH 0.0062 0.1528 0.5000 0.7500 1.0000 0.4868 0.3471 0.5972 0.9938 0.7131 0.2999 0.0770 0.2692 0.0062 1.0000 0.4868 0.3471
327-AH 0.0000 0.0186 0.2500 0.5000 1.0000 0.3152 0.3138 0.4814 1.0000 0.9957 0.1041 0.0002 0.2382 0.0000 1.0000 0.3152 0.3138
328-AH 0.1515 0.4886 0.5556 0.6429 1.0000 0.5511 0.1680 0.1542 0.8485 0.3048 0.5187 0.4715 0.1171 0.3810 0.6957 0.5655 0.0920
329-AH 0.6667 0.7708 0.8333 1.0000 1.0000 0.8594 0.1182 0.2292 0.3333 0.1375 0.8516 0.8437 0.1025 0.6667 1.0000 0.8594 0.1182
330-AH 0.0432 0.5160 0.8235 0.9167 1.0000 0.7003 0.2994 0.4006 0.9568 0.4275 0.5662 0.3081 0.2423 0.0432 1.0000 0.7003 0.2994
331-AH 0.0909 0.2500 0.2800 0.3657 0.8000 0.3248 0.1907 0.1157 0.7091 0.5870 0.2755 0.2300 0.1369 0.0909 0.4444 0.2546 0.0991
332-AH 0.0000 0.0065 0.6667 1.0000 1.0000 0.5481 0.4181 0.9935 1.0000 0.7628 0.0653 0.0001 0.3728 0.0000 1.0000 0.5481 0.4181
333-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.9037 0.2666 0.0000 0.8571 0.2950 0.8206 0.6579 0.1695 1.0000 1.0000 1.0000 0.0000
334-AH 0.0968 0.3833 0.5000 1.0000 1.0000 0.6315 0.3278 0.6167 0.9032 0.5190 0.5265 0.3979 0.2948 0.0968 1.0000 0.6315 0.3278
335-AH 0.0602 0.1611 0.1852 0.7500 1.0000 0.4190 0.3637 0.5889 0.9398 0.8678 0.2792 0.1904 0.3263 0.0602 1.0000 0.4190 0.3637
336-AH 0.0000 0.0056 0.0252 0.0853 0.4545 0.0695 0.1032 0.0797 0.4545 1.4859 0.0102 0.0001 0.0699 0.0000 0.1860 0.0453 0.0543
337-AH 0.0118 0.8000 0.8571 1.0000 1.0000 0.7642 0.3299 0.2000 0.9882 0.4318 0.5331 0.1322 0.2355 0.6667 1.0000 0.8997 0.0983
338-AH 0.0408 0.4571 1.0000 1.0000 1.0000 0.7539 0.3735 0.5429 0.9592 0.4954 0.5483 0.2486 0.3187 0.0408 1.0000 0.7539 0.3735
339-AH 0.0719 0.6250 1.0000 1.0000 1.0000 0.7965 0.2761 0.3750 0.9281 0.3466 0.6931 0.4621 0.2125 0.0719 1.0000 0.7965 0.2761
340-AH 0.0276 0.3909 0.5000 0.5250 1.0000 0.5212 0.2440 0.1341 0.9724 0.4681 0.4499 0.2889 0.1711 0.2857 0.6667 0.4502 0.0937
255
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9657 0.1187 0.0000 0.4286 0.1229 0.9562 0.9434 0.0631 1.0000 1.0000 1.0000 0.0000
342-AH 0.5000 0.7081 0.8000 0.8141 0.9200 0.7651 0.1029 0.1060 0.4200 0.1345 0.7578 0.7497 0.0791 0.5909 0.9200 0.7761 0.0887
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0309 0.4681 0.5333 0.7380 1.0000 0.5905 0.2484 0.2699 0.9691 0.4206 0.5078 0.3174 0.1843 0.1494 1.0000 0.6138 0.2241
345-AH 0.0052 0.0840 0.2000 0.2667 0.5714 0.1873 0.1248 0.1826 0.5663 0.6662 0.1263 0.0461 0.0927 0.0052 0.3000 0.1713 0.0978
346-AH 0.0526 0.0757 0.0833 0.1478 0.3750 0.1151 0.0714 0.0721 0.3224 0.6208 0.1007 0.0909 0.0517 0.0526 0.2143 0.1042 0.0476
347-AH 0.0156 0.0769 0.1176 0.1538 0.2857 0.1201 0.0600 0.0769 0.2701 0.4990 0.1034 0.0798 0.0444 0.0156 0.2500 0.1132 0.0501
348-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6454 0.4635 0.9936 1.0000 0.7182 0.0569 0.0000 0.4272 0.0000 1.0000 0.6454 0.4635
349-AH 0.1905 0.3871 0.5000 0.6038 0.8750 0.4951 0.1720 0.2167 0.6845 0.3473 0.4642 0.4307 0.1358 0.1905 0.8750 0.4951 0.1720
350-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9733 0.0923 0.0000 0.3333 0.0948 0.9681 0.9615 0.0491 1.0000 1.0000 1.0000 0.0000
256
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9406 0.1447 0.0000 0.4286 0.1539 0.9267 0.9091 0.0998 1.0000 1.0000 1.0000 0.0000
143-AH 0.1208 0.9308 1.0000 1.0000 1.0000 0.8553 0.3094 0.0692 0.8792 0.3617 0.7365 0.5285 0.2211 0.9231 1.0000 0.9869 0.0280
144-AH 0.3333 0.5000 0.6000 1.0000 1.0000 0.7040 0.2783 0.5000 0.6667 0.3953 0.6478 0.5929 0.2605 0.3333 1.0000 0.7040 0.2783
145-AH 0.2553 0.7431 0.8125 1.0000 1.0000 0.8116 0.1812 0.2569 0.7447 0.2233 0.7843 0.7431 0.1275 0.5000 1.0000 0.8348 0.1423
146-AH 0.0526 0.2375 0.5000 1.0000 1.0000 0.6229 0.3894 0.7625 0.9474 0.6251 0.4550 0.2809 0.3620 0.0526 1.0000 0.6229 0.3894
147-AH 0.3721 0.6909 0.9048 1.0000 1.0000 0.8358 0.1738 0.3091 0.6279 0.2079 0.8148 0.7890 0.1467 0.3721 1.0000 0.8358 0.1738
148-AH 0.0026 0.0273 0.0392 0.0764 0.2857 0.0590 0.0560 0.0491 0.2831 0.9494 0.0397 0.0200 0.0364 0.0026 0.1053 0.0496 0.0308
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0400 0.2143 0.2760 0.3636 0.1784 0.1259 0.2360 0.3636 0.7062 0.0355 0.0001 0.1117 0.0000 0.3636 0.1784 0.1259
151-AH 0.0288 0.0547 0.1143 0.5714 0.6667 0.2656 0.2468 0.5167 0.6379 0.9290 0.1593 0.0970 0.2152 0.0288 0.6667 0.2656 0.2468
152-AH 0.3077 0.4821 1.0000 1.0000 1.0000 0.7638 0.2741 0.5179 0.6923 0.3589 0.7076 0.6466 0.2514 0.3077 1.0000 0.7638 0.2741
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.2000 0.3333 0.4500 0.4803 1.0000 0.4366 0.1572 0.1469 0.8000 0.3601 0.4124 0.3889 0.1007 0.2000 0.6000 0.4131 0.1068
155-AH 0.0000 0.1321 0.1667 0.5000 1.0000 0.3162 0.3108 0.3679 1.0000 0.9829 0.0546 0.0001 0.2523 0.0000 1.0000 0.3162 0.3108
156-AH 0.0156 0.0421 0.1159 0.1595 0.3889 0.1157 0.0825 0.1174 0.3733 0.7128 0.0873 0.0607 0.0602 0.0156 0.2195 0.1044 0.0610
157-AH 0.0000 0.2754 0.5385 0.7344 0.8800 0.4969 0.2705 0.4589 0.8800 0.5445 0.1994 0.0001 0.2227 0.0000 0.8800 0.4969 0.2705
158-AH 0.0000 0.3163 0.6316 0.6921 0.8750 0.5197 0.2478 0.3758 0.8750 0.4768 0.3127 0.0002 0.2163 0.0000 0.8750 0.5197 0.2478
159-AH 0.0430 0.1352 0.1478 0.2500 1.0000 0.3113 0.3257 0.1148 0.9570 1.0462 0.2122 0.1628 0.2478 0.0430 0.2500 0.1565 0.0525
160-AH 0.0294 0.0500 0.0909 0.1667 0.3333 0.1212 0.0860 0.1167 0.3039 0.7101 0.0944 0.0747 0.0741 0.0294 0.3333 0.1212 0.0860
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.5000 0.9250 0.9474 0.9756 1.0000 0.9105 0.1296 0.0506 0.5000 0.1423 0.8990 0.8840 0.0828 0.9070 1.0000 0.9597 0.0301
164-AH 0.0000 0.0562 0.1176 0.2240 0.5625 0.1654 0.1307 0.1678 0.5625 0.7900 0.0885 0.0002 0.1039 0.0000 0.3600 0.1489 0.1033
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0077 0.0392 0.1333 0.2625 0.5000 0.1737 0.1522 0.2233 0.4923 0.8761 0.0982 0.0430 0.1245 0.0077 0.5000 0.1737 0.1522
168-AH 0.0000 0.2654 0.4286 0.5156 0.6250 0.3812 0.1858 0.2503 0.6250 0.4875 0.1553 0.0001 0.1474 0.0000 0.6250 0.3812 0.1858
169-AH 0.0000 0.0185 0.0541 0.1048 0.2727 0.0732 0.0713 0.0863 0.2727 0.9739 0.0332 0.0002 0.0567 0.0000 0.1818 0.0649 0.0591
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0769 0.1226 0.3333 0.0977 0.1013 0.1226 0.3333 1.0369 0.0082 0.0000 0.0738 0.0000 0.2727 0.0772 0.0755
172-AH 0.0411 0.0942 0.1333 0.1691 0.3077 0.1415 0.0607 0.0750 0.2666 0.4286 0.1298 0.1181 0.0443 0.0411 0.2500 0.1346 0.0509
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8647 0.1574 0.2500 0.5000 0.1820 0.8494 0.8324 0.1407 0.5000 1.0000 0.8647 0.1574
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.0236 0.1667 0.3846 0.6364 1.0000 0.4110 0.2669 0.4697 0.9764 0.6495 0.3079 0.1871 0.2224 0.0236 1.0000 0.4110 0.2669
178-AH 0.0000 0.0070 0.0465 0.1779 1.0000 0.1678 0.2906 0.1708 1.0000 1.7314 0.0172 0.0001 0.1994 0.0000 0.3333 0.0695 0.0926
179-AH 0.0355 0.3638 0.7857 1.0000 1.0000 0.6458 0.3720 0.6362 0.9645 0.5760 0.4374 0.1779 0.3284 0.0355 1.0000 0.6458 0.3720
180-AH 0.0700 0.1128 0.5484 0.7883 0.9231 0.4975 0.3166 0.6754 0.8530 0.6363 0.3533 0.2190 0.2845 0.0700 0.9231 0.4975 0.3166
181-AH 0.1073 0.8287 0.8750 0.9667 0.9744 0.7541 0.3085 0.1380 0.8671 0.4091 0.6265 0.4253 0.2366 0.8148 0.9744 0.9020 0.0572
182-AH 0.0435 0.0714 0.1176 0.4000 0.6667 0.2574 0.2367 0.3286 0.6232 0.9195 0.1684 0.1172 0.2053 0.0435 0.6667 0.2574 0.2367
183-AH 0.0000 0.0256 0.0563 0.2795 0.4000 0.1305 0.1405 0.2539 0.4000 1.0765 0.0280 0.0001 0.1231 0.0000 0.4000 0.1305 0.1405
184-AH 0.1026 0.5750 1.0000 1.0000 1.0000 0.8381 0.2600 0.4250 0.8974 0.3102 0.7698 0.6289 0.2202 0.1026 1.0000 0.8381 0.2600
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.7500 0.8333 1.0000 1.0000 1.0000 0.9380 0.0935 0.1667 0.2500 0.0997 0.9332 0.9282 0.0843 0.7500 1.0000 0.9380 0.0935
190-AH 0.0600 0.6500 1.0000 1.0000 1.0000 0.7821 0.3242 0.3500 0.9400 0.4146 0.6305 0.3534 0.2551 0.3750 1.0000 0.8790 0.1954
257
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0263 0.3833 0.6667 1.0000 1.0000 0.6453 0.3407 0.6167 0.9737 0.5280 0.4779 0.2158 0.2807 0.0263 1.0000 0.6453 0.3407
193-AH 0.2500 0.3113 0.4286 0.7500 1.0000 0.5573 0.2817 0.4387 0.7500 0.5054 0.4939 0.4422 0.2542 0.2500 1.0000 0.5573 0.2817
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1721 0.5833 0.7619 0.9434 1.0000 0.7218 0.2663 0.3600 0.8279 0.3689 0.6517 0.5529 0.2109 0.1721 1.0000 0.7218 0.2663
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.3846 0.6115 0.7500 0.8750 1.0000 0.7551 0.1808 0.2635 0.6154 0.2395 0.7321 0.7064 0.1346 0.3846 1.0000 0.7551 0.1808
200-AH 0.2105 0.4444 0.7143 0.8333 1.0000 0.6728 0.2450 0.3889 0.7895 0.3642 0.6165 0.5461 0.1959 0.2105 1.0000 0.6728 0.2450
251-AH 0.4762 0.8000 0.8333 0.8857 0.9524 0.8156 0.1005 0.0857 0.4762 0.1233 0.8085 0.7999 0.0678 0.6774 0.9524 0.8368 0.0657
252-AH 0.0928 0.2084 0.5000 0.5151 0.8333 0.3952 0.2057 0.3066 0.7405 0.5205 0.3280 0.2548 0.1788 0.0928 0.8333 0.3952 0.2057
253-AH 0.0000 0.2505 0.5800 0.6528 0.7436 0.4714 0.2375 0.4023 0.7436 0.5038 0.2699 0.0002 0.2061 0.0000 0.7436 0.4714 0.2375
254-AH 0.1032 0.2604 0.3698 0.4312 0.4647 0.3346 0.1257 0.1708 0.3615 0.3755 0.3020 0.2600 0.1028 0.1032 0.4647 0.3346 0.1257
255-AH 0.0187 0.1405 0.3333 0.5417 0.6667 0.3638 0.2163 0.4012 0.6480 0.5945 0.2789 0.1645 0.1788 0.0187 0.6667 0.3638 0.2163
256-AH 0.0706 0.6256 1.0000 1.0000 1.0000 0.7863 0.3479 0.3744 0.9294 0.4424 0.6337 0.3884 0.2906 0.0706 1.0000 0.7863 0.3479
257-AH 0.1786 0.2500 0.2877 0.3747 0.4222 0.3010 0.0675 0.1247 0.2437 0.2241 0.2936 0.2862 0.0587 0.1786 0.4222 0.3010 0.0675
258-AH 0.0000 0.0048 0.0201 0.1122 0.2727 0.0620 0.0816 0.1074 0.2727 1.3162 0.0070 0.0000 0.0681 0.0000 0.2727 0.0620 0.0816
259-AH 0.0312 0.6250 1.0000 1.0000 1.0000 0.8173 0.3247 0.3750 0.9688 0.3973 0.6584 0.3185 0.2632 0.0667 1.0000 0.8500 0.2864
260-AH 0.3220 0.6778 0.7692 0.8226 0.8636 0.6966 0.1735 0.1448 0.5416 0.2491 0.6693 0.6346 0.1357 0.6000 0.8636 0.7766 0.0616
261-AH 0.0000 0.0463 0.0618 0.1852 0.6111 0.1467 0.1791 0.1390 0.6111 1.2205 0.0342 0.0001 0.1246 0.0000 0.2157 0.0867 0.0712
262-AH 0.0588 0.1625 0.2097 0.3553 0.7027 0.2751 0.1715 0.1928 0.6439 0.6234 0.2290 0.1871 0.1334 0.0588 0.6275 0.2573 0.1497
263-AH 0.0330 0.0756 0.2254 0.2834 0.3571 0.1875 0.1157 0.2078 0.3241 0.6170 0.1401 0.0936 0.1037 0.0330 0.3571 0.1875 0.1157
264-AH 0.0833 0.3732 0.8889 0.9000 1.0000 0.6704 0.3159 0.5268 0.9167 0.4713 0.5554 0.3916 0.2820 0.0833 1.0000 0.6704 0.3159
265-AH 0.0090 0.0221 0.5000 0.6875 1.0000 0.4522 0.3505 0.6654 0.9910 0.7752 0.2072 0.0507 0.2845 0.0090 1.0000 0.4522 0.3505
266-AH 0.0000 0.0183 0.0294 0.0842 0.1818 0.0538 0.0517 0.0659 0.1818 0.9604 0.0123 0.0001 0.0417 0.0000 0.1818 0.0538 0.0517
267-AH 0.0814 0.2593 0.3500 0.6364 0.8750 0.4243 0.2291 0.3771 0.7936 0.5399 0.3613 0.2969 0.1936 0.0814 0.8750 0.4243 0.2291
268-AH 0.0172 0.3125 1.0000 1.0000 1.0000 0.6924 0.3715 0.6875 0.9828 0.5366 0.4964 0.1963 0.3199 0.0172 1.0000 0.6924 0.3715
269-AH 0.0811 0.2500 0.2727 0.3000 0.6000 0.2958 0.1203 0.0500 0.5189 0.4066 0.2735 0.2492 0.0812 0.2000 0.3000 0.2613 0.0271
270-AH 0.0000 0.7680 0.9500 1.0000 1.0000 0.7595 0.3795 0.2320 1.0000 0.4997 0.3576 0.0002 0.3021 0.6176 1.0000 0.9412 0.0897
271-AH 0.0000 0.5949 0.7273 0.8000 0.9167 0.6932 0.1918 0.2051 0.9167 0.2766 0.4544 0.0002 0.1326 0.5000 0.9167 0.7221 0.1289
272-AH 0.0000 0.1034 0.2727 0.3164 0.3571 0.2095 0.1328 0.2130 0.3571 0.6340 0.0762 0.0001 0.1194 0.0000 0.3571 0.2095 0.1328
273-AH 0.0000 0.5674 0.9062 0.9685 1.0000 0.7686 0.2758 0.4010 1.0000 0.3589 0.4840 0.0002 0.2282 0.0000 1.0000 0.7686 0.2758
274-AH 0.0723 0.1421 0.4167 0.6558 0.8889 0.4207 0.2858 0.5138 0.8166 0.6793 0.3158 0.2252 0.2430 0.0723 0.8889 0.4207 0.2858
275-AH 0.0000 0.1755 0.5158 0.5800 0.6452 0.3777 0.2248 0.4046 0.6452 0.5952 0.1433 0.0001 0.2060 0.0000 0.6452 0.3777 0.2248
276-AH 0.3158 0.3892 0.4615 0.5938 0.7500 0.4945 0.1336 0.2045 0.4342 0.2702 0.4776 0.4617 0.1137 0.3158 0.7500 0.4945 0.1336
277-AH 0.0163 0.0973 0.2857 0.4023 0.5625 0.2687 0.1645 0.3050 0.5462 0.6122 0.1928 0.1047 0.1372 0.0163 0.5625 0.2687 0.1645
278-AH 0.0000 0.0408 0.1333 0.3529 0.6364 0.2088 0.1994 0.3122 0.6364 0.9552 0.0357 0.0001 0.1676 0.0000 0.6364 0.2088 0.1994
279-AH 0.0061 0.0383 0.1429 0.3750 0.6667 0.2106 0.2236 0.3367 0.6606 1.0616 0.1034 0.0425 0.1843 0.0061 0.6667 0.2106 0.2236
280-AH 0.0000 0.0332 0.0413 0.0633 0.1475 0.0494 0.0308 0.0301 0.1475 0.6228 0.0244 0.0001 0.0224 0.0000 0.0920 0.0453 0.0235
281-AH 0.0191 0.4450 0.5000 0.7163 0.9286 0.5505 0.2405 0.2713 0.9094 0.4369 0.4362 0.1800 0.1870 0.3061 0.9286 0.5965 0.1882
282-AH 0.0152 0.0683 0.1333 0.2697 0.3333 0.1682 0.1069 0.2014 0.3181 0.6354 0.1262 0.0790 0.0925 0.0152 0.3333 0.1682 0.1069
283-AH 0.0212 0.0654 0.1429 0.6842 1.0000 0.3427 0.3598 0.6188 0.9788 1.0497 0.1597 0.0730 0.3177 0.0212 1.0000 0.3427 0.3598
284-AH 0.3725 0.4849 0.5357 0.5881 0.6667 0.5294 0.0824 0.1032 0.2941 0.1557 0.5229 0.5160 0.0668 0.3725 0.6667 0.5294 0.0824
285-AH 0.0000 0.3091 0.7241 0.9352 0.9706 0.6159 0.3361 0.6261 0.9706 0.5458 0.3131 0.0002 0.2735 0.0000 0.9706 0.6159 0.3361
286-AH 0.0000 0.0186 0.0301 0.0518 0.1176 0.0381 0.0279 0.0332 0.1176 0.7333 0.0225 0.0002 0.0222 0.0000 0.0820 0.0348 0.0230
287-AH 0.1241 0.3709 0.4459 0.5457 0.5745 0.4151 0.1484 0.1747 0.4503 0.3576 0.3784 0.3292 0.1170 0.1241 0.5745 0.4151 0.1484
288-AH 0.0686 0.1529 0.2875 0.4629 0.8214 0.3522 0.2377 0.3100 0.7529 0.6750 0.2769 0.2100 0.1839 0.0686 0.8214 0.3522 0.2377
289-AH 0.0170 0.4688 0.7500 1.0000 1.0000 0.6383 0.3637 0.5312 0.9830 0.5697 0.3643 0.0849 0.3012 0.0170 1.0000 0.6383 0.3637
290-AH 0.0382 0.1482 0.3571 0.4139 0.5556 0.3119 0.1608 0.2657 0.5174 0.5156 0.2561 0.1876 0.1365 0.0382 0.5556 0.3119 0.1608
258
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.1471 0.5470 0.9091 1.0000 1.0000 0.7434 0.2918 0.4530 0.8529 0.3925 0.6575 0.5339 0.2475 0.1471 1.0000 0.7434 0.2918
292-AH 0.0469 0.4750 1.0000 1.0000 1.0000 0.7533 0.3331 0.5250 0.9531 0.4422 0.6271 0.4021 0.2960 0.0469 1.0000 0.7533 0.3331
293-AH 0.2683 0.4658 0.7059 0.7893 0.9333 0.6466 0.2002 0.3234 0.6650 0.3095 0.6122 0.5734 0.1695 0.2683 0.9333 0.6466 0.2002
294-AH 0.0135 0.5897 0.7143 0.7938 0.9000 0.6398 0.2450 0.2041 0.8865 0.3830 0.4977 0.1601 0.1783 0.3000 0.9000 0.7146 0.1348
295-AH 0.0297 0.2521 0.3273 0.4643 0.5714 0.3350 0.1566 0.2122 0.5417 0.4673 0.2722 0.1713 0.1239 0.0297 0.5714 0.3350 0.1566
296-AH 0.0000 0.0832 0.3636 0.6178 0.7500 0.3682 0.2740 0.5346 0.7500 0.7440 0.0616 0.0001 0.2276 0.0000 0.7500 0.3682 0.2740
297-AH 0.0247 0.4333 0.5714 0.8333 1.0000 0.6066 0.2673 0.4000 0.9753 0.4406 0.5134 0.2919 0.2256 0.0247 1.0000 0.6066 0.2673
298-AH 0.1250 0.2326 0.2903 0.4386 0.6923 0.3299 0.1407 0.2060 0.5673 0.4266 0.3019 0.2751 0.1122 0.1250 0.6923 0.3299 0.1407
299-AH 0.1718 0.4268 0.4600 0.6119 0.8214 0.4999 0.1900 0.1851 0.6496 0.3802 0.4575 0.4074 0.1527 0.1718 0.8214 0.4999 0.1900
300-AH 0.0734 0.2558 0.2658 0.2995 0.4667 0.2732 0.0708 0.0437 0.3932 0.2593 0.2620 0.2450 0.0452 0.2000 0.3409 0.2686 0.0388
301-AH 0.0000 0.0000 0.0054 0.2665 1.0000 0.1989 0.3439 0.2665 1.0000 1.7291 0.0016 0.0000 0.2812 0.0000 0.6250 0.0721 0.1866
302-AH 0.0193 0.1984 0.2917 0.3370 0.7500 0.3091 0.1791 0.1386 0.7307 0.5792 0.2508 0.1598 0.1266 0.0193 0.5000 0.2566 0.1110
303-AH 0.0235 0.1138 0.3333 0.5000 0.7143 0.3249 0.2197 0.3862 0.6908 0.6763 0.2189 0.1149 0.1876 0.0235 0.7143 0.3249 0.2197
304-AH 0.0857 0.2251 0.2381 0.4000 0.7143 0.3043 0.1485 0.1749 0.6286 0.4881 0.2686 0.2312 0.1217 0.0857 0.5556 0.2873 0.1242
305-AH 0.0000 0.2952 0.3333 0.4375 0.5263 0.3434 0.1312 0.1423 0.5263 0.3821 0.2215 0.0002 0.0993 0.1055 0.5263 0.3577 0.1123
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0260 0.0572 0.2364 0.4041 0.5217 0.2331 0.1798 0.3469 0.4957 0.7714 0.1523 0.0901 0.1581 0.0260 0.5217 0.2331 0.1798
308-AH 0.7143 1.0000 1.0000 1.0000 1.0000 0.9806 0.0684 0.0000 0.2857 0.0697 0.9779 0.9747 0.0357 1.0000 1.0000 1.0000 0.0000
309-AH 0.0154 0.0796 0.1143 0.1705 0.2727 0.1303 0.0714 0.0909 0.2573 0.5475 0.1088 0.0828 0.0571 0.0154 0.2727 0.1303 0.0714
310-AH 0.0000 0.0775 0.0909 0.1327 0.2041 0.0950 0.0536 0.0551 0.2041 0.5639 0.0245 0.0001 0.0390 0.0000 0.2041 0.0950 0.0536
311-AH 0.0586 0.2998 0.4474 0.5038 0.6296 0.4147 0.1351 0.2040 0.5711 0.3258 0.3832 0.3240 0.1116 0.0586 0.6296 0.4147 0.1351
312-AH 0.0313 0.3235 0.5000 0.7692 0.8667 0.4989 0.2649 0.4457 0.8353 0.5310 0.3869 0.2132 0.2225 0.0313 0.8667 0.4989 0.2649
313-AH 0.0000 0.0343 0.0889 0.2783 0.4615 0.1620 0.1551 0.2440 0.4615 0.9578 0.0705 0.0002 0.1362 0.0000 0.4615 0.1620 0.1551
314-AH 0.0115 0.0669 0.0884 0.1176 0.1522 0.0881 0.0393 0.0507 0.1406 0.4464 0.0751 0.0554 0.0300 0.0115 0.1522 0.0881 0.0393
315-AH 0.0577 0.1185 0.3846 0.5455 0.7826 0.3334 0.2275 0.4269 0.7249 0.6822 0.2480 0.1762 0.2038 0.0577 0.7826 0.3334 0.2275
316-AH 0.0000 0.1219 0.1916 0.2313 0.3214 0.1796 0.0802 0.1094 0.3214 0.4463 0.1163 0.0002 0.0633 0.0000 0.3214 0.1796 0.0802
317-AH 0.1343 0.2540 0.3571 0.4167 0.5294 0.3343 0.1040 0.1627 0.3951 0.3113 0.3151 0.2919 0.0835 0.1343 0.5294 0.3343 0.1040
318-AH 0.0435 0.1184 0.1667 0.2175 0.3636 0.1763 0.0813 0.0991 0.3202 0.4614 0.1589 0.1411 0.0614 0.0435 0.3636 0.1763 0.0813
319-AH 0.0000 0.0501 0.1364 0.5000 0.7778 0.2670 0.2588 0.4499 0.7778 0.9692 0.0293 0.0000 0.2347 0.0000 0.7778 0.2670 0.2588
320-AH 0.0169 0.0219 0.0476 0.0810 0.1786 0.0566 0.0444 0.0591 0.1617 0.7849 0.0441 0.0357 0.0329 0.0169 0.0862 0.0460 0.0262
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0352 0.0554 0.0794 0.1181 0.2174 0.0920 0.0473 0.0627 0.1822 0.5137 0.0817 0.0729 0.0373 0.0352 0.1613 0.0868 0.0402
323-AH 0.0251 0.1090 0.1607 0.2135 0.3462 0.1585 0.0814 0.1045 0.3211 0.5137 0.1326 0.1004 0.0671 0.0251 0.3462 0.1585 0.0814
324-AH 0.0000 0.0676 0.1481 0.6857 0.7931 0.3418 0.3148 0.6181 0.7931 0.9208 0.0276 0.0000 0.2900 0.0000 0.7931 0.3418 0.3148
325-AH 0.3333 0.6129 0.7308 0.8350 0.9500 0.7208 0.1628 0.2221 0.6167 0.2259 0.6990 0.6715 0.1247 0.3333 0.9500 0.7208 0.1628
326-AH 0.0037 0.0907 0.4000 0.6667 1.0000 0.3938 0.3694 0.5760 0.9963 0.9379 0.1531 0.0213 0.3051 0.0037 1.0000 0.3938 0.3694
327-AH 0.0000 0.0123 0.1579 0.4111 1.0000 0.2273 0.2504 0.3988 1.0000 1.1016 0.0221 0.0000 0.2046 0.0000 1.0000 0.2273 0.2504
328-AH 0.1216 0.4886 0.5312 0.6380 1.0000 0.5382 0.1743 0.1494 0.8784 0.3238 0.4985 0.4334 0.1161 0.3810 0.6957 0.5547 0.0897
329-AH 0.5385 0.7500 0.7778 0.8785 1.0000 0.7991 0.1258 0.1285 0.4615 0.1575 0.7893 0.7791 0.0952 0.6000 1.0000 0.8099 0.1160
330-AH 0.0432 0.4787 0.7826 0.8972 0.9524 0.6616 0.3063 0.4185 0.9092 0.4630 0.5185 0.2819 0.2542 0.0432 0.9524 0.6616 0.3063
331-AH 0.0571 0.2410 0.2800 0.3478 0.7500 0.3143 0.1892 0.1068 0.6929 0.6019 0.2574 0.1976 0.1343 0.0811 0.4444 0.2660 0.0919
332-AH 0.0000 0.0036 0.4286 0.5000 0.7500 0.3464 0.2485 0.4964 0.7500 0.7175 0.0291 0.0000 0.2143 0.0000 0.7500 0.3464 0.2485
333-AH 0.0455 0.9500 1.0000 1.0000 1.0000 0.8305 0.3326 0.0500 0.9545 0.4005 0.6684 0.3413 0.2576 1.0000 1.0000 1.0000 0.0000
334-AH 0.0968 0.2107 0.4000 0.5000 1.0000 0.4223 0.2477 0.2893 0.9032 0.5866 0.3511 0.2825 0.1946 0.0968 0.6667 0.3721 0.1844
335-AH 0.0292 0.0677 0.1622 0.2125 0.4615 0.1712 0.1077 0.1448 0.4323 0.6295 0.1396 0.1104 0.0811 0.0292 0.3684 0.1591 0.0911
336-AH 0.0000 0.0000 0.0174 0.0568 0.4000 0.0558 0.0937 0.0568 0.4000 1.6780 0.0018 0.0000 0.0592 0.0000 0.1111 0.0259 0.0320
337-AH 0.0000 0.6294 0.8571 0.8750 1.0000 0.7120 0.3221 0.2456 1.0000 0.4524 0.3616 0.0002 0.2391 0.6087 1.0000 0.8409 0.1235
338-AH 0.0374 0.4571 0.8000 1.0000 1.0000 0.7008 0.3555 0.5429 0.9626 0.5073 0.5100 0.2310 0.2989 0.0374 1.0000 0.7008 0.3555
339-AH 0.0719 0.4615 0.5769 1.0000 1.0000 0.6480 0.2902 0.5385 0.9281 0.4478 0.5527 0.3950 0.2451 0.0719 1.0000 0.6480 0.2902
340-AH 0.0276 0.3561 0.4286 0.5000 1.0000 0.4632 0.2108 0.1439 0.9724 0.4551 0.4028 0.2691 0.1441 0.1923 0.6667 0.4342 0.1159
259
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9657 0.1187 0.0000 0.4286 0.1229 0.9562 0.9434 0.0631 1.0000 1.0000 1.0000 0.0000
342-AH 0.2762 0.6667 0.6818 0.7867 0.8857 0.6869 0.1410 0.1200 0.6095 0.2053 0.6689 0.6450 0.0970 0.6465 0.8857 0.7373 0.0757
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0309 0.4315 0.5000 0.6661 0.9167 0.5434 0.2196 0.2346 0.8857 0.4041 0.4723 0.3057 0.1649 0.1494 0.9167 0.5648 0.1960
345-AH 0.0052 0.0526 0.1290 0.2026 0.5714 0.1469 0.1237 0.1501 0.5663 0.8420 0.0952 0.0413 0.0912 0.0052 0.3000 0.1292 0.0883
346-AH 0.0227 0.0748 0.0784 0.1471 0.3636 0.1105 0.0694 0.0723 0.3409 0.6278 0.0950 0.0817 0.0495 0.0227 0.2000 0.1000 0.0460
347-AH 0.0156 0.0714 0.1000 0.1538 0.2500 0.1141 0.0577 0.0824 0.2344 0.5054 0.0975 0.0750 0.0444 0.0156 0.2500 0.1141 0.0577
348-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6454 0.4635 0.9936 1.0000 0.7182 0.0569 0.0000 0.4272 0.0000 1.0000 0.6454 0.4635
349-AH 0.1833 0.3732 0.4231 0.5000 0.6250 0.4264 0.1153 0.1268 0.4417 0.2704 0.4089 0.3883 0.0924 0.1833 0.6250 0.4264 0.1153
350-AH 0.2000 0.5000 1.0000 1.0000 1.0000 0.7613 0.3003 0.5000 0.8000 0.3945 0.6791 0.5738 0.2576 0.2000 1.0000 0.7613 0.3003
260
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.5000 0.9500 1.0000 1.0000 1.0000 0.9126 0.1695 0.0500 0.5000 0.1858 0.8934 0.8696 0.1329 1.0000 1.0000 1.0000 0.0000
143-AH 0.1208 0.8421 1.0000 1.0000 1.0000 0.8215 0.3050 0.1579 0.8792 0.3712 0.7050 0.5067 0.2154 0.8000 1.0000 0.9487 0.0721
144-AH 0.0909 0.2527 0.4000 0.5000 1.0000 0.4157 0.2462 0.2473 0.9091 0.5923 0.3425 0.2698 0.1888 0.0909 0.6667 0.3649 0.1800
145-AH 0.2368 0.5629 0.7273 0.8904 0.9500 0.6898 0.2124 0.3274 0.7132 0.3079 0.6514 0.6047 0.1756 0.2368 0.9500 0.6898 0.2124
146-AH 0.0526 0.2375 0.5000 1.0000 1.0000 0.6229 0.3894 0.7625 0.9474 0.6251 0.4550 0.2809 0.3620 0.0526 1.0000 0.6229 0.3894
147-AH 0.2545 0.5888 0.7931 0.8750 0.9130 0.7197 0.1687 0.2862 0.6585 0.2344 0.6952 0.6622 0.1403 0.2545 0.9130 0.7197 0.1687
148-AH 0.0000 0.0128 0.0392 0.0698 0.0938 0.0421 0.0288 0.0570 0.0938 0.6856 0.0187 0.0001 0.0248 0.0000 0.0938 0.0421 0.0288
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0400 0.2000 0.2760 0.3636 0.1703 0.1236 0.2360 0.3636 0.7261 0.0338 0.0001 0.1072 0.0000 0.3636 0.1703 0.1236
151-AH 0.0154 0.0547 0.1042 0.2266 0.5000 0.1394 0.1228 0.1719 0.4846 0.8809 0.0956 0.0619 0.0948 0.0154 0.3846 0.1244 0.0992
152-AH 0.1667 0.3460 0.5000 0.5833 1.0000 0.5005 0.2145 0.2374 0.8333 0.4285 0.4563 0.4119 0.1634 0.1667 0.8333 0.4797 0.1916
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.1385 0.2368 0.2812 0.4286 0.9000 0.3374 0.1664 0.1917 0.7615 0.4931 0.3055 0.2785 0.1218 0.1385 0.6000 0.3140 0.1206
155-AH 0.0000 0.0667 0.1667 0.5000 0.5000 0.2186 0.1991 0.4333 0.5000 0.9110 0.0390 0.0001 0.1724 0.0000 0.5000 0.2186 0.1991
156-AH 0.0000 0.0410 0.0990 0.1352 0.2195 0.0905 0.0561 0.0942 0.2195 0.6200 0.0538 0.0002 0.0462 0.0000 0.2195 0.0905 0.0561
157-AH 0.0000 0.2739 0.4958 0.6725 0.8358 0.4558 0.2560 0.3986 0.8358 0.5616 0.1816 0.0001 0.2091 0.0000 0.8358 0.4558 0.2560
158-AH 0.0000 0.2402 0.4828 0.6407 0.8750 0.4331 0.2253 0.4005 0.8750 0.5201 0.2596 0.0002 0.1916 0.0000 0.8750 0.4331 0.2253
159-AH 0.0362 0.1214 0.1401 0.2207 1.0000 0.2925 0.3233 0.0993 0.9638 1.1054 0.1934 0.1463 0.2435 0.0362 0.2472 0.1403 0.0441
160-AH 0.0294 0.0500 0.0909 0.1667 0.3333 0.1212 0.0860 0.1167 0.3039 0.7101 0.0944 0.0747 0.0741 0.0294 0.3333 0.1212 0.0860
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.3952 0.8751 0.9242 0.9613 0.9811 0.8626 0.1665 0.0862 0.5860 0.1930 0.8413 0.8122 0.1141 0.8644 0.9811 0.9305 0.0355
164-AH 0.0000 0.0562 0.1138 0.2161 0.3636 0.1412 0.0958 0.1598 0.3636 0.6786 0.0803 0.0002 0.0808 0.0000 0.3636 0.1412 0.0958
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0077 0.0392 0.1333 0.2625 0.5000 0.1737 0.1522 0.2233 0.4923 0.8761 0.0982 0.0430 0.1245 0.0077 0.5000 0.1737 0.1522
168-AH 0.0000 0.2593 0.3846 0.4936 0.6250 0.3553 0.1914 0.2342 0.6250 0.5387 0.1414 0.0001 0.1583 0.0000 0.6250 0.3553 0.1914
169-AH 0.0000 0.0000 0.0375 0.0728 0.2727 0.0499 0.0603 0.0728 0.2727 1.2094 0.0048 0.0000 0.0404 0.0000 0.1579 0.0406 0.0394
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0620 0.0937 0.1429 0.0637 0.0501 0.0937 0.1429 0.7878 0.0066 0.0000 0.0405 0.0000 0.1429 0.0637 0.0501
172-AH 0.0411 0.0942 0.1333 0.1691 0.3077 0.1415 0.0607 0.0750 0.2666 0.4286 0.1298 0.1181 0.0443 0.0411 0.2500 0.1346 0.0509
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.5000 0.7500 1.0000 1.0000 1.0000 0.8647 0.1574 0.2500 0.5000 0.1820 0.8494 0.8324 0.1407 0.5000 1.0000 0.8647 0.1574
176-AH 0.8636 0.9853 1.0000 1.0000 1.0000 0.9767 0.0446 0.0147 0.1364 0.0457 0.9757 0.9746 0.0354 1.0000 1.0000 1.0000 0.0000
177-AH 0.0236 0.1582 0.3000 0.5966 0.8571 0.3568 0.2505 0.4384 0.8336 0.7022 0.2636 0.1672 0.2094 0.0236 0.8571 0.3568 0.2505
178-AH 0.0000 0.0070 0.0465 0.1779 1.0000 0.1678 0.2906 0.1708 1.0000 1.7314 0.0172 0.0001 0.1994 0.0000 0.3333 0.0695 0.0926
179-AH 0.0264 0.2209 0.7857 1.0000 1.0000 0.5780 0.3875 0.7791 0.9736 0.6704 0.3629 0.1440 0.3606 0.0264 1.0000 0.5780 0.3875
180-AH 0.0700 0.0929 0.5484 0.7530 0.8182 0.4612 0.3003 0.6601 0.7482 0.6511 0.3262 0.2056 0.2761 0.0700 0.8182 0.4612 0.3003
181-AH 0.0951 0.8201 0.8333 0.9360 0.9744 0.7310 0.3099 0.1159 0.8792 0.4239 0.5921 0.3756 0.2382 0.8148 0.9744 0.8798 0.0578
182-AH 0.0435 0.0714 0.1176 0.4000 0.6667 0.2574 0.2367 0.3286 0.6232 0.9195 0.1684 0.1172 0.2053 0.0435 0.6667 0.2574 0.2367
183-AH 0.0000 0.0256 0.0563 0.2795 0.4000 0.1305 0.1405 0.2539 0.4000 1.0765 0.0280 0.0001 0.1231 0.0000 0.4000 0.1305 0.1405
184-AH 0.1026 0.4643 1.0000 1.0000 1.0000 0.7712 0.3170 0.5357 0.8974 0.4110 0.6727 0.5276 0.2769 0.1026 1.0000 0.7712 0.3170
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.7500 0.8333 1.0000 1.0000 1.0000 0.9380 0.0935 0.1667 0.2500 0.0997 0.9332 0.9282 0.0843 0.7500 1.0000 0.9380 0.0935
190-AH 0.0272 0.4135 0.8000 1.0000 1.0000 0.6751 0.3739 0.5865 0.9728 0.5537 0.4557 0.1814 0.3152 0.0272 1.0000 0.6751 0.3739
261
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0203 0.2462 0.4545 0.7500 1.0000 0.5081 0.3517 0.5038 0.9797 0.6922 0.3013 0.1038 0.3009 0.0203 1.0000 0.5081 0.3517
193-AH 0.2500 0.3113 0.4286 0.7500 1.0000 0.5573 0.2817 0.4387 0.7500 0.5054 0.4939 0.4422 0.2542 0.2500 1.0000 0.5573 0.2817
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1721 0.4212 0.5882 0.9190 1.0000 0.6255 0.2724 0.4978 0.8279 0.4355 0.5586 0.4835 0.2355 0.1721 1.0000 0.6255 0.2724
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.3846 0.6115 0.7500 0.8000 0.8333 0.6994 0.1238 0.1885 0.4487 0.1770 0.6867 0.6711 0.0992 0.3846 0.8333 0.6994 0.1238
200-AH 0.0930 0.4444 0.7143 0.8333 1.0000 0.6480 0.2586 0.3889 0.9070 0.3991 0.5721 0.4578 0.2059 0.0930 1.0000 0.6480 0.2586
251-AH 0.3146 0.5035 0.6842 0.8485 0.8966 0.6648 0.1847 0.3450 0.5819 0.2778 0.6365 0.6048 0.1529 0.3146 0.8966 0.6648 0.1847
252-AH 0.0702 0.1992 0.3636 0.5128 0.6667 0.3557 0.1933 0.3136 0.5965 0.5434 0.2876 0.2122 0.1681 0.0702 0.6667 0.3557 0.1933
253-AH 0.0000 0.2113 0.4967 0.5391 0.6462 0.3855 0.2251 0.3278 0.6462 0.5839 0.0752 0.0001 0.1924 0.0000 0.6462 0.3855 0.2251
254-AH 0.0000 0.2208 0.2997 0.3576 0.4227 0.2698 0.1325 0.1368 0.4227 0.4911 0.0845 0.0001 0.1023 0.1028 0.4227 0.3066 0.0908
255-AH 0.0187 0.1405 0.3333 0.5417 0.6667 0.3638 0.2163 0.4012 0.6480 0.5945 0.2789 0.1645 0.1788 0.0187 0.6667 0.3638 0.2163
256-AH 0.0645 0.3652 0.9412 1.0000 1.0000 0.7332 0.3647 0.6348 0.9355 0.4974 0.5645 0.3329 0.3170 0.0645 1.0000 0.7332 0.3647
257-AH 0.1176 0.1793 0.2364 0.3032 0.4000 0.2440 0.0834 0.1239 0.2824 0.3418 0.2304 0.2173 0.0686 0.1176 0.4000 0.2440 0.0834
258-AH 0.0000 0.0048 0.0201 0.1122 0.2727 0.0620 0.0816 0.1074 0.2727 1.3162 0.0070 0.0000 0.0681 0.0000 0.2727 0.0620 0.0816
259-AH 0.0026 0.2000 0.5000 0.7500 1.0000 0.4791 0.3486 0.5500 0.9974 0.7275 0.2785 0.0354 0.2884 0.0026 1.0000 0.4791 0.3486
260-AH 0.1905 0.5786 0.7027 0.7517 0.8286 0.6228 0.2049 0.1731 0.6381 0.3290 0.5741 0.5071 0.1606 0.5417 0.8286 0.7175 0.0733
261-AH 0.0000 0.0233 0.0354 0.0621 0.2800 0.0642 0.0817 0.0388 0.2800 1.2711 0.0098 0.0000 0.0587 0.0000 0.1000 0.0324 0.0269
262-AH 0.0000 0.0820 0.1429 0.3208 0.6182 0.2064 0.1671 0.2387 0.6182 0.8097 0.1119 0.0002 0.1307 0.0000 0.6182 0.2064 0.1671
263-AH 0.0000 0.0269 0.1571 0.2403 0.3043 0.1454 0.1074 0.2134 0.3043 0.7391 0.0290 0.0001 0.0945 0.0000 0.3043 0.1454 0.1074
264-AH 0.0776 0.3226 0.8462 0.9000 1.0000 0.6468 0.3271 0.5774 0.9224 0.5058 0.5258 0.3672 0.2997 0.0776 1.0000 0.6468 0.3271
265-AH 0.0088 0.0221 0.4444 0.6000 0.7500 0.3730 0.2751 0.5779 0.7412 0.7377 0.1812 0.0488 0.2387 0.0088 0.7500 0.3730 0.2751
266-AH 0.0000 0.0183 0.0294 0.0842 0.1818 0.0538 0.0517 0.0659 0.1818 0.9604 0.0123 0.0001 0.0417 0.0000 0.1818 0.0538 0.0517
267-AH 0.0625 0.1324 0.2000 0.3026 0.7500 0.2416 0.1561 0.1701 0.6875 0.6462 0.2044 0.1755 0.1128 0.0625 0.5294 0.2204 0.1172
268-AH 0.0172 0.1867 0.6667 1.0000 1.0000 0.5953 0.3993 0.8133 0.9828 0.6707 0.3430 0.1103 0.3523 0.0172 1.0000 0.5953 0.3993
269-AH 0.0455 0.1818 0.2273 0.2542 0.4000 0.2184 0.0854 0.0723 0.3545 0.3908 0.1975 0.1685 0.0625 0.0755 0.2857 0.2166 0.0527
270-AH 0.0000 0.5185 0.8214 0.9583 1.0000 0.6720 0.3642 0.4398 1.0000 0.5419 0.1675 0.0001 0.2953 0.0000 1.0000 0.6720 0.3642
271-AH 0.0000 0.5197 0.6250 0.7692 0.9167 0.6270 0.1852 0.2495 0.9167 0.2954 0.4110 0.0002 0.1362 0.4545 0.9167 0.6531 0.1341
272-AH 0.0000 0.0872 0.2619 0.3164 0.3529 0.1999 0.1308 0.2292 0.3529 0.6544 0.0723 0.0001 0.1181 0.0000 0.3529 0.1999 0.1308
273-AH 0.0000 0.3736 0.9020 0.9381 1.0000 0.7018 0.3277 0.5644 1.0000 0.4669 0.4124 0.0002 0.2875 0.0000 1.0000 0.7018 0.3277
274-AH 0.0214 0.1067 0.3684 0.5497 0.8889 0.3675 0.2617 0.4430 0.8675 0.7121 0.2500 0.1293 0.2206 0.0214 0.8889 0.3675 0.2617
275-AH 0.0000 0.1618 0.4219 0.5094 0.6111 0.3307 0.2096 0.3476 0.6111 0.6338 0.0656 0.0001 0.1888 0.0000 0.6111 0.3307 0.2096
276-AH 0.2264 0.3234 0.3529 0.5364 0.6316 0.4222 0.1294 0.2130 0.4052 0.3065 0.4033 0.3850 0.1159 0.2264 0.6316 0.4222 0.1294
277-AH 0.0146 0.0370 0.2167 0.2481 0.4800 0.1903 0.1388 0.2111 0.4654 0.7296 0.1192 0.0573 0.1133 0.0146 0.4800 0.1903 0.1388
278-AH 0.0000 0.0143 0.0726 0.3077 0.4400 0.1475 0.1527 0.2935 0.4400 1.0359 0.0234 0.0001 0.1330 0.0000 0.4400 0.1475 0.1527
279-AH 0.0061 0.0383 0.1429 0.3750 0.6667 0.2106 0.2236 0.3367 0.6606 1.0616 0.1034 0.0425 0.1843 0.0061 0.6667 0.2106 0.2236
280-AH 0.0000 0.0143 0.0376 0.0585 0.1146 0.0367 0.0277 0.0442 0.1146 0.7530 0.0100 0.0001 0.0215 0.0000 0.1146 0.0367 0.0277
281-AH 0.0191 0.3719 0.4524 0.5836 0.7391 0.4587 0.1870 0.2117 0.7200 0.4077 0.3721 0.1707 0.1431 0.2833 0.7391 0.4968 0.1386
282-AH 0.0000 0.0531 0.1212 0.2159 0.2642 0.1329 0.0826 0.1628 0.2642 0.6217 0.0571 0.0001 0.0715 0.0000 0.2642 0.1329 0.0826
283-AH 0.0000 0.0329 0.0851 0.5610 1.0000 0.3027 0.3449 0.5281 1.0000 1.1392 0.0925 0.0002 0.3012 0.0000 1.0000 0.3027 0.3449
284-AH 0.3725 0.4694 0.5128 0.5541 0.6400 0.5064 0.0746 0.0848 0.2675 0.1473 0.5010 0.4954 0.0569 0.3725 0.6400 0.5064 0.0746
285-AH 0.0000 0.2911 0.6667 0.9091 0.9706 0.5905 0.3379 0.6180 0.9706 0.5722 0.2141 0.0001 0.2729 0.0000 0.9706 0.5905 0.3379
286-AH 0.0000 0.0066 0.0248 0.0461 0.0857 0.0294 0.0267 0.0395 0.0857 0.9071 0.0117 0.0001 0.0217 0.0000 0.0857 0.0294 0.0267
287-AH 0.1229 0.3608 0.4167 0.5457 0.5745 0.4010 0.1506 0.1849 0.4516 0.3756 0.3629 0.3135 0.1200 0.1229 0.5745 0.4010 0.1506
288-AH 0.0494 0.1061 0.2179 0.3923 0.7949 0.2928 0.2354 0.2862 0.7454 0.8041 0.2132 0.1528 0.1813 0.0494 0.7949 0.2928 0.2354
289-AH 0.0166 0.3385 0.6667 0.9091 1.0000 0.5840 0.3555 0.5706 0.9834 0.6087 0.3325 0.0833 0.3026 0.0166 1.0000 0.5840 0.3555
290-AH 0.0372 0.1368 0.3175 0.3948 0.5532 0.2934 0.1514 0.2581 0.5160 0.5158 0.2423 0.1799 0.1264 0.0372 0.5532 0.2934 0.1514
262
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.1161 0.4097 0.7647 0.9375 1.0000 0.6871 0.3129 0.5278 0.8839 0.4554 0.5821 0.4415 0.2740 0.1161 1.0000 0.6871 0.3129
292-AH 0.0469 0.4750 1.0000 1.0000 1.0000 0.7533 0.3331 0.5250 0.9531 0.4422 0.6271 0.4021 0.2960 0.0469 1.0000 0.7533 0.3331
293-AH 0.2267 0.4500 0.6667 0.7175 0.9333 0.5974 0.1884 0.2675 0.7067 0.3154 0.5634 0.5234 0.1578 0.2267 0.9333 0.5974 0.1884
294-AH 0.0000 0.5897 0.6957 0.7700 0.8333 0.6084 0.2564 0.1803 0.8333 0.4215 0.2510 0.0001 0.1825 0.5610 0.8333 0.7125 0.0829
295-AH 0.0000 0.1660 0.2588 0.3841 0.5676 0.2636 0.1605 0.2181 0.5676 0.6090 0.0796 0.0001 0.1284 0.0000 0.5676 0.2636 0.1605
296-AH 0.0000 0.0810 0.3143 0.5813 0.7500 0.3464 0.2684 0.5003 0.7500 0.7746 0.0579 0.0001 0.2238 0.0000 0.7500 0.3464 0.2684
297-AH 0.0216 0.3777 0.4545 0.8333 1.0000 0.5108 0.2538 0.4556 0.9784 0.4968 0.4214 0.2410 0.2011 0.0216 1.0000 0.5108 0.2538
298-AH 0.0541 0.1659 0.2143 0.2857 0.4138 0.2157 0.0913 0.1198 0.3597 0.4230 0.1940 0.1684 0.0716 0.0541 0.4138 0.2157 0.0913
299-AH 0.1378 0.3986 0.4324 0.5488 0.7561 0.4436 0.1666 0.1502 0.6183 0.3756 0.4060 0.3596 0.1227 0.1988 0.7561 0.4834 0.1336
300-AH 0.0374 0.1945 0.2460 0.2688 0.3208 0.2350 0.0642 0.0743 0.2833 0.2733 0.2208 0.1921 0.0467 0.1429 0.3208 0.2432 0.0504
301-AH 0.0000 0.0000 0.0000 0.0621 0.8750 0.1251 0.2551 0.0621 0.8750 2.0385 0.0002 0.0000 0.1880 0.0000 0.0142 0.0014 0.0043
302-AH 0.0186 0.1973 0.2727 0.3370 0.4348 0.2582 0.1115 0.1397 0.4162 0.4317 0.2167 0.1390 0.0898 0.0186 0.4348 0.2582 0.1115
303-AH 0.0235 0.0837 0.3182 0.4712 0.6364 0.2835 0.2062 0.3875 0.6129 0.7272 0.1847 0.0996 0.1829 0.0235 0.6364 0.2835 0.2062
304-AH 0.0490 0.1264 0.2188 0.3917 0.4615 0.2368 0.1340 0.2653 0.4125 0.5656 0.1981 0.1606 0.1122 0.0490 0.4615 0.2368 0.1340
305-AH 0.0000 0.2012 0.2762 0.3846 0.4839 0.2868 0.1284 0.1834 0.4839 0.4475 0.1837 0.0002 0.0951 0.0000 0.4839 0.2868 0.1284
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0000 0.0444 0.1527 0.3690 0.4925 0.2042 0.1867 0.3246 0.4925 0.9144 0.0257 0.0000 0.1679 0.0000 0.4925 0.2042 0.1867
308-AH 0.7143 1.0000 1.0000 1.0000 1.0000 0.9739 0.0743 0.0000 0.2857 0.0763 0.9708 0.9671 0.0459 1.0000 1.0000 1.0000 0.0000
309-AH 0.0130 0.0488 0.1111 0.1488 0.2500 0.1100 0.0638 0.1000 0.2370 0.5802 0.0883 0.0642 0.0511 0.0130 0.2500 0.1100 0.0638
310-AH 0.0000 0.0412 0.0724 0.1025 0.1709 0.0745 0.0489 0.0613 0.1709 0.6571 0.0192 0.0001 0.0371 0.0000 0.1709 0.0745 0.0489
311-AH 0.0586 0.2642 0.3143 0.4213 0.4681 0.3290 0.1010 0.1571 0.4095 0.3071 0.3078 0.2711 0.0808 0.0586 0.4681 0.3290 0.1010
312-AH 0.0000 0.2977 0.4815 0.6312 0.8667 0.4436 0.2316 0.3335 0.8667 0.5222 0.1840 0.0001 0.1937 0.0000 0.8667 0.4436 0.2316
313-AH 0.0000 0.0188 0.0602 0.1017 0.2857 0.0840 0.0808 0.0829 0.2857 0.9622 0.0384 0.0002 0.0610 0.0000 0.2105 0.0669 0.0574
314-AH 0.0000 0.0632 0.0833 0.1117 0.1452 0.0827 0.0400 0.0485 0.1452 0.4831 0.0523 0.0002 0.0316 0.0000 0.1452 0.0827 0.0400
315-AH 0.0280 0.0927 0.2903 0.4122 0.7561 0.2767 0.2131 0.3196 0.7281 0.7699 0.1840 0.1056 0.1789 0.0280 0.7561 0.2767 0.2131
316-AH 0.0000 0.0731 0.1400 0.1926 0.2609 0.1341 0.0792 0.1195 0.2609 0.5905 0.0439 0.0001 0.0658 0.0000 0.2609 0.1341 0.0792
317-AH 0.1121 0.2503 0.2857 0.3177 0.4194 0.2817 0.0821 0.0674 0.3073 0.2913 0.2676 0.2500 0.0598 0.1967 0.3871 0.2919 0.0485
318-AH 0.0435 0.1143 0.1500 0.2068 0.3636 0.1699 0.0828 0.0925 0.3202 0.4872 0.1523 0.1356 0.0635 0.0435 0.2857 0.1530 0.0614
319-AH 0.0000 0.0257 0.1176 0.4458 0.6667 0.2152 0.2219 0.4201 0.6667 1.0311 0.0239 0.0000 0.1993 0.0000 0.6667 0.2152 0.2219
320-AH 0.0096 0.0176 0.0363 0.0553 0.1273 0.0419 0.0313 0.0377 0.1176 0.7466 0.0327 0.0257 0.0236 0.0096 0.0833 0.0350 0.0208
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0323 0.0431 0.0652 0.0889 0.2000 0.0755 0.0431 0.0458 0.1677 0.5710 0.0660 0.0588 0.0326 0.0323 0.1463 0.0665 0.0305
323-AH 0.0237 0.0697 0.1062 0.1758 0.2449 0.1170 0.0665 0.1061 0.2212 0.5685 0.0974 0.0778 0.0548 0.0237 0.2449 0.1170 0.0665
324-AH 0.0000 0.0000 0.0557 0.5929 0.7500 0.2644 0.2919 0.5929 0.7500 1.1038 0.0134 0.0000 0.2650 0.0000 0.7500 0.2644 0.2919
325-AH 0.2778 0.5598 0.6750 0.7353 0.8125 0.6217 0.1524 0.1755 0.5347 0.2451 0.5986 0.5691 0.1163 0.3171 0.8125 0.6509 0.1191
326-AH 0.0037 0.0907 0.4000 0.6667 1.0000 0.3938 0.3694 0.5760 0.9963 0.9379 0.1531 0.0213 0.3051 0.0037 1.0000 0.3938 0.3694
327-AH 0.0000 0.0123 0.1579 0.4111 1.0000 0.2273 0.2504 0.3988 1.0000 1.1016 0.0221 0.0000 0.2046 0.0000 1.0000 0.2273 0.2504
328-AH 0.0613 0.4723 0.5294 0.5841 0.7857 0.4918 0.1812 0.1117 0.7244 0.3685 0.4279 0.3081 0.1254 0.4444 0.6957 0.5506 0.0638
329-AH 0.5385 0.7167 0.7778 0.8785 1.0000 0.7800 0.1187 0.1618 0.4615 0.1522 0.7709 0.7615 0.0880 0.5385 1.0000 0.7800 0.1187
330-AH 0.0432 0.3103 0.7660 0.8311 0.9286 0.6166 0.3062 0.5208 0.8854 0.4966 0.4746 0.2637 0.2632 0.0432 0.9286 0.6166 0.3062
331-AH 0.0218 0.2369 0.2703 0.3478 0.5833 0.2797 0.1484 0.1109 0.5615 0.5305 0.2213 0.1349 0.1072 0.0933 0.4667 0.2879 0.1001
332-AH 0.0000 0.0000 0.2308 0.4444 0.6667 0.2610 0.2042 0.4444 0.6667 0.7826 0.0181 0.0000 0.1709 0.0000 0.6667 0.2610 0.2042
333-AH 0.0455 0.9500 1.0000 1.0000 1.0000 0.8305 0.3326 0.0500 0.9545 0.4005 0.6684 0.3413 0.2576 1.0000 1.0000 1.0000 0.0000
334-AH 0.0968 0.2107 0.4000 0.5000 1.0000 0.4223 0.2477 0.2893 0.9032 0.5866 0.3511 0.2825 0.1946 0.0968 0.6667 0.3721 0.1844
335-AH 0.0143 0.0671 0.1321 0.1959 0.4615 0.1521 0.1128 0.1287 0.4472 0.7418 0.1111 0.0720 0.0841 0.0143 0.3684 0.1392 0.0945
336-AH 0.0000 0.0000 0.0174 0.0532 0.1860 0.0349 0.0464 0.0532 0.1860 1.3281 0.0012 0.0000 0.0346 0.0000 0.1111 0.0286 0.0348
337-AH 0.0000 0.6024 0.7273 0.8489 1.0000 0.6487 0.3122 0.2465 1.0000 0.4812 0.2194 0.0001 0.2265 0.5714 1.0000 0.7712 0.1356
338-AH 0.0374 0.1976 0.8000 1.0000 1.0000 0.6524 0.3801 0.8024 0.9626 0.5827 0.4519 0.2124 0.3398 0.0374 1.0000 0.6524 0.3801
339-AH 0.0719 0.4486 0.5714 0.8638 1.0000 0.6113 0.2805 0.4152 0.9281 0.4589 0.5219 0.3785 0.2356 0.0719 1.0000 0.6113 0.2805
340-AH 0.0276 0.3561 0.4286 0.5000 1.0000 0.4632 0.2108 0.1439 0.9724 0.4551 0.4028 0.2691 0.1441 0.1923 0.6667 0.4342 0.1159
263
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9657 0.1187 0.0000 0.4286 0.1229 0.9562 0.9434 0.0631 1.0000 1.0000 1.0000 0.0000
342-AH 0.1472 0.5417 0.6420 0.7500 0.8600 0.6016 0.1808 0.2083 0.7128 0.3005 0.5648 0.5108 0.1384 0.2830 0.8600 0.6205 0.1573
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0309 0.3168 0.4286 0.5150 0.7778 0.4349 0.1993 0.1982 0.7468 0.4582 0.3734 0.2596 0.1483 0.0309 0.7778 0.4349 0.1993
345-AH 0.0000 0.0294 0.0952 0.2000 0.5714 0.1239 0.1261 0.1706 0.5714 1.0170 0.0236 0.0001 0.0900 0.0000 0.2667 0.1053 0.0867
346-AH 0.0214 0.0594 0.0769 0.1390 0.1818 0.0947 0.0443 0.0796 0.1605 0.4682 0.0841 0.0728 0.0368 0.0214 0.1818 0.0947 0.0443
347-AH 0.0156 0.0578 0.0769 0.1271 0.1562 0.0921 0.0432 0.0693 0.1406 0.4688 0.0800 0.0647 0.0382 0.0156 0.1562 0.0921 0.0432
348-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6454 0.4635 0.9936 1.0000 0.7182 0.0569 0.0000 0.4272 0.0000 1.0000 0.6454 0.4635
349-AH 0.1833 0.3411 0.3929 0.4804 0.5500 0.3963 0.0995 0.1392 0.3667 0.2510 0.3826 0.3667 0.0757 0.1833 0.5500 0.3963 0.0995
350-AH 0.1750 0.4405 0.8000 1.0000 1.0000 0.7098 0.3048 0.5595 0.8250 0.4293 0.6183 0.5027 0.2584 0.1750 1.0000 0.7098 0.3048
264
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.5000 0.9500 1.0000 1.0000 1.0000 0.9126 0.1695 0.0500 0.5000 0.1858 0.8934 0.8696 0.1329 1.0000 1.0000 1.0000 0.0000
143-AH 0.0855 0.5841 0.9130 1.0000 1.0000 0.7562 0.3237 0.4159 0.9145 0.4280 0.6253 0.4173 0.2677 0.0855 1.0000 0.7562 0.3237
144-AH 0.0909 0.2527 0.4000 0.5000 1.0000 0.4157 0.2462 0.2473 0.9091 0.5923 0.3425 0.2698 0.1888 0.0909 0.6667 0.3649 0.1800
145-AH 0.2062 0.4114 0.5429 0.7209 0.9500 0.5655 0.2213 0.3095 0.7438 0.3914 0.5217 0.4767 0.1820 0.2062 0.9500 0.5655 0.2213
146-AH 0.0526 0.2375 0.5000 1.0000 1.0000 0.6229 0.3894 0.7625 0.9474 0.6251 0.4550 0.2809 0.3620 0.0526 1.0000 0.6229 0.3894
147-AH 0.2545 0.5352 0.7429 0.7773 0.8667 0.6622 0.1712 0.2421 0.6121 0.2586 0.6362 0.6043 0.1464 0.2545 0.8667 0.6622 0.1712
148-AH 0.0000 0.0128 0.0392 0.0698 0.0938 0.0421 0.0288 0.0570 0.0938 0.6856 0.0187 0.0001 0.0248 0.0000 0.0938 0.0421 0.0288
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0265 0.1111 0.2381 0.3077 0.1327 0.1057 0.2116 0.3077 0.7968 0.0255 0.0001 0.0942 0.0000 0.3077 0.1327 0.1057
151-AH 0.0108 0.0251 0.0638 0.1044 0.2188 0.0770 0.0576 0.0792 0.2080 0.7491 0.0557 0.0374 0.0449 0.0108 0.2188 0.0770 0.0576
152-AH 0.0921 0.2295 0.4000 0.5000 0.7500 0.3883 0.1822 0.2705 0.6579 0.4692 0.3398 0.2846 0.1463 0.0921 0.7500 0.3883 0.1822
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.0866 0.1374 0.1618 0.2073 0.2750 0.1739 0.0517 0.0699 0.1884 0.2971 0.1665 0.1593 0.0431 0.0866 0.2750 0.1739 0.0517
155-AH 0.0000 0.0667 0.1667 0.5000 0.5000 0.2186 0.1991 0.4333 0.5000 0.9110 0.0390 0.0001 0.1724 0.0000 0.5000 0.2186 0.1991
156-AH 0.0000 0.0367 0.0809 0.1125 0.2000 0.0801 0.0520 0.0758 0.2000 0.6483 0.0471 0.0002 0.0431 0.0000 0.2000 0.0801 0.0520
157-AH 0.0000 0.2560 0.3968 0.6505 0.8068 0.3987 0.2519 0.3944 0.8068 0.6318 0.1098 0.0001 0.1999 0.0000 0.8068 0.3987 0.2519
158-AH 0.0000 0.2115 0.3051 0.4995 0.6538 0.3463 0.1843 0.2880 0.6538 0.5321 0.2104 0.0002 0.1552 0.0000 0.6538 0.3463 0.1843
159-AH 0.0000 0.1077 0.1304 0.2154 0.8529 0.2495 0.2639 0.1077 0.8529 1.0574 0.1244 0.0002 0.1982 0.0000 0.2373 0.1257 0.0466
160-AH 0.0294 0.0500 0.0909 0.1667 0.3333 0.1212 0.0860 0.1167 0.3039 0.7101 0.0944 0.0747 0.0741 0.0294 0.3333 0.1212 0.0860
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.2669 0.8158 0.9028 0.9303 0.9538 0.8106 0.2094 0.1145 0.6869 0.2583 0.7703 0.7101 0.1475 0.7821 0.9538 0.8971 0.0488
164-AH 0.0000 0.0516 0.1138 0.1786 0.2800 0.1249 0.0818 0.1271 0.2800 0.6553 0.0722 0.0002 0.0705 0.0000 0.2800 0.1249 0.0818
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0057 0.0274 0.0606 0.1317 0.3333 0.1010 0.0996 0.1043 0.3277 0.9858 0.0587 0.0309 0.0772 0.0057 0.2500 0.0724 0.0643
168-AH 0.0000 0.2261 0.3846 0.4888 0.6250 0.3460 0.1963 0.2628 0.6250 0.5674 0.1340 0.0001 0.1669 0.0000 0.6250 0.3460 0.1963
169-AH 0.0000 0.0000 0.0375 0.0728 0.2727 0.0499 0.0603 0.0728 0.2727 1.2094 0.0048 0.0000 0.0404 0.0000 0.1579 0.0406 0.0394
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0532 0.0823 0.1058 0.0516 0.0391 0.0823 0.1058 0.7577 0.0057 0.0000 0.0322 0.0000 0.1058 0.0516 0.0391
172-AH 0.0328 0.0905 0.1081 0.1439 0.3077 0.1276 0.0595 0.0534 0.2749 0.4663 0.1161 0.1048 0.0435 0.0328 0.2000 0.1145 0.0391
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.3636 0.6667 0.8333 1.0000 1.0000 0.8401 0.1800 0.3333 0.6364 0.2143 0.8179 0.7907 0.1535 0.3636 1.0000 0.8401 0.1800
176-AH 0.7500 0.8622 1.0000 1.0000 1.0000 0.9342 0.0862 0.1378 0.2500 0.0922 0.9301 0.9259 0.0754 0.7500 1.0000 0.9342 0.0862
177-AH 0.0236 0.1421 0.2692 0.5096 0.7778 0.3143 0.2150 0.3675 0.7542 0.6840 0.2382 0.1584 0.1774 0.0236 0.7778 0.3143 0.2150
178-AH 0.0000 0.0070 0.0465 0.1779 1.0000 0.1678 0.2906 0.1708 1.0000 1.7314 0.0172 0.0001 0.1994 0.0000 0.3333 0.0695 0.0926
179-AH 0.0225 0.1708 0.6667 0.9531 1.0000 0.5468 0.3997 0.7823 0.9775 0.7310 0.3137 0.1142 0.3726 0.0225 1.0000 0.5468 0.3997
180-AH 0.0620 0.0918 0.2899 0.6853 0.7879 0.4028 0.2902 0.5935 0.7259 0.7205 0.2768 0.1785 0.2757 0.0620 0.7879 0.4028 0.2902
181-AH 0.0640 0.8101 0.8276 0.8564 0.9038 0.6983 0.3054 0.0463 0.8398 0.4374 0.5401 0.2933 0.2372 0.8095 0.9038 0.8465 0.0291
182-AH 0.0435 0.0714 0.1176 0.4000 0.6667 0.2574 0.2367 0.3286 0.6232 0.9195 0.1684 0.1172 0.2053 0.0435 0.6667 0.2574 0.2367
183-AH 0.0000 0.0256 0.0563 0.2795 0.4000 0.1305 0.1405 0.2539 0.4000 1.0765 0.0280 0.0001 0.1231 0.0000 0.4000 0.1305 0.1405
184-AH 0.0255 0.4018 0.7500 0.8750 1.0000 0.6875 0.2890 0.4732 0.9745 0.4203 0.5763 0.3119 0.2392 0.0255 1.0000 0.6875 0.2890
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.5714 0.8333 1.0000 1.0000 1.0000 0.9309 0.1132 0.1667 0.4286 0.1216 0.9231 0.9141 0.0940 0.8000 1.0000 0.9458 0.0867
190-AH 0.0000 0.1891 0.5556 1.0000 1.0000 0.5651 0.3985 0.8109 1.0000 0.7052 0.1379 0.0001 0.3608 0.0000 1.0000 0.5651 0.3985
265
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0203 0.2462 0.4545 0.7500 1.0000 0.5081 0.3517 0.5038 0.9797 0.6922 0.3013 0.1038 0.3009 0.0203 1.0000 0.5081 0.3517
193-AH 0.0056 0.2658 0.3077 0.3647 0.8000 0.3091 0.1816 0.0989 0.7944 0.5874 0.1873 0.0393 0.1162 0.2500 0.4444 0.3198 0.0521
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1677 0.3106 0.5208 0.7812 1.0000 0.5504 0.2667 0.4707 0.8323 0.4845 0.4822 0.4137 0.2284 0.1677 1.0000 0.5504 0.2667
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.3750 0.5833 0.7143 0.7500 0.8333 0.6533 0.1301 0.1667 0.4583 0.1991 0.6385 0.6211 0.1038 0.3750 0.8333 0.6533 0.1301
200-AH 0.0847 0.3674 0.6250 0.8333 1.0000 0.5757 0.2814 0.4659 0.9153 0.4888 0.4778 0.3539 0.2329 0.0847 1.0000 0.5757 0.2814
251-AH 0.1765 0.3626 0.5077 0.7375 0.7907 0.5149 0.2033 0.3749 0.6142 0.3949 0.4707 0.4227 0.1776 0.1765 0.7907 0.5149 0.2033
252-AH 0.0518 0.1951 0.3261 0.4879 0.5357 0.3124 0.1712 0.2928 0.4839 0.5479 0.2473 0.1716 0.1516 0.0518 0.5357 0.3124 0.1712
253-AH 0.0000 0.1460 0.3558 0.4154 0.5549 0.2871 0.1838 0.2694 0.5549 0.6402 0.0294 0.0000 0.1530 0.0000 0.5549 0.2871 0.1838
254-AH 0.0000 0.1656 0.2407 0.3029 0.3952 0.2228 0.1319 0.1373 0.3952 0.5921 0.0350 0.0000 0.1025 0.0000 0.3952 0.2228 0.1319
255-AH 0.0187 0.1405 0.3333 0.5417 0.6667 0.3638 0.2163 0.4012 0.6480 0.5945 0.2789 0.1645 0.1788 0.0187 0.6667 0.3638 0.2163
256-AH 0.0506 0.3059 0.7222 1.0000 1.0000 0.6431 0.3510 0.6941 0.9494 0.5458 0.4792 0.2698 0.2968 0.0506 1.0000 0.6431 0.3510
257-AH 0.1009 0.1630 0.1951 0.2376 0.3333 0.2004 0.0678 0.0746 0.2324 0.3382 0.1891 0.1779 0.0532 0.1009 0.3333 0.2004 0.0678
258-AH 0.0000 0.0048 0.0201 0.1122 0.2727 0.0620 0.0816 0.1074 0.2727 1.3162 0.0070 0.0000 0.0681 0.0000 0.2727 0.0620 0.0816
259-AH 0.0026 0.2000 0.5000 0.7500 1.0000 0.4791 0.3486 0.5500 0.9974 0.7275 0.2785 0.0354 0.2884 0.0026 1.0000 0.4791 0.3486
260-AH 0.0708 0.5102 0.6531 0.7084 0.7907 0.5642 0.2166 0.1982 0.7199 0.3838 0.4872 0.3507 0.1671 0.2286 0.7907 0.6071 0.1649
261-AH 0.0000 0.0000 0.0282 0.0398 0.1104 0.0263 0.0308 0.0398 0.1104 1.1710 0.0011 0.0000 0.0239 0.0000 0.0787 0.0228 0.0259
262-AH 0.0000 0.0327 0.1138 0.2922 0.5443 0.1529 0.1557 0.2596 0.5443 1.0181 0.0153 0.0000 0.1240 0.0000 0.5443 0.1529 0.1557
263-AH 0.0000 0.0000 0.1404 0.2248 0.2727 0.1252 0.0994 0.2248 0.2727 0.7944 0.0077 0.0000 0.0866 0.0000 0.2727 0.1252 0.0994
264-AH 0.0380 0.2464 0.7333 0.8115 1.0000 0.5748 0.3282 0.5651 0.9620 0.5710 0.4306 0.2402 0.2974 0.0380 1.0000 0.5748 0.3282
265-AH 0.0088 0.0221 0.4444 0.6000 0.7500 0.3730 0.2751 0.5779 0.7412 0.7377 0.1812 0.0488 0.2387 0.0088 0.7500 0.3730 0.2751
266-AH 0.0000 0.0183 0.0294 0.0842 0.1818 0.0538 0.0517 0.0659 0.1818 0.9604 0.0123 0.0001 0.0417 0.0000 0.1818 0.0538 0.0517
267-AH 0.0440 0.0838 0.1594 0.2102 0.3438 0.1555 0.0778 0.1265 0.2998 0.5001 0.1350 0.1141 0.0630 0.0440 0.3438 0.1555 0.0778
268-AH 0.0172 0.1867 0.6667 1.0000 1.0000 0.5953 0.3993 0.8133 0.9828 0.6707 0.3430 0.1103 0.3523 0.0172 1.0000 0.5953 0.3993
269-AH 0.0455 0.1364 0.1562 0.2175 0.3846 0.1728 0.0754 0.0812 0.3392 0.4363 0.1559 0.1371 0.0572 0.0455 0.2778 0.1639 0.0624
270-AH 0.0000 0.2134 0.4603 0.8298 0.8571 0.4960 0.3301 0.6164 0.8571 0.6655 0.1194 0.0001 0.2896 0.0000 0.8571 0.4960 0.3301
271-AH 0.0000 0.4950 0.5769 0.7100 0.8000 0.5649 0.1746 0.2150 0.8000 0.3091 0.3698 0.0002 0.1274 0.3158 0.8000 0.5884 0.1317
272-AH 0.0000 0.0841 0.2581 0.3078 0.3500 0.1922 0.1272 0.2237 0.3500 0.6617 0.0668 0.0001 0.1137 0.0000 0.3500 0.1922 0.1272
273-AH 0.0000 0.3460 0.8148 0.9301 0.9828 0.6546 0.3457 0.5841 0.9828 0.5282 0.3518 0.0002 0.3061 0.0000 0.9828 0.6546 0.3457
274-AH 0.0000 0.1065 0.3103 0.4586 0.8889 0.3263 0.2531 0.3521 0.8889 0.7756 0.1170 0.0001 0.1975 0.0000 0.8889 0.3263 0.2531
275-AH 0.0000 0.1366 0.3551 0.4524 0.6111 0.2988 0.1998 0.3157 0.6111 0.6689 0.0589 0.0001 0.1735 0.0000 0.6111 0.2988 0.1998
276-AH 0.1442 0.2571 0.3333 0.4996 0.5424 0.3586 0.1357 0.2425 0.3981 0.3783 0.3315 0.3031 0.1179 0.1442 0.5424 0.3586 0.1357
277-AH 0.0000 0.0177 0.1646 0.2202 0.3590 0.1472 0.1112 0.2025 0.3590 0.7554 0.0162 0.0000 0.0943 0.0000 0.3590 0.1472 0.1112
278-AH 0.0000 0.0130 0.0449 0.1875 0.4400 0.1026 0.1300 0.1745 0.4400 1.2680 0.0117 0.0000 0.1085 0.0000 0.4400 0.1026 0.1300
279-AH 0.0061 0.0383 0.1429 0.3750 0.6667 0.2106 0.2236 0.3367 0.6606 1.0616 0.1034 0.0425 0.1843 0.0061 0.6667 0.2106 0.2236
280-AH 0.0000 0.0000 0.0304 0.0439 0.0688 0.0258 0.0225 0.0439 0.0688 0.8741 0.0020 0.0000 0.0198 0.0000 0.0688 0.0258 0.0225
281-AH 0.0000 0.3193 0.3818 0.5462 0.6765 0.4124 0.1852 0.2269 0.6765 0.4489 0.1815 0.0001 0.1468 0.0000 0.6765 0.4124 0.1852
282-AH 0.0000 0.0449 0.0934 0.1475 0.2105 0.0956 0.0588 0.1025 0.2105 0.6156 0.0422 0.0001 0.0500 0.0000 0.2105 0.0956 0.0588
283-AH 0.0000 0.0221 0.0717 0.5460 1.0000 0.2746 0.3441 0.5239 1.0000 1.2528 0.0306 0.0001 0.2956 0.0000 1.0000 0.2746 0.3441
284-AH 0.3725 0.4694 0.4889 0.5257 0.6129 0.4878 0.0615 0.0563 0.2404 0.1260 0.4839 0.4799 0.0445 0.3878 0.5938 0.4874 0.0530
285-AH 0.0000 0.2719 0.6667 0.8333 0.9500 0.5646 0.3329 0.5615 0.9500 0.5897 0.1930 0.0001 0.2712 0.0000 0.9500 0.5646 0.3329
286-AH 0.0000 0.0046 0.0133 0.0400 0.0857 0.0230 0.0260 0.0354 0.0857 1.1337 0.0033 0.0000 0.0210 0.0000 0.0857 0.0230 0.0260
287-AH 0.1029 0.3218 0.3662 0.5457 0.5745 0.3869 0.1559 0.2238 0.4716 0.4029 0.3450 0.2913 0.1274 0.1029 0.5745 0.3869 0.1559
288-AH 0.0000 0.0641 0.1802 0.2767 0.5846 0.2068 0.1813 0.2126 0.5846 0.8767 0.0747 0.0001 0.1409 0.0000 0.5846 0.2068 0.1813
289-AH 0.0166 0.3276 0.6667 0.9091 1.0000 0.5670 0.3424 0.5815 0.9834 0.6039 0.3254 0.0831 0.2887 0.0166 1.0000 0.5670 0.3424
290-AH 0.0280 0.1313 0.2294 0.3453 0.5532 0.2515 0.1418 0.2140 0.5252 0.5640 0.2048 0.1505 0.1171 0.0280 0.5532 0.2515 0.1418
266
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0829 0.2041 0.6522 0.9129 0.9375 0.5930 0.3304 0.7088 0.8546 0.5572 0.4645 0.3223 0.2919 0.0829 0.9375 0.5930 0.3304
292-AH 0.0469 0.4750 1.0000 1.0000 1.0000 0.7533 0.3331 0.5250 0.9531 0.4422 0.6271 0.4021 0.2960 0.0469 1.0000 0.7533 0.3331
293-AH 0.2169 0.3983 0.5758 0.6700 0.8095 0.5388 0.1835 0.2717 0.5927 0.3406 0.5017 0.4584 0.1511 0.2169 0.8095 0.5388 0.1835
294-AH 0.0000 0.5897 0.6957 0.7184 0.8333 0.5871 0.2641 0.1287 0.8333 0.4499 0.2198 0.0001 0.1863 0.5610 0.8333 0.6961 0.0749
295-AH 0.0000 0.0789 0.1313 0.3085 0.4576 0.1983 0.1446 0.2296 0.4576 0.7295 0.0571 0.0001 0.1303 0.0000 0.4576 0.1983 0.1446
296-AH 0.0000 0.0355 0.2979 0.5714 0.7500 0.3296 0.2691 0.5359 0.7500 0.8165 0.0389 0.0000 0.2249 0.0000 0.7500 0.3296 0.2691
297-AH 0.0000 0.0503 0.1034 0.1500 0.5000 0.1416 0.1482 0.0997 0.5000 1.0468 0.0605 0.0002 0.1075 0.0000 0.2727 0.0847 0.0655
298-AH 0.0443 0.1392 0.1753 0.2144 0.3571 0.1802 0.0829 0.0752 0.3129 0.4598 0.1601 0.1376 0.0607 0.0443 0.2885 0.1652 0.0674
299-AH 0.0997 0.3224 0.4021 0.5096 0.6500 0.3888 0.1537 0.1872 0.5503 0.3953 0.3491 0.2967 0.1179 0.0997 0.6500 0.3888 0.1537
300-AH 0.0318 0.1804 0.2121 0.2529 0.2763 0.2065 0.0559 0.0725 0.2445 0.2708 0.1939 0.1677 0.0415 0.1235 0.2763 0.2138 0.0434
301-AH 0.0000 0.0000 0.0000 0.0412 0.6667 0.0908 0.1925 0.0412 0.6667 2.1205 0.0002 0.0000 0.1363 0.0000 0.0126 0.0012 0.0035
302-AH 0.0152 0.1759 0.2368 0.3143 0.4348 0.2376 0.1058 0.1384 0.4196 0.4453 0.1981 0.1243 0.0818 0.0152 0.4348 0.2376 0.1058
303-AH 0.0235 0.0655 0.2000 0.3333 0.6364 0.2311 0.1885 0.2678 0.6129 0.8159 0.1469 0.0826 0.1587 0.0235 0.6364 0.2311 0.1885
304-AH 0.0132 0.0312 0.0656 0.1174 0.3333 0.0972 0.0968 0.0861 0.3201 0.9955 0.0638 0.0433 0.0706 0.0132 0.2000 0.0661 0.0474
305-AH 0.0000 0.1549 0.2214 0.2959 0.4714 0.2439 0.1264 0.1410 0.4714 0.5182 0.1534 0.0002 0.0961 0.0000 0.4714 0.2439 0.1264
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0000 0.0000 0.1223 0.3111 0.4719 0.1744 0.1759 0.3111 0.4719 1.0086 0.0084 0.0000 0.1554 0.0000 0.4719 0.1744 0.1759
308-AH 0.6667 0.7944 1.0000 1.0000 1.0000 0.9126 0.1156 0.2056 0.3333 0.1267 0.9051 0.8971 0.1048 0.6667 1.0000 0.9126 0.1156
309-AH 0.0130 0.0431 0.0676 0.1028 0.1429 0.0694 0.0381 0.0597 0.1299 0.5499 0.0573 0.0444 0.0304 0.0130 0.1429 0.0694 0.0381
310-AH 0.0000 0.0000 0.0505 0.0836 0.1416 0.0542 0.0439 0.0836 0.1416 0.8095 0.0058 0.0000 0.0356 0.0000 0.1416 0.0542 0.0439
311-AH 0.0586 0.1875 0.2348 0.3604 0.4091 0.2598 0.0985 0.1729 0.3505 0.3793 0.2384 0.2115 0.0851 0.0586 0.4091 0.2598 0.0985
312-AH 0.0000 0.2977 0.4545 0.5983 0.6957 0.4115 0.2159 0.3006 0.6957 0.5248 0.1671 0.0001 0.1789 0.0000 0.6957 0.4115 0.2159
313-AH 0.0000 0.0159 0.0500 0.0740 0.2000 0.0548 0.0491 0.0580 0.2000 0.8967 0.0098 0.0000 0.0380 0.0000 0.1299 0.0487 0.0395
314-AH 0.0000 0.0597 0.0833 0.1095 0.1452 0.0815 0.0408 0.0497 0.1452 0.5011 0.0393 0.0001 0.0323 0.0000 0.1452 0.0815 0.0408
315-AH 0.0000 0.0808 0.2190 0.3021 0.7561 0.2280 0.2012 0.2213 0.7561 0.8825 0.0426 0.0001 0.1535 0.0000 0.5849 0.2060 0.1721
316-AH 0.0000 0.0485 0.1320 0.1761 0.2469 0.1133 0.0806 0.1276 0.2469 0.7118 0.0140 0.0000 0.0681 0.0000 0.2469 0.1133 0.0806
317-AH 0.0988 0.1452 0.2192 0.2576 0.3488 0.2123 0.0789 0.1124 0.2501 0.3719 0.1978 0.1835 0.0667 0.0988 0.3488 0.2123 0.0789
318-AH 0.0391 0.0930 0.1268 0.1892 0.2941 0.1494 0.0758 0.0961 0.2551 0.5071 0.1311 0.1134 0.0615 0.0391 0.2941 0.1494 0.0758
319-AH 0.0000 0.0235 0.0546 0.3778 0.6471 0.1819 0.2047 0.3542 0.6471 1.1256 0.0193 0.0000 0.1824 0.0000 0.6471 0.1819 0.2047
320-AH 0.0082 0.0169 0.0275 0.0486 0.0650 0.0314 0.0188 0.0317 0.0569 0.5980 0.0261 0.0216 0.0157 0.0082 0.0650 0.0314 0.0188
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0215 0.0335 0.0505 0.0784 0.1194 0.0593 0.0281 0.0449 0.0979 0.4738 0.0530 0.0472 0.0240 0.0215 0.1194 0.0593 0.0281
323-AH 0.0163 0.0554 0.0718 0.1319 0.2241 0.0927 0.0542 0.0765 0.2078 0.5851 0.0777 0.0626 0.0438 0.0163 0.2241 0.0927 0.0542
324-AH 0.0000 0.0000 0.0000 0.4842 0.6852 0.2030 0.2638 0.4842 0.6852 1.2994 0.0015 0.0000 0.2419 0.0000 0.6852 0.2030 0.2638
325-AH 0.2071 0.5121 0.5849 0.6660 0.6909 0.5511 0.1410 0.1539 0.4838 0.2558 0.5279 0.4971 0.1067 0.2832 0.6909 0.5784 0.1089
326-AH 0.0037 0.0907 0.4000 0.6667 1.0000 0.3938 0.3694 0.5760 0.9963 0.9379 0.1531 0.0213 0.3051 0.0037 1.0000 0.3938 0.3694
327-AH 0.0000 0.0123 0.1579 0.4111 1.0000 0.2273 0.2504 0.3988 1.0000 1.1016 0.0221 0.0000 0.2046 0.0000 1.0000 0.2273 0.2504
328-AH 0.0519 0.4444 0.5294 0.5841 0.7500 0.4824 0.1851 0.1396 0.6981 0.3837 0.4123 0.2824 0.1318 0.4167 0.7500 0.5541 0.0826
329-AH 0.4348 0.6563 0.7500 0.8182 0.9000 0.7250 0.1114 0.1619 0.4652 0.1537 0.7159 0.7056 0.0872 0.4348 0.9000 0.7250 0.1114
330-AH 0.0432 0.2436 0.7500 0.7870 0.9286 0.5723 0.3050 0.5434 0.8854 0.5328 0.4295 0.2401 0.2670 0.0432 0.9286 0.5723 0.3050
331-AH 0.0174 0.1374 0.2564 0.2946 0.5294 0.2393 0.1279 0.1572 0.5120 0.5347 0.1863 0.1099 0.0938 0.0174 0.5294 0.2393 0.1279
332-AH 0.0000 0.0000 0.2308 0.4444 0.6667 0.2610 0.2042 0.4444 0.6667 0.7826 0.0181 0.0000 0.1709 0.0000 0.6667 0.2610 0.2042
333-AH 0.0127 0.9500 1.0000 1.0000 1.0000 0.8175 0.3574 0.0500 0.9873 0.4372 0.5778 0.1352 0.2774 1.0000 1.0000 1.0000 0.0000
334-AH 0.0882 0.1579 0.2143 0.3333 0.3750 0.2289 0.0855 0.1754 0.2868 0.3734 0.2122 0.1945 0.0712 0.0882 0.3750 0.2289 0.0855
335-AH 0.0143 0.0671 0.0988 0.1298 0.2963 0.1095 0.0735 0.0627 0.2820 0.6708 0.0846 0.0593 0.0530 0.0143 0.2162 0.0890 0.0488
336-AH 0.0000 0.0000 0.0156 0.0322 0.1011 0.0209 0.0272 0.0322 0.1011 1.3035 0.0007 0.0000 0.0211 0.0000 0.0769 0.0175 0.0220
337-AH 0.0000 0.5958 0.7222 0.8489 1.0000 0.6356 0.3108 0.2531 1.0000 0.4890 0.1236 0.0001 0.2274 0.5000 1.0000 0.7566 0.1405
338-AH 0.0287 0.1917 0.7143 1.0000 1.0000 0.6186 0.3707 0.8083 0.9713 0.5992 0.4210 0.1903 0.3224 0.0287 1.0000 0.6186 0.3707
339-AH 0.0719 0.4369 0.5263 0.7853 1.0000 0.5726 0.2548 0.3483 0.9281 0.4449 0.4924 0.3621 0.2097 0.0719 1.0000 0.5726 0.2548
340-AH 0.0276 0.3333 0.4286 0.5000 0.7500 0.4144 0.1539 0.1667 0.7224 0.3712 0.3695 0.2571 0.1084 0.1923 0.6000 0.4015 0.0950
267
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9657 0.1187 0.0000 0.4286 0.1229 0.9562 0.9434 0.0631 1.0000 1.0000 1.0000 0.0000
342-AH 0.1212 0.5134 0.6000 0.7365 0.8250 0.5549 0.2097 0.2231 0.7038 0.3778 0.4932 0.4013 0.1589 0.2202 0.8250 0.6129 0.1447
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0309 0.2854 0.3953 0.4591 0.7727 0.3892 0.1892 0.1737 0.7418 0.4862 0.3309 0.2353 0.1415 0.0309 0.7083 0.3564 0.1581
345-AH 0.0000 0.0182 0.0667 0.1522 0.3846 0.0925 0.0893 0.1340 0.3846 0.9653 0.0185 0.0001 0.0690 0.0000 0.1944 0.0803 0.0668
346-AH 0.0157 0.0594 0.0769 0.1152 0.1818 0.0896 0.0398 0.0558 0.1661 0.4445 0.0799 0.0678 0.0329 0.0157 0.1818 0.0896 0.0398
347-AH 0.0156 0.0390 0.0577 0.0647 0.1562 0.0621 0.0334 0.0257 0.1406 0.5373 0.0545 0.0474 0.0227 0.0156 0.0714 0.0496 0.0158
348-AH 0.0000 0.0064 1.0000 1.0000 1.0000 0.6454 0.4635 0.9936 1.0000 0.7182 0.0569 0.0000 0.4272 0.0000 1.0000 0.6454 0.4635
349-AH 0.1522 0.3057 0.3182 0.3667 0.5000 0.3330 0.0755 0.0610 0.3478 0.2268 0.3240 0.3138 0.0535 0.2154 0.4516 0.3336 0.0589
350-AH 0.1562 0.4286 0.7143 0.8571 1.0000 0.6615 0.2857 0.4286 0.8438 0.4320 0.5749 0.4637 0.2366 0.1562 1.0000 0.6615 0.2857
268
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.1250 0.7143 1.0000 1.0000 1.0000 0.8310 0.3048 0.2857 0.8750 0.3668 0.7255 0.5435 0.2434 0.3846 1.0000 0.9233 0.1776
143-AH 0.0424 0.5294 0.8966 1.0000 1.0000 0.7211 0.3396 0.4706 0.9576 0.4709 0.5425 0.2635 0.2839 0.0424 1.0000 0.7211 0.3396
144-AH 0.0909 0.2527 0.4000 0.5000 1.0000 0.4157 0.2462 0.2473 0.9091 0.5923 0.3425 0.2698 0.1888 0.0909 0.6667 0.3649 0.1800
145-AH 0.1067 0.2244 0.3898 0.5409 0.8214 0.4045 0.2240 0.3164 0.7148 0.5539 0.3477 0.2975 0.1789 0.1067 0.8214 0.4045 0.2240
146-AH 0.0000 0.0040 0.0098 0.0129 0.1000 0.0137 0.0200 0.0090 0.1000 1.4538 0.0054 0.0001 0.0106 0.0000 0.0165 0.0079 0.0050
147-AH 0.1732 0.4710 0.5781 0.6818 0.8205 0.5719 0.1680 0.2108 0.6473 0.2938 0.5430 0.5058 0.1315 0.1732 0.8205 0.5719 0.1680
148-AH 0.0000 0.0096 0.0392 0.0471 0.0741 0.0336 0.0224 0.0375 0.0741 0.6669 0.0120 0.0001 0.0186 0.0000 0.0741 0.0336 0.0224
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0265 0.0761 0.2017 0.3077 0.1164 0.1034 0.1752 0.3077 0.8882 0.0220 0.0001 0.0933 0.0000 0.3077 0.1164 0.1034
151-AH 0.0000 0.0230 0.0398 0.0835 0.1818 0.0530 0.0487 0.0605 0.1818 0.9175 0.0129 0.0001 0.0368 0.0000 0.1739 0.0477 0.0415
152-AH 0.0470 0.1879 0.3500 0.4252 0.6364 0.3162 0.1575 0.2372 0.5894 0.4982 0.2694 0.2125 0.1350 0.0470 0.6364 0.3162 0.1575
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.0354 0.0932 0.1398 0.1534 0.1912 0.1254 0.0412 0.0602 0.1558 0.3285 0.1173 0.1071 0.0350 0.0354 0.1912 0.1254 0.0412
155-AH 0.0000 0.0667 0.1667 0.5000 0.5000 0.2186 0.1991 0.4333 0.5000 0.9110 0.0390 0.0001 0.1724 0.0000 0.5000 0.2186 0.1991
156-AH 0.0000 0.0279 0.0386 0.0842 0.1414 0.0537 0.0411 0.0563 0.1414 0.7652 0.0137 0.0001 0.0339 0.0000 0.1414 0.0537 0.0411
157-AH 0.0000 0.1950 0.3812 0.6093 0.7798 0.3568 0.2477 0.4143 0.7798 0.6942 0.0488 0.0000 0.1983 0.0000 0.7798 0.3568 0.2477
158-AH 0.0000 0.1229 0.2211 0.4360 0.6000 0.2767 0.1803 0.3131 0.6000 0.6518 0.1575 0.0002 0.1520 0.0000 0.6000 0.2767 0.1803
159-AH 0.0000 0.0703 0.1094 0.1836 0.8049 0.2186 0.2533 0.1133 0.8049 1.1586 0.1010 0.0002 0.1900 0.0000 0.1875 0.0999 0.0427
160-AH 0.0000 0.0277 0.0408 0.0576 0.1429 0.0467 0.0357 0.0299 0.1429 0.7653 0.0256 0.0002 0.0248 0.0000 0.0667 0.0358 0.0201
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.2336 0.7220 0.8421 0.8897 0.9367 0.7557 0.2195 0.1677 0.7031 0.2905 0.7077 0.6370 0.1614 0.6789 0.9367 0.8446 0.0743
164-AH 0.0000 0.0480 0.1059 0.1610 0.2769 0.1133 0.0775 0.1130 0.2769 0.6837 0.0642 0.0002 0.0671 0.0000 0.2769 0.1133 0.0775
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0057 0.0274 0.0606 0.1317 0.3333 0.1010 0.0996 0.1043 0.3277 0.9858 0.0587 0.0309 0.0772 0.0057 0.2500 0.0724 0.0643
168-AH 0.0000 0.1590 0.3793 0.4682 0.6250 0.3291 0.2035 0.3092 0.6250 0.6183 0.0927 0.0001 0.1765 0.0000 0.6250 0.3291 0.2035
169-AH 0.0000 0.0000 0.0272 0.0406 0.1818 0.0293 0.0380 0.0406 0.1818 1.2962 0.0019 0.0000 0.0251 0.0000 0.0571 0.0230 0.0213
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0516 0.0811 0.1053 0.0476 0.0388 0.0811 0.1053 0.8151 0.0052 0.0000 0.0327 0.0000 0.1053 0.0476 0.0388
172-AH 0.0136 0.0493 0.0794 0.0897 0.1471 0.0762 0.0297 0.0404 0.1334 0.3892 0.0690 0.0588 0.0224 0.0136 0.1471 0.0762 0.0297
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.5864 0.7143 0.8333 1.0000 0.6467 0.2975 0.2470 1.0000 0.4600 0.2652 0.0001 0.2195 0.5000 1.0000 0.7556 0.1649
176-AH 0.5273 0.6512 0.9259 0.9722 1.0000 0.8502 0.1602 0.3211 0.4727 0.1884 0.8339 0.8158 0.1345 0.5273 1.0000 0.8502 0.1602
177-AH 0.0236 0.0756 0.1299 0.1728 0.5714 0.1721 0.1482 0.0972 0.5479 0.8609 0.1292 0.0985 0.1018 0.0236 0.1818 0.1124 0.0469
178-AH 0.0000 0.0000 0.0074 0.1104 0.2308 0.0481 0.0740 0.1104 0.2308 1.5384 0.0014 0.0000 0.0606 0.0000 0.2308 0.0481 0.0740
179-AH 0.0183 0.0950 0.3590 0.5176 0.9375 0.3577 0.3102 0.4226 0.9192 0.8672 0.2065 0.0915 0.2463 0.0183 0.9375 0.3577 0.3102
180-AH 0.0620 0.0918 0.2857 0.6853 0.7879 0.3821 0.2854 0.5935 0.7259 0.7468 0.2607 0.1714 0.2696 0.0620 0.7879 0.3821 0.2854
181-AH 0.0000 0.7865 0.8219 0.8408 0.8657 0.6724 0.3191 0.0543 0.8657 0.4746 0.1810 0.0001 0.2476 0.7532 0.8657 0.8271 0.0293
182-AH 0.0325 0.0714 0.1071 0.3333 0.6000 0.1956 0.1712 0.2619 0.5675 0.8748 0.1383 0.1022 0.1424 0.0325 0.6000 0.1956 0.1712
183-AH 0.0000 0.0086 0.0563 0.2447 0.3750 0.1156 0.1307 0.2361 0.3750 1.1306 0.0141 0.0000 0.1107 0.0000 0.3750 0.1156 0.1307
184-AH 0.0255 0.1925 0.3529 0.6875 0.7500 0.4161 0.2460 0.4950 0.7245 0.5913 0.3285 0.2119 0.2191 0.0255 0.7500 0.4161 0.2460
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.5556 0.8333 0.8571 1.0000 1.0000 0.8851 0.1293 0.1667 0.4444 0.1461 0.8751 0.8641 0.1103 0.7143 1.0000 0.8988 0.1120
190-AH 0.0000 0.1042 0.4286 0.9062 1.0000 0.4840 0.3844 0.8020 1.0000 0.7942 0.1124 0.0001 0.3376 0.0000 1.0000 0.4840 0.3844
269
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0155 0.3333 0.6667 1.0000 0.3666 0.3893 0.6511 1.0000 1.0618 0.0683 0.0001 0.3314 0.0000 1.0000 0.3666 0.3893
193-AH 0.0000 0.1212 0.2381 0.2987 0.3529 0.2050 0.1199 0.1775 0.3529 0.5848 0.0449 0.0001 0.0989 0.0000 0.3529 0.2050 0.1199
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1429 0.2857 0.4412 0.6000 0.8611 0.4564 0.2186 0.3143 0.7183 0.4791 0.4028 0.3490 0.1776 0.1429 0.8611 0.4564 0.2186
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.2609 0.5739 0.6667 0.7500 0.7778 0.6223 0.1468 0.1761 0.5169 0.2360 0.6005 0.5721 0.1110 0.3750 0.7778 0.6526 0.1071
200-AH 0.0423 0.2852 0.4615 0.6167 0.8571 0.4561 0.2502 0.3314 0.8149 0.5485 0.3481 0.2081 0.2037 0.0423 0.8571 0.4561 0.2502
251-AH 0.1409 0.2093 0.3145 0.5000 0.6452 0.3642 0.1600 0.2907 0.5043 0.4394 0.3281 0.2927 0.1438 0.1409 0.6452 0.3642 0.1600
252-AH 0.0442 0.1752 0.2609 0.3935 0.5128 0.2765 0.1541 0.2183 0.4686 0.5573 0.2195 0.1538 0.1281 0.0442 0.5128 0.2765 0.1541
253-AH 0.0000 0.1222 0.2305 0.3259 0.4385 0.2169 0.1422 0.2037 0.4385 0.6557 0.0236 0.0000 0.1172 0.0000 0.4385 0.2169 0.1422
254-AH 0.0000 0.0000 0.2011 0.2469 0.3239 0.1680 0.1175 0.2469 0.3239 0.6998 0.0137 0.0000 0.0964 0.0000 0.3239 0.1680 0.1175
255-AH 0.0096 0.1000 0.1765 0.2857 0.3333 0.1820 0.0978 0.1857 0.3238 0.5372 0.1471 0.0910 0.0854 0.0096 0.3333 0.1820 0.0978
256-AH 0.0000 0.1534 0.7222 0.9167 1.0000 0.5933 0.3706 0.7633 1.0000 0.6247 0.2742 0.0002 0.3239 0.0000 1.0000 0.5933 0.3706
257-AH 0.0795 0.1115 0.1632 0.2111 0.2671 0.1650 0.0567 0.0996 0.1876 0.3436 0.1547 0.1438 0.0448 0.0795 0.2671 0.1650 0.0567
258-AH 0.0000 0.0000 0.0201 0.1064 0.2727 0.0581 0.0791 0.1064 0.2727 1.3622 0.0040 0.0000 0.0655 0.0000 0.2143 0.0491 0.0666
259-AH 0.0026 0.2000 0.5000 0.7500 1.0000 0.4791 0.3486 0.5500 0.9974 0.7275 0.2785 0.0354 0.2884 0.0026 1.0000 0.4791 0.3486
260-AH 0.0000 0.4614 0.5821 0.6721 0.7308 0.5038 0.2264 0.2107 0.7308 0.4493 0.2113 0.0001 0.1744 0.1456 0.7308 0.5665 0.1540
261-AH 0.0000 0.0000 0.0000 0.0225 0.0681 0.0116 0.0193 0.0225 0.0681 1.6712 0.0001 0.0000 0.0157 0.0000 0.0458 0.0092 0.0156
262-AH 0.0000 0.0000 0.0803 0.2299 0.3869 0.1052 0.1259 0.2299 0.3869 1.1964 0.0016 0.0000 0.1068 0.0000 0.3869 0.1052 0.1259
263-AH 0.0000 0.0000 0.1094 0.1730 0.2283 0.1018 0.0816 0.1730 0.2283 0.8016 0.0067 0.0000 0.0703 0.0000 0.2283 0.1018 0.0816
264-AH 0.0195 0.1427 0.2979 0.3500 0.7368 0.3030 0.2005 0.2073 0.7173 0.6620 0.2223 0.1220 0.1451 0.0195 0.6522 0.2502 0.1466
265-AH 0.0084 0.0221 0.4444 0.5000 0.6667 0.3212 0.2292 0.4779 0.6582 0.7137 0.1621 0.0460 0.2044 0.0084 0.6667 0.3212 0.2292
266-AH 0.0000 0.0112 0.0179 0.0534 0.1429 0.0356 0.0398 0.0422 0.1429 1.1183 0.0081 0.0001 0.0309 0.0000 0.1026 0.0273 0.0287
267-AH 0.0422 0.0690 0.1238 0.1417 0.2679 0.1199 0.0611 0.0727 0.2256 0.5097 0.1060 0.0936 0.0478 0.0422 0.2407 0.1138 0.0539
268-AH 0.0172 0.1867 0.6667 1.0000 1.0000 0.5953 0.3993 0.8133 0.9828 0.6707 0.3430 0.1103 0.3523 0.0172 1.0000 0.5953 0.3993
269-AH 0.0365 0.0717 0.1304 0.1554 0.2143 0.1224 0.0522 0.0836 0.1778 0.4264 0.1095 0.0949 0.0415 0.0365 0.2143 0.1224 0.0522
270-AH 0.0000 0.0645 0.2893 0.6746 0.8537 0.3989 0.3050 0.6101 0.8537 0.7647 0.0485 0.0000 0.2727 0.0000 0.8537 0.3989 0.3050
271-AH 0.0000 0.3405 0.4286 0.5000 0.5769 0.3934 0.1470 0.1595 0.5769 0.3736 0.2523 0.0002 0.1121 0.1316 0.5769 0.4098 0.1246
272-AH 0.0000 0.0810 0.2174 0.2851 0.3333 0.1776 0.1209 0.2041 0.3333 0.6806 0.0354 0.0001 0.1065 0.0000 0.3333 0.1776 0.1209
273-AH 0.0000 0.2774 0.7183 0.8680 0.9828 0.5831 0.3504 0.5906 0.9828 0.6010 0.1492 0.0001 0.3025 0.0000 0.9828 0.5831 0.3504
274-AH 0.0000 0.0803 0.2609 0.3627 0.4545 0.2296 0.1602 0.2824 0.4545 0.6980 0.0459 0.0001 0.1398 0.0000 0.4545 0.2296 0.1602
275-AH 0.0000 0.0959 0.3106 0.3695 0.5556 0.2574 0.1817 0.2737 0.5556 0.7059 0.0506 0.0001 0.1607 0.0000 0.5556 0.2574 0.1817
276-AH 0.0934 0.1661 0.2387 0.4279 0.5211 0.2897 0.1519 0.2618 0.4278 0.5243 0.2490 0.2111 0.1342 0.0934 0.5211 0.2897 0.1519
277-AH 0.0000 0.0000 0.0947 0.1293 0.2462 0.0849 0.0868 0.1293 0.2462 1.0230 0.0039 0.0000 0.0717 0.0000 0.2462 0.0849 0.0868
278-AH 0.0000 0.0000 0.0323 0.1474 0.3846 0.0850 0.1178 0.1474 0.3846 1.3869 0.0030 0.0000 0.0969 0.0000 0.2745 0.0725 0.1021
279-AH 0.0000 0.0383 0.0612 0.1615 0.6000 0.1601 0.2131 0.1233 0.6000 1.3304 0.0387 0.0001 0.1711 0.0000 0.3000 0.0602 0.0641
280-AH 0.0000 0.0000 0.0233 0.0401 0.0602 0.0210 0.0206 0.0401 0.0602 0.9844 0.0010 0.0000 0.0185 0.0000 0.0602 0.0210 0.0206
281-AH 0.0000 0.2635 0.3377 0.5098 0.6500 0.3549 0.1686 0.2463 0.6500 0.4750 0.1559 0.0001 0.1355 0.0000 0.6500 0.3549 0.1686
282-AH 0.0000 0.0355 0.0706 0.1214 0.2065 0.0764 0.0530 0.0859 0.2065 0.6940 0.0190 0.0001 0.0434 0.0000 0.2065 0.0764 0.0530
283-AH 0.0000 0.0000 0.0455 0.2780 0.8387 0.1722 0.2578 0.2780 0.8387 1.4971 0.0045 0.0000 0.1994 0.0000 0.4340 0.0901 0.1292
284-AH 0.2696 0.3688 0.4340 0.4711 0.5349 0.4195 0.0729 0.1023 0.2653 0.1737 0.4129 0.4058 0.0579 0.2696 0.5349 0.4195 0.0729
285-AH 0.0000 0.2142 0.6056 0.7925 0.9167 0.5283 0.3292 0.5783 0.9167 0.6231 0.0658 0.0000 0.2698 0.0000 0.9167 0.5283 0.3292
286-AH 0.0000 0.0000 0.0125 0.0262 0.0537 0.0155 0.0177 0.0262 0.0537 1.1450 0.0008 0.0000 0.0145 0.0000 0.0537 0.0155 0.0177
287-AH 0.0949 0.2842 0.3370 0.4591 0.5000 0.3382 0.1360 0.1749 0.4051 0.4020 0.3011 0.2529 0.1071 0.0949 0.5000 0.3382 0.1360
288-AH 0.0000 0.0000 0.1441 0.2059 0.3511 0.1312 0.1246 0.2059 0.3511 0.9500 0.0053 0.0000 0.1047 0.0000 0.3511 0.1312 0.1246
289-AH 0.0165 0.1108 0.6000 0.8462 1.0000 0.5113 0.3386 0.7353 0.9835 0.6623 0.2804 0.0790 0.2861 0.0165 1.0000 0.5113 0.3386
290-AH 0.0000 0.1191 0.1937 0.2687 0.4125 0.1958 0.1066 0.1496 0.4125 0.5447 0.1185 0.0002 0.0871 0.0000 0.4125 0.1958 0.1066
270
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0603 0.1361 0.4615 0.5758 0.9048 0.4144 0.2815 0.4396 0.8444 0.6792 0.3061 0.2090 0.2372 0.0603 0.9048 0.4144 0.2815
292-AH 0.0469 0.2588 0.5000 1.0000 1.0000 0.5386 0.3422 0.7412 0.9531 0.6354 0.3946 0.2338 0.2811 0.0469 1.0000 0.5386 0.3422
293-AH 0.1533 0.3782 0.5250 0.5849 0.6774 0.4707 0.1689 0.2067 0.5241 0.3588 0.4299 0.3775 0.1373 0.1533 0.6774 0.4707 0.1689
294-AH 0.0000 0.5625 0.6538 0.6923 0.7391 0.5475 0.2495 0.1298 0.7391 0.4558 0.1103 0.0001 0.1752 0.5610 0.7391 0.6517 0.0580
295-AH 0.0000 0.0487 0.1076 0.2605 0.3827 0.1572 0.1312 0.2118 0.3827 0.8351 0.0226 0.0000 0.1186 0.0000 0.3827 0.1572 0.1312
296-AH 0.0000 0.0000 0.2833 0.4559 0.6522 0.2829 0.2297 0.4559 0.6522 0.8120 0.0184 0.0000 0.1908 0.0000 0.6522 0.2829 0.2297
297-AH 0.0000 0.0294 0.0381 0.1032 0.5000 0.0910 0.1144 0.0738 0.5000 1.2570 0.0385 0.0002 0.0748 0.0000 0.1455 0.0545 0.0434
298-AH 0.0387 0.0831 0.1295 0.1594 0.2639 0.1355 0.0644 0.0763 0.2252 0.4750 0.1201 0.1044 0.0486 0.0387 0.2639 0.1355 0.0644
299-AH 0.0718 0.2567 0.3265 0.4461 0.4947 0.3211 0.1309 0.1894 0.4230 0.4076 0.2850 0.2363 0.1040 0.0718 0.4947 0.3211 0.1309
300-AH 0.0000 0.1637 0.1955 0.2283 0.2562 0.1858 0.0594 0.0647 0.2562 0.3199 0.1262 0.0002 0.0434 0.0724 0.2562 0.1935 0.0461
301-AH 0.0000 0.0000 0.0000 0.0124 0.3571 0.0309 0.0776 0.0124 0.3571 2.5069 0.0001 0.0000 0.0470 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0851 0.2000 0.2768 0.3929 0.1836 0.1052 0.1917 0.3929 0.5728 0.1074 0.0002 0.0849 0.0000 0.3929 0.1836 0.1052
303-AH 0.0103 0.0232 0.1023 0.1739 0.3750 0.1172 0.0954 0.1507 0.3647 0.8141 0.0753 0.0417 0.0765 0.0103 0.3750 0.1172 0.0954
304-AH 0.0000 0.0220 0.0608 0.0918 0.3214 0.0792 0.0846 0.0698 0.3214 1.0685 0.0378 0.0002 0.0577 0.0000 0.1731 0.0581 0.0448
305-AH 0.0000 0.1191 0.1921 0.2270 0.4368 0.2104 0.1270 0.1079 0.4368 0.6039 0.1273 0.0002 0.0934 0.0000 0.2662 0.1550 0.0651
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0000 0.0000 0.1101 0.2428 0.4286 0.1455 0.1565 0.2428 0.4286 1.0754 0.0039 0.0000 0.1344 0.0000 0.4286 0.1455 0.1565
308-AH 0.0424 0.2983 0.7778 1.0000 1.0000 0.6123 0.3518 0.7017 0.9576 0.5745 0.4755 0.3046 0.3257 0.0424 1.0000 0.6123 0.3518
309-AH 0.0000 0.0200 0.0483 0.0555 0.1224 0.0468 0.0312 0.0355 0.1224 0.6668 0.0286 0.0002 0.0227 0.0000 0.1000 0.0404 0.0231
310-AH 0.0000 0.0000 0.0465 0.0714 0.1297 0.0413 0.0418 0.0714 0.1297 1.0129 0.0014 0.0000 0.0364 0.0000 0.1297 0.0413 0.0418
311-AH 0.0586 0.1132 0.1774 0.2583 0.3241 0.1885 0.0833 0.1451 0.2655 0.4420 0.1685 0.1472 0.0715 0.0586 0.3241 0.1885 0.0833
312-AH 0.0000 0.2791 0.4545 0.5588 0.6786 0.3915 0.2146 0.2797 0.6786 0.5482 0.1528 0.0001 0.1803 0.0000 0.6786 0.3915 0.2146
313-AH 0.0000 0.0000 0.0440 0.0689 0.1319 0.0451 0.0415 0.0689 0.1319 0.9193 0.0047 0.0000 0.0347 0.0000 0.1319 0.0451 0.0415
314-AH 0.0000 0.0558 0.0755 0.0952 0.1089 0.0699 0.0320 0.0395 0.1089 0.4577 0.0346 0.0001 0.0258 0.0000 0.1089 0.0699 0.0320
315-AH 0.0000 0.0000 0.1364 0.1849 0.6923 0.1686 0.1907 0.1849 0.6923 1.1311 0.0116 0.0000 0.1354 0.0000 0.3495 0.1096 0.1030
316-AH 0.0000 0.0000 0.1063 0.1470 0.2240 0.0944 0.0800 0.1470 0.2240 0.8478 0.0045 0.0000 0.0692 0.0000 0.2240 0.0944 0.0800
317-AH 0.0308 0.1259 0.1538 0.1895 0.2338 0.1525 0.0527 0.0635 0.2030 0.3455 0.1390 0.1166 0.0388 0.0308 0.2338 0.1525 0.0527
318-AH 0.0262 0.0909 0.1268 0.1566 0.2917 0.1338 0.0728 0.0657 0.2655 0.5441 0.1142 0.0936 0.0532 0.0262 0.2500 0.1141 0.0517
319-AH 0.0000 0.0116 0.0260 0.2743 0.6316 0.1229 0.1705 0.2627 0.6316 1.3871 0.0086 0.0000 0.1433 0.0000 0.6316 0.1229 0.1705
320-AH 0.0000 0.0119 0.0143 0.0245 0.0568 0.0180 0.0127 0.0125 0.0568 0.7056 0.0074 0.0001 0.0088 0.0000 0.0299 0.0152 0.0083
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0205 0.0357 0.0579 0.1139 0.0389 0.0314 0.0374 0.1139 0.8074 0.0079 0.0000 0.0247 0.0000 0.1139 0.0389 0.0314
323-AH 0.0000 0.0453 0.0611 0.0903 0.1339 0.0650 0.0344 0.0450 0.1339 0.5288 0.0323 0.0001 0.0261 0.0000 0.1339 0.0650 0.0344
324-AH 0.0000 0.0000 0.0000 0.3192 0.6338 0.1407 0.1982 0.3192 0.6338 1.4082 0.0009 0.0000 0.1723 0.0000 0.6338 0.1407 0.1982
325-AH 0.1859 0.4169 0.4691 0.5423 0.6909 0.4726 0.1447 0.1254 0.5050 0.3061 0.4470 0.4163 0.1073 0.2803 0.6909 0.5088 0.1114
326-AH 0.0000 0.0041 0.0138 0.0313 0.0682 0.0208 0.0200 0.0272 0.0682 0.9619 0.0034 0.0000 0.0158 0.0000 0.0682 0.0208 0.0200
327-AH 0.0000 0.0075 0.0612 0.2604 0.5000 0.1560 0.1829 0.2529 0.5000 1.1723 0.0151 0.0000 0.1527 0.0000 0.5000 0.1560 0.1829
328-AH 0.0427 0.4167 0.5294 0.5833 0.6957 0.4605 0.1922 0.1667 0.6530 0.4174 0.3692 0.2156 0.1405 0.4146 0.6957 0.5378 0.0716
329-AH 0.4074 0.5804 0.6190 0.7333 0.7778 0.6348 0.0936 0.1530 0.3704 0.1474 0.6277 0.6200 0.0733 0.4074 0.7778 0.6348 0.0936
330-AH 0.0389 0.1673 0.7333 0.7750 0.8974 0.5374 0.3134 0.6077 0.8585 0.5833 0.3826 0.2060 0.2863 0.0389 0.8974 0.5374 0.3134
331-AH 0.0174 0.0784 0.2456 0.2777 0.5238 0.2142 0.1237 0.1993 0.5064 0.5777 0.1599 0.0923 0.0967 0.0174 0.5238 0.2142 0.1237
332-AH 0.0000 0.0000 0.2258 0.2533 0.4545 0.1810 0.1268 0.2533 0.4545 0.7005 0.0145 0.0000 0.1047 0.0000 0.4545 0.1810 0.1268
333-AH 0.0127 0.9500 1.0000 1.0000 1.0000 0.8175 0.3574 0.0500 0.9873 0.4372 0.5778 0.1352 0.2774 1.0000 1.0000 1.0000 0.0000
334-AH 0.0882 0.1579 0.2143 0.3333 0.3750 0.2289 0.0855 0.1754 0.2868 0.3734 0.2122 0.1945 0.0712 0.0882 0.3750 0.2289 0.0855
335-AH 0.0143 0.0407 0.0841 0.1238 0.2500 0.0919 0.0612 0.0832 0.2357 0.6662 0.0712 0.0516 0.0469 0.0143 0.1957 0.0853 0.0527
336-AH 0.0000 0.0000 0.0000 0.0244 0.0671 0.0149 0.0193 0.0244 0.0671 1.2981 0.0004 0.0000 0.0156 0.0000 0.0512 0.0127 0.0163
337-AH 0.0000 0.5958 0.7222 0.8125 0.9375 0.6215 0.2985 0.2167 0.9375 0.4803 0.1217 0.0001 0.2161 0.5000 0.9375 0.7399 0.1224
338-AH 0.0137 0.1241 0.6667 1.0000 1.0000 0.5826 0.3848 0.8759 0.9863 0.6605 0.3490 0.1154 0.3326 0.0137 1.0000 0.5826 0.3848
339-AH 0.0667 0.3864 0.4688 0.7401 0.9286 0.5402 0.2333 0.3538 0.8619 0.4319 0.4662 0.3422 0.1950 0.0667 0.9286 0.5402 0.2333
340-AH 0.0276 0.3333 0.4286 0.5000 0.7500 0.4144 0.1539 0.1667 0.7224 0.3712 0.3695 0.2571 0.1084 0.1923 0.6000 0.4015 0.0950
271
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.5714 1.0000 1.0000 1.0000 1.0000 0.9577 0.1229 0.0000 0.4286 0.1284 0.9477 0.9346 0.0744 1.0000 1.0000 1.0000 0.0000
342-AH 0.0000 0.3196 0.5524 0.6884 0.8250 0.4952 0.2350 0.3688 0.8250 0.4746 0.2093 0.0001 0.1868 0.0000 0.8250 0.4952 0.2350
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0309 0.2314 0.3175 0.4082 0.6897 0.3172 0.1541 0.1768 0.6587 0.4857 0.2719 0.2034 0.1220 0.0309 0.6250 0.3017 0.1360
345-AH 0.0000 0.0177 0.0594 0.1522 0.3158 0.0879 0.0809 0.1345 0.3158 0.9197 0.0177 0.0001 0.0660 0.0000 0.3158 0.0879 0.0809
346-AH 0.0140 0.0579 0.0686 0.0987 0.1296 0.0749 0.0284 0.0408 0.1157 0.3786 0.0687 0.0600 0.0230 0.0140 0.1296 0.0749 0.0284
347-AH 0.0078 0.0269 0.0387 0.0628 0.0659 0.0427 0.0192 0.0359 0.0582 0.4497 0.0370 0.0295 0.0168 0.0078 0.0659 0.0427 0.0192
348-AH 0.0000 0.0020 1.0000 1.0000 1.0000 0.6362 0.4723 0.9980 1.0000 0.7423 0.0413 0.0000 0.4390 0.0000 1.0000 0.6362 0.4723
349-AH 0.1298 0.2658 0.3036 0.3218 0.5000 0.2914 0.0720 0.0561 0.3702 0.2473 0.2816 0.2700 0.0465 0.2353 0.3600 0.3017 0.0295
350-AH 0.1463 0.4214 0.5000 0.7768 1.0000 0.5734 0.2752 0.3554 0.8537 0.4798 0.4964 0.4094 0.2385 0.1463 1.0000 0.5734 0.2752
272
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.0000 0.3429 1.0000 1.0000 1.0000 0.7516 0.4019 0.6571 1.0000 0.5347 0.2711 0.0001 0.3477 0.0000 1.0000 0.7516 0.4019
143-AH 0.0328 0.4607 0.8235 0.8788 1.0000 0.6393 0.3228 0.4181 0.9672 0.5049 0.4498 0.1792 0.2738 0.0328 1.0000 0.6393 0.3228
144-AH 0.0213 0.0929 0.1579 0.2000 0.6000 0.1788 0.1421 0.1071 0.5787 0.7946 0.1386 0.1032 0.0884 0.0213 0.2500 0.1422 0.0670
145-AH 0.0868 0.1572 0.2455 0.4271 0.7105 0.3125 0.2069 0.2698 0.6237 0.6619 0.2566 0.2144 0.1682 0.0868 0.7105 0.3125 0.2069
146-AH 0.0000 0.0040 0.0098 0.0129 0.1000 0.0137 0.0200 0.0090 0.1000 1.4538 0.0054 0.0001 0.0106 0.0000 0.0165 0.0079 0.0050
147-AH 0.1475 0.4353 0.5507 0.6005 0.8043 0.5305 0.1532 0.1652 0.6568 0.2887 0.5040 0.4676 0.1147 0.3276 0.8043 0.5465 0.1335
148-AH 0.0000 0.0000 0.0333 0.0366 0.0532 0.0225 0.0192 0.0366 0.0532 0.8528 0.0014 0.0000 0.0180 0.0000 0.0532 0.0225 0.0192
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0265 0.0761 0.1958 0.3077 0.1142 0.1017 0.1693 0.3077 0.8909 0.0214 0.0001 0.0920 0.0000 0.3077 0.1142 0.1017
151-AH 0.0000 0.0116 0.0229 0.0426 0.1525 0.0343 0.0344 0.0310 0.1525 1.0032 0.0087 0.0001 0.0242 0.0000 0.0804 0.0267 0.0210
152-AH 0.0344 0.1250 0.2857 0.3857 0.5714 0.2516 0.1525 0.2607 0.5371 0.6063 0.1993 0.1462 0.1333 0.0344 0.5714 0.2516 0.1525
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.0157 0.0613 0.0932 0.1250 0.1562 0.0927 0.0381 0.0637 0.1405 0.4106 0.0821 0.0670 0.0315 0.0157 0.1562 0.0927 0.0381
155-AH 0.0000 0.0133 0.0294 0.0567 0.2308 0.0483 0.0620 0.0434 0.2308 1.2831 0.0099 0.0001 0.0435 0.0000 0.0857 0.0278 0.0246
156-AH 0.0000 0.0000 0.0340 0.0611 0.1074 0.0358 0.0316 0.0611 0.1074 0.8825 0.0032 0.0000 0.0268 0.0000 0.1074 0.0358 0.0316
157-AH 0.0000 0.1330 0.2917 0.5912 0.6853 0.3051 0.2284 0.4582 0.6853 0.7484 0.0416 0.0000 0.1884 0.0000 0.6853 0.3051 0.2284
158-AH 0.0000 0.0897 0.1558 0.2830 0.5854 0.2075 0.1537 0.1933 0.5854 0.7408 0.1144 0.0002 0.1226 0.0000 0.5000 0.1917 0.1348
159-AH 0.0000 0.0564 0.1027 0.1471 0.7170 0.1930 0.2345 0.0907 0.7170 1.2152 0.0846 0.0002 0.1767 0.0000 0.1503 0.0825 0.0385
160-AH 0.0000 0.0277 0.0408 0.0576 0.1429 0.0467 0.0357 0.0299 0.1429 0.7653 0.0256 0.0002 0.0248 0.0000 0.0667 0.0358 0.0201
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.1811 0.4745 0.8113 0.8687 0.8824 0.6793 0.2469 0.3942 0.7013 0.3634 0.6145 0.5257 0.2095 0.1811 0.8824 0.6793 0.2469
164-AH 0.0000 0.0478 0.1022 0.1597 0.2603 0.1044 0.0766 0.1118 0.2603 0.7333 0.0319 0.0001 0.0651 0.0000 0.2603 0.1044 0.0766
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0057 0.0194 0.0360 0.0552 0.1667 0.0461 0.0380 0.0358 0.1610 0.8240 0.0338 0.0240 0.0277 0.0057 0.0909 0.0379 0.0252
168-AH 0.0000 0.0699 0.2955 0.4411 0.6250 0.2787 0.2043 0.3712 0.6250 0.7332 0.0379 0.0000 0.1645 0.0000 0.6250 0.2787 0.2043
169-AH 0.0000 0.0000 0.0000 0.0113 0.0400 0.0081 0.0114 0.0113 0.0400 1.4069 0.0003 0.0000 0.0086 0.0000 0.0240 0.0055 0.0074
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0405 0.0660 0.1007 0.0397 0.0351 0.0660 0.1007 0.8850 0.0034 0.0000 0.0299 0.0000 0.1007 0.0397 0.0351
172-AH 0.0136 0.0493 0.0794 0.0897 0.1471 0.0762 0.0297 0.0404 0.1334 0.3892 0.0690 0.0588 0.0224 0.0136 0.1471 0.0762 0.0297
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.5864 0.7143 0.8333 1.0000 0.6467 0.2975 0.2470 1.0000 0.4600 0.2652 0.0001 0.2195 0.5000 1.0000 0.7556 0.1649
176-AH 0.5000 0.6512 0.7778 0.8750 0.9333 0.7615 0.1398 0.2238 0.4333 0.1835 0.7482 0.7340 0.1214 0.5000 0.9333 0.7615 0.1398
177-AH 0.0200 0.0456 0.0917 0.1274 0.2500 0.0910 0.0531 0.0818 0.2300 0.5837 0.0752 0.0597 0.0412 0.0200 0.2500 0.0910 0.0531
178-AH 0.0000 0.0000 0.0074 0.1104 0.2308 0.0481 0.0740 0.1104 0.2308 1.5384 0.0014 0.0000 0.0606 0.0000 0.2308 0.0481 0.0740
179-AH 0.0183 0.0842 0.1839 0.3883 0.8947 0.2894 0.2908 0.3041 0.8765 1.0047 0.1628 0.0818 0.2285 0.0183 0.8182 0.2387 0.2421
180-AH 0.0420 0.0857 0.2667 0.6848 0.7778 0.3561 0.2891 0.5991 0.7357 0.8117 0.2201 0.1289 0.2697 0.0420 0.7778 0.3561 0.2891
181-AH 0.0000 0.7253 0.7647 0.8281 0.8608 0.6407 0.3163 0.1029 0.8608 0.4936 0.1218 0.0001 0.2445 0.7253 0.8608 0.7935 0.0505
182-AH 0.0325 0.0714 0.1071 0.3333 0.6000 0.1956 0.1712 0.2619 0.5675 0.8748 0.1383 0.1022 0.1424 0.0325 0.6000 0.1956 0.1712
183-AH 0.0000 0.0086 0.0563 0.2447 0.3750 0.1156 0.1307 0.2361 0.3750 1.1306 0.0141 0.0000 0.1107 0.0000 0.3750 0.1156 0.1307
184-AH 0.0203 0.0364 0.1667 0.2367 0.5000 0.1739 0.1404 0.2003 0.4797 0.8075 0.1120 0.0632 0.1106 0.0203 0.5000 0.1739 0.1404
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.5556 0.8333 0.8571 1.0000 1.0000 0.8851 0.1293 0.1667 0.4444 0.1461 0.8751 0.8641 0.1103 0.7143 1.0000 0.8988 0.1120
190-AH 0.0000 0.0264 0.2593 0.5444 1.0000 0.3251 0.3472 0.5181 1.0000 1.0681 0.0304 0.0000 0.2860 0.0000 1.0000 0.3251 0.3472
273
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0048 0.0275 0.3926 1.0000 0.2402 0.3173 0.3878 1.0000 1.3209 0.0124 0.0000 0.2564 0.0000 0.8333 0.1741 0.2297
193-AH 0.0000 0.1212 0.2381 0.2987 0.3529 0.2050 0.1199 0.1775 0.3529 0.5848 0.0449 0.0001 0.0989 0.0000 0.3529 0.2050 0.1199
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.1067 0.1804 0.3273 0.4876 0.7292 0.3542 0.1974 0.3071 0.6225 0.5574 0.3014 0.2540 0.1646 0.1067 0.7292 0.3542 0.1974
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.1591 0.5132 0.6154 0.7330 0.7778 0.5690 0.1904 0.2197 0.6187 0.3346 0.5250 0.4644 0.1445 0.2593 0.7778 0.6037 0.1541
200-AH 0.0258 0.0429 0.2188 0.4182 0.7778 0.2694 0.2469 0.3752 0.7519 0.9166 0.1591 0.0876 0.2004 0.0258 0.7778 0.2694 0.2469
251-AH 0.0737 0.1260 0.1716 0.2657 0.4312 0.2054 0.1079 0.1397 0.3575 0.5255 0.1810 0.1604 0.0880 0.0737 0.4312 0.2054 0.1079
252-AH 0.0404 0.1521 0.2188 0.3359 0.4375 0.2388 0.1337 0.1838 0.3971 0.5598 0.1890 0.1319 0.1091 0.0404 0.4375 0.2388 0.1337
253-AH 0.0000 0.0000 0.1371 0.2405 0.3023 0.1198 0.1218 0.2405 0.3023 1.0172 0.0018 0.0000 0.1150 0.0000 0.3023 0.1198 0.1218
254-AH 0.0000 0.0000 0.0000 0.2091 0.2636 0.1073 0.1158 0.2091 0.2636 1.0795 0.0012 0.0000 0.1116 0.0000 0.2636 0.1073 0.1158
255-AH 0.0096 0.1000 0.1765 0.2857 0.3333 0.1820 0.0978 0.1857 0.3238 0.5372 0.1471 0.0910 0.0854 0.0096 0.3333 0.1820 0.0978
256-AH 0.0000 0.1084 0.7222 0.7750 0.8889 0.5423 0.3351 0.6666 0.8889 0.6179 0.2468 0.0002 0.3011 0.0000 0.8889 0.5423 0.3351
257-AH 0.0000 0.0844 0.1117 0.1569 0.1923 0.1143 0.0496 0.0726 0.1923 0.4342 0.0759 0.0002 0.0371 0.0000 0.1923 0.1143 0.0496
258-AH 0.0000 0.0000 0.0201 0.1064 0.2727 0.0581 0.0791 0.1064 0.2727 1.3622 0.0040 0.0000 0.0655 0.0000 0.2143 0.0491 0.0666
259-AH 0.0000 0.0000 0.0052 0.0086 0.1429 0.0259 0.0508 0.0086 0.1429 1.9593 0.0017 0.0000 0.0364 0.0000 0.0093 0.0043 0.0035
260-AH 0.0000 0.4118 0.5000 0.6000 0.6486 0.4408 0.2064 0.1882 0.6486 0.4681 0.1826 0.0001 0.1583 0.3810 0.6486 0.5353 0.0780
261-AH 0.0000 0.0000 0.0000 0.0000 0.0678 0.0027 0.0136 0.0000 0.0678 5.0000 0.0000 0.0000 0.0052 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.2010 0.3550 0.0876 0.1127 0.2010 0.3550 1.2863 0.0010 0.0000 0.0958 0.0000 0.3550 0.0876 0.1127
263-AH 0.0000 0.0000 0.0859 0.1530 0.1841 0.0797 0.0700 0.1530 0.1841 0.8787 0.0040 0.0000 0.0600 0.0000 0.1841 0.0797 0.0700
264-AH 0.0000 0.1128 0.1667 0.3137 0.6400 0.2378 0.1981 0.2010 0.6400 0.8331 0.0916 0.0001 0.1537 0.0000 0.3137 0.1623 0.0985
265-AH 0.0000 0.0220 0.2500 0.3571 0.5000 0.2250 0.1708 0.3351 0.5000 0.7588 0.0884 0.0002 0.1460 0.0000 0.5000 0.2250 0.1708
266-AH 0.0000 0.0112 0.0179 0.0534 0.1429 0.0356 0.0398 0.0422 0.1429 1.1183 0.0081 0.0001 0.0309 0.0000 0.1026 0.0273 0.0287
267-AH 0.0194 0.0613 0.0915 0.1289 0.2679 0.0978 0.0549 0.0676 0.2485 0.5611 0.0833 0.0679 0.0398 0.0194 0.1667 0.0907 0.0428
268-AH 0.0000 0.0034 0.0090 0.0136 0.2308 0.0245 0.0489 0.0102 0.2308 1.9913 0.0032 0.0000 0.0293 0.0000 0.0169 0.0062 0.0050
269-AH 0.0000 0.0339 0.0700 0.1073 0.1129 0.0673 0.0376 0.0734 0.1129 0.5590 0.0420 0.0002 0.0340 0.0000 0.1129 0.0673 0.0376
270-AH 0.0000 0.0000 0.2516 0.6067 0.7018 0.3336 0.2648 0.6067 0.7018 0.7937 0.0213 0.0000 0.2380 0.0000 0.7018 0.3336 0.2648
271-AH 0.0000 0.2372 0.3913 0.4219 0.5484 0.3299 0.1515 0.1847 0.5484 0.4592 0.2001 0.0002 0.1230 0.0000 0.5484 0.3299 0.1515
272-AH 0.0000 0.0809 0.2174 0.2851 0.3333 0.1745 0.1205 0.2041 0.3333 0.6907 0.0263 0.0000 0.1067 0.0000 0.3333 0.1745 0.1205
273-AH 0.0000 0.0858 0.4720 0.8028 0.9559 0.4721 0.3538 0.7170 0.9559 0.7493 0.0559 0.0000 0.3105 0.0000 0.9559 0.4721 0.3538
274-AH 0.0000 0.0497 0.1905 0.2795 0.4286 0.1752 0.1357 0.2298 0.4286 0.7747 0.0341 0.0001 0.1137 0.0000 0.4286 0.1752 0.1357
275-AH 0.0000 0.0494 0.2611 0.3531 0.5158 0.2243 0.1766 0.3036 0.5158 0.7873 0.0305 0.0000 0.1572 0.0000 0.5158 0.2243 0.1766
276-AH 0.0747 0.1151 0.1567 0.3415 0.5000 0.2310 0.1440 0.2264 0.4253 0.6235 0.1905 0.1586 0.1229 0.0747 0.5000 0.2310 0.1440
277-AH 0.0000 0.0000 0.0000 0.0349 0.1597 0.0234 0.0376 0.0349 0.1597 1.6082 0.0004 0.0000 0.0263 0.0000 0.0868 0.0177 0.0251
278-AH 0.0000 0.0000 0.0000 0.0860 0.3846 0.0679 0.1129 0.0860 0.3846 1.6623 0.0007 0.0000 0.0881 0.0000 0.1200 0.0158 0.0314
279-AH 0.0000 0.0383 0.0612 0.1615 0.6000 0.1601 0.2131 0.1233 0.6000 1.3304 0.0387 0.0001 0.1711 0.0000 0.3000 0.0602 0.0641
280-AH 0.0000 0.0000 0.0000 0.0280 0.0373 0.0142 0.0156 0.0280 0.0373 1.0976 0.0005 0.0000 0.0148 0.0000 0.0373 0.0142 0.0156
281-AH 0.0000 0.1620 0.2885 0.3056 0.4348 0.2462 0.1128 0.1435 0.4348 0.4581 0.1100 0.0001 0.0895 0.0000 0.4348 0.2462 0.1128
282-AH 0.0000 0.0000 0.0508 0.0921 0.1594 0.0556 0.0461 0.0921 0.1594 0.8294 0.0058 0.0000 0.0383 0.0000 0.1594 0.0556 0.0461
283-AH 0.0000 0.0000 0.0347 0.2195 0.8182 0.1381 0.2182 0.2195 0.8182 1.5797 0.0016 0.0000 0.1622 0.0000 0.2935 0.0682 0.0988
284-AH 0.2696 0.3486 0.3733 0.4143 0.5000 0.3788 0.0622 0.0657 0.2304 0.1641 0.3737 0.3685 0.0495 0.2696 0.5000 0.3788 0.0622
285-AH 0.0000 0.1568 0.5506 0.7110 0.8750 0.4806 0.3032 0.5542 0.8750 0.6308 0.0606 0.0000 0.2496 0.0000 0.8750 0.4806 0.3032
286-AH 0.0000 0.0000 0.0121 0.0249 0.0405 0.0135 0.0155 0.0249 0.0405 1.1456 0.0006 0.0000 0.0132 0.0000 0.0405 0.0135 0.0155
287-AH 0.0792 0.2354 0.2734 0.3804 0.4430 0.2847 0.1121 0.1450 0.3639 0.3935 0.2554 0.2172 0.0884 0.0792 0.4430 0.2847 0.1121
288-AH 0.0000 0.0000 0.1049 0.1490 0.2755 0.0975 0.0981 0.1490 0.2755 1.0059 0.0032 0.0000 0.0813 0.0000 0.2755 0.0975 0.0981
289-AH 0.0136 0.0627 0.5200 0.7401 0.8235 0.4720 0.3201 0.6774 0.8099 0.6782 0.2437 0.0654 0.2750 0.0136 0.8235 0.4720 0.3201
290-AH 0.0000 0.0653 0.1515 0.1707 0.3097 0.1376 0.0892 0.1054 0.3097 0.6479 0.0436 0.0001 0.0678 0.0000 0.3097 0.1376 0.0892
274
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0272 0.1172 0.2561 0.3792 0.8400 0.2948 0.2325 0.2620 0.8128 0.7887 0.2120 0.1387 0.1726 0.0272 0.4783 0.2247 0.1372
292-AH 0.0469 0.2588 0.5000 1.0000 1.0000 0.5386 0.3422 0.7412 0.9531 0.6354 0.3946 0.2338 0.2811 0.0469 1.0000 0.5386 0.3422
293-AH 0.1004 0.3569 0.4615 0.5333 0.6757 0.4281 0.1660 0.1764 0.5753 0.3878 0.3843 0.3251 0.1316 0.1004 0.6757 0.4281 0.1660
294-AH 0.0000 0.5604 0.6129 0.6694 0.7308 0.5321 0.2416 0.1089 0.7308 0.4540 0.1077 0.0001 0.1703 0.5588 0.7308 0.6335 0.0510
295-AH 0.0000 0.0000 0.0833 0.2517 0.3529 0.1255 0.1194 0.2517 0.3529 0.9507 0.0070 0.0000 0.1080 0.0000 0.3529 0.1255 0.1194
296-AH 0.0000 0.0000 0.2208 0.4250 0.5429 0.2353 0.2039 0.4250 0.5429 0.8665 0.0154 0.0000 0.1823 0.0000 0.5429 0.2353 0.2039
297-AH 0.0000 0.0222 0.0292 0.0853 0.1406 0.0459 0.0401 0.0631 0.1406 0.8751 0.0248 0.0002 0.0331 0.0000 0.1406 0.0459 0.0401
298-AH 0.0260 0.0490 0.0905 0.1310 0.1963 0.1003 0.0523 0.0821 0.1703 0.5217 0.0858 0.0717 0.0449 0.0260 0.1963 0.1003 0.0523
299-AH 0.0000 0.1941 0.2512 0.3434 0.4426 0.2549 0.1274 0.1494 0.4426 0.4998 0.1129 0.0001 0.1019 0.0000 0.4426 0.2549 0.1274
300-AH 0.0000 0.1384 0.1685 0.2004 0.2562 0.1615 0.0659 0.0620 0.2562 0.4081 0.1053 0.0002 0.0480 0.0644 0.2562 0.1739 0.0518
301-AH 0.0000 0.0000 0.0000 0.0059 0.0567 0.0094 0.0178 0.0059 0.0567 1.8985 0.0001 0.0000 0.0143 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0851 0.1875 0.2154 0.3529 0.1680 0.0961 0.1303 0.3529 0.5720 0.0731 0.0001 0.0778 0.0000 0.3529 0.1680 0.0961
303-AH 0.0103 0.0231 0.0935 0.1587 0.1923 0.0946 0.0636 0.1356 0.1820 0.6720 0.0664 0.0400 0.0558 0.0103 0.1923 0.0946 0.0636
304-AH 0.0000 0.0129 0.0292 0.0536 0.1392 0.0436 0.0458 0.0408 0.1392 1.0507 0.0076 0.0000 0.0356 0.0000 0.1048 0.0268 0.0257
305-AH 0.0000 0.0632 0.1604 0.2023 0.3874 0.1638 0.1124 0.1391 0.3874 0.6863 0.0685 0.0001 0.0893 0.0000 0.3874 0.1638 0.1124
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0000 0.0000 0.0701 0.1842 0.3830 0.1157 0.1318 0.1842 0.3830 1.1393 0.0024 0.0000 0.1113 0.0000 0.3830 0.1157 0.1318
308-AH 0.0000 0.1002 0.7273 0.8500 1.0000 0.5304 0.3873 0.7498 1.0000 0.7302 0.1153 0.0001 0.3531 0.0000 1.0000 0.5304 0.3873
309-AH 0.0000 0.0135 0.0396 0.0523 0.0609 0.0349 0.0199 0.0388 0.0609 0.5709 0.0170 0.0001 0.0175 0.0000 0.0609 0.0349 0.0199
310-AH 0.0000 0.0000 0.0000 0.0115 0.0857 0.0159 0.0298 0.0115 0.0857 1.8714 0.0001 0.0000 0.0242 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0966 0.1117 0.2081 0.2946 0.1390 0.0756 0.1115 0.2946 0.5437 0.0645 0.0001 0.0608 0.0000 0.2946 0.1390 0.0756
312-AH 0.0000 0.2433 0.4423 0.5383 0.6667 0.3625 0.2120 0.2950 0.6667 0.5849 0.0728 0.0001 0.1782 0.0000 0.6667 0.3625 0.2120
313-AH 0.0000 0.0000 0.0267 0.0426 0.1128 0.0301 0.0324 0.0426 0.1128 1.0735 0.0020 0.0000 0.0248 0.0000 0.1032 0.0267 0.0280
314-AH 0.0000 0.0378 0.0729 0.0935 0.1014 0.0609 0.0353 0.0558 0.1014 0.5789 0.0165 0.0001 0.0307 0.0000 0.1014 0.0609 0.0353
315-AH 0.0000 0.0000 0.0778 0.1058 0.6056 0.1124 0.1630 0.1058 0.6056 1.4500 0.0042 0.0000 0.1080 0.0000 0.1842 0.0575 0.0574
316-AH 0.0000 0.0000 0.0933 0.1364 0.2049 0.0773 0.0797 0.1364 0.2049 1.0318 0.0015 0.0000 0.0742 0.0000 0.2049 0.0773 0.0797
317-AH 0.0271 0.0644 0.0968 0.1243 0.1556 0.0931 0.0394 0.0599 0.1285 0.4229 0.0826 0.0702 0.0324 0.0271 0.1556 0.0931 0.0394
318-AH 0.0166 0.0720 0.1169 0.1424 0.2917 0.1183 0.0725 0.0704 0.2750 0.6131 0.0953 0.0711 0.0520 0.0166 0.1795 0.0976 0.0471
319-AH 0.0000 0.0000 0.0000 0.1548 0.2800 0.0620 0.0919 0.1548 0.2800 1.4823 0.0006 0.0000 0.0789 0.0000 0.2800 0.0620 0.0919
320-AH 0.0000 0.0000 0.0000 0.0138 0.0286 0.0074 0.0108 0.0138 0.0286 1.4662 0.0002 0.0000 0.0094 0.0000 0.0286 0.0074 0.0108
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0180 0.0270 0.0485 0.0730 0.0310 0.0231 0.0305 0.0730 0.7443 0.0068 0.0000 0.0187 0.0000 0.0730 0.0310 0.0231
323-AH 0.0000 0.0333 0.0387 0.0759 0.1067 0.0496 0.0318 0.0427 0.1067 0.6415 0.0137 0.0001 0.0263 0.0000 0.1067 0.0496 0.0318
324-AH 0.0000 0.0000 0.0000 0.2692 0.4194 0.1045 0.1504 0.2692 0.4194 1.4395 0.0004 0.0000 0.1338 0.0000 0.4194 0.1045 0.1504
325-AH 0.1239 0.3154 0.4057 0.4778 0.6377 0.3930 0.1491 0.1624 0.5137 0.3794 0.3588 0.3172 0.1186 0.1239 0.6377 0.3930 0.1491
326-AH 0.0000 0.0041 0.0138 0.0313 0.0682 0.0208 0.0200 0.0272 0.0682 0.9619 0.0034 0.0000 0.0158 0.0000 0.0682 0.0208 0.0200
327-AH 0.0000 0.0075 0.0612 0.2604 0.5000 0.1560 0.1829 0.2529 0.5000 1.1723 0.0151 0.0000 0.1527 0.0000 0.5000 0.1560 0.1829
328-AH 0.0000 0.4020 0.5152 0.5565 0.6207 0.4248 0.2027 0.1544 0.6207 0.4772 0.0884 0.0001 0.1483 0.3400 0.6207 0.5057 0.0797
329-AH 0.4000 0.5649 0.6000 0.6765 0.7778 0.6104 0.0964 0.1115 0.3778 0.1580 0.6028 0.5948 0.0727 0.4000 0.7778 0.6104 0.0964
330-AH 0.0000 0.1342 0.7143 0.7540 0.8571 0.4999 0.3213 0.6198 0.8571 0.6427 0.1756 0.0001 0.3007 0.0000 0.8571 0.4999 0.3213
331-AH 0.0174 0.0784 0.2353 0.2708 0.5217 0.2024 0.1202 0.1925 0.5043 0.5935 0.1507 0.0868 0.0942 0.0174 0.5217 0.2024 0.1202
332-AH 0.0000 0.0000 0.2222 0.2353 0.3500 0.1691 0.1144 0.2353 0.3500 0.6767 0.0138 0.0000 0.0985 0.0000 0.3500 0.1691 0.1144
333-AH 0.0082 0.8000 1.0000 1.0000 1.0000 0.8057 0.3626 0.2000 0.9918 0.4500 0.5428 0.0967 0.2798 0.8000 1.0000 0.9800 0.0616
334-AH 0.0100 0.0475 0.0877 0.1185 0.2222 0.0901 0.0516 0.0711 0.2123 0.5725 0.0720 0.0499 0.0400 0.0100 0.2222 0.0901 0.0516
335-AH 0.0139 0.0247 0.0618 0.0924 0.1467 0.0650 0.0406 0.0677 0.1327 0.6238 0.0508 0.0373 0.0332 0.0139 0.1467 0.0650 0.0406
336-AH 0.0000 0.0000 0.0000 0.0236 0.0496 0.0118 0.0152 0.0236 0.0496 1.2848 0.0003 0.0000 0.0132 0.0000 0.0496 0.0118 0.0152
337-AH 0.0000 0.5456 0.6087 0.8000 0.9375 0.5735 0.2960 0.2544 0.9375 0.5162 0.1116 0.0001 0.2217 0.2373 0.9375 0.6828 0.1639
338-AH 0.0000 0.0625 0.6667 0.7833 1.0000 0.5122 0.3728 0.7208 1.0000 0.7279 0.2096 0.0002 0.3331 0.0000 1.0000 0.5122 0.3728
339-AH 0.0553 0.3532 0.4516 0.7368 0.8421 0.5096 0.2256 0.3836 0.7868 0.4426 0.4352 0.3086 0.1901 0.0553 0.8421 0.5096 0.2256
340-AH 0.0276 0.2778 0.3333 0.4000 0.6667 0.3475 0.1247 0.1222 0.6390 0.3588 0.3138 0.2319 0.0851 0.1923 0.5714 0.3475 0.0876
275
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1064 0.4167 1.0000 1.0000 1.0000 0.6961 0.3326 0.5833 0.8936 0.4778 0.5957 0.4717 0.3160 0.1064 1.0000 0.6961 0.3326
342-AH 0.0000 0.2172 0.4639 0.6647 0.8000 0.4369 0.2487 0.4475 0.8000 0.5693 0.1731 0.0001 0.1965 0.0000 0.8000 0.4369 0.2487
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0272 0.1227 0.2308 0.3077 0.5556 0.2279 0.1364 0.1850 0.5283 0.5985 0.1681 0.0989 0.1039 0.0272 0.5556 0.2279 0.1364
345-AH 0.0000 0.0114 0.0446 0.1278 0.1944 0.0717 0.0671 0.1164 0.1944 0.9351 0.0109 0.0000 0.0592 0.0000 0.1944 0.0717 0.0671
346-AH 0.0098 0.0435 0.0511 0.0971 0.1250 0.0636 0.0297 0.0536 0.1152 0.4665 0.0566 0.0476 0.0247 0.0098 0.1250 0.0636 0.0297
347-AH 0.0000 0.0229 0.0362 0.0491 0.0636 0.0349 0.0201 0.0262 0.0636 0.5760 0.0104 0.0001 0.0158 0.0000 0.0636 0.0349 0.0201
348-AH 0.0000 0.0020 1.0000 1.0000 1.0000 0.6362 0.4723 0.9980 1.0000 0.7423 0.0413 0.0000 0.4390 0.0000 1.0000 0.6362 0.4723
349-AH 0.1226 0.2523 0.2794 0.3086 0.4634 0.2762 0.0681 0.0564 0.3408 0.2465 0.2668 0.2552 0.0453 0.2353 0.3279 0.2872 0.0277
350-AH 0.1429 0.3602 0.5000 0.7000 0.8750 0.5125 0.2262 0.3398 0.7321 0.4414 0.4528 0.3841 0.1976 0.1429 0.8750 0.5125 0.2262
276
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.0000 0.1435 0.8750 1.0000 1.0000 0.6875 0.4176 0.8565 1.0000 0.6074 0.1070 0.0001 0.3622 0.0000 1.0000 0.6875 0.4176
143-AH 0.0000 0.3274 0.6400 0.7707 0.8684 0.5249 0.2843 0.4433 0.8684 0.5417 0.1414 0.0001 0.2380 0.0000 0.8684 0.5249 0.2843
144-AH 0.0213 0.0929 0.1579 0.2000 0.6000 0.1788 0.1421 0.1071 0.5787 0.7946 0.1386 0.1032 0.0884 0.0213 0.2500 0.1422 0.0670
145-AH 0.0801 0.1303 0.1778 0.2567 0.5167 0.2224 0.1340 0.1264 0.4366 0.6026 0.1914 0.1681 0.1010 0.0801 0.3010 0.1708 0.0630
146-AH 0.0000 0.0040 0.0098 0.0129 0.1000 0.0137 0.0200 0.0090 0.1000 1.4538 0.0054 0.0001 0.0106 0.0000 0.0165 0.0079 0.0050
147-AH 0.1152 0.3458 0.4881 0.5337 0.6949 0.4534 0.1376 0.1879 0.5797 0.3034 0.4279 0.3924 0.1055 0.1152 0.6949 0.4534 0.1376
148-AH 0.0000 0.0000 0.0333 0.0366 0.0532 0.0225 0.0192 0.0366 0.0532 0.8528 0.0014 0.0000 0.0180 0.0000 0.0532 0.0225 0.0192
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0197 0.0396 0.1602 0.3077 0.0979 0.1003 0.1404 0.3077 1.0236 0.0131 0.0000 0.0861 0.0000 0.3077 0.0979 0.1003
151-AH 0.0000 0.0000 0.0000 0.0132 0.0195 0.0050 0.0076 0.0132 0.0195 1.5199 0.0001 0.0000 0.0068 0.0000 0.0195 0.0050 0.0076
152-AH 0.0344 0.0680 0.1023 0.3054 0.5000 0.1820 0.1386 0.2373 0.4656 0.7614 0.1361 0.1039 0.1206 0.0344 0.5000 0.1820 0.1386
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.0000 0.0303 0.0642 0.0965 0.1111 0.0646 0.0356 0.0662 0.1111 0.5502 0.0310 0.0001 0.0303 0.0000 0.1111 0.0646 0.0356
155-AH 0.0000 0.0133 0.0294 0.0567 0.2308 0.0483 0.0620 0.0434 0.2308 1.2831 0.0099 0.0001 0.0435 0.0000 0.0857 0.0278 0.0246
156-AH 0.0000 0.0000 0.0262 0.0447 0.0496 0.0230 0.0207 0.0447 0.0496 0.8980 0.0014 0.0000 0.0187 0.0000 0.0496 0.0230 0.0207
157-AH 0.0000 0.0000 0.2196 0.5316 0.6120 0.2493 0.2179 0.5316 0.6120 0.8743 0.0168 0.0000 0.1816 0.0000 0.6120 0.2493 0.2179
158-AH 0.0000 0.0586 0.1061 0.1711 0.4590 0.1440 0.1300 0.1125 0.4590 0.9031 0.0747 0.0002 0.0987 0.0000 0.3152 0.1063 0.0819
159-AH 0.0000 0.0000 0.0669 0.1347 0.5301 0.1203 0.1653 0.1347 0.5301 1.3747 0.0031 0.0000 0.1246 0.0000 0.2987 0.0567 0.0751
160-AH 0.0000 0.0277 0.0408 0.0576 0.1429 0.0467 0.0357 0.0299 0.1429 0.7653 0.0256 0.0002 0.0248 0.0000 0.0667 0.0358 0.0201
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.1202 0.3284 0.7246 0.8037 0.8750 0.6017 0.2682 0.4752 0.7548 0.4457 0.5135 0.3992 0.2370 0.1202 0.8750 0.6017 0.2682
164-AH 0.0000 0.0315 0.0856 0.1124 0.2115 0.0818 0.0661 0.0810 0.2115 0.8073 0.0140 0.0000 0.0543 0.0000 0.2115 0.0818 0.0661
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0057 0.0194 0.0360 0.0552 0.1667 0.0461 0.0380 0.0358 0.1610 0.8240 0.0338 0.0240 0.0277 0.0057 0.0909 0.0379 0.0252
168-AH 0.0000 0.0679 0.2632 0.3415 0.6250 0.2538 0.1934 0.2735 0.6250 0.7620 0.0349 0.0000 0.1507 0.0000 0.6250 0.2538 0.1934
169-AH 0.0000 0.0000 0.0000 0.0113 0.0400 0.0081 0.0114 0.0113 0.0400 1.4069 0.0003 0.0000 0.0086 0.0000 0.0240 0.0055 0.0074
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0240 0.0463 0.0870 0.0292 0.0303 0.0463 0.0870 1.0390 0.0015 0.0000 0.0253 0.0000 0.0870 0.0292 0.0303
172-AH 0.0000 0.0389 0.0513 0.0672 0.1053 0.0529 0.0269 0.0283 0.1053 0.5082 0.0349 0.0002 0.0205 0.0000 0.1053 0.0529 0.0269
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.3908 0.6000 0.7500 1.0000 0.5563 0.3413 0.3592 1.0000 0.6135 0.0953 0.0001 0.2648 0.0000 1.0000 0.5563 0.3413
176-AH 0.3976 0.5702 0.7111 0.8421 0.8649 0.6875 0.1573 0.2719 0.4673 0.2288 0.6679 0.6462 0.1320 0.3976 0.8649 0.6875 0.1573
177-AH 0.0195 0.0312 0.0748 0.0945 0.1325 0.0695 0.0373 0.0633 0.1130 0.5363 0.0577 0.0458 0.0323 0.0195 0.1325 0.0695 0.0373
178-AH 0.0000 0.0000 0.0000 0.0010 0.0296 0.0040 0.0088 0.0010 0.0296 2.2175 0.0001 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0587 0.1682 0.2748 0.8182 0.2299 0.2506 0.2161 0.8182 1.0900 0.0918 0.0002 0.1833 0.0000 0.5455 0.1519 0.1362
180-AH 0.0000 0.0663 0.2038 0.5603 0.6809 0.2978 0.2608 0.4941 0.6809 0.8759 0.0483 0.0001 0.2439 0.0000 0.6809 0.2978 0.2608
181-AH 0.0000 0.6473 0.7115 0.7957 0.8462 0.5989 0.3007 0.1484 0.8462 0.5021 0.1144 0.0001 0.2300 0.6325 0.8462 0.7427 0.0699
182-AH 0.0128 0.0324 0.0690 0.1119 0.2667 0.0792 0.0654 0.0795 0.2539 0.8263 0.0568 0.0395 0.0493 0.0128 0.2222 0.0714 0.0536
183-AH 0.0000 0.0086 0.0563 0.2353 0.3333 0.0973 0.1055 0.2267 0.3333 1.0833 0.0128 0.0000 0.0898 0.0000 0.3333 0.0973 0.1055
184-AH 0.0000 0.0331 0.0661 0.0863 0.3333 0.0781 0.0817 0.0532 0.3333 1.0453 0.0169 0.0001 0.0543 0.0000 0.1481 0.0580 0.0440
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.2857 0.6591 0.7500 0.8571 1.0000 0.7268 0.2194 0.1981 0.7143 0.3018 0.6849 0.6318 0.1644 0.4615 1.0000 0.8048 0.1330
190-AH 0.0000 0.0000 0.0000 0.0331 0.2051 0.0321 0.0595 0.0331 0.2051 1.8550 0.0004 0.0000 0.0384 0.0000 0.0444 0.0115 0.0164
277
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0048 0.0275 0.3926 1.0000 0.2402 0.3173 0.3878 1.0000 1.3209 0.0124 0.0000 0.2564 0.0000 0.8333 0.1741 0.2297
193-AH 0.0000 0.0386 0.1429 0.1942 0.3529 0.1400 0.0993 0.1556 0.3529 0.7094 0.0302 0.0001 0.0782 0.0000 0.3529 0.1400 0.0993
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.0000 0.1159 0.2353 0.3533 0.6613 0.2646 0.1881 0.2374 0.6613 0.7109 0.1061 0.0001 0.1457 0.0000 0.6613 0.2646 0.1881
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.0000 0.2467 0.6154 0.6667 0.7500 0.5047 0.2465 0.4200 0.7500 0.4885 0.2706 0.0002 0.2067 0.0000 0.7500 0.5047 0.2465
200-AH 0.0000 0.0368 0.1039 0.1922 0.6667 0.1609 0.1804 0.1554 0.6667 1.1213 0.0279 0.0001 0.1327 0.0000 0.3478 0.1063 0.1002
251-AH 0.0000 0.0706 0.1036 0.1671 0.3171 0.1126 0.0862 0.0965 0.3171 0.7660 0.0191 0.0000 0.0634 0.0000 0.3114 0.1041 0.0766
252-AH 0.0000 0.1239 0.1905 0.2424 0.3731 0.1859 0.1097 0.1185 0.3731 0.5900 0.0776 0.0001 0.0801 0.0000 0.3731 0.1859 0.1097
253-AH 0.0000 0.0000 0.0000 0.0000 0.1818 0.0269 0.0630 0.0000 0.1818 2.3439 0.0000 0.0000 0.0452 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0469 0.2266 0.0519 0.0945 0.0469 0.2266 1.8213 0.0001 0.0000 0.0788 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0239 0.0678 0.1726 0.2857 0.0989 0.0975 0.1487 0.2857 0.9862 0.0190 0.0001 0.0836 0.0000 0.2857 0.0989 0.0975
256-AH 0.0000 0.0553 0.7179 0.7707 0.7778 0.5103 0.3374 0.7154 0.7778 0.6613 0.1124 0.0001 0.3058 0.0000 0.7778 0.5103 0.3374
257-AH 0.0000 0.0000 0.0846 0.1300 0.1640 0.0788 0.0578 0.1300 0.1640 0.7335 0.0078 0.0000 0.0490 0.0000 0.1640 0.0788 0.0578
258-AH 0.0000 0.0000 0.0000 0.0092 0.2222 0.0184 0.0472 0.0092 0.2222 2.5690 0.0003 0.0000 0.0254 0.0000 0.0219 0.0042 0.0068
259-AH 0.0000 0.0000 0.0052 0.0086 0.1429 0.0259 0.0508 0.0086 0.1429 1.9593 0.0017 0.0000 0.0364 0.0000 0.0093 0.0043 0.0035
260-AH 0.0000 0.3084 0.4615 0.5312 0.6190 0.3788 0.2031 0.2229 0.6190 0.5362 0.0764 0.0001 0.1605 0.0000 0.6190 0.3788 0.2031
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.1237 0.2595 0.0540 0.0796 0.1237 0.2595 1.4735 0.0003 0.0000 0.0692 0.0000 0.2595 0.0540 0.0796
263-AH 0.0000 0.0000 0.0619 0.1364 0.1711 0.0690 0.0640 0.1364 0.1711 0.9278 0.0036 0.0000 0.0554 0.0000 0.1711 0.0690 0.0640
264-AH 0.0000 0.0749 0.1319 0.2535 0.3830 0.1504 0.1153 0.1787 0.3830 0.7672 0.0318 0.0001 0.0959 0.0000 0.3830 0.1504 0.1153
265-AH 0.0000 0.0220 0.2500 0.3571 0.5000 0.2250 0.1708 0.3351 0.5000 0.7588 0.0884 0.0002 0.1460 0.0000 0.5000 0.2250 0.1708
266-AH 0.0000 0.0100 0.0179 0.0534 0.1429 0.0345 0.0395 0.0434 0.1429 1.1466 0.0060 0.0000 0.0308 0.0000 0.1176 0.0300 0.0332
267-AH 0.0000 0.0464 0.0694 0.0980 0.1889 0.0784 0.0447 0.0516 0.1889 0.5696 0.0501 0.0002 0.0348 0.0000 0.1619 0.0738 0.0391
268-AH 0.0000 0.0034 0.0090 0.0136 0.2308 0.0245 0.0489 0.0102 0.2308 1.9913 0.0032 0.0000 0.0293 0.0000 0.0169 0.0062 0.0050
269-AH 0.0000 0.0223 0.0408 0.0684 0.1127 0.0477 0.0342 0.0461 0.1127 0.7162 0.0283 0.0002 0.0268 0.0000 0.1127 0.0477 0.0342
270-AH 0.0000 0.0000 0.1559 0.5028 0.6216 0.2604 0.2307 0.5028 0.6216 0.8858 0.0169 0.0000 0.2104 0.0000 0.6216 0.2604 0.2307
271-AH 0.0000 0.1439 0.2439 0.3625 0.4762 0.2540 0.1414 0.2186 0.4762 0.5568 0.1491 0.0002 0.1198 0.0000 0.4762 0.2540 0.1414
272-AH 0.0000 0.0000 0.1262 0.2179 0.2927 0.1292 0.1054 0.2179 0.2927 0.8154 0.0103 0.0000 0.0898 0.0000 0.2927 0.1292 0.1054
273-AH 0.0000 0.0000 0.2815 0.5606 0.9444 0.3664 0.3213 0.5606 0.9444 0.8770 0.0154 0.0000 0.2760 0.0000 0.9444 0.3664 0.3213
274-AH 0.0000 0.0466 0.1239 0.2450 0.3714 0.1495 0.1220 0.1984 0.3714 0.8160 0.0296 0.0001 0.1040 0.0000 0.3714 0.1495 0.1220
275-AH 0.0000 0.0000 0.2054 0.2914 0.4954 0.1876 0.1704 0.2914 0.4954 0.9087 0.0094 0.0000 0.1470 0.0000 0.4954 0.1876 0.1704
276-AH 0.0583 0.0881 0.1099 0.2690 0.4103 0.1783 0.1208 0.1808 0.3520 0.6772 0.1450 0.1212 0.1028 0.0583 0.4103 0.1783 0.1208
277-AH 0.0000 0.0000 0.0000 0.0000 0.0263 0.0011 0.0053 0.0000 0.0263 5.0000 0.0000 0.0000 0.0020 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0061 0.1478 0.0217 0.0453 0.0061 0.1478 2.0848 0.0001 0.0000 0.0330 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0168 0.0276 0.0317 0.4000 0.0440 0.0781 0.0149 0.4000 1.7753 0.0093 0.0001 0.0387 0.0000 0.0339 0.0209 0.0118
280-AH 0.0000 0.0000 0.0000 0.0217 0.0278 0.0065 0.0107 0.0217 0.0278 1.6444 0.0001 0.0000 0.0094 0.0000 0.0278 0.0065 0.0107
281-AH 0.0000 0.1449 0.1989 0.2262 0.2429 0.1733 0.0756 0.0813 0.2429 0.4360 0.0802 0.0001 0.0590 0.0512 0.2429 0.1884 0.0571
282-AH 0.0000 0.0000 0.0329 0.0591 0.0828 0.0340 0.0300 0.0591 0.0828 0.8832 0.0023 0.0000 0.0258 0.0000 0.0828 0.0340 0.0300
283-AH 0.0000 0.0000 0.0000 0.1106 0.4844 0.0803 0.1427 0.1106 0.4844 1.7758 0.0005 0.0000 0.0990 0.0000 0.1292 0.0317 0.0494
284-AH 0.2348 0.2899 0.3511 0.3940 0.4231 0.3462 0.0557 0.1041 0.1882 0.1608 0.3416 0.3366 0.0459 0.2348 0.4231 0.3462 0.0557
285-AH 0.0000 0.1400 0.4341 0.6512 0.6914 0.4076 0.2639 0.5112 0.6914 0.6475 0.0380 0.0000 0.2141 0.0000 0.6914 0.4076 0.2639
286-AH 0.0000 0.0000 0.0000 0.0000 0.0175 0.0014 0.0048 0.0000 0.0175 3.4611 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.1356 0.1942 0.2828 0.4124 0.2052 0.1162 0.1472 0.4124 0.5665 0.0885 0.0001 0.0873 0.0000 0.4124 0.2052 0.1162
288-AH 0.0000 0.0000 0.0755 0.1048 0.2155 0.0721 0.0760 0.1048 0.2155 1.0544 0.0019 0.0000 0.0634 0.0000 0.2155 0.0721 0.0760
289-AH 0.0000 0.0285 0.4571 0.7273 0.7895 0.4235 0.3080 0.6988 0.7895 0.7274 0.0484 0.0000 0.2607 0.0000 0.7895 0.4235 0.3080
290-AH 0.0000 0.0000 0.1190 0.1544 0.2963 0.1075 0.0864 0.1544 0.2963 0.8042 0.0069 0.0000 0.0706 0.0000 0.2963 0.1075 0.0864
278
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0524 0.1081 0.2467 0.7353 0.2001 0.2186 0.1942 0.7353 1.0925 0.0343 0.0001 0.1664 0.0000 0.4444 0.1341 0.1278
292-AH 0.0190 0.2588 0.5000 1.0000 1.0000 0.5169 0.3513 0.7412 0.9810 0.6798 0.3477 0.1572 0.2869 0.0190 1.0000 0.5169 0.3513
293-AH 0.0331 0.3192 0.3571 0.4688 0.5490 0.3468 0.1601 0.1495 0.5160 0.4616 0.2774 0.1724 0.1182 0.1407 0.5490 0.4038 0.0971
294-AH 0.0000 0.5116 0.5946 0.6317 0.6875 0.5018 0.2288 0.1201 0.6875 0.4559 0.1025 0.0001 0.1606 0.5116 0.6875 0.5974 0.0534
295-AH 0.0000 0.0000 0.0000 0.1219 0.2356 0.0707 0.0909 0.1219 0.2356 1.2859 0.0007 0.0000 0.0793 0.0000 0.2356 0.0707 0.0909
296-AH 0.0000 0.0000 0.1282 0.3849 0.5128 0.1975 0.1971 0.3849 0.5128 0.9981 0.0114 0.0000 0.1816 0.0000 0.5128 0.1975 0.1971
297-AH 0.0000 0.0152 0.0272 0.0636 0.1000 0.0366 0.0323 0.0484 0.1000 0.8841 0.0072 0.0000 0.0261 0.0000 0.1000 0.0366 0.0323
298-AH 0.0000 0.0315 0.0656 0.1120 0.1701 0.0723 0.0496 0.0805 0.1701 0.6867 0.0136 0.0000 0.0412 0.0000 0.1701 0.0723 0.0496
299-AH 0.0000 0.1496 0.2081 0.2950 0.3245 0.1993 0.1082 0.1454 0.3245 0.5430 0.0457 0.0001 0.0867 0.0000 0.3245 0.1993 0.1082
300-AH 0.0000 0.0935 0.1525 0.1811 0.2143 0.1317 0.0707 0.0876 0.2143 0.5372 0.0322 0.0001 0.0560 0.0000 0.2143 0.1317 0.0707
301-AH 0.0000 0.0000 0.0000 0.0057 0.0567 0.0093 0.0178 0.0057 0.0567 1.9030 0.0001 0.0000 0.0142 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0369 0.1111 0.2074 0.3043 0.1307 0.1011 0.1705 0.3043 0.7735 0.0497 0.0001 0.0873 0.0000 0.3043 0.1307 0.1011
303-AH 0.0000 0.0000 0.0399 0.0517 0.1000 0.0350 0.0313 0.0517 0.1000 0.8938 0.0024 0.0000 0.0262 0.0000 0.1000 0.0350 0.0313
304-AH 0.0000 0.0000 0.0138 0.0319 0.1176 0.0250 0.0292 0.0319 0.1176 1.1712 0.0023 0.0000 0.0211 0.0000 0.0638 0.0185 0.0190
305-AH 0.0000 0.0000 0.1226 0.1781 0.3379 0.1202 0.1179 0.1781 0.3379 0.9807 0.0050 0.0000 0.1016 0.0000 0.3379 0.1202 0.1179
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0000 0.0000 0.0000 0.1330 0.2422 0.0764 0.0911 0.1330 0.2422 1.1927 0.0010 0.0000 0.0796 0.0000 0.2422 0.0764 0.0911
308-AH 0.0000 0.0428 0.2432 0.5471 1.0000 0.3458 0.3280 0.5043 1.0000 0.9483 0.0536 0.0001 0.2721 0.0000 1.0000 0.3458 0.3280
309-AH 0.0000 0.0122 0.0312 0.0456 0.0541 0.0288 0.0194 0.0334 0.0541 0.6722 0.0065 0.0000 0.0163 0.0000 0.0541 0.0288 0.0194
310-AH 0.0000 0.0000 0.0000 0.0000 0.0739 0.0051 0.0179 0.0000 0.0739 3.5078 0.0000 0.0000 0.0094 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0533 0.0777 0.1357 0.2200 0.0887 0.0647 0.0824 0.2200 0.7293 0.0158 0.0000 0.0526 0.0000 0.2200 0.0887 0.0647
312-AH 0.0000 0.2101 0.2907 0.4908 0.6410 0.3074 0.1974 0.2807 0.6410 0.6422 0.0618 0.0001 0.1626 0.0000 0.6410 0.3074 0.1974
313-AH 0.0000 0.0000 0.0208 0.0312 0.1032 0.0224 0.0299 0.0312 0.1032 1.3328 0.0007 0.0000 0.0218 0.0000 0.0590 0.0154 0.0183
314-AH 0.0000 0.0301 0.0470 0.0682 0.1014 0.0465 0.0276 0.0381 0.1014 0.5941 0.0132 0.0001 0.0225 0.0000 0.1014 0.0465 0.0276
315-AH 0.0000 0.0000 0.0484 0.0588 0.4851 0.0683 0.1184 0.0588 0.4851 1.7340 0.0011 0.0000 0.0750 0.0000 0.1140 0.0292 0.0361
316-AH 0.0000 0.0000 0.0000 0.0971 0.1709 0.0385 0.0653 0.0971 0.1709 1.6942 0.0001 0.0000 0.0555 0.0000 0.1709 0.0385 0.0653
317-AH 0.0000 0.0516 0.0617 0.0963 0.1395 0.0683 0.0351 0.0447 0.1395 0.5147 0.0446 0.0002 0.0284 0.0000 0.1395 0.0683 0.0351
318-AH 0.0000 0.0486 0.1169 0.1409 0.2353 0.1066 0.0640 0.0923 0.2353 0.6001 0.0639 0.0002 0.0507 0.0000 0.2353 0.1066 0.0640
319-AH 0.0000 0.0000 0.0000 0.0252 0.0988 0.0143 0.0272 0.0252 0.0988 1.8960 0.0001 0.0000 0.0195 0.0000 0.0413 0.0074 0.0132
320-AH 0.0000 0.0000 0.0000 0.0138 0.0240 0.0055 0.0092 0.0138 0.0240 1.6771 0.0001 0.0000 0.0079 0.0000 0.0240 0.0055 0.0092
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0182 0.0283 0.0541 0.0180 0.0156 0.0283 0.0541 0.8681 0.0020 0.0000 0.0125 0.0000 0.0541 0.0180 0.0156
323-AH 0.0000 0.0187 0.0361 0.0630 0.0936 0.0407 0.0299 0.0444 0.0936 0.7347 0.0064 0.0000 0.0239 0.0000 0.0936 0.0407 0.0299
324-AH 0.0000 0.0000 0.0000 0.2071 0.3614 0.0862 0.1270 0.2071 0.3614 1.4739 0.0004 0.0000 0.1112 0.0000 0.3614 0.0862 0.1270
325-AH 0.0749 0.2430 0.3289 0.4137 0.5213 0.3225 0.1361 0.1707 0.4464 0.4220 0.2839 0.2348 0.1086 0.0749 0.5213 0.3225 0.1361
326-AH 0.0000 0.0000 0.0000 0.0000 0.0082 0.0009 0.0025 0.0000 0.0082 2.7736 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0075 0.0288 0.2500 0.4444 0.1290 0.1725 0.2425 0.4444 1.3374 0.0114 0.0000 0.1478 0.0000 0.4444 0.1290 0.1725
328-AH 0.0000 0.2203 0.4043 0.5135 0.5938 0.3548 0.1996 0.2932 0.5938 0.5624 0.0731 0.0001 0.1670 0.0000 0.5938 0.3548 0.1996
329-AH 0.3415 0.4481 0.5000 0.5438 0.7778 0.5063 0.1113 0.0958 0.4363 0.2199 0.4950 0.4840 0.0787 0.3415 0.6667 0.4845 0.0852
330-AH 0.0000 0.0751 0.6515 0.7069 0.7455 0.4402 0.3179 0.6318 0.7455 0.7220 0.0716 0.0001 0.3014 0.0000 0.7455 0.4402 0.3179
331-AH 0.0000 0.0701 0.1867 0.2429 0.4688 0.1725 0.1109 0.1727 0.4688 0.6432 0.0678 0.0001 0.0848 0.0000 0.4688 0.1725 0.1109
332-AH 0.0000 0.0000 0.2059 0.2353 0.3500 0.1586 0.1104 0.2353 0.3500 0.6962 0.0131 0.0000 0.0919 0.0000 0.3500 0.1586 0.1104
333-AH 0.0082 0.8000 1.0000 1.0000 1.0000 0.8057 0.3626 0.2000 0.9918 0.4500 0.5428 0.0967 0.2798 0.8000 1.0000 0.9800 0.0616
334-AH 0.0100 0.0475 0.0877 0.1185 0.2222 0.0901 0.0516 0.0711 0.2123 0.5725 0.0720 0.0499 0.0400 0.0100 0.2222 0.0901 0.0516
335-AH 0.0138 0.0219 0.0524 0.0775 0.1319 0.0567 0.0351 0.0556 0.1181 0.6192 0.0452 0.0344 0.0278 0.0138 0.1319 0.0567 0.0351
336-AH 0.0000 0.0000 0.0000 0.0000 0.0225 0.0015 0.0053 0.0000 0.0225 3.5392 0.0000 0.0000 0.0028 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.4717 0.5926 0.7795 0.8889 0.5422 0.2913 0.3078 0.8889 0.5373 0.1039 0.0001 0.2250 0.1081 0.8889 0.6455 0.1784
338-AH 0.0000 0.0625 0.2222 0.6731 0.8889 0.3711 0.3065 0.6106 0.8889 0.8259 0.1199 0.0001 0.2806 0.0000 0.8889 0.3711 0.3065
339-AH 0.0349 0.2800 0.4324 0.5517 0.8421 0.4208 0.2277 0.2717 0.8072 0.5412 0.3268 0.1939 0.1799 0.0349 0.8421 0.4208 0.2277
340-AH 0.0276 0.2778 0.3333 0.4000 0.6667 0.3475 0.1247 0.1222 0.6390 0.3588 0.3138 0.2319 0.0851 0.1923 0.5714 0.3475 0.0876
279
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1064 0.4167 1.0000 1.0000 1.0000 0.6961 0.3326 0.5833 0.8936 0.4778 0.5957 0.4717 0.3160 0.1064 1.0000 0.6961 0.3326
342-AH 0.0000 0.2034 0.4639 0.6501 0.7429 0.4103 0.2560 0.4466 0.7429 0.6239 0.0794 0.0001 0.2102 0.0000 0.7429 0.4103 0.2560
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0000 0.1004 0.1957 0.2305 0.4091 0.1816 0.1163 0.1301 0.4091 0.6405 0.0397 0.0001 0.0878 0.0000 0.4091 0.1816 0.1163
345-AH 0.0000 0.0000 0.0174 0.0856 0.1509 0.0496 0.0560 0.0856 0.1509 1.1292 0.0032 0.0000 0.0493 0.0000 0.1509 0.0496 0.0560
346-AH 0.0098 0.0390 0.0413 0.0856 0.1047 0.0575 0.0281 0.0466 0.0948 0.4888 0.0508 0.0432 0.0238 0.0098 0.1047 0.0575 0.0281
347-AH 0.0000 0.0075 0.0323 0.0355 0.0400 0.0236 0.0155 0.0280 0.0400 0.6568 0.0043 0.0000 0.0140 0.0000 0.0400 0.0236 0.0155
348-AH 0.0000 0.0020 1.0000 1.0000 1.0000 0.6362 0.4723 0.9980 1.0000 0.7423 0.0413 0.0000 0.4390 0.0000 1.0000 0.6362 0.4723
349-AH 0.0553 0.2000 0.2178 0.2507 0.3194 0.2159 0.0583 0.0507 0.2641 0.2701 0.2045 0.1868 0.0399 0.1964 0.3194 0.2337 0.0323
350-AH 0.1096 0.1971 0.2667 0.3478 0.4706 0.2665 0.0978 0.1507 0.3610 0.3671 0.2471 0.2263 0.0824 0.1096 0.4706 0.2665 0.0978
280
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.0000 0.0000 0.5333 0.8889 1.0000 0.4791 0.3717 0.8889 1.0000 0.7758 0.0271 0.0000 0.3171 0.0000 1.0000 0.4791 0.3717
143-AH 0.0000 0.2029 0.3636 0.5018 0.6667 0.3359 0.2003 0.2988 0.6667 0.5963 0.0686 0.0001 0.1704 0.0000 0.6667 0.3359 0.2003
144-AH 0.0213 0.0929 0.1579 0.2000 0.6000 0.1788 0.1421 0.1071 0.5787 0.7946 0.1386 0.1032 0.0884 0.0213 0.2500 0.1422 0.0670
145-AH 0.0478 0.0687 0.1509 0.1800 0.3889 0.1587 0.1053 0.1114 0.3411 0.6637 0.1293 0.1057 0.0770 0.0478 0.3465 0.1387 0.0829
146-AH 0.0000 0.0040 0.0098 0.0129 0.1000 0.0137 0.0200 0.0090 0.1000 1.4538 0.0054 0.0001 0.0106 0.0000 0.0165 0.0079 0.0050
147-AH 0.0000 0.1990 0.3485 0.4360 0.6301 0.3122 0.1845 0.2371 0.6301 0.5910 0.0900 0.0001 0.1536 0.0000 0.6301 0.3122 0.1845
148-AH 0.0000 0.0000 0.0197 0.0331 0.0508 0.0174 0.0161 0.0331 0.0508 0.9218 0.0012 0.0000 0.0139 0.0000 0.0508 0.0174 0.0161
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0197 0.1152 0.2903 0.0704 0.0927 0.1152 0.2903 1.3168 0.0038 0.0000 0.0744 0.0000 0.2432 0.0612 0.0823
151-AH 0.0000 0.0000 0.0000 0.0000 0.0126 0.0010 0.0034 0.0000 0.0126 3.4637 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0450 0.0552 0.0925 0.3448 0.0937 0.0905 0.0475 0.3448 0.9652 0.0495 0.0002 0.0675 0.0000 0.1222 0.0530 0.0260
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.0000 0.0000 0.0357 0.0485 0.0844 0.0326 0.0276 0.0485 0.0844 0.8476 0.0030 0.0000 0.0225 0.0000 0.0844 0.0326 0.0276
155-AH 0.0000 0.0133 0.0294 0.0567 0.2308 0.0483 0.0620 0.0434 0.2308 1.2831 0.0099 0.0001 0.0435 0.0000 0.0857 0.0278 0.0246
156-AH 0.0000 0.0000 0.0000 0.0331 0.0378 0.0137 0.0164 0.0331 0.0378 1.1922 0.0003 0.0000 0.0154 0.0000 0.0378 0.0137 0.0164
157-AH 0.0000 0.0000 0.0000 0.4063 0.4737 0.1510 0.1896 0.4063 0.4737 1.2554 0.0014 0.0000 0.1619 0.0000 0.4737 0.1510 0.1896
158-AH 0.0000 0.0239 0.0416 0.1260 0.2541 0.0805 0.0789 0.1021 0.2541 0.9802 0.0094 0.0000 0.0662 0.0000 0.2541 0.0805 0.0789
159-AH 0.0000 0.0000 0.0000 0.1106 0.3475 0.0737 0.1201 0.1106 0.3475 1.6301 0.0003 0.0000 0.0958 0.0000 0.2753 0.0504 0.0930
160-AH 0.0000 0.0277 0.0408 0.0576 0.1429 0.0467 0.0357 0.0299 0.1429 0.7653 0.0256 0.0002 0.0248 0.0000 0.0667 0.0358 0.0201
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.0000 0.1902 0.6044 0.6910 0.8148 0.4733 0.2849 0.5008 0.8148 0.6020 0.0899 0.0001 0.2534 0.0000 0.8148 0.4733 0.2849
164-AH 0.0000 0.0000 0.0434 0.0722 0.1613 0.0439 0.0421 0.0722 0.1613 0.9593 0.0027 0.0000 0.0338 0.0000 0.1613 0.0439 0.0421
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0141 0.0203 0.0372 0.0510 0.0246 0.0150 0.0231 0.0510 0.6079 0.0126 0.0001 0.0126 0.0000 0.0510 0.0246 0.0150
168-AH 0.0000 0.0134 0.1589 0.2110 0.5312 0.1774 0.1656 0.1977 0.5312 0.9335 0.0176 0.0000 0.1242 0.0000 0.4359 0.1467 0.1327
169-AH 0.0000 0.0000 0.0000 0.0073 0.0335 0.0040 0.0077 0.0073 0.0335 1.9217 0.0001 0.0000 0.0054 0.0000 0.0147 0.0028 0.0047
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0000 0.0319 0.0513 0.0172 0.0199 0.0319 0.0513 1.1587 0.0005 0.0000 0.0178 0.0000 0.0513 0.0172 0.0199
172-AH 0.0000 0.0101 0.0288 0.0467 0.0707 0.0300 0.0221 0.0366 0.0707 0.7356 0.0065 0.0000 0.0175 0.0000 0.0707 0.0300 0.0221
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0238 0.2333 0.2983 0.4375 0.1827 0.1466 0.2745 0.4375 0.8028 0.0187 0.0000 0.1283 0.0000 0.4375 0.1827 0.1466
176-AH 0.1068 0.5307 0.6316 0.7029 0.8182 0.5869 0.1886 0.1722 0.7114 0.3214 0.5372 0.4511 0.1400 0.2812 0.8182 0.6272 0.1326
177-AH 0.0145 0.0236 0.0469 0.0800 0.1143 0.0527 0.0307 0.0564 0.0998 0.5831 0.0438 0.0360 0.0261 0.0145 0.1143 0.0527 0.0307
178-AH 0.0000 0.0000 0.0000 0.0010 0.0296 0.0040 0.0088 0.0010 0.0296 2.2175 0.0001 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0485 0.1220 0.1937 0.7692 0.1846 0.2293 0.1452 0.7692 1.2419 0.0303 0.0001 0.1568 0.0000 0.3030 0.1075 0.0901
180-AH 0.0000 0.0516 0.1324 0.5054 0.5714 0.2434 0.2329 0.4538 0.5714 0.9571 0.0278 0.0000 0.2112 0.0000 0.5714 0.2434 0.2329
181-AH 0.0000 0.4774 0.5764 0.7281 0.7870 0.5035 0.2665 0.2506 0.7870 0.5293 0.0978 0.0001 0.2020 0.4536 0.7870 0.6247 0.1103
182-AH 0.0128 0.0324 0.0690 0.1119 0.2667 0.0792 0.0654 0.0795 0.2539 0.8263 0.0568 0.0395 0.0493 0.0128 0.2222 0.0714 0.0536
183-AH 0.0000 0.0086 0.0563 0.2353 0.3333 0.0973 0.1055 0.2267 0.3333 1.0833 0.0128 0.0000 0.0898 0.0000 0.3333 0.0973 0.1055
184-AH 0.0000 0.0000 0.0363 0.0485 0.0947 0.0295 0.0270 0.0485 0.0947 0.9177 0.0027 0.0000 0.0235 0.0000 0.0947 0.0295 0.0270
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.2188 0.3500 0.7000 0.7778 1.0000 0.5992 0.2643 0.4278 0.7812 0.4411 0.5348 0.4679 0.2326 0.2188 1.0000 0.5992 0.2643
190-AH 0.0000 0.0000 0.0000 0.0031 0.0517 0.0056 0.0121 0.0031 0.0517 2.1591 0.0001 0.0000 0.0085 0.0000 0.0000 0.0000 0.0000
281
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0214 0.0887 0.3333 0.0578 0.0770 0.0887 0.3333 1.3317 0.0027 0.0000 0.0576 0.0000 0.1622 0.0463 0.0524
193-AH 0.0000 0.0256 0.0614 0.0801 0.3333 0.0647 0.0681 0.0544 0.3333 1.0523 0.0151 0.0001 0.0422 0.0000 0.1400 0.0535 0.0397
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.0000 0.0805 0.1822 0.2456 0.5556 0.1930 0.1564 0.1651 0.5556 0.8104 0.0395 0.0001 0.1155 0.0000 0.4245 0.1621 0.1191
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.0000 0.2235 0.5000 0.6107 0.7500 0.4505 0.2323 0.3872 0.7500 0.5157 0.1859 0.0001 0.1867 0.0000 0.7500 0.4505 0.2323
200-AH 0.0000 0.0145 0.0272 0.0711 0.4500 0.0575 0.0923 0.0567 0.4500 1.6031 0.0064 0.0000 0.0531 0.0000 0.1084 0.0352 0.0328
251-AH 0.0000 0.0000 0.0000 0.0661 0.1234 0.0251 0.0389 0.0661 0.1234 1.5486 0.0002 0.0000 0.0342 0.0000 0.1234 0.0251 0.0389
252-AH 0.0000 0.0392 0.1324 0.1586 0.3253 0.1278 0.1032 0.1194 0.3253 0.8071 0.0201 0.0000 0.0754 0.0000 0.3253 0.1278 0.1032
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0239 0.0678 0.1726 0.2857 0.0989 0.0975 0.1487 0.2857 0.9862 0.0190 0.0001 0.0836 0.0000 0.2857 0.0989 0.0975
256-AH 0.0000 0.0000 0.6600 0.7345 0.7750 0.4632 0.3384 0.7345 0.7750 0.7306 0.0191 0.0000 0.3080 0.0000 0.7750 0.4632 0.3384
257-AH 0.0000 0.0000 0.0000 0.0928 0.1192 0.0417 0.0490 0.0928 0.1192 1.1750 0.0006 0.0000 0.0467 0.0000 0.1192 0.0417 0.0490
258-AH 0.0000 0.0000 0.0000 0.0092 0.2222 0.0184 0.0472 0.0092 0.2222 2.5690 0.0003 0.0000 0.0254 0.0000 0.0219 0.0042 0.0068
259-AH 0.0000 0.0000 0.0052 0.0086 0.1429 0.0259 0.0508 0.0086 0.1429 1.9593 0.0017 0.0000 0.0364 0.0000 0.0093 0.0043 0.0035
260-AH 0.0000 0.1760 0.3476 0.3858 0.4531 0.2757 0.1557 0.2098 0.4531 0.5650 0.0417 0.0000 0.1273 0.0000 0.4531 0.2757 0.1557
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0225 0.1546 0.0261 0.0490 0.0225 0.1546 1.8781 0.0001 0.0000 0.0397 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.1093 0.1625 0.0427 0.0563 0.1093 0.1625 1.3168 0.0004 0.0000 0.0513 0.0000 0.1625 0.0427 0.0563
264-AH 0.0000 0.0383 0.0897 0.0977 0.2667 0.0808 0.0649 0.0594 0.2667 0.8030 0.0143 0.0000 0.0474 0.0000 0.1600 0.0675 0.0466
265-AH 0.0000 0.0000 0.1250 0.2017 0.5000 0.1244 0.1239 0.2017 0.5000 0.9961 0.0070 0.0000 0.1007 0.0000 0.5000 0.1244 0.1239
266-AH 0.0000 0.0100 0.0179 0.0534 0.1429 0.0345 0.0395 0.0434 0.1429 1.1466 0.0060 0.0000 0.0308 0.0000 0.1176 0.0300 0.0332
267-AH 0.0000 0.0277 0.0401 0.0621 0.1258 0.0487 0.0361 0.0343 0.1258 0.7400 0.0130 0.0001 0.0275 0.0000 0.1092 0.0420 0.0288
268-AH 0.0000 0.0034 0.0090 0.0136 0.2308 0.0245 0.0489 0.0102 0.2308 1.9913 0.0032 0.0000 0.0293 0.0000 0.0169 0.0062 0.0050
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0796 0.3404 0.4160 0.1661 0.1716 0.3404 0.4160 1.0333 0.0042 0.0000 0.1588 0.0000 0.4160 0.1661 0.1716
271-AH 0.0000 0.0587 0.1760 0.2500 0.3667 0.1674 0.1082 0.1913 0.3667 0.6464 0.0497 0.0001 0.0878 0.0000 0.3667 0.1674 0.1082
272-AH 0.0000 0.0000 0.0533 0.0846 0.1781 0.0584 0.0553 0.0846 0.1781 0.9472 0.0043 0.0000 0.0435 0.0000 0.1781 0.0584 0.0553
273-AH 0.0000 0.0000 0.1033 0.3465 0.8824 0.2305 0.2660 0.3465 0.8824 1.1541 0.0050 0.0000 0.2179 0.0000 0.7812 0.2034 0.2337
274-AH 0.0000 0.0188 0.0725 0.1523 0.2162 0.0827 0.0764 0.1335 0.2162 0.9239 0.0125 0.0000 0.0650 0.0000 0.2162 0.0827 0.0764
275-AH 0.0000 0.0000 0.1113 0.1729 0.3243 0.1031 0.1014 0.1729 0.3243 0.9842 0.0033 0.0000 0.0865 0.0000 0.3243 0.1031 0.1014
276-AH 0.0000 0.0000 0.0704 0.1550 0.3195 0.1106 0.1106 0.1550 0.3195 1.0003 0.0089 0.0000 0.0894 0.0000 0.3195 0.1106 0.1106
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.1301 0.0150 0.0362 0.0000 0.1301 2.4060 0.0000 0.0000 0.0253 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0168 0.0276 0.0317 0.4000 0.0440 0.0781 0.0149 0.4000 1.7753 0.0093 0.0001 0.0387 0.0000 0.0339 0.0209 0.0118
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0662 0.1638 0.1712 0.1836 0.1248 0.0664 0.1050 0.1836 0.5316 0.0306 0.0001 0.0559 0.0000 0.1836 0.1248 0.0664
282-AH 0.0000 0.0000 0.0000 0.0409 0.0460 0.0159 0.0202 0.0409 0.0460 1.2742 0.0003 0.0000 0.0190 0.0000 0.0460 0.0159 0.0202
283-AH 0.0000 0.0000 0.0000 0.0406 0.1502 0.0206 0.0374 0.0406 0.1502 1.8149 0.0002 0.0000 0.0280 0.0000 0.0975 0.0152 0.0264
284-AH 0.0000 0.2484 0.2857 0.3527 0.3846 0.2625 0.1257 0.1043 0.3846 0.4788 0.0590 0.0001 0.0896 0.2273 0.3846 0.3125 0.0505
285-AH 0.0000 0.0880 0.2414 0.5051 0.6058 0.2714 0.2191 0.4171 0.6058 0.8074 0.0259 0.0000 0.1867 0.0000 0.6058 0.2714 0.2191
286-AH 0.0000 0.0000 0.0000 0.0000 0.0130 0.0005 0.0026 0.0000 0.0130 5.0000 0.0000 0.0000 0.0010 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0898 0.2003 0.2473 0.1052 0.0934 0.2003 0.2473 0.8878 0.0048 0.0000 0.0837 0.0000 0.2473 0.1052 0.0934
288-AH 0.0000 0.0000 0.0000 0.0214 0.1217 0.0250 0.0459 0.0214 0.1217 1.8363 0.0001 0.0000 0.0380 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.2464 0.6071 0.7083 0.3054 0.2993 0.6071 0.7083 0.9803 0.0061 0.0000 0.2815 0.0000 0.7083 0.3054 0.2993
290-AH 0.0000 0.0000 0.0498 0.1213 0.1840 0.0662 0.0664 0.1213 0.1840 1.0030 0.0018 0.0000 0.0609 0.0000 0.1840 0.0662 0.0664
282
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0426 0.0817 0.2727 0.0529 0.0665 0.0817 0.2727 1.2578 0.0011 0.0000 0.0516 0.0000 0.1399 0.0437 0.0493
292-AH 0.0190 0.2588 0.5000 1.0000 1.0000 0.5169 0.3513 0.7412 0.9810 0.6798 0.3477 0.1572 0.2869 0.0190 1.0000 0.5169 0.3513
293-AH 0.0000 0.1396 0.3163 0.3676 0.4103 0.2553 0.1446 0.2281 0.4103 0.5662 0.0550 0.0001 0.1225 0.0000 0.4103 0.2553 0.1446
294-AH 0.0000 0.3377 0.5435 0.5909 0.6410 0.4380 0.2161 0.2532 0.6410 0.4933 0.0901 0.0001 0.1719 0.0000 0.6410 0.4380 0.2161
295-AH 0.0000 0.0000 0.0000 0.0764 0.1162 0.0358 0.0462 0.0764 0.1162 1.2901 0.0004 0.0000 0.0429 0.0000 0.1162 0.0358 0.0462
296-AH 0.0000 0.0000 0.0873 0.3509 0.4490 0.1683 0.1785 0.3509 0.4490 1.0602 0.0030 0.0000 0.1636 0.0000 0.4490 0.1683 0.1785
297-AH 0.0000 0.0149 0.0194 0.0238 0.0588 0.0185 0.0127 0.0089 0.0588 0.6867 0.0047 0.0000 0.0084 0.0144 0.0288 0.0212 0.0046
298-AH 0.0000 0.0000 0.0455 0.0676 0.1378 0.0459 0.0376 0.0676 0.1378 0.8188 0.0052 0.0000 0.0282 0.0000 0.1378 0.0459 0.0376
299-AH 0.0000 0.0892 0.1426 0.1536 0.1972 0.1181 0.0589 0.0644 0.1972 0.4985 0.0299 0.0001 0.0463 0.0000 0.1972 0.1181 0.0589
300-AH 0.0000 0.0559 0.1250 0.1739 0.1900 0.1099 0.0688 0.1180 0.1900 0.6257 0.0194 0.0000 0.0573 0.0000 0.1900 0.1099 0.0688
301-AH 0.0000 0.0000 0.0000 0.0000 0.0316 0.0042 0.0100 0.0000 0.0316 2.3795 0.0000 0.0000 0.0071 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0376 0.1243 0.2162 0.0699 0.0715 0.1243 0.2162 1.0240 0.0045 0.0000 0.0628 0.0000 0.2162 0.0699 0.0715
303-AH 0.0000 0.0000 0.0180 0.0349 0.0388 0.0177 0.0153 0.0349 0.0388 0.8622 0.0015 0.0000 0.0132 0.0000 0.0388 0.0177 0.0153
304-AH 0.0000 0.0000 0.0000 0.0181 0.0330 0.0072 0.0113 0.0181 0.0330 1.5642 0.0001 0.0000 0.0098 0.0000 0.0330 0.0072 0.0113
305-AH 0.0000 0.0000 0.0967 0.1510 0.3022 0.0918 0.1012 0.1510 0.3022 1.1030 0.0016 0.0000 0.0881 0.0000 0.3022 0.0918 0.1012
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0000 0.0000 0.0000 0.0999 0.1512 0.0449 0.0576 0.0999 0.1512 1.2848 0.0004 0.0000 0.0538 0.0000 0.1512 0.0449 0.0576
308-AH 0.0000 0.0104 0.0200 0.2276 0.5263 0.1181 0.1479 0.2172 0.5263 1.2527 0.0115 0.0000 0.1227 0.0000 0.5263 0.1181 0.1479
309-AH 0.0000 0.0000 0.0206 0.0358 0.0497 0.0206 0.0166 0.0358 0.0497 0.8034 0.0029 0.0000 0.0142 0.0000 0.0497 0.0206 0.0166
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0520 0.1063 0.1556 0.0520 0.0537 0.1063 0.1556 1.0332 0.0016 0.0000 0.0457 0.0000 0.1556 0.0520 0.0537
312-AH 0.0000 0.1464 0.1918 0.2932 0.5091 0.2120 0.1452 0.1468 0.5091 0.6848 0.0446 0.0001 0.1146 0.0000 0.5091 0.2120 0.1452
313-AH 0.0000 0.0000 0.0000 0.0000 0.0509 0.0060 0.0166 0.0000 0.0509 2.7644 0.0000 0.0000 0.0106 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0183 0.0347 0.0817 0.0218 0.0242 0.0347 0.0817 1.1089 0.0010 0.0000 0.0198 0.0000 0.0817 0.0218 0.0242
315-AH 0.0000 0.0000 0.0000 0.0000 0.2241 0.0240 0.0667 0.0000 0.2241 2.7777 0.0000 0.0000 0.0422 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0335 0.0426 0.0745 0.1233 0.0484 0.0337 0.0411 0.1233 0.6952 0.0099 0.0000 0.0263 0.0000 0.1233 0.0484 0.0337
318-AH 0.0000 0.0237 0.0677 0.1205 0.2000 0.0766 0.0545 0.0968 0.2000 0.7117 0.0418 0.0002 0.0468 0.0000 0.2000 0.0766 0.0545
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0143 0.0211 0.0361 0.0118 0.0119 0.0211 0.0361 1.0079 0.0007 0.0000 0.0104 0.0000 0.0361 0.0118 0.0119
323-AH 0.0000 0.0000 0.0276 0.0511 0.0808 0.0280 0.0284 0.0511 0.0808 1.0147 0.0015 0.0000 0.0226 0.0000 0.0808 0.0280 0.0284
324-AH 0.0000 0.0000 0.0000 0.1050 0.1555 0.0368 0.0562 0.1050 0.1555 1.5280 0.0002 0.0000 0.0500 0.0000 0.1555 0.0368 0.0562
325-AH 0.0000 0.1116 0.2188 0.3330 0.3986 0.2236 0.1340 0.2214 0.3986 0.5995 0.0676 0.0001 0.1128 0.0000 0.3986 0.2236 0.1340
326-AH 0.0000 0.0000 0.0000 0.0000 0.0082 0.0009 0.0025 0.0000 0.0082 2.7736 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0075 0.0288 0.2500 0.4444 0.1290 0.1725 0.2425 0.4444 1.3374 0.0114 0.0000 0.1478 0.0000 0.4444 0.1290 0.1725
328-AH 0.0000 0.1226 0.3235 0.3984 0.5833 0.2693 0.1705 0.2757 0.5833 0.6332 0.0557 0.0001 0.1474 0.0000 0.5833 0.2693 0.1705
329-AH 0.1650 0.1806 0.2105 0.2397 0.2615 0.2124 0.0318 0.0591 0.0965 0.1496 0.2102 0.2079 0.0278 0.1650 0.2615 0.2124 0.0318
330-AH 0.0000 0.0000 0.5897 0.6526 0.7077 0.3937 0.3072 0.6526 0.7077 0.7804 0.0228 0.0000 0.2894 0.0000 0.7077 0.3937 0.3072
331-AH 0.0000 0.0544 0.1333 0.1542 0.3137 0.1140 0.0770 0.0999 0.3137 0.6754 0.0258 0.0001 0.0592 0.0000 0.2078 0.1057 0.0662
332-AH 0.0000 0.0000 0.1667 0.1916 0.2581 0.1322 0.0893 0.1916 0.2581 0.6753 0.0116 0.0000 0.0776 0.0000 0.2581 0.1322 0.0893
333-AH 0.0000 0.6076 1.0000 1.0000 1.0000 0.7857 0.3742 0.3924 1.0000 0.4763 0.3771 0.0002 0.3085 0.0331 1.0000 0.8538 0.3036
334-AH 0.0000 0.0123 0.0269 0.0638 0.1562 0.0390 0.0375 0.0515 0.1562 0.9624 0.0095 0.0001 0.0290 0.0000 0.0877 0.0341 0.0290
335-AH 0.0000 0.0162 0.0287 0.0505 0.1061 0.0344 0.0288 0.0343 0.1061 0.8346 0.0071 0.0000 0.0224 0.0000 0.0881 0.0315 0.0251
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.2543 0.5806 0.6645 0.7917 0.4485 0.2769 0.4102 0.7917 0.6174 0.0843 0.0001 0.2381 0.0000 0.7917 0.4485 0.2769
338-AH 0.0000 0.0465 0.2143 0.6552 0.8182 0.3445 0.3065 0.6087 0.8182 0.8897 0.0525 0.0001 0.2790 0.0000 0.8182 0.3445 0.3065
339-AH 0.0278 0.2023 0.2857 0.4646 0.6429 0.3024 0.1790 0.2623 0.6150 0.5919 0.2288 0.1404 0.1448 0.0278 0.6429 0.3024 0.1790
340-AH 0.0276 0.1981 0.2778 0.3333 0.4167 0.2690 0.0979 0.1353 0.3890 0.3641 0.2403 0.1846 0.0737 0.0276 0.4167 0.2690 0.0979
283
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0308 0.1000 0.1727 1.0000 0.1652 0.2208 0.1419 1.0000 1.3366 0.0467 0.0001 0.1376 0.0000 0.3333 0.0965 0.0807
342-AH 0.0000 0.1215 0.3460 0.5382 0.7190 0.3293 0.2434 0.4167 0.7190 0.7392 0.0312 0.0000 0.2002 0.0000 0.7190 0.3293 0.2434
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0000 0.0647 0.1714 0.1873 0.2308 0.1330 0.0832 0.1227 0.2308 0.6259 0.0164 0.0000 0.0698 0.0000 0.2308 0.1330 0.0832
345-AH 0.0000 0.0000 0.0000 0.0737 0.0900 0.0312 0.0376 0.0737 0.0900 1.2046 0.0006 0.0000 0.0344 0.0000 0.0900 0.0312 0.0376
346-AH 0.0000 0.0316 0.0388 0.0454 0.0971 0.0446 0.0243 0.0138 0.0971 0.5456 0.0303 0.0002 0.0168 0.0232 0.0524 0.0369 0.0075
347-AH 0.0000 0.0000 0.0000 0.0106 0.0237 0.0040 0.0070 0.0106 0.0237 1.7577 0.0001 0.0000 0.0057 0.0000 0.0237 0.0040 0.0070
348-AH 0.0000 0.0020 1.0000 1.0000 1.0000 0.6362 0.4723 0.9980 1.0000 0.7423 0.0413 0.0000 0.4390 0.0000 1.0000 0.6362 0.4723
349-AH 0.0475 0.1302 0.1667 0.1846 0.2451 0.1576 0.0449 0.0544 0.1976 0.2851 0.1495 0.1384 0.0350 0.0740 0.2451 0.1622 0.0395
350-AH 0.0542 0.1329 0.1731 0.2812 0.3600 0.2008 0.0866 0.1484 0.3058 0.4314 0.1823 0.1633 0.0731 0.0542 0.3600 0.2008 0.0866
284
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.8333 1.0000 1.0000 1.0000 0.7760 0.4114 0.1667 1.0000 0.5301 0.1361 0.0001 0.3405 1.0000 1.0000 1.0000 0.0000
142-AH 0.0000 0.0000 0.5333 0.8889 1.0000 0.4791 0.3717 0.8889 1.0000 0.7758 0.0271 0.0000 0.3171 0.0000 1.0000 0.4791 0.3717
143-AH 0.0000 0.0732 0.1157 0.1678 0.3482 0.1169 0.0814 0.0945 0.3482 0.6966 0.0277 0.0001 0.0611 0.0000 0.2179 0.1072 0.0670
144-AH 0.0213 0.0929 0.1579 0.2000 0.6000 0.1788 0.1421 0.1071 0.5787 0.7946 0.1386 0.1032 0.0884 0.0213 0.2500 0.1422 0.0670
145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
146-AH 0.0000 0.0040 0.0098 0.0129 0.1000 0.0137 0.0200 0.0090 0.1000 1.4538 0.0054 0.0001 0.0106 0.0000 0.0165 0.0079 0.0050
147-AH 0.0000 0.0000 0.0000 0.2371 0.3617 0.1113 0.1366 0.2371 0.3617 1.2273 0.0009 0.0000 0.1247 0.0000 0.3617 0.1113 0.1366
148-AH 0.0000 0.0000 0.0197 0.0331 0.0508 0.0174 0.0161 0.0331 0.0508 0.9218 0.0012 0.0000 0.0139 0.0000 0.0508 0.0174 0.0161
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0279 0.0654 0.0150 0.0199 0.0279 0.0654 1.3263 0.0003 0.0000 0.0168 0.0000 0.0654 0.0150 0.0199
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0084 0.0349 0.0593 0.1642 0.0401 0.0404 0.0509 0.1642 1.0070 0.0057 0.0000 0.0292 0.0000 0.1222 0.0350 0.0317
153-AH 0.0000 0.0000 0.0000 0.0020 0.3333 0.0404 0.0994 0.0020 0.3333 2.4619 0.0001 0.0000 0.0671 0.0000 0.0034 0.0004 0.0010
154-AH 0.0000 0.0000 0.0000 0.0000 0.0367 0.0053 0.0112 0.0000 0.0367 2.0956 0.0000 0.0000 0.0085 0.0000 0.0000 0.0000 0.0000
155-AH 0.0000 0.0133 0.0294 0.0567 0.2308 0.0483 0.0620 0.0434 0.2308 1.2831 0.0099 0.0001 0.0435 0.0000 0.0857 0.0278 0.0246
156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
157-AH 0.0000 0.0000 0.0000 0.1510 0.2376 0.0501 0.0842 0.1510 0.2376 1.6822 0.0002 0.0000 0.0721 0.0000 0.2376 0.0501 0.0842
158-AH 0.0000 0.0000 0.0000 0.0105 0.0808 0.0139 0.0262 0.0105 0.0808 1.8806 0.0001 0.0000 0.0212 0.0000 0.0000 0.0000 0.0000
159-AH 0.0000 0.0000 0.0000 0.0202 0.2038 0.0348 0.0669 0.0202 0.2038 1.9189 0.0001 0.0000 0.0530 0.0000 0.0000 0.0000 0.0000
160-AH 0.0000 0.0277 0.0408 0.0576 0.1429 0.0467 0.0357 0.0299 0.1429 0.7653 0.0256 0.0002 0.0248 0.0000 0.0667 0.0358 0.0201
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1250 0.2500 0.5000 0.5000 0.5000 0.3658 0.1483 0.2500 0.3750 0.4055 0.3313 0.2941 0.1396 0.1250 0.5000 0.3658 0.1483
163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
164-AH 0.0000 0.0000 0.0000 0.0068 0.0616 0.0088 0.0170 0.0068 0.0616 1.9363 0.0001 0.0000 0.0134 0.0000 0.0000 0.0000 0.0000
165-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8067 0.2914 0.5000 0.6667 0.3612 0.7387 0.6579 0.2629 0.3333 1.0000 0.8067 0.2914
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0141 0.0203 0.0372 0.0510 0.0246 0.0150 0.0231 0.0510 0.6079 0.0126 0.0001 0.0126 0.0000 0.0510 0.0246 0.0150
168-AH 0.0000 0.0000 0.0779 0.1169 0.5294 0.1140 0.1431 0.1169 0.5294 1.2549 0.0087 0.0000 0.0918 0.0000 0.2727 0.0779 0.0726
169-AH 0.0000 0.0000 0.0000 0.0073 0.0335 0.0040 0.0077 0.0073 0.0335 1.9217 0.0001 0.0000 0.0054 0.0000 0.0147 0.0028 0.0047
170-AH 0.0046 1.0000 1.0000 1.0000 1.0000 0.9602 0.1991 0.0000 0.9954 0.2073 0.8064 0.1037 0.0764 1.0000 1.0000 1.0000 0.0000
171-AH 0.0000 0.0000 0.0000 0.0212 0.0419 0.0095 0.0162 0.0212 0.0419 1.7056 0.0001 0.0000 0.0137 0.0000 0.0419 0.0095 0.0162
172-AH 0.0000 0.0101 0.0288 0.0467 0.0707 0.0300 0.0221 0.0366 0.0707 0.7356 0.0065 0.0000 0.0175 0.0000 0.0707 0.0300 0.0221
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0238 0.2333 0.2983 0.4375 0.1827 0.1466 0.2745 0.4375 0.8028 0.0187 0.0000 0.1283 0.0000 0.4375 0.1827 0.1466
176-AH 0.0000 0.2625 0.3545 0.5010 0.6500 0.3627 0.1971 0.2385 0.6500 0.5435 0.1477 0.0001 0.1547 0.0000 0.6500 0.3627 0.1971
177-AH 0.0000 0.0000 0.0205 0.0597 0.1000 0.0330 0.0316 0.0597 0.1000 0.9582 0.0029 0.0000 0.0271 0.0000 0.1000 0.0330 0.0316
178-AH 0.0000 0.0000 0.0000 0.0010 0.0296 0.0040 0.0088 0.0010 0.0296 2.2175 0.0001 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0241 0.1016 0.6471 0.1008 0.1798 0.1016 0.6471 1.7844 0.0018 0.0000 0.1133 0.0000 0.1176 0.0380 0.0454
180-AH 0.0000 0.0000 0.0508 0.3362 0.4348 0.1502 0.1627 0.3362 0.4348 1.0836 0.0071 0.0000 0.1423 0.0000 0.4348 0.1502 0.1627
181-AH 0.0000 0.0000 0.0000 0.1041 0.2150 0.0473 0.0757 0.1041 0.2150 1.6005 0.0002 0.0000 0.0643 0.0000 0.2150 0.0473 0.0757
182-AH 0.0128 0.0324 0.0690 0.1119 0.2667 0.0792 0.0654 0.0795 0.2539 0.8263 0.0568 0.0395 0.0493 0.0128 0.2222 0.0714 0.0536
183-AH 0.0000 0.0086 0.0563 0.2353 0.3333 0.0973 0.1055 0.2267 0.3333 1.0833 0.0128 0.0000 0.0898 0.0000 0.3333 0.0973 0.1055
184-AH 0.0000 0.0000 0.0363 0.0485 0.0947 0.0295 0.0270 0.0485 0.0947 0.9177 0.0027 0.0000 0.0235 0.0000 0.0947 0.0295 0.0270
185-AH 0.0000 0.0035 0.1667 0.3333 1.0000 0.2345 0.2835 0.3299 1.0000 1.2089 0.0178 0.0000 0.2112 0.0000 0.5000 0.1679 0.1725
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0714 0.0909 0.1667 0.2708 0.5000 0.1986 0.1163 0.1799 0.4286 0.5856 0.1673 0.1412 0.0987 0.0714 0.5000 0.1986 0.1163
188-AH 0.0000 0.0000 0.0046 0.0112 0.0833 0.0133 0.0215 0.0112 0.0833 1.6103 0.0011 0.0000 0.0157 0.0000 0.0169 0.0037 0.0044
189-AH 0.2188 0.3500 0.7000 0.7778 1.0000 0.5992 0.2643 0.4278 0.7812 0.4411 0.5348 0.4679 0.2326 0.2188 1.0000 0.5992 0.2643
190-AH 0.0000 0.0000 0.0000 0.0031 0.0517 0.0056 0.0121 0.0031 0.0517 2.1591 0.0001 0.0000 0.0085 0.0000 0.0000 0.0000 0.0000
285
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0214 0.0887 0.3333 0.0578 0.0770 0.0887 0.3333 1.3317 0.0027 0.0000 0.0576 0.0000 0.1622 0.0463 0.0524
193-AH 0.0000 0.0256 0.0614 0.0801 0.3333 0.0647 0.0681 0.0544 0.3333 1.0523 0.0151 0.0001 0.0422 0.0000 0.1400 0.0535 0.0397
194-AH 0.0042 0.1607 0.2500 0.5000 1.0000 0.3786 0.3422 0.3393 0.9958 0.9039 0.2183 0.0493 0.2777 0.0042 1.0000 0.3786 0.3422
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.3333 0.5000 0.5000 0.6250 1.0000 0.6067 0.2301 0.1250 0.6667 0.3793 0.5716 0.5435 0.1888 0.3333 0.5000 0.4825 0.0526
197-AH 0.0000 0.0468 0.1018 0.1393 0.3030 0.1048 0.0883 0.0925 0.3030 0.8423 0.0128 0.0000 0.0633 0.0000 0.1618 0.0790 0.0556
198-AH 0.0000 0.1094 1.0000 1.0000 1.0000 0.6331 0.4456 0.8906 1.0000 0.7038 0.0935 0.0001 0.4109 0.0000 1.0000 0.6331 0.4456
199-AH 0.0000 0.0421 0.3846 0.4397 0.4762 0.2970 0.1864 0.3976 0.4762 0.6277 0.0551 0.0001 0.1618 0.0000 0.4762 0.2970 0.1864
200-AH 0.0000 0.0145 0.0272 0.0711 0.4500 0.0575 0.0923 0.0567 0.4500 1.6031 0.0064 0.0000 0.0531 0.0000 0.1084 0.0352 0.0328
251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
252-AH 0.0000 0.0000 0.0819 0.0987 0.1450 0.0660 0.0498 0.0987 0.1450 0.7549 0.0050 0.0000 0.0436 0.0000 0.1450 0.0660 0.0498
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0239 0.0678 0.1726 0.2857 0.0989 0.0975 0.1487 0.2857 0.9862 0.0190 0.0001 0.0836 0.0000 0.2857 0.0989 0.0975
256-AH 0.0000 0.0000 0.0837 0.5965 0.6415 0.2139 0.2606 0.5965 0.6415 1.2187 0.0084 0.0000 0.2299 0.0000 0.6415 0.2139 0.2606
257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0092 0.2222 0.0184 0.0472 0.0092 0.2222 2.5690 0.0003 0.0000 0.0254 0.0000 0.0219 0.0042 0.0068
259-AH 0.0000 0.0000 0.0052 0.0086 0.1429 0.0259 0.0508 0.0086 0.1429 1.9593 0.0017 0.0000 0.0364 0.0000 0.0093 0.0043 0.0035
260-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.0000 0.0310 0.0598 0.0138 0.0216 0.0310 0.0598 1.5701 0.0001 0.0000 0.0187 0.0000 0.0598 0.0138 0.0216
265-AH 0.0000 0.0000 0.1250 0.2017 0.5000 0.1244 0.1239 0.2017 0.5000 0.9961 0.0070 0.0000 0.1007 0.0000 0.5000 0.1244 0.1239
266-AH 0.0000 0.0100 0.0179 0.0534 0.1429 0.0345 0.0395 0.0434 0.1429 1.1466 0.0060 0.0000 0.0308 0.0000 0.1176 0.0300 0.0332
267-AH 0.0000 0.0000 0.0000 0.0467 0.0959 0.0205 0.0291 0.0467 0.0959 1.4197 0.0003 0.0000 0.0246 0.0000 0.0959 0.0205 0.0291
268-AH 0.0000 0.0034 0.0090 0.0136 0.2308 0.0245 0.0489 0.0102 0.2308 1.9913 0.0032 0.0000 0.0293 0.0000 0.0169 0.0062 0.0050
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0000 0.1384 0.1986 0.0483 0.0732 0.1384 0.1986 1.5143 0.0002 0.0000 0.0657 0.0000 0.1986 0.0483 0.0732
271-AH 0.0000 0.0257 0.0702 0.1089 0.2222 0.0763 0.0634 0.0831 0.2222 0.8315 0.0100 0.0000 0.0501 0.0000 0.2222 0.0763 0.0634
272-AH 0.0000 0.0000 0.0000 0.0062 0.0870 0.0119 0.0237 0.0062 0.0870 1.9960 0.0001 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
273-AH 0.0000 0.0000 0.0000 0.0408 0.2677 0.0480 0.0891 0.0408 0.2677 1.8553 0.0001 0.0000 0.0730 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0376 0.1103 0.2162 0.0651 0.0738 0.1103 0.2162 1.1342 0.0031 0.0000 0.0620 0.0000 0.2162 0.0651 0.0738
275-AH 0.0000 0.0000 0.0000 0.0000 0.0952 0.0069 0.0239 0.0000 0.0952 3.4835 0.0000 0.0000 0.0126 0.0000 0.0000 0.0000 0.0000
276-AH 0.0000 0.0000 0.0000 0.0769 0.1954 0.0405 0.0710 0.0769 0.1954 1.7513 0.0001 0.0000 0.0584 0.0000 0.1691 0.0271 0.0560
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0652 0.0101 0.0237 0.0000 0.0652 2.3400 0.0000 0.0000 0.0170 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0168 0.0276 0.0317 0.4000 0.0440 0.0781 0.0149 0.4000 1.7753 0.0093 0.0001 0.0387 0.0000 0.0339 0.0209 0.0118
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0000 0.1359 0.1438 0.0600 0.0657 0.1359 0.1438 1.0942 0.0009 0.0000 0.0624 0.0000 0.1438 0.0600 0.0657
282-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
284-AH 0.0000 0.1512 0.2289 0.2987 0.3551 0.2029 0.1101 0.1475 0.3551 0.5425 0.0464 0.0001 0.0899 0.0000 0.3551 0.2029 0.1101
285-AH 0.0000 0.0000 0.0000 0.0000 0.1131 0.0083 0.0290 0.0000 0.1131 3.4748 0.0000 0.0000 0.0153 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0000 0.0000 0.0778 0.0072 0.0205 0.0000 0.0778 2.8298 0.0000 0.0000 0.0127 0.0000 0.0000 0.0000 0.0000
288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0000 0.2202 0.2647 0.1010 0.1161 0.2202 0.2647 1.1496 0.0011 0.0000 0.1097 0.0000 0.2647 0.1010 0.1161
290-AH 0.0000 0.0000 0.0000 0.0626 0.0873 0.0267 0.0342 0.0626 0.0873 1.2775 0.0003 0.0000 0.0321 0.0000 0.0873 0.0267 0.0342
286
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
292-AH 0.0190 0.2588 0.5000 1.0000 1.0000 0.5169 0.3513 0.7412 0.9810 0.6798 0.3477 0.1572 0.2869 0.0190 1.0000 0.5169 0.3513
293-AH 0.0000 0.0389 0.1365 0.2388 0.3208 0.1351 0.1113 0.1999 0.3208 0.8237 0.0198 0.0000 0.1025 0.0000 0.3208 0.1351 0.1113
294-AH 0.0000 0.1273 0.2621 0.3186 0.3375 0.2124 0.1193 0.1913 0.3375 0.5615 0.0474 0.0001 0.1020 0.0000 0.3375 0.2124 0.1193
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0431 0.2321 0.4068 0.1250 0.1608 0.2321 0.4068 1.2864 0.0022 0.0000 0.1373 0.0000 0.4068 0.1250 0.1608
297-AH 0.0000 0.0000 0.0136 0.0224 0.0399 0.0126 0.0126 0.0224 0.0399 1.0067 0.0007 0.0000 0.0110 0.0000 0.0399 0.0126 0.0126
298-AH 0.0000 0.0000 0.0000 0.0321 0.0538 0.0152 0.0198 0.0321 0.0538 1.2966 0.0003 0.0000 0.0183 0.0000 0.0538 0.0152 0.0198
299-AH 0.0000 0.0000 0.0000 0.0000 0.1162 0.0189 0.0392 0.0000 0.1162 2.0739 0.0001 0.0000 0.0302 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0443 0.0923 0.1160 0.0464 0.0477 0.0923 0.1160 1.0277 0.0011 0.0000 0.0447 0.0000 0.1160 0.0464 0.0477
301-AH 0.0000 0.0000 0.0000 0.0000 0.0252 0.0027 0.0075 0.0000 0.0252 2.8069 0.0000 0.0000 0.0047 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0321 0.0774 0.1700 0.0482 0.0500 0.0774 0.1700 1.0379 0.0027 0.0000 0.0433 0.0000 0.1700 0.0482 0.0500
303-AH 0.0000 0.0000 0.0000 0.0191 0.0343 0.0103 0.0119 0.0191 0.0343 1.1560 0.0004 0.0000 0.0107 0.0000 0.0343 0.0103 0.0119
304-AH 0.0000 0.0000 0.0000 0.0161 0.0330 0.0066 0.0103 0.0161 0.0330 1.5669 0.0001 0.0000 0.0089 0.0000 0.0330 0.0066 0.0103
305-AH 0.0000 0.0000 0.0000 0.1090 0.1843 0.0524 0.0663 0.1090 0.1843 1.2652 0.0006 0.0000 0.0587 0.0000 0.1843 0.0524 0.0663
306-AH 0.0714 0.3333 1.0000 1.0000 1.0000 0.7612 0.3625 0.6667 0.9286 0.4762 0.6168 0.4167 0.3247 0.0714 1.0000 0.7612 0.3625
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.0000 0.0000 0.0000 0.0381 0.0034 0.0089 0.0000 0.0381 2.6555 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
309-AH 0.0000 0.0000 0.0135 0.0286 0.0330 0.0134 0.0140 0.0286 0.0330 1.0462 0.0006 0.0000 0.0128 0.0000 0.0330 0.0134 0.0140
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
312-AH 0.0000 0.0405 0.0684 0.0791 0.1422 0.0580 0.0360 0.0386 0.1422 0.6207 0.0118 0.0000 0.0280 0.0000 0.0954 0.0545 0.0321
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.0000 0.0000 0.0764 0.0031 0.0153 0.0000 0.0764 5.0000 0.0000 0.0000 0.0059 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0000 0.0000 0.0515 0.0073 0.0152 0.0000 0.0515 2.0972 0.0001 0.0000 0.0116 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0237 0.0677 0.1205 0.2000 0.0766 0.0545 0.0968 0.2000 0.7117 0.0418 0.0002 0.0468 0.0000 0.2000 0.0766 0.0545
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0351 0.0032 0.0092 0.0000 0.0351 2.8373 0.0000 0.0000 0.0057 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0000 0.0000 0.0278 0.0022 0.0075 0.0000 0.0278 3.4624 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0686 0.0052 0.0181 0.0000 0.0686 3.4658 0.0000 0.0000 0.0096 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0000 0.0000 0.0082 0.0009 0.0025 0.0000 0.0082 2.7736 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0075 0.0288 0.2500 0.4444 0.1290 0.1725 0.2425 0.4444 1.3374 0.0114 0.0000 0.1478 0.0000 0.4444 0.1290 0.1725
328-AH 0.0000 0.1110 0.3026 0.3464 0.5111 0.2371 0.1509 0.2354 0.5111 0.6365 0.0497 0.0001 0.1299 0.0000 0.5111 0.2371 0.1509
329-AH 0.0685 0.1407 0.1700 0.1794 0.2615 0.1678 0.0428 0.0387 0.1930 0.2550 0.1622 0.1560 0.0299 0.1214 0.2267 0.1638 0.0277
330-AH 0.0000 0.0000 0.2563 0.3562 0.5604 0.2063 0.1924 0.3562 0.5604 0.9325 0.0051 0.0000 0.1711 0.0000 0.5604 0.2063 0.1924
331-AH 0.0000 0.0000 0.1056 0.1133 0.2024 0.0854 0.0609 0.1133 0.2024 0.7135 0.0084 0.0000 0.0501 0.0000 0.2024 0.0854 0.0609
332-AH 0.0000 0.0000 0.1667 0.1916 0.2581 0.1322 0.0893 0.1916 0.2581 0.6753 0.0116 0.0000 0.0776 0.0000 0.2581 0.1322 0.0893
333-AH 0.0000 0.6076 1.0000 1.0000 1.0000 0.7857 0.3742 0.3924 1.0000 0.4763 0.3771 0.0002 0.3085 0.0331 1.0000 0.8538 0.3036
334-AH 0.0000 0.0123 0.0269 0.0638 0.1562 0.0390 0.0375 0.0515 0.1562 0.9624 0.0095 0.0001 0.0290 0.0000 0.0877 0.0341 0.0290
335-AH 0.0000 0.0000 0.0169 0.0215 0.0714 0.0172 0.0189 0.0215 0.0714 1.0947 0.0014 0.0000 0.0127 0.0000 0.0326 0.0128 0.0114
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.1770 0.5101 0.6452 0.2530 0.2620 0.5101 0.6452 1.0355 0.0073 0.0000 0.2396 0.0000 0.6452 0.2530 0.2620
338-AH 0.0000 0.0231 0.1471 0.3333 0.7692 0.2420 0.2557 0.3102 0.7692 1.0565 0.0265 0.0000 0.2050 0.0000 0.7692 0.2420 0.2557
339-AH 0.0000 0.1121 0.1810 0.3380 0.5135 0.2158 0.1481 0.2259 0.5135 0.6865 0.1166 0.0002 0.1233 0.0000 0.5135 0.2158 0.1481
340-AH 0.0276 0.1981 0.2778 0.3333 0.4167 0.2690 0.0979 0.1353 0.3890 0.3641 0.2403 0.1846 0.0737 0.0276 0.4167 0.2690 0.0979
287
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0308 0.1000 0.1727 1.0000 0.1652 0.2208 0.1419 1.0000 1.3366 0.0467 0.0001 0.1376 0.0000 0.3333 0.0965 0.0807
342-AH 0.0000 0.0000 0.0000 0.0000 0.3179 0.0418 0.0937 0.0000 0.3179 2.2418 0.0001 0.0000 0.0669 0.0000 0.0000 0.0000 0.0000
343-AH 0.0049 0.0159 0.0222 0.0556 0.2000 0.0455 0.0520 0.0397 0.1951 1.1419 0.0274 0.0176 0.0371 0.0049 0.0909 0.0286 0.0223
344-AH 0.0000 0.0000 0.0599 0.0928 0.1728 0.0539 0.0538 0.0928 0.1728 0.9990 0.0022 0.0000 0.0463 0.0000 0.1728 0.0539 0.0538
345-AH 0.0000 0.0000 0.0000 0.0737 0.0900 0.0312 0.0376 0.0737 0.0900 1.2046 0.0006 0.0000 0.0344 0.0000 0.0900 0.0312 0.0376
346-AH 0.0000 0.0163 0.0308 0.0377 0.0524 0.0251 0.0153 0.0214 0.0524 0.6104 0.0060 0.0000 0.0128 0.0000 0.0524 0.0251 0.0153
347-AH 0.0000 0.0000 0.0000 0.0106 0.0237 0.0040 0.0070 0.0106 0.0237 1.7577 0.0001 0.0000 0.0057 0.0000 0.0237 0.0040 0.0070
348-AH 0.0000 0.0020 1.0000 1.0000 1.0000 0.6362 0.4723 0.9980 1.0000 0.7423 0.0413 0.0000 0.4390 0.0000 1.0000 0.6362 0.4723
349-AH 0.0000 0.0701 0.0982 0.1211 0.1656 0.0977 0.0386 0.0510 0.1656 0.3951 0.0660 0.0002 0.0287 0.0000 0.1656 0.0977 0.0386
350-AH 0.0000 0.0346 0.1333 0.1498 0.2381 0.1087 0.0695 0.1152 0.2381 0.6390 0.0580 0.0002 0.0578 0.0000 0.2381 0.1087 0.0695
288
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1600 0.0816 0.0000 0.2000 0.5103 0.0276 0.0000 0.0640 0.2000 0.2000 0.2000 0.0000
142-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8880 0.2088 0.2000 0.6000 0.2351 0.8546 0.8086 0.1613 0.6000 1.0000 0.9545 0.1057
143-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9120 0.2166 0.0000 0.8000 0.2375 0.8677 0.7853 0.1478 1.0000 1.0000 1.0000 0.0000
144-AH 0.2000 0.2000 0.4000 0.4000 0.6000 0.3200 0.1291 0.2000 0.4000 0.4034 0.2962 0.2752 0.1152 0.2000 0.6000 0.3200 0.1291
145-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9520 0.1046 0.0000 0.4000 0.1098 0.9454 0.9375 0.0768 1.0000 1.0000 1.0000 0.0000
146-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1600 0.0816 0.0000 0.2000 0.5103 0.0276 0.0000 0.0640 0.2000 0.2000 0.2000 0.0000
147-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9120 0.1424 0.2000 0.4000 0.1561 0.8995 0.8850 0.1197 0.6000 1.0000 0.9120 0.1424
148-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1600 0.0816 0.0000 0.2000 0.5103 0.0276 0.0000 0.0640 0.2000 0.2000 0.2000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0480 0.1327 0.0000 0.4000 2.7639 0.0000 0.0000 0.0845 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2160 0.2375 0.4000 0.6000 1.0995 0.0035 0.0000 0.1978 0.0000 0.6000 0.2160 0.2375
152-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7120 0.1424 0.2000 0.6000 0.1999 0.6965 0.6787 0.1216 0.4000 1.0000 0.7120 0.1424
153-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0160 0.0554 0.0000 0.2000 3.4611 0.0000 0.0000 0.0294 0.0000 0.0000 0.0000 0.0000
154-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.6640 0.1497 0.2000 0.6000 0.2254 0.6470 0.6289 0.1248 0.4000 1.0000 0.6640 0.1497
155-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1440 0.1873 0.4000 0.4000 1.3004 0.0007 0.0000 0.1728 0.0000 0.4000 0.1440 0.1873
156-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1280 0.1275 0.2000 0.4000 0.9964 0.0027 0.0000 0.1126 0.0000 0.4000 0.1280 0.1275
157-AH 0.0000 0.5500 0.6000 0.8000 1.0000 0.5760 0.2728 0.2500 1.0000 0.4735 0.1661 0.0001 0.1965 0.2000 1.0000 0.6545 0.1765
158-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8400 0.2582 0.2000 1.0000 0.3074 0.5383 0.0002 0.1920 0.6000 1.0000 0.9182 0.1332
159-AH 0.0000 0.2000 0.2000 0.4000 1.0000 0.3520 0.3177 0.2000 1.0000 0.9026 0.0920 0.0001 0.2426 0.0000 0.6000 0.2286 0.1454
160-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0816 0.0000 0.2000 2.0412 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1760 0.0663 0.0000 0.2000 0.3769 0.0609 0.0001 0.0422 0.2000 0.2000 0.2000 0.0000
163-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9840 0.0554 0.0000 0.2000 0.0563 0.9823 0.9804 0.0294 1.0000 1.0000 1.0000 0.0000
164-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1520 0.1851 0.2000 0.6000 1.2178 0.0020 0.0000 0.1459 0.0000 0.4000 0.1130 0.1325
165-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1600 0.1291 0.2000 0.4000 0.8069 0.0091 0.0000 0.1024 0.0000 0.4000 0.1600 0.1291
168-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1200 0.1633 0.2000 0.6000 1.3608 0.0009 0.0000 0.1344 0.0000 0.4000 0.1000 0.1319
169-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0480 0.0872 0.0500 0.2000 1.8162 0.0001 0.0000 0.0730 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1920 0.0400 0.0000 0.2000 0.2083 0.1346 0.0002 0.0154 0.2000 0.2000 0.2000 0.0000
171-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1600 0.1414 0.2000 0.4000 0.8839 0.0063 0.0000 0.1152 0.0000 0.4000 0.1600 0.1414
172-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1155 0.2000 0.4000 1.4434 0.0004 0.0000 0.1024 0.0000 0.4000 0.0800 0.1155
173-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
174-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
175-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7600 0.1633 0.2000 0.6000 0.2149 0.7421 0.7229 0.1312 0.4000 1.0000 0.7600 0.1633
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.2000 0.2000 0.4000 0.6000 1.0000 0.4320 0.2428 0.4000 0.8000 0.5619 0.3681 0.3151 0.2118 0.2000 1.0000 0.4320 0.2428
178-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1120 0.1424 0.2000 0.4000 1.2711 0.0008 0.0000 0.1254 0.0000 0.4000 0.1120 0.1424
179-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.7280 0.3736 0.6000 1.0000 0.5132 0.2855 0.0001 0.3322 0.0000 1.0000 0.7280 0.3736
180-AH 0.0000 0.0000 0.8000 1.0000 1.0000 0.6400 0.4546 1.0000 1.0000 0.7103 0.0240 0.0000 0.4096 0.0000 1.0000 0.6400 0.4546
181-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7760 0.2788 0.4000 1.0000 0.3593 0.3347 0.0001 0.1946 0.6000 1.0000 0.8435 0.1590
182-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1760 0.2026 0.4000 0.6000 1.1514 0.0022 0.0000 0.1690 0.0000 0.6000 0.1760 0.2026
183-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1000 0.0000 0.4000 2.5000 0.0001 0.0000 0.0672 0.0000 0.0000 0.0000 0.0000
184-AH 0.2000 0.5500 0.8000 0.8500 1.0000 0.7200 0.2380 0.3000 0.8000 0.3306 0.6715 0.6098 0.1984 0.2000 1.0000 0.7200 0.2380
185-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0800 0.1000 0.2000 0.2000 1.2500 0.0005 0.0000 0.0960 0.0000 0.2000 0.0800 0.1000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0960 0.1020 0.2000 0.2000 1.0623 0.0012 0.0000 0.0998 0.0000 0.2000 0.0960 0.1020
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.6000 0.8000 0.8000 1.0000 1.0000 0.8880 0.1166 0.2000 0.4000 0.1313 0.8803 0.8721 0.1075 0.6000 1.0000 0.8880 0.1166
190-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7200 0.2887 0.4000 0.8000 0.4009 0.6377 0.5282 0.2400 0.2000 1.0000 0.7200 0.2887
289
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4560 0.2973 0.4000 1.0000 0.6520 0.0871 0.0001 0.2387 0.0000 1.0000 0.4560 0.2973
193-AH 0.4000 0.4000 0.4000 0.6000 0.8000 0.4880 0.1166 0.2000 0.4000 0.2390 0.4759 0.4651 0.1056 0.4000 0.8000 0.4880 0.1166
194-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1440 0.0917 0.2000 0.2000 0.6365 0.0125 0.0000 0.0806 0.0000 0.2000 0.1440 0.0917
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
197-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7520 0.3016 0.4000 1.0000 0.4010 0.3188 0.0001 0.2291 0.4000 1.0000 0.8174 0.2081
198-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1360 0.0952 0.2000 0.2000 0.7001 0.0084 0.0000 0.0870 0.0000 0.2000 0.1360 0.0952
199-AH 0.2000 0.4000 0.6000 0.8000 0.8000 0.5920 0.1869 0.4000 0.6000 0.3157 0.5556 0.5085 0.1395 0.2000 0.8000 0.5920 0.1869
200-AH 0.4000 0.4000 0.6000 0.8000 1.0000 0.6320 0.1973 0.4000 0.6000 0.3122 0.6019 0.5725 0.1664 0.4000 1.0000 0.6320 0.1973
251-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9920 0.0400 0.0000 0.2000 0.0403 0.9911 0.9901 0.0154 1.0000 1.0000 1.0000 0.0000
252-AH 0.0000 0.2000 0.6000 0.6000 0.8000 0.4640 0.2139 0.4000 0.8000 0.4609 0.2847 0.0002 0.1843 0.0000 0.8000 0.4640 0.2139
253-AH 0.0000 0.6000 0.8000 0.8000 1.0000 0.6960 0.2245 0.2000 1.0000 0.3226 0.4502 0.0002 0.1722 0.4000 1.0000 0.7250 0.1751
254-AH 0.0000 0.2000 0.4000 0.6500 0.8000 0.4000 0.3055 0.4500 0.8000 0.7638 0.0507 0.0000 0.2720 0.0000 0.8000 0.4000 0.3055
255-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2720 0.1400 0.2000 0.4000 0.5147 0.0850 0.0001 0.1229 0.0000 0.4000 0.2720 0.1400
256-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8560 0.3292 0.0500 1.0000 0.3846 0.2446 0.0001 0.2189 1.0000 1.0000 1.0000 0.0000
257-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3440 0.1356 0.2000 0.6000 0.3943 0.2227 0.0002 0.1082 0.0000 0.6000 0.3440 0.1356
258-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0640 0.0952 0.2000 0.2000 1.4878 0.0002 0.0000 0.0870 0.0000 0.2000 0.0640 0.0952
259-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.2800 0.1414 0.2000 0.4000 0.5051 0.0874 0.0001 0.1248 0.0000 0.4000 0.2800 0.1414
260-AH 0.0000 0.9500 1.0000 1.0000 1.0000 0.8720 0.2880 0.0500 1.0000 0.3303 0.3754 0.0001 0.1946 1.0000 1.0000 1.0000 0.0000
261-AH 0.2000 0.4000 0.4000 0.6000 0.8000 0.5040 0.1645 0.2000 0.6000 0.3264 0.4759 0.4444 0.1402 0.2000 0.8000 0.5040 0.1645
262-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6400 0.2449 0.4000 1.0000 0.3827 0.4076 0.0002 0.1920 0.0000 1.0000 0.6400 0.2449
263-AH 0.0000 0.1500 0.2000 0.2500 0.6000 0.2080 0.1579 0.1000 0.6000 0.7591 0.0223 0.0000 0.1082 0.0000 0.4000 0.1917 0.1381
264-AH 0.2000 0.5500 0.8000 1.0000 1.0000 0.7280 0.2509 0.4500 0.8000 0.3446 0.6758 0.6110 0.2144 0.2000 1.0000 0.7280 0.2509
265-AH 0.0000 0.0000 0.4000 0.6000 0.6000 0.3040 0.2458 0.6000 0.6000 0.8084 0.0139 0.0000 0.2195 0.0000 0.6000 0.3040 0.2458
266-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0320 0.0748 0.0000 0.2000 2.3385 0.0000 0.0000 0.0538 0.0000 0.0000 0.0000 0.0000
267-AH 0.2000 0.6000 0.6000 1.0000 1.0000 0.6880 0.2386 0.4000 0.8000 0.3468 0.6427 0.5894 0.2016 0.2000 1.0000 0.6880 0.2386
268-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3040 0.1541 0.2000 0.4000 0.5068 0.0657 0.0001 0.1306 0.0000 0.4000 0.3040 0.1541
269-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3200 0.1732 0.2000 0.6000 0.5413 0.0679 0.0001 0.1408 0.0000 0.6000 0.3200 0.1732
270-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8400 0.3317 0.0000 1.0000 0.3948 0.5014 0.0002 0.2560 1.0000 1.0000 1.0000 0.0000
271-AH 0.4000 0.8000 0.8000 1.0000 1.0000 0.8240 0.1665 0.2000 0.6000 0.2021 0.8053 0.7833 0.1267 0.6000 1.0000 0.8417 0.1442
272-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1600 0.1528 0.2000 0.4000 0.9547 0.0044 0.0000 0.1280 0.0000 0.4000 0.1600 0.1528
273-AH 0.6000 0.9500 1.0000 1.0000 1.0000 0.9360 0.1254 0.0500 0.4000 0.1340 0.9263 0.9146 0.0973 1.0000 1.0000 1.0000 0.0000
274-AH 0.4000 0.5500 0.6000 0.6500 0.8000 0.6000 0.1414 0.1000 0.4000 0.2357 0.5833 0.5660 0.0960 0.6000 0.8000 0.6632 0.0955
275-AH 0.0000 0.4000 0.4000 0.8000 1.0000 0.5360 0.2928 0.4000 1.0000 0.5463 0.2212 0.0001 0.2374 0.0000 1.0000 0.5360 0.2928
276-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7440 0.1583 0.2000 0.6000 0.2128 0.7271 0.7092 0.1312 0.4000 1.0000 0.7440 0.1583
277-AH 0.0000 0.0000 0.2000 0.5000 0.8000 0.3040 0.3116 0.5000 0.8000 1.0249 0.0127 0.0000 0.2611 0.0000 0.8000 0.3040 0.3116
278-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4240 0.2107 0.4000 0.8000 0.4970 0.1804 0.0001 0.1709 0.0000 0.8000 0.4240 0.2107
279-AH 0.0000 0.0000 0.2000 0.2500 0.6000 0.2160 0.1908 0.2500 0.6000 0.8833 0.0155 0.0000 0.1363 0.0000 0.6000 0.2160 0.1908
280-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0816 0.0000 0.2000 2.0412 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.7500 0.8000 1.0000 1.0000 0.7440 0.3083 0.2500 1.0000 0.4144 0.3109 0.0001 0.2291 0.4000 1.0000 0.8364 0.1814
282-AH 0.0000 0.2000 0.4000 0.4500 0.6000 0.3440 0.1960 0.2500 0.6000 0.5696 0.1018 0.0001 0.1632 0.0000 0.6000 0.3440 0.1960
283-AH 0.0000 0.1500 0.6000 1.0000 1.0000 0.5040 0.4128 0.8500 1.0000 0.8190 0.0403 0.0000 0.3718 0.0000 1.0000 0.5040 0.4128
284-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7440 0.2615 0.4000 0.8000 0.3515 0.6819 0.5964 0.2157 0.2000 1.0000 0.7440 0.2615
285-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7440 0.3392 0.4000 1.0000 0.4559 0.3027 0.0001 0.2797 0.2000 1.0000 0.8087 0.2661
286-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0320 0.0748 0.0000 0.2000 2.3385 0.0000 0.0000 0.0538 0.0000 0.0000 0.0000 0.0000
287-AH 0.2000 0.4000 0.6000 0.6000 0.8000 0.5200 0.1915 0.2000 0.6000 0.3682 0.4814 0.4380 0.1632 0.2000 0.8000 0.5200 0.1915
288-AH 0.0000 0.2000 0.4000 0.6500 1.0000 0.4480 0.3429 0.4500 1.0000 0.7655 0.0802 0.0001 0.2938 0.0000 1.0000 0.4480 0.3429
289-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6400 0.3697 0.6000 1.0000 0.5776 0.0814 0.0000 0.3040 0.0000 1.0000 0.6400 0.3697
290-AH 0.0000 0.0000 0.2000 0.6000 0.6000 0.2880 0.2386 0.6000 0.6000 0.8285 0.0190 0.0000 0.2106 0.0000 0.6000 0.2880 0.2386
290
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.8640 0.2361 0.2000 0.8000 0.2732 0.8144 0.7335 0.1850 0.6000 1.0000 0.9364 0.1293
292-AH 0.0000 0.4000 0.4000 0.8000 0.8000 0.4720 0.2638 0.4000 0.8000 0.5589 0.1353 0.0001 0.2144 0.0000 0.8000 0.4720 0.2638
293-AH 0.2000 0.4000 0.8000 1.0000 1.0000 0.7200 0.3000 0.6000 0.8000 0.4167 0.6387 0.5386 0.2656 0.2000 1.0000 0.7200 0.3000
294-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7120 0.1740 0.2000 0.6000 0.2443 0.6896 0.6652 0.1466 0.4000 1.0000 0.7120 0.1740
295-AH 0.0000 0.1500 0.6000 0.6000 1.0000 0.4640 0.3200 0.4500 1.0000 0.6897 0.0411 0.0000 0.2701 0.0000 1.0000 0.4640 0.3200
296-AH 0.0000 0.3000 0.6000 0.6000 0.8000 0.4720 0.2937 0.3000 0.8000 0.6223 0.0432 0.0000 0.2438 0.0000 0.8000 0.4720 0.2937
297-AH 0.2000 0.4000 0.6000 0.8000 1.0000 0.6080 0.1956 0.4000 0.8000 0.3217 0.5736 0.5338 0.1542 0.2000 1.0000 0.6080 0.1956
298-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.4000 0.1732 0.4000 0.6000 0.4330 0.2524 0.0002 0.1280 0.0000 0.6000 0.4000 0.1732
299-AH 0.4000 0.5500 0.8000 0.8000 1.0000 0.7200 0.2160 0.2500 0.6000 0.3000 0.6843 0.6452 0.1824 0.4000 1.0000 0.7200 0.2160
300-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3040 0.1306 0.2000 0.6000 0.4297 0.1961 0.0002 0.1158 0.0000 0.6000 0.3040 0.1306
301-AH 0.0000 0.0000 0.0000 0.6500 1.0000 0.2400 0.3697 0.6500 1.0000 1.5404 0.0004 0.0000 0.3264 0.0000 1.0000 0.2400 0.3697
302-AH 0.0000 0.2000 0.2000 0.4500 0.6000 0.3280 0.1815 0.2500 0.6000 0.5533 0.2012 0.0002 0.1594 0.0000 0.6000 0.3280 0.1815
303-AH 0.0000 0.2000 0.4000 0.8000 0.8000 0.4400 0.3000 0.6000 0.8000 0.6818 0.0818 0.0001 0.2656 0.0000 0.8000 0.4400 0.3000
304-AH 0.4000 0.8000 0.8000 0.8000 0.8000 0.7600 0.1000 0.0000 0.4000 0.1316 0.7517 0.7407 0.0672 0.8000 0.8000 0.8000 0.0000
305-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5200 0.3215 0.6000 1.0000 0.6182 0.2022 0.0001 0.2720 0.0000 1.0000 0.5200 0.3215
306-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1840 0.0554 0.0000 0.2000 0.3010 0.0906 0.0001 0.0294 0.2000 0.2000 0.2000 0.0000
307-AH 0.0000 0.0000 0.0000 0.4500 0.6000 0.2160 0.2577 0.4500 0.6000 1.1930 0.0016 0.0000 0.2285 0.0000 0.6000 0.2160 0.2577
308-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9600 0.1155 0.0000 0.4000 0.1203 0.9514 0.9404 0.0704 1.0000 1.0000 1.0000 0.0000
309-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0720 0.1137 0.2000 0.4000 1.5795 0.0002 0.0000 0.0979 0.0000 0.4000 0.0720 0.1137
310-AH 0.0000 0.2000 0.2000 0.2500 0.4000 0.2160 0.1281 0.0500 0.4000 0.5929 0.0484 0.0001 0.0883 0.2000 0.2000 0.2000 0.0000
311-AH 0.2000 0.3500 0.4000 0.6000 1.0000 0.4960 0.2525 0.2500 0.8000 0.5090 0.4354 0.3793 0.2035 0.2000 0.8000 0.4273 0.1778
312-AH 0.2000 0.4000 0.6000 0.8000 1.0000 0.6240 0.2666 0.4000 0.8000 0.4272 0.5560 0.4762 0.2067 0.2000 1.0000 0.6240 0.2666
313-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2080 0.1956 0.4000 0.6000 0.9405 0.0073 0.0000 0.1549 0.0000 0.6000 0.2080 0.1956
314-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0160 0.0554 0.0000 0.2000 3.4611 0.0000 0.0000 0.0294 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.5120 0.2166 0.2000 0.8000 0.4231 0.2226 0.0001 0.1696 0.2000 0.8000 0.5565 0.1590
316-AH 0.0000 0.1500 0.2000 0.4000 0.6000 0.2800 0.2082 0.2500 0.6000 0.7435 0.0276 0.0000 0.1792 0.0000 0.6000 0.2800 0.2082
317-AH 0.0000 0.4000 0.4000 0.6000 0.8000 0.4640 0.1890 0.2000 0.8000 0.4074 0.2967 0.0002 0.1459 0.2000 0.8000 0.4833 0.1659
318-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0960 0.1172 0.2000 0.4000 1.2207 0.0008 0.0000 0.1075 0.0000 0.4000 0.0960 0.1172
319-AH 0.2000 0.4000 0.6000 0.8000 0.8000 0.5760 0.2185 0.4000 0.6000 0.3793 0.5231 0.4580 0.1766 0.2000 0.8000 0.5760 0.2185
320-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1155 0.0000 0.4000 2.8868 0.0000 0.0000 0.0704 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.1760 0.2026 0.4000 0.6000 1.1514 0.0022 0.0000 0.1690 0.0000 0.6000 0.1760 0.2026
323-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6560 0.2043 0.2000 0.8000 0.3114 0.6201 0.5758 0.1632 0.4000 1.0000 0.6750 0.1847
324-AH 0.0000 0.5000 0.6000 0.8500 1.0000 0.6240 0.3231 0.3500 1.0000 0.5178 0.2499 0.0001 0.2509 0.0000 1.0000 0.6240 0.3231
325-AH 0.4000 0.8000 0.8000 1.0000 1.0000 0.8400 0.1528 0.2000 0.6000 0.1818 0.8240 0.8043 0.1152 0.6000 1.0000 0.8583 0.1248
326-AH 0.0000 0.0000 0.4000 0.4000 0.4000 0.2400 0.1826 0.4000 0.4000 0.7607 0.0121 0.0000 0.1664 0.0000 0.4000 0.2400 0.1826
327-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.1680 0.1701 0.4000 0.4000 1.0125 0.0031 0.0000 0.1478 0.0000 0.4000 0.1680 0.1701
328-AH 0.0000 0.4000 0.4000 0.6000 1.0000 0.4400 0.2309 0.2000 1.0000 0.5249 0.1875 0.0001 0.1664 0.2000 0.8000 0.4545 0.1654
329-AH 0.6000 0.6000 0.8000 0.8500 1.0000 0.7840 0.1519 0.2500 0.4000 0.1937 0.7698 0.7557 0.1178 0.6000 1.0000 0.7840 0.1519
330-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.7680 0.2212 0.4000 0.6000 0.2880 0.7325 0.6928 0.1850 0.4000 1.0000 0.7680 0.2212
331-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1600 0.2236 0.2000 0.8000 1.3975 0.0014 0.0000 0.1664 0.0000 0.4000 0.0909 0.1192
332-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3200 0.2000 0.2000 0.6000 0.6250 0.0656 0.0001 0.1696 0.0000 0.6000 0.3200 0.2000
333-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8160 0.3412 0.2000 1.0000 0.4181 0.4791 0.0002 0.2650 0.8000 1.0000 0.9800 0.0616
334-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.2800 0.1528 0.2000 0.4000 0.5455 0.0605 0.0001 0.1344 0.0000 0.4000 0.2800 0.1528
335-AH 0.2000 0.2000 0.2000 0.6000 0.8000 0.3760 0.2026 0.4000 0.6000 0.5390 0.3265 0.2871 0.1830 0.2000 0.8000 0.3760 0.2026
336-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0880 0.1536 0.2000 0.4000 1.7457 0.0002 0.0000 0.1267 0.0000 0.4000 0.0880 0.1536
337-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.7520 0.3124 0.2000 1.0000 0.4154 0.3109 0.0001 0.2208 0.6000 1.0000 0.8762 0.1179
338-AH 0.0000 0.3500 0.8000 1.0000 1.0000 0.6640 0.3451 0.6500 1.0000 0.5197 0.2621 0.0001 0.2912 0.0000 1.0000 0.6640 0.3451
339-AH 0.0000 0.5500 0.8000 1.0000 1.0000 0.7280 0.2880 0.4500 1.0000 0.3956 0.4515 0.0002 0.2362 0.0000 1.0000 0.7280 0.2880
340-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3360 0.1497 0.2000 0.6000 0.4454 0.2142 0.0002 0.1248 0.0000 0.6000 0.3360 0.1497
291
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.8720 0.1720 0.2000 0.6000 0.1973 0.8500 0.8197 0.1331 0.8000 1.0000 0.9130 0.1014
342-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.8960 0.1172 0.2000 0.4000 0.1308 0.8881 0.8798 0.1082 0.6000 1.0000 0.8960 0.1172
343-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0080 0.0400 0.0000 0.2000 5.0000 0.0000 0.0000 0.0154 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.4000 0.6000 0.8000 1.0000 0.6160 0.2703 0.4000 1.0000 0.4388 0.2632 0.0001 0.2099 0.0000 1.0000 0.6160 0.2703
345-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1200 0.1155 0.2000 0.4000 0.9623 0.0026 0.0000 0.1056 0.0000 0.4000 0.1200 0.1155
346-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1000 0.0000 0.4000 2.5000 0.0001 0.0000 0.0672 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0960 0.1020 0.2000 0.2000 1.0623 0.0012 0.0000 0.0998 0.0000 0.2000 0.0960 0.1020
348-AH 0.0000 0.0000 0.4000 0.4000 0.4000 0.2640 0.1890 0.4000 0.4000 0.7160 0.0131 0.0000 0.1741 0.0000 0.4000 0.2640 0.1890
349-AH 0.0000 0.1500 0.4000 0.6500 1.0000 0.4000 0.3266 0.5000 1.0000 0.8165 0.0344 0.0000 0.2880 0.0000 1.0000 0.4000 0.3266
350-AH 0.4000 0.4000 0.8000 0.8000 1.0000 0.7040 0.2245 0.4000 0.6000 0.3189 0.6656 0.6250 0.1952 0.4000 1.0000 0.7040 0.2245
292
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0800 0.0408 0.0000 0.1000 0.5103 0.0158 0.0000 0.0320 0.1000 0.1000 0.1000 0.0000
142-AH 0.4000 0.5000 0.7000 0.8000 0.8000 0.6560 0.1446 0.3000 0.4000 0.2204 0.6381 0.6178 0.1194 0.4000 0.8000 0.6560 0.1446
143-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.8920 0.2448 0.0000 0.8000 0.2745 0.8365 0.7438 0.1734 1.0000 1.0000 1.0000 0.0000
144-AH 0.1000 0.1750 0.2000 0.2000 0.3000 0.1840 0.0554 0.0250 0.2000 0.3010 0.1749 0.1648 0.0403 0.2000 0.2000 0.2000 0.0000
145-AH 0.5000 0.8000 0.9000 1.0000 1.0000 0.8720 0.1514 0.2000 0.5000 0.1737 0.8569 0.8389 0.1216 0.7000 1.0000 0.9043 0.1065
146-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0920 0.0277 0.0000 0.1000 0.3010 0.0479 0.0001 0.0147 0.1000 0.1000 0.1000 0.0000
147-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9080 0.1256 0.2000 0.4000 0.1383 0.8986 0.8882 0.1030 0.6000 1.0000 0.9080 0.1256
148-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.0960 0.0351 0.0000 0.2000 0.3658 0.0492 0.0001 0.0154 0.1000 0.1000 0.1000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.0960 0.1060 0.2000 0.3000 1.1040 0.0016 0.0000 0.0922 0.0000 0.3000 0.0960 0.1060
151-AH 0.0000 0.0000 0.2000 0.4000 0.5000 0.1920 0.1730 0.4000 0.5000 0.9011 0.0097 0.0000 0.1523 0.0000 0.5000 0.1920 0.1730
152-AH 0.3000 0.4000 0.5000 0.5000 0.6000 0.4640 0.0907 0.1000 0.3000 0.1956 0.4553 0.4464 0.0774 0.3000 0.6000 0.4640 0.0907
153-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0160 0.0374 0.0000 0.1000 2.3385 0.0000 0.0000 0.0269 0.0000 0.0000 0.0000 0.0000
154-AH 0.3000 0.4000 0.5000 0.6000 0.9000 0.5000 0.1225 0.2000 0.6000 0.2449 0.4866 0.4737 0.0800 0.3000 0.9000 0.5000 0.1225
155-AH 0.0000 0.1000 0.1000 0.2000 0.2000 0.1200 0.0764 0.1000 0.2000 0.6365 0.0209 0.0000 0.0640 0.0000 0.2000 0.1200 0.0764
156-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1200 0.1118 0.2000 0.4000 0.9317 0.0072 0.0000 0.0896 0.0000 0.4000 0.1200 0.1118
157-AH 0.0000 0.4750 0.7000 0.9000 1.0000 0.6000 0.2944 0.4250 1.0000 0.4907 0.1716 0.0001 0.2240 0.0000 1.0000 0.6000 0.2944
158-AH 0.0000 0.6000 0.7000 0.8000 0.9000 0.6720 0.1904 0.2000 0.9000 0.2834 0.4405 0.0002 0.1318 0.5000 0.9000 0.7000 0.1319
159-AH 0.0000 0.1000 0.2000 0.2250 1.0000 0.3040 0.3348 0.1250 1.0000 1.1012 0.1410 0.0002 0.2544 0.0000 0.3000 0.1450 0.0686
160-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0480 0.0510 0.1000 0.1000 1.0623 0.0008 0.0000 0.0499 0.0000 0.1000 0.0480 0.0510
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
163-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9560 0.1261 0.0000 0.5000 0.1319 0.9450 0.9298 0.0739 1.0000 1.0000 1.0000 0.0000
164-AH 0.0000 0.0000 0.1000 0.2000 0.5000 0.1520 0.1531 0.2000 0.5000 1.0071 0.0058 0.0000 0.1261 0.0000 0.5000 0.1520 0.1531
165-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1400 0.0913 0.1000 0.3000 0.6521 0.0326 0.0001 0.0768 0.0000 0.3000 0.1400 0.0913
168-AH 0.0000 0.2000 0.3000 0.3000 0.6000 0.2560 0.1387 0.1000 0.6000 0.5417 0.0801 0.0001 0.1053 0.1000 0.4000 0.2762 0.0831
169-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0600 0.0577 0.1000 0.2000 0.9623 0.0018 0.0000 0.0528 0.0000 0.2000 0.0600 0.0577
170-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000
171-AH 0.0000 0.0000 0.1000 0.1250 0.3000 0.1000 0.1000 0.1250 0.3000 1.0000 0.0045 0.0000 0.0720 0.0000 0.3000 0.1000 0.1000
172-AH 0.0000 0.0000 0.1000 0.1250 0.2000 0.0920 0.0759 0.1250 0.2000 0.8254 0.0062 0.0000 0.0589 0.0000 0.2000 0.0920 0.0759
173-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
174-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
175-AH 0.3000 0.5000 0.6000 0.6000 0.6000 0.5480 0.0872 0.1000 0.3000 0.1591 0.5399 0.5300 0.0707 0.4000 0.6000 0.5583 0.0717
176-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
177-AH 0.1000 0.1000 0.3000 0.5250 0.7000 0.3360 0.2079 0.4250 0.6000 0.6188 0.2649 0.2020 0.1814 0.1000 0.7000 0.3360 0.2079
178-AH 0.0000 0.0000 0.1000 0.1250 0.2000 0.0800 0.0816 0.1250 0.2000 1.0206 0.0021 0.0000 0.0704 0.0000 0.2000 0.0800 0.0816
179-AH 0.0000 0.3000 0.7000 0.9250 1.0000 0.6120 0.3504 0.6250 1.0000 0.5725 0.2321 0.0001 0.2986 0.0000 1.0000 0.6120 0.3504
180-AH 0.0000 0.0000 0.7000 0.8000 0.9000 0.5240 0.3700 0.8000 0.9000 0.7061 0.0300 0.0000 0.3274 0.0000 0.9000 0.5240 0.3700
181-AH 0.0000 0.7000 0.9000 1.0000 1.0000 0.7640 0.2914 0.3000 1.0000 0.3814 0.3259 0.0001 0.2170 0.4000 1.0000 0.8304 0.1869
182-AH 0.0000 0.0000 0.1000 0.3000 0.3000 0.1400 0.1258 0.3000 0.3000 0.8988 0.0079 0.0000 0.1120 0.0000 0.3000 0.1400 0.1258
183-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0800 0.1190 0.2000 0.3000 1.4878 0.0004 0.0000 0.1024 0.0000 0.3000 0.0800 0.1190
184-AH 0.1000 0.3750 0.5000 0.6000 0.6000 0.4680 0.1314 0.2250 0.5000 0.2808 0.4415 0.3979 0.1021 0.1000 0.6000 0.4680 0.1314
185-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0520 0.0510 0.1000 0.1000 0.9806 0.0012 0.0000 0.0499 0.0000 0.1000 0.0520 0.0510
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0680 0.0476 0.1000 0.1000 0.7001 0.0052 0.0000 0.0435 0.0000 0.1000 0.0680 0.0476
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.5000 0.6000 0.7000 0.7000 0.7000 0.6320 0.0802 0.1000 0.2000 0.1269 0.6268 0.6213 0.0707 0.5000 0.7000 0.6320 0.0802
190-AH 0.1000 0.3750 0.5000 0.6250 0.7000 0.4680 0.1952 0.2500 0.6000 0.4171 0.4102 0.3279 0.1613 0.1000 0.7000 0.4680 0.1952
293
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.2000 0.3000 0.4000 0.5000 0.3120 0.1364 0.2000 0.5000 0.4371 0.1955 0.0002 0.1085 0.0000 0.5000 0.3120 0.1364
193-AH 0.2000 0.2000 0.3000 0.3250 0.4000 0.2960 0.0735 0.1250 0.2000 0.2483 0.2869 0.2778 0.0538 0.2000 0.4000 0.2960 0.0735
194-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0880 0.0332 0.0000 0.1000 0.3769 0.0331 0.0001 0.0211 0.1000 0.1000 0.1000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
197-AH 0.0000 0.6000 0.8000 0.9250 1.0000 0.7240 0.2976 0.3250 1.0000 0.4111 0.3043 0.0001 0.2253 0.2000 1.0000 0.7870 0.2117
198-AH 0.0000 0.0750 0.1000 0.1000 0.1000 0.0760 0.0436 0.0250 0.1000 0.5735 0.0110 0.0000 0.0365 0.1000 0.1000 0.1000 0.0000
199-AH 0.3000 0.5000 0.6000 0.7000 0.7000 0.5720 0.1208 0.2000 0.4000 0.2112 0.5581 0.5424 0.0998 0.3000 0.7000 0.5720 0.1208
200-AH 0.2000 0.4000 0.5000 0.6000 0.7000 0.4840 0.1519 0.2000 0.5000 0.3138 0.4554 0.4205 0.1178 0.2000 0.7000 0.4840 0.1519
251-AH 0.9000 0.9000 1.0000 1.0000 1.0000 0.9600 0.0500 0.1000 0.1000 0.0521 0.9587 0.9574 0.0480 0.9000 1.0000 0.9600 0.0500
252-AH 0.1000 0.2000 0.4000 0.5000 0.8000 0.3880 0.1922 0.3000 0.7000 0.4953 0.3302 0.2641 0.1514 0.1000 0.8000 0.3880 0.1922
253-AH 0.0000 0.7000 0.7000 0.9000 1.0000 0.7280 0.2031 0.2000 1.0000 0.2790 0.4756 0.0002 0.1354 0.4000 1.0000 0.7583 0.1381
254-AH 0.1000 0.2000 0.4000 0.6000 0.8000 0.4160 0.2095 0.4000 0.7000 0.5037 0.3644 0.3138 0.1658 0.1000 0.8000 0.4160 0.2095
255-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1840 0.0850 0.1000 0.3000 0.4622 0.0855 0.0001 0.0630 0.0000 0.3000 0.1840 0.0850
256-AH 0.0000 0.7750 1.0000 1.0000 1.0000 0.8360 0.3012 0.2250 1.0000 0.3603 0.3568 0.0001 0.2230 0.6000 1.0000 0.9318 0.1359
257-AH 0.1000 0.3000 0.4000 0.4000 0.6000 0.3560 0.1158 0.1000 0.5000 0.3252 0.3338 0.3055 0.0928 0.2000 0.5000 0.3565 0.0945
258-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0480 0.0586 0.1000 0.2000 1.2207 0.0006 0.0000 0.0538 0.0000 0.2000 0.0480 0.0586
259-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1720 0.0614 0.0000 0.2000 0.3568 0.0833 0.0001 0.0448 0.2000 0.2000 0.2000 0.0000
260-AH 0.1000 0.8000 1.0000 1.0000 1.0000 0.8520 0.2502 0.2000 0.9000 0.2937 0.7629 0.5497 0.1693 0.7000 1.0000 0.9174 0.1114
261-AH 0.2000 0.3000 0.5000 0.5000 0.7000 0.4400 0.1323 0.2000 0.5000 0.3007 0.4183 0.3941 0.1120 0.2000 0.7000 0.4400 0.1323
262-AH 0.1000 0.3000 0.5000 0.6250 1.0000 0.5040 0.2318 0.3250 0.9000 0.4599 0.4502 0.3896 0.1888 0.1000 1.0000 0.5040 0.2318
263-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2040 0.1172 0.2000 0.4000 0.5745 0.0899 0.0001 0.0858 0.0000 0.4000 0.2040 0.1172
264-AH 0.2000 0.5500 0.8000 0.9000 1.0000 0.7040 0.2653 0.3500 0.8000 0.3769 0.6375 0.5523 0.2275 0.2000 1.0000 0.7040 0.2653
265-AH 0.0000 0.0000 0.4000 0.4000 0.5000 0.2600 0.1893 0.4000 0.5000 0.7281 0.0129 0.0000 0.1712 0.0000 0.5000 0.2600 0.1893
266-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0320 0.0476 0.1000 0.1000 1.4878 0.0002 0.0000 0.0435 0.0000 0.1000 0.0320 0.0476
267-AH 0.1000 0.4000 0.4000 0.6000 0.8000 0.4880 0.1590 0.2000 0.7000 0.3257 0.4573 0.4108 0.1235 0.1000 0.8000 0.4880 0.1590
268-AH 0.0000 0.1750 0.2000 0.2000 0.2000 0.1680 0.0627 0.0250 0.2000 0.3733 0.0811 0.0001 0.0486 0.2000 0.2000 0.2000 0.0000
269-AH 0.1000 0.2000 0.2000 0.3000 0.4000 0.2280 0.0737 0.1000 0.3000 0.3233 0.2169 0.2055 0.0563 0.1000 0.4000 0.2280 0.0737
270-AH 0.1000 0.9750 1.0000 1.0000 1.0000 0.8480 0.3043 0.0250 0.9000 0.3588 0.7455 0.5646 0.2352 1.0000 1.0000 1.0000 0.0000
271-AH 0.2000 0.7000 0.7000 0.8000 0.9000 0.7080 0.1552 0.1000 0.7000 0.2193 0.6833 0.6425 0.0982 0.6000 0.9000 0.7435 0.0945
272-AH 0.0000 0.1000 0.1000 0.3000 0.4000 0.1720 0.1429 0.2000 0.4000 0.8311 0.0255 0.0000 0.1206 0.0000 0.4000 0.1720 0.1429
273-AH 0.7000 0.9000 0.9000 1.0000 1.0000 0.9160 0.1028 0.1000 0.3000 0.1122 0.9099 0.9034 0.0806 0.8000 1.0000 0.9455 0.0671
274-AH 0.3000 0.3000 0.4000 0.6000 0.8000 0.4480 0.1735 0.3000 0.5000 0.3873 0.4202 0.3974 0.1453 0.3000 0.8000 0.4480 0.1735
275-AH 0.0000 0.2750 0.5000 0.6250 0.8000 0.4480 0.2434 0.3500 0.8000 0.5434 0.1861 0.0001 0.2102 0.0000 0.8000 0.4480 0.2434
276-AH 0.4000 0.6000 0.7000 0.7000 0.9000 0.6680 0.1030 0.1000 0.5000 0.1541 0.6600 0.6515 0.0813 0.6000 0.8000 0.6696 0.0765
277-AH 0.0000 0.1750 0.3000 0.4000 0.6000 0.2760 0.1589 0.2250 0.6000 0.5755 0.1653 0.0002 0.1290 0.0000 0.6000 0.2760 0.1589
278-AH 0.0000 0.1000 0.3000 0.4000 0.6000 0.3040 0.1881 0.3000 0.6000 0.6189 0.1234 0.0001 0.1488 0.0000 0.6000 0.3040 0.1881
279-AH 0.0000 0.1000 0.1000 0.2250 0.4000 0.1440 0.1121 0.1250 0.4000 0.7785 0.0319 0.0001 0.0918 0.0000 0.4000 0.1440 0.1121
280-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0360 0.0569 0.1000 0.2000 1.5795 0.0002 0.0000 0.0490 0.0000 0.2000 0.0360 0.0569
281-AH 0.1000 0.6000 0.7000 0.8000 0.9000 0.6640 0.2079 0.2000 0.8000 0.3131 0.5998 0.4674 0.1478 0.4000 0.9000 0.7130 0.1254
282-AH 0.1000 0.1750 0.3000 0.3000 0.4000 0.2520 0.1046 0.1250 0.3000 0.4149 0.2262 0.1974 0.0896 0.1000 0.4000 0.2520 0.1046
283-AH 0.0000 0.1750 0.4000 0.8000 1.0000 0.4520 0.3356 0.6250 1.0000 0.7424 0.2283 0.0002 0.2982 0.0000 1.0000 0.4520 0.3356
284-AH 0.3000 0.5750 0.6000 0.7000 0.8000 0.6040 0.1241 0.1250 0.5000 0.2055 0.5890 0.5703 0.0851 0.5000 0.8000 0.6304 0.0876
285-AH 0.0000 0.7750 0.8000 1.0000 1.0000 0.7600 0.2872 0.2250 1.0000 0.3779 0.4695 0.0002 0.2128 0.7000 1.0000 0.8900 0.1021
286-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0400 0.0500 0.1000 0.1000 1.2500 0.0004 0.0000 0.0480 0.0000 0.1000 0.0400 0.0500
287-AH 0.1000 0.5000 0.5000 0.6000 0.6000 0.4800 0.1354 0.1000 0.5000 0.2821 0.4452 0.3788 0.0880 0.4000 0.6000 0.5227 0.0612
288-AH 0.0000 0.2000 0.4000 0.7000 0.9000 0.4400 0.2986 0.5000 0.9000 0.6787 0.2367 0.0002 0.2608 0.0000 0.9000 0.4400 0.2986
289-AH 0.0000 0.4500 0.7000 0.9000 1.0000 0.5800 0.3354 0.4500 1.0000 0.5783 0.1075 0.0001 0.2720 0.0000 1.0000 0.5800 0.3354
290-AH 0.0000 0.1750 0.3000 0.4000 0.6000 0.2640 0.1655 0.2250 0.6000 0.6270 0.0783 0.0001 0.1334 0.0000 0.6000 0.2640 0.1655
294
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.2000 0.5000 0.9000 0.9000 1.0000 0.7400 0.2500 0.4000 0.8000 0.3378 0.6850 0.6125 0.2160 0.2000 1.0000 0.7400 0.2500
292-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.3240 0.1128 0.2000 0.4000 0.3483 0.2132 0.0002 0.0973 0.0000 0.4000 0.3240 0.1128
293-AH 0.3000 0.5750 0.9000 0.9000 1.0000 0.7520 0.2124 0.3250 0.7000 0.2824 0.7151 0.6688 0.1818 0.3000 1.0000 0.7520 0.2124
294-AH 0.2000 0.5000 0.7000 0.8000 0.9000 0.6400 0.1803 0.3000 0.7000 0.2817 0.6053 0.5538 0.1392 0.2000 0.9000 0.6400 0.1803
295-AH 0.1000 0.3500 0.5000 0.6000 0.8000 0.4560 0.1895 0.2500 0.7000 0.4155 0.4076 0.3483 0.1578 0.1000 0.8000 0.4560 0.1895
296-AH 0.0000 0.2000 0.6000 0.6000 0.7000 0.4360 0.2706 0.4000 0.7000 0.6207 0.0580 0.0000 0.2419 0.0000 0.7000 0.4360 0.2706
297-AH 0.1000 0.4000 0.4000 0.5000 0.5000 0.4080 0.1038 0.1000 0.4000 0.2543 0.3888 0.3571 0.0736 0.3000 0.5000 0.4304 0.0703
298-AH 0.2000 0.3000 0.4000 0.5000 0.7000 0.3920 0.1470 0.2000 0.5000 0.3749 0.3665 0.3424 0.1130 0.2000 0.7000 0.3920 0.1470
299-AH 0.3000 0.5000 0.7000 0.8000 1.0000 0.6760 0.1985 0.3000 0.7000 0.2936 0.6409 0.5983 0.1606 0.3000 1.0000 0.6760 0.1985
300-AH 0.1000 0.2000 0.3000 0.3250 0.5000 0.2800 0.1258 0.1250 0.4000 0.4494 0.2523 0.2246 0.1008 0.1000 0.5000 0.2800 0.1258
301-AH 0.0000 0.0000 0.0000 0.3500 0.7000 0.1640 0.2580 0.3500 0.7000 1.5732 0.0003 0.0000 0.2230 0.0000 0.7000 0.1640 0.2580
302-AH 0.0000 0.2000 0.3000 0.4000 0.6000 0.2920 0.1631 0.2000 0.6000 0.5585 0.1764 0.0002 0.1216 0.0000 0.6000 0.2920 0.1631
303-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3240 0.1640 0.2000 0.6000 0.5062 0.1394 0.0001 0.1331 0.0000 0.6000 0.3240 0.1640
304-AH 0.3000 0.4000 0.4000 0.4000 0.5000 0.3920 0.0493 0.0000 0.2000 0.1258 0.3889 0.3856 0.0294 0.4000 0.4000 0.4000 0.0000
305-AH 0.0000 0.3750 0.5000 0.6250 0.8000 0.5040 0.2131 0.2500 0.8000 0.4228 0.3165 0.0002 0.1722 0.0000 0.8000 0.5040 0.2131
306-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0960 0.0200 0.0000 0.1000 0.2083 0.0692 0.0002 0.0077 0.1000 0.1000 0.1000 0.0000
307-AH 0.0000 0.1000 0.2000 0.3250 0.6000 0.2240 0.1715 0.2250 0.6000 0.7655 0.0326 0.0000 0.1347 0.0000 0.6000 0.2240 0.1715
308-AH 0.6000 0.6000 0.7000 0.8000 0.9000 0.7000 0.1118 0.2000 0.3000 0.1597 0.6918 0.6840 0.0960 0.6000 0.9000 0.7000 0.1118
309-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.0920 0.0862 0.2000 0.2000 0.9371 0.0031 0.0000 0.0736 0.0000 0.2000 0.0920 0.0862
310-AH 0.0000 0.2000 0.2000 0.3000 0.3000 0.2200 0.0866 0.1000 0.3000 0.3936 0.1440 0.0002 0.0704 0.1000 0.3000 0.2292 0.0751
311-AH 0.1000 0.3750 0.4000 0.6250 1.0000 0.4640 0.2325 0.2500 0.9000 0.5011 0.3948 0.3114 0.1786 0.1000 1.0000 0.4640 0.2325
312-AH 0.1000 0.3000 0.5000 0.7250 0.9000 0.5320 0.2358 0.4250 0.8000 0.4432 0.4705 0.3968 0.2093 0.1000 0.9000 0.5320 0.2358
313-AH 0.0000 0.0000 0.2000 0.2250 0.3000 0.1400 0.1225 0.2250 0.3000 0.8748 0.0057 0.0000 0.1104 0.0000 0.3000 0.1400 0.1225
314-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0400 0.0645 0.1000 0.2000 1.6137 0.0002 0.0000 0.0544 0.0000 0.2000 0.0400 0.0645
315-AH 0.1000 0.4000 0.5000 0.6250 0.7000 0.4760 0.1855 0.2250 0.6000 0.3896 0.4266 0.3551 0.1530 0.1000 0.7000 0.4760 0.1855
316-AH 0.0000 0.1000 0.3000 0.3000 0.5000 0.2320 0.1626 0.2000 0.5000 0.7008 0.0339 0.0000 0.1376 0.0000 0.5000 0.2320 0.1626
317-AH 0.1000 0.3000 0.4000 0.5000 0.7000 0.4000 0.1323 0.2000 0.6000 0.3307 0.3756 0.3431 0.0880 0.1000 0.7000 0.4000 0.1323
318-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1000 0.1000 0.2000 0.3000 1.0000 0.0032 0.0000 0.0800 0.0000 0.3000 0.1000 0.1000
319-AH 0.1000 0.2750 0.4000 0.5000 0.7000 0.3960 0.1567 0.2250 0.6000 0.3958 0.3605 0.3188 0.1251 0.1000 0.7000 0.3960 0.1567
320-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0440 0.0961 0.0000 0.3000 2.1839 0.0001 0.0000 0.0704 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.1000 0.1000 0.2000 0.3000 0.1360 0.0952 0.1000 0.3000 0.7001 0.0226 0.0000 0.0803 0.0000 0.3000 0.1360 0.0952
323-AH 0.2000 0.4000 0.5000 0.6000 0.6000 0.4760 0.1234 0.2000 0.4000 0.2593 0.4577 0.4360 0.1027 0.2000 0.6000 0.4760 0.1234
324-AH 0.0000 0.2750 0.7000 0.7000 0.9000 0.5560 0.2987 0.4250 0.9000 0.5373 0.2132 0.0001 0.2518 0.0000 0.9000 0.5560 0.2987
325-AH 0.5000 0.7750 0.8000 0.9000 1.0000 0.8040 0.1241 0.1250 0.5000 0.1543 0.7937 0.7820 0.0925 0.6000 1.0000 0.8167 0.1090
326-AH 0.0000 0.0750 0.2000 0.2000 0.2000 0.1320 0.0852 0.1250 0.2000 0.6458 0.0162 0.0000 0.0762 0.0000 0.2000 0.1320 0.0852
327-AH 0.0000 0.0000 0.1000 0.2250 0.4000 0.1480 0.1475 0.2250 0.4000 0.9969 0.0057 0.0000 0.1258 0.0000 0.4000 0.1480 0.1475
328-AH 0.3000 0.3000 0.5000 0.5250 0.9000 0.4640 0.1440 0.2250 0.6000 0.3103 0.4440 0.4253 0.1123 0.3000 0.6000 0.4458 0.1141
329-AH 0.5000 0.6000 0.7000 0.8000 0.9000 0.7160 0.1068 0.2000 0.4000 0.1491 0.7081 0.7001 0.0899 0.5000 0.9000 0.7160 0.1068
330-AH 0.3000 0.6750 0.7000 0.9000 1.0000 0.7240 0.2166 0.2250 0.7000 0.2991 0.6848 0.6369 0.1690 0.4000 1.0000 0.7609 0.1828
331-AH 0.0000 0.1000 0.1000 0.2000 0.6000 0.1800 0.1915 0.1000 0.6000 1.0638 0.0245 0.0000 0.1424 0.0000 0.3000 0.1048 0.0805
332-AH 0.0000 0.1000 0.3000 0.4000 0.4000 0.2480 0.1531 0.3000 0.4000 0.6173 0.0519 0.0001 0.1344 0.0000 0.4000 0.2480 0.1531
333-AH 0.1000 0.5000 0.5000 0.5000 0.5000 0.4320 0.1406 0.0000 0.4000 0.3254 0.3938 0.3333 0.1088 0.5000 0.5000 0.5000 0.0000
334-AH 0.0000 0.1750 0.2000 0.3000 0.3000 0.1960 0.0978 0.1250 0.3000 0.4990 0.0638 0.0001 0.0701 0.0000 0.3000 0.1960 0.0978
335-AH 0.1000 0.1750 0.2000 0.3000 0.4000 0.2360 0.1075 0.1250 0.3000 0.4557 0.2110 0.1863 0.0912 0.1000 0.4000 0.2360 0.1075
336-AH 0.0000 0.0000 0.0000 0.1250 0.4000 0.0680 0.1069 0.1250 0.4000 1.5725 0.0003 0.0000 0.0870 0.0000 0.2000 0.0542 0.0833
337-AH 0.0000 0.5750 0.7000 0.8000 1.0000 0.6320 0.2795 0.2250 1.0000 0.4422 0.3654 0.0002 0.2096 0.5000 1.0000 0.7381 0.1396
338-AH 0.0000 0.3000 0.6000 0.7000 0.8000 0.4960 0.2525 0.4000 0.8000 0.5090 0.2815 0.0002 0.2131 0.0000 0.8000 0.4960 0.2525
339-AH 0.2000 0.5000 0.5000 0.8250 1.0000 0.6120 0.2223 0.3250 0.8000 0.3633 0.5677 0.5156 0.1834 0.2000 1.0000 0.6120 0.2223
340-AH 0.0000 0.3000 0.3000 0.4000 0.4000 0.2960 0.0978 0.1000 0.4000 0.3304 0.1962 0.0002 0.0624 0.2000 0.4000 0.3174 0.0650
295
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.4000 0.4000 0.5000 0.5000 0.6000 0.4560 0.0583 0.1000 0.2000 0.1279 0.4525 0.4491 0.0538 0.4000 0.6000 0.4560 0.0583
342-AH 0.7000 0.8000 0.8000 0.9000 1.0000 0.8200 0.0866 0.1000 0.3000 0.1056 0.8157 0.8114 0.0672 0.7000 1.0000 0.8200 0.0866
343-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0120 0.0332 0.0000 0.1000 2.7639 0.0000 0.0000 0.0211 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.4000 0.5000 0.6500 0.9000 0.5280 0.2458 0.2500 0.9000 0.4656 0.2274 0.0001 0.1856 0.3000 0.9000 0.5739 0.1959
345-AH 0.0000 0.0750 0.1000 0.2000 0.4000 0.1280 0.1021 0.1250 0.4000 0.7980 0.0151 0.0000 0.0816 0.0000 0.3000 0.1167 0.0868
346-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0720 0.0792 0.1000 0.3000 1.0995 0.0019 0.0000 0.0634 0.0000 0.2000 0.0625 0.0647
347-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0760 0.0523 0.1000 0.2000 0.6879 0.0078 0.0000 0.0426 0.0000 0.2000 0.0760 0.0523
348-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1320 0.0945 0.2000 0.2000 0.7160 0.0082 0.0000 0.0870 0.0000 0.2000 0.1320 0.0945
349-AH 0.0000 0.3000 0.5000 0.5250 0.7000 0.4200 0.1848 0.2250 0.7000 0.4401 0.2609 0.0002 0.1536 0.0000 0.7000 0.4200 0.1848
350-AH 0.2000 0.3750 0.5000 0.7000 0.7000 0.5160 0.1930 0.3250 0.5000 0.3740 0.4722 0.4210 0.1619 0.2000 0.7000 0.5160 0.1930
296
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0560 0.0249 0.0000 0.0667 0.4454 0.0163 0.0001 0.0179 0.0667 0.0667 0.0667 0.0000
142-AH 0.2667 0.3833 0.5333 0.5333 0.5333 0.4640 0.1009 0.1500 0.2667 0.2174 0.4513 0.4363 0.0838 0.2667 0.5333 0.4640 0.1009
143-AH 0.2667 0.8667 1.0000 1.0000 1.0000 0.8587 0.2534 0.1333 0.7333 0.2951 0.7988 0.7078 0.1788 0.8667 1.0000 0.9651 0.0500
144-AH 0.0667 0.1333 0.1333 0.2000 0.2000 0.1467 0.0385 0.0667 0.1333 0.2624 0.1413 0.1351 0.0299 0.0667 0.2000 0.1467 0.0385
145-AH 0.4000 0.7167 0.8000 0.8833 1.0000 0.7973 0.1593 0.1667 0.6000 0.1997 0.7794 0.7582 0.1156 0.6000 1.0000 0.8290 0.1203
146-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0640 0.0133 0.0000 0.0667 0.2083 0.0469 0.0002 0.0051 0.0667 0.0667 0.0667 0.0000
147-AH 0.5333 0.7833 0.9333 1.0000 1.0000 0.8693 0.1354 0.2167 0.4667 0.1557 0.8580 0.8452 0.1143 0.5333 1.0000 0.8693 0.1354
148-AH 0.0667 0.0667 0.0667 0.0667 0.1333 0.0693 0.0133 0.0000 0.0667 0.1923 0.0685 0.0680 0.0051 0.0667 0.0667 0.0667 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.1333 0.2000 0.2667 0.1253 0.1042 0.2000 0.2667 0.8314 0.0075 0.0000 0.0896 0.0000 0.2667 0.1253 0.1042
151-AH 0.0000 0.0000 0.1333 0.2667 0.3333 0.1440 0.1286 0.2667 0.3333 0.8933 0.0079 0.0000 0.1186 0.0000 0.3333 0.1440 0.1286
152-AH 0.2667 0.3167 0.4000 0.4000 0.5333 0.3707 0.0772 0.0833 0.2667 0.2082 0.3628 0.3549 0.0649 0.2667 0.4667 0.3639 0.0708
153-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0107 0.0249 0.0000 0.0667 2.3385 0.0000 0.0000 0.0179 0.0000 0.0000 0.0000 0.0000
154-AH 0.2667 0.3333 0.4000 0.4667 0.6000 0.4213 0.0855 0.1333 0.3333 0.2028 0.4131 0.4049 0.0702 0.2667 0.6000 0.4213 0.0855
155-AH 0.0000 0.0667 0.1333 0.1333 0.2000 0.0987 0.0581 0.0667 0.2000 0.5890 0.0248 0.0001 0.0495 0.0000 0.2000 0.0987 0.0581
156-AH 0.0000 0.0667 0.1333 0.1333 0.3333 0.1200 0.0861 0.0667 0.3333 0.7172 0.0280 0.0001 0.0640 0.0000 0.2000 0.0970 0.0608
157-AH 0.0000 0.4667 0.6667 0.8000 0.9333 0.5787 0.2740 0.3333 0.9333 0.4735 0.2356 0.0001 0.2123 0.0000 0.9333 0.5787 0.2740
158-AH 0.0000 0.5000 0.6000 0.6667 0.8667 0.5733 0.1711 0.1667 0.8667 0.2983 0.3763 0.0002 0.1216 0.4000 0.8667 0.5972 0.1251
159-AH 0.0667 0.0667 0.1333 0.2333 1.0000 0.2880 0.3409 0.1667 0.9333 1.1836 0.1693 0.1199 0.2618 0.0667 0.3333 0.1267 0.0714
160-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0373 0.0389 0.0667 0.1333 1.0412 0.0010 0.0000 0.0358 0.0000 0.1333 0.0373 0.0389
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
163-AH 0.4667 1.0000 1.0000 1.0000 1.0000 0.9520 0.1395 0.0000 0.5333 0.1465 0.9379 0.9177 0.0806 1.0000 1.0000 1.0000 0.0000
164-AH 0.0000 0.0500 0.1333 0.2167 0.5333 0.1493 0.1418 0.1667 0.5333 0.9495 0.0157 0.0000 0.1111 0.0000 0.4000 0.1333 0.1196
165-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0667 0.1333 0.1333 0.2000 0.1013 0.0642 0.0667 0.2000 0.6333 0.0249 0.0001 0.0546 0.0000 0.2000 0.1013 0.0642
168-AH 0.0000 0.2667 0.4000 0.4667 0.6000 0.3333 0.1633 0.2000 0.6000 0.4899 0.1028 0.0001 0.1280 0.0000 0.6000 0.3333 0.1633
169-AH 0.0000 0.0000 0.0667 0.0667 0.2000 0.0587 0.0555 0.0667 0.2000 0.9462 0.0033 0.0000 0.0422 0.0000 0.1333 0.0528 0.0481
170-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0640 0.0133 0.0000 0.0667 0.2083 0.0469 0.0002 0.0051 0.0667 0.0667 0.0667 0.0000
171-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.1040 0.0964 0.1333 0.2667 0.9267 0.0088 0.0000 0.0791 0.0000 0.2667 0.1040 0.0964
172-AH 0.0000 0.0667 0.1333 0.1333 0.2667 0.1067 0.0638 0.0667 0.2667 0.5984 0.0363 0.0001 0.0512 0.0000 0.2000 0.1000 0.0556
173-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
174-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
175-AH 0.2667 0.3833 0.4000 0.4000 0.4000 0.3733 0.0509 0.0167 0.1333 0.1364 0.3694 0.3650 0.0405 0.4000 0.4000 0.4000 0.0000
176-AH 0.9333 1.0000 1.0000 1.0000 1.0000 0.9893 0.0249 0.0000 0.0667 0.0252 0.9890 0.9887 0.0179 1.0000 1.0000 1.0000 0.0000
177-AH 0.0667 0.0667 0.3333 0.4667 0.5333 0.2800 0.1678 0.4000 0.4667 0.5992 0.2133 0.1490 0.1451 0.0667 0.5333 0.2800 0.1678
178-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0667 0.0638 0.1333 0.2000 0.9574 0.0035 0.0000 0.0480 0.0000 0.2000 0.0667 0.0638
179-AH 0.0000 0.3333 0.6667 0.7500 0.9333 0.5600 0.2854 0.4167 0.9333 0.5097 0.3194 0.0002 0.2475 0.0000 0.9333 0.5600 0.2854
180-AH 0.0000 0.1000 0.6000 0.7333 0.8000 0.4773 0.3241 0.6333 0.8000 0.6791 0.0412 0.0000 0.2859 0.0000 0.8000 0.4773 0.3241
181-AH 0.0000 0.8000 0.8667 1.0000 1.0000 0.7760 0.2892 0.2000 1.0000 0.3727 0.4663 0.0002 0.2091 0.5333 1.0000 0.8889 0.1102
182-AH 0.0000 0.0500 0.0667 0.2000 0.2667 0.1013 0.0842 0.1500 0.2667 0.8304 0.0122 0.0000 0.0736 0.0000 0.2667 0.1013 0.0842
183-AH 0.0000 0.0000 0.0000 0.2000 0.2667 0.0747 0.0987 0.2000 0.2667 1.3223 0.0007 0.0000 0.0855 0.0000 0.2667 0.0747 0.0987
184-AH 0.1333 0.3333 0.3333 0.4000 0.4667 0.3520 0.0758 0.0667 0.3333 0.2154 0.3417 0.3277 0.0567 0.2667 0.4667 0.3681 0.0527
185-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0480 0.0306 0.0667 0.0667 0.6365 0.0057 0.0000 0.0269 0.0000 0.0667 0.0480 0.0306
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0027 0.0133 0.0000 0.0667 5.0000 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000
189-AH 0.3333 0.4000 0.4667 0.4667 0.4667 0.4293 0.0512 0.0667 0.1333 0.1193 0.4261 0.4227 0.0448 0.3333 0.4667 0.4293 0.0512
190-AH 0.0667 0.2500 0.4000 0.4667 0.4667 0.3333 0.1291 0.2167 0.4000 0.3873 0.2970 0.2433 0.1067 0.0667 0.4667 0.3333 0.1291
297
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0667 0.1833 0.2667 0.3333 0.3333 0.2347 0.0945 0.1500 0.2667 0.4028 0.2101 0.1792 0.0813 0.0667 0.3333 0.2347 0.0945
193-AH 0.2000 0.2000 0.2667 0.2667 0.3333 0.2613 0.0468 0.0667 0.1333 0.1792 0.2573 0.2532 0.0343 0.2000 0.3333 0.2613 0.0468
194-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0587 0.0221 0.0000 0.0667 0.3769 0.0232 0.0001 0.0141 0.0667 0.0667 0.0667 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
197-AH 0.1333 0.6500 0.7333 0.9333 1.0000 0.7120 0.2727 0.2833 0.8667 0.3829 0.6303 0.5051 0.2086 0.2667 1.0000 0.7623 0.2191
198-AH 0.0000 0.0500 0.0667 0.0667 0.0667 0.0507 0.0291 0.0167 0.0667 0.5735 0.0081 0.0000 0.0243 0.0667 0.0667 0.0667 0.0000
199-AH 0.3333 0.4500 0.5333 0.6000 0.6000 0.5147 0.0933 0.1500 0.2667 0.1813 0.5054 0.4949 0.0749 0.3333 0.6000 0.5147 0.0933
200-AH 0.1333 0.3167 0.4000 0.4000 0.5333 0.3653 0.1039 0.0833 0.4000 0.2843 0.3478 0.3260 0.0817 0.2000 0.4667 0.3606 0.0840
251-AH 0.8667 0.9167 0.9333 0.9333 0.9333 0.9173 0.0291 0.0167 0.0667 0.0317 0.9169 0.9164 0.0243 0.9333 0.9333 0.9333 0.0000
252-AH 0.0667 0.2500 0.4667 0.5333 0.7333 0.3867 0.1876 0.2833 0.6667 0.4851 0.3194 0.2320 0.1600 0.0667 0.7333 0.3867 0.1876
253-AH 0.0000 0.5833 0.8000 0.8667 1.0000 0.7280 0.2160 0.2833 1.0000 0.2966 0.4733 0.0002 0.1619 0.4667 1.0000 0.7583 0.1570
254-AH 0.1333 0.2000 0.4000 0.5167 0.8000 0.4053 0.2194 0.3167 0.6667 0.5412 0.3480 0.2961 0.1820 0.1333 0.8000 0.4053 0.2194
255-AH 0.0667 0.1333 0.1333 0.2000 0.2667 0.1600 0.0609 0.0667 0.2000 0.3804 0.1477 0.1342 0.0512 0.0667 0.2667 0.1600 0.0609
256-AH 0.0000 0.6500 0.9333 1.0000 1.0000 0.7840 0.3026 0.3500 1.0000 0.3860 0.3326 0.0001 0.2351 0.3333 1.0000 0.8522 0.1979
257-AH 0.1333 0.2667 0.3333 0.4000 0.5333 0.3333 0.1072 0.1333 0.4000 0.3215 0.3139 0.2914 0.0853 0.1333 0.5333 0.3333 0.1072
258-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0480 0.0653 0.0667 0.2000 1.3608 0.0006 0.0000 0.0538 0.0000 0.1333 0.0348 0.0487
259-AH 0.0000 0.1333 0.1333 0.1333 0.1333 0.1227 0.0315 0.0000 0.1333 0.2568 0.0863 0.0002 0.0188 0.1333 0.1333 0.1333 0.0000
260-AH 0.0667 0.7333 0.8667 0.8667 1.0000 0.7733 0.2277 0.1333 0.9333 0.2945 0.6788 0.4323 0.1376 0.6667 1.0000 0.8348 0.0850
261-AH 0.2000 0.2667 0.4000 0.4667 0.6000 0.3813 0.1163 0.2000 0.4000 0.3050 0.3633 0.3445 0.0956 0.2000 0.6000 0.3813 0.1163
262-AH 0.0667 0.2667 0.4667 0.5500 0.8000 0.4293 0.1991 0.2833 0.7333 0.4639 0.3776 0.3125 0.1615 0.0667 0.8000 0.4293 0.1991
263-AH 0.0000 0.1333 0.2667 0.2833 0.4000 0.2293 0.1140 0.1500 0.4000 0.4970 0.1417 0.0002 0.0922 0.0000 0.4000 0.2293 0.1140
264-AH 0.1333 0.3833 0.7333 0.8000 0.8667 0.5840 0.2390 0.4167 0.7333 0.4093 0.5181 0.4322 0.2165 0.1333 0.8667 0.5840 0.2390
265-AH 0.0000 0.0000 0.2667 0.3333 0.4000 0.2000 0.1440 0.3333 0.4000 0.7201 0.0151 0.0000 0.1280 0.0000 0.4000 0.2000 0.1440
266-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0373 0.0434 0.0667 0.1333 1.1619 0.0007 0.0000 0.0388 0.0000 0.1333 0.0373 0.0434
267-AH 0.1333 0.2667 0.4000 0.4833 0.6000 0.3893 0.1181 0.2167 0.4667 0.3034 0.3699 0.3474 0.0973 0.1333 0.6000 0.3893 0.1181
268-AH 0.0000 0.1167 0.1333 0.1333 0.2000 0.1147 0.0452 0.0167 0.2000 0.3943 0.0567 0.0001 0.0337 0.1333 0.1333 0.1333 0.0000
269-AH 0.0667 0.2000 0.2000 0.2167 0.3333 0.2080 0.0555 0.0167 0.2667 0.2669 0.1980 0.1828 0.0335 0.2000 0.2000 0.2000 0.0000
270-AH 0.0667 0.9000 1.0000 1.0000 1.0000 0.8267 0.3186 0.1000 0.9333 0.3854 0.7039 0.4788 0.2475 0.8000 1.0000 0.9800 0.0488
271-AH 0.1333 0.5333 0.6000 0.7333 0.8000 0.6107 0.1370 0.2000 0.6667 0.2244 0.5858 0.5375 0.0964 0.4000 0.8000 0.6306 0.0963
272-AH 0.0000 0.1333 0.2000 0.2667 0.3333 0.1840 0.1175 0.1333 0.3333 0.6386 0.0294 0.0000 0.0979 0.0000 0.3333 0.1840 0.1175
273-AH 0.6000 0.7833 0.9333 1.0000 1.0000 0.8827 0.1309 0.2167 0.4000 0.1483 0.8723 0.8610 0.1116 0.6000 1.0000 0.8827 0.1309
274-AH 0.2000 0.2667 0.4000 0.4667 0.5333 0.3653 0.1249 0.2000 0.3333 0.3419 0.3438 0.3226 0.1161 0.2000 0.5333 0.3653 0.1249
275-AH 0.0000 0.2500 0.5333 0.6167 0.7333 0.4267 0.2309 0.3667 0.7333 0.5413 0.2493 0.0002 0.2101 0.0000 0.7333 0.4267 0.2309
276-AH 0.4667 0.6000 0.6000 0.6833 0.7333 0.6373 0.0722 0.0833 0.2667 0.1133 0.6333 0.6291 0.0602 0.5333 0.7333 0.6444 0.0642
277-AH 0.0000 0.2667 0.2667 0.4000 0.5333 0.2907 0.1346 0.1333 0.5333 0.4629 0.1778 0.0002 0.1015 0.2000 0.5333 0.3365 0.0881
278-AH 0.0000 0.1333 0.2667 0.3333 0.4667 0.2480 0.1485 0.2000 0.4667 0.5987 0.1034 0.0001 0.1207 0.0000 0.4667 0.2480 0.1485
279-AH 0.0000 0.0667 0.1333 0.1500 0.2667 0.1120 0.0738 0.0833 0.2667 0.6593 0.0268 0.0001 0.0612 0.0000 0.2667 0.1120 0.0738
280-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0320 0.0476 0.0667 0.1333 1.4878 0.0003 0.0000 0.0410 0.0000 0.1333 0.0320 0.0476
281-AH 0.0667 0.5167 0.6000 0.8000 0.8667 0.6000 0.2064 0.2833 0.8000 0.3440 0.5383 0.4146 0.1440 0.1333 0.8667 0.6222 0.1777
282-AH 0.0667 0.1833 0.2667 0.3333 0.4667 0.2427 0.1169 0.1500 0.4000 0.4816 0.2068 0.1651 0.0962 0.0667 0.4667 0.2427 0.1169
283-AH 0.0667 0.1333 0.2667 0.6667 1.0000 0.4027 0.3021 0.5333 0.9333 0.7503 0.2924 0.2045 0.2594 0.0667 1.0000 0.4027 0.3021
284-AH 0.2667 0.5167 0.5333 0.6000 0.6667 0.5440 0.0994 0.0833 0.4000 0.1827 0.5335 0.5205 0.0715 0.4667 0.6667 0.5652 0.0693
285-AH 0.0667 0.6000 0.8000 0.9333 1.0000 0.6907 0.2867 0.3333 0.9333 0.4151 0.5859 0.4120 0.2253 0.1333 1.0000 0.7167 0.2610
286-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0453 0.0371 0.0667 0.1333 0.8188 0.0029 0.0000 0.0326 0.0000 0.1333 0.0453 0.0371
287-AH 0.2000 0.4000 0.4667 0.5333 0.6000 0.4560 0.1150 0.1333 0.4000 0.2521 0.4384 0.4163 0.0928 0.2000 0.6000 0.4560 0.1150
288-AH 0.1333 0.2667 0.3333 0.6000 0.8000 0.4160 0.2145 0.3333 0.6667 0.5157 0.3654 0.3215 0.1845 0.1333 0.8000 0.4160 0.2145
289-AH 0.0000 0.4333 0.6000 0.8000 0.8000 0.5200 0.2861 0.3667 0.8000 0.5502 0.1387 0.0001 0.2336 0.0000 0.8000 0.5200 0.2861
290-AH 0.0000 0.2000 0.3333 0.4000 0.5333 0.3120 0.1548 0.2000 0.5333 0.4962 0.0957 0.0001 0.1214 0.0000 0.5333 0.3120 0.1548
298
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.2000 0.4667 0.7333 0.9333 0.9333 0.6960 0.2488 0.4667 0.7333 0.3574 0.6383 0.5629 0.2155 0.2000 0.9333 0.6960 0.2488
292-AH 0.0667 0.2333 0.2667 0.2667 0.2667 0.2320 0.0642 0.0333 0.2000 0.2766 0.2196 0.2020 0.0527 0.2667 0.2667 0.2667 0.0000
293-AH 0.3333 0.5167 0.6667 0.7500 0.9333 0.6507 0.1659 0.2333 0.6000 0.2549 0.6284 0.6044 0.1365 0.3333 0.9333 0.6507 0.1659
294-AH 0.1333 0.5333 0.6667 0.7333 0.8000 0.6080 0.1819 0.2000 0.6667 0.2991 0.5627 0.4826 0.1391 0.4000 0.8000 0.6493 0.1176
295-AH 0.2667 0.2667 0.4667 0.5500 0.6667 0.4453 0.1384 0.2833 0.4000 0.3108 0.4225 0.3988 0.1180 0.2667 0.6667 0.4453 0.1384
296-AH 0.0000 0.1333 0.4667 0.5500 0.7333 0.3813 0.2535 0.4167 0.7333 0.6648 0.0508 0.0000 0.2212 0.0000 0.7333 0.3813 0.2535
297-AH 0.0667 0.3333 0.3333 0.3333 0.4667 0.3227 0.0762 0.0000 0.4000 0.2362 0.3085 0.2808 0.0437 0.3333 0.3333 0.3333 0.0000
298-AH 0.2000 0.3167 0.3333 0.4167 0.6000 0.3653 0.1021 0.1000 0.4000 0.2793 0.3519 0.3385 0.0811 0.2000 0.5333 0.3556 0.0915
299-AH 0.2667 0.4667 0.6667 0.8000 0.9333 0.6187 0.1977 0.3333 0.6667 0.3195 0.5818 0.5385 0.1658 0.2667 0.9333 0.6187 0.1977
300-AH 0.0667 0.2000 0.3333 0.3500 0.5333 0.3013 0.1124 0.1500 0.4667 0.3731 0.2763 0.2435 0.0892 0.0667 0.5333 0.3013 0.1124
301-AH 0.0000 0.0000 0.0000 0.2500 0.6000 0.1333 0.2082 0.2500 0.6000 1.5612 0.0004 0.0000 0.1760 0.0000 0.6000 0.1333 0.2082
302-AH 0.0667 0.2000 0.2667 0.3333 0.4000 0.2720 0.0880 0.1333 0.3333 0.3236 0.2551 0.2320 0.0659 0.0667 0.4000 0.2720 0.0880
303-AH 0.0000 0.1333 0.2667 0.4000 0.5333 0.2800 0.1587 0.2667 0.5333 0.5668 0.1169 0.0001 0.1312 0.0000 0.5333 0.2800 0.1587
304-AH 0.2000 0.2667 0.2667 0.3500 0.4000 0.3067 0.0638 0.0833 0.2000 0.2081 0.3003 0.2941 0.0555 0.2000 0.4000 0.3067 0.0638
305-AH 0.0000 0.3333 0.4667 0.6667 0.7333 0.4667 0.2091 0.3333 0.7333 0.4480 0.2874 0.0002 0.1707 0.0000 0.7333 0.4667 0.2091
306-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
307-AH 0.0667 0.1333 0.2000 0.3333 0.6000 0.2347 0.1429 0.2000 0.5333 0.6089 0.1930 0.1546 0.1137 0.0667 0.6000 0.2347 0.1429
308-AH 0.4000 0.4000 0.5333 0.5500 0.6000 0.4880 0.0855 0.1500 0.2000 0.1751 0.4808 0.4738 0.0791 0.4000 0.6000 0.4880 0.0855
309-AH 0.0000 0.0000 0.1333 0.1333 0.2000 0.0960 0.0747 0.1333 0.2000 0.7785 0.0088 0.0000 0.0655 0.0000 0.2000 0.0960 0.0747
310-AH 0.1333 0.1333 0.2000 0.2667 0.3333 0.2053 0.0692 0.1333 0.2000 0.3369 0.1938 0.1828 0.0642 0.1333 0.3333 0.2053 0.0692
311-AH 0.2000 0.3333 0.4000 0.6167 0.7333 0.4587 0.1614 0.2833 0.5333 0.3519 0.4301 0.4010 0.1404 0.2000 0.7333 0.4587 0.1614
312-AH 0.1333 0.2667 0.4667 0.6667 0.8667 0.4720 0.2142 0.4000 0.7333 0.4539 0.4164 0.3557 0.1869 0.1333 0.8667 0.4720 0.2142
313-AH 0.0000 0.0000 0.1333 0.2000 0.4000 0.1413 0.1338 0.2000 0.4000 0.9465 0.0057 0.0000 0.1056 0.0000 0.4000 0.1413 0.1338
314-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0293 0.0434 0.0667 0.1333 1.4787 0.0003 0.0000 0.0375 0.0000 0.1333 0.0293 0.0434
315-AH 0.1333 0.3333 0.4667 0.6167 0.8000 0.4667 0.2064 0.2833 0.6667 0.4422 0.4127 0.3495 0.1653 0.1333 0.8000 0.4667 0.2064
316-AH 0.0000 0.0667 0.2000 0.3333 0.5333 0.2107 0.1572 0.2667 0.5333 0.7460 0.0304 0.0000 0.1293 0.0000 0.5333 0.2107 0.1572
317-AH 0.0667 0.3167 0.4000 0.4000 0.5333 0.3493 0.1023 0.0833 0.4667 0.2930 0.3271 0.2882 0.0740 0.2667 0.4000 0.3556 0.0531
318-AH 0.0000 0.0000 0.0667 0.1333 0.2667 0.0933 0.0903 0.1333 0.2667 0.9671 0.0059 0.0000 0.0747 0.0000 0.2667 0.0933 0.0903
319-AH 0.0667 0.2000 0.2667 0.4000 0.6000 0.3040 0.1441 0.2000 0.5333 0.4741 0.2678 0.2287 0.1218 0.0667 0.6000 0.3040 0.1441
320-AH 0.0000 0.0000 0.0000 0.0000 0.2667 0.0400 0.0861 0.0000 0.2667 2.1517 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.1013 0.0612 0.0667 0.2000 0.6042 0.0345 0.0001 0.0521 0.0000 0.2000 0.1013 0.0612
323-AH 0.1333 0.2667 0.4000 0.4000 0.4667 0.3440 0.0937 0.1333 0.3333 0.2722 0.3285 0.3095 0.0779 0.1333 0.4667 0.3440 0.0937
324-AH 0.0000 0.2500 0.6000 0.7333 0.8667 0.5040 0.2822 0.4833 0.8667 0.5600 0.1882 0.0001 0.2372 0.0000 0.8667 0.5040 0.2822
325-AH 0.4000 0.6667 0.8000 0.8667 0.9333 0.7707 0.1492 0.2000 0.5333 0.1936 0.7542 0.7345 0.1175 0.4000 0.9333 0.7707 0.1492
326-AH 0.0000 0.0500 0.1333 0.1333 0.1333 0.0907 0.0573 0.0833 0.1333 0.6325 0.0122 0.0000 0.0512 0.0000 0.1333 0.0907 0.0573
327-AH 0.0000 0.0000 0.1333 0.2167 0.2667 0.1120 0.1067 0.2167 0.2667 0.9524 0.0048 0.0000 0.0915 0.0000 0.2667 0.1120 0.1067
328-AH 0.2000 0.3333 0.4667 0.5500 0.7333 0.4507 0.1337 0.2167 0.5333 0.2967 0.4296 0.4063 0.1086 0.2000 0.7333 0.4507 0.1337
329-AH 0.4667 0.6000 0.6667 0.7333 0.7333 0.6453 0.0738 0.1333 0.2667 0.1144 0.6411 0.6366 0.0612 0.4667 0.7333 0.6453 0.0738
330-AH 0.2667 0.5167 0.8000 0.8667 0.9333 0.6853 0.2369 0.3500 0.6667 0.3457 0.6316 0.5646 0.1986 0.2667 0.9333 0.6853 0.2369
331-AH 0.0000 0.0667 0.2000 0.2833 0.5333 0.2080 0.1555 0.2167 0.5333 0.7478 0.1133 0.0002 0.1229 0.0000 0.5333 0.2080 0.1555
332-AH 0.0000 0.0667 0.2000 0.2667 0.3333 0.1787 0.1049 0.2000 0.3333 0.5872 0.0400 0.0001 0.0877 0.0000 0.3333 0.1787 0.1049
333-AH 0.0667 0.3333 0.3333 0.3333 0.3333 0.2907 0.0900 0.0000 0.2667 0.3097 0.2668 0.2273 0.0683 0.3333 0.3333 0.3333 0.0000
334-AH 0.0000 0.1333 0.2000 0.2000 0.2000 0.1600 0.0609 0.0667 0.2000 0.3804 0.0774 0.0001 0.0480 0.0667 0.2000 0.1739 0.0389
335-AH 0.0667 0.1333 0.1333 0.2667 0.4000 0.1787 0.0810 0.1333 0.3333 0.4534 0.1616 0.1449 0.0668 0.0667 0.4000 0.1787 0.0810
336-AH 0.0000 0.0000 0.0000 0.1333 0.4000 0.0613 0.0980 0.1333 0.4000 1.5975 0.0004 0.0000 0.0736 0.0000 0.2000 0.0472 0.0694
337-AH 0.0000 0.5167 0.6667 0.8000 0.9333 0.5973 0.2578 0.2833 0.9333 0.4316 0.3572 0.0002 0.2005 0.1333 0.9333 0.6222 0.2307
338-AH 0.0000 0.2000 0.4667 0.6000 0.6667 0.4160 0.2145 0.4000 0.6667 0.5157 0.2358 0.0002 0.1781 0.0000 0.6667 0.4160 0.2145
339-AH 0.1333 0.4000 0.4667 0.7333 0.8667 0.5360 0.2121 0.3333 0.7333 0.3957 0.4853 0.4197 0.1792 0.1333 0.8667 0.5360 0.2121
340-AH 0.0000 0.2500 0.2667 0.3333 0.3333 0.2640 0.0781 0.0833 0.3333 0.2959 0.1786 0.0002 0.0521 0.1333 0.3333 0.2750 0.0567
299
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2667 0.3333 0.3333 0.3333 0.4000 0.3360 0.0303 0.0000 0.1333 0.0902 0.3347 0.3333 0.0154 0.3333 0.3333 0.3333 0.0000
342-AH 0.6667 0.7333 0.8667 0.8667 0.9333 0.8080 0.0846 0.1333 0.2667 0.1047 0.8036 0.7990 0.0717 0.6667 0.9333 0.8080 0.0846
343-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0133 0.0272 0.0000 0.0667 2.0412 0.0001 0.0000 0.0213 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.4500 0.5333 0.6167 0.8667 0.5067 0.2152 0.1667 0.8667 0.4247 0.2209 0.0001 0.1579 0.2667 0.8667 0.5507 0.1586
345-AH 0.0000 0.0500 0.1333 0.1333 0.3333 0.1173 0.0908 0.0833 0.3333 0.7742 0.0142 0.0000 0.0685 0.0000 0.2000 0.0939 0.0672
346-AH 0.0000 0.0000 0.0667 0.0667 0.2667 0.0693 0.0652 0.0667 0.2667 0.9405 0.0068 0.0000 0.0416 0.0000 0.1333 0.0551 0.0434
347-AH 0.0000 0.0667 0.0667 0.0667 0.2000 0.0720 0.0542 0.0000 0.2000 0.7522 0.0136 0.0000 0.0352 0.0667 0.0667 0.0667 0.0000
348-AH 0.0000 0.0000 0.1333 0.1333 0.1333 0.0907 0.0605 0.1333 0.1333 0.6672 0.0088 0.0000 0.0546 0.0000 0.1333 0.0907 0.0605
349-AH 0.2000 0.2667 0.4000 0.5333 0.6000 0.3920 0.1296 0.2667 0.4000 0.3305 0.3691 0.3449 0.1109 0.2000 0.6000 0.3920 0.1296
350-AH 0.2000 0.4000 0.4667 0.4667 0.4667 0.4000 0.0962 0.0667 0.2667 0.2406 0.3851 0.3657 0.0693 0.3333 0.4667 0.4381 0.0398
300
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0420 0.0187 0.0000 0.0500 0.4454 0.0128 0.0001 0.0134 0.0500 0.0500 0.0500 0.0000
142-AH 0.2000 0.2875 0.4000 0.4000 0.4000 0.3500 0.0764 0.1125 0.2000 0.2182 0.3403 0.3287 0.0640 0.2000 0.4000 0.3500 0.0764
143-AH 0.2500 0.8000 0.9000 1.0000 1.0000 0.8240 0.2666 0.2000 0.7500 0.3235 0.7535 0.6464 0.1894 0.8000 1.0000 0.9333 0.0827
144-AH 0.0500 0.1000 0.1500 0.1500 0.1500 0.1240 0.0327 0.0500 0.1000 0.2634 0.1187 0.1119 0.0291 0.0500 0.1500 0.1240 0.0327
145-AH 0.3500 0.6500 0.7000 0.8000 0.9500 0.7260 0.1393 0.1500 0.6000 0.1919 0.7112 0.6936 0.1051 0.5000 0.9500 0.7417 0.1176
146-AH 0.0500 0.0500 0.0500 0.0500 0.1000 0.0520 0.0100 0.0000 0.0500 0.1923 0.0514 0.0510 0.0038 0.0500 0.0500 0.0500 0.0000
147-AH 0.4500 0.7375 0.8500 0.9000 1.0000 0.8120 0.1277 0.1625 0.5500 0.1573 0.8009 0.7880 0.1026 0.6500 1.0000 0.8271 0.1053
148-AH 0.0500 0.0500 0.0500 0.0500 0.1000 0.0540 0.0138 0.0000 0.0500 0.2564 0.0529 0.0521 0.0074 0.0500 0.0500 0.0500 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.1500 0.2000 0.2500 0.1260 0.0970 0.2000 0.2500 0.7695 0.0077 0.0000 0.0867 0.0000 0.2500 0.1260 0.0970
151-AH 0.0000 0.0500 0.1000 0.2125 0.2500 0.1320 0.0956 0.1625 0.2500 0.7243 0.0212 0.0000 0.0853 0.0000 0.2500 0.1320 0.0956
152-AH 0.2000 0.2500 0.3500 0.3625 0.4500 0.3200 0.0692 0.1125 0.2500 0.2163 0.3125 0.3047 0.0592 0.2000 0.4500 0.3200 0.0692
153-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0080 0.0187 0.0000 0.0500 2.3385 0.0000 0.0000 0.0134 0.0000 0.0000 0.0000 0.0000
154-AH 0.2500 0.3000 0.3500 0.4000 0.5000 0.3660 0.0746 0.1000 0.2500 0.2039 0.3584 0.3506 0.0606 0.2500 0.5000 0.3660 0.0746
155-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0760 0.0459 0.0500 0.1500 0.6042 0.0198 0.0001 0.0389 0.0000 0.1500 0.0760 0.0459
156-AH 0.0000 0.0875 0.1000 0.1500 0.3500 0.1200 0.0707 0.0625 0.3500 0.5893 0.0758 0.0002 0.0520 0.0000 0.2000 0.1104 0.0531
157-AH 0.0500 0.4000 0.6500 0.8000 0.9500 0.5740 0.2724 0.4000 0.9000 0.4745 0.4608 0.2796 0.2251 0.0500 0.9500 0.5740 0.2724
158-AH 0.0000 0.4250 0.5500 0.6500 0.7500 0.5100 0.1738 0.2250 0.7500 0.3408 0.3311 0.0002 0.1368 0.3000 0.7500 0.5312 0.1405
159-AH 0.0500 0.1000 0.1500 0.2375 1.0000 0.2880 0.3401 0.1375 0.9500 1.1810 0.1680 0.1154 0.2618 0.0500 0.3500 0.1275 0.0734
160-AH 0.0000 0.0500 0.0500 0.0500 0.1000 0.0460 0.0286 0.0000 0.1000 0.6212 0.0099 0.0000 0.0184 0.0500 0.0500 0.0500 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
163-AH 0.5500 1.0000 1.0000 1.0000 1.0000 0.9540 0.1249 0.0000 0.4500 0.1310 0.9434 0.9290 0.0736 1.0000 1.0000 1.0000 0.0000
164-AH 0.0000 0.0500 0.1000 0.2125 0.5000 0.1480 0.1246 0.1625 0.5000 0.8417 0.0312 0.0001 0.0978 0.0000 0.3500 0.1333 0.1029
165-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0820 0.0497 0.0500 0.1500 0.6067 0.0210 0.0001 0.0416 0.0000 0.1500 0.0820 0.0497
168-AH 0.0000 0.2500 0.3000 0.4250 0.6000 0.3340 0.1669 0.1750 0.6000 0.4997 0.1031 0.0001 0.1234 0.0000 0.6000 0.3340 0.1669
169-AH 0.0000 0.0000 0.0500 0.0625 0.1500 0.0520 0.0444 0.0625 0.1500 0.8546 0.0056 0.0000 0.0310 0.0000 0.1500 0.0520 0.0444
170-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0480 0.0100 0.0000 0.0500 0.2083 0.0356 0.0002 0.0038 0.0500 0.0500 0.0500 0.0000
171-AH 0.0000 0.0500 0.1000 0.1125 0.3000 0.1020 0.0918 0.0625 0.3000 0.9003 0.0165 0.0000 0.0670 0.0000 0.2000 0.0690 0.0536
172-AH 0.0000 0.0875 0.1000 0.1500 0.2000 0.1060 0.0546 0.0625 0.2000 0.5153 0.0505 0.0001 0.0402 0.0000 0.2000 0.1060 0.0546
173-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
174-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
175-AH 0.2000 0.2875 0.3000 0.3000 0.3500 0.2880 0.0463 0.0125 0.1500 0.1607 0.2840 0.2796 0.0342 0.3000 0.3000 0.3000 0.0000
176-AH 0.8500 0.9000 1.0000 1.0000 1.0000 0.9540 0.0594 0.1000 0.1500 0.0622 0.9522 0.9503 0.0515 0.8500 1.0000 0.9540 0.0594
177-AH 0.0500 0.1000 0.3000 0.3500 0.4500 0.2440 0.1364 0.2500 0.4000 0.5591 0.1911 0.1349 0.1197 0.0500 0.4500 0.2440 0.1364
178-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0540 0.0455 0.1000 0.1500 0.8419 0.0058 0.0000 0.0338 0.0000 0.1500 0.0540 0.0455
179-AH 0.0500 0.3500 0.5500 0.6500 0.8500 0.4900 0.2500 0.3000 0.8000 0.5102 0.3878 0.2448 0.2112 0.0500 0.8500 0.4900 0.2500
180-AH 0.0000 0.1250 0.5500 0.7125 0.8000 0.4640 0.3111 0.5875 0.8000 0.6704 0.0573 0.0000 0.2683 0.0000 0.8000 0.4640 0.3111
181-AH 0.1000 0.8000 0.8500 0.9500 1.0000 0.7760 0.2630 0.1500 0.9000 0.3390 0.6935 0.5429 0.1944 0.8000 1.0000 0.8975 0.0595
182-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.0940 0.0634 0.1000 0.2000 0.6749 0.0168 0.0000 0.0517 0.0000 0.2000 0.0940 0.0634
183-AH 0.0000 0.0000 0.0500 0.2000 0.2000 0.0700 0.0866 0.2000 0.2000 1.2372 0.0013 0.0000 0.0752 0.0000 0.2000 0.0700 0.0866
184-AH 0.1000 0.2500 0.3000 0.3000 0.3500 0.2760 0.0481 0.0500 0.2500 0.1744 0.2702 0.2612 0.0349 0.2500 0.3500 0.2833 0.0319
185-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0360 0.0229 0.0500 0.0500 0.6365 0.0046 0.0000 0.0202 0.0000 0.0500 0.0360 0.0229
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0060 0.0166 0.0000 0.0500 2.7639 0.0000 0.0000 0.0106 0.0000 0.0000 0.0000 0.0000
189-AH 0.2500 0.3500 0.3500 0.3500 0.3500 0.3380 0.0261 0.0000 0.1000 0.0773 0.3369 0.3357 0.0192 0.3500 0.3500 0.3500 0.0000
190-AH 0.0500 0.1875 0.3000 0.3500 0.3500 0.2640 0.1005 0.1625 0.3000 0.3808 0.2344 0.1891 0.0832 0.0500 0.3500 0.2640 0.1005
301
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0500 0.1500 0.2000 0.2500 0.3000 0.1840 0.0703 0.1000 0.2500 0.3820 0.1674 0.1462 0.0606 0.0500 0.3000 0.1840 0.0703
193-AH 0.1500 0.2000 0.2000 0.2500 0.3000 0.2180 0.0405 0.0500 0.1500 0.1859 0.2142 0.2101 0.0347 0.1500 0.3000 0.2180 0.0405
194-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0460 0.0138 0.0000 0.0500 0.3010 0.0253 0.0001 0.0074 0.0500 0.0500 0.0500 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
197-AH 0.1500 0.5875 0.7500 0.9000 1.0000 0.7000 0.2541 0.3125 0.8500 0.3630 0.6309 0.5263 0.1960 0.1500 1.0000 0.7000 0.2541
198-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0400 0.0204 0.0000 0.0500 0.5103 0.0091 0.0000 0.0160 0.0500 0.0500 0.0500 0.0000
199-AH 0.2500 0.3500 0.4500 0.4500 0.4500 0.4020 0.0699 0.1000 0.2000 0.1740 0.3952 0.3873 0.0576 0.2500 0.4500 0.4020 0.0699
200-AH 0.1500 0.2875 0.3000 0.3500 0.4500 0.3000 0.0707 0.0625 0.3000 0.2357 0.2912 0.2814 0.0480 0.2000 0.4000 0.3000 0.0584
251-AH 0.7500 0.8000 0.8500 0.9000 0.9500 0.8520 0.0467 0.1000 0.2000 0.0548 0.8508 0.8495 0.0347 0.7500 0.9500 0.8520 0.0467
252-AH 0.1500 0.2750 0.4000 0.4625 0.6500 0.3840 0.1449 0.1875 0.5000 0.3772 0.3538 0.3208 0.1192 0.1500 0.6500 0.3840 0.1449
253-AH 0.0000 0.5375 0.8000 0.8500 0.9000 0.6880 0.2142 0.3125 0.9000 0.3114 0.4458 0.0002 0.1714 0.4500 0.9000 0.7167 0.1626
254-AH 0.1500 0.2500 0.4000 0.5625 0.8000 0.4180 0.2126 0.3125 0.6500 0.5085 0.3654 0.3156 0.1710 0.1500 0.8000 0.4180 0.2126
255-AH 0.0500 0.1000 0.1500 0.1500 0.2000 0.1300 0.0479 0.0500 0.1500 0.3682 0.1195 0.1071 0.0400 0.0500 0.2000 0.1300 0.0479
256-AH 0.0000 0.5750 0.8000 0.9625 1.0000 0.7080 0.2946 0.3875 1.0000 0.4161 0.4185 0.0002 0.2304 0.0000 1.0000 0.7080 0.2946
257-AH 0.2000 0.3000 0.3500 0.4125 0.5000 0.3520 0.0918 0.1125 0.3000 0.2609 0.3386 0.3235 0.0702 0.2000 0.5000 0.3520 0.0918
258-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0460 0.0628 0.1000 0.2000 1.3648 0.0006 0.0000 0.0515 0.0000 0.2000 0.0460 0.0628
259-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0920 0.0236 0.0000 0.1000 0.2568 0.0655 0.0002 0.0141 0.1000 0.1000 0.1000 0.0000
260-AH 0.0500 0.6875 0.7500 0.8000 0.9000 0.7080 0.2040 0.1125 0.8500 0.2881 0.6280 0.4136 0.1251 0.6000 0.9000 0.7630 0.0757
261-AH 0.1500 0.2375 0.3000 0.3500 0.6000 0.3120 0.1148 0.1125 0.4500 0.3680 0.2936 0.2764 0.0794 0.1500 0.3500 0.2773 0.0668
262-AH 0.1000 0.2500 0.4000 0.5000 0.8000 0.3980 0.1896 0.2500 0.7000 0.4763 0.3530 0.3062 0.1462 0.1000 0.8000 0.3980 0.1896
263-AH 0.0500 0.1500 0.2000 0.3500 0.4000 0.2240 0.1052 0.2000 0.3500 0.4696 0.1937 0.1559 0.0888 0.0500 0.4000 0.2240 0.1052
264-AH 0.1000 0.3500 0.6000 0.6000 0.7000 0.4800 0.1762 0.2500 0.6000 0.3671 0.4323 0.3600 0.1520 0.1000 0.7000 0.4800 0.1762
265-AH 0.0000 0.0000 0.2500 0.2500 0.3000 0.1660 0.1143 0.2500 0.3000 0.6886 0.0134 0.0000 0.1022 0.0000 0.3000 0.1660 0.1143
266-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0340 0.0374 0.0500 0.1000 1.1005 0.0009 0.0000 0.0326 0.0000 0.1000 0.0340 0.0374
267-AH 0.1000 0.2500 0.3500 0.4000 0.5000 0.3240 0.0937 0.1500 0.4000 0.2891 0.3081 0.2877 0.0750 0.1000 0.5000 0.3240 0.0937
268-AH 0.0000 0.0875 0.1000 0.1000 0.1500 0.0860 0.0339 0.0125 0.1500 0.3943 0.0435 0.0001 0.0253 0.1000 0.1000 0.1000 0.0000
269-AH 0.1000 0.1500 0.2000 0.2000 0.2500 0.1820 0.0430 0.0500 0.1500 0.2363 0.1768 0.1712 0.0362 0.1000 0.2500 0.1820 0.0430
270-AH 0.0500 0.8250 0.9500 0.9500 1.0000 0.7800 0.3182 0.1250 0.9500 0.4079 0.6439 0.3976 0.2464 0.7500 1.0000 0.9325 0.0634
271-AH 0.1500 0.4875 0.5500 0.6125 0.6500 0.5360 0.1095 0.1250 0.5000 0.2042 0.5194 0.4907 0.0797 0.4500 0.6500 0.5521 0.0759
272-AH 0.0000 0.1500 0.2500 0.3000 0.3500 0.1920 0.1152 0.1500 0.3500 0.5999 0.0308 0.0000 0.0970 0.0000 0.3500 0.1920 0.1152
273-AH 0.5000 0.7000 0.9500 0.9500 1.0000 0.8560 0.1635 0.2500 0.5000 0.1910 0.8385 0.8183 0.1403 0.5000 1.0000 0.8560 0.1635
274-AH 0.1500 0.2000 0.3500 0.4000 0.4500 0.3040 0.1117 0.2000 0.3000 0.3675 0.2834 0.2635 0.1038 0.1500 0.4500 0.3040 0.1117
275-AH 0.0500 0.1875 0.5500 0.6500 0.7000 0.4260 0.2319 0.4625 0.6500 0.5444 0.3385 0.2378 0.2109 0.0500 0.7000 0.4260 0.2319
276-AH 0.4500 0.5500 0.6000 0.6500 0.7500 0.5980 0.0784 0.1000 0.3000 0.1311 0.5931 0.5882 0.0622 0.4500 0.7500 0.5980 0.0784
277-AH 0.0500 0.2375 0.3000 0.3500 0.4500 0.2880 0.1184 0.1125 0.4000 0.4111 0.2469 0.1833 0.0893 0.1000 0.4500 0.3205 0.0826
278-AH 0.0000 0.1000 0.2000 0.3125 0.4000 0.2180 0.1298 0.2125 0.4000 0.5954 0.0917 0.0001 0.1067 0.0000 0.4000 0.2180 0.1298
279-AH 0.0000 0.0500 0.1000 0.1125 0.2000 0.0860 0.0531 0.0625 0.2000 0.6171 0.0296 0.0001 0.0437 0.0000 0.2000 0.0860 0.0531
280-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0520 0.0510 0.1000 0.1500 0.9806 0.0016 0.0000 0.0462 0.0000 0.1500 0.0520 0.0510
281-AH 0.1000 0.4750 0.5500 0.6625 0.8000 0.5400 0.1791 0.1875 0.7000 0.3317 0.4916 0.4046 0.1320 0.3500 0.8000 0.5783 0.1260
282-AH 0.0500 0.1500 0.2500 0.3500 0.4000 0.2400 0.1031 0.2000 0.3500 0.4295 0.2118 0.1745 0.0840 0.0500 0.4000 0.2400 0.1031
283-AH 0.0500 0.2000 0.3000 0.6500 1.0000 0.4080 0.2838 0.4500 0.9500 0.6957 0.3136 0.2294 0.2422 0.0500 1.0000 0.4080 0.2838
284-AH 0.3000 0.4500 0.5500 0.5500 0.6000 0.5020 0.0835 0.1000 0.3000 0.1664 0.4942 0.4849 0.0658 0.3000 0.6000 0.5020 0.0835
285-AH 0.1000 0.5375 0.7000 0.9125 0.9500 0.6540 0.2746 0.3750 0.8500 0.4199 0.5630 0.4296 0.2152 0.1000 0.9500 0.6540 0.2746
286-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0460 0.0351 0.0500 0.1000 0.7635 0.0053 0.0000 0.0258 0.0000 0.1000 0.0460 0.0351
287-AH 0.2000 0.3375 0.5000 0.5500 0.6000 0.4300 0.1173 0.2125 0.4000 0.2727 0.4129 0.3942 0.1064 0.2000 0.6000 0.4300 0.1173
288-AH 0.1500 0.2500 0.3500 0.5500 0.8000 0.4040 0.1963 0.3000 0.6500 0.4858 0.3607 0.3226 0.1645 0.1500 0.8000 0.4040 0.1963
289-AH 0.0000 0.3375 0.6000 0.7000 0.7500 0.4840 0.2734 0.3625 0.7500 0.5648 0.1275 0.0001 0.2299 0.0000 0.7500 0.4840 0.2734
290-AH 0.0000 0.2250 0.3500 0.4500 0.6000 0.3240 0.1589 0.2250 0.6000 0.4903 0.1381 0.0001 0.1234 0.0000 0.6000 0.3240 0.1589
302
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.2000 0.4875 0.7000 0.7625 0.9000 0.6280 0.2117 0.2750 0.7000 0.3371 0.5830 0.5262 0.1784 0.2000 0.9000 0.6280 0.2117
292-AH 0.0500 0.2000 0.2000 0.2000 0.2000 0.1780 0.0458 0.0000 0.1500 0.2574 0.1693 0.1563 0.0352 0.2000 0.2000 0.2000 0.0000
293-AH 0.3500 0.5000 0.6500 0.7000 0.8000 0.6000 0.1275 0.2000 0.4500 0.2125 0.5857 0.5701 0.1120 0.3500 0.8000 0.6000 0.1275
294-AH 0.1000 0.4500 0.6500 0.7000 0.8000 0.5700 0.1963 0.2500 0.7000 0.3444 0.5130 0.4131 0.1584 0.1000 0.8000 0.5700 0.1963
295-AH 0.2000 0.3000 0.4500 0.5000 0.5500 0.4140 0.1229 0.2000 0.3500 0.2969 0.3932 0.3694 0.1072 0.2000 0.5500 0.4140 0.1229
296-AH 0.0000 0.1375 0.3500 0.5500 0.7000 0.3480 0.2468 0.4125 0.7000 0.7093 0.0465 0.0000 0.1986 0.0000 0.7000 0.3480 0.2468
297-AH 0.0500 0.2500 0.2500 0.2500 0.4000 0.2540 0.0611 0.0000 0.3500 0.2406 0.2428 0.2202 0.0307 0.2500 0.2500 0.2500 0.0000
298-AH 0.1500 0.3000 0.3500 0.4125 0.5000 0.3560 0.0882 0.1125 0.3500 0.2477 0.3439 0.3297 0.0707 0.1500 0.5000 0.3560 0.0882
299-AH 0.2500 0.4875 0.6000 0.7000 0.8500 0.5680 0.1632 0.2125 0.6000 0.2874 0.5418 0.5115 0.1333 0.2500 0.8500 0.5680 0.1632
300-AH 0.1500 0.2000 0.2500 0.3500 0.4500 0.2840 0.0863 0.1500 0.3000 0.3038 0.2710 0.2581 0.0754 0.1500 0.4500 0.2840 0.0863
301-AH 0.0000 0.0000 0.0500 0.1875 0.4500 0.1200 0.1568 0.1875 0.4500 1.3066 0.0023 0.0000 0.1272 0.0000 0.4500 0.1200 0.1568
302-AH 0.0500 0.1500 0.2500 0.3000 0.4000 0.2420 0.0886 0.1500 0.3500 0.3661 0.2228 0.1970 0.0763 0.0500 0.4000 0.2420 0.0886
303-AH 0.0000 0.1500 0.3000 0.3000 0.4000 0.2380 0.1184 0.1500 0.4000 0.4974 0.1058 0.0001 0.0994 0.0000 0.4000 0.2380 0.1184
304-AH 0.1500 0.2000 0.2000 0.3000 0.3500 0.2420 0.0640 0.1000 0.2000 0.2646 0.2343 0.2271 0.0550 0.1500 0.3500 0.2420 0.0640
305-AH 0.0000 0.4000 0.4500 0.6000 0.7500 0.4480 0.1823 0.2000 0.7500 0.4069 0.2822 0.0002 0.1421 0.1500 0.7500 0.4667 0.1599
306-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
307-AH 0.0500 0.1500 0.2500 0.3125 0.4500 0.2460 0.1241 0.1625 0.4000 0.5045 0.2070 0.1597 0.0931 0.0500 0.4500 0.2460 0.1241
308-AH 0.3000 0.3000 0.4000 0.4500 0.5000 0.3860 0.0670 0.1500 0.2000 0.1735 0.3803 0.3745 0.0597 0.3000 0.5000 0.3860 0.0670
309-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.0980 0.0586 0.1000 0.2000 0.5979 0.0334 0.0001 0.0427 0.0000 0.2000 0.0980 0.0586
310-AH 0.1000 0.1000 0.2000 0.2500 0.3000 0.1880 0.0754 0.1500 0.2000 0.4010 0.1727 0.1579 0.0654 0.1000 0.3000 0.1880 0.0754
311-AH 0.2500 0.3500 0.4500 0.6000 0.6500 0.4560 0.1310 0.2500 0.4000 0.2872 0.4371 0.4178 0.1107 0.2500 0.6500 0.4560 0.1310
312-AH 0.1000 0.2500 0.5000 0.6000 0.7000 0.4400 0.1931 0.3500 0.6000 0.4389 0.3861 0.3201 0.1720 0.1000 0.7000 0.4400 0.1931
313-AH 0.0000 0.0500 0.1000 0.2500 0.3500 0.1400 0.1199 0.2000 0.3500 0.8564 0.0210 0.0000 0.0976 0.0000 0.3500 0.1400 0.1199
314-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0340 0.0345 0.0500 0.1000 1.0153 0.0013 0.0000 0.0299 0.0000 0.1000 0.0340 0.0345
315-AH 0.1000 0.3250 0.4500 0.6000 0.7500 0.4420 0.1830 0.2750 0.6500 0.4139 0.3911 0.3235 0.1422 0.1000 0.7500 0.4420 0.1830
316-AH 0.0000 0.0500 0.1500 0.3500 0.5000 0.1980 0.1489 0.3000 0.5000 0.7522 0.0399 0.0001 0.1259 0.0000 0.5000 0.1980 0.1489
317-AH 0.1000 0.2875 0.3500 0.3500 0.4500 0.3200 0.0866 0.0625 0.3500 0.2706 0.3049 0.2840 0.0664 0.2000 0.4000 0.3262 0.0584
318-AH 0.0000 0.0000 0.1000 0.2000 0.2500 0.1080 0.0898 0.2000 0.2500 0.8312 0.0093 0.0000 0.0770 0.0000 0.2500 0.1080 0.0898
319-AH 0.0500 0.1500 0.2000 0.4125 0.6000 0.2700 0.1465 0.2625 0.5500 0.5425 0.2304 0.1906 0.1280 0.0500 0.6000 0.2700 0.1465
320-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0440 0.0682 0.0500 0.2000 1.5498 0.0004 0.0000 0.0528 0.0000 0.0500 0.0125 0.0222
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0500 0.0500 0.1000 0.1500 0.2000 0.0940 0.0486 0.1000 0.1500 0.5166 0.0826 0.0732 0.0422 0.0500 0.2000 0.0940 0.0486
323-AH 0.1000 0.2000 0.3000 0.3000 0.3500 0.2660 0.0732 0.1000 0.2500 0.2752 0.2534 0.2376 0.0610 0.1000 0.3500 0.2660 0.0732
324-AH 0.0000 0.2875 0.5500 0.7500 0.8000 0.4900 0.2817 0.4625 0.8000 0.5750 0.1787 0.0001 0.2360 0.0000 0.8000 0.4900 0.2817
325-AH 0.4500 0.6375 0.8000 0.8500 0.9500 0.7440 0.1409 0.2125 0.5000 0.1894 0.7293 0.7127 0.1122 0.4500 0.9500 0.7440 0.1409
326-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0820 0.0319 0.0500 0.1000 0.3888 0.0417 0.0001 0.0259 0.0000 0.1000 0.0820 0.0319
327-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.0980 0.0810 0.2000 0.2000 0.8264 0.0087 0.0000 0.0702 0.0000 0.2000 0.0980 0.0810
328-AH 0.1500 0.4500 0.5000 0.5500 0.6500 0.4760 0.1147 0.1000 0.5000 0.2409 0.4568 0.4277 0.0808 0.3500 0.6500 0.5022 0.0730
329-AH 0.4000 0.5500 0.6000 0.6000 0.7000 0.5820 0.0627 0.0500 0.3000 0.1078 0.5785 0.5748 0.0456 0.5000 0.6500 0.5795 0.0398
330-AH 0.2000 0.4875 0.7500 0.8625 0.9500 0.6680 0.2445 0.3750 0.7500 0.3660 0.6076 0.5294 0.2024 0.2000 0.9500 0.6680 0.2445
331-AH 0.0000 0.0500 0.2000 0.3125 0.5000 0.2080 0.1390 0.2625 0.5000 0.6681 0.1133 0.0002 0.1163 0.0000 0.5000 0.2080 0.1390
332-AH 0.0000 0.0500 0.1500 0.2500 0.3500 0.1580 0.0997 0.2000 0.3500 0.6308 0.0353 0.0001 0.0803 0.0000 0.3500 0.1580 0.0997
333-AH 0.0500 0.2500 0.2500 0.2500 0.2500 0.2260 0.0597 0.0000 0.2000 0.2643 0.2110 0.1820 0.0403 0.2500 0.2500 0.2500 0.0000
334-AH 0.0500 0.1500 0.1500 0.1500 0.2000 0.1380 0.0332 0.0000 0.1500 0.2403 0.1324 0.1240 0.0232 0.1500 0.1500 0.1500 0.0000
335-AH 0.1000 0.1000 0.1500 0.2125 0.3500 0.1720 0.0737 0.1125 0.2500 0.4286 0.1585 0.1472 0.0602 0.1000 0.3500 0.1720 0.0737
336-AH 0.0000 0.0000 0.0500 0.1000 0.3000 0.0580 0.0746 0.1000 0.3000 1.2854 0.0012 0.0000 0.0582 0.0000 0.1500 0.0479 0.0561
337-AH 0.0000 0.5500 0.6500 0.7625 0.8000 0.5880 0.2463 0.2125 0.8000 0.4189 0.3456 0.0002 0.1773 0.5000 0.8000 0.6857 0.0989
338-AH 0.0000 0.1500 0.3500 0.4500 0.5000 0.3200 0.1652 0.3000 0.5000 0.5163 0.1827 0.0002 0.1360 0.0000 0.5000 0.3200 0.1652
339-AH 0.1000 0.4000 0.5000 0.7000 0.8000 0.5140 0.1961 0.3000 0.7000 0.3815 0.4612 0.3799 0.1597 0.1000 0.8000 0.5140 0.1961
340-AH 0.0000 0.2000 0.2500 0.2500 0.2500 0.2240 0.0542 0.0500 0.2500 0.2421 0.1548 0.0002 0.0354 0.1500 0.2500 0.2333 0.0282
303
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2000 0.2500 0.2500 0.2500 0.3000 0.2540 0.0247 0.0000 0.1000 0.0971 0.2528 0.2517 0.0147 0.2500 0.2500 0.2500 0.0000
342-AH 0.5500 0.7500 0.7500 0.8500 0.9000 0.7760 0.1022 0.1000 0.3500 0.1317 0.7690 0.7615 0.0790 0.6000 0.9000 0.7854 0.0926
343-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0160 0.0238 0.0500 0.0500 1.4878 0.0002 0.0000 0.0218 0.0000 0.0500 0.0160 0.0238
344-AH 0.0000 0.4000 0.5000 0.6125 0.7500 0.4820 0.1909 0.2125 0.7500 0.3960 0.2139 0.0001 0.1362 0.3500 0.7500 0.5239 0.1296
345-AH 0.0000 0.0500 0.1000 0.2000 0.3000 0.1160 0.0813 0.1500 0.3000 0.7008 0.0197 0.0000 0.0659 0.0000 0.3000 0.1160 0.0813
346-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0620 0.0600 0.1000 0.2000 0.9677 0.0061 0.0000 0.0453 0.0000 0.2000 0.0620 0.0600
347-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0760 0.0436 0.0500 0.1500 0.5735 0.0271 0.0001 0.0370 0.0000 0.1500 0.0760 0.0436
348-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0720 0.0458 0.1000 0.1000 0.6365 0.0076 0.0000 0.0403 0.0000 0.1000 0.0720 0.0458
349-AH 0.2000 0.2875 0.3500 0.4500 0.5500 0.3720 0.1071 0.1625 0.3500 0.2880 0.3564 0.3403 0.0909 0.2000 0.5500 0.3720 0.1071
350-AH 0.1500 0.3375 0.3500 0.3500 0.4000 0.3200 0.0677 0.0125 0.2500 0.2116 0.3106 0.2979 0.0496 0.3500 0.3500 0.3500 0.0000
304
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0280 0.0125 0.0000 0.0333 0.4454 0.0091 0.0001 0.0090 0.0333 0.0333 0.0333 0.0000
142-AH 0.1333 0.1917 0.2667 0.2667 0.2667 0.2360 0.0490 0.0750 0.1333 0.2076 0.2301 0.2231 0.0417 0.1333 0.2667 0.2360 0.0490
143-AH 0.1667 0.6250 0.8667 0.9000 1.0000 0.7240 0.2563 0.2750 0.8333 0.3540 0.6525 0.5462 0.2066 0.2333 1.0000 0.7710 0.2068
144-AH 0.0667 0.0667 0.1000 0.1000 0.1000 0.0907 0.0153 0.0333 0.0333 0.1685 0.0893 0.0877 0.0134 0.0667 0.1000 0.0907 0.0153
145-AH 0.3667 0.5333 0.6000 0.6667 0.7667 0.5987 0.1099 0.1333 0.4000 0.1836 0.5883 0.5773 0.0817 0.3667 0.7667 0.5987 0.1099
146-AH 0.0333 0.0333 0.0333 0.0333 0.0667 0.0347 0.0067 0.0000 0.0333 0.1923 0.0343 0.0340 0.0026 0.0333 0.0333 0.0333 0.0000
147-AH 0.4000 0.6250 0.7667 0.8000 0.8667 0.7120 0.1182 0.1750 0.4667 0.1660 0.7015 0.6895 0.1003 0.4000 0.8667 0.7120 0.1182
148-AH 0.0333 0.0333 0.0333 0.0667 0.0667 0.0427 0.0153 0.0333 0.0333 0.3580 0.0405 0.0388 0.0134 0.0333 0.0667 0.0427 0.0153
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.1333 0.1667 0.2667 0.1173 0.0948 0.1667 0.2667 0.8082 0.0072 0.0000 0.0818 0.0000 0.2667 0.1173 0.0948
151-AH 0.0000 0.0667 0.1000 0.1667 0.2000 0.1040 0.0564 0.1000 0.2000 0.5420 0.0484 0.0001 0.0471 0.0000 0.2000 0.1040 0.0564
152-AH 0.1667 0.2000 0.2667 0.3000 0.3333 0.2440 0.0533 0.1000 0.1667 0.2186 0.2382 0.2322 0.0476 0.1667 0.3333 0.2440 0.0533
153-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0053 0.0125 0.0000 0.0333 2.3385 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
154-AH 0.1667 0.2583 0.2667 0.3083 0.3333 0.2773 0.0448 0.0500 0.1667 0.1617 0.2735 0.2694 0.0359 0.2000 0.3333 0.2819 0.0393
155-AH 0.0000 0.0667 0.0667 0.0667 0.1000 0.0587 0.0293 0.0000 0.1000 0.4997 0.0166 0.0001 0.0208 0.0667 0.0667 0.0667 0.0000
156-AH 0.0000 0.0667 0.1000 0.1417 0.2333 0.1093 0.0532 0.0750 0.2333 0.4862 0.0709 0.0002 0.0425 0.0000 0.2333 0.1093 0.0532
157-AH 0.0333 0.3333 0.6000 0.7667 0.8667 0.5413 0.2586 0.4333 0.8333 0.4777 0.4234 0.2231 0.2111 0.0333 0.8667 0.5413 0.2586
158-AH 0.0000 0.3250 0.4667 0.5333 0.6333 0.4160 0.1437 0.2083 0.6333 0.3455 0.2723 0.0002 0.1127 0.2333 0.6333 0.4333 0.1171
159-AH 0.0333 0.1000 0.1333 0.2167 0.8667 0.2533 0.2827 0.1167 0.8333 1.1158 0.1561 0.1088 0.2224 0.0333 0.3667 0.1200 0.0704
160-AH 0.0000 0.0333 0.0333 0.0333 0.0667 0.0373 0.0147 0.0000 0.0667 0.3926 0.0269 0.0002 0.0094 0.0333 0.0333 0.0333 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
163-AH 0.6000 0.9583 0.9667 1.0000 1.0000 0.9387 0.1108 0.0417 0.4000 0.1181 0.9308 0.9210 0.0719 0.9000 1.0000 0.9794 0.0268
164-AH 0.0000 0.0667 0.1333 0.2167 0.3333 0.1467 0.1076 0.1500 0.3333 0.7335 0.0436 0.0001 0.0923 0.0000 0.3333 0.1467 0.1076
165-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0627 0.0400 0.0667 0.1333 0.6390 0.0164 0.0001 0.0341 0.0000 0.1333 0.0627 0.0400
168-AH 0.0000 0.2250 0.3667 0.4333 0.5333 0.3173 0.1619 0.2083 0.5333 0.5102 0.0975 0.0001 0.1340 0.0000 0.5333 0.3173 0.1619
169-AH 0.0000 0.0333 0.0333 0.0667 0.1333 0.0480 0.0290 0.0333 0.1333 0.6041 0.0240 0.0001 0.0229 0.0000 0.1000 0.0444 0.0234
170-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0320 0.0067 0.0000 0.0333 0.2083 0.0241 0.0002 0.0026 0.0333 0.0333 0.0333 0.0000
171-AH 0.0000 0.0333 0.1000 0.1083 0.2000 0.0867 0.0680 0.0750 0.2000 0.7851 0.0148 0.0000 0.0549 0.0000 0.2000 0.0867 0.0680
172-AH 0.0000 0.0667 0.1000 0.1333 0.1333 0.0987 0.0340 0.0667 0.1333 0.3445 0.0685 0.0002 0.0258 0.0000 0.1333 0.0987 0.0340
173-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
174-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
175-AH 0.1333 0.1917 0.2333 0.2333 0.2333 0.2040 0.0377 0.0417 0.1000 0.1846 0.2001 0.1957 0.0305 0.1333 0.2333 0.2040 0.0377
176-AH 0.6667 0.7667 0.8333 0.9000 0.9333 0.8240 0.0831 0.1333 0.2667 0.1008 0.8198 0.8155 0.0710 0.6667 0.9333 0.8240 0.0831
177-AH 0.0333 0.1333 0.2333 0.2333 0.3000 0.1947 0.0803 0.1000 0.2667 0.4126 0.1699 0.1328 0.0655 0.0333 0.3000 0.1947 0.0803
178-AH 0.0000 0.0000 0.0333 0.1000 0.1000 0.0427 0.0391 0.1000 0.1000 0.9167 0.0047 0.0000 0.0321 0.0000 0.1000 0.0427 0.0391
179-AH 0.0333 0.2667 0.4333 0.5000 0.7000 0.3693 0.1910 0.2333 0.6667 0.5171 0.2955 0.1926 0.1570 0.0333 0.7000 0.3693 0.1910
180-AH 0.0000 0.1083 0.5333 0.6667 0.7667 0.4227 0.2839 0.5583 0.7667 0.6718 0.0722 0.0001 0.2501 0.0000 0.7667 0.4227 0.2839
181-AH 0.1667 0.7917 0.8667 0.9667 0.9667 0.7653 0.2629 0.1750 0.8000 0.3435 0.6917 0.5798 0.1968 0.7667 0.9667 0.8883 0.0703
182-AH 0.0000 0.0333 0.1000 0.1000 0.1333 0.0813 0.0374 0.0667 0.1333 0.4594 0.0533 0.0002 0.0319 0.0000 0.1333 0.0813 0.0374
183-AH 0.0000 0.0000 0.0333 0.1333 0.1333 0.0560 0.0550 0.1333 0.1333 0.9829 0.0040 0.0000 0.0485 0.0000 0.1333 0.0560 0.0550
184-AH 0.0667 0.1667 0.2000 0.2083 0.2667 0.1973 0.0396 0.0417 0.2000 0.2006 0.1922 0.1843 0.0252 0.1667 0.2667 0.2028 0.0294
185-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0240 0.0153 0.0333 0.0333 0.6365 0.0034 0.0000 0.0134 0.0000 0.0333 0.0240 0.0153
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0067 0.0136 0.0000 0.0333 2.0412 0.0001 0.0000 0.0107 0.0000 0.0000 0.0000 0.0000
189-AH 0.2000 0.2333 0.2333 0.2333 0.2333 0.2293 0.0111 0.0000 0.0333 0.0482 0.2291 0.2288 0.0070 0.2333 0.2333 0.2333 0.0000
190-AH 0.0333 0.1583 0.2333 0.2333 0.2333 0.1867 0.0645 0.0750 0.2000 0.3458 0.1695 0.1427 0.0528 0.0667 0.2333 0.1931 0.0573
305
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0333 0.1000 0.1333 0.1667 0.2000 0.1240 0.0476 0.0667 0.1667 0.3843 0.1126 0.0980 0.0417 0.0333 0.2000 0.1240 0.0476
193-AH 0.1000 0.1333 0.1667 0.1750 0.2333 0.1600 0.0360 0.0417 0.1333 0.2250 0.1558 0.1513 0.0277 0.1000 0.2333 0.1600 0.0360
194-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0307 0.0092 0.0000 0.0333 0.3010 0.0174 0.0001 0.0049 0.0333 0.0333 0.0333 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
197-AH 0.1333 0.5333 0.6333 0.8000 0.9333 0.6120 0.2265 0.2667 0.8000 0.3700 0.5510 0.4606 0.1715 0.2667 0.9333 0.6536 0.1825
198-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0267 0.0136 0.0000 0.0333 0.5103 0.0066 0.0000 0.0107 0.0333 0.0333 0.0333 0.0000
199-AH 0.2000 0.2333 0.3333 0.3333 0.3333 0.3000 0.0500 0.1000 0.1333 0.1667 0.2955 0.2904 0.0427 0.2000 0.3333 0.3000 0.0500
200-AH 0.1000 0.1917 0.2000 0.2333 0.3000 0.2080 0.0474 0.0417 0.2000 0.2280 0.2022 0.1957 0.0363 0.1333 0.2667 0.2087 0.0392
251-AH 0.6333 0.6667 0.7667 0.8333 0.8667 0.7613 0.0792 0.1667 0.2333 0.1040 0.7573 0.7534 0.0673 0.6333 0.8667 0.7613 0.0792
252-AH 0.1333 0.2333 0.3667 0.4333 0.5000 0.3307 0.1198 0.2000 0.3667 0.3622 0.3046 0.2743 0.1021 0.1333 0.5000 0.3307 0.1198
253-AH 0.0333 0.4667 0.7667 0.8000 0.8667 0.6613 0.2088 0.3333 0.8333 0.3157 0.5896 0.3698 0.1699 0.0333 0.8667 0.6613 0.2088
254-AH 0.1333 0.3667 0.4000 0.5167 0.8333 0.4307 0.1924 0.1500 0.7000 0.4468 0.3845 0.3328 0.1435 0.2000 0.6667 0.4350 0.1254
255-AH 0.0333 0.1000 0.1000 0.1333 0.1333 0.1027 0.0303 0.0333 0.1000 0.2952 0.0968 0.0885 0.0221 0.0667 0.1333 0.1087 0.0230
256-AH 0.0333 0.4167 0.6667 0.7667 0.8000 0.5787 0.2392 0.3500 0.7667 0.4133 0.4807 0.2857 0.1970 0.0333 0.8000 0.5787 0.2392
257-AH 0.2000 0.3000 0.3667 0.4000 0.4667 0.3453 0.0793 0.1000 0.2667 0.2296 0.3355 0.3245 0.0622 0.2000 0.4667 0.3453 0.0793
258-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0400 0.0471 0.1000 0.1333 1.1785 0.0010 0.0000 0.0411 0.0000 0.1333 0.0400 0.0471
259-AH 0.0000 0.0667 0.0667 0.0667 0.1000 0.0680 0.0204 0.0000 0.1000 0.2995 0.0487 0.0002 0.0102 0.0667 0.0667 0.0667 0.0000
260-AH 0.0667 0.6500 0.7000 0.7667 0.8000 0.6560 0.1969 0.1167 0.7333 0.3002 0.5809 0.3961 0.1309 0.5000 0.8000 0.7072 0.0893
261-AH 0.1333 0.2000 0.2333 0.2333 0.4000 0.2320 0.0730 0.0333 0.2667 0.3145 0.2217 0.2119 0.0470 0.1667 0.2667 0.2235 0.0229
262-AH 0.0667 0.2333 0.3333 0.4750 0.7000 0.3693 0.1686 0.2417 0.6333 0.4564 0.3241 0.2672 0.1388 0.0667 0.7000 0.3693 0.1686
263-AH 0.0333 0.1000 0.2333 0.3000 0.4000 0.2067 0.1089 0.2000 0.3667 0.5268 0.1709 0.1287 0.0971 0.0333 0.4000 0.2067 0.1089
264-AH 0.1000 0.3000 0.4000 0.4333 0.5333 0.3680 0.1238 0.1333 0.4333 0.3364 0.3396 0.2990 0.0971 0.1667 0.5333 0.3913 0.0981
265-AH 0.0000 0.0000 0.1667 0.2000 0.2000 0.1253 0.0868 0.2000 0.2000 0.6922 0.0109 0.0000 0.0775 0.0000 0.2000 0.1253 0.0868
266-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0307 0.0346 0.0667 0.1333 1.1279 0.0012 0.0000 0.0270 0.0000 0.1333 0.0307 0.0346
267-AH 0.1000 0.2333 0.2333 0.3000 0.3333 0.2427 0.0605 0.0667 0.2333 0.2493 0.2340 0.2233 0.0439 0.1333 0.3333 0.2486 0.0538
268-AH 0.0000 0.0667 0.0667 0.0667 0.1000 0.0600 0.0192 0.0000 0.1000 0.3208 0.0426 0.0002 0.0133 0.0667 0.0667 0.0667 0.0000
269-AH 0.0667 0.1333 0.1333 0.1667 0.2000 0.1453 0.0287 0.0333 0.1333 0.1973 0.1421 0.1381 0.0231 0.1000 0.2000 0.1486 0.0240
270-AH 0.0667 0.6250 0.7667 0.8333 0.9000 0.6560 0.2810 0.2083 0.8333 0.4283 0.5383 0.3562 0.2180 0.6000 0.9000 0.7883 0.0847
271-AH 0.1000 0.4000 0.4333 0.4750 0.5333 0.4347 0.0836 0.0750 0.4333 0.1923 0.4203 0.3902 0.0495 0.3667 0.5333 0.4486 0.0471
272-AH 0.0000 0.1250 0.2000 0.2667 0.3333 0.1800 0.1014 0.1417 0.3333 0.5632 0.0770 0.0001 0.0848 0.0000 0.3333 0.1800 0.1014
273-AH 0.3667 0.6333 0.9000 0.9667 1.0000 0.8013 0.1906 0.3333 0.6333 0.2379 0.7751 0.7439 0.1610 0.3667 1.0000 0.8013 0.1906
274-AH 0.1333 0.1333 0.2667 0.3333 0.4000 0.2547 0.0966 0.2000 0.2667 0.3795 0.2352 0.2156 0.0837 0.1333 0.4000 0.2547 0.0966
275-AH 0.0667 0.1667 0.5333 0.5333 0.6333 0.3853 0.2035 0.3667 0.5667 0.5280 0.3097 0.2222 0.1871 0.0667 0.6333 0.3853 0.2035
276-AH 0.4000 0.4583 0.5000 0.5667 0.6667 0.5187 0.0839 0.1083 0.2667 0.1618 0.5124 0.5063 0.0689 0.4000 0.6667 0.5187 0.0839
277-AH 0.0333 0.2000 0.2667 0.3000 0.4000 0.2427 0.0960 0.1000 0.3667 0.3956 0.2136 0.1674 0.0722 0.0667 0.4000 0.2514 0.0874
278-AH 0.0000 0.1000 0.2000 0.2750 0.3667 0.1853 0.1072 0.1750 0.3667 0.5783 0.0789 0.0001 0.0873 0.0000 0.3667 0.1853 0.1072
279-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0587 0.0364 0.0667 0.1333 0.6198 0.0210 0.0001 0.0303 0.0000 0.1333 0.0587 0.0364
280-AH 0.0000 0.0333 0.0667 0.0750 0.1667 0.0587 0.0411 0.0417 0.1667 0.7013 0.0115 0.0000 0.0316 0.0000 0.1000 0.0542 0.0352
281-AH 0.0667 0.4250 0.4667 0.5667 0.6667 0.4587 0.1504 0.1417 0.6000 0.3279 0.4168 0.3375 0.1070 0.2667 0.6667 0.4913 0.1036
282-AH 0.0667 0.1250 0.2000 0.2750 0.3333 0.2013 0.0847 0.1500 0.2667 0.4207 0.1828 0.1639 0.0709 0.0667 0.3333 0.2013 0.0847
283-AH 0.0667 0.1583 0.2667 0.5167 0.8333 0.3307 0.2402 0.3583 0.7667 0.7263 0.2529 0.1949 0.2073 0.0667 0.8333 0.3307 0.2402
284-AH 0.3667 0.4250 0.5000 0.5333 0.6000 0.4800 0.0694 0.1083 0.2333 0.1446 0.4751 0.4700 0.0555 0.3667 0.6000 0.4800 0.0694
285-AH 0.1000 0.4667 0.7000 0.9000 0.9667 0.6400 0.2784 0.4333 0.8667 0.4350 0.5396 0.3913 0.2187 0.1000 0.9667 0.6400 0.2784
286-AH 0.0000 0.0333 0.0333 0.0333 0.1000 0.0360 0.0234 0.0000 0.1000 0.6503 0.0106 0.0001 0.0149 0.0333 0.0333 0.0333 0.0000
287-AH 0.2000 0.3583 0.4333 0.4667 0.5333 0.3907 0.1065 0.1083 0.3333 0.2726 0.3740 0.3548 0.0851 0.2000 0.5333 0.3907 0.1065
288-AH 0.1333 0.2583 0.3000 0.4750 0.8000 0.3960 0.1998 0.2167 0.6667 0.5047 0.3535 0.3174 0.1582 0.1333 0.7333 0.3409 0.1384
289-AH 0.0000 0.3000 0.4667 0.5667 0.5667 0.3920 0.2071 0.2667 0.5667 0.5284 0.1085 0.0001 0.1682 0.0000 0.5667 0.3920 0.2071
290-AH 0.0333 0.2417 0.3667 0.4083 0.5333 0.3213 0.1430 0.1667 0.5000 0.4451 0.2709 0.1943 0.1140 0.0333 0.5333 0.3213 0.1430
306
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.2000 0.3917 0.5333 0.5750 0.7333 0.4933 0.1558 0.1833 0.5333 0.3157 0.4648 0.4308 0.1259 0.2000 0.7333 0.4933 0.1558
292-AH 0.0333 0.1333 0.1333 0.1333 0.1333 0.1213 0.0270 0.0000 0.1000 0.2226 0.1166 0.1087 0.0192 0.1333 0.1333 0.1333 0.0000
293-AH 0.2333 0.4250 0.5333 0.6083 0.6667 0.5187 0.1233 0.1833 0.4333 0.2376 0.5018 0.4816 0.0988 0.2333 0.6667 0.5187 0.1233
294-AH 0.0667 0.5333 0.6000 0.6667 0.7000 0.5440 0.1776 0.1333 0.6333 0.3265 0.4817 0.3494 0.1242 0.5000 0.7000 0.6143 0.0553
295-AH 0.1333 0.2667 0.4000 0.4667 0.5667 0.3560 0.1242 0.2000 0.4333 0.3490 0.3315 0.3036 0.1098 0.1333 0.5667 0.3560 0.1242
296-AH 0.0000 0.1583 0.3000 0.4500 0.5333 0.2907 0.1904 0.2917 0.5333 0.6550 0.0419 0.0000 0.1506 0.0000 0.5333 0.2907 0.1904
297-AH 0.0333 0.1667 0.1667 0.1667 0.2667 0.1747 0.0454 0.0000 0.2333 0.2600 0.1663 0.1499 0.0261 0.1667 0.1667 0.1667 0.0000
298-AH 0.1333 0.2667 0.2667 0.3333 0.4000 0.2813 0.0609 0.0667 0.2667 0.2165 0.2741 0.2658 0.0473 0.2000 0.4000 0.2875 0.0537
299-AH 0.2000 0.4583 0.5333 0.6667 0.8000 0.5387 0.1660 0.2083 0.6000 0.3082 0.5101 0.4769 0.1340 0.2000 0.8000 0.5387 0.1660
300-AH 0.1667 0.2250 0.3000 0.3333 0.4667 0.2827 0.0701 0.1083 0.3000 0.2481 0.2741 0.2652 0.0555 0.1667 0.4667 0.2827 0.0701
301-AH 0.0000 0.0333 0.0667 0.1500 0.3333 0.1013 0.1043 0.1167 0.3333 1.0292 0.0150 0.0000 0.0845 0.0000 0.3000 0.0917 0.0944
302-AH 0.0333 0.1667 0.2333 0.2750 0.3667 0.2240 0.0767 0.1083 0.3333 0.3424 0.2051 0.1724 0.0611 0.0333 0.3667 0.2240 0.0767
303-AH 0.0000 0.1250 0.2000 0.2333 0.3000 0.1773 0.0865 0.1083 0.3000 0.4875 0.0806 0.0001 0.0725 0.0000 0.3000 0.1773 0.0865
304-AH 0.1000 0.1667 0.2000 0.2000 0.3000 0.1907 0.0496 0.0333 0.2000 0.2599 0.1844 0.1780 0.0364 0.1333 0.2333 0.1850 0.0253
305-AH 0.0000 0.3583 0.4000 0.5000 0.5667 0.3867 0.1494 0.1417 0.5667 0.3863 0.2456 0.0002 0.1120 0.2667 0.5667 0.4413 0.0809
306-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
307-AH 0.0333 0.1333 0.2000 0.3667 0.5000 0.2413 0.1331 0.2333 0.4667 0.5514 0.1972 0.1429 0.1089 0.0333 0.5000 0.2413 0.1331
308-AH 0.2000 0.2333 0.2667 0.3000 0.3333 0.2667 0.0430 0.0667 0.1333 0.1614 0.2631 0.2595 0.0347 0.2000 0.3333 0.2667 0.0430
309-AH 0.0333 0.0667 0.1000 0.1333 0.1333 0.0933 0.0347 0.0667 0.1000 0.3717 0.0864 0.0787 0.0309 0.0333 0.1333 0.0933 0.0347
310-AH 0.0667 0.0917 0.1667 0.2000 0.2333 0.1507 0.0617 0.1083 0.1667 0.4095 0.1364 0.1214 0.0553 0.0667 0.2333 0.1507 0.0617
311-AH 0.2333 0.3583 0.4667 0.5333 0.6000 0.4320 0.1047 0.1750 0.3667 0.2425 0.4190 0.4054 0.0921 0.2333 0.6000 0.4320 0.1047
312-AH 0.0667 0.2917 0.4333 0.5417 0.6667 0.4147 0.1730 0.2500 0.6000 0.4171 0.3627 0.2827 0.1436 0.0667 0.6667 0.4147 0.1730
313-AH 0.0000 0.0667 0.1000 0.2333 0.2667 0.1293 0.0909 0.1667 0.2667 0.7032 0.0394 0.0001 0.0785 0.0000 0.2667 0.1293 0.0909
314-AH 0.0000 0.0333 0.0333 0.0667 0.1000 0.0427 0.0297 0.0333 0.1000 0.6959 0.0090 0.0000 0.0245 0.0000 0.1000 0.0427 0.0297
315-AH 0.1000 0.3000 0.3667 0.5333 0.7333 0.3800 0.1697 0.2333 0.6333 0.4466 0.3360 0.2850 0.1349 0.1000 0.7333 0.3800 0.1697
316-AH 0.0333 0.0333 0.1667 0.3417 0.4000 0.2053 0.1436 0.3083 0.3667 0.6993 0.1406 0.0850 0.1260 0.0333 0.4000 0.2053 0.1436
317-AH 0.1000 0.2333 0.3333 0.3667 0.4000 0.2947 0.0880 0.1333 0.3000 0.2987 0.2778 0.2559 0.0713 0.1000 0.4000 0.2947 0.0880
318-AH 0.0000 0.0333 0.1000 0.1667 0.2333 0.1107 0.0750 0.1333 0.2333 0.6775 0.0344 0.0001 0.0618 0.0000 0.2333 0.1107 0.0750
319-AH 0.0667 0.1000 0.1667 0.3333 0.4000 0.2173 0.1106 0.2333 0.3333 0.5089 0.1891 0.1633 0.0994 0.0667 0.4000 0.2173 0.1106
320-AH 0.0000 0.0000 0.0333 0.0667 0.1667 0.0467 0.0481 0.0667 0.1667 1.0310 0.0049 0.0000 0.0368 0.0000 0.1667 0.0467 0.0481
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0333 0.0333 0.0667 0.1083 0.2000 0.0813 0.0442 0.0750 0.1667 0.5432 0.0703 0.0606 0.0363 0.0333 0.2000 0.0813 0.0442
323-AH 0.1000 0.1667 0.2000 0.2083 0.3333 0.1987 0.0456 0.0417 0.2333 0.2296 0.1936 0.1881 0.0286 0.1333 0.2667 0.1971 0.0316
324-AH 0.0000 0.2500 0.5000 0.7000 0.7667 0.4547 0.2684 0.4500 0.7667 0.5903 0.1636 0.0001 0.2224 0.0000 0.7667 0.4547 0.2684
325-AH 0.4000 0.6000 0.7000 0.7667 0.8000 0.6693 0.1088 0.1667 0.4000 0.1626 0.6596 0.6483 0.0826 0.4000 0.8000 0.6693 0.1088
326-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0573 0.0205 0.0000 0.0667 0.3568 0.0303 0.0001 0.0149 0.0667 0.0667 0.0667 0.0000
327-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0680 0.0557 0.1333 0.1333 0.8188 0.0066 0.0000 0.0495 0.0000 0.1333 0.0680 0.0557
328-AH 0.1333 0.4000 0.4667 0.5417 0.6000 0.4547 0.1213 0.1417 0.4667 0.2668 0.4316 0.3969 0.0893 0.3000 0.6000 0.4812 0.0828
329-AH 0.4000 0.4333 0.4667 0.4667 0.5000 0.4520 0.0274 0.0333 0.1000 0.0605 0.4512 0.4503 0.0226 0.4000 0.5000 0.4520 0.0274
330-AH 0.1667 0.4833 0.7333 0.8000 0.9000 0.6307 0.2347 0.3167 0.7333 0.3721 0.5692 0.4868 0.1930 0.1667 0.9000 0.6307 0.2347
331-AH 0.0333 0.1917 0.2333 0.2750 0.4667 0.2147 0.1037 0.0833 0.4333 0.4830 0.1780 0.1262 0.0754 0.0667 0.3333 0.2286 0.0677
332-AH 0.0000 0.0333 0.2000 0.2333 0.2333 0.1520 0.0913 0.2000 0.2333 0.6008 0.0335 0.0001 0.0786 0.0000 0.2333 0.1520 0.0913
333-AH 0.0333 0.1667 0.1667 0.1667 0.1667 0.1520 0.0386 0.0000 0.1333 0.2539 0.1423 0.1229 0.0246 0.1667 0.1667 0.1667 0.0000
334-AH 0.0667 0.1000 0.1000 0.1000 0.1333 0.1027 0.0164 0.0000 0.0667 0.1602 0.1014 0.1000 0.0098 0.1000 0.1000 0.1000 0.0000
335-AH 0.0667 0.1000 0.1333 0.1750 0.2667 0.1507 0.0570 0.0750 0.2000 0.3785 0.1400 0.1293 0.0461 0.0667 0.2667 0.1507 0.0570
336-AH 0.0000 0.0000 0.0333 0.0750 0.2000 0.0533 0.0638 0.0750 0.2000 1.1968 0.0015 0.0000 0.0517 0.0000 0.1333 0.0406 0.0482
337-AH 0.0000 0.4833 0.5667 0.6083 0.6333 0.4933 0.1991 0.1250 0.6333 0.4035 0.2942 0.0002 0.1461 0.4333 0.6333 0.5746 0.0623
338-AH 0.0333 0.1667 0.2333 0.3333 0.3333 0.2333 0.1014 0.1667 0.3000 0.4345 0.1954 0.1359 0.0800 0.0333 0.3333 0.2333 0.1014
339-AH 0.1000 0.3667 0.4333 0.5333 0.6000 0.4240 0.1286 0.1667 0.5000 0.3032 0.3940 0.3434 0.0958 0.3000 0.6000 0.4522 0.0875
340-AH 0.0000 0.1667 0.1667 0.1667 0.1667 0.1573 0.0340 0.0000 0.1667 0.2164 0.1110 0.0002 0.0164 0.1667 0.1667 0.1667 0.0000
307
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1333 0.1667 0.1667 0.1667 0.2000 0.1707 0.0147 0.0000 0.0667 0.0859 0.1701 0.1695 0.0094 0.1667 0.1667 0.1667 0.0000
342-AH 0.5667 0.6667 0.7333 0.7333 0.9000 0.7173 0.0811 0.0667 0.3333 0.1131 0.7129 0.7085 0.0605 0.6000 0.8333 0.7159 0.0681
343-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0133 0.0167 0.0333 0.0333 1.2500 0.0003 0.0000 0.0160 0.0000 0.0333 0.0133 0.0167
344-AH 0.0000 0.3917 0.4000 0.4833 0.6667 0.4147 0.1506 0.0917 0.6667 0.3633 0.2590 0.0002 0.0964 0.3333 0.6000 0.4302 0.0745
345-AH 0.0000 0.0583 0.1000 0.1333 0.2000 0.0947 0.0506 0.0750 0.2000 0.5348 0.0597 0.0002 0.0411 0.0000 0.2000 0.0947 0.0506
346-AH 0.0000 0.0333 0.0333 0.1000 0.1667 0.0600 0.0500 0.0667 0.1667 0.8333 0.0146 0.0001 0.0427 0.0000 0.1667 0.0600 0.0500
347-AH 0.0000 0.0667 0.1000 0.1000 0.1333 0.0813 0.0409 0.0333 0.1333 0.5031 0.0295 0.0001 0.0327 0.0333 0.1333 0.0924 0.0290
348-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0480 0.0306 0.0667 0.0667 0.6365 0.0057 0.0000 0.0269 0.0000 0.0667 0.0480 0.0306
349-AH 0.1333 0.3333 0.3667 0.4083 0.5000 0.3547 0.0881 0.0750 0.3667 0.2485 0.3407 0.3220 0.0643 0.2667 0.5000 0.3803 0.0551
350-AH 0.1333 0.2333 0.2333 0.2667 0.3000 0.2413 0.0512 0.0333 0.1667 0.2120 0.2350 0.2273 0.0377 0.2333 0.3000 0.2603 0.0271
308
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0084 0.0037 0.0000 0.0100 0.4454 0.0033 0.0001 0.0027 0.0100 0.0100 0.0100 0.0000
142-AH 0.0500 0.0700 0.0800 0.0800 0.0800 0.0736 0.0108 0.0100 0.0300 0.1461 0.0727 0.0717 0.0087 0.0600 0.0800 0.0768 0.0065
143-AH 0.0800 0.3200 0.3600 0.3700 0.3800 0.3184 0.0894 0.0500 0.3000 0.2807 0.2984 0.2664 0.0626 0.3100 0.3800 0.3552 0.0218
144-AH 0.0200 0.0300 0.0300 0.0300 0.0300 0.0296 0.0020 0.0000 0.0100 0.0676 0.0295 0.0294 0.0008 0.0300 0.0300 0.0300 0.0000
145-AH 0.2000 0.2200 0.2600 0.3000 0.3500 0.2628 0.0476 0.0800 0.1500 0.1810 0.2588 0.2551 0.0394 0.2000 0.3500 0.2628 0.0476
146-AH 0.0100 0.0100 0.0100 0.0100 0.0200 0.0112 0.0033 0.0000 0.0100 0.2961 0.0109 0.0106 0.0021 0.0100 0.0100 0.0100 0.0000
147-AH 0.2400 0.3875 0.4300 0.4500 0.5000 0.4132 0.0565 0.0625 0.2600 0.1369 0.4088 0.4036 0.0423 0.3200 0.5000 0.4204 0.0445
148-AH 0.0100 0.0200 0.0300 0.0400 0.0500 0.0296 0.0117 0.0200 0.0400 0.3959 0.0269 0.0237 0.0101 0.0100 0.0500 0.0296 0.0117
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0400 0.0700 0.0900 0.0900 0.0576 0.0326 0.0500 0.0900 0.5654 0.0159 0.0001 0.0281 0.0000 0.0900 0.0576 0.0326
151-AH 0.0300 0.0400 0.0600 0.0725 0.0900 0.0592 0.0182 0.0325 0.0600 0.3081 0.0564 0.0535 0.0153 0.0300 0.0900 0.0592 0.0182
152-AH 0.0600 0.0800 0.0900 0.0925 0.1100 0.0872 0.0124 0.0125 0.0500 0.1425 0.0863 0.0854 0.0098 0.0700 0.1100 0.0883 0.0113
153-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0016 0.0037 0.0000 0.0100 2.3385 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
154-AH 0.0900 0.1200 0.1300 0.1300 0.1500 0.1252 0.0133 0.0100 0.0600 0.1060 0.1245 0.1237 0.0102 0.1100 0.1400 0.1268 0.0089
155-AH 0.0000 0.0200 0.0200 0.0300 0.0300 0.0212 0.0105 0.0100 0.0300 0.4970 0.0071 0.0001 0.0077 0.0200 0.0300 0.0252 0.0051
156-AH 0.0100 0.0475 0.0900 0.1100 0.1400 0.0800 0.0365 0.0625 0.1300 0.4564 0.0676 0.0486 0.0304 0.0100 0.1400 0.0800 0.0365
157-AH 0.0200 0.2450 0.5000 0.6400 0.7900 0.4520 0.2297 0.3950 0.7700 0.5081 0.3428 0.1549 0.1878 0.0200 0.7900 0.4520 0.2297
158-AH 0.0000 0.1775 0.2100 0.2425 0.3000 0.2076 0.0649 0.0650 0.3000 0.3126 0.1415 0.0002 0.0465 0.1400 0.3000 0.2162 0.0494
159-AH 0.0500 0.1200 0.1500 0.2150 0.4400 0.2028 0.1208 0.0950 0.3900 0.5959 0.1748 0.1524 0.0926 0.0500 0.2300 0.1470 0.0444
160-AH 0.0100 0.0175 0.0200 0.0200 0.0200 0.0176 0.0044 0.0025 0.0100 0.2477 0.0169 0.0161 0.0036 0.0200 0.0200 0.0200 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
163-AH 0.4200 0.7175 0.8300 0.8600 0.8800 0.7656 0.1364 0.1425 0.4600 0.1781 0.7513 0.7338 0.1040 0.5100 0.8800 0.7930 0.1018
164-AH 0.0000 0.0575 0.1000 0.1450 0.2100 0.1096 0.0600 0.0875 0.2100 0.5477 0.0682 0.0002 0.0508 0.0000 0.2100 0.1096 0.0600
165-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0200 0.0300 0.0400 0.0500 0.0296 0.0140 0.0200 0.0500 0.4726 0.0157 0.0001 0.0109 0.0000 0.0500 0.0296 0.0140
168-AH 0.0000 0.1100 0.1600 0.1700 0.1800 0.1376 0.0571 0.0600 0.1800 0.4150 0.0634 0.0001 0.0443 0.0900 0.1800 0.1559 0.0282
169-AH 0.0000 0.0100 0.0300 0.0325 0.0400 0.0228 0.0137 0.0225 0.0400 0.6008 0.0115 0.0001 0.0123 0.0000 0.0400 0.0228 0.0137
170-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0096 0.0020 0.0000 0.0100 0.2083 0.0076 0.0002 0.0008 0.0100 0.0100 0.0100 0.0000
171-AH 0.0000 0.0100 0.0600 0.0800 0.1000 0.0528 0.0320 0.0700 0.1000 0.6052 0.0231 0.0001 0.0270 0.0000 0.1000 0.0528 0.0320
172-AH 0.0300 0.0400 0.0500 0.0600 0.0700 0.0512 0.0101 0.0200 0.0400 0.1979 0.0502 0.0492 0.0079 0.0300 0.0700 0.0512 0.0101
173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
174-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
175-AH 0.0400 0.0600 0.0700 0.0700 0.0700 0.0644 0.0100 0.0100 0.0300 0.1558 0.0635 0.0624 0.0081 0.0500 0.0700 0.0665 0.0071
176-AH 0.3400 0.3700 0.3800 0.3900 0.3900 0.3760 0.0166 0.0200 0.0500 0.0441 0.3756 0.3753 0.0133 0.3600 0.3900 0.3809 0.0102
177-AH 0.0100 0.0700 0.0900 0.1000 0.1100 0.0868 0.0236 0.0300 0.1000 0.2717 0.0806 0.0656 0.0172 0.0400 0.1100 0.0900 0.0177
178-AH 0.0000 0.0100 0.0200 0.0300 0.0300 0.0188 0.0105 0.0200 0.0300 0.5604 0.0062 0.0001 0.0081 0.0000 0.0300 0.0188 0.0105
179-AH 0.0400 0.1100 0.1600 0.1950 0.2200 0.1516 0.0588 0.0850 0.1800 0.3878 0.1360 0.1154 0.0486 0.0400 0.2200 0.1516 0.0588
180-AH 0.0400 0.1000 0.2700 0.3900 0.4000 0.2440 0.1375 0.2900 0.3600 0.5634 0.1936 0.1409 0.1246 0.0400 0.4000 0.2440 0.1375
181-AH 0.1600 0.6950 0.7200 0.7725 0.7900 0.6320 0.2261 0.0775 0.6300 0.3577 0.5636 0.4615 0.1744 0.6800 0.7900 0.7410 0.0342
182-AH 0.0200 0.0300 0.0400 0.0400 0.0400 0.0360 0.0058 0.0100 0.0200 0.1604 0.0355 0.0349 0.0051 0.0200 0.0400 0.0360 0.0058
183-AH 0.0000 0.0200 0.0400 0.0400 0.0400 0.0304 0.0140 0.0200 0.0400 0.4601 0.0159 0.0001 0.0115 0.0000 0.0400 0.0304 0.0140
184-AH 0.0400 0.0600 0.0700 0.0725 0.0900 0.0684 0.0103 0.0125 0.0500 0.1503 0.0676 0.0667 0.0076 0.0600 0.0900 0.0696 0.0086
185-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0072 0.0046 0.0100 0.0100 0.6365 0.0014 0.0000 0.0040 0.0000 0.0100 0.0072 0.0046
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
188-AH 0.0000 0.0000 0.0000 0.0025 0.0100 0.0024 0.0044 0.0025 0.0100 1.8162 0.0001 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000
189-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000
190-AH 0.0300 0.0600 0.0700 0.0700 0.0800 0.0640 0.0132 0.0100 0.0500 0.2067 0.0623 0.0599 0.0096 0.0600 0.0800 0.0682 0.0066
309
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0200 0.0300 0.0400 0.0600 0.0600 0.0436 0.0163 0.0300 0.0400 0.3738 0.0403 0.0369 0.0149 0.0200 0.0600 0.0436 0.0163
193-AH 0.0300 0.0500 0.0600 0.0700 0.0700 0.0572 0.0143 0.0200 0.0400 0.2499 0.0550 0.0524 0.0112 0.0300 0.0700 0.0572 0.0143
194-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0092 0.0028 0.0000 0.0100 0.3010 0.0058 0.0001 0.0015 0.0100 0.0100 0.0100 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
197-AH 0.1400 0.2800 0.3400 0.3825 0.4700 0.3288 0.0853 0.1025 0.3300 0.2595 0.3162 0.3010 0.0660 0.1400 0.4700 0.3288 0.0853
198-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0084 0.0037 0.0000 0.0100 0.4454 0.0033 0.0001 0.0027 0.0100 0.0100 0.0100 0.0000
199-AH 0.0700 0.0900 0.1000 0.1000 0.1000 0.0956 0.0087 0.0100 0.0300 0.0910 0.0952 0.0947 0.0063 0.0900 0.1000 0.0978 0.0042
200-AH 0.0500 0.0600 0.0800 0.0800 0.0900 0.0736 0.0135 0.0200 0.0400 0.1835 0.0723 0.0709 0.0117 0.0500 0.0900 0.0736 0.0135
251-AH 0.2700 0.3375 0.3600 0.4100 0.4500 0.3680 0.0537 0.0725 0.1800 0.1459 0.3641 0.3601 0.0458 0.2700 0.4500 0.3680 0.0537
252-AH 0.0900 0.1700 0.2100 0.2325 0.2700 0.1960 0.0591 0.0625 0.1800 0.3015 0.1851 0.1720 0.0462 0.0900 0.2700 0.1960 0.0591
253-AH 0.1000 0.3175 0.5600 0.6100 0.6700 0.4864 0.1791 0.2925 0.5700 0.3683 0.4408 0.3783 0.1561 0.1000 0.6700 0.4864 0.1791
254-AH 0.1700 0.3225 0.4600 0.5100 0.5200 0.4020 0.1249 0.1875 0.3500 0.3107 0.3780 0.3488 0.1037 0.1700 0.5200 0.4020 0.1249
255-AH 0.0100 0.0300 0.0400 0.0400 0.0400 0.0348 0.0071 0.0100 0.0300 0.2052 0.0337 0.0319 0.0058 0.0300 0.0400 0.0358 0.0050
256-AH 0.0600 0.1800 0.3300 0.3400 0.3400 0.2708 0.0964 0.1600 0.2800 0.3559 0.2449 0.2060 0.0837 0.0600 0.3400 0.2708 0.0964
257-AH 0.1800 0.2000 0.2400 0.2700 0.3200 0.2416 0.0422 0.0700 0.1400 0.1747 0.2381 0.2347 0.0338 0.1800 0.3200 0.2416 0.0422
258-AH 0.0000 0.0075 0.0100 0.0300 0.0400 0.0160 0.0141 0.0225 0.0400 0.8839 0.0029 0.0000 0.0125 0.0000 0.0400 0.0160 0.0141
259-AH 0.0100 0.0200 0.0200 0.0200 0.0300 0.0208 0.0049 0.0000 0.0200 0.2372 0.0202 0.0195 0.0029 0.0200 0.0200 0.0200 0.0000
260-AH 0.2300 0.4175 0.4700 0.5100 0.5400 0.4364 0.0980 0.0925 0.3100 0.2246 0.4231 0.4070 0.0761 0.2800 0.5400 0.4632 0.0686
261-AH 0.0400 0.0900 0.1000 0.1125 0.1500 0.0980 0.0321 0.0225 0.1100 0.3280 0.0919 0.0846 0.0240 0.0900 0.1300 0.1041 0.0123
262-AH 0.1200 0.2050 0.2300 0.3300 0.4400 0.2556 0.0894 0.1250 0.3200 0.3496 0.2406 0.2256 0.0723 0.1200 0.4400 0.2556 0.0894
263-AH 0.0400 0.0575 0.1700 0.2225 0.2500 0.1488 0.0782 0.1650 0.2100 0.5257 0.1235 0.0979 0.0709 0.0400 0.2500 0.1488 0.0782
264-AH 0.0700 0.1375 0.1600 0.1800 0.2000 0.1536 0.0351 0.0425 0.1300 0.2285 0.1489 0.1432 0.0280 0.0800 0.2000 0.1571 0.0311
265-AH 0.0000 0.0100 0.0600 0.0600 0.0600 0.0440 0.0238 0.0500 0.0600 0.5410 0.0205 0.0001 0.0206 0.0000 0.0600 0.0440 0.0238
266-AH 0.0000 0.0000 0.0200 0.0400 0.0400 0.0204 0.0159 0.0400 0.0400 0.7812 0.0029 0.0000 0.0125 0.0000 0.0400 0.0204 0.0159
267-AH 0.0700 0.1000 0.1200 0.1325 0.1700 0.1192 0.0240 0.0325 0.1000 0.2011 0.1168 0.1144 0.0186 0.0700 0.1700 0.1192 0.0240
268-AH 0.0100 0.0200 0.0200 0.0200 0.0300 0.0216 0.0047 0.0000 0.0200 0.2188 0.0211 0.0205 0.0034 0.0200 0.0200 0.0200 0.0000
269-AH 0.0300 0.0600 0.0700 0.0700 0.0800 0.0644 0.0116 0.0100 0.0500 0.1797 0.0632 0.0617 0.0090 0.0500 0.0800 0.0658 0.0093
270-AH 0.0500 0.2700 0.3400 0.4800 0.4900 0.3312 0.1579 0.2100 0.4400 0.4768 0.2684 0.1835 0.1284 0.0500 0.4900 0.3312 0.1579
271-AH 0.0300 0.1825 0.2100 0.2200 0.2300 0.1916 0.0434 0.0375 0.2000 0.2263 0.1820 0.1592 0.0300 0.1400 0.2300 0.1983 0.0279
272-AH 0.0000 0.0775 0.1200 0.1200 0.1300 0.0928 0.0422 0.0425 0.1300 0.4545 0.0446 0.0001 0.0338 0.0300 0.1300 0.1009 0.0330
273-AH 0.1400 0.3500 0.5600 0.6425 0.7600 0.5184 0.1716 0.2925 0.6200 0.3311 0.4836 0.4390 0.1420 0.1400 0.7600 0.5184 0.1716
274-AH 0.0600 0.0900 0.1200 0.1425 0.1600 0.1168 0.0340 0.0525 0.1000 0.2911 0.1114 0.1056 0.0289 0.0600 0.1600 0.1168 0.0340
275-AH 0.0400 0.1700 0.3400 0.3725 0.4900 0.2844 0.1384 0.2025 0.4500 0.4867 0.2367 0.1749 0.1191 0.0400 0.4900 0.2844 0.1384
276-AH 0.2300 0.2775 0.3100 0.3825 0.4500 0.3324 0.0683 0.1050 0.2200 0.2054 0.3259 0.3196 0.0589 0.2300 0.4500 0.3324 0.0683
277-AH 0.0400 0.0800 0.1300 0.1525 0.1800 0.1216 0.0432 0.0725 0.1400 0.3550 0.1125 0.1019 0.0372 0.0400 0.1800 0.1216 0.0432
278-AH 0.0100 0.0575 0.0800 0.1225 0.1600 0.0876 0.0464 0.0650 0.1500 0.5296 0.0717 0.0496 0.0365 0.0100 0.1600 0.0876 0.0464
279-AH 0.0100 0.0275 0.0300 0.0300 0.0400 0.0272 0.0098 0.0025 0.0300 0.3602 0.0248 0.0217 0.0075 0.0300 0.0300 0.0300 0.0000
280-AH 0.0000 0.0450 0.0500 0.0600 0.1100 0.0508 0.0216 0.0150 0.1100 0.4249 0.0353 0.0002 0.0139 0.0300 0.0800 0.0518 0.0140
281-AH 0.0400 0.2575 0.2900 0.3000 0.3100 0.2624 0.0710 0.0425 0.2700 0.2707 0.2416 0.1957 0.0461 0.2100 0.3100 0.2813 0.0288
282-AH 0.0500 0.0775 0.1200 0.1500 0.1900 0.1152 0.0414 0.0725 0.1400 0.3598 0.1070 0.0982 0.0354 0.0500 0.1900 0.1152 0.0414
283-AH 0.0200 0.0700 0.1300 0.2500 0.3300 0.1536 0.1011 0.1800 0.3100 0.6580 0.1191 0.0878 0.0896 0.0200 0.3300 0.1536 0.1011
284-AH 0.2500 0.3000 0.3300 0.3500 0.3700 0.3216 0.0336 0.0500 0.1200 0.1046 0.3198 0.3179 0.0278 0.2500 0.3700 0.3216 0.0336
285-AH 0.0800 0.3075 0.5100 0.5900 0.6100 0.4436 0.1917 0.2825 0.5300 0.4321 0.3740 0.2760 0.1596 0.0800 0.6100 0.4436 0.1917
286-AH 0.0000 0.0300 0.0300 0.0400 0.0600 0.0340 0.0153 0.0100 0.0600 0.4493 0.0234 0.0002 0.0117 0.0200 0.0500 0.0342 0.0084
287-AH 0.1400 0.2875 0.3100 0.3600 0.4000 0.2988 0.0816 0.0725 0.2600 0.2731 0.2849 0.2674 0.0608 0.2000 0.4000 0.3286 0.0466
288-AH 0.1200 0.1800 0.2500 0.3225 0.4200 0.2608 0.0930 0.1425 0.3000 0.3564 0.2435 0.2254 0.0752 0.1200 0.4200 0.2608 0.0930
289-AH 0.0100 0.1100 0.1700 0.1800 0.1800 0.1356 0.0649 0.0700 0.1700 0.4789 0.0993 0.0478 0.0527 0.0100 0.1800 0.1356 0.0649
290-AH 0.0700 0.1375 0.2300 0.2825 0.3400 0.2168 0.0834 0.1450 0.2700 0.3845 0.1967 0.1729 0.0678 0.0700 0.3400 0.2168 0.0834
310
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.1000 0.1675 0.2100 0.2350 0.2700 0.2020 0.0473 0.0675 0.1700 0.2344 0.1957 0.1883 0.0382 0.1000 0.2700 0.2020 0.0473
292-AH 0.0300 0.0400 0.0400 0.0400 0.0400 0.0396 0.0020 0.0000 0.0100 0.0505 0.0395 0.0395 0.0008 0.0400 0.0400 0.0400 0.0000
293-AH 0.1800 0.2800 0.3100 0.3200 0.3200 0.2840 0.0487 0.0400 0.1400 0.1716 0.2792 0.2736 0.0374 0.2800 0.3200 0.3070 0.0142
294-AH 0.0400 0.2600 0.2600 0.2700 0.2700 0.2344 0.0732 0.0100 0.2300 0.3123 0.2126 0.1731 0.0518 0.2600 0.2700 0.2652 0.0051
295-AH 0.0900 0.1875 0.2200 0.2800 0.3500 0.2272 0.0732 0.0925 0.2600 0.3221 0.2140 0.1988 0.0619 0.0900 0.3500 0.2272 0.0732
296-AH 0.0000 0.0750 0.1800 0.2325 0.2400 0.1540 0.0918 0.1575 0.2400 0.5963 0.0451 0.0001 0.0781 0.0000 0.2400 0.1540 0.0918
297-AH 0.0300 0.0500 0.0600 0.0800 0.1000 0.0656 0.0180 0.0300 0.0700 0.2751 0.0631 0.0606 0.0159 0.0300 0.1000 0.0656 0.0180
298-AH 0.0900 0.1300 0.1600 0.1725 0.2000 0.1520 0.0318 0.0425 0.1100 0.2089 0.1485 0.1448 0.0259 0.0900 0.2000 0.1520 0.0318
299-AH 0.1800 0.3475 0.3900 0.4350 0.4800 0.3688 0.0924 0.0875 0.3000 0.2505 0.3550 0.3381 0.0694 0.2900 0.4800 0.4024 0.0531
300-AH 0.0800 0.1700 0.2000 0.2325 0.2500 0.2000 0.0391 0.0625 0.1700 0.1953 0.1954 0.1891 0.0304 0.0800 0.2500 0.2000 0.0391
301-AH 0.0100 0.0300 0.0400 0.0575 0.1000 0.0476 0.0279 0.0275 0.0900 0.5857 0.0403 0.0333 0.0221 0.0100 0.0900 0.0405 0.0210
302-AH 0.0400 0.1000 0.1300 0.1400 0.1700 0.1220 0.0321 0.0400 0.1300 0.2635 0.1165 0.1088 0.0250 0.0500 0.1700 0.1254 0.0278
303-AH 0.0000 0.0675 0.0900 0.1000 0.1100 0.0784 0.0306 0.0325 0.1100 0.3909 0.0521 0.0002 0.0238 0.0400 0.1100 0.0848 0.0221
304-AH 0.0500 0.0600 0.0700 0.0850 0.1100 0.0752 0.0190 0.0250 0.0600 0.2521 0.0731 0.0711 0.0155 0.0500 0.1100 0.0752 0.0190
305-AH 0.0000 0.2300 0.2500 0.2950 0.4100 0.2612 0.0927 0.0650 0.4100 0.3547 0.1742 0.0002 0.0623 0.1400 0.3900 0.2533 0.0616
306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
307-AH 0.0200 0.1075 0.2300 0.3350 0.4400 0.2220 0.1439 0.2275 0.4200 0.6481 0.1612 0.0953 0.1259 0.0200 0.4400 0.2220 0.1439
308-AH 0.0600 0.0800 0.0900 0.1000 0.1000 0.0884 0.0125 0.0200 0.0400 0.1411 0.0875 0.0865 0.0102 0.0600 0.1000 0.0884 0.0125
309-AH 0.0200 0.0400 0.0500 0.0500 0.0600 0.0464 0.0111 0.0100 0.0400 0.2400 0.0449 0.0430 0.0089 0.0300 0.0600 0.0475 0.0099
310-AH 0.0300 0.0700 0.0900 0.1400 0.2000 0.1000 0.0458 0.0700 0.1700 0.4583 0.0879 0.0741 0.0376 0.0300 0.2000 0.1000 0.0458
311-AH 0.0800 0.2300 0.2600 0.2825 0.3200 0.2524 0.0486 0.0525 0.2400 0.1925 0.2458 0.2349 0.0351 0.2100 0.3200 0.2596 0.0334
312-AH 0.0700 0.2300 0.2600 0.2800 0.3000 0.2344 0.0673 0.0500 0.2300 0.2870 0.2201 0.1986 0.0496 0.1600 0.3000 0.2595 0.0328
313-AH 0.0200 0.0300 0.0600 0.0800 0.1200 0.0640 0.0286 0.0500 0.1000 0.4465 0.0572 0.0502 0.0242 0.0200 0.1200 0.0640 0.0286
314-AH 0.0100 0.0375 0.0700 0.0900 0.1000 0.0656 0.0310 0.0525 0.0900 0.4721 0.0548 0.0403 0.0264 0.0100 0.1000 0.0656 0.0310
315-AH 0.1000 0.1300 0.2600 0.2925 0.4800 0.2380 0.1120 0.1625 0.3800 0.4705 0.2129 0.1902 0.0957 0.1000 0.4800 0.2380 0.1120
316-AH 0.0600 0.1075 0.1700 0.2625 0.3300 0.1768 0.0866 0.1550 0.2700 0.4900 0.1539 0.1310 0.0743 0.0600 0.3300 0.1768 0.0866
317-AH 0.1000 0.1400 0.1600 0.1800 0.1800 0.1564 0.0258 0.0400 0.0800 0.1650 0.1541 0.1515 0.0211 0.1000 0.1800 0.1564 0.0258
318-AH 0.0400 0.0675 0.0800 0.0900 0.0900 0.0756 0.0158 0.0225 0.0500 0.2094 0.0737 0.0716 0.0133 0.0400 0.0900 0.0756 0.0158
319-AH 0.0300 0.0500 0.0800 0.1400 0.1500 0.0856 0.0432 0.0900 0.1200 0.5048 0.0748 0.0650 0.0391 0.0300 0.1500 0.0856 0.0432
320-AH 0.0100 0.0175 0.0400 0.0600 0.0700 0.0392 0.0229 0.0425 0.0600 0.5841 0.0310 0.0232 0.0202 0.0100 0.0700 0.0392 0.0229
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0300 0.0500 0.0600 0.0700 0.0900 0.0584 0.0170 0.0200 0.0600 0.2911 0.0558 0.0530 0.0138 0.0300 0.0900 0.0584 0.0170
323-AH 0.0600 0.0875 0.1000 0.1300 0.1400 0.1016 0.0256 0.0425 0.0800 0.2520 0.0983 0.0949 0.0204 0.0600 0.1400 0.1016 0.0256
324-AH 0.0000 0.1425 0.1900 0.4000 0.4900 0.2408 0.1579 0.2575 0.4900 0.6556 0.1244 0.0002 0.1360 0.0000 0.4900 0.2408 0.1579
325-AH 0.2500 0.3675 0.4100 0.4425 0.5000 0.4048 0.0681 0.0750 0.2500 0.1682 0.3986 0.3916 0.0522 0.2600 0.5000 0.4113 0.0612
326-AH 0.0000 0.0200 0.0200 0.0225 0.0300 0.0204 0.0073 0.0025 0.0300 0.3602 0.0150 0.0002 0.0046 0.0200 0.0200 0.0200 0.0000
327-AH 0.0000 0.0100 0.0300 0.0400 0.0400 0.0264 0.0158 0.0300 0.0400 0.5977 0.0101 0.0001 0.0142 0.0000 0.0400 0.0264 0.0158
328-AH 0.0900 0.2000 0.2300 0.2300 0.2300 0.2028 0.0461 0.0300 0.1400 0.2275 0.1958 0.1863 0.0340 0.1800 0.2300 0.2214 0.0153
329-AH 0.1600 0.1600 0.1700 0.1700 0.1700 0.1652 0.0051 0.0100 0.0100 0.0309 0.1651 0.1650 0.0050 0.1600 0.1700 0.1652 0.0051
330-AH 0.1000 0.2450 0.4800 0.4900 0.5100 0.3784 0.1499 0.2450 0.4100 0.3962 0.3373 0.2842 0.1339 0.1000 0.5100 0.3784 0.1499
331-AH 0.0500 0.0900 0.1500 0.1500 0.1700 0.1288 0.0381 0.0600 0.1200 0.2959 0.1216 0.1127 0.0321 0.0500 0.1700 0.1288 0.0381
332-AH 0.0000 0.0100 0.0800 0.0800 0.0800 0.0588 0.0348 0.0700 0.0800 0.5918 0.0148 0.0001 0.0305 0.0000 0.0800 0.0588 0.0348
333-AH 0.0200 0.0500 0.0500 0.0500 0.0500 0.0472 0.0084 0.0000 0.0300 0.1785 0.0461 0.0442 0.0049 0.0500 0.0500 0.0500 0.0000
334-AH 0.0300 0.0400 0.0400 0.0500 0.0500 0.0412 0.0073 0.0100 0.0200 0.1761 0.0406 0.0399 0.0056 0.0300 0.0500 0.0412 0.0073
335-AH 0.0300 0.0575 0.0800 0.1000 0.1200 0.0792 0.0234 0.0425 0.0900 0.2959 0.0754 0.0710 0.0179 0.0300 0.1200 0.0792 0.0234
336-AH 0.0000 0.0200 0.0200 0.0500 0.0900 0.0336 0.0261 0.0300 0.0900 0.7774 0.0093 0.0001 0.0211 0.0000 0.0900 0.0336 0.0261
337-AH 0.0300 0.1850 0.1900 0.2000 0.2000 0.1680 0.0566 0.0150 0.1700 0.3372 0.1499 0.1183 0.0416 0.1700 0.2000 0.1940 0.0075
338-AH 0.0200 0.0600 0.1000 0.1000 0.1000 0.0836 0.0258 0.0400 0.0800 0.3086 0.0778 0.0691 0.0215 0.0200 0.1000 0.0836 0.0258
339-AH 0.0600 0.1800 0.1800 0.1900 0.1900 0.1720 0.0329 0.0100 0.1300 0.1914 0.1672 0.1593 0.0208 0.1800 0.1900 0.1850 0.0051
340-AH 0.0200 0.0500 0.0500 0.0500 0.0500 0.0488 0.0060 0.0000 0.0300 0.1230 0.0482 0.0472 0.0023 0.0500 0.0500 0.0500 0.0000
311
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0500 0.0500 0.0600 0.0600 0.0600 0.0568 0.0048 0.0100 0.0100 0.0838 0.0566 0.0564 0.0044 0.0500 0.0600 0.0568 0.0048
342-AH 0.2700 0.4900 0.5600 0.6600 0.7400 0.5476 0.1322 0.1700 0.4700 0.2414 0.5308 0.5123 0.1073 0.2700 0.7400 0.5476 0.1322
343-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0084 0.0037 0.0000 0.0100 0.4454 0.0033 0.0001 0.0027 0.0100 0.0100 0.0100 0.0000
344-AH 0.0000 0.2100 0.2300 0.2500 0.2800 0.2196 0.0591 0.0400 0.2800 0.2689 0.1509 0.0002 0.0381 0.1500 0.2800 0.2326 0.0339
345-AH 0.0100 0.0300 0.0500 0.0800 0.0900 0.0548 0.0247 0.0500 0.0800 0.4505 0.0475 0.0378 0.0218 0.0100 0.0900 0.0548 0.0247
346-AH 0.0300 0.0500 0.0600 0.0825 0.0900 0.0648 0.0183 0.0325 0.0600 0.2822 0.0622 0.0593 0.0150 0.0300 0.0900 0.0648 0.0183
347-AH 0.0100 0.0400 0.0500 0.0525 0.0600 0.0464 0.0122 0.0125 0.0500 0.2631 0.0440 0.0397 0.0091 0.0400 0.0600 0.0491 0.0079
348-AH 0.0000 0.0000 0.0200 0.0200 0.0200 0.0144 0.0092 0.0200 0.0200 0.6365 0.0024 0.0000 0.0081 0.0000 0.0200 0.0144 0.0092
349-AH 0.1400 0.2100 0.2100 0.2300 0.2400 0.2104 0.0241 0.0200 0.1000 0.1144 0.2089 0.2071 0.0156 0.2000 0.2400 0.2182 0.0110
350-AH 0.0800 0.0900 0.1000 0.1000 0.1000 0.0960 0.0058 0.0100 0.0200 0.0601 0.0958 0.0956 0.0051 0.0800 0.1000 0.0960 0.0058
312
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0042 0.0019 0.0000 0.0050 0.4454 0.0018 0.0001 0.0013 0.0050 0.0050 0.0050 0.0000
142-AH 0.0250 0.0350 0.0400 0.0400 0.0400 0.0372 0.0050 0.0050 0.0150 0.1349 0.0368 0.0364 0.0040 0.0300 0.0400 0.0383 0.0036
143-AH 0.0950 0.1800 0.1900 0.1900 0.1950 0.1742 0.0330 0.0100 0.1000 0.1892 0.1703 0.1652 0.0233 0.1750 0.1950 0.1881 0.0058
144-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
145-AH 0.1100 0.1350 0.1650 0.1750 0.1800 0.1560 0.0217 0.0400 0.0700 0.1391 0.1544 0.1528 0.0189 0.1100 0.1800 0.1560 0.0217
146-AH 0.0050 0.0050 0.0050 0.0100 0.0100 0.0074 0.0025 0.0050 0.0050 0.3445 0.0070 0.0066 0.0025 0.0050 0.0100 0.0074 0.0025
147-AH 0.1600 0.2237 0.2400 0.2500 0.2550 0.2338 0.0209 0.0263 0.0950 0.0895 0.2328 0.2316 0.0154 0.2100 0.2550 0.2369 0.0145
148-AH 0.0050 0.0100 0.0250 0.0300 0.0300 0.0208 0.0094 0.0200 0.0250 0.4533 0.0179 0.0143 0.0082 0.0050 0.0300 0.0208 0.0094
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0250 0.0350 0.0450 0.0500 0.0320 0.0166 0.0200 0.0500 0.5182 0.0099 0.0001 0.0134 0.0000 0.0500 0.0320 0.0166
151-AH 0.0200 0.0250 0.0350 0.0400 0.0450 0.0342 0.0087 0.0150 0.0250 0.2556 0.0330 0.0318 0.0074 0.0200 0.0450 0.0342 0.0087
152-AH 0.0350 0.0450 0.0500 0.0550 0.0550 0.0486 0.0051 0.0100 0.0200 0.1051 0.0483 0.0481 0.0043 0.0350 0.0550 0.0486 0.0051
153-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0008 0.0019 0.0000 0.0050 2.3385 0.0000 0.0000 0.0013 0.0000 0.0000 0.0000 0.0000
154-AH 0.0550 0.0700 0.0800 0.0850 0.0900 0.0774 0.0103 0.0150 0.0350 0.1333 0.0767 0.0760 0.0087 0.0550 0.0900 0.0774 0.0103
155-AH 0.0000 0.0100 0.0150 0.0150 0.0150 0.0118 0.0056 0.0050 0.0150 0.4718 0.0044 0.0001 0.0044 0.0100 0.0150 0.0140 0.0020
156-AH 0.0100 0.0350 0.0600 0.0700 0.0850 0.0528 0.0206 0.0350 0.0750 0.3896 0.0473 0.0396 0.0170 0.0100 0.0850 0.0528 0.0206
157-AH 0.0350 0.2725 0.3850 0.5337 0.5800 0.3580 0.1639 0.2612 0.5450 0.4578 0.2969 0.1950 0.1286 0.0350 0.5800 0.3580 0.1639
158-AH 0.0000 0.1075 0.1300 0.1462 0.1600 0.1228 0.0342 0.0387 0.1600 0.2787 0.0862 0.0002 0.0241 0.0850 0.1600 0.1279 0.0232
159-AH 0.0500 0.1100 0.1250 0.1675 0.2500 0.1470 0.0565 0.0575 0.2000 0.3843 0.1373 0.1279 0.0439 0.0500 0.2500 0.1470 0.0565
160-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0094 0.0017 0.0000 0.0050 0.1764 0.0092 0.0089 0.0011 0.0100 0.0100 0.0100 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
163-AH 0.2750 0.4400 0.5600 0.5750 0.5850 0.5068 0.0963 0.1350 0.3100 0.1901 0.4962 0.4837 0.0809 0.2750 0.5850 0.5068 0.0963
164-AH 0.0000 0.0488 0.0950 0.1100 0.1250 0.0798 0.0358 0.0612 0.1250 0.4480 0.0524 0.0002 0.0314 0.0000 0.1250 0.0798 0.0358
165-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0050 0.0150 0.0200 0.0250 0.0250 0.0198 0.0060 0.0100 0.0200 0.3048 0.0186 0.0168 0.0047 0.0050 0.0250 0.0198 0.0060
168-AH 0.0000 0.0700 0.0850 0.0900 0.0900 0.0738 0.0274 0.0200 0.0900 0.3707 0.0379 0.0001 0.0202 0.0550 0.0900 0.0827 0.0118
169-AH 0.0000 0.0100 0.0200 0.0200 0.0300 0.0162 0.0065 0.0100 0.0300 0.4012 0.0118 0.0002 0.0052 0.0000 0.0300 0.0162 0.0065
170-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0048 0.0010 0.0000 0.0050 0.2083 0.0039 0.0002 0.0004 0.0050 0.0050 0.0050 0.0000
171-AH 0.0050 0.0100 0.0500 0.0625 0.0800 0.0432 0.0260 0.0525 0.0750 0.6022 0.0308 0.0174 0.0212 0.0050 0.0800 0.0432 0.0260
172-AH 0.0200 0.0300 0.0300 0.0350 0.0350 0.0306 0.0042 0.0050 0.0150 0.1361 0.0303 0.0300 0.0032 0.0250 0.0350 0.0310 0.0036
173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
174-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
175-AH 0.0200 0.0300 0.0350 0.0350 0.0350 0.0324 0.0048 0.0050 0.0150 0.1486 0.0320 0.0315 0.0037 0.0250 0.0350 0.0335 0.0032
176-AH 0.1750 0.1950 0.1950 0.1950 0.1950 0.1920 0.0066 0.0000 0.0200 0.0344 0.1919 0.1918 0.0048 0.1950 0.1950 0.1950 0.0000
177-AH 0.0200 0.0488 0.0550 0.0600 0.0650 0.0532 0.0100 0.0112 0.0450 0.1877 0.0520 0.0502 0.0074 0.0400 0.0650 0.0546 0.0074
178-AH 0.0000 0.0050 0.0100 0.0150 0.0200 0.0100 0.0060 0.0100 0.0200 0.5951 0.0036 0.0001 0.0044 0.0000 0.0200 0.0100 0.0060
179-AH 0.0300 0.0787 0.1000 0.1050 0.1100 0.0870 0.0263 0.0262 0.0800 0.3018 0.0816 0.0742 0.0210 0.0400 0.1100 0.0943 0.0179
180-AH 0.0500 0.0813 0.1700 0.2000 0.2000 0.1458 0.0580 0.1188 0.1500 0.3980 0.1323 0.1175 0.0524 0.0500 0.2000 0.1458 0.0580
181-AH 0.1150 0.4238 0.4350 0.4500 0.4550 0.3816 0.1213 0.0262 0.3400 0.3178 0.3512 0.3066 0.0934 0.4200 0.4550 0.4400 0.0106
182-AH 0.0150 0.0200 0.0200 0.0200 0.0200 0.0192 0.0019 0.0000 0.0050 0.0974 0.0191 0.0190 0.0013 0.0200 0.0200 0.0200 0.0000
183-AH 0.0000 0.0100 0.0200 0.0200 0.0200 0.0160 0.0068 0.0100 0.0200 0.4231 0.0112 0.0002 0.0058 0.0000 0.0200 0.0160 0.0068
184-AH 0.0200 0.0300 0.0400 0.0450 0.0450 0.0382 0.0069 0.0150 0.0250 0.1807 0.0375 0.0367 0.0056 0.0200 0.0450 0.0382 0.0069
185-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0036 0.0023 0.0050 0.0050 0.6365 0.0009 0.0000 0.0020 0.0000 0.0050 0.0036 0.0023
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
188-AH 0.0000 0.0000 0.0000 0.0050 0.0050 0.0020 0.0025 0.0050 0.0050 1.2500 0.0001 0.0000 0.0024 0.0000 0.0050 0.0020 0.0025
189-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000
190-AH 0.0200 0.0300 0.0350 0.0350 0.0450 0.0334 0.0061 0.0050 0.0250 0.1819 0.0328 0.0320 0.0043 0.0300 0.0400 0.0348 0.0029
313
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0150 0.0150 0.0250 0.0300 0.0300 0.0234 0.0067 0.0150 0.0150 0.2875 0.0224 0.0214 0.0062 0.0150 0.0300 0.0234 0.0067
193-AH 0.0150 0.0287 0.0350 0.0350 0.0350 0.0302 0.0074 0.0063 0.0200 0.2459 0.0290 0.0275 0.0058 0.0250 0.0350 0.0331 0.0033
194-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0048 0.0010 0.0000 0.0050 0.2083 0.0039 0.0002 0.0004 0.0050 0.0050 0.0050 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
197-AH 0.1350 0.1737 0.2100 0.2275 0.2500 0.2018 0.0326 0.0537 0.1150 0.1615 0.1991 0.1964 0.0273 0.1350 0.2500 0.2018 0.0326
198-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0042 0.0019 0.0000 0.0050 0.4454 0.0018 0.0001 0.0013 0.0050 0.0050 0.0050 0.0000
199-AH 0.0350 0.0450 0.0500 0.0500 0.0500 0.0478 0.0043 0.0050 0.0150 0.0910 0.0476 0.0473 0.0032 0.0450 0.0500 0.0489 0.0021
200-AH 0.0300 0.0387 0.0400 0.0450 0.0450 0.0400 0.0050 0.0063 0.0150 0.1250 0.0397 0.0393 0.0036 0.0300 0.0450 0.0400 0.0050
251-AH 0.1700 0.2025 0.2150 0.2325 0.2650 0.2168 0.0255 0.0300 0.0950 0.1176 0.2154 0.2140 0.0206 0.1700 0.2650 0.2168 0.0255
252-AH 0.0600 0.1188 0.1300 0.1400 0.1450 0.1198 0.0279 0.0213 0.0850 0.2328 0.1157 0.1106 0.0219 0.0900 0.1450 0.1305 0.0135
253-AH 0.1050 0.2538 0.4100 0.4425 0.5050 0.3580 0.1223 0.1887 0.4000 0.3417 0.3308 0.2963 0.1047 0.1050 0.5050 0.3580 0.1223
254-AH 0.1400 0.2737 0.3600 0.3875 0.4300 0.3254 0.0948 0.1137 0.2900 0.2912 0.3082 0.2867 0.0767 0.1400 0.4300 0.3254 0.0948
255-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0190 0.0025 0.0000 0.0100 0.1316 0.0188 0.0185 0.0017 0.0200 0.0200 0.0200 0.0000
256-AH 0.0650 0.1138 0.1650 0.1700 0.1700 0.1438 0.0367 0.0563 0.1050 0.2554 0.1380 0.1307 0.0316 0.0650 0.1700 0.1438 0.0367
257-AH 0.1150 0.1500 0.1750 0.1950 0.2100 0.1726 0.0269 0.0450 0.0950 0.1560 0.1705 0.1682 0.0227 0.1150 0.2100 0.1726 0.0269
258-AH 0.0000 0.0050 0.0150 0.0150 0.0200 0.0104 0.0073 0.0100 0.0200 0.7066 0.0035 0.0001 0.0068 0.0000 0.0200 0.0104 0.0073
259-AH 0.0050 0.0100 0.0100 0.0100 0.0150 0.0104 0.0025 0.0000 0.0100 0.2372 0.0101 0.0097 0.0015 0.0100 0.0100 0.0100 0.0000
260-AH 0.1450 0.2737 0.2950 0.3000 0.3050 0.2690 0.0529 0.0263 0.1600 0.1965 0.2626 0.2547 0.0411 0.2550 0.3050 0.2940 0.0118
261-AH 0.0250 0.0500 0.0550 0.0625 0.0900 0.0562 0.0173 0.0125 0.0650 0.3085 0.0532 0.0498 0.0125 0.0350 0.0800 0.0590 0.0122
262-AH 0.0850 0.1350 0.1550 0.2325 0.3200 0.1776 0.0618 0.0975 0.2350 0.3480 0.1679 0.1589 0.0497 0.0850 0.3200 0.1776 0.0618
263-AH 0.0250 0.0650 0.1300 0.1500 0.1800 0.1092 0.0528 0.0850 0.1550 0.4838 0.0923 0.0731 0.0470 0.0250 0.1800 0.1092 0.0528
264-AH 0.0450 0.0838 0.0950 0.0950 0.1050 0.0870 0.0173 0.0112 0.0600 0.1991 0.0849 0.0823 0.0129 0.0750 0.1050 0.0936 0.0081
265-AH 0.0050 0.0200 0.0300 0.0300 0.0300 0.0256 0.0074 0.0100 0.0250 0.2893 0.0239 0.0210 0.0060 0.0050 0.0300 0.0256 0.0074
266-AH 0.0000 0.0100 0.0100 0.0200 0.0200 0.0120 0.0072 0.0100 0.0200 0.6014 0.0042 0.0001 0.0060 0.0000 0.0200 0.0120 0.0072
267-AH 0.0450 0.0637 0.0750 0.0863 0.1000 0.0754 0.0160 0.0225 0.0550 0.2122 0.0736 0.0718 0.0128 0.0450 0.1000 0.0754 0.0160
268-AH 0.0100 0.0100 0.0100 0.0112 0.0150 0.0112 0.0022 0.0012 0.0050 0.1946 0.0110 0.0109 0.0018 0.0100 0.0100 0.0100 0.0000
269-AH 0.0300 0.0300 0.0400 0.0400 0.0400 0.0362 0.0044 0.0100 0.0100 0.1215 0.0359 0.0357 0.0040 0.0300 0.0400 0.0362 0.0044
270-AH 0.0250 0.1450 0.2100 0.2750 0.2800 0.1982 0.0858 0.1300 0.2550 0.4329 0.1679 0.1237 0.0682 0.0250 0.2800 0.1982 0.0858
271-AH 0.0150 0.1000 0.1100 0.1163 0.1200 0.1044 0.0223 0.0162 0.1050 0.2139 0.0992 0.0856 0.0145 0.0800 0.1200 0.1081 0.0126
272-AH 0.0050 0.0450 0.0600 0.0650 0.0700 0.0508 0.0205 0.0200 0.0650 0.4045 0.0427 0.0280 0.0165 0.0200 0.0700 0.0548 0.0159
273-AH 0.0800 0.2587 0.3250 0.3675 0.3950 0.3046 0.0848 0.1088 0.3150 0.2783 0.2886 0.2651 0.0677 0.1650 0.3950 0.3140 0.0722
274-AH 0.0300 0.0500 0.0700 0.0800 0.0800 0.0648 0.0170 0.0300 0.0500 0.2621 0.0622 0.0590 0.0147 0.0300 0.0800 0.0648 0.0170
275-AH 0.0300 0.1450 0.2400 0.2700 0.3000 0.1996 0.0886 0.1250 0.2700 0.4436 0.1686 0.1246 0.0757 0.0300 0.3000 0.1996 0.0886
276-AH 0.1350 0.1737 0.1900 0.2412 0.2700 0.2048 0.0437 0.0675 0.1350 0.2136 0.2003 0.1959 0.0378 0.1350 0.2700 0.2048 0.0437
277-AH 0.0300 0.0450 0.0800 0.0850 0.0950 0.0688 0.0207 0.0400 0.0650 0.3013 0.0652 0.0612 0.0182 0.0300 0.0950 0.0688 0.0207
278-AH 0.0050 0.0337 0.0500 0.0713 0.0950 0.0518 0.0257 0.0375 0.0900 0.4960 0.0426 0.0281 0.0199 0.0050 0.0950 0.0518 0.0257
279-AH 0.0050 0.0150 0.0200 0.0200 0.0200 0.0174 0.0044 0.0050 0.0150 0.2505 0.0166 0.0155 0.0035 0.0100 0.0200 0.0179 0.0036
280-AH 0.0100 0.0300 0.0400 0.0500 0.0650 0.0398 0.0136 0.0200 0.0550 0.3411 0.0370 0.0331 0.0106 0.0100 0.0650 0.0398 0.0136
281-AH 0.0350 0.1600 0.1800 0.1850 0.1850 0.1622 0.0408 0.0250 0.1500 0.2512 0.1519 0.1309 0.0256 0.1350 0.1850 0.1733 0.0146
282-AH 0.0300 0.0587 0.0850 0.1013 0.1150 0.0784 0.0268 0.0425 0.0850 0.3413 0.0730 0.0668 0.0222 0.0300 0.1150 0.0784 0.0268
283-AH 0.0250 0.0600 0.0800 0.1400 0.1700 0.0908 0.0477 0.0800 0.1450 0.5255 0.0777 0.0647 0.0413 0.0250 0.1700 0.0908 0.0477
284-AH 0.1550 0.1800 0.1900 0.1900 0.1900 0.1818 0.0127 0.0100 0.0350 0.0701 0.1813 0.1808 0.0097 0.1750 0.1900 0.1869 0.0049
285-AH 0.0550 0.2037 0.3050 0.3350 0.3350 0.2576 0.1017 0.1313 0.2800 0.3947 0.2248 0.1773 0.0839 0.0550 0.3350 0.2576 0.1017
286-AH 0.0100 0.0150 0.0200 0.0350 0.0400 0.0236 0.0092 0.0200 0.0300 0.3893 0.0219 0.0204 0.0077 0.0100 0.0400 0.0236 0.0092
287-AH 0.1100 0.1850 0.1950 0.2200 0.2300 0.1892 0.0361 0.0350 0.1200 0.1907 0.1851 0.1802 0.0256 0.1750 0.2300 0.2033 0.0157
288-AH 0.0900 0.1300 0.1800 0.2212 0.2700 0.1808 0.0569 0.0913 0.1800 0.3145 0.1713 0.1611 0.0460 0.0900 0.2700 0.1808 0.0569
289-AH 0.0150 0.0637 0.0850 0.0900 0.0900 0.0712 0.0287 0.0263 0.0750 0.4030 0.0611 0.0464 0.0231 0.0600 0.0900 0.0848 0.0085
290-AH 0.0550 0.1275 0.1600 0.1663 0.2150 0.1484 0.0425 0.0388 0.1600 0.2867 0.1409 0.1315 0.0328 0.0800 0.2150 0.1561 0.0346
314
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0800 0.1050 0.1150 0.1262 0.1350 0.1144 0.0163 0.0213 0.0550 0.1424 0.1132 0.1118 0.0128 0.0800 0.1350 0.1144 0.0163
292-AH 0.0150 0.0200 0.0200 0.0200 0.0200 0.0198 0.0010 0.0000 0.0050 0.0505 0.0198 0.0197 0.0004 0.0200 0.0200 0.0200 0.0000
293-AH 0.1150 0.1500 0.1650 0.1700 0.1700 0.1566 0.0187 0.0200 0.0550 0.1197 0.1554 0.1540 0.0146 0.1250 0.1700 0.1620 0.0119
294-AH 0.0250 0.1300 0.1350 0.1350 0.1350 0.1196 0.0348 0.0050 0.1100 0.2909 0.1108 0.0957 0.0247 0.1300 0.1350 0.1343 0.0018
295-AH 0.0600 0.1150 0.1300 0.1813 0.2100 0.1452 0.0460 0.0663 0.1500 0.3169 0.1373 0.1284 0.0402 0.0600 0.2100 0.1452 0.0460
296-AH 0.0000 0.0500 0.1050 0.1200 0.1200 0.0836 0.0447 0.0700 0.1200 0.5345 0.0363 0.0001 0.0379 0.0000 0.1200 0.0836 0.0447
297-AH 0.0200 0.0300 0.0350 0.0500 0.0550 0.0376 0.0099 0.0200 0.0350 0.2635 0.0363 0.0350 0.0081 0.0200 0.0550 0.0376 0.0099
298-AH 0.0550 0.0850 0.1000 0.1113 0.1350 0.0976 0.0202 0.0262 0.0800 0.2071 0.0954 0.0929 0.0161 0.0550 0.1350 0.0976 0.0202
299-AH 0.1450 0.2438 0.2550 0.2975 0.3100 0.2544 0.0511 0.0537 0.1650 0.2010 0.2485 0.2417 0.0386 0.1650 0.3100 0.2639 0.0409
300-AH 0.0650 0.1400 0.1500 0.1750 0.1900 0.1534 0.0293 0.0350 0.1250 0.1912 0.1500 0.1455 0.0219 0.1050 0.1900 0.1571 0.0233
301-AH 0.0050 0.0200 0.0200 0.0337 0.0500 0.0264 0.0140 0.0138 0.0450 0.5287 0.0228 0.0186 0.0112 0.0050 0.0500 0.0264 0.0140
302-AH 0.0250 0.0575 0.0750 0.0800 0.0850 0.0682 0.0173 0.0225 0.0600 0.2530 0.0654 0.0617 0.0142 0.0250 0.0850 0.0682 0.0173
303-AH 0.0200 0.0337 0.0500 0.0550 0.0600 0.0466 0.0129 0.0212 0.0400 0.2766 0.0444 0.0418 0.0106 0.0200 0.0600 0.0466 0.0129
304-AH 0.0300 0.0350 0.0450 0.0513 0.0600 0.0446 0.0100 0.0163 0.0300 0.2240 0.0435 0.0424 0.0081 0.0300 0.0600 0.0446 0.0100
305-AH 0.0000 0.1538 0.1900 0.2025 0.2750 0.1822 0.0595 0.0487 0.2750 0.3268 0.1243 0.0002 0.0405 0.1000 0.2750 0.1898 0.0469
306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
307-AH 0.0250 0.0750 0.1500 0.2350 0.3000 0.1596 0.0930 0.1600 0.2750 0.5829 0.1268 0.0921 0.0824 0.0250 0.3000 0.1596 0.0930
308-AH 0.0350 0.0400 0.0450 0.0500 0.0500 0.0450 0.0056 0.0100 0.0150 0.1242 0.0446 0.0443 0.0044 0.0350 0.0500 0.0450 0.0056
309-AH 0.0150 0.0250 0.0350 0.0400 0.0450 0.0328 0.0084 0.0150 0.0300 0.2569 0.0316 0.0302 0.0070 0.0150 0.0450 0.0328 0.0084
310-AH 0.0200 0.0800 0.0900 0.1062 0.1450 0.0880 0.0363 0.0262 0.1250 0.4127 0.0766 0.0600 0.0258 0.0700 0.1450 0.1010 0.0219
311-AH 0.0500 0.1450 0.1650 0.2000 0.2200 0.1674 0.0363 0.0550 0.1700 0.2166 0.1621 0.1536 0.0265 0.1300 0.2200 0.1723 0.0273
312-AH 0.0400 0.1400 0.1450 0.1500 0.1500 0.1298 0.0344 0.0100 0.1100 0.2651 0.1230 0.1126 0.0259 0.1400 0.1500 0.1460 0.0042
313-AH 0.0100 0.0287 0.0500 0.0600 0.0850 0.0468 0.0197 0.0312 0.0750 0.4205 0.0422 0.0367 0.0169 0.0100 0.0850 0.0468 0.0197
314-AH 0.0100 0.0537 0.0650 0.0700 0.0800 0.0566 0.0191 0.0163 0.0700 0.3380 0.0512 0.0424 0.0141 0.0500 0.0800 0.0640 0.0083
315-AH 0.0700 0.1050 0.1600 0.1800 0.2650 0.1508 0.0542 0.0750 0.1950 0.3596 0.1413 0.1320 0.0455 0.0700 0.2650 0.1508 0.0542
316-AH 0.0500 0.1200 0.1800 0.2100 0.2500 0.1636 0.0583 0.0900 0.2000 0.3565 0.1516 0.1374 0.0504 0.0500 0.2500 0.1636 0.0583
317-AH 0.0800 0.0938 0.1000 0.1075 0.1250 0.1010 0.0122 0.0137 0.0450 0.1213 0.1003 0.0996 0.0099 0.0800 0.1250 0.1010 0.0122
318-AH 0.0250 0.0387 0.0450 0.0450 0.0450 0.0410 0.0063 0.0063 0.0200 0.1535 0.0405 0.0398 0.0051 0.0300 0.0450 0.0417 0.0055
319-AH 0.0150 0.0325 0.0500 0.0750 0.0800 0.0506 0.0211 0.0425 0.0650 0.4176 0.0456 0.0400 0.0171 0.0150 0.0800 0.0506 0.0211
320-AH 0.0150 0.0200 0.0350 0.0400 0.0500 0.0306 0.0109 0.0200 0.0350 0.3571 0.0286 0.0267 0.0098 0.0150 0.0500 0.0306 0.0109
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0300 0.0300 0.0400 0.0463 0.0550 0.0396 0.0082 0.0163 0.0250 0.2059 0.0388 0.0380 0.0065 0.0300 0.0550 0.0396 0.0082
323-AH 0.0350 0.0525 0.0700 0.0850 0.1000 0.0678 0.0196 0.0325 0.0650 0.2888 0.0648 0.0615 0.0155 0.0350 0.1000 0.0678 0.0196
324-AH 0.0050 0.0862 0.1250 0.2612 0.3150 0.1566 0.0984 0.1750 0.3100 0.6281 0.1150 0.0561 0.0836 0.0050 0.3150 0.1566 0.0984
325-AH 0.1850 0.2450 0.2600 0.2850 0.2850 0.2552 0.0329 0.0400 0.1000 0.1288 0.2530 0.2505 0.0250 0.1950 0.2850 0.2581 0.0301
326-AH 0.0050 0.0100 0.0100 0.0150 0.0150 0.0116 0.0037 0.0050 0.0100 0.3226 0.0109 0.0100 0.0033 0.0050 0.0150 0.0116 0.0037
327-AH 0.0000 0.0100 0.0200 0.0200 0.0200 0.0152 0.0068 0.0100 0.0200 0.4502 0.0106 0.0002 0.0061 0.0000 0.0200 0.0152 0.0068
328-AH 0.0550 0.1100 0.1150 0.1150 0.1150 0.1050 0.0203 0.0050 0.0600 0.1934 0.1025 0.0991 0.0144 0.1050 0.1150 0.1136 0.0028
329-AH 0.0800 0.0850 0.0850 0.0850 0.0850 0.0848 0.0010 0.0000 0.0050 0.0118 0.0848 0.0848 0.0004 0.0850 0.0850 0.0850 0.0000
330-AH 0.0500 0.1587 0.2550 0.2550 0.2550 0.2072 0.0670 0.0962 0.2050 0.3233 0.1909 0.1654 0.0564 0.0500 0.2550 0.2072 0.0670
331-AH 0.0300 0.0675 0.0850 0.0850 0.0850 0.0750 0.0175 0.0175 0.0550 0.2333 0.0722 0.0682 0.0136 0.0450 0.0850 0.0789 0.0116
332-AH 0.0000 0.0050 0.0400 0.0400 0.0400 0.0298 0.0167 0.0350 0.0400 0.5617 0.0136 0.0001 0.0147 0.0000 0.0400 0.0298 0.0167
333-AH 0.0100 0.0250 0.0250 0.0250 0.0250 0.0238 0.0042 0.0000 0.0150 0.1745 0.0232 0.0223 0.0022 0.0250 0.0250 0.0250 0.0000
334-AH 0.0150 0.0200 0.0250 0.0250 0.0250 0.0222 0.0033 0.0050 0.0100 0.1465 0.0219 0.0217 0.0029 0.0150 0.0250 0.0222 0.0033
335-AH 0.0250 0.0400 0.0550 0.0600 0.0700 0.0508 0.0148 0.0200 0.0450 0.2921 0.0483 0.0455 0.0120 0.0250 0.0700 0.0508 0.0148
336-AH 0.0000 0.0100 0.0200 0.0400 0.0550 0.0246 0.0176 0.0300 0.0550 0.7136 0.0090 0.0001 0.0156 0.0000 0.0550 0.0246 0.0176
337-AH 0.0150 0.0950 0.1000 0.1000 0.1000 0.0860 0.0282 0.0050 0.0850 0.3276 0.0770 0.0610 0.0200 0.0950 0.1000 0.0985 0.0024
338-AH 0.0250 0.0438 0.0500 0.0500 0.0500 0.0458 0.0073 0.0062 0.0250 0.1597 0.0451 0.0441 0.0054 0.0400 0.0500 0.0476 0.0040
339-AH 0.0600 0.0950 0.0950 0.0950 0.0950 0.0906 0.0103 0.0000 0.0350 0.1141 0.0899 0.0891 0.0070 0.0950 0.0950 0.0950 0.0000
340-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000
315
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0250 0.0287 0.0300 0.0300 0.0300 0.0288 0.0022 0.0012 0.0050 0.0757 0.0287 0.0286 0.0018 0.0300 0.0300 0.0300 0.0000
342-AH 0.1750 0.2975 0.4000 0.4450 0.4750 0.3704 0.0916 0.1475 0.3000 0.2474 0.3573 0.3420 0.0744 0.1750 0.4750 0.3704 0.0916
343-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0048 0.0010 0.0000 0.0050 0.2083 0.0039 0.0002 0.0004 0.0050 0.0050 0.0050 0.0000
344-AH 0.0000 0.1225 0.1500 0.1513 0.1650 0.1358 0.0336 0.0288 0.1650 0.2476 0.0957 0.0002 0.0221 0.1000 0.1650 0.1415 0.0186
345-AH 0.0050 0.0200 0.0350 0.0450 0.0450 0.0314 0.0137 0.0250 0.0400 0.4349 0.0271 0.0209 0.0117 0.0050 0.0450 0.0314 0.0137
346-AH 0.0200 0.0400 0.0400 0.0450 0.0500 0.0416 0.0067 0.0050 0.0300 0.1617 0.0410 0.0402 0.0050 0.0350 0.0500 0.0425 0.0051
347-AH 0.0100 0.0250 0.0300 0.0350 0.0400 0.0294 0.0071 0.0100 0.0300 0.2421 0.0283 0.0268 0.0056 0.0150 0.0400 0.0302 0.0060
348-AH 0.0000 0.0037 0.0100 0.0100 0.0100 0.0074 0.0044 0.0062 0.0100 0.5890 0.0019 0.0000 0.0037 0.0000 0.0100 0.0074 0.0044
349-AH 0.0950 0.1250 0.1250 0.1300 0.1350 0.1250 0.0102 0.0050 0.0400 0.0816 0.1246 0.1241 0.0060 0.1250 0.1350 0.1284 0.0039
350-AH 0.0450 0.0450 0.0500 0.0500 0.0500 0.0484 0.0024 0.0050 0.0050 0.0492 0.0483 0.0483 0.0022 0.0450 0.0500 0.0484 0.0024
316
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0017 0.0007 0.0000 0.0020 0.4454 0.0009 0.0001 0.0005 0.0020 0.0020 0.0020 0.0000
142-AH 0.0100 0.0140 0.0160 0.0160 0.0160 0.0149 0.0020 0.0020 0.0060 0.1349 0.0147 0.0146 0.0016 0.0120 0.0160 0.0153 0.0014
143-AH 0.0420 0.0760 0.0780 0.0780 0.0780 0.0730 0.0111 0.0020 0.0360 0.1517 0.0720 0.0708 0.0079 0.0760 0.0780 0.0777 0.0007
144-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
145-AH 0.0640 0.0680 0.0720 0.0740 0.0740 0.0710 0.0030 0.0060 0.0100 0.0415 0.0710 0.0709 0.0025 0.0640 0.0740 0.0710 0.0030
146-AH 0.0020 0.0035 0.0040 0.0040 0.0040 0.0035 0.0009 0.0005 0.0020 0.2477 0.0034 0.0032 0.0007 0.0040 0.0040 0.0040 0.0000
147-AH 0.0900 0.0935 0.0980 0.1020 0.1020 0.0977 0.0047 0.0085 0.0120 0.0479 0.0976 0.0975 0.0039 0.0900 0.1020 0.0977 0.0047
148-AH 0.0020 0.0080 0.0120 0.0120 0.0120 0.0098 0.0031 0.0040 0.0100 0.3155 0.0090 0.0076 0.0026 0.0060 0.0120 0.0105 0.0021
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0160 0.0180 0.0200 0.0200 0.0153 0.0069 0.0040 0.0200 0.4501 0.0082 0.0001 0.0052 0.0160 0.0200 0.0185 0.0017
151-AH 0.0100 0.0160 0.0180 0.0180 0.0180 0.0166 0.0026 0.0020 0.0080 0.1579 0.0164 0.0161 0.0020 0.0160 0.0180 0.0177 0.0007
152-AH 0.0180 0.0200 0.0220 0.0220 0.0220 0.0211 0.0013 0.0020 0.0040 0.0616 0.0211 0.0210 0.0011 0.0180 0.0220 0.0211 0.0013
153-AH 0.0000 0.0000 0.0000 0.0005 0.0020 0.0005 0.0009 0.0005 0.0020 1.8162 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000
154-AH 0.0260 0.0320 0.0360 0.0380 0.0400 0.0350 0.0039 0.0060 0.0140 0.1122 0.0347 0.0345 0.0031 0.0260 0.0400 0.0350 0.0039
155-AH 0.0000 0.0060 0.0060 0.0060 0.0060 0.0050 0.0022 0.0000 0.0060 0.4454 0.0022 0.0001 0.0016 0.0060 0.0060 0.0060 0.0000
156-AH 0.0140 0.0275 0.0320 0.0380 0.0380 0.0308 0.0072 0.0105 0.0240 0.2349 0.0298 0.0286 0.0057 0.0140 0.0380 0.0308 0.0072
157-AH 0.0260 0.1755 0.2220 0.2680 0.2740 0.2012 0.0732 0.0925 0.2480 0.3639 0.1770 0.1316 0.0557 0.0940 0.2740 0.2163 0.0534
158-AH 0.0020 0.0555 0.0580 0.0660 0.0680 0.0568 0.0132 0.0105 0.0660 0.2325 0.0513 0.0274 0.0076 0.0440 0.0680 0.0591 0.0068
159-AH 0.0420 0.0680 0.0820 0.0995 0.1080 0.0827 0.0183 0.0315 0.0660 0.2216 0.0806 0.0784 0.0150 0.0420 0.1080 0.0827 0.0183
160-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0038 0.0006 0.0000 0.0020 0.1442 0.0038 0.0037 0.0003 0.0040 0.0040 0.0040 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
163-AH 0.1740 0.2160 0.2380 0.2420 0.2420 0.2270 0.0218 0.0260 0.0680 0.0959 0.2259 0.2247 0.0172 0.1900 0.2420 0.2316 0.0158
164-AH 0.0020 0.0410 0.0480 0.0500 0.0540 0.0431 0.0121 0.0090 0.0520 0.2802 0.0387 0.0234 0.0086 0.0320 0.0540 0.0460 0.0067
165-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0040 0.0100 0.0100 0.0100 0.0100 0.0095 0.0014 0.0000 0.0060 0.1520 0.0094 0.0091 0.0008 0.0100 0.0100 0.0100 0.0000
168-AH 0.0020 0.0315 0.0360 0.0360 0.0360 0.0311 0.0100 0.0045 0.0340 0.3198 0.0271 0.0171 0.0071 0.0300 0.0360 0.0355 0.0016
169-AH 0.0000 0.0040 0.0080 0.0100 0.0120 0.0072 0.0032 0.0060 0.0120 0.4392 0.0053 0.0002 0.0026 0.0000 0.0120 0.0072 0.0032
170-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
171-AH 0.0040 0.0080 0.0300 0.0325 0.0380 0.0241 0.0128 0.0245 0.0340 0.5315 0.0185 0.0120 0.0108 0.0040 0.0380 0.0241 0.0128
172-AH 0.0100 0.0120 0.0140 0.0140 0.0140 0.0133 0.0011 0.0020 0.0040 0.0856 0.0132 0.0132 0.0010 0.0100 0.0140 0.0133 0.0011
173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
174-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
175-AH 0.0080 0.0135 0.0140 0.0140 0.0140 0.0130 0.0019 0.0005 0.0060 0.1476 0.0129 0.0127 0.0015 0.0140 0.0140 0.0140 0.0000
176-AH 0.0720 0.0780 0.0780 0.0780 0.0780 0.0774 0.0017 0.0000 0.0060 0.0220 0.0773 0.0773 0.0011 0.0780 0.0780 0.0780 0.0000
177-AH 0.0200 0.0235 0.0240 0.0260 0.0260 0.0241 0.0023 0.0025 0.0060 0.0973 0.0240 0.0238 0.0018 0.0200 0.0260 0.0241 0.0023
178-AH 0.0000 0.0040 0.0060 0.0060 0.0080 0.0049 0.0025 0.0020 0.0080 0.5168 0.0020 0.0001 0.0020 0.0040 0.0080 0.0058 0.0014
179-AH 0.0220 0.0395 0.0420 0.0440 0.0440 0.0389 0.0078 0.0045 0.0220 0.2004 0.0379 0.0367 0.0059 0.0380 0.0440 0.0425 0.0019
180-AH 0.0500 0.0635 0.0740 0.0800 0.0800 0.0703 0.0109 0.0165 0.0300 0.1548 0.0695 0.0685 0.0096 0.0500 0.0800 0.0703 0.0109
181-AH 0.0820 0.1780 0.1800 0.1820 0.1840 0.1634 0.0374 0.0040 0.1020 0.2287 0.1577 0.1501 0.0284 0.1780 0.1840 0.1811 0.0019
182-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
183-AH 0.0000 0.0080 0.0080 0.0080 0.0080 0.0069 0.0024 0.0000 0.0080 0.3468 0.0052 0.0002 0.0018 0.0080 0.0080 0.0080 0.0000
184-AH 0.0140 0.0155 0.0180 0.0180 0.0180 0.0166 0.0017 0.0025 0.0040 0.1025 0.0166 0.0165 0.0015 0.0140 0.0180 0.0166 0.0017
185-AH 0.0000 0.0015 0.0020 0.0020 0.0020 0.0015 0.0009 0.0005 0.0020 0.5735 0.0006 0.0000 0.0007 0.0020 0.0020 0.0020 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
188-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0013 0.0010 0.0020 0.0020 0.7655 0.0003 0.0000 0.0009 0.0000 0.0020 0.0013 0.0010
189-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000
190-AH 0.0080 0.0135 0.0140 0.0160 0.0180 0.0142 0.0029 0.0025 0.0100 0.2035 0.0138 0.0134 0.0021 0.0120 0.0180 0.0150 0.0018
317
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0060 0.0080 0.0120 0.0120 0.0120 0.0104 0.0022 0.0040 0.0060 0.2150 0.0101 0.0098 0.0020 0.0060 0.0120 0.0104 0.0022
193-AH 0.0060 0.0140 0.0140 0.0140 0.0140 0.0129 0.0027 0.0000 0.0080 0.2058 0.0125 0.0120 0.0019 0.0140 0.0140 0.0140 0.0000
194-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
197-AH 0.0720 0.0870 0.1000 0.1000 0.1000 0.0936 0.0098 0.0130 0.0280 0.1047 0.0931 0.0925 0.0082 0.0720 0.1000 0.0936 0.0098
198-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0017 0.0007 0.0000 0.0020 0.4454 0.0009 0.0001 0.0005 0.0020 0.0020 0.0020 0.0000
199-AH 0.0140 0.0200 0.0200 0.0200 0.0200 0.0194 0.0017 0.0000 0.0060 0.0881 0.0193 0.0192 0.0011 0.0200 0.0200 0.0200 0.0000
200-AH 0.0140 0.0175 0.0180 0.0180 0.0180 0.0172 0.0015 0.0005 0.0040 0.0888 0.0171 0.0171 0.0012 0.0180 0.0180 0.0180 0.0000
251-AH 0.0860 0.0940 0.1020 0.1100 0.1180 0.1019 0.0086 0.0160 0.0320 0.0841 0.1016 0.1012 0.0073 0.0860 0.1180 0.1019 0.0086
252-AH 0.0400 0.0520 0.0580 0.0580 0.0580 0.0541 0.0063 0.0060 0.0180 0.1172 0.0537 0.0532 0.0052 0.0460 0.0580 0.0565 0.0032
253-AH 0.0680 0.1775 0.2300 0.2540 0.2760 0.2080 0.0618 0.0765 0.2080 0.2972 0.1962 0.1808 0.0499 0.0680 0.2760 0.2080 0.0618
254-AH 0.1100 0.1960 0.2360 0.2570 0.2960 0.2232 0.0580 0.0610 0.1860 0.2598 0.2145 0.2042 0.0452 0.1100 0.2960 0.2232 0.0580
255-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0077 0.0007 0.0000 0.0020 0.0974 0.0076 0.0076 0.0005 0.0080 0.0080 0.0080 0.0000
256-AH 0.0360 0.0555 0.0680 0.0680 0.0680 0.0611 0.0109 0.0125 0.0320 0.1783 0.0600 0.0586 0.0089 0.0380 0.0680 0.0633 0.0082
257-AH 0.0760 0.0885 0.0980 0.1080 0.1140 0.0969 0.0123 0.0195 0.0380 0.1274 0.0961 0.0953 0.0104 0.0760 0.1140 0.0969 0.0123
258-AH 0.0000 0.0040 0.0060 0.0080 0.0080 0.0057 0.0025 0.0040 0.0080 0.4393 0.0042 0.0002 0.0020 0.0000 0.0080 0.0057 0.0025
259-AH 0.0020 0.0040 0.0040 0.0060 0.0060 0.0048 0.0012 0.0020 0.0040 0.2406 0.0047 0.0045 0.0011 0.0020 0.0060 0.0048 0.0012
260-AH 0.0640 0.1190 0.1220 0.1240 0.1240 0.1143 0.0185 0.0050 0.0600 0.1614 0.1125 0.1101 0.0136 0.1160 0.1240 0.1228 0.0020
261-AH 0.0140 0.0255 0.0300 0.0340 0.0480 0.0298 0.0082 0.0085 0.0340 0.2753 0.0286 0.0273 0.0060 0.0140 0.0420 0.0290 0.0074
262-AH 0.0540 0.0700 0.0940 0.1320 0.1540 0.0988 0.0310 0.0620 0.1000 0.3140 0.0942 0.0898 0.0266 0.0540 0.1540 0.0988 0.0310
263-AH 0.0300 0.0350 0.0720 0.0885 0.0920 0.0652 0.0245 0.0535 0.0620 0.3759 0.0599 0.0541 0.0210 0.0300 0.0920 0.0652 0.0245
264-AH 0.0260 0.0390 0.0400 0.0420 0.0440 0.0392 0.0053 0.0030 0.0180 0.1342 0.0388 0.0383 0.0039 0.0360 0.0440 0.0415 0.0020
265-AH 0.0080 0.0100 0.0120 0.0120 0.0120 0.0111 0.0014 0.0020 0.0040 0.1280 0.0110 0.0109 0.0012 0.0080 0.0120 0.0111 0.0014
266-AH 0.0020 0.0080 0.0080 0.0080 0.0080 0.0070 0.0022 0.0000 0.0060 0.3226 0.0063 0.0054 0.0017 0.0080 0.0080 0.0080 0.0000
267-AH 0.0260 0.0340 0.0380 0.0420 0.0420 0.0372 0.0046 0.0080 0.0160 0.1232 0.0369 0.0366 0.0035 0.0260 0.0420 0.0372 0.0046
268-AH 0.0040 0.0040 0.0060 0.0060 0.0060 0.0051 0.0010 0.0020 0.0020 0.1979 0.0050 0.0049 0.0010 0.0040 0.0060 0.0051 0.0010
269-AH 0.0120 0.0160 0.0160 0.0160 0.0160 0.0155 0.0012 0.0000 0.0040 0.0770 0.0155 0.0154 0.0008 0.0160 0.0160 0.0160 0.0000
270-AH 0.0200 0.0670 0.1020 0.1140 0.1140 0.0896 0.0306 0.0470 0.0940 0.3412 0.0820 0.0709 0.0252 0.0200 0.1140 0.0896 0.0306
271-AH 0.0060 0.0455 0.0480 0.0480 0.0480 0.0449 0.0085 0.0025 0.0420 0.1900 0.0428 0.0365 0.0044 0.0420 0.0480 0.0471 0.0019
272-AH 0.0040 0.0195 0.0260 0.0260 0.0280 0.0223 0.0073 0.0065 0.0240 0.3258 0.0202 0.0164 0.0058 0.0120 0.0280 0.0239 0.0050
273-AH 0.0320 0.1160 0.1480 0.1625 0.1660 0.1349 0.0359 0.0465 0.1340 0.2659 0.1280 0.1169 0.0286 0.0760 0.1660 0.1392 0.0294
274-AH 0.0140 0.0280 0.0320 0.0320 0.0320 0.0279 0.0062 0.0040 0.0180 0.2232 0.0270 0.0259 0.0046 0.0220 0.0320 0.0304 0.0026
275-AH 0.0220 0.0840 0.1160 0.1245 0.1280 0.0982 0.0349 0.0405 0.1060 0.3550 0.0887 0.0745 0.0280 0.0260 0.1280 0.1014 0.0317
276-AH 0.0800 0.0910 0.1020 0.1145 0.1180 0.1014 0.0130 0.0235 0.0380 0.1278 0.1006 0.0998 0.0110 0.0800 0.1180 0.1014 0.0130
277-AH 0.0140 0.0220 0.0340 0.0360 0.0400 0.0303 0.0073 0.0140 0.0260 0.2399 0.0293 0.0282 0.0062 0.0140 0.0400 0.0303 0.0073
278-AH 0.0020 0.0160 0.0260 0.0320 0.0420 0.0242 0.0118 0.0160 0.0400 0.4879 0.0197 0.0121 0.0094 0.0020 0.0420 0.0242 0.0118
279-AH 0.0040 0.0080 0.0080 0.0080 0.0080 0.0074 0.0014 0.0000 0.0040 0.1823 0.0073 0.0071 0.0009 0.0080 0.0080 0.0080 0.0000
280-AH 0.0100 0.0175 0.0260 0.0320 0.0360 0.0245 0.0082 0.0145 0.0260 0.3329 0.0230 0.0213 0.0071 0.0100 0.0360 0.0245 0.0082
281-AH 0.0200 0.0740 0.0820 0.0840 0.0840 0.0748 0.0172 0.0100 0.0640 0.2296 0.0714 0.0651 0.0110 0.0620 0.0840 0.0794 0.0068
282-AH 0.0180 0.0355 0.0460 0.0505 0.0540 0.0424 0.0109 0.0150 0.0360 0.2566 0.0407 0.0385 0.0088 0.0180 0.0540 0.0424 0.0109
283-AH 0.0200 0.0300 0.0440 0.0640 0.0720 0.0460 0.0181 0.0340 0.0520 0.3925 0.0423 0.0387 0.0163 0.0200 0.0720 0.0460 0.0181
284-AH 0.0620 0.0760 0.0760 0.0760 0.0760 0.0738 0.0052 0.0000 0.0140 0.0710 0.0736 0.0733 0.0038 0.0760 0.0760 0.0760 0.0000
285-AH 0.0320 0.1085 0.1300 0.1360 0.1360 0.1124 0.0362 0.0275 0.1040 0.3219 0.1038 0.0915 0.0295 0.0680 0.1360 0.1286 0.0150
286-AH 0.0060 0.0080 0.0120 0.0180 0.0180 0.0123 0.0045 0.0100 0.0120 0.3680 0.0115 0.0106 0.0040 0.0060 0.0180 0.0123 0.0045
287-AH 0.0700 0.0840 0.0880 0.0960 0.0960 0.0877 0.0087 0.0120 0.0260 0.0994 0.0872 0.0868 0.0071 0.0700 0.0960 0.0877 0.0087
288-AH 0.0560 0.0715 0.1060 0.1160 0.1320 0.0963 0.0266 0.0445 0.0760 0.2766 0.0925 0.0886 0.0243 0.0560 0.1320 0.0963 0.0266
289-AH 0.0160 0.0295 0.0340 0.0360 0.0360 0.0308 0.0077 0.0065 0.0200 0.2487 0.0296 0.0281 0.0060 0.0280 0.0360 0.0344 0.0024
290-AH 0.0360 0.0670 0.0860 0.0920 0.0960 0.0801 0.0163 0.0250 0.0600 0.2039 0.0781 0.0757 0.0135 0.0360 0.0960 0.0801 0.0163
318
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0400 0.0475 0.0520 0.0540 0.0560 0.0508 0.0047 0.0065 0.0160 0.0930 0.0506 0.0503 0.0039 0.0400 0.0560 0.0508 0.0047
292-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
293-AH 0.0520 0.0635 0.0680 0.0680 0.0680 0.0648 0.0050 0.0045 0.0160 0.0766 0.0646 0.0644 0.0038 0.0620 0.0680 0.0668 0.0019
294-AH 0.0160 0.0540 0.0540 0.0540 0.0540 0.0490 0.0120 0.0000 0.0380 0.2454 0.0467 0.0432 0.0085 0.0540 0.0540 0.0540 0.0000
295-AH 0.0300 0.0575 0.0720 0.0880 0.0940 0.0709 0.0195 0.0305 0.0640 0.2749 0.0677 0.0640 0.0161 0.0300 0.0940 0.0709 0.0195
296-AH 0.0020 0.0260 0.0460 0.0480 0.0480 0.0355 0.0167 0.0220 0.0460 0.4709 0.0269 0.0132 0.0138 0.0020 0.0480 0.0355 0.0167
297-AH 0.0100 0.0180 0.0200 0.0225 0.0240 0.0189 0.0047 0.0045 0.0140 0.2467 0.0182 0.0174 0.0035 0.0140 0.0240 0.0206 0.0027
298-AH 0.0360 0.0435 0.0520 0.0560 0.0560 0.0499 0.0064 0.0125 0.0200 0.1285 0.0495 0.0490 0.0054 0.0360 0.0560 0.0499 0.0064
299-AH 0.0840 0.1295 0.1380 0.1420 0.1460 0.1308 0.0179 0.0125 0.0620 0.1370 0.1294 0.1277 0.0130 0.1240 0.1460 0.1380 0.0057
300-AH 0.0340 0.0695 0.0820 0.0840 0.0840 0.0760 0.0125 0.0145 0.0500 0.1647 0.0747 0.0729 0.0094 0.0540 0.0840 0.0778 0.0091
301-AH 0.0060 0.0080 0.0080 0.0160 0.0300 0.0134 0.0085 0.0080 0.0240 0.6376 0.0114 0.0101 0.0069 0.0060 0.0220 0.0095 0.0036
302-AH 0.0140 0.0295 0.0320 0.0340 0.0340 0.0307 0.0047 0.0045 0.0200 0.1525 0.0303 0.0296 0.0033 0.0260 0.0340 0.0318 0.0026
303-AH 0.0140 0.0200 0.0240 0.0260 0.0280 0.0226 0.0040 0.0060 0.0140 0.1762 0.0223 0.0219 0.0034 0.0140 0.0280 0.0226 0.0040
304-AH 0.0140 0.0180 0.0220 0.0260 0.0300 0.0218 0.0046 0.0080 0.0160 0.2095 0.0213 0.0208 0.0038 0.0140 0.0300 0.0218 0.0046
305-AH 0.0000 0.0815 0.1040 0.1175 0.1220 0.0966 0.0272 0.0360 0.1220 0.2812 0.0685 0.0002 0.0205 0.0640 0.1220 0.1007 0.0186
306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
307-AH 0.0240 0.0520 0.0940 0.1265 0.1400 0.0894 0.0400 0.0745 0.1160 0.4471 0.0795 0.0691 0.0362 0.0240 0.1400 0.0894 0.0400
308-AH 0.0140 0.0180 0.0200 0.0200 0.0220 0.0185 0.0023 0.0020 0.0080 0.1221 0.0183 0.0182 0.0017 0.0180 0.0220 0.0193 0.0012
309-AH 0.0100 0.0120 0.0180 0.0200 0.0200 0.0166 0.0036 0.0080 0.0100 0.2192 0.0161 0.0157 0.0031 0.0100 0.0200 0.0166 0.0036
310-AH 0.0120 0.0440 0.0580 0.0740 0.0860 0.0554 0.0229 0.0300 0.0740 0.4123 0.0479 0.0369 0.0172 0.0120 0.0860 0.0554 0.0229
311-AH 0.0440 0.0780 0.0840 0.0980 0.1020 0.0850 0.0138 0.0200 0.0580 0.1622 0.0838 0.0822 0.0105 0.0640 0.1020 0.0868 0.0111
312-AH 0.0220 0.0600 0.0620 0.0620 0.0620 0.0560 0.0122 0.0020 0.0400 0.2180 0.0541 0.0512 0.0086 0.0600 0.0620 0.0614 0.0009
313-AH 0.0100 0.0155 0.0260 0.0305 0.0380 0.0248 0.0090 0.0150 0.0280 0.3644 0.0230 0.0212 0.0079 0.0100 0.0380 0.0248 0.0090
314-AH 0.0080 0.0280 0.0320 0.0340 0.0340 0.0292 0.0070 0.0060 0.0260 0.2405 0.0279 0.0257 0.0050 0.0220 0.0340 0.0315 0.0031
315-AH 0.0380 0.0620 0.0780 0.0880 0.1140 0.0768 0.0215 0.0260 0.0760 0.2806 0.0735 0.0699 0.0166 0.0380 0.1140 0.0768 0.0215
316-AH 0.0440 0.0895 0.1260 0.1435 0.1840 0.1187 0.0388 0.0540 0.1400 0.3271 0.1120 0.1046 0.0333 0.0440 0.1840 0.1187 0.0388
317-AH 0.0340 0.0480 0.0520 0.0560 0.0580 0.0497 0.0074 0.0080 0.0240 0.1487 0.0491 0.0484 0.0057 0.0380 0.0580 0.0510 0.0059
318-AH 0.0140 0.0180 0.0180 0.0180 0.0180 0.0177 0.0009 0.0000 0.0040 0.0535 0.0177 0.0176 0.0006 0.0180 0.0180 0.0180 0.0000
319-AH 0.0080 0.0200 0.0240 0.0300 0.0320 0.0225 0.0081 0.0100 0.0240 0.3598 0.0206 0.0182 0.0064 0.0080 0.0320 0.0225 0.0081
320-AH 0.0100 0.0160 0.0160 0.0200 0.0240 0.0175 0.0041 0.0040 0.0140 0.2337 0.0170 0.0166 0.0031 0.0120 0.0240 0.0182 0.0036
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0140 0.0175 0.0220 0.0240 0.0280 0.0208 0.0040 0.0065 0.0140 0.1903 0.0204 0.0200 0.0033 0.0140 0.0280 0.0208 0.0040
323-AH 0.0220 0.0360 0.0380 0.0480 0.0500 0.0396 0.0080 0.0120 0.0280 0.2020 0.0387 0.0378 0.0065 0.0220 0.0500 0.0396 0.0080
324-AH 0.0040 0.0465 0.0580 0.1285 0.1340 0.0762 0.0428 0.0820 0.1300 0.5611 0.0612 0.0379 0.0373 0.0040 0.1340 0.0762 0.0428
325-AH 0.0940 0.1095 0.1180 0.1180 0.1200 0.1132 0.0084 0.0085 0.0260 0.0741 0.1129 0.1125 0.0066 0.1020 0.1200 0.1157 0.0049
326-AH 0.0020 0.0040 0.0060 0.0060 0.0080 0.0052 0.0015 0.0020 0.0060 0.2938 0.0049 0.0045 0.0012 0.0020 0.0080 0.0052 0.0015
327-AH 0.0000 0.0060 0.0080 0.0080 0.0080 0.0066 0.0026 0.0020 0.0080 0.3987 0.0048 0.0002 0.0021 0.0060 0.0080 0.0078 0.0006
328-AH 0.0280 0.0460 0.0460 0.0460 0.0460 0.0433 0.0064 0.0000 0.0180 0.1473 0.0427 0.0420 0.0046 0.0460 0.0460 0.0460 0.0000
329-AH 0.0340 0.0340 0.0340 0.0340 0.0340 0.0340 0.0000 0.0000 0.0000 0.0000 0.0340 0.0340 0.0000 0.0340 0.0340 0.0340 0.0000
330-AH 0.0320 0.0810 0.1020 0.1020 0.1020 0.0896 0.0202 0.0210 0.0700 0.2256 0.0863 0.0814 0.0152 0.0640 0.1020 0.0944 0.0118
331-AH 0.0160 0.0310 0.0340 0.0340 0.0340 0.0314 0.0051 0.0030 0.0180 0.1633 0.0308 0.0302 0.0039 0.0280 0.0340 0.0333 0.0018
332-AH 0.0000 0.0040 0.0160 0.0160 0.0160 0.0121 0.0065 0.0120 0.0160 0.5354 0.0062 0.0001 0.0056 0.0000 0.0160 0.0121 0.0065
333-AH 0.0080 0.0100 0.0100 0.0100 0.0100 0.0098 0.0006 0.0000 0.0020 0.0563 0.0098 0.0098 0.0003 0.0100 0.0100 0.0100 0.0000
334-AH 0.0080 0.0100 0.0100 0.0100 0.0100 0.0096 0.0008 0.0000 0.0020 0.0851 0.0096 0.0095 0.0006 0.0100 0.0100 0.0100 0.0000
335-AH 0.0120 0.0215 0.0280 0.0280 0.0300 0.0251 0.0047 0.0065 0.0180 0.1854 0.0246 0.0240 0.0038 0.0120 0.0300 0.0251 0.0047
336-AH 0.0000 0.0040 0.0160 0.0225 0.0260 0.0135 0.0092 0.0185 0.0260 0.6836 0.0053 0.0001 0.0082 0.0000 0.0260 0.0135 0.0092
337-AH 0.0080 0.0380 0.0400 0.0400 0.0400 0.0350 0.0103 0.0020 0.0320 0.2955 0.0324 0.0282 0.0073 0.0360 0.0400 0.0393 0.0012
338-AH 0.0120 0.0195 0.0200 0.0200 0.0200 0.0189 0.0024 0.0005 0.0080 0.1264 0.0187 0.0185 0.0017 0.0200 0.0200 0.0200 0.0000
339-AH 0.0340 0.0380 0.0380 0.0380 0.0380 0.0376 0.0012 0.0000 0.0040 0.0307 0.0376 0.0376 0.0007 0.0380 0.0380 0.0380 0.0000
340-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
319
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0100 0.0120 0.0120 0.0120 0.0120 0.0117 0.0007 0.0000 0.0020 0.0641 0.0117 0.0116 0.0005 0.0120 0.0120 0.0120 0.0000
342-AH 0.1040 0.1685 0.1860 0.1900 0.1920 0.1722 0.0279 0.0215 0.0880 0.1620 0.1696 0.1664 0.0216 0.1580 0.1920 0.1850 0.0086
343-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
344-AH 0.0160 0.0595 0.0640 0.0660 0.0660 0.0598 0.0116 0.0065 0.0500 0.1947 0.0579 0.0545 0.0080 0.0580 0.0660 0.0647 0.0022
345-AH 0.0040 0.0120 0.0160 0.0180 0.0180 0.0141 0.0047 0.0060 0.0140 0.3318 0.0130 0.0116 0.0038 0.0040 0.0180 0.0141 0.0047
346-AH 0.0120 0.0200 0.0220 0.0220 0.0220 0.0209 0.0021 0.0020 0.0100 0.1000 0.0207 0.0206 0.0013 0.0200 0.0220 0.0212 0.0010
347-AH 0.0100 0.0140 0.0160 0.0160 0.0180 0.0150 0.0021 0.0020 0.0080 0.1398 0.0148 0.0146 0.0017 0.0120 0.0180 0.0154 0.0015
348-AH 0.0000 0.0020 0.0040 0.0040 0.0040 0.0030 0.0016 0.0020 0.0040 0.5412 0.0011 0.0000 0.0014 0.0000 0.0040 0.0030 0.0016
349-AH 0.0480 0.0540 0.0540 0.0540 0.0540 0.0534 0.0016 0.0000 0.0060 0.0296 0.0534 0.0534 0.0010 0.0540 0.0540 0.0540 0.0000
350-AH 0.0180 0.0200 0.0200 0.0200 0.0200 0.0196 0.0008 0.0000 0.0020 0.0417 0.0196 0.0196 0.0006 0.0200 0.0200 0.0200 0.0000
320
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0008 0.0004 0.0000 0.0010 0.4454 0.0005 0.0001 0.0003 0.0010 0.0010 0.0010 0.0000
142-AH 0.0050 0.0070 0.0080 0.0080 0.0080 0.0075 0.0010 0.0010 0.0030 0.1287 0.0074 0.0073 0.0007 0.0060 0.0080 0.0077 0.0006
143-AH 0.0290 0.0390 0.0390 0.0390 0.0390 0.0376 0.0032 0.0000 0.0100 0.0854 0.0375 0.0373 0.0023 0.0390 0.0390 0.0390 0.0000
144-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
145-AH 0.0350 0.0360 0.0370 0.0370 0.0370 0.0366 0.0006 0.0010 0.0020 0.0158 0.0366 0.0366 0.0005 0.0350 0.0370 0.0366 0.0006
146-AH 0.0010 0.0020 0.0020 0.0020 0.0020 0.0019 0.0003 0.0000 0.0010 0.1442 0.0019 0.0019 0.0001 0.0020 0.0020 0.0020 0.0000
147-AH 0.0450 0.0480 0.0500 0.0510 0.0510 0.0494 0.0021 0.0030 0.0060 0.0425 0.0493 0.0493 0.0017 0.0450 0.0510 0.0494 0.0021
148-AH 0.0020 0.0040 0.0060 0.0060 0.0060 0.0050 0.0014 0.0020 0.0040 0.2708 0.0048 0.0045 0.0012 0.0020 0.0060 0.0050 0.0014
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0080 0.0090 0.0100 0.0100 0.0080 0.0032 0.0020 0.0100 0.4046 0.0055 0.0002 0.0023 0.0070 0.0100 0.0093 0.0009
151-AH 0.0060 0.0090 0.0090 0.0100 0.0110 0.0090 0.0012 0.0010 0.0050 0.1335 0.0090 0.0089 0.0008 0.0090 0.0110 0.0095 0.0007
152-AH 0.0090 0.0107 0.0110 0.0110 0.0110 0.0107 0.0005 0.0003 0.0020 0.0505 0.0107 0.0107 0.0004 0.0110 0.0110 0.0110 0.0000
153-AH 0.0000 0.0000 0.0000 0.0010 0.0010 0.0003 0.0005 0.0010 0.0010 1.4878 0.0000 0.0000 0.0004 0.0000 0.0010 0.0003 0.0005
154-AH 0.0150 0.0180 0.0200 0.0200 0.0210 0.0192 0.0016 0.0020 0.0060 0.0810 0.0191 0.0191 0.0012 0.0150 0.0210 0.0192 0.0016
155-AH 0.0000 0.0030 0.0030 0.0030 0.0030 0.0025 0.0011 0.0000 0.0030 0.4454 0.0012 0.0001 0.0008 0.0030 0.0030 0.0030 0.0000
156-AH 0.0080 0.0150 0.0190 0.0200 0.0210 0.0173 0.0036 0.0050 0.0130 0.2100 0.0169 0.0163 0.0031 0.0080 0.0210 0.0173 0.0036
157-AH 0.0250 0.1023 0.1250 0.1390 0.1390 0.1123 0.0326 0.0367 0.1140 0.2906 0.1048 0.0925 0.0247 0.0610 0.1390 0.1195 0.0222
158-AH 0.0010 0.0307 0.0330 0.0333 0.0340 0.0309 0.0065 0.0025 0.0330 0.2095 0.0279 0.0143 0.0031 0.0280 0.0340 0.0321 0.0018
159-AH 0.0260 0.0390 0.0440 0.0532 0.0540 0.0452 0.0072 0.0142 0.0280 0.1596 0.0446 0.0439 0.0059 0.0260 0.0540 0.0452 0.0072
160-AH 0.0010 0.0020 0.0020 0.0020 0.0020 0.0020 0.0002 0.0000 0.0010 0.1020 0.0019 0.0019 0.0001 0.0020 0.0020 0.0020 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
163-AH 0.1020 0.1170 0.1210 0.1210 0.1210 0.1175 0.0060 0.0040 0.0190 0.0510 0.1173 0.1172 0.0043 0.1170 0.1210 0.1200 0.0016
164-AH 0.0080 0.0235 0.0250 0.0263 0.0270 0.0237 0.0044 0.0028 0.0190 0.1876 0.0231 0.0222 0.0031 0.0220 0.0270 0.0256 0.0014
165-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0049 0.0003 0.0000 0.0010 0.0563 0.0049 0.0049 0.0001 0.0050 0.0050 0.0050 0.0000
168-AH 0.0020 0.0165 0.0180 0.0180 0.0180 0.0158 0.0047 0.0015 0.0160 0.2989 0.0141 0.0105 0.0033 0.0150 0.0180 0.0178 0.0007
169-AH 0.0010 0.0020 0.0040 0.0060 0.0060 0.0041 0.0017 0.0040 0.0050 0.4164 0.0037 0.0032 0.0015 0.0010 0.0060 0.0041 0.0017
170-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
171-AH 0.0020 0.0050 0.0170 0.0190 0.0190 0.0136 0.0065 0.0140 0.0170 0.4793 0.0111 0.0078 0.0056 0.0020 0.0190 0.0136 0.0065
172-AH 0.0050 0.0070 0.0070 0.0070 0.0070 0.0068 0.0005 0.0000 0.0020 0.0773 0.0067 0.0067 0.0004 0.0070 0.0070 0.0070 0.0000
173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
174-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
175-AH 0.0040 0.0068 0.0070 0.0070 0.0070 0.0065 0.0010 0.0003 0.0030 0.1476 0.0064 0.0063 0.0007 0.0070 0.0070 0.0070 0.0000
176-AH 0.0360 0.0390 0.0390 0.0390 0.0390 0.0388 0.0008 0.0000 0.0030 0.0214 0.0388 0.0387 0.0004 0.0390 0.0390 0.0390 0.0000
177-AH 0.0120 0.0120 0.0130 0.0130 0.0130 0.0127 0.0005 0.0010 0.0010 0.0375 0.0127 0.0127 0.0004 0.0120 0.0130 0.0127 0.0005
178-AH 0.0000 0.0020 0.0030 0.0033 0.0040 0.0025 0.0013 0.0012 0.0040 0.5264 0.0012 0.0001 0.0011 0.0020 0.0040 0.0030 0.0008
179-AH 0.0170 0.0207 0.0220 0.0220 0.0220 0.0210 0.0016 0.0013 0.0050 0.0748 0.0209 0.0208 0.0012 0.0200 0.0220 0.0216 0.0007
180-AH 0.0300 0.0383 0.0400 0.0400 0.0400 0.0380 0.0037 0.0017 0.0100 0.0978 0.0378 0.0376 0.0029 0.0360 0.0400 0.0397 0.0009
181-AH 0.0510 0.0910 0.0910 0.0920 0.0920 0.0851 0.0141 0.0010 0.0410 0.1656 0.0837 0.0819 0.0101 0.0910 0.0920 0.0914 0.0005
182-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
183-AH 0.0010 0.0040 0.0040 0.0040 0.0040 0.0035 0.0011 0.0000 0.0030 0.3117 0.0032 0.0028 0.0008 0.0040 0.0040 0.0040 0.0000
184-AH 0.0070 0.0080 0.0090 0.0090 0.0090 0.0085 0.0008 0.0010 0.0020 0.0904 0.0085 0.0084 0.0007 0.0070 0.0090 0.0085 0.0008
185-AH 0.0000 0.0008 0.0010 0.0010 0.0010 0.0008 0.0004 0.0003 0.0010 0.5735 0.0003 0.0000 0.0004 0.0010 0.0010 0.0010 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
188-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0007 0.0005 0.0010 0.0010 0.7001 0.0002 0.0000 0.0004 0.0000 0.0010 0.0007 0.0005
189-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000
190-AH 0.0040 0.0070 0.0070 0.0083 0.0090 0.0072 0.0015 0.0012 0.0050 0.2120 0.0071 0.0068 0.0011 0.0060 0.0090 0.0077 0.0010
321
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0030 0.0047 0.0060 0.0060 0.0060 0.0053 0.0010 0.0013 0.0030 0.1935 0.0052 0.0051 0.0009 0.0030 0.0060 0.0053 0.0010
193-AH 0.0040 0.0070 0.0070 0.0070 0.0070 0.0065 0.0011 0.0000 0.0030 0.1722 0.0064 0.0063 0.0008 0.0070 0.0070 0.0070 0.0000
194-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
197-AH 0.0380 0.0493 0.0500 0.0500 0.0500 0.0481 0.0039 0.0008 0.0120 0.0812 0.0479 0.0477 0.0029 0.0500 0.0500 0.0500 0.0000
198-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0008 0.0004 0.0000 0.0010 0.4454 0.0005 0.0001 0.0003 0.0010 0.0010 0.0010 0.0000
199-AH 0.0070 0.0100 0.0100 0.0100 0.0100 0.0097 0.0007 0.0000 0.0030 0.0758 0.0097 0.0097 0.0005 0.0100 0.0100 0.0100 0.0000
200-AH 0.0070 0.0087 0.0090 0.0090 0.0090 0.0086 0.0008 0.0002 0.0020 0.0888 0.0086 0.0085 0.0006 0.0090 0.0090 0.0090 0.0000
251-AH 0.0490 0.0540 0.0560 0.0602 0.0620 0.0560 0.0041 0.0062 0.0130 0.0728 0.0559 0.0558 0.0032 0.0490 0.0620 0.0560 0.0041
252-AH 0.0230 0.0278 0.0290 0.0290 0.0290 0.0279 0.0020 0.0012 0.0060 0.0712 0.0278 0.0277 0.0015 0.0270 0.0290 0.0288 0.0005
253-AH 0.0520 0.1132 0.1330 0.1455 0.1620 0.1237 0.0329 0.0322 0.1100 0.2660 0.1183 0.1116 0.0261 0.0660 0.1620 0.1267 0.0300
254-AH 0.0840 0.1335 0.1550 0.1835 0.2050 0.1545 0.0392 0.0500 0.1210 0.2536 0.1490 0.1429 0.0319 0.0840 0.2050 0.1545 0.0392
255-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0038 0.0004 0.0000 0.0010 0.0974 0.0038 0.0038 0.0003 0.0040 0.0040 0.0040 0.0000
256-AH 0.0190 0.0300 0.0340 0.0340 0.0340 0.0319 0.0038 0.0040 0.0150 0.1178 0.0316 0.0313 0.0029 0.0260 0.0340 0.0324 0.0027
257-AH 0.0440 0.0490 0.0560 0.0610 0.0620 0.0546 0.0067 0.0120 0.0180 0.1218 0.0542 0.0538 0.0059 0.0440 0.0620 0.0546 0.0067
258-AH 0.0000 0.0020 0.0030 0.0040 0.0040 0.0029 0.0013 0.0020 0.0040 0.4300 0.0022 0.0002 0.0010 0.0000 0.0040 0.0029 0.0013
259-AH 0.0020 0.0020 0.0030 0.0030 0.0030 0.0027 0.0005 0.0010 0.0010 0.1685 0.0027 0.0026 0.0004 0.0020 0.0030 0.0027 0.0005
260-AH 0.0340 0.0608 0.0620 0.0620 0.0620 0.0581 0.0083 0.0012 0.0280 0.1422 0.0574 0.0565 0.0060 0.0600 0.0620 0.0618 0.0005
261-AH 0.0090 0.0158 0.0170 0.0210 0.0250 0.0174 0.0043 0.0052 0.0160 0.2483 0.0168 0.0162 0.0034 0.0090 0.0250 0.0174 0.0043
262-AH 0.0320 0.0428 0.0580 0.0762 0.0800 0.0571 0.0168 0.0335 0.0480 0.2938 0.0547 0.0523 0.0151 0.0320 0.0800 0.0571 0.0168
263-AH 0.0180 0.0210 0.0400 0.0462 0.0470 0.0358 0.0120 0.0252 0.0290 0.3356 0.0334 0.0309 0.0108 0.0180 0.0470 0.0358 0.0120
264-AH 0.0140 0.0200 0.0200 0.0220 0.0220 0.0200 0.0024 0.0020 0.0080 0.1214 0.0198 0.0196 0.0017 0.0190 0.0220 0.0209 0.0010
265-AH 0.0040 0.0050 0.0060 0.0060 0.0060 0.0056 0.0006 0.0010 0.0020 0.1008 0.0056 0.0056 0.0005 0.0040 0.0060 0.0056 0.0006
266-AH 0.0010 0.0040 0.0040 0.0040 0.0040 0.0035 0.0011 0.0000 0.0030 0.3226 0.0032 0.0027 0.0008 0.0040 0.0040 0.0040 0.0000
267-AH 0.0160 0.0190 0.0200 0.0210 0.0210 0.0197 0.0014 0.0020 0.0050 0.0710 0.0197 0.0196 0.0011 0.0160 0.0210 0.0197 0.0014
268-AH 0.0020 0.0030 0.0030 0.0030 0.0030 0.0028 0.0004 0.0000 0.0010 0.1458 0.0028 0.0027 0.0003 0.0030 0.0030 0.0030 0.0000
269-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0079 0.0004 0.0000 0.0020 0.0505 0.0079 0.0079 0.0002 0.0080 0.0080 0.0080 0.0000
270-AH 0.0150 0.0375 0.0540 0.0570 0.0570 0.0472 0.0137 0.0195 0.0420 0.2896 0.0445 0.0408 0.0113 0.0150 0.0570 0.0472 0.0137
271-AH 0.0030 0.0238 0.0240 0.0240 0.0240 0.0227 0.0042 0.0003 0.0210 0.1857 0.0217 0.0185 0.0020 0.0240 0.0240 0.0240 0.0000
272-AH 0.0030 0.0100 0.0130 0.0133 0.0140 0.0116 0.0032 0.0033 0.0110 0.2793 0.0108 0.0096 0.0025 0.0070 0.0140 0.0123 0.0020
273-AH 0.0160 0.0620 0.0780 0.0823 0.0830 0.0701 0.0167 0.0203 0.0670 0.2386 0.0670 0.0615 0.0128 0.0440 0.0830 0.0724 0.0126
274-AH 0.0070 0.0150 0.0160 0.0160 0.0160 0.0144 0.0030 0.0010 0.0090 0.2059 0.0140 0.0135 0.0022 0.0150 0.0160 0.0158 0.0004
275-AH 0.0130 0.0470 0.0620 0.0640 0.0660 0.0527 0.0165 0.0170 0.0530 0.3137 0.0487 0.0426 0.0128 0.0220 0.0660 0.0560 0.0124
276-AH 0.0500 0.0530 0.0550 0.0590 0.0590 0.0553 0.0031 0.0060 0.0090 0.0566 0.0552 0.0551 0.0026 0.0500 0.0590 0.0553 0.0031
277-AH 0.0120 0.0135 0.0180 0.0190 0.0220 0.0167 0.0032 0.0055 0.0100 0.1919 0.0164 0.0161 0.0028 0.0120 0.0220 0.0167 0.0032
278-AH 0.0020 0.0118 0.0140 0.0163 0.0210 0.0136 0.0054 0.0045 0.0190 0.3943 0.0119 0.0091 0.0040 0.0060 0.0210 0.0146 0.0043
279-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0038 0.0006 0.0000 0.0020 0.1588 0.0037 0.0036 0.0004 0.0040 0.0040 0.0040 0.0000
280-AH 0.0060 0.0110 0.0170 0.0200 0.0210 0.0153 0.0051 0.0090 0.0150 0.3316 0.0144 0.0132 0.0045 0.0060 0.0210 0.0153 0.0051
281-AH 0.0190 0.0400 0.0410 0.0420 0.0420 0.0391 0.0063 0.0020 0.0230 0.1615 0.0384 0.0373 0.0038 0.0390 0.0420 0.0413 0.0009
282-AH 0.0110 0.0210 0.0260 0.0283 0.0300 0.0244 0.0055 0.0073 0.0190 0.2248 0.0236 0.0226 0.0043 0.0110 0.0300 0.0244 0.0055
283-AH 0.0150 0.0190 0.0280 0.0350 0.0370 0.0268 0.0077 0.0160 0.0220 0.2885 0.0256 0.0245 0.0070 0.0150 0.0370 0.0268 0.0077
284-AH 0.0310 0.0380 0.0380 0.0380 0.0380 0.0369 0.0026 0.0000 0.0070 0.0710 0.0368 0.0367 0.0019 0.0380 0.0380 0.0380 0.0000
285-AH 0.0200 0.0598 0.0660 0.0680 0.0690 0.0590 0.0152 0.0083 0.0490 0.2575 0.0562 0.0523 0.0119 0.0500 0.0690 0.0660 0.0041
286-AH 0.0030 0.0058 0.0090 0.0090 0.0110 0.0074 0.0022 0.0032 0.0080 0.2919 0.0071 0.0067 0.0020 0.0030 0.0110 0.0074 0.0022
287-AH 0.0380 0.0440 0.0460 0.0480 0.0490 0.0455 0.0033 0.0040 0.0110 0.0734 0.0454 0.0453 0.0027 0.0380 0.0490 0.0455 0.0033
288-AH 0.0370 0.0428 0.0630 0.0685 0.0710 0.0564 0.0133 0.0258 0.0340 0.2357 0.0548 0.0531 0.0123 0.0370 0.0710 0.0564 0.0133
289-AH 0.0130 0.0160 0.0170 0.0180 0.0180 0.0165 0.0019 0.0020 0.0050 0.1177 0.0164 0.0162 0.0016 0.0160 0.0180 0.0173 0.0009
290-AH 0.0260 0.0388 0.0460 0.0490 0.0490 0.0436 0.0065 0.0102 0.0230 0.1494 0.0430 0.0424 0.0053 0.0260 0.0490 0.0436 0.0065
322
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0230 0.0260 0.0270 0.0280 0.0280 0.0263 0.0017 0.0020 0.0050 0.0656 0.0263 0.0262 0.0013 0.0230 0.0280 0.0263 0.0017
292-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
293-AH 0.0280 0.0340 0.0340 0.0340 0.0340 0.0330 0.0022 0.0000 0.0060 0.0678 0.0329 0.0328 0.0016 0.0340 0.0340 0.0340 0.0000
294-AH 0.0090 0.0270 0.0270 0.0270 0.0270 0.0247 0.0056 0.0000 0.0180 0.2255 0.0238 0.0224 0.0039 0.0270 0.0270 0.0270 0.0000
295-AH 0.0170 0.0328 0.0390 0.0480 0.0490 0.0387 0.0100 0.0153 0.0320 0.2577 0.0372 0.0353 0.0080 0.0170 0.0490 0.0387 0.0100
296-AH 0.0010 0.0140 0.0240 0.0240 0.0240 0.0186 0.0081 0.0100 0.0230 0.4337 0.0145 0.0071 0.0065 0.0010 0.0240 0.0186 0.0081
297-AH 0.0050 0.0110 0.0120 0.0120 0.0120 0.0110 0.0017 0.0010 0.0070 0.1508 0.0108 0.0106 0.0011 0.0110 0.0120 0.0117 0.0005
298-AH 0.0210 0.0248 0.0290 0.0300 0.0300 0.0274 0.0031 0.0052 0.0090 0.1136 0.0272 0.0270 0.0026 0.0210 0.0300 0.0274 0.0031
299-AH 0.0520 0.0700 0.0740 0.0750 0.0760 0.0710 0.0071 0.0050 0.0240 0.1002 0.0706 0.0702 0.0050 0.0700 0.0760 0.0739 0.0022
300-AH 0.0240 0.0395 0.0420 0.0420 0.0420 0.0392 0.0050 0.0025 0.0180 0.1286 0.0388 0.0384 0.0037 0.0370 0.0420 0.0412 0.0014
301-AH 0.0040 0.0040 0.0050 0.0095 0.0160 0.0074 0.0046 0.0055 0.0120 0.6311 0.0063 0.0056 0.0038 0.0040 0.0160 0.0074 0.0046
302-AH 0.0100 0.0150 0.0170 0.0170 0.0170 0.0158 0.0020 0.0020 0.0070 0.1232 0.0157 0.0155 0.0015 0.0140 0.0170 0.0163 0.0011
303-AH 0.0100 0.0110 0.0130 0.0140 0.0140 0.0126 0.0016 0.0030 0.0040 0.1296 0.0125 0.0124 0.0015 0.0100 0.0140 0.0126 0.0016
304-AH 0.0080 0.0110 0.0120 0.0150 0.0150 0.0124 0.0023 0.0040 0.0070 0.1867 0.0121 0.0119 0.0019 0.0080 0.0150 0.0124 0.0023
305-AH 0.0040 0.0470 0.0570 0.0610 0.0610 0.0520 0.0125 0.0140 0.0570 0.2402 0.0482 0.0355 0.0089 0.0390 0.0610 0.0540 0.0076
306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
307-AH 0.0250 0.0360 0.0600 0.0720 0.0740 0.0535 0.0192 0.0360 0.0490 0.3581 0.0497 0.0456 0.0175 0.0250 0.0740 0.0535 0.0192
308-AH 0.0070 0.0100 0.0100 0.0100 0.0110 0.0097 0.0012 0.0000 0.0040 0.1219 0.0096 0.0095 0.0008 0.0100 0.0100 0.0100 0.0000
309-AH 0.0050 0.0080 0.0100 0.0100 0.0100 0.0089 0.0015 0.0020 0.0050 0.1648 0.0088 0.0086 0.0012 0.0060 0.0100 0.0091 0.0012
310-AH 0.0130 0.0290 0.0390 0.0445 0.0540 0.0363 0.0121 0.0155 0.0410 0.3324 0.0338 0.0305 0.0097 0.0130 0.0540 0.0363 0.0121
311-AH 0.0350 0.0440 0.0490 0.0512 0.0530 0.0474 0.0052 0.0072 0.0180 0.1087 0.0471 0.0468 0.0042 0.0350 0.0530 0.0474 0.0052
312-AH 0.0120 0.0310 0.0310 0.0310 0.0310 0.0284 0.0060 0.0000 0.0190 0.2095 0.0275 0.0262 0.0042 0.0310 0.0310 0.0310 0.0000
313-AH 0.0050 0.0110 0.0160 0.0170 0.0190 0.0140 0.0040 0.0060 0.0140 0.2879 0.0133 0.0124 0.0033 0.0050 0.0190 0.0140 0.0040
314-AH 0.0070 0.0160 0.0170 0.0170 0.0170 0.0155 0.0028 0.0010 0.0100 0.1838 0.0151 0.0146 0.0020 0.0150 0.0170 0.0166 0.0006
315-AH 0.0240 0.0338 0.0480 0.0492 0.0590 0.0428 0.0105 0.0155 0.0350 0.2457 0.0414 0.0398 0.0088 0.0240 0.0590 0.0428 0.0105
316-AH 0.0250 0.0613 0.0860 0.0957 0.1060 0.0787 0.0229 0.0345 0.0810 0.2908 0.0747 0.0694 0.0191 0.0250 0.1060 0.0787 0.0229
317-AH 0.0230 0.0278 0.0290 0.0290 0.0300 0.0280 0.0022 0.0012 0.0070 0.0803 0.0279 0.0278 0.0017 0.0270 0.0300 0.0290 0.0008
318-AH 0.0070 0.0090 0.0090 0.0090 0.0090 0.0089 0.0004 0.0000 0.0020 0.0448 0.0089 0.0089 0.0002 0.0090 0.0090 0.0090 0.0000
319-AH 0.0040 0.0115 0.0130 0.0160 0.0170 0.0122 0.0044 0.0045 0.0130 0.3613 0.0111 0.0096 0.0033 0.0050 0.0170 0.0133 0.0034
320-AH 0.0080 0.0100 0.0110 0.0130 0.0130 0.0110 0.0015 0.0030 0.0050 0.1371 0.0109 0.0108 0.0013 0.0080 0.0130 0.0110 0.0015
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0070 0.0107 0.0130 0.0130 0.0140 0.0116 0.0023 0.0023 0.0070 0.2022 0.0113 0.0110 0.0019 0.0080 0.0140 0.0122 0.0017
323-AH 0.0140 0.0207 0.0240 0.0250 0.0260 0.0227 0.0034 0.0043 0.0120 0.1477 0.0224 0.0221 0.0026 0.0150 0.0260 0.0230 0.0029
324-AH 0.0060 0.0265 0.0350 0.0690 0.0690 0.0431 0.0212 0.0425 0.0630 0.4915 0.0370 0.0295 0.0185 0.0060 0.0690 0.0431 0.0212
325-AH 0.0510 0.0585 0.0590 0.0600 0.0610 0.0583 0.0027 0.0015 0.0100 0.0456 0.0583 0.0582 0.0020 0.0570 0.0610 0.0595 0.0009
326-AH 0.0020 0.0028 0.0030 0.0030 0.0040 0.0029 0.0006 0.0002 0.0020 0.2083 0.0028 0.0028 0.0004 0.0030 0.0030 0.0030 0.0000
327-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0034 0.0013 0.0000 0.0040 0.3926 0.0025 0.0002 0.0010 0.0040 0.0040 0.0040 0.0000
328-AH 0.0150 0.0230 0.0230 0.0230 0.0230 0.0217 0.0030 0.0000 0.0080 0.1378 0.0215 0.0212 0.0022 0.0230 0.0230 0.0230 0.0000
329-AH 0.0170 0.0170 0.0170 0.0170 0.0170 0.0170 0.0000 0.0000 0.0000 0.0000 0.0170 0.0170 0.0000 0.0170 0.0170 0.0170 0.0000
330-AH 0.0330 0.0443 0.0510 0.0510 0.0510 0.0472 0.0058 0.0067 0.0180 0.1229 0.0469 0.0464 0.0047 0.0380 0.0510 0.0484 0.0043
331-AH 0.0120 0.0160 0.0170 0.0170 0.0170 0.0163 0.0014 0.0010 0.0050 0.0843 0.0163 0.0162 0.0010 0.0150 0.0170 0.0168 0.0005
332-AH 0.0000 0.0028 0.0080 0.0080 0.0080 0.0062 0.0031 0.0053 0.0080 0.4952 0.0041 0.0002 0.0026 0.0000 0.0080 0.0062 0.0031
333-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0050 0.0002 0.0000 0.0010 0.0403 0.0050 0.0050 0.0001 0.0050 0.0050 0.0050 0.0000
334-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0048 0.0004 0.0000 0.0010 0.0773 0.0048 0.0048 0.0003 0.0050 0.0050 0.0050 0.0000
335-AH 0.0120 0.0140 0.0150 0.0150 0.0150 0.0142 0.0012 0.0010 0.0030 0.0843 0.0142 0.0141 0.0010 0.0140 0.0150 0.0148 0.0004
336-AH 0.0000 0.0050 0.0100 0.0120 0.0150 0.0083 0.0047 0.0070 0.0150 0.5709 0.0038 0.0001 0.0042 0.0000 0.0150 0.0083 0.0047
337-AH 0.0050 0.0190 0.0200 0.0200 0.0200 0.0177 0.0048 0.0010 0.0150 0.2721 0.0167 0.0151 0.0034 0.0180 0.0200 0.0197 0.0006
338-AH 0.0060 0.0100 0.0100 0.0100 0.0100 0.0095 0.0011 0.0000 0.0040 0.1139 0.0094 0.0094 0.0008 0.0100 0.0100 0.0100 0.0000
339-AH 0.0180 0.0190 0.0190 0.0190 0.0190 0.0190 0.0002 0.0000 0.0010 0.0105 0.0190 0.0190 0.0001 0.0190 0.0190 0.0190 0.0000
340-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
323
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0059 0.0003 0.0000 0.0010 0.0468 0.0059 0.0059 0.0001 0.0060 0.0060 0.0060 0.0000
342-AH 0.0570 0.0860 0.0950 0.0950 0.0960 0.0884 0.0120 0.0090 0.0390 0.1359 0.0875 0.0863 0.0090 0.0820 0.0960 0.0931 0.0041
343-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
344-AH 0.0240 0.0313 0.0330 0.0330 0.0330 0.0310 0.0034 0.0017 0.0090 0.1102 0.0308 0.0306 0.0027 0.0290 0.0330 0.0326 0.0009
345-AH 0.0030 0.0070 0.0080 0.0090 0.0090 0.0075 0.0022 0.0020 0.0060 0.2891 0.0070 0.0064 0.0017 0.0060 0.0090 0.0083 0.0009
346-AH 0.0090 0.0110 0.0110 0.0110 0.0110 0.0108 0.0005 0.0000 0.0020 0.0486 0.0107 0.0107 0.0004 0.0110 0.0110 0.0110 0.0000
347-AH 0.0060 0.0078 0.0080 0.0090 0.0090 0.0079 0.0010 0.0012 0.0030 0.1286 0.0078 0.0077 0.0007 0.0060 0.0090 0.0079 0.0010
348-AH 0.0000 0.0018 0.0020 0.0020 0.0020 0.0016 0.0008 0.0003 0.0020 0.5260 0.0007 0.0000 0.0007 0.0020 0.0020 0.0020 0.0000
349-AH 0.0260 0.0270 0.0270 0.0270 0.0270 0.0270 0.0002 0.0000 0.0010 0.0074 0.0270 0.0270 0.0001 0.0270 0.0270 0.0270 0.0000
350-AH 0.0090 0.0100 0.0100 0.0100 0.0100 0.0100 0.0002 0.0000 0.0010 0.0201 0.0100 0.0100 0.0001 0.0100 0.0100 0.0100 0.0000
324
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
90% geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
325
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box Plot of the Topics
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; MAP 23.56%; Not Pooled]
ixa [Experiment ES2EN1STTOPSNUSDOCSPSREL; MAP 23.50%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; MAP 21.77%; Not Pooled]
ixa [Experiment ES2ENNUSDOCSPSREL; MAP 21.38%; Not Pooled]
ixa [Experiment ES2ENUBCDOCSPSREL; MAP 21.00%; Not Pooled]
Experiments
geneva [Experiment ISIESPWSDTDN; MAP 9.70%; Not Pooled]
geneva [Experiment ISIESPWSDTD; MAP 8.46%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; MAP 7.23%; Not Pooled]
uniba [Experiment CROSSWSD1NUS2F; MAP 7.18%; Not Pooled]
uniba [Experiment CROSSWSD11NUS2F; MAP 6.09%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
326
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
10.2455/TUKEY_T_TEST.FA1AE9E8A822E0BC7BE56E233ED6CFD1
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Tukey T test with "top group" highlighted
UFRGS_R_BI_WSD1_TEST
ES2EN1STTOPSNUSDOCSPSREL
ES2EN1STTOPSUBCDOCSPSREL
ES2ENNUSDOCSPSREL
Experiments
ES2ENUBCDOCSPSREL
ISIESPWSDTDN
ISIESPWSDTD
CROSSWSD12NUS2F
CROSSWSD1NUS2F
CROSSWSD11NUS2F
0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5
arcsin(sqrt(Average Precsion))
327
328
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
90% geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
0.5 ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
Difference
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
329
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box Plot of the Topics
ixa [Experiment ES2EN1STTOPSNUSDOCSPSREL; R−Prec 22.96%; Not Pooled]
ixa [Experiment ES2EN1STTOPSUBCDOCSPSREL; R−Prec 22.63%; Not Pooled]
ufrgs [Experiment UFRGS_R_BI_WSD1_TEST; R−Prec 21.56%; Not Pooled]
ixa [Experiment ES2ENNUSDOCSPSREL; R−Prec 20.62%; Not Pooled]
ixa [Experiment ES2ENUBCDOCSPSREL; R−Prec 19.31%; Not Pooled]
Experiments
geneva [Experiment ISIESPWSDTDN; R−Prec 10.79%; Not Pooled]
geneva [Experiment ISIESPWSDTD; R−Prec 8.92%; Not Pooled]
uniba [Experiment CROSSWSD12NUS2F; R−Prec 8.20%; Not Pooled]
uniba [Experiment CROSSWSD1NUS2F; R−Prec 7.92%; Not Pooled]
uniba [Experiment CROSSWSD11NUS2F; R−Prec 7.44%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
330
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Tukey T test with "top group" highlighted
UFRGS_R_BI_WSD1_TEST
ES2EN1STTOPSNUSDOCSPSREL
ES2EN1STTOPSUBCDOCSPSREL
ES2ENNUSDOCSPSREL
Experiments
ES2ENUBCDOCSPSREL
ISIESPWSDTDN
ISIESPWSDTD
CROSSWSD12NUS2F
CROSSWSD1NUS2F
CROSSWSD11NUS2F
0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.5
arcsin(sqrt(R−Precision))
331
332
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.53 1.00 1.00 1.05 0.00 0.00 0.50 0.00 1.00 0.50 0.53
142-AH 4.00 5.00 7.00 8.00 8.00 6.40 1.78 3.00 4.00 0.28 6.16 5.91 1.60 4.00 8.00 6.40 1.78
143-AH 4.00 6.00 8.00 18.00 38.00 12.70 10.22 12.00 34.00 0.80 10.14 8.50 7.38 4.00 19.00 9.89 5.35
144-AH 0.00 1.00 1.50 3.00 3.00 1.60 1.17 2.00 3.00 0.73 0.16 0.00 1.00 0.00 3.00 1.60 1.17
145-AH 24.00 25.00 28.00 31.00 37.00 28.90 4.58 6.00 13.00 0.16 28.59 28.30 3.48 24.00 37.00 28.90 4.58
146-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.53 1.00 1.00 0.35 1.41 1.33 0.50 1.00 2.00 1.50 0.53
147-AH 4.00 6.00 19.50 23.00 26.00 16.20 8.46 17.00 22.00 0.52 13.53 10.65 7.36 4.00 26.00 16.20 8.46
148-AH 0.00 0.00 0.00 1.00 4.00 0.60 1.26 1.00 4.00 2.11 0.00 0.00 0.84 0.00 1.00 0.22 0.44
149-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
150-AH 1.00 2.00 5.00 7.00 10.00 4.90 2.77 5.00 9.00 0.56 4.05 3.12 2.12 1.00 10.00 4.90 2.77
151-AH 0.00 1.00 1.50 5.00 7.00 2.40 2.41 4.00 7.00 1.01 0.19 0.00 1.96 0.00 7.00 2.40 2.41
152-AH 3.00 3.00 3.00 5.00 10.00 4.30 2.26 2.00 7.00 0.53 3.93 3.68 1.62 3.00 6.00 3.67 1.12
153-AH 0.00 0.00 0.00 1.00 1.00 0.30 0.48 1.00 1.00 1.61 0.00 0.00 0.42 0.00 1.00 0.30 0.48
154-AH 2.00 2.00 11.00 17.00 19.00 10.50 7.81 15.00 17.00 0.74 7.16 4.58 7.30 2.00 19.00 10.50 7.81
155-AH 0.00 0.00 1.00 2.00 3.00 1.10 1.20 2.00 3.00 1.09 0.00 0.00 1.10 0.00 3.00 1.10 1.20
156-AH 11.00 15.00 17.50 19.00 19.00 16.50 2.76 4.00 8.00 0.17 16.27 16.00 2.20 11.00 19.00 16.50 2.76
157-AH 12.00 25.00 77.00 127.00 130.00 75.00 53.89 102.00 118.00 0.72 53.47 36.17 50.60 12.00 130.00 75.00 53.89
158-AH 1.00 1.00 4.00 29.00 30.00 10.70 13.17 28.00 29.00 1.23 4.56 2.31 11.38 1.00 30.00 10.70 13.17
159-AH 1.00 3.00 4.50 9.00 39.00 8.30 11.19 6.00 38.00 1.35 4.95 3.34 6.62 1.00 10.00 4.89 3.14
160-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
161-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
162-AH 0.00 0.00 0.00 1.00 1.00 0.30 0.48 1.00 1.00 1.61 0.00 0.00 0.42 0.00 1.00 0.30 0.48
163-AH 82.00 104.00 109.50 121.00 121.00 109.50 12.55 17.00 39.00 0.11 108.80 108.03 9.30 82.00 121.00 109.50 12.55
164-AH 5.00 9.00 12.00 18.00 24.00 13.10 6.14 9.00 19.00 0.47 11.76 10.43 4.92 5.00 24.00 13.10 6.14
165-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
166-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
167-AH 0.00 0.00 2.50 5.00 5.00 2.50 2.64 5.00 5.00 1.05 0.01 0.00 2.50 0.00 5.00 2.50 2.64
168-AH 0.00 0.00 0.00 2.00 18.00 3.00 6.13 2.00 18.00 2.04 0.00 0.00 4.40 0.00 2.00 0.25 0.71
169-AH 0.00 0.00 2.50 5.00 5.00 2.50 2.37 5.00 5.00 0.95 0.02 0.00 2.10 0.00 5.00 2.50 2.37
170-AH 0.00 0.00 0.00 1.00 1.00 0.30 0.48 1.00 1.00 1.61 0.00 0.00 0.42 0.00 1.00 0.30 0.48
171-AH 2.00 6.00 12.00 17.00 18.00 11.50 6.22 11.00 16.00 0.54 9.51 7.18 5.70 2.00 18.00 11.50 6.22
172-AH 0.00 3.00 3.00 4.00 5.00 2.80 1.62 1.00 5.00 0.58 0.27 0.00 1.12 3.00 5.00 3.50 0.76
173-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
174-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
175-AH 1.00 1.00 4.00 7.00 7.00 4.00 3.16 6.00 6.00 0.79 2.65 1.75 3.00 1.00 7.00 4.00 3.16
176-AH 20.00 20.00 30.50 39.00 39.00 29.90 9.43 19.00 19.00 0.32 28.52 27.19 8.90 20.00 39.00 29.90 9.43
177-AH 10.00 11.00 13.00 13.00 13.00 12.30 1.16 2.00 3.00 0.09 12.25 12.19 0.98 10.00 13.00 12.30 1.16
178-AH 0.00 0.00 1.50 3.00 3.00 1.50 1.27 3.00 3.00 0.85 0.05 0.00 1.10 0.00 3.00 1.50 1.27
179-AH 0.00 1.00 2.00 3.00 20.00 3.50 5.91 2.00 20.00 1.69 0.22 0.00 3.30 0.00 3.00 1.67 1.22
180-AH 0.00 0.00 11.50 33.00 38.00 14.40 15.39 33.00 38.00 1.07 0.19 0.00 12.60 0.00 38.00 14.40 15.39
181-AH 35.00 46.00 89.50 91.00 91.00 75.30 23.07 45.00 56.00 0.31 71.26 66.49 19.78 35.00 91.00 75.30 23.07
182-AH 0.00 3.00 3.00 4.00 4.00 2.70 1.49 1.00 4.00 0.55 0.26 0.00 1.08 3.00 4.00 3.38 0.52
183-AH 3.00 3.00 4.00 4.00 4.00 3.70 0.48 1.00 1.00 0.13 3.67 3.64 0.42 3.00 4.00 3.70 0.48
184-AH 1.00 1.00 2.50 6.00 7.00 3.50 2.51 5.00 6.00 0.72 2.66 2.01 2.20 1.00 7.00 3.50 2.51
185-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
186-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
187-AH 0.00 0.00 1.00 1.00 1.00 0.70 0.48 1.00 1.00 0.69 0.03 0.00 0.42 0.00 1.00 0.70 0.48
188-AH 0.00 0.00 0.00 0.00 1.00 0.10 0.32 0.00 1.00 3.16 0.00 0.00 0.18 0.00 0.00 0.00 0.00
189-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00
190-AH 0.00 2.00 2.50 6.00 7.00 3.60 2.63 4.00 7.00 0.73 0.92 0.00 2.32 0.00 7.00 3.60 2.63
333
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
192-AH 2.00 3.00 4.00 6.00 6.00 4.20 1.55 3.00 4.00 0.37 3.93 3.66 1.40 2.00 6.00 4.20 1.55
193-AH 0.00 0.00 4.50 7.00 7.00 3.80 3.43 7.00 7.00 0.90 0.09 0.00 3.20 0.00 7.00 3.80 3.43
194-AH 0.00 0.00 1.00 1.00 1.00 0.60 0.52 1.00 1.00 0.86 0.01 0.00 0.48 0.00 1.00 0.60 0.52
195-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
196-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
197-AH 4.00 8.00 36.50 50.00 50.00 30.00 21.66 42.00 46.00 0.72 20.46 12.72 20.00 4.00 50.00 30.00 21.66
198-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.53 1.00 1.00 1.05 0.00 0.00 0.50 0.00 1.00 0.50 0.53
199-AH 8.00 9.00 9.50 10.00 10.00 9.40 0.70 1.00 2.00 0.07 9.38 9.35 0.60 8.00 10.00 9.40 0.70
200-AH 1.00 6.00 7.00 8.00 9.00 6.70 2.36 2.00 8.00 0.35 5.93 4.42 1.70 6.00 9.00 7.33 1.32
251-AH 35.00 38.00 40.50 46.00 49.00 41.30 4.85 8.00 14.00 0.12 41.05 40.81 3.82 35.00 49.00 41.30 4.85
252-AH 14.00 20.00 26.50 29.00 29.00 24.60 5.19 9.00 15.00 0.21 24.01 23.33 4.16 14.00 29.00 24.60 5.19
253-AH 116.00 130.00 139.50 148.00 152.00 137.80 12.69 18.00 36.00 0.09 137.26 136.70 10.44 116.00 152.00 137.80 12.69
254-AH 20.00 69.00 85.00 147.00 171.00 94.60 51.25 78.00 151.00 0.54 79.15 61.81 41.20 20.00 171.00 94.60 51.25
255-AH 0.00 0.00 2.50 4.00 4.00 2.10 2.02 4.00 4.00 0.96 0.02 0.00 1.90 0.00 4.00 2.10 2.02
256-AH 16.00 23.00 28.50 34.00 34.00 28.00 6.31 11.00 18.00 0.23 27.27 26.46 5.20 16.00 34.00 28.00 6.31
257-AH 5.00 13.00 27.50 43.00 48.00 27.50 15.40 30.00 43.00 0.56 22.60 17.17 13.70 5.00 48.00 27.50 15.40
258-AH 0.00 0.00 0.50 2.00 3.00 1.00 1.25 2.00 3.00 1.25 0.00 0.00 1.00 0.00 3.00 1.00 1.25
259-AH 1.00 1.00 2.00 3.00 3.00 1.90 0.88 2.00 2.00 0.46 1.71 1.54 0.72 1.00 3.00 1.90 0.88
260-AH 23.00 35.00 46.00 54.00 62.00 45.00 12.58 19.00 39.00 0.28 43.24 41.30 9.40 23.00 62.00 45.00 12.58
261-AH 4.00 7.00 9.50 12.00 14.00 9.30 3.09 5.00 10.00 0.33 8.77 8.17 2.50 4.00 14.00 9.30 3.09
262-AH 16.00 25.00 41.50 48.00 58.00 37.60 14.54 23.00 42.00 0.39 34.62 31.38 12.28 16.00 58.00 37.60 14.54
263-AH 0.00 0.00 0.50 2.00 13.00 1.90 3.98 2.00 13.00 2.10 0.00 0.00 2.26 0.00 2.00 0.67 0.87
264-AH 11.00 16.00 19.00 20.00 21.00 17.80 3.19 4.00 10.00 0.18 17.50 17.14 2.48 11.00 21.00 17.80 3.19
265-AH 0.00 0.00 2.50 6.00 6.00 2.90 3.07 6.00 6.00 1.06 0.01 0.00 2.90 0.00 6.00 2.90 3.07
266-AH 0.00 0.00 2.50 4.00 4.00 2.20 1.81 4.00 4.00 0.82 0.07 0.00 1.60 0.00 4.00 2.20 1.81
267-AH 10.00 13.00 17.50 19.00 20.00 16.20 3.79 6.00 10.00 0.23 15.75 15.27 3.20 10.00 20.00 16.20 3.79
268-AH 0.00 0.00 2.00 2.00 3.00 1.40 1.26 2.00 3.00 0.90 0.02 0.00 1.12 0.00 3.00 1.40 1.26
269-AH 4.00 4.00 6.50 8.00 8.00 6.20 1.69 4.00 4.00 0.27 5.97 5.73 1.40 4.00 8.00 6.20 1.69
270-AH 14.00 24.00 40.00 56.00 56.00 38.60 18.09 32.00 42.00 0.47 34.15 29.61 16.60 14.00 56.00 38.60 18.09
271-AH 15.00 15.00 18.50 24.00 24.00 19.40 4.22 9.00 9.00 0.22 18.99 18.59 3.80 15.00 24.00 19.40 4.22
272-AH 0.00 0.00 0.00 14.00 14.00 5.50 7.11 14.00 14.00 1.29 0.00 0.00 6.60 0.00 14.00 5.50 7.11
273-AH 23.00 28.00 30.50 36.00 76.00 35.10 15.04 8.00 53.00 0.43 33.14 31.82 8.74 23.00 37.00 30.56 4.72
274-AH 1.00 2.00 7.00 11.00 14.00 7.30 4.60 9.00 13.00 0.63 5.49 3.60 3.56 1.00 14.00 7.30 4.60
275-AH 18.00 46.00 56.50 63.00 63.00 52.10 14.30 17.00 45.00 0.27 49.43 45.41 10.28 41.00 63.00 55.89 8.28
276-AH 1.00 5.00 31.00 42.00 55.00 26.60 20.72 37.00 54.00 0.78 13.62 4.08 17.88 1.00 55.00 26.60 20.72
277-AH 9.00 9.00 11.50 16.00 17.00 12.20 3.22 7.00 8.00 0.26 11.83 11.48 2.80 9.00 17.00 12.20 3.22
278-AH 0.00 0.00 2.50 16.00 17.00 6.60 7.65 16.00 17.00 1.16 0.03 0.00 6.92 0.00 17.00 6.60 7.65
279-AH 0.00 2.00 3.00 4.00 4.00 2.70 1.25 2.00 4.00 0.46 0.82 0.00 0.96 0.00 4.00 2.70 1.25
280-AH 5.00 6.00 6.50 8.00 10.00 7.20 1.75 2.00 5.00 0.24 7.02 6.85 1.44 5.00 10.00 7.20 1.75
281-AH 19.00 25.00 28.00 42.00 42.00 31.90 9.06 17.00 23.00 0.28 30.73 29.59 8.08 19.00 42.00 31.90 9.06
282-AH 20.00 22.00 24.00 27.00 28.00 24.50 2.84 5.00 8.00 0.12 24.35 24.20 2.40 20.00 28.00 24.50 2.84
283-AH 8.00 10.00 13.50 32.00 34.00 19.40 11.77 22.00 26.00 0.61 16.21 13.68 10.68 8.00 34.00 19.40 11.77
284-AH 2.00 12.00 21.50 30.00 38.00 20.60 12.16 18.00 36.00 0.59 15.72 9.56 10.60 2.00 38.00 20.60 12.16
285-AH 1.00 4.00 8.00 45.00 64.00 21.40 23.45 41.00 63.00 1.10 10.33 4.68 19.88 1.00 64.00 21.40 23.45
286-AH 0.00 2.00 3.50 5.00 7.00 3.30 2.31 3.00 7.00 0.70 0.29 0.00 1.90 0.00 7.00 3.30 2.31
287-AH 30.00 38.00 45.00 47.00 48.00 42.90 5.86 9.00 18.00 0.14 42.49 42.04 4.54 30.00 48.00 42.90 5.86
288-AH 10.00 19.00 36.00 52.00 65.00 35.00 20.31 33.00 55.00 0.58 29.04 23.36 16.40 10.00 65.00 35.00 20.31
289-AH 0.00 0.00 0.00 0.00 15.00 1.50 4.74 0.00 15.00 3.16 0.00 0.00 2.70 0.00 0.00 0.00 0.00
290-AH 6.00 9.00 10.00 16.00 31.00 12.90 7.56 7.00 25.00 0.59 11.45 10.43 5.66 6.00 20.00 10.89 4.34
334
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 16.00 22.00 22.50 23.00 25.00 22.00 2.71 1.00 9.00 0.12 21.83 21.65 1.80 22.00 23.00 22.50 0.55
292-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
293-AH 0.00 0.00 10.00 33.00 34.00 14.60 15.97 33.00 34.00 1.09 0.02 0.00 14.60 0.00 34.00 14.60 15.97
294-AH 16.00 19.00 23.00 27.00 27.00 22.60 4.55 8.00 11.00 0.20 22.17 21.74 4.20 16.00 27.00 22.60 4.55
295-AH 2.00 3.00 8.00 11.00 20.00 7.80 5.67 8.00 18.00 0.73 5.94 4.44 4.40 2.00 20.00 7.80 5.67
296-AH 1.00 2.00 5.00 9.00 12.00 5.70 4.11 7.00 11.00 0.72 4.11 2.73 3.50 1.00 12.00 5.70 4.11
297-AH 0.00 0.00 2.50 9.00 10.00 3.80 4.16 9.00 10.00 1.09 0.03 0.00 3.56 0.00 10.00 3.80 4.16
298-AH 3.00 5.00 8.50 9.00 25.00 8.80 6.12 4.00 22.00 0.70 7.48 6.51 3.40 3.00 9.00 7.00 2.40
299-AH 1.00 10.00 30.50 41.00 62.00 27.40 19.68 31.00 61.00 0.72 17.52 6.64 16.40 1.00 62.00 27.40 19.68
300-AH 6.00 13.00 30.00 40.00 42.00 26.80 14.05 27.00 36.00 0.52 22.22 17.10 12.04 6.00 42.00 26.80 14.05
301-AH 0.00 0.00 1.50 2.00 5.00 1.70 1.95 2.00 5.00 1.15 0.02 0.00 1.50 0.00 5.00 1.70 1.95
302-AH 14.00 15.00 15.00 16.00 17.00 15.30 1.06 1.00 3.00 0.07 15.27 15.24 0.82 14.00 17.00 15.30 1.06
303-AH 0.00 9.00 10.00 13.00 14.00 10.00 4.19 4.00 14.00 0.42 2.71 0.00 3.00 8.00 14.00 11.11 2.42
304-AH 0.00 1.00 4.00 9.00 11.00 4.50 4.20 8.00 11.00 0.93 0.30 0.00 3.70 0.00 11.00 4.50 4.20
305-AH 1.00 15.00 28.50 35.00 60.00 28.80 19.70 20.00 59.00 0.68 19.27 7.03 15.20 1.00 60.00 28.80 19.70
306-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
307-AH 0.00 1.00 1.50 6.00 11.00 3.50 3.92 5.00 11.00 1.12 0.23 0.00 3.20 0.00 11.00 3.50 3.92
308-AH 8.00 9.00 10.00 11.00 11.00 9.90 1.10 2.00 3.00 0.11 9.84 9.79 0.92 8.00 11.00 9.90 1.10
309-AH 7.00 8.00 9.00 10.00 10.00 9.00 1.05 2.00 3.00 0.12 8.94 8.88 0.80 7.00 10.00 9.00 1.05
310-AH 4.00 5.00 16.50 34.00 48.00 20.80 17.86 29.00 44.00 0.86 13.12 8.39 16.00 4.00 48.00 20.80 17.86
311-AH 27.00 36.00 39.50 42.00 49.00 39.20 6.44 6.00 22.00 0.16 38.70 38.18 4.60 27.00 49.00 39.20 6.44
312-AH 0.00 0.00 1.00 3.00 31.00 6.10 11.03 3.00 31.00 1.81 0.01 0.00 8.16 0.00 3.00 1.00 1.41
313-AH 4.00 6.00 7.00 12.00 13.00 8.30 3.59 6.00 9.00 0.43 7.57 6.89 3.16 4.00 13.00 8.30 3.59
314-AH 1.00 2.00 9.00 15.00 17.00 8.80 7.05 13.00 16.00 0.80 5.39 2.93 6.60 1.00 17.00 8.80 7.05
315-AH 11.00 14.00 17.50 19.00 27.00 17.30 4.42 5.00 16.00 0.26 16.82 16.36 3.10 11.00 20.00 16.22 2.99
316-AH 8.00 82.00 102.00 104.00 105.00 89.30 29.89 22.00 97.00 0.33 76.21 46.01 19.18 82.00 105.00 98.33 9.34
317-AH 7.00 13.00 16.00 19.00 21.00 15.60 4.33 6.00 14.00 0.28 14.95 14.17 3.40 7.00 21.00 15.60 4.33
318-AH 0.00 2.00 6.00 9.00 9.00 5.40 3.84 7.00 9.00 0.71 0.42 0.00 3.40 0.00 9.00 5.40 3.84
319-AH 11.00 12.00 12.50 15.00 15.00 13.00 1.63 3.00 4.00 0.13 12.91 12.82 1.40 11.00 15.00 13.00 1.63
320-AH 3.00 5.00 6.50 7.00 10.00 6.40 2.07 2.00 7.00 0.32 6.08 5.75 1.60 3.00 10.00 6.40 2.07
321-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
322-AH 0.00 1.00 6.00 10.00 14.00 6.30 5.81 9.00 14.00 0.92 0.39 0.00 5.30 0.00 14.00 6.30 5.81
323-AH 1.00 10.00 13.00 16.00 22.00 13.30 5.98 6.00 21.00 0.45 10.84 6.02 4.30 1.00 22.00 13.30 5.98
324-AH 3.00 7.00 19.50 22.00 23.00 14.80 8.43 15.00 20.00 0.57 11.62 8.20 7.64 3.00 23.00 14.80 8.43
325-AH 13.00 21.00 23.50 34.00 45.00 26.40 10.00 13.00 32.00 0.38 24.78 23.28 7.76 13.00 45.00 26.40 10.00
326-AH 0.00 0.00 2.50 4.00 4.00 2.20 1.93 4.00 4.00 0.88 0.06 0.00 1.80 0.00 4.00 2.20 1.93
327-AH 0.00 0.00 1.00 2.00 4.00 1.30 1.25 2.00 4.00 0.96 0.04 0.00 0.96 0.00 4.00 1.30 1.25
328-AH 1.00 10.00 22.00 23.00 23.00 17.00 9.07 13.00 22.00 0.53 11.90 5.23 7.60 1.00 23.00 17.00 9.07
329-AH 13.00 14.00 14.50 17.00 17.00 14.90 1.60 3.00 4.00 0.11 14.82 14.75 1.30 13.00 17.00 14.90 1.60
330-AH 0.00 0.00 29.50 51.00 51.00 26.30 25.75 51.00 51.00 0.98 0.28 0.00 24.30 0.00 51.00 26.30 25.75
331-AH 0.00 2.00 11.00 17.00 17.00 9.50 8.00 15.00 17.00 0.84 1.76 0.00 7.50 0.00 17.00 9.50 8.00
332-AH 0.00 0.00 4.00 8.00 8.00 4.00 4.22 8.00 8.00 1.05 0.01 0.00 4.00 0.00 8.00 4.00 4.22
333-AH 1.00 3.00 3.50 4.00 5.00 3.40 1.07 1.00 4.00 0.32 3.17 2.83 0.80 3.00 5.00 3.67 0.71
334-AH 0.00 0.00 0.50 1.00 4.00 0.90 1.29 1.00 4.00 1.43 0.00 0.00 0.90 0.00 2.00 0.56 0.73
335-AH 0.00 0.00 1.00 5.00 11.00 2.90 3.60 5.00 11.00 1.24 0.06 0.00 2.88 0.00 11.00 2.90 3.60
336-AH 0.00 0.00 4.00 7.00 13.00 4.60 4.93 7.00 13.00 1.07 0.03 0.00 3.92 0.00 13.00 4.60 4.93
337-AH 5.00 12.00 16.00 20.00 20.00 15.30 5.38 8.00 15.00 0.35 14.19 12.77 4.70 5.00 20.00 15.30 5.38
338-AH 0.00 1.00 6.50 10.00 10.00 5.70 4.35 9.00 10.00 0.76 0.41 0.00 3.90 0.00 10.00 5.70 4.35
339-AH 0.00 0.00 11.00 19.00 19.00 9.90 9.63 19.00 19.00 0.97 0.15 0.00 9.10 0.00 19.00 9.90 9.63
340-AH 0.00 0.00 0.00 1.00 4.00 0.80 1.32 1.00 4.00 1.65 0.00 0.00 0.96 0.00 2.00 0.44 0.73
335
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 2.00 3.00 5.00 6.00 6.00 4.50 1.65 3.00 4.00 0.37 4.16 3.77 1.40 2.00 6.00 4.50 1.65
342-AH 57.00 59.00 81.50 96.00 96.00 77.90 18.57 37.00 39.00 0.24 75.84 73.78 17.10 57.00 96.00 77.90 18.57
343-AH 0.00 0.00 0.00 0.00 1.00 0.20 0.42 0.00 1.00 2.11 0.00 0.00 0.32 0.00 0.00 0.00 0.00
344-AH 1.00 7.00 25.00 33.00 33.00 20.40 13.70 26.00 32.00 0.67 13.71 6.11 12.40 1.00 33.00 20.40 13.70
345-AH 0.00 0.00 0.00 1.00 9.00 1.90 3.75 1.00 9.00 1.98 0.00 0.00 2.84 0.00 1.00 0.12 0.35
346-AH 1.00 2.00 7.50 11.00 11.00 6.30 4.40 9.00 10.00 0.70 4.38 2.73 3.90 1.00 11.00 6.30 4.40
347-AH 0.00 0.00 4.50 9.00 9.00 4.60 4.30 9.00 9.00 0.93 0.10 0.00 4.00 0.00 9.00 4.60 4.30
348-AH 0.00 0.00 1.00 2.00 2.00 1.00 1.05 2.00 2.00 1.05 0.00 0.00 1.00 0.00 2.00 1.00 1.05
349-AH 1.00 3.00 15.50 27.00 27.00 14.80 12.69 24.00 26.00 0.86 8.12 3.92 12.00 1.00 27.00 14.80 12.69
350-AH 0.00 5.00 7.50 10.00 10.00 6.60 3.95 5.00 10.00 0.60 1.62 0.00 3.40 0.00 10.00 6.60 3.95
336
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0393 0.0735 0.5230 0.9750 1.0000 0.5367 0.4493 0.9015 0.9607 0.8372 0.3001 0.1432 0.4212 0.0393 1.0000 0.5367 0.4493
143-AH 0.0008 0.0016 0.0032 0.0123 0.5423 0.0583 0.1701 0.0108 0.5415 2.9194 0.0047 0.0021 0.0968 0.0008 0.0133 0.0045 0.0048
144-AH 0.0000 0.0024 0.0712 0.4658 0.5620 0.1848 0.2329 0.4635 0.5620 1.2601 0.0119 0.0000 0.1958 0.0000 0.5620 0.1848 0.2329
145-AH 0.0437 0.1635 0.3217 0.3480 0.5451 0.2833 0.1643 0.1845 0.5014 0.5801 0.2201 0.1463 0.1297 0.0437 0.5451 0.2833 0.1643
146-AH 0.0006 0.0012 0.0138 0.0862 0.1758 0.0407 0.0583 0.0851 0.1752 1.4338 0.0091 0.0022 0.0453 0.0006 0.1758 0.0407 0.0583
147-AH 0.0008 0.0035 0.0209 0.0271 0.0454 0.0188 0.0153 0.0235 0.0446 0.8163 0.0108 0.0045 0.0129 0.0008 0.0454 0.0188 0.0153
148-AH 0.0000 0.0000 0.0000 0.0002 0.0422 0.0043 0.0133 0.0002 0.0422 3.1203 0.0000 0.0000 0.0076 0.0000 0.0003 0.0001 0.0001
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0009 0.0033 0.0045 0.0056 0.1077 0.0143 0.0329 0.0023 0.1068 2.3050 0.0047 0.0029 0.0187 0.0009 0.0056 0.0039 0.0018
151-AH 0.0000 0.0001 0.0002 0.0023 0.0207 0.0027 0.0064 0.0022 0.0207 2.3752 0.0003 0.0000 0.0037 0.0000 0.0030 0.0007 0.0011
152-AH 0.0011 0.0014 0.0021 0.0033 0.4672 0.0493 0.1469 0.0019 0.4661 2.9805 0.0038 0.0021 0.0836 0.0011 0.0033 0.0020 0.0008
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0058 0.0156 0.1034 0.2166 0.3852 0.1454 0.1524 0.2009 0.3794 1.0483 0.0608 0.0236 0.1298 0.0058 0.3852 0.1454 0.1524
155-AH 0.0000 0.0000 0.0009 0.0063 0.0634 0.0081 0.0196 0.0063 0.0634 2.4334 0.0003 0.0000 0.0111 0.0000 0.0072 0.0019 0.0029
156-AH 0.0091 0.0142 0.0500 0.0585 0.1222 0.0468 0.0336 0.0443 0.1130 0.7177 0.0350 0.0242 0.0239 0.0091 0.1222 0.0468 0.0336
157-AH 0.0028 0.0125 0.1760 0.3501 0.3770 0.1831 0.1789 0.3376 0.3743 0.9774 0.0596 0.0140 0.1687 0.0028 0.3770 0.1831 0.1789
158-AH 0.0002 0.0002 0.0023 0.1216 0.2659 0.0531 0.0913 0.1213 0.2656 1.7185 0.0039 0.0007 0.0722 0.0002 0.2659 0.0531 0.0913
159-AH 0.0000 0.0004 0.0006 0.0029 0.0791 0.0088 0.0247 0.0025 0.0790 2.7923 0.0009 0.0002 0.0140 0.0000 0.0030 0.0010 0.0011
160-AH 0.0325 0.1217 0.1470 0.1722 0.2083 0.1427 0.0519 0.0505 0.1759 0.3636 0.1295 0.1087 0.0407 0.1039 0.2083 0.1549 0.0366
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.2764 0.4008 0.5035 0.7295 0.9104 0.5736 0.2275 0.3288 0.6340 0.3966 0.5334 0.4959 0.1931 0.2764 0.9104 0.5736 0.2275
164-AH 0.0008 0.0037 0.0104 0.0261 0.1321 0.0244 0.0393 0.0224 0.1313 1.6072 0.0097 0.0039 0.0228 0.0008 0.0292 0.0125 0.0112
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0307 0.1731 0.2507 0.0878 0.1056 0.1731 0.2507 1.2028 0.0013 0.0000 0.0931 0.0000 0.2507 0.0878 0.1056
168-AH 0.0000 0.0000 0.0000 0.0005 0.1507 0.0167 0.0473 0.0005 0.1507 2.8285 0.0001 0.0000 0.0268 0.0000 0.0005 0.0001 0.0002
169-AH 0.0000 0.0000 0.0105 0.0704 0.2270 0.0585 0.0884 0.0704 0.2270 1.5128 0.0016 0.0000 0.0667 0.0000 0.0704 0.0182 0.0282
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0024 0.0064 0.0280 0.1190 0.1426 0.0516 0.0558 0.1126 0.1402 1.0799 0.0224 0.0093 0.0466 0.0024 0.1426 0.0516 0.0558
172-AH 0.0000 0.0020 0.0060 0.0092 0.0106 0.0058 0.0041 0.0072 0.0106 0.7024 0.0018 0.0000 0.0033 0.0000 0.0106 0.0058 0.0041
173-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9667 0.0703 0.0000 0.1667 0.0727 0.9642 0.9615 0.0533 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0002 0.0003 0.2550 0.8130 0.8780 0.3850 0.4179 0.8127 0.8778 1.0855 0.0164 0.0007 0.3846 0.0002 0.8780 0.3850 0.4179
176-AH 0.0502 0.1213 0.4521 0.8638 0.9143 0.4644 0.3844 0.7424 0.8641 0.8277 0.2789 0.1540 0.3595 0.0502 0.9143 0.4644 0.3844
177-AH 0.0330 0.0457 0.0885 0.2030 0.5489 0.1762 0.1998 0.1574 0.5158 1.1336 0.1082 0.0768 0.1526 0.0330 0.2030 0.0842 0.0541
178-AH 0.0000 0.0000 0.0029 0.0526 0.2215 0.0443 0.0793 0.0526 0.2215 1.7894 0.0016 0.0000 0.0594 0.0000 0.0526 0.0082 0.0180
179-AH 0.0000 0.0001 0.0004 0.0018 0.1597 0.0166 0.0503 0.0017 0.1597 3.0359 0.0004 0.0000 0.0286 0.0000 0.0021 0.0007 0.0008
180-AH 0.0000 0.0000 0.0027 0.0350 0.4300 0.0510 0.1339 0.0350 0.4300 2.6284 0.0011 0.0000 0.0758 0.0000 0.0353 0.0088 0.0150
181-AH 0.0218 0.0533 0.6002 0.7044 0.7993 0.4799 0.3108 0.6512 0.7775 0.6476 0.2837 0.1058 0.2625 0.0218 0.7993 0.4799 0.3108
182-AH 0.0000 0.0039 0.0154 0.1539 0.1940 0.0584 0.0794 0.1500 0.1940 1.3584 0.0063 0.0000 0.0682 0.0000 0.1940 0.0584 0.0794
183-AH 0.2615 0.2892 0.3622 0.4188 0.6292 0.3761 0.1084 0.1297 0.3677 0.2881 0.3639 0.3534 0.0794 0.2615 0.4396 0.3480 0.0657
184-AH 0.0006 0.0008 0.0028 0.0620 0.1576 0.0298 0.0518 0.0611 0.1570 1.7366 0.0046 0.0014 0.0391 0.0006 0.0654 0.0156 0.0273
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.6241 0.6455 0.7868 0.9617 1.0000 0.8059 0.1504 0.3162 0.3759 0.1866 0.7932 0.7806 0.1349 0.6241 1.0000 0.8059 0.1504
190-AH 0.0000 0.0016 0.0088 0.0521 0.1329 0.0340 0.0479 0.0505 0.1329 1.4057 0.0049 0.0001 0.0373 0.0000 0.1036 0.0231 0.0349
337
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0311 0.1061 0.3456 0.7244 0.7749 0.3787 0.3070 0.6183 0.7437 0.8108 0.2294 0.1163 0.2760 0.0311 0.7749 0.3787 0.3070
193-AH 0.0000 0.0000 0.0853 0.2378 0.3820 0.1266 0.1429 0.2378 0.3820 1.1289 0.0036 0.0000 0.1263 0.0000 0.3820 0.1266 0.1429
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0006 0.0046 0.1771 0.8945 0.9203 0.3940 0.4419 0.8899 0.9198 1.1216 0.0519 0.0039 0.3993 0.0006 0.9203 0.3940 0.4419
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0419 0.1407 0.4017 0.6600 0.6729 0.3828 0.2862 0.5193 0.6311 0.7477 0.2534 0.1474 0.2683 0.0419 0.6729 0.3828 0.2862
200-AH 0.0001 0.0152 0.0176 0.0272 0.5829 0.0749 0.1787 0.0121 0.5828 2.3872 0.0166 0.0012 0.1016 0.0001 0.0357 0.0184 0.0098
251-AH 0.1736 0.3587 0.3983 0.4338 0.4699 0.3789 0.0877 0.0750 0.2963 0.2314 0.3667 0.3503 0.0628 0.3034 0.4699 0.4017 0.0529
252-AH 0.0126 0.0461 0.1391 0.2396 0.3544 0.1490 0.1087 0.1935 0.3417 0.7297 0.1051 0.0602 0.0833 0.0126 0.3544 0.1490 0.1087
253-AH 0.2327 0.2551 0.3216 0.4086 0.4349 0.3362 0.0749 0.1534 0.2022 0.2228 0.3285 0.3207 0.0632 0.2327 0.4349 0.3362 0.0749
254-AH 0.0022 0.0331 0.0606 0.1288 0.2194 0.0807 0.0723 0.0956 0.2171 0.8964 0.0426 0.0130 0.0578 0.0022 0.2194 0.0807 0.0723
255-AH 0.0000 0.0000 0.0477 0.2643 0.8875 0.2284 0.3580 0.2643 0.8875 1.5680 0.0034 0.0000 0.2708 0.0000 0.2643 0.0636 0.0982
256-AH 0.0100 0.0328 0.3941 0.8551 0.8914 0.4406 0.4256 0.8223 0.8814 0.9658 0.1661 0.0496 0.4010 0.0100 0.8914 0.4406 0.4256
257-AH 0.0018 0.0109 0.0410 0.1338 0.1981 0.0689 0.0703 0.1229 0.1963 1.0193 0.0323 0.0110 0.0591 0.0018 0.1981 0.0689 0.0703
258-AH 0.0000 0.0000 0.0002 0.0030 0.0061 0.0015 0.0023 0.0030 0.0061 1.5560 0.0001 0.0000 0.0019 0.0000 0.0061 0.0015 0.0023
259-AH 0.0003 0.0009 0.0031 0.0094 0.3457 0.0387 0.1080 0.0085 0.3453 2.7884 0.0037 0.0012 0.0614 0.0003 0.0185 0.0046 0.0059
260-AH 0.0076 0.0432 0.1918 0.3887 0.6933 0.2538 0.2592 0.3455 0.6858 1.0214 0.1261 0.0451 0.2023 0.0076 0.6933 0.2538 0.2592
261-AH 0.0004 0.0030 0.0076 0.0630 0.0670 0.0236 0.0288 0.0600 0.0665 1.2234 0.0078 0.0022 0.0246 0.0004 0.0670 0.0236 0.0288
262-AH 0.0017 0.0135 0.0301 0.0819 0.1962 0.0514 0.0589 0.0683 0.1945 1.1448 0.0245 0.0082 0.0420 0.0017 0.0862 0.0354 0.0315
263-AH 0.0000 0.0000 0.0000 0.0003 0.0075 0.0008 0.0023 0.0003 0.0075 2.7675 0.0001 0.0000 0.0013 0.0000 0.0006 0.0001 0.0002
264-AH 0.0079 0.0913 0.1080 0.2007 0.4631 0.1490 0.1345 0.1094 0.4552 0.9025 0.0924 0.0415 0.0966 0.0079 0.2663 0.1141 0.0815
265-AH 0.0000 0.0000 0.0085 0.2212 0.6962 0.1838 0.2812 0.2212 0.6962 1.5294 0.0014 0.0000 0.2172 0.0000 0.2212 0.0574 0.1011
266-AH 0.0000 0.0000 0.0071 0.0453 0.0937 0.0290 0.0380 0.0453 0.0937 1.3094 0.0018 0.0000 0.0318 0.0000 0.0937 0.0290 0.0380
267-AH 0.0081 0.0402 0.0793 0.1079 0.2181 0.0834 0.0609 0.0677 0.2100 0.7301 0.0583 0.0324 0.0436 0.0081 0.1150 0.0684 0.0406
268-AH 0.0000 0.0000 0.0087 0.1508 0.6667 0.1263 0.2136 0.1508 0.6667 1.6917 0.0022 0.0000 0.1480 0.0000 0.2884 0.0662 0.1037
269-AH 0.0024 0.0145 0.0584 0.1116 0.2154 0.0802 0.0787 0.0971 0.2130 0.9818 0.0397 0.0132 0.0614 0.0024 0.2154 0.0802 0.0787
270-AH 0.0072 0.0231 0.2071 0.7251 0.7362 0.3395 0.3462 0.7019 0.7290 1.0196 0.1163 0.0317 0.3120 0.0072 0.7362 0.3395 0.3462
271-AH 0.0667 0.1491 0.2250 0.6111 0.6762 0.3429 0.2560 0.4620 0.6095 0.7467 0.2499 0.1789 0.2305 0.0667 0.6762 0.3429 0.2560
272-AH 0.0000 0.0000 0.0000 0.1560 0.1800 0.0621 0.0820 0.1560 0.1800 1.3205 0.0005 0.0000 0.0745 0.0000 0.1800 0.0621 0.0820
273-AH 0.0148 0.0193 0.0256 0.0394 0.6543 0.0924 0.1981 0.0201 0.6396 2.1443 0.0368 0.0269 0.1124 0.0148 0.0394 0.0249 0.0087
274-AH 0.0019 0.0069 0.0158 0.0225 0.0314 0.0166 0.0100 0.0156 0.0295 0.6032 0.0129 0.0084 0.0082 0.0019 0.0314 0.0166 0.0100
275-AH 0.0178 0.1836 0.2546 0.3876 0.4752 0.2671 0.1487 0.2040 0.4574 0.5568 0.2035 0.1062 0.1235 0.0178 0.4752 0.2671 0.1487
276-AH 0.0000 0.0005 0.0343 0.1157 0.3221 0.0846 0.1104 0.1153 0.3221 1.3052 0.0078 0.0001 0.0869 0.0000 0.2205 0.0582 0.0767
277-AH 0.0111 0.0160 0.0588 0.1338 0.1621 0.0737 0.0610 0.1177 0.1511 0.8268 0.0474 0.0298 0.0549 0.0111 0.1621 0.0737 0.0610
278-AH 0.0000 0.0000 0.0014 0.0349 0.1151 0.0201 0.0363 0.0349 0.1151 1.8083 0.0006 0.0000 0.0251 0.0000 0.0358 0.0095 0.0152
279-AH 0.0000 0.0017 0.0043 0.0132 0.0366 0.0085 0.0110 0.0115 0.0366 1.2978 0.0030 0.0001 0.0078 0.0000 0.0147 0.0054 0.0052
280-AH 0.0018 0.0028 0.0039 0.0067 0.0097 0.0047 0.0026 0.0039 0.0079 0.5514 0.0041 0.0036 0.0021 0.0018 0.0097 0.0047 0.0026
281-AH 0.0319 0.1103 0.1862 0.2358 0.4449 0.2041 0.1409 0.1255 0.4130 0.6907 0.1589 0.1151 0.1048 0.0319 0.2358 0.1447 0.0734
282-AH 0.0837 0.1263 0.2048 0.2437 0.2605 0.1922 0.0616 0.1174 0.1768 0.3207 0.1813 0.1687 0.0499 0.0837 0.2605 0.1922 0.0616
283-AH 0.0026 0.0038 0.0487 0.1735 0.3606 0.1143 0.1389 0.1697 0.3581 1.2153 0.0285 0.0074 0.1146 0.0026 0.3606 0.1143 0.1389
284-AH 0.0005 0.0071 0.1394 0.2356 0.3826 0.1445 0.1343 0.2285 0.3821 0.9299 0.0483 0.0044 0.1181 0.0005 0.3826 0.1445 0.1343
285-AH 0.0000 0.0004 0.0009 0.0364 0.1035 0.0241 0.0372 0.0360 0.1035 1.5412 0.0025 0.0003 0.0286 0.0000 0.0754 0.0153 0.0261
286-AH 0.0000 0.0006 0.0025 0.0036 0.0053 0.0025 0.0019 0.0031 0.0053 0.7589 0.0009 0.0000 0.0015 0.0000 0.0053 0.0025 0.0019
287-AH 0.0479 0.0786 0.3627 0.3685 0.4773 0.2824 0.1684 0.2899 0.4294 0.5963 0.2109 0.1358 0.1435 0.0479 0.4773 0.2824 0.1684
288-AH 0.0025 0.0039 0.0206 0.1046 0.2423 0.0660 0.0918 0.1007 0.2398 1.3909 0.0208 0.0078 0.0732 0.0025 0.2423 0.0660 0.0918
289-AH 0.0000 0.0000 0.0000 0.0000 0.2304 0.0230 0.0728 0.0000 0.2304 3.1623 0.0000 0.0000 0.0415 0.0000 0.0000 0.0000 0.0000
290-AH 0.0035 0.0051 0.0065 0.0093 0.0810 0.0148 0.0236 0.0043 0.0775 1.5972 0.0085 0.0066 0.0138 0.0035 0.0093 0.0062 0.0021
338
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0118 0.0153 0.0288 0.0445 0.0679 0.0335 0.0181 0.0292 0.0562 0.5410 0.0290 0.0248 0.0147 0.0118 0.0679 0.0335 0.0181
292-AH 0.0149 0.1372 0.1779 0.2293 1.0000 0.3174 0.3663 0.0921 0.9851 1.1541 0.1751 0.0817 0.2731 0.0149 0.2293 0.1467 0.0779
293-AH 0.0000 0.0000 0.0103 0.0883 0.3754 0.0625 0.1165 0.0883 0.3754 1.8623 0.0009 0.0000 0.0758 0.0000 0.1028 0.0278 0.0408
294-AH 0.1027 0.2216 0.3334 0.6930 0.7250 0.4198 0.2490 0.4713 0.6222 0.5931 0.3438 0.2710 0.2203 0.1027 0.7250 0.4198 0.2490
295-AH 0.0001 0.0002 0.0036 0.0067 0.1484 0.0177 0.0460 0.0065 0.1483 2.5952 0.0018 0.0003 0.0261 0.0001 0.0104 0.0032 0.0036
296-AH 0.0002 0.0004 0.0084 0.0416 0.0656 0.0219 0.0257 0.0412 0.0654 1.1705 0.0040 0.0006 0.0226 0.0002 0.0656 0.0219 0.0257
297-AH 0.0000 0.0000 0.0023 0.1524 0.1861 0.0503 0.0792 0.1524 0.1861 1.5755 0.0010 0.0000 0.0684 0.0000 0.1861 0.0503 0.0792
298-AH 0.0009 0.0033 0.0089 0.0117 0.2055 0.0270 0.0629 0.0084 0.2046 2.3251 0.0072 0.0033 0.0357 0.0009 0.0150 0.0072 0.0053
299-AH 0.0000 0.0014 0.0227 0.0872 0.2881 0.0589 0.0886 0.0858 0.2881 1.5046 0.0093 0.0002 0.0605 0.0000 0.0911 0.0334 0.0391
300-AH 0.0007 0.0052 0.0334 0.1803 0.2154 0.0747 0.0887 0.1751 0.2148 1.1877 0.0225 0.0042 0.0749 0.0007 0.2154 0.0747 0.0887
301-AH 0.0000 0.0000 0.0002 0.0005 0.0023 0.0006 0.0009 0.0005 0.0023 1.4996 0.0001 0.0000 0.0007 0.0000 0.0005 0.0002 0.0002
302-AH 0.0499 0.1276 0.2905 0.3296 0.4006 0.2546 0.1201 0.2020 0.3506 0.4718 0.2173 0.1691 0.0970 0.0499 0.4006 0.2546 0.1201
303-AH 0.0000 0.0303 0.0906 0.2660 0.3805 0.1382 0.1313 0.2357 0.3805 0.9500 0.0386 0.0001 0.1094 0.0000 0.3805 0.1382 0.1313
304-AH 0.0000 0.0001 0.0272 0.2330 0.2685 0.0888 0.1152 0.2329 0.2685 1.2968 0.0028 0.0000 0.0968 0.0000 0.2685 0.0888 0.1152
305-AH 0.0000 0.0036 0.0154 0.0209 0.2731 0.0609 0.1069 0.0173 0.2731 1.7563 0.0091 0.0002 0.0808 0.0000 0.0209 0.0104 0.0090
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0002 0.0007 0.0034 0.0006 0.0011 0.0007 0.0034 1.7170 0.0001 0.0000 0.0008 0.0000 0.0016 0.0003 0.0005
308-AH 0.3706 0.5659 0.5981 0.7221 0.7264 0.6132 0.1121 0.1561 0.3557 0.1828 0.6026 0.5903 0.0864 0.3706 0.7264 0.6132 0.1121
309-AH 0.0229 0.0238 0.0476 0.0650 0.1258 0.0520 0.0306 0.0411 0.1030 0.5879 0.0454 0.0400 0.0206 0.0229 0.1258 0.0520 0.0306
310-AH 0.0006 0.0021 0.0145 0.0478 0.1340 0.0374 0.0493 0.0457 0.1334 1.3173 0.0099 0.0025 0.0379 0.0006 0.1146 0.0267 0.0379
311-AH 0.0274 0.0638 0.0882 0.1667 0.2240 0.1161 0.0713 0.1030 0.1967 0.6141 0.0959 0.0774 0.0613 0.0274 0.2240 0.1161 0.0713
312-AH 0.0000 0.0000 0.0001 0.0006 0.2653 0.0364 0.0860 0.0006 0.2653 2.3630 0.0002 0.0000 0.0580 0.0000 0.0006 0.0002 0.0003
313-AH 0.0010 0.0057 0.0135 0.0368 0.0411 0.0180 0.0158 0.0311 0.0401 0.8794 0.0100 0.0040 0.0131 0.0010 0.0411 0.0180 0.0158
314-AH 0.0001 0.0004 0.0202 0.0697 0.0824 0.0309 0.0346 0.0693 0.0824 1.1190 0.0048 0.0005 0.0303 0.0001 0.0824 0.0309 0.0346
315-AH 0.0025 0.0038 0.0099 0.0183 0.0217 0.0106 0.0071 0.0146 0.0192 0.6676 0.0083 0.0062 0.0060 0.0025 0.0217 0.0106 0.0071
316-AH 0.0004 0.1624 0.1713 0.1992 0.2359 0.1629 0.0670 0.0368 0.2355 0.4111 0.0961 0.0038 0.0423 0.1146 0.2359 0.1810 0.0371
317-AH 0.0097 0.0130 0.0190 0.0293 0.1673 0.0343 0.0475 0.0163 0.1577 1.3857 0.0223 0.0179 0.0273 0.0097 0.0376 0.0195 0.0092
318-AH 0.0000 0.0005 0.0197 0.0635 0.0687 0.0294 0.0296 0.0630 0.0687 1.0089 0.0041 0.0000 0.0262 0.0000 0.0687 0.0294 0.0296
319-AH 0.1524 0.2986 0.3336 0.3612 0.3633 0.3127 0.0662 0.0627 0.2109 0.2117 0.3042 0.2930 0.0463 0.2580 0.3633 0.3305 0.0369
320-AH 0.0022 0.0079 0.0110 0.0154 0.0402 0.0132 0.0105 0.0075 0.0380 0.7950 0.0103 0.0078 0.0066 0.0022 0.0168 0.0102 0.0047
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0001 0.0075 0.0197 0.2535 0.0482 0.0901 0.0196 0.2535 1.8712 0.0020 0.0000 0.0667 0.0000 0.0197 0.0064 0.0087
323-AH 0.0026 0.0207 0.0284 0.0543 0.0859 0.0373 0.0285 0.0335 0.0834 0.7649 0.0264 0.0143 0.0226 0.0026 0.0859 0.0373 0.0285
324-AH 0.0002 0.0006 0.0088 0.0127 0.0201 0.0081 0.0076 0.0121 0.0199 0.9340 0.0032 0.0008 0.0061 0.0002 0.0201 0.0081 0.0076
325-AH 0.0042 0.0233 0.0439 0.0927 0.1179 0.0537 0.0406 0.0694 0.1137 0.7557 0.0374 0.0211 0.0332 0.0042 0.1179 0.0537 0.0406
326-AH 0.0000 0.0000 0.0322 0.0885 0.3439 0.0739 0.1088 0.0885 0.3439 1.4723 0.0032 0.0000 0.0754 0.0000 0.1545 0.0439 0.0566
327-AH 0.0000 0.0000 0.0003 0.0021 0.0275 0.0035 0.0085 0.0021 0.0275 2.4367 0.0003 0.0000 0.0048 0.0000 0.0024 0.0008 0.0010
328-AH 0.0002 0.0411 0.3559 0.4735 0.6847 0.3068 0.2361 0.4324 0.6845 0.7697 0.0731 0.0011 0.1951 0.0002 0.6847 0.3068 0.2361
329-AH 0.0781 0.0889 0.4021 0.4604 0.6411 0.3620 0.2134 0.3715 0.5630 0.5894 0.2801 0.1953 0.1671 0.0781 0.6411 0.3620 0.2134
330-AH 0.0000 0.0000 0.2765 0.6562 0.7323 0.3307 0.3504 0.6562 0.7323 1.0595 0.0053 0.0000 0.3292 0.0000 0.7323 0.3307 0.3504
331-AH 0.0000 0.0003 0.0259 0.1103 0.1259 0.0504 0.0560 0.1100 0.1259 1.1111 0.0042 0.0001 0.0499 0.0000 0.1259 0.0504 0.0560
332-AH 0.0000 0.0000 0.0964 0.3385 0.3477 0.1556 0.1699 0.3385 0.3477 1.0918 0.0017 0.0000 0.1556 0.0000 0.3477 0.1556 0.1699
333-AH 0.0021 0.0029 0.0055 0.0229 1.0000 0.1077 0.3137 0.0201 0.9979 2.9135 0.0095 0.0048 0.1785 0.0021 0.0252 0.0085 0.0090
334-AH 0.0000 0.0000 0.0003 0.0007 0.0738 0.0082 0.0231 0.0007 0.0738 2.8360 0.0002 0.0000 0.0131 0.0000 0.0007 0.0002 0.0003
335-AH 0.0000 0.0000 0.0002 0.0063 0.0664 0.0084 0.0206 0.0063 0.0664 2.4484 0.0003 0.0000 0.0116 0.0000 0.0068 0.0020 0.0029
336-AH 0.0000 0.0000 0.0026 0.0226 0.0759 0.0151 0.0251 0.0226 0.0759 1.6619 0.0007 0.0000 0.0186 0.0000 0.0399 0.0083 0.0139
337-AH 0.0034 0.0239 0.4163 0.8679 0.8803 0.4427 0.4320 0.8440 0.8769 0.9759 0.1405 0.0238 0.4085 0.0034 0.8803 0.4427 0.4320
338-AH 0.0000 0.0005 0.1257 0.4128 0.7631 0.2475 0.3025 0.4123 0.7631 1.2223 0.0128 0.0000 0.2446 0.0000 0.7631 0.2475 0.3025
339-AH 0.0000 0.0000 0.1179 0.2496 0.4587 0.1458 0.1661 0.2496 0.4587 1.1393 0.0032 0.0000 0.1456 0.0000 0.4587 0.1458 0.1661
340-AH 0.0000 0.0000 0.0000 0.0008 0.0784 0.0080 0.0247 0.0008 0.0784 3.0786 0.0001 0.0000 0.0141 0.0000 0.0009 0.0002 0.0004
339
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0768 0.0953 0.1928 0.8297 0.9048 0.4198 0.3724 0.7344 0.8280 0.8870 0.2681 0.1763 0.3421 0.0768 0.9048 0.4198 0.3724
342-AH 0.1089 0.1676 0.2197 0.6061 0.6510 0.3482 0.2396 0.4385 0.5421 0.6883 0.2735 0.2171 0.2186 0.1089 0.6510 0.3482 0.2396
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0014 0.0260 0.2689 0.5765 0.6703 0.3037 0.3030 0.5504 0.6689 0.9978 0.0871 0.0107 0.2831 0.0014 0.6703 0.3037 0.3030
345-AH 0.0000 0.0000 0.0000 0.0001 0.0432 0.0063 0.0144 0.0001 0.0432 2.2766 0.0001 0.0000 0.0101 0.0000 0.0001 0.0000 0.0000
346-AH 0.0002 0.0004 0.0206 0.0450 0.0529 0.0228 0.0232 0.0446 0.0528 1.0195 0.0045 0.0006 0.0217 0.0002 0.0529 0.0228 0.0232
347-AH 0.0000 0.0000 0.0098 0.0459 0.0474 0.0204 0.0229 0.0459 0.0474 1.1193 0.0012 0.0000 0.0206 0.0000 0.0474 0.0204 0.0229
348-AH 0.0000 0.0000 0.1458 1.0000 1.0000 0.4125 0.4805 1.0000 1.0000 1.1649 0.0027 0.0000 0.4367 0.0000 1.0000 0.4125 0.4805
349-AH 0.0004 0.0007 0.1873 0.5249 0.6060 0.2580 0.2775 0.5242 0.6056 1.0758 0.0215 0.0015 0.2568 0.0004 0.6060 0.2580 0.2775
350-AH 0.0000 0.0853 0.2354 0.4669 0.5118 0.2596 0.2098 0.3816 0.5118 0.8084 0.0465 0.0001 0.1799 0.0000 0.5118 0.2596 0.2098
340
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0000 0.1250 0.5625 0.8750 1.0000 0.5500 0.3918 0.7500 1.0000 0.7123 0.1622 0.0001 0.3500 0.0000 1.0000 0.5500 0.3918
143-AH 0.0000 0.0000 0.0000 0.0256 0.4872 0.0564 0.1518 0.0256 0.4872 2.6917 0.0003 0.0000 0.0862 0.0000 0.0256 0.0085 0.0128
144-AH 0.0000 0.0000 0.1667 0.3333 0.6667 0.2333 0.2744 0.3333 0.6667 1.1761 0.0021 0.0000 0.2333 0.0000 0.6667 0.2333 0.2744
145-AH 0.1579 0.2895 0.3289 0.3684 0.4474 0.3132 0.0948 0.0789 0.2895 0.3029 0.2974 0.2788 0.0716 0.2895 0.4474 0.3520 0.0544
146-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
147-AH 0.0000 0.0392 0.0686 0.0980 0.0980 0.0608 0.0351 0.0588 0.0980 0.5781 0.0252 0.0001 0.0294 0.0000 0.0980 0.0608 0.0351
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.5455 0.0545 0.1725 0.0000 0.5455 3.1623 0.0000 0.0000 0.0982 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0476 0.0952 0.1429 0.2857 0.3333 0.1714 0.1127 0.1905 0.2857 0.6573 0.1366 0.1070 0.0952 0.0476 0.3333 0.1714 0.1127
155-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0909 0.0909 0.1364 0.0682 0.0536 0.0909 0.1364 0.7857 0.0060 0.0000 0.0455 0.0000 0.1364 0.0682 0.0536
157-AH 0.0216 0.0504 0.2518 0.4173 0.4388 0.2367 0.1954 0.3669 0.4173 0.8257 0.1372 0.0707 0.1835 0.0216 0.4388 0.2367 0.1954
158-AH 0.0000 0.0000 0.0294 0.1765 0.2941 0.0765 0.1076 0.1765 0.2941 1.4068 0.0022 0.0000 0.0894 0.0000 0.2941 0.0765 0.1076
159-AH 0.0000 0.0000 0.0000 0.0000 0.0741 0.0093 0.0235 0.0000 0.0741 2.5386 0.0001 0.0000 0.0148 0.0000 0.0000 0.0000 0.0000
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
163-AH 0.3607 0.4262 0.5287 0.6885 0.8607 0.5746 0.1849 0.2623 0.5000 0.3218 0.5487 0.5248 0.1566 0.3607 0.8607 0.5746 0.1849
164-AH 0.0000 0.0000 0.0000 0.0741 0.1111 0.0296 0.0420 0.0741 0.1111 1.4191 0.0003 0.0000 0.0356 0.0000 0.1111 0.0296 0.0420
165-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4000 0.5164 1.0000 1.0000 1.2910 0.0010 0.0000 0.4800 0.0000 1.0000 0.4000 0.5164
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0600 0.0966 0.2000 0.2000 1.6102 0.0002 0.0000 0.0840 0.0000 0.2000 0.0600 0.0966
168-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0167 0.0527 0.0000 0.1667 3.1623 0.0000 0.0000 0.0300 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0333 0.0703 0.0000 0.1667 2.1082 0.0001 0.0000 0.0533 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
171-AH 0.0000 0.0000 0.0263 0.1053 0.1053 0.0421 0.0484 0.1053 0.1053 1.1487 0.0009 0.0000 0.0421 0.0000 0.1053 0.0421 0.0484
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9000 0.2108 0.0000 0.5000 0.2342 0.8706 0.8333 0.1600 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.2143 0.7143 0.8571 0.3571 0.3941 0.7143 0.8571 1.1035 0.0026 0.0000 0.3571 0.0000 0.8571 0.3571 0.3941
176-AH 0.0513 0.2564 0.4744 0.7949 0.8205 0.4667 0.3086 0.5385 0.7692 0.6613 0.3345 0.1985 0.2769 0.0513 0.8205 0.4667 0.3086
177-AH 0.0000 0.0000 0.1154 0.3077 0.5385 0.1769 0.1954 0.3077 0.5385 1.1047 0.0101 0.0000 0.1554 0.0000 0.5385 0.1769 0.1954
178-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0750 0.1687 0.0000 0.5000 2.2498 0.0001 0.0000 0.1200 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0000 0.0000 0.1364 0.0136 0.0431 0.0000 0.1364 3.1623 0.0000 0.0000 0.0245 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0425 0.1259 0.0000 0.4000 2.9614 0.0001 0.0000 0.0715 0.0000 0.0000 0.0000 0.0000
181-AH 0.0543 0.1196 0.5978 0.7174 0.7174 0.4880 0.2755 0.5978 0.6630 0.5645 0.3623 0.2178 0.2341 0.0543 0.7174 0.4880 0.2755
182-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0250 0.0791 0.0000 0.2500 3.1623 0.0000 0.0000 0.0450 0.0000 0.0000 0.0000 0.0000
183-AH 0.2500 0.2500 0.2500 0.2500 0.5000 0.3000 0.1054 0.0000 0.2500 0.3514 0.2872 0.2778 0.0800 0.2500 0.2500 0.2500 0.0000
184-AH 0.0000 0.0000 0.0000 0.1111 0.2222 0.0556 0.0944 0.1111 0.2222 1.6997 0.0002 0.0000 0.0778 0.0000 0.2222 0.0556 0.0944
185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1000 0.3162 0.0000 1.0000 3.1623 0.0000 0.0000 0.1800 0.0000 0.0000 0.0000 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.7143 0.7143 0.7143 0.8571 1.0000 0.7714 0.0999 0.1429 0.2857 0.1295 0.7662 0.7614 0.0800 0.7143 1.0000 0.7714 0.0999
190-AH 0.0000 0.0000 0.0000 0.1111 0.2222 0.0667 0.0937 0.1111 0.2222 1.4055 0.0005 0.0000 0.0800 0.0000 0.2222 0.0667 0.0937
341
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.1667 0.1667 0.3333 0.6667 0.6667 0.4000 0.2509 0.5000 0.5000 0.6273 0.3239 0.2632 0.2333 0.1667 0.6667 0.4000 0.2509
193-AH 0.0000 0.0000 0.0714 0.2857 0.2857 0.1143 0.1313 0.2857 0.2857 1.1487 0.0015 0.0000 0.1143 0.0000 0.2857 0.1143 0.1313
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4000 0.5164 1.0000 1.0000 1.2910 0.0010 0.0000 0.4800 0.0000 1.0000 0.4000 0.5164
197-AH 0.0000 0.0000 0.2300 0.7800 0.9000 0.3780 0.4069 0.7800 0.9000 1.0764 0.0131 0.0000 0.3660 0.0000 0.9000 0.3780 0.4069
198-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.2000 0.4000 0.7000 0.7000 0.4000 0.3055 0.5000 0.7000 0.7638 0.0508 0.0000 0.2800 0.0000 0.7000 0.4000 0.3055
200-AH 0.0000 0.0000 0.0000 0.0000 0.5556 0.0556 0.1757 0.0000 0.5556 3.1623 0.0000 0.0000 0.1000 0.0000 0.0000 0.0000 0.0000
251-AH 0.2308 0.4000 0.4538 0.5231 0.5231 0.4354 0.0949 0.1231 0.2923 0.2179 0.4240 0.4102 0.0723 0.2308 0.5231 0.4354 0.0949
252-AH 0.0345 0.1034 0.1379 0.2759 0.3448 0.1828 0.1029 0.1724 0.3103 0.5629 0.1527 0.1191 0.0883 0.0345 0.3448 0.1828 0.1029
253-AH 0.3316 0.3474 0.3684 0.4316 0.4526 0.3853 0.0455 0.0842 0.1211 0.1182 0.3829 0.3806 0.0402 0.3316 0.4526 0.3853 0.0455
254-AH 0.0349 0.0873 0.1572 0.2096 0.3362 0.1598 0.0985 0.1223 0.3013 0.6161 0.1271 0.0935 0.0786 0.0349 0.3362 0.1598 0.0985
255-AH 0.0000 0.0000 0.0000 0.2500 0.7500 0.2000 0.3073 0.2500 0.7500 1.5366 0.0007 0.0000 0.2400 0.0000 0.2500 0.0625 0.1157
256-AH 0.0000 0.0588 0.4118 0.7941 0.8235 0.4265 0.3838 0.7353 0.8235 0.8999 0.1008 0.0001 0.3618 0.0000 0.8235 0.4265 0.3838
257-AH 0.0159 0.0635 0.1111 0.1905 0.2698 0.1222 0.0840 0.1270 0.2540 0.6873 0.0910 0.0603 0.0714 0.0159 0.2698 0.1222 0.0840
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0333 0.1054 0.0000 0.3333 3.1623 0.0000 0.0000 0.0600 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.2540 0.3651 0.6032 0.2508 0.2263 0.3651 0.6032 0.9024 0.0142 0.0000 0.1810 0.0000 0.6032 0.2508 0.2263
261-AH 0.0000 0.0000 0.0147 0.1176 0.2059 0.0559 0.0752 0.1176 0.2059 1.3464 0.0010 0.0000 0.0612 0.0000 0.2059 0.0559 0.0752
262-AH 0.0000 0.0471 0.0941 0.1412 0.2588 0.0953 0.0793 0.0941 0.2588 0.8322 0.0162 0.0000 0.0579 0.0000 0.2588 0.0953 0.0793
263-AH 0.0000 0.0000 0.0000 0.0000 0.0208 0.0042 0.0088 0.0000 0.0208 2.1082 0.0000 0.0000 0.0067 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0455 0.1136 0.2273 0.5000 0.1636 0.1563 0.1818 0.5000 0.9551 0.0499 0.0001 0.1236 0.0000 0.5000 0.1636 0.1563
265-AH 0.0000 0.0000 0.0000 0.1667 0.6667 0.1500 0.2415 0.1667 0.6667 1.6102 0.0006 0.0000 0.1800 0.0000 0.1667 0.0417 0.0772
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.0476 0.0952 0.1905 0.2857 0.1143 0.1009 0.1429 0.2857 0.8828 0.0176 0.0000 0.0857 0.0000 0.2857 0.1143 0.1009
268-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.1000 0.2250 0.0000 0.6667 2.2498 0.0001 0.0000 0.1600 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0556 0.2222 0.2222 0.0889 0.1021 0.2222 0.2222 1.1487 0.0013 0.0000 0.0889 0.0000 0.2222 0.0889 0.1021
270-AH 0.0175 0.0526 0.2368 0.6316 0.6316 0.3211 0.2785 0.5789 0.6140 0.8675 0.1792 0.0821 0.2509 0.0175 0.6316 0.3211 0.2785
271-AH 0.1667 0.1667 0.2708 0.5417 0.6250 0.3458 0.1935 0.3750 0.4583 0.5595 0.2982 0.2591 0.1733 0.1667 0.6250 0.3458 0.1935
272-AH 0.0000 0.0000 0.0000 0.2143 0.3571 0.1000 0.1396 0.2143 0.3571 1.3965 0.0006 0.0000 0.1200 0.0000 0.3571 0.1000 0.1396
273-AH 0.0602 0.0723 0.0843 0.1325 0.6506 0.1542 0.1807 0.0602 0.5904 1.1720 0.1104 0.0926 0.1118 0.0602 0.2169 0.0991 0.0503
274-AH 0.0000 0.0000 0.0000 0.0000 0.0625 0.0125 0.0264 0.0000 0.0625 2.1082 0.0001 0.0000 0.0200 0.0000 0.0000 0.0000 0.0000
275-AH 0.0455 0.2424 0.3182 0.3939 0.5303 0.3212 0.1412 0.1515 0.4848 0.4396 0.2759 0.2005 0.1091 0.0455 0.5303 0.3212 0.1412
276-AH 0.0000 0.0000 0.0847 0.2034 0.3051 0.1169 0.1223 0.2034 0.3051 1.0461 0.0072 0.0000 0.1031 0.0000 0.3051 0.1169 0.1223
277-AH 0.0000 0.0385 0.1154 0.2308 0.3077 0.1308 0.1060 0.1923 0.3077 0.8108 0.0429 0.0001 0.0923 0.0000 0.3077 0.1308 0.1060
278-AH 0.0000 0.0000 0.0000 0.0476 0.1429 0.0238 0.0463 0.0476 0.1429 1.9437 0.0001 0.0000 0.0333 0.0000 0.0476 0.0106 0.0210
279-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0400 0.0800 0.0160 0.0280 0.0400 0.0800 1.7480 0.0001 0.0000 0.0224 0.0000 0.0800 0.0160 0.0280
281-AH 0.0952 0.1667 0.2381 0.2857 0.5238 0.2667 0.1463 0.1190 0.4286 0.5485 0.2350 0.2080 0.1067 0.0952 0.2857 0.2024 0.0623
282-AH 0.1290 0.1613 0.2903 0.3548 0.3548 0.2613 0.0943 0.1935 0.2258 0.3609 0.2433 0.2239 0.0806 0.1290 0.3548 0.2613 0.0943
283-AH 0.0000 0.0000 0.1053 0.2632 0.3947 0.1526 0.1583 0.2632 0.3947 1.0370 0.0086 0.0000 0.1368 0.0000 0.3947 0.1526 0.1583
284-AH 0.0000 0.0263 0.1974 0.3421 0.3421 0.1921 0.1515 0.3158 0.3421 0.7884 0.0560 0.0001 0.1395 0.0000 0.3421 0.1921 0.1515
285-AH 0.0000 0.0000 0.0000 0.0725 0.1449 0.0377 0.0552 0.0725 0.1449 1.4640 0.0004 0.0000 0.0452 0.0000 0.1449 0.0377 0.0552
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0408 0.2041 0.4082 0.4694 0.5306 0.3408 0.1851 0.2653 0.4898 0.5430 0.2535 0.1429 0.1502 0.0408 0.5306 0.3408 0.1851
288-AH 0.0000 0.0132 0.0461 0.2237 0.3158 0.1053 0.1234 0.2105 0.3158 1.1726 0.0127 0.0000 0.1026 0.0000 0.3158 0.1053 0.1234
289-AH 0.0000 0.0000 0.0000 0.0000 0.3889 0.0389 0.1230 0.0000 0.3889 3.1623 0.0000 0.0000 0.0700 0.0000 0.0000 0.0000 0.0000
290-AH 0.0204 0.0204 0.0408 0.0408 0.2041 0.0510 0.0555 0.0204 0.1837 1.0873 0.0378 0.0317 0.0327 0.0204 0.0612 0.0340 0.0144
342
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0500 0.0550 0.1000 0.1333 1.0999 0.0021 0.0000 0.0467 0.0000 0.1333 0.0500 0.0550
292-AH 0.0000 0.0000 0.0000 0.5000 1.0000 0.2500 0.4249 0.5000 1.0000 1.6997 0.0003 0.0000 0.3500 0.0000 1.0000 0.2500 0.4249
293-AH 0.0000 0.0000 0.0294 0.0882 0.4706 0.0824 0.1440 0.0882 0.4706 1.7480 0.0011 0.0000 0.0871 0.0000 0.1176 0.0392 0.0488
294-AH 0.1111 0.2593 0.4630 0.6296 0.6667 0.4333 0.2153 0.3704 0.5556 0.4968 0.3651 0.2844 0.1763 0.1111 0.6667 0.4333 0.2153
295-AH 0.0000 0.0000 0.0000 0.0392 0.2549 0.0373 0.0792 0.0392 0.2549 2.1264 0.0003 0.0000 0.0482 0.0000 0.0588 0.0131 0.0219
296-AH 0.0000 0.0000 0.0208 0.1250 0.1667 0.0583 0.0686 0.1250 0.1667 1.1761 0.0010 0.0000 0.0617 0.0000 0.1667 0.0583 0.0686
297-AH 0.0000 0.0000 0.0000 0.1667 0.1667 0.0500 0.0805 0.1667 0.1667 1.6102 0.0002 0.0000 0.0700 0.0000 0.1667 0.0500 0.0805
298-AH 0.0000 0.0000 0.0333 0.0667 0.2667 0.0533 0.0789 0.0667 0.2667 1.4790 0.0041 0.0000 0.0480 0.0000 0.0667 0.0296 0.0261
299-AH 0.0000 0.0132 0.0789 0.1974 0.3158 0.1105 0.1084 0.1842 0.3158 0.9804 0.0152 0.0000 0.0905 0.0000 0.3158 0.1105 0.1084
300-AH 0.0000 0.0000 0.0000 0.2143 0.2381 0.0690 0.1114 0.2143 0.2381 1.6129 0.0002 0.0000 0.0967 0.0000 0.2381 0.0690 0.1114
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.1176 0.2353 0.3235 0.4706 0.4706 0.3412 0.1265 0.2353 0.3529 0.3707 0.3154 0.2846 0.1059 0.1176 0.4706 0.3412 0.1265
303-AH 0.0000 0.0000 0.1786 0.3571 0.5714 0.2000 0.1869 0.3571 0.5714 0.9344 0.0121 0.0000 0.1429 0.0000 0.5714 0.2000 0.1869
304-AH 0.0000 0.0000 0.0667 0.2667 0.3333 0.1267 0.1456 0.2667 0.3333 1.1491 0.0015 0.0000 0.1267 0.0000 0.3333 0.1267 0.1456
305-AH 0.0000 0.0000 0.0000 0.0328 0.2787 0.0607 0.1154 0.0328 0.2787 1.9028 0.0004 0.0000 0.0872 0.0000 0.0328 0.0061 0.0122
306-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3000 0.4830 1.0000 1.0000 1.6102 0.0003 0.0000 0.4200 0.0000 1.0000 0.3000 0.4830
307-AH 0.0000 0.0000 0.0000 0.0000 0.0130 0.0026 0.0055 0.0000 0.0130 2.1082 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000
308-AH 0.3636 0.5455 0.5455 0.6364 0.7273 0.5818 0.1067 0.0909 0.3636 0.1834 0.5722 0.5615 0.0800 0.5455 0.7273 0.6061 0.0787
309-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0400 0.0699 0.1000 0.2000 1.7480 0.0002 0.0000 0.0560 0.0000 0.2000 0.0400 0.0699
310-AH 0.0000 0.0317 0.0476 0.0794 0.2222 0.0698 0.0711 0.0476 0.2222 1.0175 0.0116 0.0000 0.0521 0.0000 0.0794 0.0397 0.0317
311-AH 0.0370 0.0741 0.1389 0.2037 0.2593 0.1463 0.0738 0.1296 0.2222 0.5044 0.1263 0.1046 0.0611 0.0370 0.2593 0.1463 0.0738
312-AH 0.0000 0.0000 0.0000 0.0000 0.3548 0.0548 0.1217 0.0000 0.3548 2.2192 0.0001 0.0000 0.0877 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0200 0.0258 0.0500 0.0500 1.2910 0.0003 0.0000 0.0240 0.0000 0.0500 0.0200 0.0258
314-AH 0.0000 0.0000 0.0000 0.1111 0.1111 0.0333 0.0537 0.1111 0.1111 1.6102 0.0002 0.0000 0.0467 0.0000 0.1111 0.0333 0.0537
315-AH 0.0000 0.0000 0.0508 0.0678 0.0847 0.0390 0.0320 0.0678 0.0847 0.8211 0.0039 0.0000 0.0278 0.0000 0.0847 0.0390 0.0320
316-AH 0.0000 0.2034 0.2500 0.2712 0.3390 0.2186 0.1092 0.0678 0.3390 0.4997 0.0817 0.0001 0.0786 0.2034 0.3390 0.2659 0.0484
317-AH 0.0000 0.0000 0.0167 0.1000 0.2000 0.0467 0.0670 0.1000 0.2000 1.4365 0.0009 0.0000 0.0520 0.0000 0.2000 0.0467 0.0670
318-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
319-AH 0.1579 0.3158 0.3421 0.3684 0.4211 0.3263 0.0736 0.0526 0.2632 0.2256 0.3167 0.3043 0.0526 0.2632 0.4211 0.3450 0.0464
320-AH 0.0000 0.0000 0.0000 0.0625 0.0625 0.0250 0.0323 0.0625 0.0625 1.2910 0.0003 0.0000 0.0300 0.0000 0.0625 0.0250 0.0323
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.2143 0.0429 0.0904 0.0000 0.2143 2.1082 0.0001 0.0000 0.0686 0.0000 0.0000 0.0000 0.0000
323-AH 0.0385 0.0385 0.0385 0.0769 0.0769 0.0538 0.0199 0.0385 0.0385 0.3689 0.0508 0.0481 0.0185 0.0385 0.0769 0.0538 0.0199
324-AH 0.0000 0.0000 0.0135 0.0405 0.0811 0.0230 0.0278 0.0405 0.0811 1.2103 0.0012 0.0000 0.0222 0.0000 0.0811 0.0230 0.0278
325-AH 0.0164 0.0656 0.0902 0.1967 0.2295 0.1115 0.0720 0.1311 0.2131 0.6459 0.0882 0.0635 0.0584 0.0164 0.2295 0.1115 0.0720
326-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0500 0.1054 0.0000 0.2500 2.1082 0.0001 0.0000 0.0800 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.1304 0.3261 0.4783 0.6087 0.3000 0.2115 0.3478 0.6087 0.7049 0.0421 0.0000 0.1783 0.0000 0.6087 0.3000 0.2115
329-AH 0.0588 0.1765 0.4118 0.4706 0.5882 0.3588 0.1970 0.2941 0.5294 0.5489 0.2784 0.1818 0.1576 0.0588 0.5882 0.3588 0.1970
330-AH 0.0000 0.0000 0.3137 0.6863 0.7059 0.3392 0.3509 0.6863 0.7059 1.0344 0.0059 0.0000 0.3314 0.0000 0.7059 0.3392 0.3509
331-AH 0.0000 0.0000 0.0000 0.0000 0.0588 0.0059 0.0186 0.0000 0.0588 3.1623 0.0000 0.0000 0.0106 0.0000 0.0000 0.0000 0.0000
332-AH 0.0000 0.0000 0.0625 0.2500 0.2500 0.1125 0.1243 0.2500 0.2500 1.1049 0.0015 0.0000 0.1125 0.0000 0.2500 0.1125 0.1243
333-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1000 0.3162 0.0000 1.0000 3.1623 0.0000 0.0000 0.1800 0.0000 0.0000 0.0000 0.0000
334-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0133 0.0422 0.0000 0.1333 3.1623 0.0000 0.0000 0.0240 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.1176 0.0235 0.0496 0.0000 0.1176 2.1082 0.0001 0.0000 0.0376 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0500 0.4250 0.7500 0.8000 0.4150 0.3575 0.7000 0.8000 0.8614 0.1028 0.0001 0.3350 0.0000 0.8000 0.4150 0.3575
338-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2300 0.2452 0.4000 0.6000 1.0660 0.0051 0.0000 0.2100 0.0000 0.6000 0.2300 0.2452
339-AH 0.0000 0.0000 0.1053 0.2105 0.4211 0.1316 0.1514 0.2105 0.4211 1.1508 0.0016 0.0000 0.1316 0.0000 0.4211 0.1316 0.1514
340-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
343
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1667 0.1667 0.1667 0.6667 0.8333 0.4000 0.3063 0.5000 0.6667 0.7658 0.3034 0.2415 0.2800 0.1667 0.8333 0.4000 0.3063
342-AH 0.1562 0.2292 0.2396 0.5208 0.5729 0.3458 0.1716 0.2917 0.4167 0.4963 0.3091 0.2783 0.1567 0.1562 0.5729 0.3458 0.1716
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0303 0.0303 0.2879 0.5455 0.5758 0.2879 0.2604 0.5152 0.5455 0.9045 0.1418 0.0656 0.2455 0.0303 0.5758 0.2879 0.2604
345-AH 0.0000 0.0000 0.0000 0.0000 0.1111 0.0111 0.0351 0.0000 0.1111 3.1623 0.0000 0.0000 0.0200 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.0909 0.0091 0.0287 0.0000 0.0909 3.1623 0.0000 0.0000 0.0164 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3500 0.4743 1.0000 1.0000 1.3553 0.0009 0.0000 0.4200 0.0000 1.0000 0.3500 0.4743
349-AH 0.0000 0.0000 0.1852 0.4444 0.5556 0.2333 0.2451 0.4444 0.5556 1.0504 0.0048 0.0000 0.2259 0.0000 0.5556 0.2333 0.2451
350-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2300 0.1494 0.2000 0.4000 0.6498 0.0354 0.0000 0.1160 0.0000 0.4000 0.2300 0.1494
344
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0469 0.2812 0.6172 0.9688 1.0000 0.6203 0.3624 0.6875 0.9531 0.5843 0.4670 0.2581 0.3172 0.0469 1.0000 0.6203 0.3624
143-AH 0.0178 0.0296 0.0431 0.0618 0.7094 0.1079 0.2119 0.0322 0.6917 1.9644 0.0506 0.0379 0.1203 0.0178 0.0644 0.0411 0.0167
144-AH 0.0000 0.0000 0.0556 0.4444 0.5556 0.1778 0.2235 0.4444 0.5556 1.2569 0.0018 0.0000 0.1911 0.0000 0.5556 0.1778 0.2235
145-AH 0.3573 0.4155 0.4280 0.5083 0.6143 0.4603 0.0886 0.0928 0.2569 0.1926 0.4533 0.4469 0.0702 0.3573 0.6143 0.4603 0.0886
146-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
147-AH 0.0642 0.0784 0.1528 0.1565 0.2495 0.1411 0.0656 0.0780 0.1853 0.4654 0.1274 0.1150 0.0516 0.0642 0.2495 0.1411 0.0656
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.0200 0.0020 0.0063 0.0000 0.0200 3.1623 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0139 0.0014 0.0044 0.0000 0.0139 3.1623 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0413 0.0579 0.0992 0.4628 0.0992 0.1319 0.0579 0.4628 1.3299 0.0313 0.0001 0.0760 0.0000 0.1157 0.0588 0.0347
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0884 0.0907 0.1814 0.3039 0.3379 0.1946 0.0991 0.2132 0.2494 0.5096 0.1718 0.1515 0.0807 0.0884 0.3379 0.1946 0.0991
155-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
156-AH 0.0269 0.0310 0.0362 0.0826 0.1116 0.0531 0.0334 0.0517 0.0847 0.6285 0.0456 0.0404 0.0281 0.0269 0.1116 0.0531 0.0334
157-AH 0.0841 0.1670 0.3850 0.5620 0.5692 0.3592 0.2105 0.3950 0.4851 0.5861 0.2923 0.2289 0.1953 0.0841 0.5692 0.3592 0.2105
158-AH 0.0260 0.0260 0.1055 0.1929 0.3702 0.1293 0.1189 0.1670 0.3443 0.9195 0.0824 0.0531 0.0930 0.0260 0.3702 0.1293 0.1189
159-AH 0.0000 0.0034 0.0168 0.0460 0.0916 0.0278 0.0321 0.0425 0.0916 1.1510 0.0047 0.0000 0.0253 0.0000 0.0916 0.0278 0.0321
160-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
163-AH 0.5574 0.6871 0.7592 0.9003 0.9489 0.7835 0.1331 0.2132 0.3916 0.1699 0.7730 0.7622 0.1112 0.5574 0.9489 0.7835 0.1331
164-AH 0.0000 0.0055 0.0192 0.1001 0.1550 0.0479 0.0565 0.0947 0.1550 1.1798 0.0065 0.0000 0.0470 0.0000 0.1550 0.0479 0.0565
165-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4000 0.5164 1.0000 1.0000 1.2910 0.0010 0.0000 0.4800 0.0000 1.0000 0.4000 0.5164
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.0800 0.1600 0.0360 0.0610 0.0800 0.1600 1.6932 0.0002 0.0000 0.0504 0.0000 0.1600 0.0360 0.0610
168-AH 0.0000 0.0000 0.0000 0.0617 0.3580 0.0522 0.1131 0.0617 0.3580 2.1686 0.0002 0.0000 0.0730 0.0000 0.1019 0.0182 0.0374
169-AH 0.0000 0.0000 0.0278 0.0833 0.1667 0.0528 0.0673 0.0833 0.1667 1.2760 0.0010 0.0000 0.0528 0.0000 0.1667 0.0528 0.0673
170-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
171-AH 0.0000 0.0000 0.0263 0.0803 0.1080 0.0388 0.0425 0.0803 0.1080 1.0958 0.0029 0.0000 0.0366 0.0000 0.1080 0.0388 0.0425
172-AH 0.0000 0.0000 0.0000 0.0408 0.1020 0.0184 0.0339 0.0408 0.1020 1.8481 0.0001 0.0000 0.0257 0.0000 0.1020 0.0184 0.0339
173-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9500 0.1054 0.0000 0.2500 0.1110 0.9441 0.9375 0.0800 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.2755 0.7959 0.8571 0.3816 0.4028 0.7959 0.8571 1.0555 0.0065 0.0000 0.3694 0.0000 0.8571 0.3816 0.4028
176-AH 0.3583 0.3721 0.5664 0.8448 0.8974 0.5887 0.2275 0.4727 0.5391 0.3865 0.5491 0.5127 0.2053 0.3583 0.8974 0.5887 0.2275
177-AH 0.0118 0.0355 0.0740 0.1716 0.5562 0.1669 0.2079 0.1361 0.5444 1.2462 0.0825 0.0431 0.1543 0.0118 0.1716 0.0710 0.0555
178-AH 0.0000 0.0000 0.0000 0.1250 0.2500 0.0500 0.0874 0.1250 0.2500 1.7480 0.0002 0.0000 0.0700 0.0000 0.2500 0.0500 0.0874
179-AH 0.0000 0.0331 0.0506 0.0682 0.2190 0.0593 0.0621 0.0351 0.2190 1.0472 0.0106 0.0000 0.0386 0.0000 0.0702 0.0416 0.0282
180-AH 0.0000 0.0000 0.0000 0.0044 0.5269 0.0546 0.1660 0.0044 0.5269 3.0427 0.0001 0.0000 0.0945 0.0000 0.0044 0.0005 0.0015
181-AH 0.3127 0.4349 0.7537 0.8224 0.8771 0.6780 0.2051 0.3875 0.5644 0.3024 0.6433 0.6025 0.1704 0.3127 0.8771 0.6780 0.2051
182-AH 0.0000 0.0000 0.0000 0.0000 0.1875 0.0188 0.0593 0.0000 0.1875 3.1623 0.0000 0.0000 0.0337 0.0000 0.0000 0.0000 0.0000
183-AH 0.1875 0.2500 0.2500 0.2500 0.5625 0.2750 0.1029 0.0000 0.3750 0.3742 0.2634 0.2557 0.0575 0.2500 0.2500 0.2500 0.0000
184-AH 0.0000 0.0000 0.0309 0.1235 0.1975 0.0580 0.0743 0.1235 0.1975 1.2807 0.0021 0.0000 0.0615 0.0000 0.1975 0.0580 0.0743
185-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1000 0.3162 0.0000 1.0000 3.1623 0.0000 0.0000 0.1800 0.0000 0.0000 0.0000 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.7143 0.7143 0.8163 0.9592 1.0000 0.8367 0.1134 0.2449 0.2857 0.1356 0.8299 0.8232 0.0980 0.7143 1.0000 0.8367 0.1134
190-AH 0.0000 0.0000 0.0432 0.2099 0.2716 0.0988 0.1118 0.2099 0.2716 1.1319 0.0029 0.0000 0.1012 0.0000 0.2716 0.0988 0.1118
345
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.1667 0.2500 0.4861 0.6667 0.6944 0.4556 0.2332 0.4167 0.5278 0.5119 0.3935 0.3335 0.2167 0.1667 0.6944 0.4556 0.2332
193-AH 0.0000 0.0000 0.1020 0.1837 0.2653 0.1000 0.1002 0.1837 0.2653 1.0019 0.0032 0.0000 0.0878 0.0000 0.2653 0.1000 0.1002
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4000 0.5164 1.0000 1.0000 1.2910 0.0010 0.0000 0.4800 0.0000 1.0000 0.4000 0.5164
197-AH 0.0684 0.1312 0.3782 0.9208 0.9436 0.4929 0.3929 0.7896 0.8752 0.7970 0.3278 0.2081 0.3496 0.0684 0.9436 0.4929 0.3929
198-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.0900 0.3550 0.6800 0.6900 0.3650 0.3188 0.5900 0.6900 0.8734 0.0877 0.0001 0.2990 0.0000 0.6900 0.3650 0.3188
200-AH 0.0000 0.0000 0.0000 0.0000 0.5309 0.0531 0.1679 0.0000 0.5309 3.1623 0.0000 0.0000 0.0956 0.0000 0.0000 0.0000 0.0000
251-AH 0.3479 0.4492 0.4762 0.4949 0.5150 0.4643 0.0497 0.0457 0.1671 0.1071 0.4616 0.4586 0.0360 0.4159 0.5150 0.4772 0.0300
252-AH 0.0773 0.0892 0.2289 0.2545 0.3092 0.1872 0.0892 0.1653 0.2319 0.4764 0.1646 0.1422 0.0800 0.0773 0.3092 0.1872 0.0892
253-AH 0.5229 0.5813 0.6188 0.6832 0.6851 0.6237 0.0601 0.1019 0.1622 0.0964 0.6210 0.6182 0.0479 0.5229 0.6851 0.6237 0.0601
254-AH 0.0731 0.2616 0.3283 0.5088 0.5603 0.3375 0.1672 0.2472 0.4872 0.4955 0.2872 0.2262 0.1363 0.0731 0.5603 0.3375 0.1672
255-AH 0.0000 0.0000 0.0312 0.5000 0.8750 0.2562 0.3638 0.5000 0.8750 1.4196 0.0019 0.0000 0.2962 0.0000 0.8750 0.2562 0.3638
256-AH 0.0346 0.0657 0.4546 0.8175 0.8581 0.4536 0.3909 0.7517 0.8235 0.8618 0.2486 0.1227 0.3690 0.0346 0.8581 0.4536 0.3909
257-AH 0.0711 0.1645 0.2080 0.2323 0.2547 0.1951 0.0533 0.0678 0.1837 0.2730 0.1856 0.1720 0.0389 0.0711 0.2547 0.1951 0.0533
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0333 0.1054 0.0000 0.3333 3.1623 0.0000 0.0000 0.0600 0.0000 0.0000 0.0000 0.0000
260-AH 0.2590 0.3699 0.4803 0.5820 0.7657 0.4974 0.1631 0.2121 0.5067 0.3278 0.4735 0.4498 0.1206 0.2590 0.7657 0.4974 0.1631
261-AH 0.0415 0.0718 0.0978 0.1375 0.1825 0.1039 0.0453 0.0657 0.1410 0.4361 0.0946 0.0854 0.0363 0.0415 0.1825 0.1039 0.0453
262-AH 0.1138 0.2138 0.3054 0.3542 0.3614 0.2715 0.0918 0.1403 0.2476 0.3381 0.2534 0.2313 0.0747 0.1138 0.3614 0.2715 0.0918
263-AH 0.0000 0.0000 0.0072 0.0395 0.0855 0.0195 0.0281 0.0395 0.0855 1.4394 0.0006 0.0000 0.0213 0.0000 0.0855 0.0195 0.0281
264-AH 0.0579 0.0950 0.1674 0.3616 0.4504 0.2293 0.1555 0.2665 0.3926 0.6781 0.1805 0.1412 0.1376 0.0579 0.4504 0.2293 0.1555
265-AH 0.0000 0.0000 0.0000 0.1944 0.6111 0.1583 0.2446 0.1944 0.6111 1.5451 0.0007 0.0000 0.1900 0.0000 0.1944 0.0486 0.0900
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0454 0.0635 0.0907 0.1474 0.2336 0.1073 0.0611 0.0839 0.1882 0.5698 0.0931 0.0813 0.0484 0.0454 0.2336 0.1073 0.0611
268-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0889 0.2147 0.0000 0.6667 2.4152 0.0001 0.0000 0.1422 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0741 0.0988 0.2222 0.2716 0.1272 0.0883 0.1481 0.2716 0.6942 0.0482 0.0001 0.0719 0.0000 0.2716 0.1272 0.0883
270-AH 0.2235 0.3546 0.4861 0.7045 0.7504 0.5055 0.2116 0.3500 0.5269 0.4187 0.4616 0.4176 0.1910 0.2235 0.7504 0.5055 0.2116
271-AH 0.0608 0.1875 0.3021 0.5312 0.6163 0.3483 0.2023 0.3437 0.5556 0.5809 0.2846 0.2148 0.1745 0.0608 0.6163 0.3483 0.2023
272-AH 0.0000 0.0000 0.0000 0.1939 0.2857 0.0862 0.1153 0.1939 0.2857 1.3373 0.0005 0.0000 0.1035 0.0000 0.2857 0.0862 0.1153
273-AH 0.2449 0.2931 0.3188 0.3744 0.7329 0.3583 0.1377 0.0813 0.4880 0.3843 0.3418 0.3304 0.0829 0.2449 0.3821 0.3166 0.0428
274-AH 0.0234 0.0625 0.0723 0.1406 0.1562 0.0926 0.0455 0.0781 0.1328 0.4917 0.0812 0.0685 0.0392 0.0234 0.1562 0.0926 0.0455
275-AH 0.1586 0.2649 0.2995 0.4079 0.5067 0.3288 0.1127 0.1430 0.3480 0.3427 0.3107 0.2924 0.0928 0.1586 0.5067 0.3288 0.1127
276-AH 0.0155 0.0779 0.3199 0.4323 0.4858 0.2636 0.1828 0.3545 0.4703 0.6933 0.1589 0.0611 0.1572 0.0155 0.4858 0.2636 0.1828
277-AH 0.0429 0.0725 0.1294 0.1923 0.2130 0.1306 0.0657 0.1198 0.1701 0.5027 0.1139 0.0974 0.0587 0.0429 0.2130 0.1306 0.0657
278-AH 0.0000 0.0000 0.0079 0.0363 0.1361 0.0256 0.0422 0.0363 0.1361 1.6451 0.0006 0.0000 0.0277 0.0000 0.0431 0.0134 0.0175
279-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0208 0.0240 0.0464 0.0162 0.0157 0.0240 0.0464 0.9740 0.0011 0.0000 0.0129 0.0000 0.0464 0.0162 0.0157
281-AH 0.1207 0.2387 0.3274 0.3458 0.5023 0.3171 0.1247 0.1071 0.3815 0.3932 0.2916 0.2630 0.0878 0.1207 0.5023 0.3171 0.1247
282-AH 0.2071 0.2206 0.2607 0.3559 0.3819 0.2827 0.0712 0.1353 0.1748 0.2520 0.2748 0.2673 0.0633 0.2071 0.3819 0.2827 0.0712
283-AH 0.0000 0.0104 0.0765 0.2597 0.3449 0.1377 0.1453 0.2493 0.3449 1.0552 0.0257 0.0001 0.1283 0.0000 0.3449 0.1377 0.1453
284-AH 0.0471 0.1731 0.2718 0.3331 0.4211 0.2589 0.1185 0.1600 0.3740 0.4579 0.2230 0.1728 0.0935 0.0471 0.4211 0.2589 0.1185
285-AH 0.0105 0.0357 0.0742 0.2668 0.4774 0.1512 0.1532 0.2310 0.4669 1.0133 0.0863 0.0460 0.1273 0.0105 0.4774 0.1512 0.1532
286-AH 0.0000 0.0000 0.0035 0.0347 0.0764 0.0201 0.0271 0.0347 0.0764 1.3449 0.0006 0.0000 0.0228 0.0000 0.0764 0.0201 0.0271
287-AH 0.0292 0.1874 0.3607 0.4098 0.4519 0.3014 0.1603 0.2224 0.4227 0.5317 0.2221 0.1190 0.1300 0.0292 0.4519 0.3014 0.1603
288-AH 0.1073 0.1555 0.2136 0.2690 0.3655 0.2181 0.0865 0.1136 0.2581 0.3967 0.2023 0.1870 0.0685 0.1073 0.3655 0.2181 0.0865
289-AH 0.0000 0.0000 0.0000 0.0000 0.3642 0.0364 0.1152 0.0000 0.3642 3.1623 0.0000 0.0000 0.0656 0.0000 0.0000 0.0000 0.0000
290-AH 0.0754 0.0954 0.1091 0.1262 0.1795 0.1140 0.0283 0.0308 0.1041 0.2481 0.1112 0.1086 0.0200 0.0754 0.1299 0.1068 0.0175
346
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0206 0.0722 0.0856 0.0339 0.0365 0.0722 0.0856 1.0763 0.0016 0.0000 0.0324 0.0000 0.0856 0.0339 0.0365
292-AH 0.0000 0.0000 0.0312 0.2500 1.0000 0.2375 0.4091 0.2500 1.0000 1.7225 0.0016 0.0000 0.3075 0.0000 0.2500 0.0469 0.0868
293-AH 0.0000 0.0000 0.0986 0.2258 0.4377 0.1347 0.1561 0.2258 0.4377 1.1592 0.0016 0.0000 0.1347 0.0000 0.4377 0.1347 0.1561
294-AH 0.1331 0.2346 0.3834 0.6667 0.6804 0.4309 0.2205 0.4321 0.5473 0.5117 0.3713 0.3105 0.1892 0.1331 0.6804 0.4309 0.2205
295-AH 0.0331 0.0481 0.0763 0.0877 0.2234 0.0834 0.0560 0.0396 0.1903 0.6724 0.0708 0.0615 0.0361 0.0331 0.1196 0.0678 0.0285
296-AH 0.0104 0.0382 0.0660 0.1128 0.1285 0.0741 0.0427 0.0747 0.1181 0.5761 0.0597 0.0424 0.0365 0.0104 0.1285 0.0741 0.0427
297-AH 0.0000 0.0000 0.0000 0.1528 0.2778 0.0736 0.1078 0.1528 0.2778 1.4650 0.0005 0.0000 0.0883 0.0000 0.2778 0.0736 0.1078
298-AH 0.0467 0.0811 0.1439 0.1778 0.2111 0.1320 0.0548 0.0967 0.1644 0.4149 0.1200 0.1068 0.0465 0.0467 0.2111 0.1320 0.0548
299-AH 0.0114 0.0677 0.1678 0.2869 0.3373 0.1765 0.1208 0.2192 0.3258 0.6842 0.1233 0.0636 0.1100 0.0114 0.3373 0.1765 0.1208
300-AH 0.0108 0.0210 0.0485 0.1950 0.2432 0.0900 0.0940 0.1740 0.2324 1.0442 0.0530 0.0335 0.0802 0.0108 0.2432 0.0900 0.0940
301-AH 0.0000 0.0000 0.0000 0.0039 0.0312 0.0066 0.0130 0.0039 0.0312 1.9618 0.0001 0.0000 0.0098 0.0000 0.0039 0.0005 0.0014
302-AH 0.1073 0.1522 0.2785 0.3737 0.3806 0.2647 0.1088 0.2215 0.2734 0.4110 0.2402 0.2132 0.0900 0.1073 0.3806 0.2647 0.1088
303-AH 0.0000 0.0255 0.1352 0.2653 0.4388 0.1571 0.1384 0.2398 0.4388 0.8809 0.0459 0.0001 0.1041 0.0000 0.4388 0.1571 0.1384
304-AH 0.0000 0.0000 0.0844 0.2844 0.2933 0.1213 0.1351 0.2844 0.2933 1.1137 0.0015 0.0000 0.1213 0.0000 0.2933 0.1213 0.1351
305-AH 0.0124 0.0677 0.1551 0.2137 0.3126 0.1538 0.1038 0.1459 0.3002 0.6748 0.1117 0.0634 0.0851 0.0124 0.3126 0.1538 0.1038
306-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.3000 0.4830 1.0000 1.0000 1.6102 0.0003 0.0000 0.4200 0.0000 1.0000 0.3000 0.4830
307-AH 0.0000 0.0128 0.0181 0.0676 0.1262 0.0412 0.0455 0.0548 0.1262 1.1065 0.0068 0.0000 0.0370 0.0000 0.1262 0.0412 0.0455
308-AH 0.4959 0.5537 0.5950 0.6860 0.7107 0.6066 0.0832 0.1322 0.2149 0.1372 0.6014 0.5962 0.0744 0.4959 0.7107 0.6066 0.0832
309-AH 0.0000 0.0000 0.0000 0.0300 0.1600 0.0270 0.0533 0.0300 0.1600 1.9757 0.0001 0.0000 0.0378 0.0000 0.0300 0.0038 0.0106
310-AH 0.0471 0.0597 0.0770 0.1230 0.1789 0.0954 0.0470 0.0632 0.1318 0.4929 0.0860 0.0783 0.0385 0.0471 0.1789 0.0954 0.0470
311-AH 0.0672 0.1145 0.2519 0.3049 0.3813 0.2231 0.1225 0.1903 0.3141 0.5491 0.1867 0.1509 0.1049 0.0672 0.3813 0.2231 0.1225
312-AH 0.0000 0.0000 0.0000 0.0770 0.3840 0.0881 0.1499 0.0770 0.3840 1.7013 0.0005 0.0000 0.1113 0.0000 0.0770 0.0186 0.0345
313-AH 0.0000 0.0000 0.0112 0.0450 0.1500 0.0295 0.0468 0.0450 0.1500 1.5864 0.0007 0.0000 0.0318 0.0000 0.0525 0.0161 0.0211
314-AH 0.0000 0.0000 0.0000 0.0432 0.0864 0.0204 0.0300 0.0432 0.0864 1.4728 0.0003 0.0000 0.0244 0.0000 0.0864 0.0204 0.0300
315-AH 0.0325 0.0552 0.0671 0.0885 0.1534 0.0795 0.0411 0.0333 0.1209 0.5162 0.0712 0.0643 0.0304 0.0325 0.0885 0.0618 0.0189
316-AH 0.0599 0.1879 0.2483 0.2836 0.3169 0.2289 0.0738 0.0957 0.2570 0.3225 0.2117 0.1842 0.0542 0.0599 0.3169 0.2289 0.0738
317-AH 0.0000 0.0089 0.0200 0.1033 0.2444 0.0592 0.0807 0.0944 0.2444 1.3620 0.0138 0.0001 0.0629 0.0000 0.2444 0.0592 0.0807
318-AH 0.0000 0.0000 0.0000 0.0000 0.1975 0.0272 0.0642 0.0000 0.1975 2.3648 0.0001 0.0000 0.0435 0.0000 0.0000 0.0000 0.0000
319-AH 0.1717 0.2576 0.3338 0.3435 0.4321 0.3169 0.0781 0.0859 0.2604 0.2464 0.3071 0.2960 0.0583 0.1717 0.4321 0.3169 0.0781
320-AH 0.0000 0.0234 0.0273 0.0469 0.1523 0.0410 0.0432 0.0234 0.1523 1.0541 0.0141 0.0001 0.0281 0.0000 0.0586 0.0286 0.0195
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0255 0.0765 0.3827 0.0878 0.1396 0.0765 0.3827 1.5905 0.0011 0.0000 0.1027 0.0000 0.0765 0.0236 0.0333
323-AH 0.0251 0.0266 0.0311 0.0473 0.0533 0.0362 0.0108 0.0207 0.0281 0.2976 0.0349 0.0337 0.0095 0.0251 0.0533 0.0362 0.0108
324-AH 0.0305 0.0331 0.0474 0.0562 0.0646 0.0465 0.0124 0.0232 0.0341 0.2656 0.0450 0.0435 0.0100 0.0305 0.0646 0.0465 0.0124
325-AH 0.1349 0.1535 0.1905 0.2964 0.3147 0.2163 0.0729 0.1430 0.1798 0.3371 0.2055 0.1956 0.0635 0.1349 0.3147 0.2163 0.0729
326-AH 0.0000 0.0000 0.0000 0.1875 0.2500 0.0812 0.1104 0.1875 0.2500 1.3592 0.0005 0.0000 0.0975 0.0000 0.2500 0.0812 0.1104
327-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
328-AH 0.0265 0.1399 0.4282 0.4575 0.6011 0.3355 0.2063 0.3176 0.5747 0.6150 0.2255 0.1036 0.1750 0.0265 0.6011 0.3355 0.2063
329-AH 0.3218 0.3772 0.4464 0.5952 0.6574 0.4827 0.1258 0.2180 0.3356 0.2607 0.4682 0.4544 0.1093 0.3218 0.6574 0.4827 0.1258
330-AH 0.0000 0.0000 0.4160 0.7351 0.7897 0.3893 0.3827 0.7351 0.7897 0.9832 0.0149 0.0000 0.3608 0.0000 0.7897 0.3893 0.3827
331-AH 0.0000 0.0000 0.0069 0.0381 0.1384 0.0270 0.0431 0.0381 0.1384 1.5953 0.0006 0.0000 0.0296 0.0000 0.0415 0.0146 0.0190
332-AH 0.0000 0.0000 0.0703 0.1719 0.1875 0.0844 0.0897 0.1719 0.1875 1.0627 0.0013 0.0000 0.0844 0.0000 0.1875 0.0844 0.0897
333-AH 0.0000 0.0000 0.0000 0.0800 1.0000 0.1160 0.3124 0.0800 1.0000 2.6929 0.0002 0.0000 0.1768 0.0000 0.0800 0.0178 0.0353
334-AH 0.0000 0.0000 0.0000 0.0000 0.1600 0.0160 0.0506 0.0000 0.1600 3.1623 0.0000 0.0000 0.0288 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0444 0.1111 0.1156 0.0556 0.0479 0.1111 0.1156 0.8618 0.0050 0.0000 0.0409 0.0000 0.1156 0.0556 0.0479
336-AH 0.0000 0.0000 0.0156 0.0554 0.1765 0.0415 0.0615 0.0554 0.1765 1.4808 0.0014 0.0000 0.0464 0.0000 0.1246 0.0265 0.0415
337-AH 0.0725 0.0725 0.4138 0.8575 0.8700 0.4585 0.4014 0.7850 0.7975 0.8755 0.2570 0.1436 0.3790 0.0725 0.8700 0.4585 0.4014
338-AH 0.0000 0.0000 0.1250 0.4700 0.6900 0.2390 0.2737 0.4700 0.6900 1.1451 0.0114 0.0000 0.2268 0.0000 0.6900 0.2390 0.2737
339-AH 0.0000 0.0000 0.1122 0.1884 0.5983 0.1424 0.1823 0.1884 0.5983 1.2803 0.0080 0.0000 0.1274 0.0000 0.1939 0.0917 0.0922
340-AH 0.0000 0.0000 0.0000 0.0000 0.1200 0.0200 0.0432 0.0000 0.1200 2.1602 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
347
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1111 0.1389 0.1667 0.7500 0.8333 0.3944 0.3278 0.6111 0.7222 0.8311 0.2780 0.2065 0.3011 0.1111 0.8333 0.3944 0.3278
342-AH 0.2619 0.2839 0.3396 0.6373 0.7252 0.4494 0.1950 0.3534 0.4632 0.4340 0.4134 0.3826 0.1775 0.2619 0.7252 0.4494 0.1950
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0303 0.1910 0.4486 0.5629 0.5849 0.3732 0.2176 0.3719 0.5546 0.5831 0.2812 0.1600 0.1921 0.0303 0.5849 0.3732 0.2176
345-AH 0.0000 0.0000 0.0000 0.0000 0.0494 0.0049 0.0156 0.0000 0.0494 3.1623 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.0331 0.0033 0.0105 0.0000 0.0331 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0000 0.0864 0.0086 0.0273 0.0000 0.0864 3.1623 0.0000 0.0000 0.0156 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.0000 0.0000 1.0000 1.0000 0.4000 0.5164 1.0000 1.0000 1.2910 0.0010 0.0000 0.4800 0.0000 1.0000 0.4000 0.5164
349-AH 0.0247 0.0329 0.1955 0.4431 0.5158 0.2379 0.2147 0.4102 0.4911 0.9028 0.1267 0.0637 0.1953 0.0247 0.5158 0.2379 0.2147
350-AH 0.0000 0.2000 0.2350 0.3700 0.4100 0.2380 0.1416 0.1700 0.4100 0.5948 0.0782 0.0001 0.1060 0.0000 0.4100 0.2380 0.1416
348
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.1111 0.2143 0.7500 1.0000 1.0000 0.6468 0.3937 0.7857 0.8889 0.6086 0.4931 0.3371 0.3532 0.1111 1.0000 0.6468 0.3937
143-AH 0.0066 0.0108 0.0237 0.0411 1.0000 0.1217 0.3090 0.0303 0.9934 2.5379 0.0289 0.0174 0.1757 0.0066 0.0526 0.0242 0.0161
144-AH 0.0000 0.0051 0.2121 0.6667 1.0000 0.3606 0.4101 0.6616 1.0000 1.1375 0.0234 0.0000 0.3449 0.0000 1.0000 0.3606 0.4101
145-AH 0.1875 0.5000 1.0000 1.0000 1.0000 0.7905 0.3470 0.5000 0.8125 0.4390 0.6775 0.5282 0.2933 0.1875 1.0000 0.7905 0.3470
146-AH 0.0012 0.0023 0.0172 0.1667 0.3333 0.0744 0.1122 0.1644 0.3321 1.5084 0.0163 0.0044 0.0887 0.0012 0.3333 0.0744 0.1122
147-AH 0.0082 0.0833 0.1396 0.2000 0.3750 0.1538 0.1070 0.1167 0.3668 0.6957 0.1093 0.0515 0.0820 0.0082 0.3750 0.1538 0.1070
148-AH 0.0000 0.0000 0.0000 0.0013 0.1000 0.0103 0.0315 0.0013 0.1000 3.0584 0.0001 0.0000 0.0179 0.0000 0.0017 0.0003 0.0007
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0064 0.0108 0.0117 0.0222 0.2143 0.0345 0.0637 0.0115 0.2079 1.8471 0.0171 0.0130 0.0360 0.0064 0.0333 0.0145 0.0083
151-AH 0.0000 0.0012 0.0017 0.0064 0.0500 0.0074 0.0152 0.0052 0.0500 2.0506 0.0011 0.0000 0.0087 0.0000 0.0086 0.0027 0.0030
152-AH 0.0066 0.0069 0.0089 0.0118 1.0000 0.1104 0.3127 0.0049 0.9934 2.8318 0.0156 0.0099 0.1779 0.0066 0.0118 0.0086 0.0021
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0909 0.2000 0.6250 1.0000 1.0000 0.5934 0.4311 0.8000 0.9091 0.7265 0.4179 0.2778 0.4066 0.0909 1.0000 0.5934 0.4311
155-AH 0.0000 0.0000 0.0017 0.0103 0.1667 0.0195 0.0519 0.0103 0.1667 2.6555 0.0003 0.0000 0.0294 0.0000 0.0115 0.0032 0.0046
156-AH 0.0288 0.0385 0.1125 0.1765 1.0000 0.2240 0.3052 0.1380 0.9712 1.3626 0.1181 0.0732 0.2104 0.0288 0.1765 0.0925 0.0553
157-AH 0.0769 0.3333 0.6222 1.0000 1.0000 0.6170 0.3789 0.6667 0.9231 0.6141 0.4723 0.3125 0.3430 0.0769 1.0000 0.6170 0.3789
158-AH 0.0080 0.0083 0.0438 0.5000 0.8000 0.2089 0.3022 0.4917 0.7920 1.4465 0.0530 0.0189 0.2546 0.0080 0.8000 0.2089 0.3022
159-AH 0.0018 0.0065 0.0132 0.0221 0.5000 0.0612 0.1544 0.0156 0.4982 2.5242 0.0144 0.0076 0.0878 0.0018 0.0241 0.0124 0.0078
160-AH 0.0625 0.2000 0.2500 0.3333 0.3333 0.2413 0.0835 0.1333 0.2708 0.3460 0.2219 0.1923 0.0605 0.0625 0.3333 0.2413 0.0835
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.8571 1.0000 1.0000 1.0000 1.0000 0.9857 0.0452 0.0000 0.1429 0.0458 0.9847 0.9836 0.0257 1.0000 1.0000 1.0000 0.0000
164-AH 0.0057 0.0152 0.0402 0.0909 0.4286 0.0818 0.1263 0.0757 0.4229 1.5447 0.0394 0.0219 0.0763 0.0057 0.1071 0.0433 0.0354
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0625 0.2500 0.4286 0.1429 0.1702 0.2500 0.4286 1.1917 0.0016 0.0000 0.1464 0.0000 0.4286 0.1429 0.1702
168-AH 0.0000 0.0000 0.0000 0.0044 0.2222 0.0285 0.0705 0.0044 0.2222 2.4695 0.0001 0.0000 0.0448 0.0000 0.0044 0.0005 0.0016
169-AH 0.0000 0.0000 0.0550 0.2000 1.0000 0.2453 0.4040 0.2000 1.0000 1.6471 0.0035 0.0000 0.3019 0.0000 0.2000 0.0566 0.0801
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0270 0.0278 0.1242 1.0000 1.0000 0.3614 0.4475 0.9722 0.9730 1.2384 0.1322 0.0579 0.3832 0.0270 1.0000 0.3614 0.4475
172-AH 0.0000 0.0062 0.0142 0.0435 0.0476 0.0204 0.0185 0.0373 0.0476 0.9037 0.0045 0.0000 0.0151 0.0000 0.0476 0.0204 0.0185
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0016 0.0023 0.5030 1.0000 1.0000 0.5014 0.5255 0.9977 0.9984 1.0481 0.0501 0.0046 0.4986 0.0016 1.0000 0.5014 0.5255
176-AH 0.4545 1.0000 1.0000 1.0000 1.0000 0.9121 0.1919 0.0000 0.5455 0.2104 0.8875 0.8547 0.1406 1.0000 1.0000 1.0000 0.0000
177-AH 0.0769 0.1364 0.2087 0.3333 1.0000 0.3470 0.3514 0.1970 0.9231 1.0128 0.2397 0.1827 0.2612 0.0769 0.3333 0.1838 0.0807
178-AH 0.0000 0.0000 0.0092 0.1667 0.5000 0.1040 0.1767 0.1667 0.5000 1.6996 0.0035 0.0000 0.1376 0.0000 0.3333 0.0600 0.1156
179-AH 0.0000 0.0015 0.0044 0.0323 1.0000 0.1090 0.3134 0.0307 1.0000 2.8756 0.0030 0.0000 0.1782 0.0000 0.0357 0.0100 0.0140
180-AH 0.0000 0.0000 0.0136 0.0528 1.0000 0.1157 0.3114 0.0528 1.0000 2.6912 0.0030 0.0000 0.1769 0.0000 0.0537 0.0174 0.0213
181-AH 0.0909 0.4000 0.8261 1.0000 1.0000 0.7195 0.3244 0.6000 0.9091 0.4510 0.6004 0.4123 0.2668 0.0909 1.0000 0.7195 0.3244
182-AH 0.0000 0.0093 0.0379 0.1875 0.5000 0.1077 0.1574 0.1782 0.5000 1.4612 0.0115 0.0000 0.1157 0.0000 0.2143 0.0641 0.0807
183-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8500 0.2415 0.5000 0.5000 0.2841 0.8123 0.7692 0.2100 0.5000 1.0000 0.8500 0.2415
184-AH 0.0027 0.0053 0.0119 0.1667 1.0000 0.1452 0.3104 0.1614 0.9973 2.1375 0.0233 0.0087 0.1907 0.0027 0.2222 0.0502 0.0831
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0072 0.0705 0.2000 0.3333 0.1105 0.1235 0.1928 0.3333 1.1178 0.0202 0.0001 0.1004 0.0000 0.3333 0.1105 0.1235
349
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.1667 0.5000 1.0000 1.0000 1.0000 0.7417 0.3479 0.5000 0.8333 0.4691 0.6335 0.5000 0.3100 0.1667 1.0000 0.7417 0.3479
193-AH 0.0000 0.0000 0.2519 1.0000 1.0000 0.4507 0.4965 1.0000 1.0000 1.1017 0.0095 0.0000 0.4493 0.0000 1.0000 0.4507 0.4965
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0089 0.0371 0.5212 1.0000 1.0000 0.5166 0.5096 0.9629 0.9911 0.9865 0.1706 0.0454 0.4834 0.0089 1.0000 0.5166 0.5096
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0769 0.2222 0.5595 1.0000 1.0000 0.5755 0.4193 0.7778 0.9231 0.7286 0.3994 0.2535 0.3912 0.0769 1.0000 0.5755 0.4193
200-AH 0.0011 0.0240 0.0355 0.0467 1.0000 0.1289 0.3064 0.0227 0.9989 2.3763 0.0344 0.0086 0.1742 0.0011 0.0508 0.0322 0.0151
251-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
252-AH 0.0667 0.1489 0.3417 1.0000 1.0000 0.5229 0.4257 0.8511 0.9333 0.8142 0.3459 0.2202 0.3817 0.0667 1.0000 0.5229 0.4257
253-AH 0.6250 0.8261 1.0000 1.0000 1.0000 0.8962 0.1503 0.1739 0.3750 0.1677 0.8834 0.8691 0.1246 0.6250 1.0000 0.8962 0.1503
254-AH 0.0556 0.1538 0.4212 0.5000 1.0000 0.3921 0.2763 0.3462 0.9444 0.7048 0.2897 0.1887 0.1980 0.0556 1.0000 0.3921 0.2763
255-AH 0.0000 0.0000 0.1135 1.0000 1.0000 0.3560 0.4576 1.0000 1.0000 1.2851 0.0053 0.0000 0.3864 0.0000 1.0000 0.3560 0.4576
256-AH 0.0305 0.1053 0.8333 1.0000 1.0000 0.6152 0.4402 0.8947 0.9695 0.7154 0.3740 0.1592 0.3950 0.0305 1.0000 0.6152 0.4402
257-AH 0.0455 0.0833 0.3750 1.0000 1.0000 0.5212 0.4313 0.9167 0.9545 0.8275 0.3158 0.1667 0.3830 0.0455 1.0000 0.5212 0.4313
258-AH 0.0000 0.0000 0.0009 0.0046 0.0164 0.0033 0.0054 0.0046 0.0164 1.6146 0.0002 0.0000 0.0039 0.0000 0.0085 0.0019 0.0029
259-AH 0.0010 0.0028 0.0056 0.0213 0.5000 0.0596 0.1554 0.0185 0.4990 2.6067 0.0083 0.0033 0.0881 0.0010 0.0476 0.0107 0.0151
260-AH 0.0269 0.0879 1.0000 1.0000 1.0000 0.6373 0.4696 0.9121 0.9731 0.7369 0.3579 0.1386 0.4353 0.0269 1.0000 0.6373 0.4696
261-AH 0.0053 0.0166 0.0529 0.3333 1.0000 0.2821 0.3993 0.3167 0.9947 1.4155 0.0688 0.0194 0.3077 0.0053 0.3333 0.1026 0.1445
262-AH 0.0160 0.0635 0.1381 1.0000 1.0000 0.3692 0.4388 0.9365 0.9840 1.1885 0.1563 0.0620 0.3785 0.0160 1.0000 0.3692 0.4388
263-AH 0.0000 0.0000 0.0006 0.0111 0.0667 0.0104 0.0212 0.0111 0.0667 2.0452 0.0003 0.0000 0.0140 0.0000 0.0233 0.0041 0.0080
264-AH 0.0500 0.1636 0.5000 0.7500 1.0000 0.4971 0.3680 0.5864 0.9500 0.7403 0.3343 0.1931 0.3035 0.0500 1.0000 0.4971 0.3680
265-AH 0.0000 0.0000 0.0154 0.3000 1.0000 0.2616 0.4066 0.3000 1.0000 1.5540 0.0017 0.0000 0.3078 0.0000 0.3000 0.0771 0.1337
266-AH 0.0000 0.0000 0.0130 0.0909 0.1111 0.0414 0.0482 0.0909 0.1111 1.1629 0.0028 0.0000 0.0439 0.0000 0.1111 0.0414 0.0482
267-AH 0.0214 0.1250 0.5000 0.5000 1.0000 0.4188 0.2913 0.3750 0.9786 0.6956 0.2656 0.1091 0.2137 0.0214 1.0000 0.4188 0.2913
268-AH 0.0000 0.0000 0.0212 0.2857 1.0000 0.2078 0.3272 0.2857 1.0000 1.5746 0.0031 0.0000 0.2409 0.0000 0.5000 0.1198 0.1825
269-AH 0.0091 0.0526 0.1500 0.3333 1.0000 0.3069 0.3791 0.2807 0.9909 1.2353 0.1383 0.0522 0.2825 0.0091 0.3333 0.1336 0.1150
270-AH 0.0427 0.1053 0.6667 1.0000 1.0000 0.5906 0.4417 0.8947 0.9573 0.7479 0.3679 0.1821 0.4094 0.0427 1.0000 0.5906 0.4417
271-AH 0.1667 0.8000 1.0000 1.0000 1.0000 0.7973 0.3323 0.2000 0.8333 0.4168 0.6826 0.5166 0.2444 0.8000 1.0000 0.9500 0.0926
272-AH 0.0000 0.0000 0.0000 0.2857 0.3571 0.1223 0.1594 0.2857 0.3571 1.3028 0.0006 0.0000 0.1468 0.0000 0.3571 0.1223 0.1594
273-AH 0.0833 0.1111 0.1952 0.3125 1.0000 0.2668 0.2712 0.2014 0.9167 1.0164 0.1993 0.1638 0.1691 0.0833 0.3333 0.1853 0.0898
274-AH 0.0201 0.0303 0.0452 0.0556 0.3333 0.0967 0.1252 0.0253 0.3132 1.2942 0.0556 0.0408 0.0946 0.0201 0.0556 0.0376 0.0126
275-AH 0.3333 0.6000 1.0000 1.0000 1.0000 0.8000 0.2740 0.4000 0.6667 0.3425 0.7459 0.6818 0.2400 0.3333 1.0000 0.8000 0.2740
276-AH 0.0012 0.0071 0.1221 0.4286 1.0000 0.2800 0.3503 0.4215 0.9988 1.2510 0.0599 0.0055 0.2784 0.0012 1.0000 0.2800 0.3503
277-AH 0.0625 0.1111 0.1837 0.3125 0.5000 0.2146 0.1380 0.2014 0.4375 0.6427 0.1762 0.1437 0.1112 0.0625 0.5000 0.2146 0.1380
278-AH 0.0000 0.0000 0.0093 0.1250 1.0000 0.1347 0.3098 0.1250 1.0000 2.2992 0.0018 0.0000 0.1794 0.0000 0.1667 0.0386 0.0629
279-AH 0.0000 0.0039 0.0077 0.0157 0.0556 0.0134 0.0161 0.0118 0.0556 1.2039 0.0051 0.0001 0.0106 0.0000 0.0217 0.0087 0.0068
280-AH 0.0095 0.0161 0.0251 0.0714 0.1111 0.0415 0.0371 0.0553 0.1016 0.8934 0.0295 0.0224 0.0307 0.0095 0.1111 0.0415 0.0371
281-AH 0.1290 0.2812 0.5636 1.0000 1.0000 0.5818 0.3509 0.7188 0.8710 0.6032 0.4709 0.3657 0.3137 0.1290 1.0000 0.5818 0.3509
282-AH 0.5000 0.5000 0.6667 1.0000 1.0000 0.7433 0.2294 0.5000 0.5000 0.3086 0.7117 0.6818 0.2053 0.5000 1.0000 0.7433 0.2294
283-AH 0.0179 0.0213 0.2857 1.0000 1.0000 0.4188 0.4417 0.9787 0.9821 1.0547 0.1546 0.0523 0.3812 0.0179 1.0000 0.4188 0.4417
284-AH 0.0119 0.0476 0.7000 1.0000 1.0000 0.5900 0.4525 0.9524 0.9881 0.7669 0.2863 0.0717 0.4100 0.0119 1.0000 0.5900 0.4525
285-AH 0.0034 0.0064 0.0136 0.1579 0.2000 0.0657 0.0803 0.1515 0.1966 1.2221 0.0245 0.0108 0.0685 0.0034 0.2000 0.0657 0.0803
286-AH 0.0000 0.0034 0.0091 0.0196 0.0500 0.0135 0.0152 0.0162 0.0500 1.1233 0.0030 0.0000 0.0109 0.0000 0.0256 0.0095 0.0086
287-AH 0.0769 0.2857 1.0000 1.0000 1.0000 0.7529 0.4009 0.7143 0.9231 0.5324 0.5707 0.3390 0.3459 0.0769 1.0000 0.7529 0.4009
288-AH 0.0196 0.0288 0.0620 0.5000 1.0000 0.2743 0.3506 0.4712 0.9804 1.2784 0.1059 0.0502 0.2823 0.0196 1.0000 0.2743 0.3506
289-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0600 0.1897 0.0000 0.6000 3.1623 0.0000 0.0000 0.1080 0.0000 0.0000 0.0000 0.0000
290-AH 0.0545 0.0769 0.1056 0.1667 0.2857 0.1271 0.0717 0.0897 0.2312 0.5640 0.1121 0.1004 0.0542 0.0545 0.2857 0.1271 0.0717
350
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0230 0.0260 0.0850 0.2222 1.0000 0.2106 0.3028 0.1962 0.9770 1.4376 0.0964 0.0537 0.1981 0.0230 0.4000 0.1229 0.1288
292-AH 0.0208 0.1905 0.2426 0.5000 1.0000 0.3828 0.3464 0.3095 0.9792 0.9048 0.2509 0.1238 0.2703 0.0208 0.5000 0.2285 0.1350
293-AH 0.0000 0.0000 0.0345 0.2500 0.6000 0.1346 0.2017 0.2500 0.6000 1.4981 0.0014 0.0000 0.1559 0.0000 0.6000 0.1346 0.2017
294-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9500 0.1581 0.0000 0.5000 0.1664 0.9330 0.9091 0.0900 1.0000 1.0000 1.0000 0.0000
295-AH 0.0022 0.0048 0.0209 0.1429 1.0000 0.1393 0.3084 0.1380 0.9978 2.2142 0.0230 0.0073 0.1783 0.0022 0.1667 0.0436 0.0639
296-AH 0.0037 0.0055 0.1171 0.2500 0.5000 0.1683 0.1900 0.2445 0.4963 1.1291 0.0429 0.0107 0.1619 0.0037 0.5000 0.1683 0.1900
297-AH 0.0000 0.0000 0.0134 0.6667 1.0000 0.2713 0.4358 0.6667 1.0000 1.6060 0.0027 0.0000 0.3705 0.0000 1.0000 0.2713 0.4358
298-AH 0.0115 0.0230 0.0670 0.0909 1.0000 0.1496 0.3004 0.0679 0.9885 2.0083 0.0594 0.0351 0.1701 0.0115 0.0909 0.0551 0.0330
299-AH 0.0019 0.0137 0.1341 0.2500 1.0000 0.2109 0.2987 0.2363 0.9981 1.4166 0.0692 0.0135 0.1863 0.0019 0.2857 0.1232 0.1179
300-AH 0.0071 0.0257 0.0615 0.2742 0.6667 0.1523 0.2086 0.2485 0.6596 1.3701 0.0645 0.0290 0.1556 0.0071 0.2941 0.0951 0.1104
301-AH 0.0000 0.0000 0.0030 0.0063 0.0094 0.0034 0.0035 0.0063 0.0094 1.0523 0.0004 0.0000 0.0030 0.0000 0.0094 0.0034 0.0035
302-AH 0.1667 0.3333 0.6667 0.7500 1.0000 0.5902 0.2611 0.4167 0.8333 0.4425 0.5202 0.4364 0.2071 0.1667 1.0000 0.5902 0.2611
303-AH 0.0000 0.0526 0.4500 1.0000 1.0000 0.4880 0.4003 0.9474 1.0000 0.8203 0.1192 0.0001 0.3120 0.0000 1.0000 0.4880 0.4003
304-AH 0.0000 0.0015 0.1266 0.8000 1.0000 0.3306 0.4310 0.7985 1.0000 1.3037 0.0114 0.0000 0.3616 0.0000 1.0000 0.3306 0.4310
305-AH 0.0015 0.0172 0.0407 0.0714 1.0000 0.1782 0.3290 0.0542 0.9985 1.8468 0.0431 0.0106 0.2346 0.0015 0.0714 0.0315 0.0222
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0012 0.0040 0.0139 0.1429 0.0200 0.0437 0.0127 0.1429 2.1857 0.0021 0.0000 0.0247 0.0000 0.0204 0.0063 0.0073
308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
309-AH 0.0417 0.0741 0.0874 0.1667 0.5000 0.1528 0.1482 0.0926 0.4583 0.9699 0.1118 0.0902 0.1083 0.0417 0.1667 0.0868 0.0369
310-AH 0.0117 0.0667 0.1381 0.5000 0.6667 0.2315 0.2361 0.4333 0.6550 1.0198 0.1166 0.0462 0.1944 0.0117 0.6667 0.2315 0.2361
311-AH 0.1111 0.1329 0.3095 1.0000 1.0000 0.4675 0.3855 0.8671 0.8889 0.8245 0.3327 0.2427 0.3260 0.1111 1.0000 0.4675 0.3855
312-AH 0.0000 0.0000 0.0016 0.0088 1.0000 0.1226 0.3149 0.0088 1.0000 2.5680 0.0006 0.0000 0.1923 0.0000 0.0088 0.0024 0.0037
313-AH 0.0060 0.0227 0.0548 0.0938 0.2500 0.0704 0.0719 0.0710 0.2440 1.0226 0.0419 0.0211 0.0488 0.0060 0.1111 0.0504 0.0366
314-AH 0.0016 0.0032 0.0429 0.1471 0.2857 0.0780 0.0951 0.1439 0.2841 1.2195 0.0245 0.0064 0.0731 0.0016 0.2857 0.0780 0.0951
315-AH 0.0171 0.0200 0.0705 0.0833 0.2500 0.0809 0.0719 0.0633 0.2329 0.8880 0.0572 0.0403 0.0483 0.0171 0.1500 0.0621 0.0429
316-AH 0.0087 0.3200 0.3814 0.5455 1.0000 0.4226 0.2574 0.2255 0.9913 0.6090 0.2921 0.0727 0.1722 0.0087 0.5714 0.3585 0.1680
317-AH 0.0299 0.0426 0.0766 0.1429 1.0000 0.1873 0.2993 0.1003 0.9701 1.5980 0.0944 0.0658 0.1918 0.0299 0.1429 0.0674 0.0365
318-AH 0.0000 0.0028 0.0612 0.1000 0.1333 0.0573 0.0486 0.0972 0.1333 0.8483 0.0089 0.0000 0.0419 0.0000 0.1333 0.0573 0.0486
319-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
320-AH 0.0132 0.0455 0.0522 0.0769 0.2000 0.0669 0.0508 0.0315 0.1868 0.7585 0.0544 0.0434 0.0319 0.0132 0.0833 0.0521 0.0209
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0019 0.0155 0.0588 1.0000 0.1634 0.3314 0.0569 1.0000 2.0287 0.0065 0.0000 0.2347 0.0000 0.0588 0.0167 0.0218
323-AH 0.0667 0.1111 0.1714 0.5000 1.0000 0.3088 0.2913 0.3889 0.9333 0.9433 0.2168 0.1613 0.2196 0.0667 1.0000 0.3088 0.2913
324-AH 0.0067 0.0085 0.1125 0.1739 0.2500 0.1011 0.0896 0.1654 0.2433 0.8859 0.0494 0.0199 0.0737 0.0067 0.2500 0.1011 0.0896
325-AH 0.0349 0.2500 0.6667 1.0000 1.0000 0.6133 0.4160 0.7500 0.9651 0.6782 0.4213 0.2034 0.3867 0.0349 1.0000 0.6133 0.4160
326-AH 0.0000 0.0000 0.0569 0.1667 1.0000 0.1765 0.3089 0.1667 1.0000 1.7504 0.0060 0.0000 0.1961 0.0000 0.3333 0.0850 0.1148
327-AH 0.0000 0.0000 0.0012 0.0060 0.0366 0.0057 0.0111 0.0060 0.0366 1.9476 0.0006 0.0000 0.0063 0.0000 0.0062 0.0023 0.0026
328-AH 0.0044 0.3333 1.0000 1.0000 1.0000 0.6742 0.4379 0.6667 0.9956 0.6494 0.2765 0.0216 0.3909 0.0044 1.0000 0.6742 0.4379
329-AH 0.1667 0.5000 1.0000 1.0000 1.0000 0.7458 0.3549 0.5000 0.8333 0.4758 0.6221 0.4630 0.3050 0.1667 1.0000 0.7458 0.3549
330-AH 0.0000 0.0000 0.5375 1.0000 1.0000 0.5076 0.4977 1.0000 1.0000 0.9804 0.0133 0.0000 0.4674 0.0000 1.0000 0.5076 0.4977
331-AH 0.0000 0.0023 0.0451 0.1458 0.1765 0.0703 0.0738 0.1435 0.1765 1.0492 0.0121 0.0001 0.0651 0.0000 0.1765 0.0703 0.0738
332-AH 0.0000 0.0000 0.2000 1.0000 1.0000 0.4400 0.4971 1.0000 1.0000 1.1298 0.0029 0.0000 0.4480 0.0000 1.0000 0.4400 0.4971
333-AH 0.0043 0.0058 0.0122 0.0909 1.0000 0.1253 0.3095 0.0851 0.9957 2.4691 0.0215 0.0103 0.1749 0.0043 0.1000 0.0281 0.0384
334-AH 0.0000 0.0000 0.0010 0.0033 0.1818 0.0219 0.0569 0.0033 0.1818 2.5963 0.0003 0.0000 0.0335 0.0000 0.0033 0.0010 0.0014
335-AH 0.0000 0.0000 0.0036 0.0417 0.5000 0.0607 0.1553 0.0417 0.5000 2.5595 0.0016 0.0000 0.0879 0.0000 0.0435 0.0119 0.0180
336-AH 0.0000 0.0000 0.0190 0.0588 1.0000 0.1277 0.3097 0.0588 1.0000 2.4255 0.0020 0.0000 0.1775 0.0000 0.1429 0.0308 0.0469
337-AH 0.0195 0.0769 0.6000 1.0000 1.0000 0.5573 0.4697 0.9231 0.9805 0.8428 0.2927 0.1084 0.4427 0.0195 1.0000 0.5573 0.4697
338-AH 0.0000 0.0052 0.5556 1.0000 1.0000 0.5207 0.5065 0.9948 1.0000 0.9727 0.0373 0.0000 0.4793 0.0000 1.0000 0.5207 0.5065
339-AH 0.0000 0.0000 0.5025 1.0000 1.0000 0.5007 0.5263 1.0000 1.0000 1.0512 0.0099 0.0000 0.4993 0.0000 1.0000 0.5007 0.5263
340-AH 0.0000 0.0000 0.0000 0.0025 0.2500 0.0258 0.0788 0.0025 0.2500 3.0526 0.0001 0.0000 0.0448 0.0000 0.0046 0.0009 0.0016
351
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8167 0.2987 0.5000 0.6667 0.3657 0.7490 0.6667 0.2567 0.3333 1.0000 0.8167 0.2987
342-AH 0.7500 0.8333 1.0000 1.0000 1.0000 0.9361 0.1048 0.1667 0.2500 0.1119 0.9304 0.9243 0.0894 0.7500 1.0000 0.9361 0.1048
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0455 0.2500 0.8750 1.0000 1.0000 0.6920 0.3966 0.7500 0.9545 0.5731 0.4901 0.2400 0.3311 0.0455 1.0000 0.6920 0.3966
345-AH 0.0000 0.0000 0.0000 0.0013 0.1250 0.0172 0.0405 0.0013 0.1250 2.3571 0.0001 0.0000 0.0272 0.0000 0.0013 0.0002 0.0004
346-AH 0.0018 0.0028 0.0319 0.0854 0.1250 0.0429 0.0451 0.0826 0.1232 1.0511 0.0157 0.0051 0.0387 0.0018 0.1250 0.0429 0.0451
347-AH 0.0000 0.0000 0.0258 0.0952 0.1000 0.0427 0.0462 0.0952 0.1000 1.0827 0.0026 0.0000 0.0418 0.0000 0.1000 0.0427 0.0462
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4333 0.4981 1.0000 1.0000 1.1496 0.0028 0.0000 0.4533 0.0000 1.0000 0.4333 0.4981
349-AH 0.0081 0.0120 0.5312 1.0000 1.0000 0.5115 0.5152 0.9880 0.9919 1.0072 0.1309 0.0277 0.4885 0.0081 1.0000 0.5115 0.5152
350-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.6902 0.4277 0.6000 1.0000 0.6197 0.1431 0.0001 0.3718 0.0000 1.0000 0.6902 0.4277
352
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.1111 0.2143 0.7500 1.0000 1.0000 0.6468 0.3937 0.7857 0.8889 0.6086 0.4931 0.3371 0.3532 0.1111 1.0000 0.6468 0.3937
143-AH 0.0046 0.0070 0.0123 0.0343 1.0000 0.1149 0.3112 0.0273 0.9954 2.7087 0.0199 0.0114 0.1770 0.0046 0.0411 0.0166 0.0129
144-AH 0.0000 0.0051 0.2121 0.6667 1.0000 0.3606 0.4101 0.6616 1.0000 1.1375 0.0234 0.0000 0.3449 0.0000 1.0000 0.3606 0.4101
145-AH 0.1875 0.4444 1.0000 1.0000 1.0000 0.7849 0.3526 0.5556 0.8125 0.4492 0.6696 0.5213 0.3011 0.1875 1.0000 0.7849 0.3526
146-AH 0.0012 0.0023 0.0172 0.1667 0.3333 0.0744 0.1122 0.1644 0.3321 1.5084 0.0163 0.0044 0.0887 0.0012 0.3333 0.0744 0.1122
147-AH 0.0000 0.0081 0.0562 0.0843 0.1111 0.0522 0.0416 0.0763 0.1111 0.7978 0.0173 0.0001 0.0370 0.0000 0.1111 0.0522 0.0416
148-AH 0.0000 0.0000 0.0000 0.0013 0.1000 0.0103 0.0315 0.0013 0.1000 3.0584 0.0001 0.0000 0.0179 0.0000 0.0017 0.0003 0.0007
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0064 0.0108 0.0117 0.0222 0.2143 0.0345 0.0637 0.0115 0.2079 1.8471 0.0171 0.0130 0.0360 0.0064 0.0333 0.0145 0.0083
151-AH 0.0000 0.0000 0.0010 0.0064 0.0469 0.0066 0.0145 0.0064 0.0469 2.1906 0.0003 0.0000 0.0084 0.0000 0.0086 0.0021 0.0032
152-AH 0.0035 0.0040 0.0085 0.0114 1.0000 0.1072 0.3137 0.0074 0.9965 2.9278 0.0112 0.0066 0.1786 0.0035 0.0179 0.0080 0.0048
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.2033 1.0000 1.0000 0.4415 0.4943 1.0000 1.0000 1.1196 0.0122 0.0000 0.4468 0.0000 1.0000 0.4415 0.4943
155-AH 0.0000 0.0000 0.0017 0.0103 0.1667 0.0195 0.0519 0.0103 0.1667 2.6555 0.0003 0.0000 0.0294 0.0000 0.0115 0.0032 0.0046
156-AH 0.0263 0.0301 0.0984 0.1143 0.2500 0.0978 0.0717 0.0842 0.2237 0.7335 0.0754 0.0575 0.0511 0.0263 0.1765 0.0808 0.0506
157-AH 0.0000 0.0270 0.2847 0.5333 0.5600 0.2731 0.2471 0.5064 0.5600 0.9045 0.0631 0.0001 0.2294 0.0000 0.5600 0.2731 0.2471
158-AH 0.0000 0.0000 0.0080 0.2353 0.8000 0.1358 0.2567 0.2353 0.8000 1.8904 0.0011 0.0000 0.1827 0.0000 0.2857 0.0620 0.1135
159-AH 0.0000 0.0000 0.0000 0.0137 0.1371 0.0178 0.0425 0.0137 0.1371 2.3920 0.0002 0.0000 0.0241 0.0000 0.0189 0.0045 0.0073
160-AH 0.0625 0.2000 0.2500 0.3333 0.3333 0.2413 0.0835 0.1333 0.2708 0.3460 0.2219 0.1923 0.0605 0.0625 0.3333 0.2413 0.0835
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.6500 0.8065 0.9330 1.0000 1.0000 0.8874 0.1174 0.1935 0.3500 0.1323 0.8799 0.8716 0.0972 0.6500 1.0000 0.8874 0.1174
164-AH 0.0057 0.0151 0.0214 0.0909 0.4286 0.0768 0.1285 0.0758 0.4229 1.6742 0.0327 0.0187 0.0793 0.0057 0.1071 0.0377 0.0373
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0625 0.2500 0.4286 0.1429 0.1702 0.2500 0.4286 1.1917 0.0016 0.0000 0.1464 0.0000 0.4286 0.1429 0.1702
168-AH 0.0000 0.0000 0.0000 0.0040 0.2222 0.0285 0.0705 0.0040 0.2222 2.4730 0.0001 0.0000 0.0448 0.0000 0.0040 0.0005 0.0014
169-AH 0.0000 0.0000 0.0550 0.2000 1.0000 0.2453 0.4040 0.2000 1.0000 1.6471 0.0035 0.0000 0.3019 0.0000 0.2000 0.0566 0.0801
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0171 0.0270 0.0742 0.2222 0.6667 0.1506 0.2002 0.1952 0.6496 1.3298 0.0744 0.0423 0.1374 0.0171 0.2500 0.0932 0.0900
172-AH 0.0000 0.0062 0.0142 0.0435 0.0476 0.0204 0.0185 0.0373 0.0476 0.9037 0.0045 0.0000 0.0151 0.0000 0.0476 0.0204 0.0185
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0016 0.0023 0.5030 1.0000 1.0000 0.5014 0.5255 0.9977 0.9984 1.0481 0.0501 0.0046 0.4986 0.0016 1.0000 0.5014 0.5255
176-AH 0.0845 0.4286 0.7778 1.0000 1.0000 0.6654 0.3795 0.5714 0.9155 0.5703 0.5101 0.3243 0.3346 0.0845 1.0000 0.6654 0.3795
177-AH 0.0606 0.1364 0.2087 0.3333 1.0000 0.3454 0.3529 0.1970 0.9394 1.0217 0.2341 0.1717 0.2618 0.0606 0.3333 0.1817 0.0839
178-AH 0.0000 0.0000 0.0092 0.1667 0.5000 0.1040 0.1767 0.1667 0.5000 1.6996 0.0035 0.0000 0.1376 0.0000 0.3333 0.0600 0.1156
179-AH 0.0000 0.0000 0.0000 0.0047 0.5000 0.0516 0.1576 0.0047 0.5000 3.0530 0.0002 0.0000 0.0897 0.0000 0.0069 0.0018 0.0028
180-AH 0.0000 0.0000 0.0136 0.0528 0.8333 0.0984 0.2591 0.0528 0.8333 2.6337 0.0015 0.0000 0.1470 0.0000 0.0537 0.0167 0.0218
181-AH 0.0685 0.1294 0.8235 0.8750 1.0000 0.6496 0.3795 0.7456 0.9315 0.5842 0.4639 0.2628 0.3243 0.0685 1.0000 0.6496 0.3795
182-AH 0.0000 0.0093 0.0379 0.1875 0.5000 0.1077 0.1574 0.1782 0.5000 1.4612 0.0115 0.0000 0.1157 0.0000 0.2143 0.0641 0.0807
183-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8500 0.2415 0.5000 0.5000 0.2841 0.8123 0.7692 0.2100 0.5000 1.0000 0.8500 0.2415
184-AH 0.0027 0.0053 0.0119 0.1667 1.0000 0.1452 0.3104 0.1614 0.9973 2.1375 0.0233 0.0087 0.1907 0.0027 0.2222 0.0502 0.0831
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0072 0.0705 0.2000 0.3333 0.1105 0.1235 0.1928 0.3333 1.1178 0.0202 0.0001 0.1004 0.0000 0.3333 0.1105 0.1235
353
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.1667 0.5000 1.0000 1.0000 1.0000 0.7417 0.3479 0.5000 0.8333 0.4691 0.6335 0.5000 0.3100 0.1667 1.0000 0.7417 0.3479
193-AH 0.0000 0.0000 0.2519 1.0000 1.0000 0.4507 0.4965 1.0000 1.0000 1.1017 0.0095 0.0000 0.4493 0.0000 1.0000 0.4507 0.4965
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0371 0.3069 1.0000 1.0000 0.4719 0.4836 0.9629 1.0000 1.0249 0.0793 0.0001 0.4424 0.0000 1.0000 0.4719 0.4836
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0769 0.2222 0.5595 1.0000 1.0000 0.5755 0.4193 0.7778 0.9231 0.7286 0.3994 0.2535 0.3912 0.0769 1.0000 0.5755 0.4193
200-AH 0.0011 0.0240 0.0355 0.0467 1.0000 0.1289 0.3064 0.0227 0.9989 2.3763 0.0344 0.0086 0.1742 0.0011 0.0508 0.0322 0.0151
251-AH 0.7778 0.9231 1.0000 1.0000 1.0000 0.9501 0.0884 0.0769 0.2222 0.0931 0.9461 0.9417 0.0699 0.9231 1.0000 0.9904 0.0272
252-AH 0.0417 0.1481 0.1744 0.6000 0.8000 0.3135 0.2679 0.4519 0.7583 0.8546 0.2227 0.1546 0.2252 0.0417 0.8000 0.3135 0.2679
253-AH 0.6250 0.6897 0.8221 0.8696 0.8929 0.7871 0.1013 0.1799 0.2679 0.1287 0.7808 0.7741 0.0836 0.6250 0.8929 0.7871 0.1013
254-AH 0.0000 0.0809 0.1894 0.2584 0.4423 0.1907 0.1385 0.1775 0.4423 0.7264 0.0641 0.0001 0.1098 0.0000 0.4423 0.1907 0.1385
255-AH 0.0000 0.0000 0.1135 1.0000 1.0000 0.3560 0.4576 1.0000 1.0000 1.2851 0.0053 0.0000 0.3864 0.0000 1.0000 0.3560 0.4576
256-AH 0.0305 0.1000 0.5741 1.0000 1.0000 0.5459 0.4796 0.9000 0.9695 0.8785 0.2852 0.1292 0.4541 0.0305 1.0000 0.5459 0.4796
257-AH 0.0000 0.0552 0.1317 0.3043 0.4762 0.1711 0.1534 0.2491 0.4762 0.8968 0.0528 0.0001 0.1247 0.0000 0.4762 0.1711 0.1534
258-AH 0.0000 0.0000 0.0009 0.0046 0.0164 0.0033 0.0054 0.0046 0.0164 1.6146 0.0002 0.0000 0.0039 0.0000 0.0085 0.0019 0.0029
259-AH 0.0010 0.0028 0.0056 0.0213 0.5000 0.0596 0.1554 0.0185 0.4990 2.6067 0.0083 0.0033 0.0881 0.0010 0.0476 0.0107 0.0151
260-AH 0.0269 0.0879 0.7875 1.0000 1.0000 0.5823 0.4316 0.9121 0.9731 0.7413 0.3363 0.1372 0.3913 0.0269 1.0000 0.5823 0.4316
261-AH 0.0053 0.0166 0.0292 0.1481 0.3333 0.0802 0.1046 0.1315 0.3280 1.3030 0.0361 0.0177 0.0785 0.0053 0.3333 0.0802 0.1046
262-AH 0.0160 0.0479 0.0899 0.2083 0.5294 0.1423 0.1560 0.1605 0.5134 1.0962 0.0860 0.0516 0.1122 0.0160 0.2500 0.0993 0.0810
263-AH 0.0000 0.0000 0.0000 0.0000 0.0373 0.0037 0.0118 0.0000 0.0373 3.1623 0.0000 0.0000 0.0067 0.0000 0.0000 0.0000 0.0000
264-AH 0.0154 0.1579 0.1667 0.7500 1.0000 0.3438 0.3508 0.5921 0.9846 1.0204 0.1840 0.0766 0.2937 0.0154 1.0000 0.3438 0.3508
265-AH 0.0000 0.0000 0.0154 0.3000 1.0000 0.2616 0.4066 0.3000 1.0000 1.5540 0.0017 0.0000 0.3078 0.0000 0.3000 0.0771 0.1337
266-AH 0.0000 0.0000 0.0130 0.0909 0.1111 0.0414 0.0482 0.0909 0.1111 1.1629 0.0028 0.0000 0.0439 0.0000 0.1111 0.0414 0.0482
267-AH 0.0214 0.0976 0.1369 0.3077 0.5000 0.1860 0.1510 0.2101 0.4786 0.8119 0.1277 0.0764 0.1166 0.0214 0.5000 0.1860 0.1510
268-AH 0.0000 0.0000 0.0212 0.2857 1.0000 0.2078 0.3272 0.2857 1.0000 1.5746 0.0031 0.0000 0.2409 0.0000 0.5000 0.1198 0.1825
269-AH 0.0091 0.0526 0.1500 0.3333 1.0000 0.3069 0.3791 0.2807 0.9909 1.2353 0.1383 0.0522 0.2825 0.0091 0.3333 0.1336 0.1150
270-AH 0.0405 0.0741 0.5667 1.0000 1.0000 0.5426 0.4831 0.9259 0.9595 0.8904 0.2749 0.1257 0.4574 0.0405 1.0000 0.5426 0.4831
271-AH 0.1667 0.3750 0.9000 1.0000 1.0000 0.7348 0.3484 0.6250 0.8333 0.4741 0.6188 0.4757 0.2913 0.1667 1.0000 0.7348 0.3484
272-AH 0.0000 0.0000 0.0000 0.2857 0.3571 0.1223 0.1594 0.2857 0.3571 1.3028 0.0006 0.0000 0.1468 0.0000 0.3571 0.1223 0.1594
273-AH 0.0469 0.0735 0.0937 0.1358 0.9474 0.1914 0.2723 0.0623 0.9004 1.4228 0.1203 0.0959 0.1656 0.0469 0.1358 0.0879 0.0267
274-AH 0.0000 0.0225 0.0311 0.0449 0.0556 0.0312 0.0160 0.0224 0.0556 0.5119 0.0146 0.0001 0.0124 0.0000 0.0556 0.0312 0.0160
275-AH 0.0473 0.3889 0.4513 0.7222 0.7333 0.4853 0.2164 0.3333 0.6860 0.4459 0.4039 0.2537 0.1662 0.0473 0.7333 0.4853 0.2164
276-AH 0.0000 0.0000 0.1188 0.2692 0.8571 0.2384 0.3149 0.2692 0.8571 1.3210 0.0102 0.0000 0.2346 0.0000 0.2692 0.0971 0.1123
277-AH 0.0272 0.0759 0.1747 0.3125 0.3333 0.1841 0.1202 0.2366 0.3061 0.6529 0.1400 0.0973 0.1084 0.0272 0.3333 0.1841 0.1202
278-AH 0.0000 0.0000 0.0077 0.0562 0.2308 0.0396 0.0711 0.0562 0.2308 1.7958 0.0007 0.0000 0.0450 0.0000 0.0568 0.0184 0.0249
279-AH 0.0000 0.0039 0.0077 0.0157 0.0556 0.0134 0.0161 0.0118 0.0556 1.2039 0.0051 0.0001 0.0106 0.0000 0.0217 0.0087 0.0068
280-AH 0.0079 0.0092 0.0125 0.0199 0.0323 0.0153 0.0078 0.0106 0.0244 0.5116 0.0138 0.0127 0.0061 0.0079 0.0323 0.0153 0.0078
281-AH 0.0943 0.2812 0.3786 0.7500 1.0000 0.5140 0.3284 0.4688 0.9057 0.6389 0.4117 0.3125 0.2842 0.0943 1.0000 0.5140 0.3284
282-AH 0.1905 0.4000 0.5000 0.6667 0.6667 0.4857 0.1652 0.2667 0.4762 0.3402 0.4541 0.4161 0.1262 0.1905 0.6667 0.4857 0.1652
283-AH 0.0162 0.0213 0.1747 0.4167 1.0000 0.3115 0.3647 0.3954 0.9838 1.1707 0.1152 0.0442 0.2856 0.0162 1.0000 0.3115 0.3647
284-AH 0.0000 0.0396 0.4667 0.6000 0.7143 0.3877 0.2673 0.5604 0.7143 0.6894 0.1051 0.0001 0.2179 0.0000 0.7143 0.3877 0.2673
285-AH 0.0000 0.0000 0.0083 0.0921 0.1707 0.0502 0.0668 0.0921 0.1707 1.3309 0.0016 0.0000 0.0569 0.0000 0.1707 0.0502 0.0668
286-AH 0.0000 0.0034 0.0073 0.0100 0.0105 0.0063 0.0040 0.0066 0.0105 0.6325 0.0020 0.0000 0.0032 0.0000 0.0105 0.0063 0.0040
287-AH 0.0670 0.2857 0.4820 0.7143 0.7143 0.4585 0.2531 0.4286 0.6473 0.5521 0.3541 0.2258 0.2045 0.0670 0.7143 0.4585 0.2531
288-AH 0.0158 0.0266 0.0604 0.2857 0.7143 0.1736 0.2362 0.2591 0.6985 1.3603 0.0743 0.0403 0.1838 0.0158 0.4400 0.1136 0.1489
289-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0600 0.1897 0.0000 0.6000 3.1623 0.0000 0.0000 0.1080 0.0000 0.0000 0.0000 0.0000
290-AH 0.0094 0.0123 0.0249 0.0472 0.2326 0.0478 0.0674 0.0349 0.2232 1.4086 0.0283 0.0208 0.0410 0.0094 0.0682 0.0273 0.0192
354
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0230 0.0260 0.0436 0.1250 0.1818 0.0723 0.0613 0.0990 0.1588 0.8475 0.0539 0.0428 0.0513 0.0230 0.1818 0.0723 0.0613
292-AH 0.0208 0.1905 0.2426 0.5000 1.0000 0.3828 0.3464 0.3095 0.9792 0.9048 0.2509 0.1238 0.2703 0.0208 0.5000 0.2285 0.1350
293-AH 0.0000 0.0000 0.0244 0.1042 0.6000 0.1011 0.1847 0.1042 0.6000 1.8282 0.0012 0.0000 0.1135 0.0000 0.1667 0.0456 0.0618
294-AH 0.4286 1.0000 1.0000 1.0000 1.0000 0.8929 0.2265 0.0000 0.5714 0.2537 0.8572 0.8108 0.1714 1.0000 1.0000 1.0000 0.0000
295-AH 0.0000 0.0000 0.0175 0.0216 0.5385 0.0658 0.1666 0.0216 0.5385 2.5313 0.0014 0.0000 0.0945 0.0000 0.0423 0.0133 0.0147
296-AH 0.0000 0.0000 0.0203 0.2500 0.5000 0.1426 0.1927 0.2500 0.5000 1.3515 0.0053 0.0000 0.1617 0.0000 0.5000 0.1426 0.1927
297-AH 0.0000 0.0000 0.0109 0.5000 0.6667 0.1875 0.2959 0.5000 0.6667 1.5782 0.0022 0.0000 0.2542 0.0000 0.6667 0.1875 0.2959
298-AH 0.0081 0.0155 0.0383 0.0769 0.6000 0.0953 0.1796 0.0615 0.5919 1.8846 0.0388 0.0230 0.1009 0.0081 0.0870 0.0392 0.0302
299-AH 0.0000 0.0112 0.0727 0.2391 0.8182 0.1704 0.2496 0.2279 0.8182 1.4651 0.0158 0.0000 0.1691 0.0000 0.2500 0.0984 0.1087
300-AH 0.0071 0.0257 0.0615 0.2742 0.3600 0.1215 0.1338 0.2485 0.3529 1.1012 0.0601 0.0282 0.1128 0.0071 0.3600 0.1215 0.1338
301-AH 0.0000 0.0000 0.0010 0.0042 0.0084 0.0025 0.0033 0.0042 0.0084 1.3346 0.0002 0.0000 0.0026 0.0000 0.0084 0.0025 0.0033
302-AH 0.1667 0.3333 0.6667 0.6667 0.7500 0.5402 0.2183 0.3333 0.5833 0.4041 0.4854 0.4181 0.1851 0.1667 0.7500 0.5402 0.2183
303-AH 0.0000 0.0526 0.3875 0.5000 0.6364 0.3366 0.2325 0.4474 0.6364 0.6906 0.0953 0.0001 0.1860 0.0000 0.6364 0.3366 0.2325
304-AH 0.0000 0.0000 0.0785 0.8000 1.0000 0.3007 0.4030 0.8000 1.0000 1.3403 0.0039 0.0000 0.3396 0.0000 1.0000 0.3007 0.4030
305-AH 0.0000 0.0172 0.0384 0.0448 0.6111 0.1353 0.2306 0.0276 0.6111 1.7041 0.0221 0.0001 0.1740 0.0000 0.0448 0.0266 0.0173
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0139 0.0026 0.0054 0.0000 0.0139 2.1185 0.0000 0.0000 0.0041 0.0000 0.0000 0.0000 0.0000
308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
309-AH 0.0417 0.0741 0.0874 0.1667 0.5000 0.1528 0.1482 0.0926 0.4583 0.9699 0.1118 0.0902 0.1083 0.0417 0.1667 0.0868 0.0369
310-AH 0.0000 0.0000 0.0299 0.1064 0.3043 0.0841 0.1158 0.1064 0.3043 1.3779 0.0012 0.0000 0.0889 0.0000 0.1064 0.0329 0.0473
311-AH 0.0827 0.1329 0.1889 0.3750 0.9000 0.3394 0.3090 0.2421 0.8173 0.9103 0.2467 0.1924 0.2314 0.0827 0.3750 0.1993 0.1024
312-AH 0.0000 0.0000 0.0000 0.0000 0.3750 0.0582 0.1289 0.0000 0.3750 2.2154 0.0001 0.0000 0.0931 0.0000 0.0000 0.0000 0.0000
313-AH 0.0060 0.0227 0.0434 0.0745 0.1111 0.0503 0.0355 0.0517 0.1051 0.7053 0.0353 0.0203 0.0285 0.0060 0.1111 0.0503 0.0355
314-AH 0.0000 0.0024 0.0387 0.1471 0.2857 0.0757 0.0969 0.1447 0.2857 1.2789 0.0067 0.0000 0.0744 0.0000 0.2857 0.0757 0.0969
315-AH 0.0126 0.0171 0.0401 0.0761 0.0811 0.0437 0.0283 0.0590 0.0684 0.6468 0.0349 0.0277 0.0249 0.0126 0.0811 0.0437 0.0283
316-AH 0.0000 0.2370 0.2924 0.3462 0.4167 0.2681 0.1214 0.1092 0.4167 0.4528 0.1027 0.0001 0.0878 0.1504 0.4167 0.2979 0.0812
317-AH 0.0299 0.0426 0.0643 0.1429 0.6000 0.1415 0.1801 0.1003 0.5701 1.2730 0.0858 0.0633 0.1237 0.0299 0.1429 0.0644 0.0360
318-AH 0.0000 0.0028 0.0612 0.1000 0.1333 0.0573 0.0486 0.0972 0.1333 0.8483 0.0089 0.0000 0.0419 0.0000 0.1333 0.0573 0.0486
319-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9333 0.1405 0.0000 0.3333 0.1506 0.9221 0.9091 0.1067 1.0000 1.0000 1.0000 0.0000
320-AH 0.0093 0.0380 0.0455 0.0545 0.1429 0.0514 0.0369 0.0166 0.1336 0.7174 0.0404 0.0295 0.0225 0.0380 0.0690 0.0499 0.0099
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0147 0.0395 0.6667 0.1267 0.2443 0.0395 0.6667 1.9278 0.0031 0.0000 0.1827 0.0000 0.0395 0.0125 0.0161
323-AH 0.0000 0.0421 0.0621 0.0755 0.1310 0.0633 0.0399 0.0334 0.1310 0.6306 0.0260 0.0001 0.0290 0.0000 0.1182 0.0558 0.0340
324-AH 0.0000 0.0000 0.0297 0.0491 0.0634 0.0278 0.0243 0.0491 0.0634 0.8768 0.0030 0.0000 0.0206 0.0000 0.0634 0.0278 0.0243
325-AH 0.0173 0.0571 0.1006 0.2063 0.3043 0.1256 0.0926 0.1492 0.2870 0.7379 0.0935 0.0639 0.0730 0.0173 0.3043 0.1256 0.0926
326-AH 0.0000 0.0000 0.0569 0.1667 1.0000 0.1765 0.3089 0.1667 1.0000 1.7504 0.0060 0.0000 0.1961 0.0000 0.3333 0.0850 0.1148
327-AH 0.0000 0.0000 0.0012 0.0060 0.0366 0.0057 0.0111 0.0060 0.0366 1.9476 0.0006 0.0000 0.0063 0.0000 0.0062 0.0023 0.0026
328-AH 0.0000 0.1667 0.6000 1.0000 1.0000 0.5517 0.3982 0.8333 1.0000 0.7218 0.0669 0.0000 0.3280 0.0000 1.0000 0.5517 0.3982
329-AH 0.1538 0.2308 0.7083 1.0000 1.0000 0.6586 0.3593 0.7692 0.8462 0.5456 0.5308 0.3919 0.2930 0.1538 1.0000 0.6586 0.3593
330-AH 0.0000 0.0000 0.3678 0.8125 1.0000 0.4179 0.4436 0.8125 1.0000 1.0614 0.0060 0.0000 0.4150 0.0000 1.0000 0.4179 0.4436
331-AH 0.0000 0.0022 0.0409 0.1458 0.1765 0.0693 0.0746 0.1437 0.1765 1.0757 0.0070 0.0000 0.0659 0.0000 0.1765 0.0693 0.0746
332-AH 0.0000 0.0000 0.2000 1.0000 1.0000 0.4400 0.4971 1.0000 1.0000 1.1298 0.0029 0.0000 0.4480 0.0000 1.0000 0.4400 0.4971
333-AH 0.0043 0.0058 0.0122 0.0909 1.0000 0.1253 0.3095 0.0851 0.9957 2.4691 0.0215 0.0103 0.1749 0.0043 0.1000 0.0281 0.0384
334-AH 0.0000 0.0000 0.0010 0.0033 0.1818 0.0219 0.0569 0.0033 0.1818 2.5963 0.0003 0.0000 0.0335 0.0000 0.0033 0.0010 0.0014
335-AH 0.0000 0.0000 0.0000 0.0370 0.2000 0.0290 0.0621 0.0370 0.2000 2.1390 0.0003 0.0000 0.0380 0.0000 0.0400 0.0100 0.0167
336-AH 0.0000 0.0000 0.0082 0.0588 0.1818 0.0427 0.0663 0.0588 0.1818 1.5520 0.0014 0.0000 0.0511 0.0000 0.1429 0.0273 0.0475
337-AH 0.0195 0.0769 0.6000 1.0000 1.0000 0.5573 0.4697 0.9231 0.9805 0.8428 0.2927 0.1084 0.4427 0.0195 1.0000 0.5573 0.4697
338-AH 0.0000 0.0052 0.5556 1.0000 1.0000 0.5207 0.5065 0.9948 1.0000 0.9727 0.0373 0.0000 0.4793 0.0000 1.0000 0.5207 0.5065
339-AH 0.0000 0.0000 0.5017 1.0000 1.0000 0.5003 0.5267 1.0000 1.0000 1.0527 0.0057 0.0000 0.4997 0.0000 1.0000 0.5003 0.5267
340-AH 0.0000 0.0000 0.0000 0.0025 0.2500 0.0258 0.0788 0.0025 0.2500 3.0526 0.0001 0.0000 0.0448 0.0000 0.0046 0.0009 0.0016
355
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.3333 0.5000 1.0000 1.0000 1.0000 0.8167 0.2987 0.5000 0.6667 0.3657 0.7490 0.6667 0.2567 0.3333 1.0000 0.8167 0.2987
342-AH 0.2340 0.4615 0.6471 0.8750 0.9231 0.6450 0.2556 0.4135 0.6890 0.3962 0.5865 0.5176 0.1978 0.2340 0.9231 0.6450 0.2556
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0185 0.3884 1.0000 1.0000 0.4579 0.4692 0.9815 1.0000 1.0247 0.0665 0.0001 0.4350 0.0000 1.0000 0.4579 0.4692
345-AH 0.0000 0.0000 0.0000 0.0013 0.1250 0.0172 0.0405 0.0013 0.1250 2.3571 0.0001 0.0000 0.0272 0.0000 0.0013 0.0002 0.0004
346-AH 0.0000 0.0028 0.0319 0.0638 0.0854 0.0364 0.0363 0.0611 0.0854 0.9973 0.0052 0.0000 0.0329 0.0000 0.0854 0.0364 0.0363
347-AH 0.0000 0.0000 0.0258 0.0952 0.1000 0.0427 0.0462 0.0952 0.1000 1.0827 0.0026 0.0000 0.0418 0.0000 0.1000 0.0427 0.0462
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4333 0.4981 1.0000 1.0000 1.1496 0.0028 0.0000 0.4533 0.0000 1.0000 0.4333 0.4981
349-AH 0.0000 0.0031 0.5027 1.0000 1.0000 0.5012 0.5258 0.9969 1.0000 1.0491 0.0189 0.0000 0.4988 0.0000 1.0000 0.5012 0.5258
350-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.6902 0.4277 0.6000 1.0000 0.6197 0.1431 0.0001 0.3718 0.0000 1.0000 0.6902 0.4277
356
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0833 0.2143 0.7500 1.0000 1.0000 0.6436 0.3986 0.7857 0.9167 0.6194 0.4775 0.3038 0.3564 0.0833 1.0000 0.6436 0.3986
143-AH 0.0000 0.0000 0.0097 0.0336 0.7059 0.0820 0.2196 0.0336 0.7059 2.6789 0.0025 0.0000 0.1248 0.0000 0.0383 0.0127 0.0142
144-AH 0.0000 0.0051 0.2121 0.6667 1.0000 0.3606 0.4101 0.6616 1.0000 1.1375 0.0234 0.0000 0.3449 0.0000 1.0000 0.3606 0.4101
145-AH 0.0604 0.3846 0.7238 0.8889 1.0000 0.6037 0.3563 0.5043 0.9396 0.5903 0.4300 0.2246 0.3029 0.0604 1.0000 0.6037 0.3563
146-AH 0.0012 0.0023 0.0172 0.1667 0.3333 0.0744 0.1122 0.1644 0.3321 1.5084 0.0163 0.0044 0.0887 0.0012 0.3333 0.0744 0.1122
147-AH 0.0000 0.0000 0.0384 0.0529 0.0657 0.0313 0.0257 0.0529 0.0657 0.8206 0.0034 0.0000 0.0221 0.0000 0.0657 0.0313 0.0257
148-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0028 0.0098 0.0109 0.2143 0.0280 0.0656 0.0081 0.2143 2.3378 0.0052 0.0001 0.0372 0.0000 0.0110 0.0074 0.0044
151-AH 0.0000 0.0000 0.0000 0.0055 0.0469 0.0061 0.0146 0.0055 0.0469 2.4029 0.0001 0.0000 0.0087 0.0000 0.0086 0.0016 0.0032
152-AH 0.0031 0.0039 0.0059 0.0091 0.8000 0.0862 0.2508 0.0052 0.7969 2.9088 0.0096 0.0058 0.1428 0.0031 0.0091 0.0056 0.0024
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0546 0.3846 1.0000 0.2596 0.4071 0.3846 1.0000 1.5680 0.0072 0.0000 0.3211 0.0000 0.3846 0.0746 0.1318
155-AH 0.0000 0.0000 0.0017 0.0103 0.1667 0.0195 0.0519 0.0103 0.1667 2.6555 0.0003 0.0000 0.0294 0.0000 0.0115 0.0032 0.0046
156-AH 0.0139 0.0301 0.0594 0.1000 0.1429 0.0691 0.0426 0.0699 0.1289 0.6169 0.0555 0.0422 0.0353 0.0139 0.1429 0.0691 0.0426
157-AH 0.0000 0.0000 0.2547 0.4918 0.5600 0.2508 0.2521 0.4918 0.5600 1.0055 0.0054 0.0000 0.2360 0.0000 0.5600 0.2508 0.2521
158-AH 0.0000 0.0000 0.0000 0.1754 0.3269 0.0744 0.1250 0.1754 0.3269 1.6806 0.0002 0.0000 0.1041 0.0000 0.3269 0.0744 0.1250
159-AH 0.0000 0.0000 0.0000 0.0000 0.1371 0.0137 0.0434 0.0000 0.1371 3.1623 0.0000 0.0000 0.0247 0.0000 0.0000 0.0000 0.0000
160-AH 0.0625 0.2000 0.2500 0.3333 0.3333 0.2413 0.0835 0.1333 0.2708 0.3460 0.2219 0.1923 0.0605 0.0625 0.3333 0.2413 0.0835
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.6078 0.7368 0.8697 0.9375 1.0000 0.8494 0.1306 0.2007 0.3922 0.1537 0.8398 0.8296 0.1100 0.6078 1.0000 0.8494 0.1306
164-AH 0.0000 0.0143 0.0212 0.0659 0.1622 0.0453 0.0500 0.0516 0.1622 1.1026 0.0148 0.0001 0.0376 0.0000 0.0909 0.0323 0.0302
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0625 0.2500 0.4286 0.1429 0.1702 0.2500 0.4286 1.1917 0.0016 0.0000 0.1464 0.0000 0.4286 0.1429 0.1702
168-AH 0.0000 0.0000 0.0000 0.0000 0.2222 0.0254 0.0699 0.0000 0.2222 2.7513 0.0001 0.0000 0.0406 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0068 0.1818 0.2500 0.0788 0.1022 0.1818 0.2500 1.2958 0.0019 0.0000 0.0919 0.0000 0.2500 0.0788 0.1022
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0150 0.0336 0.0847 0.1290 0.0470 0.0433 0.0697 0.1290 0.9210 0.0166 0.0001 0.0346 0.0000 0.1290 0.0470 0.0433
172-AH 0.0000 0.0062 0.0123 0.0148 0.0200 0.0104 0.0066 0.0086 0.0200 0.6409 0.0030 0.0000 0.0053 0.0000 0.0200 0.0104 0.0066
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
176-AH 0.0678 0.2857 0.7368 1.0000 1.0000 0.6268 0.4107 0.7143 0.9322 0.6552 0.4392 0.2468 0.3732 0.0678 1.0000 0.6268 0.4107
177-AH 0.0336 0.0606 0.1682 0.3077 0.7500 0.2597 0.2724 0.2471 0.7164 1.0487 0.1558 0.0960 0.2057 0.0336 0.3077 0.1372 0.0977
178-AH 0.0000 0.0000 0.0092 0.1667 0.5000 0.1040 0.1767 0.1667 0.5000 1.6996 0.0035 0.0000 0.1376 0.0000 0.3333 0.0600 0.1156
179-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0167 0.0527 0.0000 0.1667 3.1623 0.0000 0.0000 0.0300 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0124 0.0528 0.7273 0.0875 0.2257 0.0528 0.7273 2.5798 0.0015 0.0000 0.1280 0.0000 0.0537 0.0164 0.0219
181-AH 0.0615 0.0930 0.8000 0.8286 0.9565 0.6179 0.3734 0.7355 0.8951 0.6044 0.4181 0.2168 0.3213 0.0615 0.9565 0.6179 0.3734
182-AH 0.0000 0.0093 0.0379 0.1875 0.5000 0.1077 0.1574 0.1782 0.5000 1.4612 0.0115 0.0000 0.1157 0.0000 0.2143 0.0641 0.0807
183-AH 0.5000 0.5000 1.0000 1.0000 1.0000 0.8500 0.2415 0.5000 0.5000 0.2841 0.8123 0.7692 0.2100 0.5000 1.0000 0.8500 0.2415
184-AH 0.0000 0.0000 0.0078 0.1667 0.2500 0.0672 0.1027 0.1667 0.2500 1.5270 0.0027 0.0000 0.0874 0.0000 0.2500 0.0672 0.1027
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0033 0.0091 0.2000 0.3333 0.0947 0.1305 0.1967 0.3333 1.3783 0.0071 0.0000 0.1081 0.0000 0.3333 0.0947 0.1305
357
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0028 0.1333 0.4583 1.0000 1.0000 0.4995 0.4250 0.8667 0.9972 0.8509 0.1963 0.0207 0.3839 0.0028 1.0000 0.4995 0.4250
193-AH 0.0000 0.0000 0.0927 0.3333 0.6667 0.1719 0.2222 0.3333 0.6667 1.2927 0.0032 0.0000 0.1711 0.0000 0.6667 0.1719 0.2222
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.2936 1.0000 1.0000 0.4587 0.4944 1.0000 1.0000 1.0777 0.0068 0.0000 0.4513 0.0000 1.0000 0.4587 0.4944
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0635 0.2222 0.5317 0.7778 0.8333 0.4875 0.3284 0.5556 0.7698 0.6737 0.3554 0.2309 0.3059 0.0635 0.8333 0.4875 0.3284
200-AH 0.0000 0.0240 0.0355 0.0467 1.0000 0.1288 0.3064 0.0227 1.0000 2.3787 0.0215 0.0001 0.1742 0.0000 0.0508 0.0320 0.0154
251-AH 0.4815 0.7895 0.8544 0.8889 0.9333 0.8037 0.1417 0.0994 0.4519 0.1764 0.7900 0.7733 0.1031 0.7895 0.9333 0.8664 0.0442
252-AH 0.0361 0.1395 0.1744 0.5000 0.6667 0.2783 0.2242 0.3605 0.6305 0.8057 0.2017 0.1385 0.1864 0.0361 0.6667 0.2783 0.2242
253-AH 0.5056 0.5132 0.6430 0.7895 0.8163 0.6578 0.1252 0.2763 0.3107 0.1904 0.6469 0.6359 0.1059 0.5056 0.8163 0.6578 0.1252
254-AH 0.0000 0.0809 0.1462 0.2170 0.4103 0.1655 0.1351 0.1360 0.4103 0.8167 0.0254 0.0000 0.1040 0.0000 0.4103 0.1655 0.1351
255-AH 0.0000 0.0000 0.1135 1.0000 1.0000 0.3560 0.4576 1.0000 1.0000 1.2851 0.0053 0.0000 0.3864 0.0000 1.0000 0.3560 0.4576
256-AH 0.0240 0.0648 0.5388 1.0000 1.0000 0.5303 0.4953 0.9352 0.9760 0.9340 0.2370 0.0956 0.4697 0.0240 1.0000 0.5303 0.4953
257-AH 0.0000 0.0282 0.0795 0.1940 0.3611 0.1184 0.1178 0.1658 0.3611 0.9945 0.0358 0.0001 0.0910 0.0000 0.3611 0.1184 0.1178
258-AH 0.0000 0.0000 0.0009 0.0046 0.0164 0.0033 0.0054 0.0046 0.0164 1.6146 0.0002 0.0000 0.0039 0.0000 0.0085 0.0019 0.0029
259-AH 0.0010 0.0028 0.0056 0.0213 0.5000 0.0596 0.1554 0.0185 0.4990 2.6067 0.0083 0.0033 0.0881 0.0010 0.0476 0.0107 0.0151
260-AH 0.0269 0.0838 0.3392 0.8125 1.0000 0.4104 0.3783 0.7287 0.9731 0.9217 0.2335 0.1157 0.3063 0.0269 1.0000 0.4104 0.3783
261-AH 0.0000 0.0104 0.0151 0.1014 0.2188 0.0511 0.0714 0.0911 0.2188 1.3954 0.0067 0.0000 0.0556 0.0000 0.2188 0.0511 0.0714
262-AH 0.0000 0.0396 0.0658 0.1316 0.3400 0.0959 0.0973 0.0920 0.3400 1.0152 0.0319 0.0001 0.0668 0.0000 0.1417 0.0688 0.0488
263-AH 0.0000 0.0000 0.0000 0.0000 0.0150 0.0015 0.0047 0.0000 0.0150 3.1623 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
264-AH 0.0154 0.1346 0.1667 0.2778 0.8571 0.2764 0.2821 0.1432 0.8418 1.0205 0.1607 0.0745 0.2040 0.0154 0.2778 0.1491 0.0907
265-AH 0.0000 0.0000 0.0154 0.3000 1.0000 0.2616 0.4066 0.3000 1.0000 1.5540 0.0017 0.0000 0.3078 0.0000 0.3000 0.0771 0.1337
266-AH 0.0000 0.0000 0.0130 0.0909 0.1111 0.0414 0.0482 0.0909 0.1111 1.1629 0.0028 0.0000 0.0439 0.0000 0.1111 0.0414 0.0482
267-AH 0.0214 0.0758 0.1258 0.1724 0.4615 0.1547 0.1317 0.0967 0.4401 0.8511 0.1089 0.0708 0.0919 0.0214 0.2778 0.1206 0.0802
268-AH 0.0000 0.0000 0.0212 0.2857 1.0000 0.2078 0.3272 0.2857 1.0000 1.5746 0.0031 0.0000 0.2409 0.0000 0.5000 0.1198 0.1825
269-AH 0.0047 0.0526 0.1245 0.3333 0.5000 0.1932 0.1889 0.2807 0.4953 0.9780 0.0872 0.0208 0.1521 0.0047 0.5000 0.1932 0.1889
270-AH 0.0166 0.0588 0.3654 1.0000 1.0000 0.4888 0.4793 0.9412 0.9834 0.9806 0.1859 0.0597 0.4445 0.0166 1.0000 0.4888 0.4793
271-AH 0.1000 0.1667 0.5446 1.0000 1.0000 0.5684 0.4103 0.8333 0.9000 0.7219 0.4027 0.2694 0.3745 0.1000 1.0000 0.5684 0.4103
272-AH 0.0000 0.0000 0.0000 0.2727 0.3571 0.1104 0.1500 0.2727 0.3571 1.3583 0.0006 0.0000 0.1325 0.0000 0.3571 0.1104 0.1500
273-AH 0.0295 0.0405 0.0736 0.0887 0.9474 0.1663 0.2815 0.0481 0.9179 1.6926 0.0836 0.0598 0.1722 0.0295 0.0887 0.0587 0.0248
274-AH 0.0000 0.0000 0.0241 0.0449 0.0506 0.0246 0.0198 0.0449 0.0506 0.8059 0.0029 0.0000 0.0161 0.0000 0.0506 0.0246 0.0198
275-AH 0.0219 0.3137 0.4120 0.6667 0.7000 0.4245 0.2200 0.3529 0.6781 0.5183 0.3244 0.1474 0.1758 0.0219 0.7000 0.4245 0.2200
276-AH 0.0000 0.0000 0.0716 0.2034 0.5455 0.1580 0.2068 0.2034 0.5455 1.3091 0.0037 0.0000 0.1609 0.0000 0.5000 0.1149 0.1651
277-AH 0.0231 0.0350 0.1711 0.3125 0.3333 0.1736 0.1304 0.2775 0.3103 0.7509 0.1147 0.0677 0.1178 0.0231 0.3333 0.1736 0.1304
278-AH 0.0000 0.0000 0.0000 0.0562 0.1667 0.0311 0.0532 0.0562 0.1667 1.7097 0.0003 0.0000 0.0373 0.0000 0.0568 0.0161 0.0252
279-AH 0.0000 0.0039 0.0077 0.0157 0.0556 0.0134 0.0161 0.0118 0.0556 1.2039 0.0051 0.0001 0.0106 0.0000 0.0217 0.0087 0.0068
280-AH 0.0050 0.0088 0.0095 0.0106 0.0122 0.0095 0.0020 0.0018 0.0071 0.2128 0.0092 0.0089 0.0014 0.0079 0.0122 0.0099 0.0014
281-AH 0.0714 0.1754 0.2626 0.4091 0.7500 0.3369 0.2303 0.2337 0.6786 0.6836 0.2714 0.2142 0.1772 0.0714 0.7500 0.3369 0.2303
282-AH 0.0811 0.2083 0.3429 0.4167 0.5000 0.3175 0.1430 0.2083 0.4189 0.4504 0.2799 0.2345 0.1229 0.0811 0.5000 0.3175 0.1430
283-AH 0.0095 0.0119 0.0417 0.3478 0.5882 0.1938 0.2392 0.3360 0.5788 1.2342 0.0595 0.0220 0.2070 0.0095 0.5882 0.1938 0.2392
284-AH 0.0000 0.0154 0.2107 0.4286 0.5333 0.2438 0.2239 0.4132 0.5333 0.9182 0.0273 0.0000 0.2028 0.0000 0.5333 0.2438 0.2239
285-AH 0.0000 0.0000 0.0000 0.0725 0.1443 0.0407 0.0572 0.0725 0.1443 1.4035 0.0004 0.0000 0.0489 0.0000 0.1443 0.0407 0.0572
286-AH 0.0000 0.0000 0.0038 0.0077 0.0091 0.0040 0.0038 0.0077 0.0091 0.9641 0.0005 0.0000 0.0033 0.0000 0.0091 0.0040 0.0038
287-AH 0.0670 0.2222 0.4749 0.4848 0.5789 0.3776 0.1880 0.2626 0.5119 0.4979 0.3049 0.2110 0.1538 0.0670 0.5789 0.3776 0.1880
288-AH 0.0000 0.0196 0.0470 0.2464 0.4324 0.1188 0.1530 0.2268 0.4324 1.2880 0.0134 0.0000 0.1258 0.0000 0.4324 0.1188 0.1530
289-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0500 0.1581 0.0000 0.5000 3.1623 0.0000 0.0000 0.0900 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0115 0.0183 0.2326 0.0313 0.0713 0.0183 0.2326 2.2818 0.0011 0.0000 0.0403 0.0000 0.0265 0.0089 0.0096
358
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0230 0.0260 0.0403 0.0409 0.1250 0.0444 0.0294 0.0149 0.1020 0.6612 0.0392 0.0361 0.0162 0.0230 0.0451 0.0355 0.0084
292-AH 0.0208 0.1905 0.2426 0.5000 1.0000 0.3828 0.3464 0.3095 0.9792 0.9048 0.2509 0.1238 0.2703 0.0208 0.5000 0.2285 0.1350
293-AH 0.0000 0.0000 0.0222 0.1042 0.5714 0.0927 0.1749 0.1042 0.5714 1.8862 0.0011 0.0000 0.1030 0.0000 0.1173 0.0395 0.0507
294-AH 0.0387 0.3333 0.5833 0.8571 1.0000 0.5652 0.3293 0.5238 0.9613 0.5827 0.3996 0.1927 0.2535 0.0387 1.0000 0.5652 0.3293
295-AH 0.0000 0.0000 0.0000 0.0116 0.3056 0.0337 0.0958 0.0116 0.3056 2.8413 0.0001 0.0000 0.0544 0.0000 0.0199 0.0035 0.0072
296-AH 0.0000 0.0000 0.0112 0.0862 0.1389 0.0418 0.0558 0.0862 0.1389 1.3351 0.0008 0.0000 0.0457 0.0000 0.1389 0.0418 0.0558
297-AH 0.0000 0.0000 0.0045 0.1200 0.2500 0.0584 0.0933 0.1200 0.2500 1.5960 0.0008 0.0000 0.0764 0.0000 0.2500 0.0584 0.0933
298-AH 0.0000 0.0000 0.0191 0.0392 0.2857 0.0461 0.0865 0.0392 0.2857 1.8783 0.0030 0.0000 0.0515 0.0000 0.0638 0.0194 0.0212
299-AH 0.0000 0.0000 0.0558 0.2143 0.4250 0.1159 0.1429 0.2143 0.4250 1.2322 0.0031 0.0000 0.1168 0.0000 0.4250 0.1159 0.1429
300-AH 0.0000 0.0139 0.0615 0.2742 0.3600 0.1180 0.1368 0.2603 0.3600 1.1591 0.0143 0.0000 0.1149 0.0000 0.3600 0.1180 0.1368
301-AH 0.0000 0.0000 0.0000 0.0000 0.0084 0.0016 0.0034 0.0000 0.0084 2.1097 0.0000 0.0000 0.0026 0.0000 0.0000 0.0000 0.0000
302-AH 0.0833 0.2632 0.5278 0.6667 0.6667 0.4709 0.2062 0.4035 0.5833 0.4380 0.4059 0.3115 0.1662 0.0833 0.6667 0.4709 0.2062
303-AH 0.0000 0.0417 0.2138 0.5000 0.6364 0.2652 0.2582 0.4583 0.6364 0.9737 0.0610 0.0001 0.2321 0.0000 0.6364 0.2652 0.2582
304-AH 0.0000 0.0000 0.0645 0.7500 0.8000 0.2729 0.3616 0.7500 0.8000 1.3251 0.0021 0.0000 0.3063 0.0000 0.8000 0.2729 0.3616
305-AH 0.0000 0.0172 0.0339 0.0448 0.4815 0.1096 0.1809 0.0276 0.4815 1.6507 0.0105 0.0000 0.1363 0.0000 0.0448 0.0244 0.0182
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
309-AH 0.0385 0.0741 0.0791 0.0976 0.4000 0.1171 0.1048 0.0235 0.3615 0.8947 0.0940 0.0814 0.0665 0.0625 0.0976 0.0809 0.0125
310-AH 0.0000 0.0000 0.0230 0.0952 0.2258 0.0631 0.0842 0.0952 0.2258 1.3344 0.0010 0.0000 0.0665 0.0000 0.2258 0.0631 0.0842
311-AH 0.0698 0.0827 0.1485 0.2075 0.3333 0.1638 0.0835 0.1248 0.2636 0.5096 0.1453 0.1286 0.0655 0.0698 0.3333 0.1638 0.0835
312-AH 0.0000 0.0000 0.0000 0.0000 0.3750 0.0575 0.1280 0.0000 0.3750 2.2269 0.0001 0.0000 0.0920 0.0000 0.0000 0.0000 0.0000
313-AH 0.0060 0.0143 0.0434 0.0745 0.0857 0.0446 0.0316 0.0601 0.0797 0.7097 0.0309 0.0185 0.0268 0.0060 0.0857 0.0446 0.0316
314-AH 0.0000 0.0000 0.0358 0.1316 0.1667 0.0588 0.0679 0.1316 0.1667 1.1549 0.0020 0.0000 0.0576 0.0000 0.1667 0.0588 0.0679
315-AH 0.0000 0.0171 0.0225 0.0359 0.0446 0.0245 0.0133 0.0188 0.0446 0.5443 0.0116 0.0001 0.0103 0.0000 0.0446 0.0245 0.0133
316-AH 0.0000 0.2370 0.2763 0.3086 0.3585 0.2510 0.1074 0.0716 0.3585 0.4280 0.0977 0.0001 0.0747 0.1504 0.3585 0.2789 0.0651
317-AH 0.0211 0.0271 0.0291 0.0538 0.3529 0.0659 0.1016 0.0267 0.3318 1.5420 0.0409 0.0339 0.0574 0.0211 0.0577 0.0340 0.0127
318-AH 0.0000 0.0028 0.0294 0.1000 0.1333 0.0487 0.0514 0.0972 0.1333 1.0562 0.0064 0.0000 0.0448 0.0000 0.1333 0.0487 0.0514
319-AH 0.2000 0.6667 0.7333 1.0000 1.0000 0.7160 0.2701 0.3333 0.8000 0.3772 0.6509 0.5625 0.2040 0.2000 1.0000 0.7160 0.2701
320-AH 0.0000 0.0119 0.0216 0.0253 0.1111 0.0269 0.0310 0.0134 0.1111 1.1553 0.0102 0.0001 0.0175 0.0000 0.0303 0.0175 0.0098
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0128 0.0395 0.6000 0.1194 0.2286 0.0395 0.6000 1.9144 0.0010 0.0000 0.1722 0.0000 0.0395 0.0118 0.0167
323-AH 0.0000 0.0366 0.0563 0.0700 0.1310 0.0594 0.0404 0.0334 0.1310 0.6805 0.0242 0.0001 0.0296 0.0000 0.1182 0.0515 0.0336
324-AH 0.0000 0.0000 0.0213 0.0288 0.0391 0.0173 0.0158 0.0288 0.0391 0.9144 0.0012 0.0000 0.0138 0.0000 0.0391 0.0173 0.0158
325-AH 0.0152 0.0340 0.0551 0.1975 0.2708 0.0976 0.0911 0.1636 0.2556 0.9335 0.0659 0.0464 0.0764 0.0152 0.2708 0.0976 0.0911
326-AH 0.0000 0.0000 0.0569 0.1667 1.0000 0.1765 0.3089 0.1667 1.0000 1.7504 0.0060 0.0000 0.1961 0.0000 0.3333 0.0850 0.1148
327-AH 0.0000 0.0000 0.0012 0.0060 0.0366 0.0057 0.0111 0.0060 0.0366 1.9476 0.0006 0.0000 0.0063 0.0000 0.0062 0.0023 0.0026
328-AH 0.0000 0.0331 0.5455 0.7143 0.9167 0.4408 0.3458 0.6811 0.9167 0.7845 0.0489 0.0000 0.2932 0.0000 0.9167 0.4408 0.3458
329-AH 0.1429 0.1600 0.6125 0.7500 1.0000 0.5654 0.3230 0.5900 0.8571 0.5714 0.4533 0.3373 0.2499 0.1429 1.0000 0.5654 0.3230
330-AH 0.0000 0.0000 0.3605 0.8000 0.8750 0.3965 0.4197 0.8000 0.8750 1.0587 0.0028 0.0000 0.3965 0.0000 0.8750 0.3965 0.4197
331-AH 0.0000 0.0000 0.0361 0.1458 0.1765 0.0679 0.0758 0.1458 0.1765 1.1161 0.0022 0.0000 0.0671 0.0000 0.1765 0.0679 0.0758
332-AH 0.0000 0.0000 0.1500 0.3000 0.4000 0.1616 0.1728 0.3000 0.4000 1.0693 0.0018 0.0000 0.1616 0.0000 0.4000 0.1616 0.1728
333-AH 0.0043 0.0058 0.0122 0.0909 1.0000 0.1253 0.3095 0.0851 0.9957 2.4691 0.0215 0.0103 0.1749 0.0043 0.1000 0.0281 0.0384
334-AH 0.0000 0.0000 0.0010 0.0033 0.1818 0.0219 0.0569 0.0033 0.1818 2.5963 0.0003 0.0000 0.0335 0.0000 0.0033 0.0010 0.0014
335-AH 0.0000 0.0000 0.0000 0.0100 0.0545 0.0085 0.0169 0.0100 0.0545 1.9913 0.0002 0.0000 0.0102 0.0000 0.0109 0.0034 0.0050
336-AH 0.0000 0.0000 0.0052 0.0328 0.1081 0.0221 0.0342 0.0328 0.1081 1.5456 0.0010 0.0000 0.0245 0.0000 0.0440 0.0126 0.0170
337-AH 0.0195 0.0645 0.5467 1.0000 1.0000 0.5332 0.4925 0.9355 0.9805 0.9237 0.2417 0.0917 0.4668 0.0195 1.0000 0.5332 0.4925
338-AH 0.0000 0.0000 0.1534 0.8000 1.0000 0.3779 0.4405 0.8000 1.0000 1.1659 0.0094 0.0000 0.3910 0.0000 1.0000 0.3779 0.4405
339-AH 0.0000 0.0000 0.1316 0.3636 0.5833 0.2018 0.2271 0.3636 0.5833 1.1253 0.0020 0.0000 0.2018 0.0000 0.5833 0.2018 0.2271
340-AH 0.0000 0.0000 0.0000 0.0025 0.2500 0.0258 0.0788 0.0025 0.2500 3.0526 0.0001 0.0000 0.0448 0.0000 0.0046 0.0009 0.0016
359
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0027 0.0063 0.1750 1.0000 1.0000 0.4425 0.4852 0.9937 0.9973 1.0966 0.0983 0.0114 0.4460 0.0027 1.0000 0.4425 0.4852
342-AH 0.1111 0.2564 0.3203 0.7407 0.7931 0.4505 0.2714 0.4843 0.6820 0.6023 0.3719 0.3003 0.2448 0.1111 0.7931 0.4505 0.2714
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0150 0.3524 1.0000 1.0000 0.4492 0.4703 0.9850 1.0000 1.0470 0.0562 0.0001 0.4341 0.0000 1.0000 0.4492 0.4703
345-AH 0.0000 0.0000 0.0000 0.0000 0.0506 0.0074 0.0169 0.0000 0.0506 2.2796 0.0001 0.0000 0.0118 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0319 0.0638 0.0854 0.0358 0.0369 0.0638 0.0854 1.0306 0.0017 0.0000 0.0335 0.0000 0.0854 0.0358 0.0369
347-AH 0.0000 0.0000 0.0258 0.0952 0.1000 0.0425 0.0464 0.0952 0.1000 1.0895 0.0016 0.0000 0.0419 0.0000 0.1000 0.0425 0.0464
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4333 0.4981 1.0000 1.0000 1.1496 0.0028 0.0000 0.4533 0.0000 1.0000 0.4333 0.4981
349-AH 0.0000 0.0000 0.3333 0.7500 1.0000 0.4083 0.4452 0.7500 1.0000 1.0903 0.0028 0.0000 0.4083 0.0000 1.0000 0.4083 0.4452
350-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.6900 0.4280 0.6000 1.0000 0.6204 0.0851 0.0000 0.3720 0.0000 1.0000 0.6900 0.4280
360
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0625 0.2143 0.7500 1.0000 1.0000 0.6343 0.4054 0.7857 0.9375 0.6390 0.4568 0.2685 0.3657 0.0625 1.0000 0.6343 0.4054
143-AH 0.0000 0.0000 0.0000 0.0218 0.7059 0.0764 0.2214 0.0218 0.7059 2.8965 0.0003 0.0000 0.1259 0.0000 0.0227 0.0065 0.0100
144-AH 0.0000 0.0051 0.2121 0.6667 1.0000 0.3606 0.4101 0.6616 1.0000 1.1375 0.0234 0.0000 0.3449 0.0000 1.0000 0.3606 0.4101
145-AH 0.0471 0.2414 0.5093 0.6842 0.9286 0.4652 0.3035 0.4428 0.8815 0.6524 0.3241 0.1725 0.2599 0.0471 0.9286 0.4652 0.3035
146-AH 0.0012 0.0023 0.0172 0.1667 0.3333 0.0744 0.1122 0.1644 0.3321 1.5084 0.0163 0.0044 0.0887 0.0012 0.3333 0.0744 0.1122
147-AH 0.0000 0.0000 0.0238 0.0410 0.0437 0.0203 0.0188 0.0410 0.0437 0.9273 0.0013 0.0000 0.0163 0.0000 0.0437 0.0203 0.0188
148-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0098 0.0109 0.2143 0.0275 0.0658 0.0109 0.2143 2.3896 0.0017 0.0000 0.0374 0.0000 0.0110 0.0068 0.0051
151-AH 0.0000 0.0000 0.0000 0.0052 0.0455 0.0059 0.0142 0.0052 0.0455 2.3977 0.0001 0.0000 0.0084 0.0000 0.0086 0.0015 0.0032
152-AH 0.0000 0.0000 0.0000 0.0066 0.8000 0.0828 0.2520 0.0066 0.8000 3.0423 0.0002 0.0000 0.1434 0.0000 0.0066 0.0013 0.0025
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0449 0.2162 0.5833 0.1565 0.2355 0.2162 0.5833 1.5047 0.0015 0.0000 0.1827 0.0000 0.2162 0.0498 0.0788
155-AH 0.0000 0.0000 0.0017 0.0103 0.1667 0.0195 0.0519 0.0103 0.1667 2.6555 0.0003 0.0000 0.0294 0.0000 0.0115 0.0032 0.0046
156-AH 0.0139 0.0217 0.0582 0.0921 0.0986 0.0575 0.0343 0.0704 0.0847 0.5973 0.0460 0.0349 0.0300 0.0139 0.0986 0.0575 0.0343
157-AH 0.0000 0.0000 0.2121 0.4385 0.4737 0.2245 0.2371 0.4385 0.4737 1.0563 0.0021 0.0000 0.2245 0.0000 0.4737 0.2245 0.2371
158-AH 0.0000 0.0000 0.0000 0.1413 0.3269 0.0623 0.1116 0.1413 0.3269 1.7903 0.0002 0.0000 0.0872 0.0000 0.3269 0.0623 0.1116
159-AH 0.0000 0.0000 0.0000 0.0000 0.1371 0.0137 0.0434 0.0000 0.1371 3.1623 0.0000 0.0000 0.0247 0.0000 0.0000 0.0000 0.0000
160-AH 0.0625 0.2000 0.2500 0.3333 0.3333 0.2413 0.0835 0.1333 0.2708 0.3460 0.2219 0.1923 0.0605 0.0625 0.3333 0.2413 0.0835
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.4643 0.5652 0.7047 0.8667 0.9545 0.7113 0.1826 0.3014 0.4903 0.2567 0.6897 0.6683 0.1540 0.4643 0.9545 0.7113 0.1826
164-AH 0.0000 0.0090 0.0168 0.0457 0.1429 0.0337 0.0425 0.0366 0.1429 1.2593 0.0059 0.0000 0.0291 0.0000 0.0504 0.0216 0.0193
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0625 0.2500 0.4286 0.1429 0.1702 0.2500 0.4286 1.1917 0.0016 0.0000 0.1464 0.0000 0.4286 0.1429 0.1702
168-AH 0.0000 0.0000 0.0000 0.0000 0.2222 0.0244 0.0698 0.0000 0.2222 2.8620 0.0001 0.0000 0.0396 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0068 0.1818 0.2500 0.0788 0.1022 0.1818 0.2500 1.2958 0.0019 0.0000 0.0919 0.0000 0.2500 0.0788 0.1022
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0121 0.0334 0.0769 0.1290 0.0441 0.0415 0.0648 0.1290 0.9424 0.0153 0.0001 0.0322 0.0000 0.1290 0.0441 0.0415
172-AH 0.0000 0.0061 0.0086 0.0105 0.0189 0.0080 0.0055 0.0044 0.0189 0.6929 0.0024 0.0000 0.0040 0.0000 0.0115 0.0068 0.0042
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
176-AH 0.0311 0.1846 0.6765 1.0000 1.0000 0.5894 0.4426 0.8154 0.9689 0.7510 0.3517 0.1467 0.4106 0.0311 1.0000 0.5894 0.4426
177-AH 0.0336 0.0606 0.1548 0.3077 0.7500 0.2570 0.2735 0.2471 0.7164 1.0642 0.1530 0.0948 0.2073 0.0336 0.3077 0.1338 0.0971
178-AH 0.0000 0.0000 0.0022 0.0339 0.5000 0.0796 0.1668 0.0339 0.5000 2.0955 0.0007 0.0000 0.1182 0.0000 0.0339 0.0057 0.0117
179-AH 0.0000 0.0000 0.0000 0.0000 0.1556 0.0156 0.0492 0.0000 0.1556 3.1623 0.0000 0.0000 0.0280 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0079 0.0528 0.6316 0.0770 0.1960 0.0528 0.6316 2.5440 0.0007 0.0000 0.1109 0.0000 0.0537 0.0154 0.0225
181-AH 0.0437 0.0759 0.7778 0.8286 0.9062 0.5860 0.3630 0.7527 0.8625 0.6194 0.3758 0.1726 0.3125 0.0437 0.9062 0.5860 0.3630
182-AH 0.0000 0.0031 0.0120 0.1538 0.2143 0.0609 0.0871 0.1508 0.2143 1.4309 0.0058 0.0000 0.0746 0.0000 0.2143 0.0609 0.0871
183-AH 0.0357 0.1176 0.2517 0.3333 0.6667 0.2770 0.1895 0.2157 0.6310 0.6840 0.2135 0.1460 0.1355 0.0357 0.5000 0.2337 0.1389
184-AH 0.0000 0.0000 0.0019 0.0714 0.1500 0.0333 0.0537 0.0714 0.1500 1.6122 0.0006 0.0000 0.0436 0.0000 0.1500 0.0333 0.0537
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0000 0.0036 0.0337 0.1818 0.0370 0.0661 0.0337 0.1818 1.7866 0.0006 0.0000 0.0488 0.0000 0.0337 0.0064 0.0118
361
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0028 0.1333 0.4583 1.0000 1.0000 0.4995 0.4250 0.8667 0.9972 0.8509 0.1963 0.0207 0.3839 0.0028 1.0000 0.4995 0.4250
193-AH 0.0000 0.0000 0.0441 0.1304 0.2500 0.0742 0.0891 0.1304 0.2500 1.1999 0.0012 0.0000 0.0742 0.0000 0.2500 0.0742 0.0891
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.2348 0.9677 1.0000 0.4382 0.4829 0.9677 1.0000 1.1021 0.0065 0.0000 0.4319 0.0000 1.0000 0.4382 0.4829
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0635 0.2105 0.5139 0.7778 0.8333 0.4815 0.3331 0.5673 0.7698 0.6917 0.3469 0.2257 0.3118 0.0635 0.8333 0.4815 0.3331
200-AH 0.0000 0.0240 0.0355 0.0467 1.0000 0.1286 0.3065 0.0227 1.0000 2.3836 0.0213 0.0001 0.1743 0.0000 0.0508 0.0318 0.0155
251-AH 0.2353 0.5641 0.6829 0.7568 0.8750 0.6421 0.1862 0.1927 0.6397 0.2900 0.6086 0.5624 0.1406 0.4773 0.8750 0.6873 0.1266
252-AH 0.0142 0.0638 0.1470 0.2143 0.4348 0.1729 0.1347 0.1505 0.4206 0.7793 0.1208 0.0692 0.1002 0.0142 0.4348 0.1729 0.1347
253-AH 0.3935 0.4385 0.4957 0.5816 0.6742 0.5167 0.0904 0.1432 0.2806 0.1749 0.5097 0.5030 0.0738 0.3935 0.6742 0.5167 0.0904
254-AH 0.0000 0.0696 0.1197 0.1870 0.3651 0.1387 0.1170 0.1174 0.3651 0.8437 0.0217 0.0000 0.0930 0.0000 0.2703 0.1135 0.0910
255-AH 0.0000 0.0000 0.0114 0.2222 1.0000 0.2356 0.4092 0.2222 1.0000 1.7369 0.0015 0.0000 0.3058 0.0000 0.2222 0.0445 0.0814
256-AH 0.0181 0.0518 0.5327 1.0000 1.0000 0.5238 0.5021 0.9482 0.9819 0.9586 0.2093 0.0747 0.4762 0.0181 1.0000 0.5238 0.5021
257-AH 0.0000 0.0000 0.0439 0.0969 0.2410 0.0614 0.0771 0.0969 0.2410 1.2566 0.0022 0.0000 0.0569 0.0000 0.2410 0.0614 0.0771
258-AH 0.0000 0.0000 0.0000 0.0046 0.0085 0.0021 0.0035 0.0046 0.0085 1.6773 0.0001 0.0000 0.0029 0.0000 0.0085 0.0021 0.0035
259-AH 0.0010 0.0028 0.0056 0.0213 0.5000 0.0596 0.1554 0.0185 0.4990 2.6067 0.0083 0.0033 0.0881 0.0010 0.0476 0.0107 0.0151
260-AH 0.0256 0.0838 0.2043 0.5758 0.9500 0.3394 0.3382 0.4919 0.9244 0.9964 0.1953 0.1062 0.2720 0.0256 0.9500 0.3394 0.3382
261-AH 0.0000 0.0000 0.0000 0.0407 0.0491 0.0148 0.0216 0.0407 0.0491 1.4612 0.0003 0.0000 0.0185 0.0000 0.0491 0.0148 0.0216
262-AH 0.0000 0.0000 0.0519 0.0991 0.2476 0.0691 0.0758 0.0991 0.2476 1.0969 0.0055 0.0000 0.0554 0.0000 0.2476 0.0691 0.0758
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0154 0.1346 0.1614 0.2000 0.7000 0.2347 0.2365 0.0654 0.6846 1.0077 0.1422 0.0719 0.1734 0.1346 0.2000 0.1608 0.0231
265-AH 0.0000 0.0000 0.0154 0.3000 1.0000 0.2616 0.4066 0.3000 1.0000 1.5540 0.0017 0.0000 0.3078 0.0000 0.3000 0.0771 0.1337
266-AH 0.0000 0.0000 0.0128 0.0348 0.1000 0.0294 0.0397 0.0348 0.1000 1.3491 0.0013 0.0000 0.0302 0.0000 0.0348 0.0117 0.0156
267-AH 0.0164 0.0583 0.0988 0.1373 0.2414 0.1026 0.0681 0.0789 0.2249 0.6641 0.0784 0.0533 0.0502 0.0164 0.2414 0.1026 0.0681
268-AH 0.0000 0.0000 0.0212 0.2857 1.0000 0.2078 0.3272 0.2857 1.0000 1.5746 0.0031 0.0000 0.2409 0.0000 0.5000 0.1198 0.1825
269-AH 0.0047 0.0326 0.0839 0.1765 0.3000 0.1126 0.1035 0.1439 0.2953 0.9192 0.0576 0.0192 0.0841 0.0047 0.3000 0.1126 0.1035
270-AH 0.0000 0.0438 0.2758 0.8889 1.0000 0.4328 0.4460 0.8450 1.0000 1.0304 0.0361 0.0000 0.4045 0.0000 1.0000 0.4328 0.4460
271-AH 0.1000 0.1333 0.2561 1.0000 1.0000 0.5001 0.4341 0.8667 0.9000 0.8681 0.3259 0.2197 0.3999 0.1000 1.0000 0.5001 0.4341
272-AH 0.0000 0.0000 0.0000 0.1923 0.3571 0.0928 0.1350 0.1923 0.3571 1.4547 0.0005 0.0000 0.1114 0.0000 0.3571 0.0928 0.1350
273-AH 0.0000 0.0299 0.0432 0.0596 0.8788 0.1239 0.2659 0.0297 0.8788 2.1461 0.0253 0.0001 0.1510 0.0000 0.0649 0.0400 0.0196
274-AH 0.0000 0.0000 0.0230 0.0394 0.0476 0.0214 0.0189 0.0394 0.0476 0.8795 0.0025 0.0000 0.0153 0.0000 0.0476 0.0214 0.0189
275-AH 0.0000 0.2041 0.3734 0.4884 0.5676 0.3452 0.1963 0.2843 0.5676 0.5688 0.1215 0.0001 0.1688 0.0000 0.5676 0.3452 0.1963
276-AH 0.0000 0.0000 0.0609 0.1818 0.3803 0.1190 0.1432 0.1818 0.3803 1.2034 0.0033 0.0000 0.1185 0.0000 0.3803 0.1190 0.1432
277-AH 0.0194 0.0285 0.1423 0.3077 0.3143 0.1586 0.1344 0.2792 0.2949 0.8477 0.0942 0.0536 0.1245 0.0194 0.3143 0.1586 0.1344
278-AH 0.0000 0.0000 0.0000 0.0556 0.1014 0.0229 0.0358 0.0556 0.1014 1.5654 0.0003 0.0000 0.0289 0.0000 0.1014 0.0229 0.0358
279-AH 0.0000 0.0039 0.0068 0.0150 0.0556 0.0122 0.0160 0.0111 0.0556 1.3068 0.0046 0.0001 0.0099 0.0000 0.0157 0.0074 0.0052
280-AH 0.0000 0.0000 0.0000 0.0102 0.0116 0.0042 0.0054 0.0102 0.0116 1.2986 0.0002 0.0000 0.0050 0.0000 0.0116 0.0042 0.0054
281-AH 0.0399 0.1074 0.2205 0.2407 0.6087 0.2478 0.1915 0.1333 0.5688 0.7725 0.1883 0.1376 0.1356 0.0399 0.2407 0.1631 0.0769
282-AH 0.0759 0.2083 0.2754 0.3750 0.4545 0.2804 0.1227 0.1667 0.3787 0.4375 0.2503 0.2140 0.1045 0.0759 0.4545 0.2804 0.1227
283-AH 0.0000 0.0000 0.0255 0.2500 0.5714 0.1634 0.2247 0.2500 0.5714 1.3749 0.0016 0.0000 0.1859 0.0000 0.5714 0.1634 0.2247
284-AH 0.0000 0.0135 0.1719 0.3871 0.4000 0.1949 0.1789 0.3736 0.4000 0.9181 0.0227 0.0000 0.1651 0.0000 0.4000 0.1949 0.1789
285-AH 0.0000 0.0000 0.0000 0.0576 0.1214 0.0319 0.0489 0.0576 0.1214 1.5346 0.0003 0.0000 0.0394 0.0000 0.1214 0.0319 0.0489
286-AH 0.0000 0.0000 0.0022 0.0068 0.0091 0.0034 0.0037 0.0068 0.0091 1.1076 0.0003 0.0000 0.0034 0.0000 0.0091 0.0034 0.0037
287-AH 0.0670 0.1441 0.4749 0.4848 0.5400 0.3624 0.1923 0.3407 0.4730 0.5307 0.2871 0.1991 0.1630 0.0670 0.5400 0.3624 0.1923
288-AH 0.0000 0.0000 0.0414 0.1622 0.3247 0.0932 0.1272 0.1622 0.3247 1.3654 0.0026 0.0000 0.1028 0.0000 0.3247 0.0932 0.1272
289-AH 0.0000 0.0000 0.0000 0.0000 0.4667 0.0467 0.1476 0.0000 0.4667 3.1623 0.0000 0.0000 0.0840 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0173 0.1485 0.0192 0.0464 0.0173 0.1485 2.4122 0.0001 0.0000 0.0273 0.0000 0.0265 0.0049 0.0099
362
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0230 0.0254 0.0319 0.0404 0.0786 0.0363 0.0164 0.0150 0.0555 0.4515 0.0339 0.0321 0.0110 0.0230 0.0408 0.0316 0.0073
292-AH 0.0208 0.1905 0.2426 0.5000 1.0000 0.3733 0.3549 0.3095 0.9792 0.9507 0.2248 0.1055 0.2760 0.0208 0.5000 0.2166 0.1473
293-AH 0.0000 0.0000 0.0183 0.1042 0.5200 0.0846 0.1596 0.1042 0.5200 1.8869 0.0010 0.0000 0.0975 0.0000 0.1173 0.0362 0.0484
294-AH 0.0249 0.2632 0.4981 0.7500 0.9091 0.4865 0.3058 0.4868 0.8842 0.6286 0.3115 0.1180 0.2398 0.0249 0.9091 0.4865 0.3058
295-AH 0.0000 0.0000 0.0000 0.0000 0.0899 0.0090 0.0284 0.0000 0.0899 3.1623 0.0000 0.0000 0.0162 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0160 0.0567 0.0107 0.0185 0.0160 0.0567 1.7211 0.0002 0.0000 0.0133 0.0000 0.0262 0.0056 0.0096
297-AH 0.0000 0.0000 0.0000 0.0833 0.2500 0.0499 0.0872 0.0833 0.2500 1.7467 0.0004 0.0000 0.0675 0.0000 0.1538 0.0277 0.0546
298-AH 0.0000 0.0000 0.0050 0.0156 0.1837 0.0243 0.0565 0.0156 0.1837 2.3291 0.0005 0.0000 0.0319 0.0000 0.0178 0.0066 0.0080
299-AH 0.0000 0.0000 0.0460 0.1966 0.3429 0.0972 0.1190 0.1966 0.3429 1.2241 0.0028 0.0000 0.0983 0.0000 0.3429 0.0972 0.1190
300-AH 0.0000 0.0131 0.0615 0.2043 0.2941 0.1024 0.1130 0.1912 0.2941 1.1044 0.0134 0.0000 0.0931 0.0000 0.2941 0.1024 0.1130
301-AH 0.0000 0.0000 0.0000 0.0000 0.0080 0.0016 0.0033 0.0000 0.0080 2.1085 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
302-AH 0.0625 0.1765 0.3179 0.5000 0.6667 0.3572 0.2126 0.3235 0.6042 0.5950 0.2906 0.2192 0.1785 0.0625 0.6667 0.3572 0.2126
303-AH 0.0000 0.0328 0.0977 0.4167 0.6364 0.2082 0.2305 0.3839 0.6364 1.1072 0.0487 0.0001 0.1917 0.0000 0.6364 0.2082 0.2305
304-AH 0.0000 0.0000 0.0610 0.2174 0.4545 0.1336 0.1763 0.2174 0.4545 1.3198 0.0015 0.0000 0.1376 0.0000 0.4545 0.1336 0.1763
305-AH 0.0000 0.0000 0.0330 0.0426 0.2703 0.0697 0.1033 0.0426 0.2703 1.4828 0.0044 0.0000 0.0773 0.0000 0.0426 0.0214 0.0190
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.5000 0.7500 0.9000 1.0000 1.0000 0.8600 0.1696 0.2500 0.5000 0.1973 0.8424 0.8219 0.1400 0.5000 1.0000 0.8600 0.1696
309-AH 0.0287 0.0309 0.0761 0.0968 0.1154 0.0705 0.0310 0.0658 0.0866 0.4401 0.0629 0.0546 0.0246 0.0287 0.1154 0.0705 0.0310
310-AH 0.0000 0.0000 0.0204 0.0755 0.1917 0.0565 0.0753 0.0755 0.1917 1.3330 0.0010 0.0000 0.0597 0.0000 0.1827 0.0415 0.0620
311-AH 0.0483 0.0697 0.1315 0.1919 0.2571 0.1378 0.0664 0.1222 0.2088 0.4821 0.1220 0.1062 0.0525 0.0483 0.2571 0.1378 0.0664
312-AH 0.0000 0.0000 0.0000 0.0000 0.3750 0.0534 0.1235 0.0000 0.3750 2.3144 0.0001 0.0000 0.0854 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0064 0.0417 0.0620 0.0857 0.0378 0.0316 0.0556 0.0857 0.8349 0.0070 0.0000 0.0264 0.0000 0.0857 0.0378 0.0316
314-AH 0.0000 0.0000 0.0328 0.1111 0.1250 0.0491 0.0551 0.1111 0.1250 1.1236 0.0010 0.0000 0.0491 0.0000 0.1250 0.0491 0.0551
315-AH 0.0000 0.0000 0.0091 0.0240 0.0417 0.0127 0.0148 0.0240 0.0417 1.1644 0.0005 0.0000 0.0127 0.0000 0.0417 0.0127 0.0148
316-AH 0.0000 0.2312 0.2401 0.2754 0.3585 0.2334 0.1006 0.0442 0.3585 0.4311 0.0916 0.0001 0.0637 0.2312 0.3396 0.2607 0.0384
317-AH 0.0000 0.0192 0.0234 0.0324 0.1429 0.0347 0.0394 0.0132 0.1429 1.1378 0.0134 0.0001 0.0225 0.0000 0.0392 0.0226 0.0112
318-AH 0.0000 0.0000 0.0224 0.1000 0.1111 0.0448 0.0482 0.1000 0.1111 1.0767 0.0035 0.0000 0.0435 0.0000 0.1111 0.0448 0.0482
319-AH 0.1000 0.3478 0.4204 0.6667 0.6667 0.4606 0.1935 0.3188 0.5667 0.4202 0.4096 0.3374 0.1589 0.1000 0.6667 0.4606 0.1935
320-AH 0.0000 0.0082 0.0145 0.0230 0.0455 0.0168 0.0126 0.0149 0.0455 0.7465 0.0077 0.0001 0.0090 0.0000 0.0246 0.0136 0.0080
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0126 0.0291 0.2273 0.0499 0.0855 0.0291 0.2273 1.7123 0.0008 0.0000 0.0639 0.0000 0.0291 0.0100 0.0138
323-AH 0.0000 0.0289 0.0474 0.0667 0.1310 0.0547 0.0426 0.0378 0.1310 0.7788 0.0211 0.0001 0.0329 0.0000 0.1182 0.0462 0.0352
324-AH 0.0000 0.0000 0.0000 0.0000 0.0253 0.0025 0.0080 0.0000 0.0253 3.1623 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0234 0.0350 0.1000 0.1429 0.0520 0.0487 0.0766 0.1429 0.9361 0.0094 0.0000 0.0390 0.0000 0.1429 0.0520 0.0487
326-AH 0.0000 0.0000 0.0526 0.1250 0.3333 0.0897 0.1150 0.1250 0.3333 1.2825 0.0013 0.0000 0.0897 0.0000 0.2222 0.0626 0.0815
327-AH 0.0000 0.0000 0.0000 0.0049 0.0366 0.0050 0.0113 0.0049 0.0366 2.2741 0.0001 0.0000 0.0066 0.0000 0.0062 0.0015 0.0024
328-AH 0.0000 0.0211 0.3543 0.5294 0.9167 0.3713 0.3218 0.5083 0.9167 0.8667 0.0406 0.0000 0.2624 0.0000 0.9167 0.3713 0.3218
329-AH 0.0750 0.1395 0.5192 0.7500 1.0000 0.5233 0.3359 0.6105 0.9250 0.6419 0.3906 0.2563 0.2543 0.0750 1.0000 0.5233 0.3359
330-AH 0.0000 0.0000 0.3605 0.7714 0.8421 0.3882 0.4103 0.7714 0.8421 1.0569 0.0028 0.0000 0.3882 0.0000 0.8421 0.3882 0.4103
331-AH 0.0000 0.0000 0.0320 0.1458 0.1765 0.0671 0.0766 0.1458 0.1765 1.1412 0.0011 0.0000 0.0677 0.0000 0.1765 0.0671 0.0766
332-AH 0.0000 0.0000 0.0882 0.3000 0.3158 0.1392 0.1517 0.3000 0.3158 1.0894 0.0017 0.0000 0.1392 0.0000 0.3158 0.1392 0.1517
333-AH 0.0000 0.0043 0.0064 0.0129 1.0000 0.1060 0.3141 0.0086 1.0000 2.9636 0.0059 0.0001 0.1788 0.0000 0.0134 0.0067 0.0042
334-AH 0.0000 0.0000 0.0000 0.0000 0.1818 0.0184 0.0574 0.0000 0.1818 3.1226 0.0000 0.0000 0.0327 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0056 0.0459 0.0060 0.0143 0.0056 0.0459 2.3946 0.0001 0.0000 0.0084 0.0000 0.0083 0.0016 0.0032
336-AH 0.0000 0.0000 0.0000 0.0078 0.0258 0.0065 0.0103 0.0078 0.0258 1.5905 0.0002 0.0000 0.0078 0.0000 0.0078 0.0018 0.0033
337-AH 0.0000 0.0290 0.4842 1.0000 1.0000 0.5045 0.4832 0.9710 1.0000 0.9578 0.0946 0.0001 0.4562 0.0000 1.0000 0.5045 0.4832
338-AH 0.0000 0.0000 0.1525 0.8000 1.0000 0.3538 0.4297 0.8000 1.0000 1.2144 0.0087 0.0000 0.3626 0.0000 1.0000 0.3538 0.4297
339-AH 0.0000 0.0000 0.0682 0.1600 0.5833 0.1281 0.1843 0.1600 0.5833 1.4393 0.0015 0.0000 0.1281 0.0000 0.2500 0.0775 0.0971
340-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0074 0.0225 0.0000 0.0714 3.0467 0.0000 0.0000 0.0128 0.0000 0.0000 0.0000 0.0000
363
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0027 0.0063 0.1750 1.0000 1.0000 0.4425 0.4852 0.9937 0.9973 1.0966 0.0983 0.0114 0.4460 0.0027 1.0000 0.4425 0.4852
342-AH 0.0754 0.1442 0.2227 0.6522 0.7111 0.3642 0.2681 0.5080 0.6357 0.7360 0.2730 0.2042 0.2452 0.0754 0.7111 0.3642 0.2681
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.3414 0.8000 1.0000 0.4120 0.4382 0.8000 1.0000 1.0636 0.0064 0.0000 0.4055 0.0000 1.0000 0.4120 0.4382
345-AH 0.0000 0.0000 0.0000 0.0000 0.0506 0.0074 0.0169 0.0000 0.0506 2.2796 0.0001 0.0000 0.0118 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0319 0.0598 0.0854 0.0350 0.0363 0.0598 0.0854 1.0371 0.0016 0.0000 0.0327 0.0000 0.0854 0.0350 0.0363
347-AH 0.0000 0.0000 0.0242 0.0561 0.0625 0.0277 0.0294 0.0561 0.0625 1.0613 0.0007 0.0000 0.0277 0.0000 0.0625 0.0277 0.0294
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4333 0.4981 1.0000 1.0000 1.1496 0.0028 0.0000 0.4533 0.0000 1.0000 0.4333 0.4981
349-AH 0.0000 0.0000 0.1875 0.6429 0.7692 0.3037 0.3343 0.6429 0.7692 1.1007 0.0024 0.0000 0.3037 0.0000 0.7692 0.3037 0.3343
350-AH 0.0000 0.0484 0.1987 1.0000 1.0000 0.4362 0.4435 0.9516 1.0000 1.0167 0.0433 0.0000 0.4010 0.0000 1.0000 0.4362 0.4435
364
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0336 0.1212 0.5769 1.0000 1.0000 0.5501 0.4755 0.8788 0.9664 0.8643 0.2935 0.1333 0.4499 0.0336 1.0000 0.5501 0.4755
143-AH 0.0000 0.0000 0.0000 0.0218 0.6538 0.0698 0.2054 0.0218 0.6538 2.9416 0.0001 0.0000 0.1168 0.0000 0.0227 0.0049 0.0098
144-AH 0.0000 0.0000 0.0010 0.5000 0.6667 0.1838 0.2983 0.5000 0.6667 1.6229 0.0008 0.0000 0.2564 0.0000 0.6667 0.1838 0.2983
145-AH 0.0370 0.1203 0.1747 0.3265 0.5161 0.2267 0.1581 0.2062 0.4792 0.6976 0.1686 0.1129 0.1312 0.0370 0.5161 0.2267 0.1581
146-AH 0.0012 0.0023 0.0172 0.1667 0.3333 0.0744 0.1122 0.1644 0.3321 1.5084 0.0163 0.0044 0.0887 0.0012 0.3333 0.0744 0.1122
147-AH 0.0000 0.0000 0.0112 0.0260 0.0345 0.0138 0.0150 0.0260 0.0345 1.0799 0.0005 0.0000 0.0138 0.0000 0.0345 0.0138 0.0150
148-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0098 0.0109 0.1379 0.0199 0.0418 0.0109 0.1379 2.0983 0.0017 0.0000 0.0236 0.0000 0.0110 0.0068 0.0051
151-AH 0.0000 0.0000 0.0000 0.0052 0.0331 0.0046 0.0104 0.0052 0.0331 2.2530 0.0001 0.0000 0.0065 0.0000 0.0078 0.0014 0.0029
152-AH 0.0000 0.0000 0.0000 0.0066 0.5455 0.0570 0.1717 0.0066 0.5455 3.0133 0.0001 0.0000 0.0977 0.0000 0.0066 0.0008 0.0023
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0341 0.1695 0.2075 0.0725 0.0889 0.1695 0.2075 1.2263 0.0011 0.0000 0.0734 0.0000 0.2075 0.0725 0.0889
155-AH 0.0000 0.0000 0.0017 0.0103 0.0196 0.0048 0.0068 0.0103 0.0196 1.4027 0.0003 0.0000 0.0054 0.0000 0.0196 0.0048 0.0068
156-AH 0.0131 0.0217 0.0413 0.0638 0.0968 0.0462 0.0290 0.0421 0.0837 0.6276 0.0376 0.0299 0.0239 0.0131 0.0968 0.0462 0.0290
157-AH 0.0000 0.0000 0.1958 0.4385 0.4467 0.2142 0.2263 0.4385 0.4467 1.0564 0.0021 0.0000 0.2142 0.0000 0.4467 0.2142 0.2263
158-AH 0.0000 0.0000 0.0000 0.0886 0.3269 0.0530 0.1053 0.0886 0.3269 1.9856 0.0002 0.0000 0.0742 0.0000 0.1148 0.0226 0.0453
159-AH 0.0000 0.0000 0.0000 0.0000 0.1371 0.0137 0.0434 0.0000 0.1371 3.1623 0.0000 0.0000 0.0247 0.0000 0.0000 0.0000 0.0000
160-AH 0.0625 0.2000 0.2500 0.3333 0.3333 0.2413 0.0835 0.1333 0.2708 0.3460 0.2219 0.1923 0.0605 0.0625 0.3333 0.2413 0.0835
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.3427 0.4902 0.5789 0.7538 0.9538 0.6278 0.2185 0.2637 0.6112 0.3480 0.5937 0.5612 0.1835 0.3427 0.9538 0.6278 0.2185
164-AH 0.0000 0.0000 0.0162 0.0268 0.1279 0.0258 0.0393 0.0268 0.1279 1.5268 0.0012 0.0000 0.0256 0.0000 0.0504 0.0144 0.0171
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0625 0.2500 0.4286 0.1429 0.1702 0.2500 0.4286 1.1917 0.0016 0.0000 0.1464 0.0000 0.4286 0.1429 0.1702
168-AH 0.0000 0.0000 0.0000 0.0000 0.1714 0.0183 0.0539 0.0000 0.1714 2.9498 0.0001 0.0000 0.0306 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0050 0.0396 0.0488 0.0181 0.0217 0.0396 0.0488 1.2007 0.0006 0.0000 0.0197 0.0000 0.0488 0.0181 0.0217
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0000 0.0263 0.0682 0.1290 0.0366 0.0433 0.0682 0.1290 1.1828 0.0017 0.0000 0.0336 0.0000 0.1290 0.0366 0.0433
172-AH 0.0000 0.0061 0.0086 0.0105 0.0189 0.0080 0.0055 0.0044 0.0189 0.6929 0.0024 0.0000 0.0040 0.0000 0.0115 0.0068 0.0042
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
176-AH 0.0296 0.0418 0.4933 1.0000 1.0000 0.5096 0.4843 0.9582 0.9704 0.9503 0.2142 0.0848 0.4582 0.0296 1.0000 0.5096 0.4843
177-AH 0.0289 0.0606 0.0957 0.2727 0.7500 0.2318 0.2817 0.2121 0.7211 1.2150 0.1265 0.0794 0.2154 0.0289 0.2727 0.1023 0.0782
178-AH 0.0000 0.0000 0.0022 0.0339 0.5000 0.0796 0.1668 0.0339 0.5000 2.0955 0.0007 0.0000 0.1182 0.0000 0.0339 0.0057 0.0117
179-AH 0.0000 0.0000 0.0000 0.0000 0.1220 0.0122 0.0386 0.0000 0.1220 3.1623 0.0000 0.0000 0.0220 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0528 0.4286 0.0535 0.1336 0.0528 0.4286 2.4978 0.0002 0.0000 0.0750 0.0000 0.0537 0.0118 0.0235
181-AH 0.0000 0.0613 0.7597 0.8065 0.8980 0.5694 0.3685 0.7452 0.8980 0.6472 0.1539 0.0001 0.3172 0.0000 0.8980 0.5694 0.3685
182-AH 0.0000 0.0031 0.0120 0.1538 0.2143 0.0609 0.0871 0.1508 0.2143 1.4309 0.0058 0.0000 0.0746 0.0000 0.2143 0.0609 0.0871
183-AH 0.0357 0.1176 0.2517 0.3333 0.6667 0.2770 0.1895 0.2157 0.6310 0.6840 0.2135 0.1460 0.1355 0.0357 0.5000 0.2337 0.1389
184-AH 0.0000 0.0000 0.0000 0.0336 0.0563 0.0151 0.0239 0.0336 0.0563 1.5760 0.0002 0.0000 0.0200 0.0000 0.0563 0.0151 0.0239
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0000 0.0000 0.0189 0.1818 0.0339 0.0654 0.0189 0.1818 1.9296 0.0003 0.0000 0.0485 0.0000 0.0189 0.0036 0.0071
365
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0035 0.3349 1.0000 1.0000 0.4437 0.4666 0.9965 1.0000 1.0516 0.0451 0.0001 0.4263 0.0000 1.0000 0.4437 0.4666
193-AH 0.0000 0.0000 0.0441 0.1304 0.2500 0.0742 0.0891 0.1304 0.2500 1.1999 0.0012 0.0000 0.0742 0.0000 0.2500 0.0742 0.0891
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.2339 0.9677 1.0000 0.4320 0.4758 0.9677 1.0000 1.1013 0.0064 0.0000 0.4254 0.0000 1.0000 0.4320 0.4758
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0635 0.2105 0.5139 0.7778 0.8333 0.4815 0.3331 0.5673 0.7698 0.6917 0.3469 0.2257 0.3118 0.0635 0.8333 0.4815 0.3331
200-AH 0.0000 0.0240 0.0332 0.0374 1.0000 0.1260 0.3073 0.0133 1.0000 2.4389 0.0200 0.0001 0.1748 0.0240 0.0467 0.0325 0.0081
251-AH 0.0441 0.4194 0.5592 0.6842 0.7647 0.5184 0.2285 0.2649 0.7206 0.4409 0.4229 0.2478 0.1706 0.0441 0.7647 0.5184 0.2285
252-AH 0.0142 0.0356 0.1409 0.1833 0.2667 0.1261 0.0843 0.1477 0.2525 0.6690 0.0916 0.0570 0.0716 0.0142 0.2667 0.1261 0.0843
253-AH 0.2857 0.3128 0.3235 0.4425 0.5101 0.3709 0.0834 0.1298 0.2244 0.2248 0.3629 0.3554 0.0744 0.2857 0.5101 0.3709 0.0834
254-AH 0.0000 0.0000 0.0533 0.1785 0.2808 0.0912 0.1059 0.1785 0.2808 1.1603 0.0013 0.0000 0.0912 0.0000 0.2808 0.0912 0.1059
255-AH 0.0000 0.0000 0.0114 0.2222 1.0000 0.2356 0.4092 0.2222 1.0000 1.7369 0.0015 0.0000 0.3058 0.0000 0.2222 0.0445 0.0814
256-AH 0.0169 0.0399 0.5261 1.0000 1.0000 0.5198 0.5063 0.9601 0.9831 0.9740 0.1918 0.0646 0.4802 0.0169 1.0000 0.5198 0.5063
257-AH 0.0000 0.0000 0.0221 0.0740 0.1757 0.0441 0.0576 0.0740 0.1757 1.3054 0.0009 0.0000 0.0441 0.0000 0.1757 0.0441 0.0576
258-AH 0.0000 0.0000 0.0000 0.0046 0.0085 0.0021 0.0035 0.0046 0.0085 1.6773 0.0001 0.0000 0.0029 0.0000 0.0085 0.0021 0.0035
259-AH 0.0000 0.0000 0.0039 0.0049 0.5000 0.0523 0.1573 0.0049 0.5000 3.0071 0.0006 0.0000 0.0895 0.0000 0.0061 0.0026 0.0025
260-AH 0.0000 0.0734 0.1229 0.3467 0.7941 0.2526 0.2796 0.2732 0.7941 1.1071 0.0681 0.0001 0.2171 0.0000 0.7027 0.1924 0.2173
261-AH 0.0000 0.0000 0.0000 0.0000 0.0142 0.0014 0.0045 0.0000 0.0142 3.1623 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0482 0.0896 0.1645 0.0514 0.0548 0.0896 0.1645 1.0651 0.0022 0.0000 0.0424 0.0000 0.1645 0.0514 0.0548
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0154 0.0870 0.1522 0.1667 0.5625 0.1687 0.1531 0.0797 0.5471 0.9080 0.1151 0.0668 0.0912 0.0154 0.2308 0.1249 0.0696
265-AH 0.0000 0.0000 0.0096 0.3000 1.0000 0.2592 0.4073 0.3000 1.0000 1.5713 0.0017 0.0000 0.3072 0.0000 0.3000 0.0740 0.1314
266-AH 0.0000 0.0000 0.0128 0.0348 0.1000 0.0294 0.0397 0.0348 0.1000 1.3491 0.0013 0.0000 0.0302 0.0000 0.0348 0.0117 0.0156
267-AH 0.0117 0.0435 0.0547 0.0783 0.0957 0.0544 0.0273 0.0348 0.0840 0.5027 0.0455 0.0346 0.0213 0.0117 0.0957 0.0544 0.0273
268-AH 0.0000 0.0000 0.0051 0.2857 1.0000 0.2046 0.3292 0.2857 1.0000 1.6093 0.0025 0.0000 0.2435 0.0000 0.5000 0.1162 0.1846
269-AH 0.0047 0.0158 0.0503 0.0816 0.1143 0.0509 0.0368 0.0658 0.1096 0.7229 0.0332 0.0166 0.0303 0.0047 0.1143 0.0509 0.0368
270-AH 0.0000 0.0353 0.1405 0.8621 0.8889 0.3842 0.4252 0.8268 0.8889 1.1067 0.0308 0.0000 0.3901 0.0000 0.8889 0.3842 0.4252
271-AH 0.0748 0.0805 0.2214 0.7692 0.9167 0.3967 0.3577 0.6887 0.8418 0.9017 0.2417 0.1515 0.3236 0.0748 0.9167 0.3967 0.3577
272-AH 0.0000 0.0000 0.0000 0.1765 0.2727 0.0816 0.1146 0.1765 0.2727 1.4047 0.0005 0.0000 0.0979 0.0000 0.2727 0.0816 0.1146
273-AH 0.0000 0.0000 0.0000 0.0410 0.8478 0.0969 0.2645 0.0410 0.8478 2.7305 0.0004 0.0000 0.1502 0.0000 0.0434 0.0134 0.0202
274-AH 0.0000 0.0000 0.0155 0.0256 0.0402 0.0167 0.0156 0.0256 0.0402 0.9352 0.0021 0.0000 0.0134 0.0000 0.0402 0.0167 0.0156
275-AH 0.0000 0.1806 0.2799 0.4156 0.5400 0.2951 0.1749 0.2349 0.5400 0.5926 0.1054 0.0001 0.1446 0.0000 0.5400 0.2951 0.1749
276-AH 0.0000 0.0000 0.0489 0.1277 0.3803 0.0873 0.1180 0.1277 0.3803 1.3514 0.0027 0.0000 0.0852 0.0000 0.1400 0.0548 0.0613
277-AH 0.0000 0.0000 0.1122 0.2391 0.3143 0.1307 0.1401 0.2391 0.3143 1.0723 0.0016 0.0000 0.1307 0.0000 0.3143 0.1307 0.1401
278-AH 0.0000 0.0000 0.0000 0.0417 0.0562 0.0165 0.0237 0.0417 0.0562 1.4387 0.0003 0.0000 0.0200 0.0000 0.0562 0.0165 0.0237
279-AH 0.0000 0.0039 0.0068 0.0150 0.0556 0.0122 0.0160 0.0111 0.0556 1.3068 0.0046 0.0001 0.0099 0.0000 0.0157 0.0074 0.0052
280-AH 0.0000 0.0000 0.0000 0.0000 0.0107 0.0021 0.0044 0.0000 0.0107 2.1085 0.0000 0.0000 0.0034 0.0000 0.0000 0.0000 0.0000
281-AH 0.0343 0.0605 0.1761 0.2329 0.5532 0.2154 0.1871 0.1724 0.5189 0.8687 0.1499 0.1029 0.1358 0.0343 0.2329 0.1332 0.0800
282-AH 0.0619 0.1313 0.2318 0.2708 0.3611 0.2170 0.0992 0.1395 0.2992 0.4570 0.1910 0.1607 0.0750 0.0619 0.3611 0.2170 0.0992
283-AH 0.0000 0.0000 0.0186 0.1910 0.3137 0.1010 0.1300 0.1910 0.3137 1.2867 0.0013 0.0000 0.1138 0.0000 0.3137 0.1010 0.1300
284-AH 0.0000 0.0000 0.0843 0.2353 0.3425 0.1221 0.1352 0.2353 0.3425 1.1067 0.0032 0.0000 0.1189 0.0000 0.3425 0.1221 0.1352
285-AH 0.0000 0.0000 0.0000 0.0541 0.1138 0.0264 0.0449 0.0541 0.1138 1.7007 0.0002 0.0000 0.0370 0.0000 0.1138 0.0264 0.0449
286-AH 0.0000 0.0000 0.0000 0.0058 0.0091 0.0027 0.0037 0.0058 0.0091 1.3313 0.0001 0.0000 0.0033 0.0000 0.0091 0.0027 0.0037
287-AH 0.0504 0.0745 0.4396 0.4792 0.5400 0.3356 0.2002 0.4046 0.4896 0.5966 0.2472 0.1555 0.1739 0.0504 0.5400 0.3356 0.2002
288-AH 0.0000 0.0000 0.0414 0.1107 0.2719 0.0775 0.1044 0.1107 0.2719 1.3460 0.0024 0.0000 0.0812 0.0000 0.2719 0.0775 0.1044
289-AH 0.0000 0.0000 0.0000 0.0000 0.1837 0.0184 0.0581 0.0000 0.1837 3.1623 0.0000 0.0000 0.0331 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.0816 0.0104 0.0260 0.0000 0.0816 2.5053 0.0001 0.0000 0.0166 0.0000 0.0000 0.0000 0.0000
366
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0182 0.0248 0.0319 0.0402 0.0661 0.0341 0.0136 0.0154 0.0478 0.3984 0.0320 0.0302 0.0097 0.0182 0.0404 0.0305 0.0081
292-AH 0.0208 0.1905 0.2426 0.5000 1.0000 0.3733 0.3549 0.3095 0.9792 0.9507 0.2248 0.1055 0.2760 0.0208 0.5000 0.2166 0.1473
293-AH 0.0000 0.0000 0.0149 0.1042 0.5000 0.0789 0.1545 0.1042 0.5000 1.9585 0.0010 0.0000 0.0970 0.0000 0.1173 0.0321 0.0470
294-AH 0.0221 0.2381 0.4908 0.7333 0.8462 0.4593 0.3039 0.4952 0.8241 0.6615 0.2855 0.1049 0.2515 0.0221 0.8462 0.4593 0.3039
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.0339 0.0050 0.0113 0.0000 0.0339 2.2761 0.0000 0.0000 0.0080 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0258 0.2500 0.0403 0.0829 0.0258 0.2500 2.0564 0.0003 0.0000 0.0583 0.0000 0.0258 0.0039 0.0090
298-AH 0.0000 0.0000 0.0000 0.0000 0.1798 0.0180 0.0568 0.0000 0.1798 3.1623 0.0000 0.0000 0.0324 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0204 0.0963 0.2520 0.0585 0.0813 0.0963 0.2520 1.3888 0.0010 0.0000 0.0620 0.0000 0.1000 0.0370 0.0472
300-AH 0.0000 0.0000 0.0615 0.2043 0.2742 0.0978 0.1090 0.2043 0.2742 1.1140 0.0064 0.0000 0.0898 0.0000 0.2742 0.0978 0.1090
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0398 0.1489 0.2769 0.5000 0.5833 0.3178 0.1920 0.3511 0.5436 0.6043 0.2497 0.1698 0.1643 0.0398 0.5833 0.3178 0.1920
303-AH 0.0000 0.0328 0.0523 0.2727 0.6364 0.1594 0.1987 0.2399 0.6364 1.2461 0.0392 0.0001 0.1514 0.0000 0.2857 0.1065 0.1132
304-AH 0.0000 0.0000 0.0135 0.1034 0.1818 0.0500 0.0682 0.1034 0.1818 1.3654 0.0009 0.0000 0.0556 0.0000 0.1818 0.0500 0.0682
305-AH 0.0000 0.0000 0.0299 0.0387 0.2393 0.0613 0.0945 0.0387 0.2393 1.5422 0.0019 0.0000 0.0706 0.0000 0.0387 0.0171 0.0188
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.2778 0.6667 0.7386 0.7500 1.0000 0.7066 0.1769 0.0833 0.7222 0.2503 0.6784 0.6376 0.1017 0.6667 0.7500 0.7235 0.0364
309-AH 0.0284 0.0290 0.0679 0.0816 0.0976 0.0619 0.0263 0.0526 0.0692 0.4253 0.0560 0.0499 0.0222 0.0284 0.0976 0.0619 0.0263
310-AH 0.0000 0.0000 0.0165 0.0590 0.1436 0.0393 0.0517 0.0590 0.1436 1.3157 0.0008 0.0000 0.0405 0.0000 0.1436 0.0393 0.0517
311-AH 0.0390 0.0492 0.1270 0.1803 0.1832 0.1179 0.0587 0.1311 0.1442 0.4976 0.1015 0.0843 0.0495 0.0390 0.1832 0.1179 0.0587
312-AH 0.0000 0.0000 0.0000 0.0000 0.3514 0.0503 0.1160 0.0000 0.3514 2.3069 0.0001 0.0000 0.0805 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0046 0.0549 0.0620 0.0223 0.0277 0.0549 0.0620 1.2419 0.0006 0.0000 0.0249 0.0000 0.0620 0.0223 0.0277
314-AH 0.0000 0.0000 0.0290 0.0667 0.1111 0.0370 0.0415 0.0667 0.1111 1.1204 0.0008 0.0000 0.0370 0.0000 0.1111 0.0370 0.0415
315-AH 0.0000 0.0000 0.0000 0.0000 0.0299 0.0030 0.0095 0.0000 0.0299 3.1623 0.0000 0.0000 0.0054 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.2121 0.2303 0.2526 0.3039 0.2135 0.0865 0.0405 0.3039 0.4053 0.0852 0.0001 0.0556 0.2121 0.3039 0.2481 0.0344
317-AH 0.0000 0.0185 0.0210 0.0265 0.0823 0.0256 0.0214 0.0081 0.0823 0.8359 0.0113 0.0001 0.0120 0.0160 0.0276 0.0217 0.0041
318-AH 0.0000 0.0000 0.0224 0.0822 0.1000 0.0392 0.0412 0.0822 0.1000 1.0515 0.0033 0.0000 0.0368 0.0000 0.1000 0.0392 0.0412
319-AH 0.0672 0.2581 0.3346 0.3793 0.4211 0.2986 0.1087 0.1212 0.3539 0.3640 0.2697 0.2245 0.0838 0.1739 0.4211 0.3243 0.0765
320-AH 0.0000 0.0000 0.0042 0.0111 0.0193 0.0065 0.0074 0.0111 0.0193 1.1451 0.0004 0.0000 0.0065 0.0000 0.0193 0.0065 0.0074
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0122 0.0291 0.1714 0.0413 0.0674 0.0291 0.1714 1.6333 0.0007 0.0000 0.0503 0.0000 0.0291 0.0098 0.0136
323-AH 0.0000 0.0000 0.0243 0.0343 0.1310 0.0380 0.0474 0.0343 0.1310 1.2468 0.0033 0.0000 0.0346 0.0000 0.0343 0.0164 0.0144
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0138 0.0590 0.0981 0.0287 0.0364 0.0590 0.0981 1.2686 0.0007 0.0000 0.0291 0.0000 0.0981 0.0287 0.0364
326-AH 0.0000 0.0000 0.0526 0.1250 0.3333 0.0897 0.1150 0.1250 0.3333 1.2825 0.0013 0.0000 0.0897 0.0000 0.2222 0.0626 0.0815
327-AH 0.0000 0.0000 0.0000 0.0049 0.0366 0.0050 0.0113 0.0049 0.0366 2.2741 0.0001 0.0000 0.0066 0.0000 0.0062 0.0015 0.0024
328-AH 0.0000 0.0110 0.3543 0.5000 0.9167 0.3294 0.2953 0.4890 0.9167 0.8965 0.0347 0.0000 0.2389 0.0000 0.9167 0.3294 0.2953
329-AH 0.0642 0.1094 0.4833 0.7000 1.0000 0.4872 0.3419 0.5906 0.9358 0.7018 0.3467 0.2160 0.2605 0.0642 1.0000 0.4872 0.3419
330-AH 0.0000 0.0000 0.3605 0.7561 0.7857 0.3758 0.3966 0.7561 0.7857 1.0553 0.0027 0.0000 0.3758 0.0000 0.7857 0.3758 0.3966
331-AH 0.0000 0.0000 0.0320 0.1458 0.1765 0.0671 0.0766 0.1458 0.1765 1.1412 0.0011 0.0000 0.0677 0.0000 0.1765 0.0671 0.0766
332-AH 0.0000 0.0000 0.0781 0.2727 0.3158 0.1284 0.1411 0.2727 0.3158 1.0991 0.0016 0.0000 0.1284 0.0000 0.3158 0.1284 0.1411
333-AH 0.0000 0.0043 0.0064 0.0129 1.0000 0.1060 0.3141 0.0086 1.0000 2.9636 0.0059 0.0001 0.1788 0.0000 0.0134 0.0067 0.0042
334-AH 0.0000 0.0000 0.0000 0.0000 0.1818 0.0184 0.0574 0.0000 0.1818 3.1226 0.0000 0.0000 0.0327 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0458 0.0052 0.0144 0.0000 0.0458 2.7676 0.0000 0.0000 0.0083 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0078 0.0258 0.0058 0.0105 0.0078 0.0258 1.8048 0.0001 0.0000 0.0082 0.0000 0.0078 0.0010 0.0028
337-AH 0.0000 0.0224 0.4694 0.9286 1.0000 0.4852 0.4672 0.9061 1.0000 0.9629 0.0858 0.0001 0.4410 0.0000 1.0000 0.4852 0.4672
338-AH 0.0000 0.0000 0.1491 0.8000 1.0000 0.3459 0.4291 0.8000 1.0000 1.2405 0.0082 0.0000 0.3547 0.0000 1.0000 0.3459 0.4291
339-AH 0.0000 0.0000 0.0682 0.1600 0.5333 0.1151 0.1660 0.1600 0.5333 1.4422 0.0014 0.0000 0.1151 0.0000 0.1702 0.0686 0.0818
340-AH 0.0000 0.0000 0.0000 0.0000 0.0714 0.0074 0.0225 0.0000 0.0714 3.0467 0.0000 0.0000 0.0128 0.0000 0.0000 0.0000 0.0000
367
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0058 0.0429 1.0000 1.0000 0.4123 0.5061 0.9942 1.0000 1.2274 0.0225 0.0000 0.4702 0.0000 1.0000 0.4123 0.5061
342-AH 0.0664 0.1114 0.2041 0.5972 0.6486 0.3282 0.2573 0.4858 0.5822 0.7839 0.2334 0.1670 0.2341 0.0664 0.6486 0.3282 0.2573
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.2795 0.6667 0.8750 0.3515 0.3760 0.6667 0.8750 1.0697 0.0057 0.0000 0.3468 0.0000 0.8750 0.3515 0.3760
345-AH 0.0000 0.0000 0.0000 0.0000 0.0506 0.0074 0.0169 0.0000 0.0506 2.2796 0.0001 0.0000 0.0118 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0319 0.0598 0.0854 0.0350 0.0363 0.0598 0.0854 1.0371 0.0016 0.0000 0.0327 0.0000 0.0854 0.0350 0.0363
347-AH 0.0000 0.0000 0.0096 0.0561 0.0625 0.0248 0.0286 0.0561 0.0625 1.1526 0.0007 0.0000 0.0259 0.0000 0.0625 0.0248 0.0286
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4333 0.4981 1.0000 1.0000 1.1496 0.0028 0.0000 0.4533 0.0000 1.0000 0.4333 0.4981
349-AH 0.0000 0.0000 0.1122 0.5500 0.6500 0.2474 0.2828 0.5500 0.6500 1.1432 0.0022 0.0000 0.2520 0.0000 0.6500 0.2474 0.2828
350-AH 0.0000 0.0241 0.0762 0.5000 0.6667 0.2300 0.2659 0.4759 0.6667 1.1561 0.0212 0.0000 0.2351 0.0000 0.6667 0.2300 0.2659
368
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0336 0.1212 0.5769 1.0000 1.0000 0.5501 0.4755 0.8788 0.9664 0.8643 0.2935 0.1333 0.4499 0.0336 1.0000 0.5501 0.4755
143-AH 0.0000 0.0000 0.0000 0.0000 0.5319 0.0532 0.1682 0.0000 0.5319 3.1623 0.0000 0.0000 0.0957 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0010 0.5000 0.6667 0.1838 0.2983 0.5000 0.6667 1.6229 0.0008 0.0000 0.2564 0.0000 0.6667 0.1838 0.2983
145-AH 0.0319 0.0830 0.1241 0.1827 0.4231 0.1680 0.1375 0.0997 0.3911 0.8185 0.1222 0.0863 0.1015 0.0319 0.1827 0.1076 0.0583
146-AH 0.0012 0.0023 0.0172 0.1667 0.3333 0.0744 0.1122 0.1644 0.3321 1.5084 0.0163 0.0044 0.0887 0.0012 0.3333 0.0744 0.1122
147-AH 0.0000 0.0000 0.0000 0.0000 0.0276 0.0028 0.0087 0.0000 0.0276 3.1623 0.0000 0.0000 0.0050 0.0000 0.0000 0.0000 0.0000
148-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0056 0.0076 0.1111 0.0145 0.0341 0.0076 0.1111 2.3493 0.0007 0.0000 0.0193 0.0000 0.0081 0.0038 0.0037
151-AH 0.0000 0.0000 0.0000 0.0000 0.0331 0.0033 0.0105 0.0000 0.0331 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.5455 0.0563 0.1720 0.0000 0.5455 3.0525 0.0001 0.0000 0.0978 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0236 0.1642 0.2075 0.0674 0.0888 0.1642 0.2075 1.3185 0.0011 0.0000 0.0747 0.0000 0.2075 0.0674 0.0888
155-AH 0.0000 0.0000 0.0017 0.0103 0.0196 0.0048 0.0068 0.0103 0.0196 1.4027 0.0003 0.0000 0.0054 0.0000 0.0196 0.0048 0.0068
156-AH 0.0131 0.0163 0.0340 0.0573 0.0968 0.0423 0.0293 0.0410 0.0837 0.6924 0.0337 0.0270 0.0233 0.0131 0.0968 0.0423 0.0293
157-AH 0.0000 0.0000 0.1667 0.3933 0.4269 0.1963 0.2084 0.3933 0.4269 1.0616 0.0020 0.0000 0.1963 0.0000 0.4269 0.1963 0.2084
158-AH 0.0000 0.0000 0.0000 0.0825 0.3269 0.0519 0.1048 0.0825 0.3269 2.0180 0.0002 0.0000 0.0727 0.0000 0.1097 0.0214 0.0429
159-AH 0.0000 0.0000 0.0000 0.0000 0.1125 0.0112 0.0356 0.0000 0.1125 3.1623 0.0000 0.0000 0.0202 0.0000 0.0000 0.0000 0.0000
160-AH 0.0625 0.2000 0.2500 0.3333 0.3333 0.2413 0.0835 0.1333 0.2708 0.3460 0.2219 0.1923 0.0605 0.0625 0.3333 0.2413 0.0835
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.1610 0.3789 0.5031 0.7442 0.9538 0.5664 0.2708 0.3653 0.7928 0.4781 0.5010 0.4305 0.2294 0.1610 0.9538 0.5664 0.2708
164-AH 0.0000 0.0000 0.0000 0.0194 0.1094 0.0198 0.0355 0.0194 0.1094 1.7931 0.0003 0.0000 0.0240 0.0000 0.0194 0.0047 0.0088
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0260 0.1875 0.4286 0.1179 0.1639 0.1875 0.4286 1.3894 0.0014 0.0000 0.1311 0.0000 0.4286 0.1179 0.1639
168-AH 0.0000 0.0000 0.0000 0.0000 0.1714 0.0183 0.0539 0.0000 0.1714 2.9498 0.0001 0.0000 0.0306 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0050 0.0396 0.0488 0.0181 0.0217 0.0396 0.0488 1.2007 0.0006 0.0000 0.0197 0.0000 0.0488 0.0181 0.0217
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0000 0.0188 0.0655 0.0971 0.0309 0.0363 0.0655 0.0971 1.1750 0.0008 0.0000 0.0309 0.0000 0.0971 0.0309 0.0363
172-AH 0.0000 0.0000 0.0000 0.0061 0.0094 0.0024 0.0040 0.0061 0.0094 1.6457 0.0001 0.0000 0.0034 0.0000 0.0094 0.0024 0.0040
173-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.2222 1.0000 1.0000 0.4444 0.4969 1.0000 1.0000 1.1180 0.0029 0.0000 0.4444 0.0000 1.0000 0.4444 0.4969
176-AH 0.0202 0.0228 0.4053 0.9583 1.0000 0.4630 0.4686 0.9356 0.9798 1.0121 0.1425 0.0439 0.4404 0.0202 1.0000 0.4630 0.4686
177-AH 0.0214 0.0343 0.0956 0.2162 0.6364 0.1890 0.2241 0.1819 0.6149 1.1859 0.1038 0.0626 0.1696 0.0214 0.2162 0.0863 0.0632
178-AH 0.0000 0.0000 0.0022 0.0339 0.5000 0.0796 0.1668 0.0339 0.5000 2.0955 0.0007 0.0000 0.1182 0.0000 0.0339 0.0057 0.0117
179-AH 0.0000 0.0000 0.0000 0.0000 0.0797 0.0080 0.0252 0.0000 0.0797 3.1623 0.0000 0.0000 0.0143 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0528 0.3521 0.0459 0.1099 0.0528 0.3521 2.3959 0.0002 0.0000 0.0642 0.0000 0.0537 0.0118 0.0235
181-AH 0.0000 0.0521 0.7203 0.8065 0.8909 0.5544 0.3650 0.7544 0.8909 0.6583 0.1462 0.0001 0.3119 0.0000 0.8909 0.5544 0.3650
182-AH 0.0000 0.0031 0.0120 0.1538 0.2143 0.0609 0.0871 0.1508 0.2143 1.4309 0.0058 0.0000 0.0746 0.0000 0.2143 0.0609 0.0871
183-AH 0.0357 0.1176 0.2517 0.3333 0.6667 0.2770 0.1895 0.2157 0.6310 0.6840 0.2135 0.1460 0.1355 0.0357 0.5000 0.2337 0.1389
184-AH 0.0000 0.0000 0.0000 0.0294 0.0556 0.0124 0.0199 0.0294 0.0556 1.6034 0.0002 0.0000 0.0163 0.0000 0.0556 0.0124 0.0199
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0000 0.0000 0.0189 0.1818 0.0339 0.0654 0.0189 0.1818 1.9296 0.0003 0.0000 0.0485 0.0000 0.0189 0.0036 0.0071
369
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0035 0.3349 1.0000 1.0000 0.4437 0.4666 0.9965 1.0000 1.0516 0.0451 0.0001 0.4263 0.0000 1.0000 0.4437 0.4666
193-AH 0.0000 0.0000 0.0408 0.1053 0.2222 0.0598 0.0741 0.1053 0.2222 1.2398 0.0011 0.0000 0.0598 0.0000 0.2222 0.0598 0.0741
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.1984 0.9630 0.9677 0.4187 0.4714 0.9630 0.9677 1.1258 0.0028 0.0000 0.4231 0.0000 0.9677 0.4187 0.4714
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0574 0.1923 0.5018 0.7778 0.8333 0.4691 0.3415 0.5855 0.7760 0.7280 0.3188 0.1908 0.3198 0.0574 0.8333 0.4691 0.3415
200-AH 0.0000 0.0195 0.0255 0.0296 0.5556 0.0772 0.1685 0.0101 0.5556 2.1813 0.0161 0.0001 0.0957 0.0181 0.0296 0.0243 0.0043
251-AH 0.0390 0.1755 0.3402 0.5667 0.5763 0.3434 0.1992 0.3911 0.5373 0.5800 0.2697 0.1769 0.1648 0.0390 0.5763 0.3434 0.1992
252-AH 0.0000 0.0356 0.1095 0.1655 0.2019 0.1018 0.0692 0.1299 0.2019 0.6798 0.0378 0.0001 0.0568 0.0000 0.2019 0.1018 0.0692
253-AH 0.1931 0.2494 0.2823 0.3626 0.4545 0.3017 0.0822 0.1132 0.2615 0.2726 0.2918 0.2824 0.0675 0.1931 0.4545 0.3017 0.0822
254-AH 0.0000 0.0000 0.0000 0.1711 0.2233 0.0583 0.0947 0.1711 0.2233 1.6244 0.0002 0.0000 0.0816 0.0000 0.2233 0.0583 0.0947
255-AH 0.0000 0.0000 0.0114 0.2222 1.0000 0.2356 0.4092 0.2222 1.0000 1.7369 0.0015 0.0000 0.3058 0.0000 0.2222 0.0445 0.0814
256-AH 0.0000 0.0329 0.4876 1.0000 1.0000 0.5036 0.4961 0.9671 1.0000 0.9852 0.0869 0.0001 0.4699 0.0000 1.0000 0.5036 0.4961
257-AH 0.0000 0.0000 0.0186 0.0626 0.1250 0.0344 0.0431 0.0626 0.1250 1.2511 0.0008 0.0000 0.0344 0.0000 0.1250 0.0344 0.0431
258-AH 0.0000 0.0000 0.0000 0.0046 0.0085 0.0021 0.0035 0.0046 0.0085 1.6773 0.0001 0.0000 0.0029 0.0000 0.0085 0.0021 0.0035
259-AH 0.0000 0.0000 0.0039 0.0049 0.5000 0.0523 0.1573 0.0049 0.5000 3.0071 0.0006 0.0000 0.0895 0.0000 0.0061 0.0026 0.0025
260-AH 0.0000 0.0401 0.0929 0.3048 0.6531 0.2040 0.2434 0.2647 0.6531 1.1929 0.0513 0.0001 0.1937 0.0000 0.6531 0.2040 0.2434
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0228 0.0729 0.1392 0.0391 0.0479 0.0729 0.1392 1.2230 0.0009 0.0000 0.0391 0.0000 0.1392 0.0391 0.0479
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0154 0.0659 0.1264 0.1341 0.5500 0.1456 0.1500 0.0683 0.5346 1.0302 0.0985 0.0619 0.0838 0.0154 0.1600 0.1007 0.0511
265-AH 0.0000 0.0000 0.0096 0.3000 1.0000 0.2592 0.4073 0.3000 1.0000 1.5713 0.0017 0.0000 0.3072 0.0000 0.3000 0.0740 0.1314
266-AH 0.0000 0.0000 0.0128 0.0348 0.1000 0.0294 0.0397 0.0348 0.1000 1.3491 0.0013 0.0000 0.0302 0.0000 0.0348 0.0117 0.0156
267-AH 0.0000 0.0230 0.0451 0.0582 0.0791 0.0414 0.0241 0.0352 0.0791 0.5812 0.0177 0.0001 0.0181 0.0000 0.0791 0.0414 0.0241
268-AH 0.0000 0.0000 0.0051 0.2857 1.0000 0.2046 0.3292 0.2857 1.0000 1.6093 0.0025 0.0000 0.2435 0.0000 0.5000 0.1162 0.1846
269-AH 0.0000 0.0000 0.0372 0.0426 0.0714 0.0326 0.0261 0.0426 0.0714 0.8013 0.0036 0.0000 0.0201 0.0000 0.0714 0.0326 0.0261
270-AH 0.0000 0.0000 0.1198 0.7838 0.8056 0.3356 0.3889 0.7838 0.8056 1.1588 0.0025 0.0000 0.3548 0.0000 0.8056 0.3356 0.3889
271-AH 0.0563 0.0750 0.1941 0.6667 0.7778 0.3397 0.3097 0.5917 0.7214 0.9114 0.2012 0.1228 0.2758 0.0563 0.7778 0.3397 0.3097
272-AH 0.0000 0.0000 0.0000 0.1489 0.2414 0.0716 0.0992 0.1489 0.2414 1.3866 0.0005 0.0000 0.0859 0.0000 0.2414 0.0716 0.0992
273-AH 0.0000 0.0000 0.0000 0.0000 0.8302 0.0830 0.2625 0.0000 0.8302 3.1623 0.0000 0.0000 0.1494 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0000 0.0225 0.0385 0.0110 0.0150 0.0225 0.0385 1.3637 0.0002 0.0000 0.0132 0.0000 0.0385 0.0110 0.0150
275-AH 0.0000 0.1447 0.2630 0.4118 0.5312 0.2759 0.1799 0.2670 0.5312 0.6521 0.0942 0.0001 0.1527 0.0000 0.5312 0.2759 0.1799
276-AH 0.0000 0.0000 0.0219 0.1138 0.3131 0.0698 0.1001 0.1138 0.3131 1.4339 0.0011 0.0000 0.0750 0.0000 0.1205 0.0428 0.0551
277-AH 0.0000 0.0000 0.0677 0.2031 0.2766 0.1041 0.1173 0.2031 0.2766 1.1271 0.0014 0.0000 0.1041 0.0000 0.2766 0.1041 0.1173
278-AH 0.0000 0.0000 0.0000 0.0363 0.0417 0.0134 0.0187 0.0363 0.0417 1.3996 0.0002 0.0000 0.0161 0.0000 0.0417 0.0134 0.0187
279-AH 0.0000 0.0039 0.0068 0.0150 0.0556 0.0122 0.0160 0.0111 0.0556 1.3068 0.0046 0.0001 0.0099 0.0000 0.0157 0.0074 0.0052
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0506 0.1140 0.2193 0.5532 0.1888 0.2005 0.1687 0.5532 1.0616 0.0522 0.0001 0.1520 0.0000 0.2193 0.1000 0.0811
282-AH 0.0519 0.0669 0.1886 0.2105 0.2581 0.1578 0.0744 0.1436 0.2061 0.4714 0.1375 0.1155 0.0637 0.0519 0.2581 0.1578 0.0744
283-AH 0.0000 0.0000 0.0000 0.1111 0.2899 0.0760 0.1121 0.1111 0.2899 1.4741 0.0005 0.0000 0.0912 0.0000 0.2500 0.0523 0.0882
284-AH 0.0000 0.0000 0.0271 0.1743 0.3425 0.0872 0.1230 0.1743 0.3425 1.4105 0.0012 0.0000 0.0992 0.0000 0.3425 0.0872 0.1230
285-AH 0.0000 0.0000 0.0000 0.0541 0.1138 0.0252 0.0430 0.0541 0.1138 1.7038 0.0001 0.0000 0.0353 0.0000 0.1138 0.0252 0.0430
286-AH 0.0000 0.0000 0.0000 0.0000 0.0091 0.0009 0.0029 0.0000 0.0091 3.1623 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
287-AH 0.0389 0.0716 0.3788 0.4167 0.5400 0.3094 0.1883 0.3450 0.5011 0.6086 0.2262 0.1387 0.1558 0.0389 0.5400 0.3094 0.1883
288-AH 0.0000 0.0000 0.0192 0.0947 0.2184 0.0594 0.0846 0.0947 0.2184 1.4244 0.0010 0.0000 0.0668 0.0000 0.2184 0.0594 0.0846
289-AH 0.0000 0.0000 0.0000 0.0000 0.1837 0.0184 0.0581 0.0000 0.1837 3.1623 0.0000 0.0000 0.0331 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.0540 0.0054 0.0171 0.0000 0.0540 3.1623 0.0000 0.0000 0.0097 0.0000 0.0000 0.0000 0.0000
370
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0176 0.0248 0.0319 0.0402 0.0661 0.0340 0.0137 0.0154 0.0485 0.4015 0.0319 0.0300 0.0098 0.0176 0.0404 0.0304 0.0082
292-AH 0.0208 0.1905 0.2426 0.5000 1.0000 0.3733 0.3549 0.3095 0.9792 0.9507 0.2248 0.1055 0.2760 0.0208 0.5000 0.2166 0.1473
293-AH 0.0000 0.0000 0.0119 0.0940 0.4722 0.0736 0.1464 0.0940 0.4722 1.9874 0.0009 0.0000 0.0925 0.0000 0.1173 0.0294 0.0451
294-AH 0.0187 0.1818 0.3739 0.6667 0.7143 0.3929 0.2731 0.4848 0.6955 0.6950 0.2413 0.0908 0.2286 0.0187 0.7143 0.3929 0.2731
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.0147 0.0015 0.0047 0.0000 0.0147 3.1623 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0197 0.0469 0.0092 0.0163 0.0197 0.0469 1.7665 0.0001 0.0000 0.0129 0.0000 0.0469 0.0092 0.0163
298-AH 0.0000 0.0000 0.0000 0.0000 0.1798 0.0180 0.0568 0.0000 0.1798 3.1623 0.0000 0.0000 0.0324 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0642 0.2211 0.0414 0.0701 0.0642 0.2211 1.6921 0.0004 0.0000 0.0497 0.0000 0.0716 0.0215 0.0324
300-AH 0.0000 0.0000 0.0615 0.1944 0.2637 0.0923 0.1063 0.1944 0.2637 1.1509 0.0029 0.0000 0.0868 0.0000 0.2637 0.0923 0.1063
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0300 0.0865 0.2111 0.3125 0.4167 0.2175 0.1307 0.2260 0.3867 0.6008 0.1717 0.1191 0.0999 0.0300 0.4167 0.2175 0.1307
303-AH 0.0000 0.0145 0.0523 0.1667 0.6364 0.1292 0.1918 0.1522 0.6364 1.4851 0.0287 0.0001 0.1255 0.0000 0.2121 0.0728 0.0754
304-AH 0.0000 0.0000 0.0000 0.0217 0.1311 0.0245 0.0473 0.0217 0.1311 1.9322 0.0001 0.0000 0.0348 0.0000 0.0217 0.0027 0.0077
305-AH 0.0000 0.0000 0.0173 0.0377 0.2336 0.0536 0.0863 0.0377 0.2336 1.6096 0.0009 0.0000 0.0638 0.0000 0.0377 0.0137 0.0189
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.2500 0.6667 0.7273 0.7500 0.7500 0.6583 0.1573 0.0833 0.5000 0.2390 0.6319 0.5911 0.1042 0.5455 0.7500 0.7037 0.0684
309-AH 0.0284 0.0290 0.0666 0.0714 0.0781 0.0548 0.0222 0.0424 0.0497 0.4040 0.0502 0.0455 0.0202 0.0284 0.0781 0.0548 0.0222
310-AH 0.0000 0.0000 0.0000 0.0434 0.1086 0.0242 0.0421 0.0434 0.1086 1.7381 0.0001 0.0000 0.0339 0.0000 0.0904 0.0149 0.0318
311-AH 0.0275 0.0482 0.1161 0.1350 0.1443 0.0952 0.0450 0.0868 0.1168 0.4724 0.0829 0.0694 0.0401 0.0275 0.1443 0.0952 0.0450
312-AH 0.0000 0.0000 0.0000 0.0000 0.2179 0.0369 0.0794 0.0000 0.2179 2.1512 0.0001 0.0000 0.0590 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0375 0.0516 0.0158 0.0215 0.0375 0.0516 1.3639 0.0003 0.0000 0.0189 0.0000 0.0516 0.0158 0.0215
314-AH 0.0000 0.0000 0.0218 0.0492 0.1071 0.0307 0.0367 0.0492 0.1071 1.1968 0.0008 0.0000 0.0307 0.0000 0.1071 0.0307 0.0367
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.1899 0.2138 0.2334 0.2783 0.1952 0.0787 0.0435 0.2783 0.4031 0.0787 0.0001 0.0505 0.1439 0.2783 0.2169 0.0409
317-AH 0.0000 0.0000 0.0194 0.0237 0.0607 0.0172 0.0190 0.0237 0.0607 1.1065 0.0011 0.0000 0.0137 0.0000 0.0265 0.0123 0.0119
318-AH 0.0000 0.0000 0.0157 0.0641 0.0862 0.0310 0.0362 0.0641 0.0862 1.1683 0.0008 0.0000 0.0310 0.0000 0.0862 0.0310 0.0362
319-AH 0.0641 0.2273 0.2413 0.3235 0.3793 0.2513 0.0957 0.0963 0.3152 0.3808 0.2281 0.1952 0.0715 0.1493 0.3793 0.2722 0.0737
320-AH 0.0000 0.0000 0.0000 0.0000 0.0193 0.0035 0.0074 0.0000 0.0193 2.1254 0.0000 0.0000 0.0055 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0095 0.0237 0.1628 0.0379 0.0638 0.0237 0.1628 1.6865 0.0007 0.0000 0.0479 0.0000 0.0237 0.0080 0.0110
323-AH 0.0000 0.0000 0.0101 0.0256 0.1182 0.0293 0.0449 0.0256 0.1182 1.5326 0.0007 0.0000 0.0330 0.0000 0.0256 0.0086 0.0120
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0392 0.0972 0.0188 0.0335 0.0392 0.0972 1.7843 0.0001 0.0000 0.0263 0.0000 0.0972 0.0188 0.0335
326-AH 0.0000 0.0000 0.0526 0.1250 0.3333 0.0897 0.1150 0.1250 0.3333 1.2825 0.0013 0.0000 0.0897 0.0000 0.2222 0.0626 0.0815
327-AH 0.0000 0.0000 0.0000 0.0049 0.0366 0.0050 0.0113 0.0049 0.0366 2.2741 0.0001 0.0000 0.0066 0.0000 0.0062 0.0015 0.0024
328-AH 0.0000 0.0000 0.3543 0.5000 0.7059 0.3068 0.2549 0.5000 0.7059 0.8307 0.0167 0.0000 0.2192 0.0000 0.7059 0.3068 0.2549
329-AH 0.0393 0.0928 0.3960 0.5000 1.0000 0.4337 0.3416 0.4072 0.9607 0.7875 0.2877 0.1593 0.2440 0.0393 1.0000 0.4337 0.3416
330-AH 0.0000 0.0000 0.3171 0.7561 0.7838 0.3666 0.3886 0.7561 0.7838 1.0598 0.0027 0.0000 0.3666 0.0000 0.7838 0.3666 0.3886
331-AH 0.0000 0.0000 0.0320 0.1429 0.1765 0.0668 0.0762 0.1429 0.1765 1.1413 0.0011 0.0000 0.0674 0.0000 0.1765 0.0668 0.0762
332-AH 0.0000 0.0000 0.0781 0.2727 0.3158 0.1284 0.1411 0.2727 0.3158 1.0991 0.0016 0.0000 0.1284 0.0000 0.3158 0.1284 0.1411
333-AH 0.0000 0.0037 0.0060 0.0108 1.0000 0.1053 0.3144 0.0071 1.0000 2.9843 0.0053 0.0001 0.1789 0.0000 0.0125 0.0059 0.0038
334-AH 0.0000 0.0000 0.0000 0.0000 0.0698 0.0070 0.0221 0.0000 0.0698 3.1623 0.0000 0.0000 0.0126 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0221 0.0022 0.0070 0.0000 0.0221 3.1623 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0224 0.0043 0.0090 0.0000 0.0224 2.1113 0.0000 0.0000 0.0068 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0224 0.4694 0.9231 0.9333 0.4761 0.4568 0.9006 0.9333 0.9595 0.0850 0.0001 0.4319 0.0000 0.9333 0.4761 0.4568
338-AH 0.0000 0.0000 0.1471 0.3750 1.0000 0.2883 0.3739 0.3750 1.0000 1.2966 0.0023 0.0000 0.2883 0.0000 0.8571 0.2093 0.2948
339-AH 0.0000 0.0000 0.0614 0.1316 0.4483 0.0996 0.1405 0.1316 0.4483 1.4109 0.0013 0.0000 0.0996 0.0000 0.1613 0.0608 0.0728
340-AH 0.0000 0.0000 0.0000 0.0000 0.0612 0.0061 0.0194 0.0000 0.0612 3.1623 0.0000 0.0000 0.0110 0.0000 0.0000 0.0000 0.0000
371
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0058 0.0429 1.0000 1.0000 0.4123 0.5061 0.9942 1.0000 1.2274 0.0225 0.0000 0.4702 0.0000 1.0000 0.4123 0.5061
342-AH 0.0634 0.0826 0.1828 0.5208 0.6486 0.3011 0.2529 0.4382 0.5852 0.8397 0.2016 0.1381 0.2262 0.0634 0.6486 0.3011 0.2529
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.2616 0.6071 0.7727 0.3101 0.3302 0.6071 0.7727 1.0648 0.0054 0.0000 0.3055 0.0000 0.7727 0.3101 0.3302
345-AH 0.0000 0.0000 0.0000 0.0000 0.0397 0.0060 0.0135 0.0000 0.0397 2.2338 0.0000 0.0000 0.0097 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0304 0.0598 0.0854 0.0347 0.0365 0.0598 0.0854 1.0519 0.0016 0.0000 0.0330 0.0000 0.0854 0.0347 0.0365
347-AH 0.0000 0.0000 0.0084 0.0561 0.0625 0.0246 0.0287 0.0561 0.0625 1.1655 0.0007 0.0000 0.0261 0.0000 0.0625 0.0246 0.0287
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4333 0.4981 1.0000 1.0000 1.1496 0.0028 0.0000 0.4533 0.0000 1.0000 0.4333 0.4981
349-AH 0.0000 0.0000 0.1077 0.4706 0.6087 0.2192 0.2517 0.4706 0.6087 1.1484 0.0020 0.0000 0.2199 0.0000 0.6087 0.2192 0.2517
350-AH 0.0000 0.0090 0.0474 0.3571 0.4545 0.1643 0.1917 0.3481 0.4545 1.1670 0.0131 0.0000 0.1745 0.0000 0.4545 0.1643 0.1917
372
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0000 0.0066 0.5189 1.0000 1.0000 0.5068 0.5200 0.9934 1.0000 1.0259 0.0300 0.0000 0.4932 0.0000 1.0000 0.5068 0.5200
143-AH 0.0000 0.0000 0.0000 0.0000 0.5319 0.0532 0.1682 0.0000 0.5319 3.1623 0.0000 0.0000 0.0957 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0010 0.5000 0.6667 0.1838 0.2983 0.5000 0.6667 1.6229 0.0008 0.0000 0.2564 0.0000 0.6667 0.1838 0.2983
145-AH 0.0253 0.0452 0.0709 0.0777 0.4098 0.1195 0.1343 0.0325 0.3845 1.1242 0.0779 0.0584 0.0999 0.0253 0.0777 0.0570 0.0210
146-AH 0.0000 0.0000 0.0029 0.0183 0.0323 0.0091 0.0125 0.0183 0.0323 1.3786 0.0004 0.0000 0.0103 0.0000 0.0323 0.0091 0.0125
147-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
148-AH 0.0000 0.0000 0.0000 0.0000 0.0229 0.0023 0.0072 0.0000 0.0229 3.1623 0.0000 0.0000 0.0041 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0073 0.1014 0.0122 0.0315 0.0073 0.1014 2.5765 0.0002 0.0000 0.0178 0.0000 0.0076 0.0023 0.0035
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.1739 0.0174 0.0550 0.0000 0.1739 3.1623 0.0000 0.0000 0.0313 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0163 0.0878 0.1048 0.0361 0.0449 0.0878 0.1048 1.2412 0.0008 0.0000 0.0370 0.0000 0.1048 0.0361 0.0449
155-AH 0.0000 0.0000 0.0017 0.0103 0.0196 0.0048 0.0068 0.0103 0.0196 1.4027 0.0003 0.0000 0.0054 0.0000 0.0196 0.0048 0.0068
156-AH 0.0000 0.0160 0.0299 0.0554 0.0654 0.0325 0.0244 0.0393 0.0654 0.7514 0.0070 0.0000 0.0208 0.0000 0.0654 0.0325 0.0244
157-AH 0.0000 0.0000 0.1438 0.3776 0.4078 0.1838 0.1962 0.3776 0.4078 1.0677 0.0019 0.0000 0.1838 0.0000 0.4078 0.1838 0.1962
158-AH 0.0000 0.0000 0.0000 0.0724 0.2165 0.0375 0.0710 0.0724 0.2165 1.8966 0.0002 0.0000 0.0524 0.0000 0.0857 0.0176 0.0350
159-AH 0.0000 0.0000 0.0000 0.0000 0.0892 0.0089 0.0282 0.0000 0.0892 3.1623 0.0000 0.0000 0.0161 0.0000 0.0000 0.0000 0.0000
160-AH 0.0023 0.0024 0.0107 0.0513 0.2500 0.0548 0.0851 0.0488 0.2477 1.5529 0.0160 0.0061 0.0614 0.0023 0.0513 0.0164 0.0196
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.1261 0.2643 0.4738 0.7255 0.9494 0.5181 0.3033 0.4612 0.8233 0.5853 0.4291 0.3447 0.2664 0.1261 0.9494 0.5181 0.3033
164-AH 0.0000 0.0000 0.0000 0.0185 0.1094 0.0165 0.0349 0.0185 0.1094 2.1168 0.0001 0.0000 0.0231 0.0000 0.0369 0.0062 0.0130
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0260 0.1875 0.4286 0.1179 0.1639 0.1875 0.4286 1.3894 0.0014 0.0000 0.1311 0.0000 0.4286 0.1179 0.1639
168-AH 0.0000 0.0000 0.0000 0.0000 0.1714 0.0171 0.0542 0.0000 0.1714 3.1623 0.0000 0.0000 0.0309 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.0396 0.0488 0.0157 0.0210 0.0396 0.0488 1.3368 0.0003 0.0000 0.0188 0.0000 0.0488 0.0157 0.0210
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0000 0.0188 0.0634 0.0779 0.0288 0.0325 0.0634 0.0779 1.1299 0.0007 0.0000 0.0288 0.0000 0.0779 0.0288 0.0325
172-AH 0.0000 0.0000 0.0000 0.0000 0.0058 0.0006 0.0018 0.0000 0.0058 3.1623 0.0000 0.0000 0.0010 0.0000 0.0000 0.0000 0.0000
173-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9333 0.1405 0.0000 0.3333 0.1506 0.9221 0.9091 0.1067 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.0333 1.0000 1.0000 0.3781 0.4813 1.0000 1.0000 1.2730 0.0023 0.0000 0.4404 0.0000 1.0000 0.3781 0.4813
176-AH 0.0000 0.0000 0.3429 0.8571 0.9600 0.4146 0.4432 0.8571 0.9600 1.0690 0.0029 0.0000 0.4146 0.0000 0.9600 0.4146 0.4432
177-AH 0.0213 0.0225 0.0876 0.2162 0.5625 0.1760 0.2115 0.1937 0.5412 1.2017 0.0918 0.0522 0.1626 0.0213 0.2162 0.0794 0.0646
178-AH 0.0000 0.0000 0.0000 0.0099 0.0526 0.0103 0.0196 0.0099 0.0526 1.8999 0.0001 0.0000 0.0145 0.0000 0.0099 0.0012 0.0035
179-AH 0.0000 0.0000 0.0000 0.0000 0.0642 0.0064 0.0203 0.0000 0.0642 3.1623 0.0000 0.0000 0.0116 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0430 0.3521 0.0445 0.1098 0.0430 0.3521 2.4693 0.0002 0.0000 0.0626 0.0000 0.0496 0.0103 0.0205
181-AH 0.0000 0.0000 0.6040 0.7838 0.8485 0.4922 0.3536 0.7838 0.8485 0.7183 0.0245 0.0000 0.2953 0.0000 0.8485 0.4922 0.3536
182-AH 0.0000 0.0031 0.0115 0.0656 0.2143 0.0517 0.0811 0.0625 0.2143 1.5677 0.0052 0.0000 0.0624 0.0000 0.0656 0.0144 0.0214
183-AH 0.0102 0.0390 0.2517 0.2857 0.6000 0.2345 0.1784 0.2468 0.5898 0.7609 0.1431 0.0571 0.1267 0.0102 0.6000 0.2345 0.1784
184-AH 0.0000 0.0000 0.0000 0.0247 0.0331 0.0083 0.0136 0.0247 0.0331 1.6319 0.0001 0.0000 0.0117 0.0000 0.0331 0.0083 0.0136
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0000 0.0000 0.0180 0.1818 0.0227 0.0564 0.0180 0.1818 2.4837 0.0002 0.0000 0.0318 0.0000 0.0181 0.0050 0.0080
373
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.2000 1.0000 1.0000 0.4067 0.4656 1.0000 1.0000 1.1448 0.0028 0.0000 0.4080 0.0000 1.0000 0.4067 0.4656
193-AH 0.0000 0.0000 0.0338 0.0761 0.2000 0.0489 0.0642 0.0761 0.2000 1.3122 0.0009 0.0000 0.0489 0.0000 0.0778 0.0321 0.0382
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.1376 0.8919 0.9677 0.3994 0.4648 0.8919 0.9677 1.1635 0.0027 0.0000 0.4243 0.0000 0.9677 0.3994 0.4648
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0551 0.1750 0.4879 0.7778 0.7778 0.4559 0.3376 0.6028 0.7227 0.7407 0.3020 0.1736 0.3164 0.0551 0.7778 0.4559 0.3376
200-AH 0.0000 0.0101 0.0191 0.0279 0.3158 0.0472 0.0950 0.0178 0.3158 2.0128 0.0111 0.0001 0.0537 0.0000 0.0366 0.0173 0.0111
251-AH 0.0000 0.0000 0.0629 0.1613 0.3786 0.1137 0.1377 0.1613 0.3786 1.2104 0.0072 0.0000 0.1070 0.0000 0.3786 0.1137 0.1377
252-AH 0.0000 0.0279 0.0971 0.1655 0.2019 0.0963 0.0718 0.1377 0.2019 0.7455 0.0337 0.0001 0.0606 0.0000 0.2019 0.0963 0.0718
253-AH 0.1357 0.1821 0.2105 0.3005 0.3512 0.2341 0.0759 0.1184 0.2155 0.3241 0.2227 0.2114 0.0644 0.1357 0.3512 0.2341 0.0759
254-AH 0.0000 0.0000 0.0000 0.1557 0.2078 0.0539 0.0876 0.1557 0.2078 1.6266 0.0002 0.0000 0.0754 0.0000 0.2078 0.0539 0.0876
255-AH 0.0000 0.0000 0.0106 0.0312 0.8000 0.1675 0.3336 0.0312 0.8000 1.9920 0.0010 0.0000 0.2530 0.0000 0.0312 0.0093 0.0132
256-AH 0.0000 0.0300 0.4520 0.9231 1.0000 0.4856 0.4806 0.8931 1.0000 0.9898 0.0824 0.0001 0.4540 0.0000 1.0000 0.4856 0.4806
257-AH 0.0000 0.0000 0.0000 0.0565 0.0911 0.0214 0.0354 0.0565 0.0911 1.6577 0.0001 0.0000 0.0299 0.0000 0.0911 0.0214 0.0354
258-AH 0.0000 0.0000 0.0000 0.0000 0.0085 0.0012 0.0028 0.0000 0.0085 2.3396 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0039 0.0049 0.5000 0.0523 0.1573 0.0049 0.5000 3.0071 0.0006 0.0000 0.0895 0.0000 0.0061 0.0026 0.0025
260-AH 0.0000 0.0000 0.0802 0.1980 0.6032 0.1705 0.2266 0.1980 0.6032 1.3288 0.0089 0.0000 0.1709 0.0000 0.1980 0.0671 0.0694
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0875 0.0143 0.0311 0.0000 0.0875 2.1711 0.0001 0.0000 0.0229 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0524 0.0739 0.1042 0.1579 0.0756 0.0474 0.0517 0.1579 0.6278 0.0297 0.0001 0.0349 0.0000 0.1579 0.0756 0.0474
265-AH 0.0000 0.0000 0.0096 0.2857 0.6667 0.1754 0.2560 0.2857 0.6667 1.4599 0.0015 0.0000 0.2066 0.0000 0.6667 0.1754 0.2560
266-AH 0.0000 0.0000 0.0105 0.0348 0.1000 0.0285 0.0391 0.0348 0.1000 1.3733 0.0007 0.0000 0.0300 0.0000 0.0348 0.0112 0.0160
267-AH 0.0000 0.0189 0.0333 0.0425 0.0695 0.0305 0.0209 0.0236 0.0695 0.6850 0.0070 0.0000 0.0155 0.0000 0.0695 0.0305 0.0209
268-AH 0.0000 0.0000 0.0051 0.2857 1.0000 0.2046 0.3292 0.2857 1.0000 1.6093 0.0025 0.0000 0.2435 0.0000 0.5000 0.1162 0.1846
269-AH 0.0000 0.0000 0.0363 0.0400 0.0632 0.0267 0.0224 0.0400 0.0632 0.8405 0.0030 0.0000 0.0194 0.0000 0.0632 0.0267 0.0224
270-AH 0.0000 0.0000 0.1023 0.6481 0.6731 0.2829 0.3273 0.6481 0.6731 1.1568 0.0023 0.0000 0.2986 0.0000 0.6731 0.2829 0.3273
271-AH 0.0189 0.0285 0.0764 0.4571 0.6818 0.2375 0.2628 0.4286 0.6629 1.1063 0.1049 0.0506 0.2342 0.0189 0.6818 0.2375 0.2628
272-AH 0.0000 0.0000 0.0000 0.1058 0.2195 0.0537 0.0769 0.1058 0.2195 1.4301 0.0004 0.0000 0.0645 0.0000 0.2195 0.0537 0.0769
273-AH 0.0000 0.0000 0.0000 0.0000 0.6757 0.0676 0.2137 0.0000 0.6757 3.1623 0.0000 0.0000 0.1216 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0000 0.0225 0.0341 0.0086 0.0141 0.0225 0.0341 1.6415 0.0001 0.0000 0.0120 0.0000 0.0341 0.0086 0.0141
275-AH 0.0000 0.0964 0.2210 0.3279 0.4762 0.2268 0.1594 0.2315 0.4762 0.7029 0.0756 0.0001 0.1353 0.0000 0.4762 0.2268 0.1594
276-AH 0.0000 0.0000 0.0000 0.0858 0.2169 0.0494 0.0737 0.0858 0.2169 1.4912 0.0004 0.0000 0.0593 0.0000 0.1121 0.0308 0.0470
277-AH 0.0000 0.0000 0.0000 0.0311 0.1356 0.0209 0.0432 0.0311 0.1356 2.0650 0.0001 0.0000 0.0293 0.0000 0.0424 0.0082 0.0165
278-AH 0.0000 0.0000 0.0000 0.0187 0.0417 0.0089 0.0153 0.0187 0.0417 1.7224 0.0001 0.0000 0.0124 0.0000 0.0417 0.0089 0.0153
279-AH 0.0000 0.0000 0.0047 0.0150 0.0400 0.0085 0.0125 0.0150 0.0400 1.4743 0.0006 0.0000 0.0090 0.0000 0.0157 0.0050 0.0063
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0552 0.2109 0.5532 0.1641 0.2139 0.2109 0.5532 1.3032 0.0080 0.0000 0.1690 0.0000 0.2109 0.0698 0.0892
282-AH 0.0246 0.0546 0.1256 0.1545 0.1881 0.1112 0.0542 0.0999 0.1635 0.4879 0.0953 0.0763 0.0452 0.0246 0.1881 0.1112 0.0542
283-AH 0.0000 0.0000 0.0000 0.0872 0.2473 0.0602 0.0901 0.0872 0.2473 1.4961 0.0004 0.0000 0.0723 0.0000 0.1825 0.0394 0.0654
284-AH 0.0000 0.0000 0.0207 0.1198 0.3425 0.0760 0.1168 0.1198 0.3425 1.5378 0.0010 0.0000 0.0895 0.0000 0.2130 0.0464 0.0741
285-AH 0.0000 0.0000 0.0000 0.0508 0.1138 0.0244 0.0419 0.0508 0.1138 1.7220 0.0001 0.0000 0.0341 0.0000 0.1138 0.0244 0.0419
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0308 0.0680 0.3244 0.3448 0.5263 0.2721 0.1787 0.2768 0.4955 0.6569 0.1957 0.1189 0.1482 0.0308 0.5263 0.2721 0.1787
288-AH 0.0000 0.0000 0.0000 0.0679 0.1463 0.0342 0.0583 0.0679 0.1463 1.7063 0.0002 0.0000 0.0479 0.0000 0.1463 0.0342 0.0583
289-AH 0.0000 0.0000 0.0000 0.0000 0.1236 0.0124 0.0391 0.0000 0.1236 3.1623 0.0000 0.0000 0.0222 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.0318 0.0032 0.0101 0.0000 0.0318 3.1623 0.0000 0.0000 0.0057 0.0000 0.0000 0.0000 0.0000
374
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0248 0.0294 0.0401 0.0584 0.0306 0.0151 0.0153 0.0584 0.4925 0.0145 0.0001 0.0104 0.0225 0.0584 0.0340 0.0112
292-AH 0.0092 0.0476 0.1702 0.2667 1.0000 0.3044 0.3768 0.2190 0.9908 1.2381 0.1317 0.0447 0.2783 0.0092 0.2667 0.1305 0.0988
293-AH 0.0000 0.0000 0.0000 0.0940 0.3818 0.0621 0.1205 0.0940 0.3818 1.9388 0.0004 0.0000 0.0814 0.0000 0.1173 0.0266 0.0461
294-AH 0.0000 0.0267 0.1229 0.6667 0.6667 0.2990 0.3097 0.6399 0.6667 1.0359 0.0644 0.0001 0.2850 0.0000 0.6667 0.2990 0.3097
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0131 0.0258 0.0059 0.0100 0.0131 0.0258 1.6883 0.0001 0.0000 0.0083 0.0000 0.0258 0.0059 0.0100
298-AH 0.0000 0.0000 0.0000 0.0000 0.1748 0.0175 0.0553 0.0000 0.1748 3.1623 0.0000 0.0000 0.0315 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0000 0.2009 0.0201 0.0635 0.0000 0.2009 3.1623 0.0000 0.0000 0.0362 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0610 0.1421 0.2477 0.0826 0.0939 0.1421 0.2477 1.1366 0.0028 0.0000 0.0747 0.0000 0.2477 0.0826 0.0939
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0258 0.0764 0.2034 0.2619 0.3171 0.1763 0.1047 0.1855 0.2913 0.5941 0.1384 0.0970 0.0906 0.0258 0.3171 0.1763 0.1047
303-AH 0.0000 0.0096 0.0328 0.1220 0.1800 0.0656 0.0716 0.1123 0.1800 1.0918 0.0091 0.0000 0.0616 0.0000 0.1800 0.0656 0.0716
304-AH 0.0000 0.0000 0.0000 0.0171 0.0526 0.0088 0.0171 0.0171 0.0526 1.9434 0.0001 0.0000 0.0123 0.0000 0.0180 0.0039 0.0077
305-AH 0.0000 0.0000 0.0000 0.0000 0.2074 0.0400 0.0844 0.0000 0.2074 2.1100 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0400 0.5000 0.6098 0.6667 0.7273 0.5440 0.2119 0.1667 0.6873 0.3894 0.4482 0.2451 0.1518 0.3333 0.7273 0.6000 0.1233
309-AH 0.0150 0.0236 0.0435 0.0488 0.0759 0.0397 0.0182 0.0252 0.0609 0.4591 0.0358 0.0319 0.0142 0.0150 0.0759 0.0397 0.0182
310-AH 0.0000 0.0000 0.0000 0.0000 0.0870 0.0168 0.0355 0.0000 0.0870 2.1097 0.0001 0.0000 0.0269 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0415 0.0868 0.1080 0.1164 0.0720 0.0391 0.0666 0.1164 0.5430 0.0302 0.0001 0.0333 0.0000 0.1164 0.0720 0.0391
312-AH 0.0000 0.0000 0.0000 0.0000 0.2065 0.0316 0.0704 0.0000 0.2065 2.2299 0.0001 0.0000 0.0505 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0231 0.0375 0.0106 0.0147 0.0231 0.0375 1.3861 0.0002 0.0000 0.0127 0.0000 0.0375 0.0106 0.0147
314-AH 0.0000 0.0000 0.0199 0.0437 0.0724 0.0242 0.0271 0.0437 0.0724 1.1191 0.0007 0.0000 0.0242 0.0000 0.0724 0.0242 0.0271
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.1440 0.1762 0.2107 0.2313 0.1651 0.0669 0.0667 0.2313 0.4053 0.0677 0.0001 0.0463 0.1387 0.2313 0.1835 0.0354
317-AH 0.0000 0.0000 0.0000 0.0229 0.0507 0.0100 0.0176 0.0229 0.0507 1.7602 0.0001 0.0000 0.0140 0.0000 0.0507 0.0100 0.0176
318-AH 0.0000 0.0000 0.0137 0.0571 0.0822 0.0269 0.0315 0.0571 0.0822 1.1712 0.0007 0.0000 0.0269 0.0000 0.0822 0.0269 0.0315
319-AH 0.0000 0.0149 0.0893 0.1644 0.2308 0.0960 0.0890 0.1495 0.2308 0.9274 0.0134 0.0000 0.0794 0.0000 0.2308 0.0960 0.0890
320-AH 0.0000 0.0000 0.0000 0.0000 0.0125 0.0012 0.0039 0.0000 0.0125 3.1623 0.0000 0.0000 0.0022 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0066 0.0152 0.1111 0.0253 0.0426 0.0152 0.1111 1.6877 0.0006 0.0000 0.0319 0.0000 0.0152 0.0053 0.0074
323-AH 0.0000 0.0000 0.0000 0.0201 0.0586 0.0135 0.0240 0.0201 0.0586 1.7780 0.0001 0.0000 0.0189 0.0000 0.0201 0.0025 0.0071
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0777 0.0124 0.0272 0.0000 0.0777 2.1915 0.0001 0.0000 0.0198 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0185 0.0469 0.0638 0.0247 0.0269 0.0469 0.0638 1.0876 0.0007 0.0000 0.0247 0.0000 0.0638 0.0247 0.0269
327-AH 0.0000 0.0000 0.0000 0.0000 0.0366 0.0037 0.0116 0.0000 0.0366 3.1623 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.0000 0.2154 0.4615 0.6667 0.2659 0.2399 0.4615 0.6667 0.9020 0.0147 0.0000 0.2011 0.0000 0.6667 0.2659 0.2399
329-AH 0.0393 0.0797 0.2442 0.4074 0.4783 0.2534 0.1796 0.3277 0.4390 0.7088 0.1831 0.1236 0.1640 0.0393 0.4783 0.2534 0.1796
330-AH 0.0000 0.0000 0.2909 0.7209 0.7561 0.3524 0.3744 0.7209 0.7561 1.0625 0.0026 0.0000 0.3524 0.0000 0.7561 0.3524 0.3744
331-AH 0.0000 0.0000 0.0320 0.1429 0.1765 0.0668 0.0762 0.1429 0.1765 1.1413 0.0011 0.0000 0.0674 0.0000 0.1765 0.0668 0.0762
332-AH 0.0000 0.0000 0.0781 0.2727 0.3158 0.1284 0.1411 0.2727 0.3158 1.0991 0.0016 0.0000 0.1284 0.0000 0.3158 0.1284 0.1411
333-AH 0.0000 0.0037 0.0060 0.0108 1.0000 0.1053 0.3144 0.0071 1.0000 2.9843 0.0053 0.0001 0.1789 0.0000 0.0125 0.0059 0.0038
334-AH 0.0000 0.0000 0.0000 0.0000 0.0698 0.0070 0.0221 0.0000 0.0698 3.1623 0.0000 0.0000 0.0126 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0221 0.0022 0.0070 0.0000 0.0221 3.1623 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0173 0.0032 0.0068 0.0000 0.0173 2.1169 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0179 0.4230 0.9231 0.9333 0.4552 0.4648 0.9051 0.9333 1.0211 0.0613 0.0001 0.4399 0.0000 0.9333 0.4552 0.4648
338-AH 0.0000 0.0000 0.0612 0.3750 1.0000 0.2491 0.3784 0.3750 1.0000 1.5189 0.0019 0.0000 0.2970 0.0000 0.8571 0.1657 0.2876
339-AH 0.0000 0.0000 0.0546 0.1228 0.4483 0.0931 0.1386 0.1228 0.4483 1.4884 0.0013 0.0000 0.0931 0.0000 0.1364 0.0537 0.0641
340-AH 0.0000 0.0000 0.0000 0.0000 0.0612 0.0061 0.0194 0.0000 0.0612 3.1623 0.0000 0.0000 0.0110 0.0000 0.0000 0.0000 0.0000
375
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0000 0.0385 1.0000 1.0000 0.4093 0.5086 1.0000 1.0000 1.2424 0.0109 0.0000 0.4725 0.0000 1.0000 0.4093 0.5086
342-AH 0.0000 0.0624 0.1464 0.5207 0.6154 0.2616 0.2552 0.4583 0.6154 0.9755 0.0303 0.0000 0.2301 0.0000 0.6154 0.2616 0.2552
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.2222 0.5000 0.5385 0.2496 0.2641 0.5000 0.5385 1.0581 0.0022 0.0000 0.2496 0.0000 0.5385 0.2496 0.2641
345-AH 0.0000 0.0000 0.0000 0.0000 0.0364 0.0049 0.0117 0.0000 0.0364 2.4047 0.0000 0.0000 0.0078 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0219 0.0598 0.0854 0.0330 0.0370 0.0598 0.0854 1.1190 0.0008 0.0000 0.0330 0.0000 0.0854 0.0330 0.0370
347-AH 0.0000 0.0000 0.0060 0.0561 0.0625 0.0240 0.0287 0.0561 0.0625 1.1969 0.0006 0.0000 0.0264 0.0000 0.0625 0.0240 0.0287
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4000 0.4661 1.0000 1.0000 1.1653 0.0027 0.0000 0.4133 0.0000 1.0000 0.4000 0.4661
349-AH 0.0000 0.0000 0.0759 0.4474 0.4737 0.1880 0.2185 0.4474 0.4737 1.1623 0.0019 0.0000 0.1952 0.0000 0.4737 0.1880 0.2185
350-AH 0.0000 0.0000 0.0345 0.2432 0.3333 0.1084 0.1312 0.2432 0.3333 1.2097 0.0014 0.0000 0.1163 0.0000 0.3333 0.1084 0.1312
376
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0000 0.0000 0.5033 1.0000 1.0000 0.5007 0.5264 1.0000 1.0000 1.0513 0.0061 0.0000 0.4993 0.0000 1.0000 0.5007 0.5264
143-AH 0.0000 0.0000 0.0000 0.0000 0.4348 0.0435 0.1375 0.0000 0.4348 3.1623 0.0000 0.0000 0.0783 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0000 0.0172 0.2308 0.0267 0.0721 0.0172 0.2308 2.6978 0.0001 0.0000 0.0408 0.0000 0.0192 0.0041 0.0081
145-AH 0.0000 0.0000 0.0325 0.0582 0.4030 0.0884 0.1400 0.0582 0.4030 1.5845 0.0049 0.0000 0.1033 0.0000 0.0582 0.0238 0.0217
146-AH 0.0000 0.0000 0.0029 0.0183 0.0323 0.0091 0.0125 0.0183 0.0323 1.3786 0.0004 0.0000 0.0103 0.0000 0.0323 0.0091 0.0125
147-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0073 0.1014 0.0116 0.0317 0.0073 0.1014 2.7262 0.0001 0.0000 0.0180 0.0000 0.0076 0.0017 0.0033
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.1739 0.0174 0.0550 0.0000 0.1739 3.1623 0.0000 0.0000 0.0313 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0152 0.0526 0.0877 0.0290 0.0358 0.0526 0.0877 1.2372 0.0007 0.0000 0.0290 0.0000 0.0877 0.0290 0.0358
155-AH 0.0000 0.0000 0.0000 0.0000 0.0040 0.0004 0.0013 0.0000 0.0040 3.1623 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0238 0.0386 0.0554 0.0234 0.0199 0.0386 0.0554 0.8491 0.0028 0.0000 0.0157 0.0000 0.0554 0.0234 0.0199
157-AH 0.0000 0.0000 0.1164 0.3356 0.3538 0.1599 0.1717 0.3356 0.3538 1.0739 0.0018 0.0000 0.1599 0.0000 0.3538 0.1599 0.1717
158-AH 0.0000 0.0000 0.0000 0.0623 0.1277 0.0255 0.0446 0.0623 0.1277 1.7489 0.0001 0.0000 0.0357 0.0000 0.1277 0.0255 0.0446
159-AH 0.0000 0.0000 0.0000 0.0000 0.0538 0.0054 0.0170 0.0000 0.0538 3.1623 0.0000 0.0000 0.0097 0.0000 0.0000 0.0000 0.0000
160-AH 0.0023 0.0024 0.0107 0.0513 0.2500 0.0548 0.0851 0.0488 0.2477 1.5529 0.0160 0.0061 0.0614 0.0023 0.0513 0.0164 0.0196
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.0000 0.1818 0.3835 0.6825 0.9286 0.4520 0.3314 0.5007 0.9286 0.7332 0.1422 0.0001 0.2846 0.0000 0.9286 0.4520 0.3314
164-AH 0.0000 0.0000 0.0000 0.0000 0.1094 0.0138 0.0348 0.0000 0.1094 2.5130 0.0001 0.0000 0.0221 0.0000 0.0000 0.0000 0.0000
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0260 0.1290 0.2222 0.0728 0.0917 0.1290 0.2222 1.2593 0.0011 0.0000 0.0770 0.0000 0.2222 0.0728 0.0917
168-AH 0.0000 0.0000 0.0000 0.0000 0.1512 0.0151 0.0478 0.0000 0.1512 3.1623 0.0000 0.0000 0.0272 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.0220 0.0256 0.0085 0.0113 0.0220 0.0256 1.3306 0.0002 0.0000 0.0102 0.0000 0.0256 0.0085 0.0113
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0000 0.0188 0.0583 0.0598 0.0255 0.0279 0.0583 0.0598 1.0915 0.0007 0.0000 0.0255 0.0000 0.0598 0.0255 0.0279
172-AH 0.0000 0.0000 0.0000 0.0000 0.0058 0.0006 0.0018 0.0000 0.0058 3.1623 0.0000 0.0000 0.0010 0.0000 0.0000 0.0000 0.0000
173-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9333 0.1405 0.0000 0.3333 0.1506 0.9221 0.9091 0.1067 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.0333 1.0000 1.0000 0.3781 0.4813 1.0000 1.0000 1.2730 0.0023 0.0000 0.4404 0.0000 1.0000 0.3781 0.4813
176-AH 0.0000 0.0000 0.3085 0.8485 0.8649 0.3800 0.4100 0.8485 0.8649 1.0787 0.0027 0.0000 0.3800 0.0000 0.8649 0.3800 0.4100
177-AH 0.0194 0.0222 0.0457 0.1562 0.1746 0.0748 0.0637 0.1341 0.1552 0.8516 0.0537 0.0403 0.0541 0.0194 0.1746 0.0748 0.0637
178-AH 0.0000 0.0000 0.0000 0.0099 0.0526 0.0103 0.0196 0.0099 0.0526 1.8999 0.0001 0.0000 0.0145 0.0000 0.0099 0.0012 0.0035
179-AH 0.0000 0.0000 0.0000 0.0000 0.0492 0.0049 0.0156 0.0000 0.0492 3.1623 0.0000 0.0000 0.0089 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0407 0.3294 0.0417 0.1027 0.0407 0.3294 2.4626 0.0002 0.0000 0.0586 0.0000 0.0471 0.0098 0.0194
181-AH 0.0000 0.0000 0.5410 0.7253 0.7386 0.4380 0.3146 0.7253 0.7386 0.7183 0.0226 0.0000 0.2628 0.0000 0.7386 0.4380 0.3146
182-AH 0.0000 0.0031 0.0115 0.0656 0.2143 0.0517 0.0811 0.0625 0.2143 1.5677 0.0052 0.0000 0.0624 0.0000 0.0656 0.0144 0.0214
183-AH 0.0102 0.0390 0.2517 0.2857 0.6000 0.2345 0.1784 0.2468 0.5898 0.7609 0.1431 0.0571 0.1267 0.0102 0.6000 0.2345 0.1784
184-AH 0.0000 0.0000 0.0000 0.0000 0.0196 0.0038 0.0081 0.0000 0.0196 2.1090 0.0000 0.0000 0.0061 0.0000 0.0000 0.0000 0.0000
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.0878 0.1667 0.1667 0.0958 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.0878
190-AH 0.0000 0.0000 0.0000 0.0000 0.0152 0.0024 0.0053 0.0000 0.0152 2.1862 0.0000 0.0000 0.0039 0.0000 0.0000 0.0000 0.0000
377
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.1136 0.3333 0.3571 0.1489 0.1621 0.3333 0.3571 1.0882 0.0017 0.0000 0.1489 0.0000 0.3571 0.1489 0.1621
193-AH 0.0000 0.0000 0.0338 0.0761 0.2000 0.0489 0.0642 0.0761 0.2000 1.3122 0.0009 0.0000 0.0489 0.0000 0.0778 0.0321 0.0382
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.0893 0.8636 0.9487 0.3672 0.4423 0.8636 0.9487 1.2046 0.0025 0.0000 0.4049 0.0000 0.9487 0.3672 0.4423
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0551 0.1750 0.3629 0.7778 0.7778 0.4309 0.3224 0.6028 0.7227 0.7482 0.2900 0.1716 0.2914 0.0551 0.7778 0.4309 0.3224
200-AH 0.0000 0.0000 0.0098 0.0271 0.3043 0.0406 0.0936 0.0271 0.3043 2.3061 0.0006 0.0000 0.0527 0.0000 0.0352 0.0113 0.0141
251-AH 0.0000 0.0000 0.0000 0.0667 0.1189 0.0266 0.0446 0.0667 0.1189 1.6804 0.0002 0.0000 0.0372 0.0000 0.1189 0.0266 0.0446
252-AH 0.0000 0.0000 0.0864 0.1655 0.2019 0.0886 0.0773 0.1655 0.2019 0.8727 0.0069 0.0000 0.0641 0.0000 0.2019 0.0886 0.0773
253-AH 0.0000 0.0000 0.1665 0.2375 0.2495 0.1266 0.1126 0.2375 0.2495 0.8894 0.0039 0.0000 0.1013 0.0000 0.2495 0.1266 0.1126
254-AH 0.0000 0.0000 0.0000 0.0000 0.1808 0.0181 0.0572 0.0000 0.1808 3.1623 0.0000 0.0000 0.0326 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0000 0.0106 0.0312 0.8000 0.1675 0.3336 0.0312 0.8000 1.9920 0.0010 0.0000 0.2530 0.0000 0.0312 0.0093 0.0132
256-AH 0.0000 0.0000 0.4076 0.9231 1.0000 0.4702 0.4826 0.9231 1.0000 1.0262 0.0160 0.0000 0.4538 0.0000 1.0000 0.4702 0.4826
257-AH 0.0000 0.0000 0.0000 0.0000 0.0550 0.0055 0.0174 0.0000 0.0550 3.1623 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0000 0.0085 0.0012 0.0028 0.0000 0.0085 2.3396 0.0000 0.0000 0.0019 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0035 0.0370 0.0044 0.0116 0.0035 0.0370 2.6174 0.0001 0.0000 0.0065 0.0000 0.0036 0.0008 0.0016
260-AH 0.0000 0.0000 0.0593 0.1278 0.5556 0.1432 0.2198 0.1278 0.5556 1.5352 0.0032 0.0000 0.1636 0.0000 0.1278 0.0409 0.0487
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0207 0.0577 0.0741 0.1301 0.0536 0.0413 0.0534 0.1301 0.7706 0.0104 0.0000 0.0322 0.0000 0.1301 0.0536 0.0413
265-AH 0.0000 0.0000 0.0028 0.1786 0.2778 0.0889 0.1193 0.1786 0.2778 1.3431 0.0010 0.0000 0.1055 0.0000 0.2778 0.0889 0.1193
266-AH 0.0000 0.0000 0.0105 0.0348 0.1000 0.0285 0.0391 0.0348 0.1000 1.3733 0.0007 0.0000 0.0300 0.0000 0.0348 0.0112 0.0160
267-AH 0.0000 0.0000 0.0221 0.0425 0.0604 0.0242 0.0211 0.0425 0.0604 0.8714 0.0028 0.0000 0.0174 0.0000 0.0604 0.0242 0.0211
268-AH 0.0000 0.0000 0.0000 0.0000 0.0319 0.0057 0.0120 0.0000 0.0319 2.1302 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0055 0.0340 0.0391 0.0134 0.0169 0.0340 0.0391 1.2651 0.0005 0.0000 0.0141 0.0000 0.0391 0.0134 0.0169
270-AH 0.0000 0.0000 0.0962 0.5797 0.6061 0.2553 0.2941 0.5797 0.6061 1.1524 0.0022 0.0000 0.2678 0.0000 0.6061 0.2553 0.2941
271-AH 0.0000 0.0000 0.0277 0.3778 0.5152 0.1773 0.2206 0.3778 0.5152 1.2441 0.0034 0.0000 0.2017 0.0000 0.5152 0.1773 0.2206
272-AH 0.0000 0.0000 0.0000 0.1058 0.2000 0.0497 0.0712 0.1058 0.2000 1.4305 0.0004 0.0000 0.0597 0.0000 0.2000 0.0497 0.0712
273-AH 0.0000 0.0000 0.0000 0.0000 0.5463 0.0546 0.1728 0.0000 0.5463 3.1623 0.0000 0.0000 0.0983 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0000 0.0000 0.0313 0.0061 0.0128 0.0000 0.0313 2.1096 0.0000 0.0000 0.0097 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.1554 0.2539 0.4608 0.1738 0.1671 0.2539 0.4608 0.9617 0.0105 0.0000 0.1423 0.0000 0.4608 0.1738 0.1671
276-AH 0.0000 0.0000 0.0000 0.0524 0.1469 0.0343 0.0522 0.0524 0.1469 1.5235 0.0004 0.0000 0.0412 0.0000 0.1009 0.0218 0.0362
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0178 0.0408 0.0080 0.0141 0.0178 0.0408 1.7669 0.0001 0.0000 0.0112 0.0000 0.0408 0.0080 0.0141
279-AH 0.0000 0.0000 0.0047 0.0150 0.0400 0.0085 0.0125 0.0150 0.0400 1.4743 0.0006 0.0000 0.0090 0.0000 0.0157 0.0050 0.0063
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0000 0.2081 0.2804 0.0947 0.1241 0.2081 0.2804 1.3105 0.0006 0.0000 0.1136 0.0000 0.2804 0.0947 0.1241
282-AH 0.0000 0.0262 0.0521 0.0833 0.1202 0.0567 0.0377 0.0571 0.1202 0.6646 0.0231 0.0001 0.0297 0.0000 0.1202 0.0567 0.0377
283-AH 0.0000 0.0000 0.0000 0.0698 0.1019 0.0310 0.0412 0.0698 0.1019 1.3261 0.0004 0.0000 0.0373 0.0000 0.1019 0.0310 0.0412
284-AH 0.0000 0.0000 0.0151 0.0874 0.3418 0.0646 0.1093 0.0874 0.3418 1.6912 0.0009 0.0000 0.0771 0.0000 0.1500 0.0338 0.0526
285-AH 0.0000 0.0000 0.0000 0.0000 0.0992 0.0165 0.0356 0.0000 0.0992 2.1619 0.0001 0.0000 0.0264 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0643 0.2735 0.3070 0.3684 0.2122 0.1357 0.2427 0.3684 0.6397 0.0731 0.0001 0.1202 0.0000 0.3684 0.2122 0.1357
288-AH 0.0000 0.0000 0.0000 0.0000 0.1047 0.0206 0.0434 0.0000 0.1047 2.1086 0.0001 0.0000 0.0329 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0000 0.0000 0.0765 0.0076 0.0242 0.0000 0.0765 3.1623 0.0000 0.0000 0.0138 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
378
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0243 0.0294 0.0326 0.0381 0.0245 0.0136 0.0082 0.0381 0.5550 0.0061 0.0000 0.0099 0.0243 0.0381 0.0307 0.0048
292-AH 0.0092 0.0476 0.1702 0.2667 1.0000 0.3044 0.3768 0.2190 0.9908 1.2381 0.1317 0.0447 0.2783 0.0092 0.2667 0.1305 0.0988
293-AH 0.0000 0.0000 0.0000 0.0938 0.3243 0.0540 0.1024 0.0938 0.3243 1.8961 0.0004 0.0000 0.0700 0.0000 0.0940 0.0240 0.0407
294-AH 0.0000 0.0224 0.1069 0.6250 0.6667 0.2816 0.3093 0.6026 0.6667 1.0986 0.0255 0.0000 0.2841 0.0000 0.6667 0.2816 0.3093
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0128 0.0150 0.0041 0.0066 0.0128 0.0150 1.6161 0.0001 0.0000 0.0057 0.0000 0.0150 0.0041 0.0066
298-AH 0.0000 0.0000 0.0000 0.0000 0.0742 0.0074 0.0235 0.0000 0.0742 3.1623 0.0000 0.0000 0.0134 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0000 0.1399 0.0140 0.0443 0.0000 0.1399 3.1623 0.0000 0.0000 0.0252 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0459 0.1220 0.2207 0.0729 0.0849 0.1220 0.2207 1.1639 0.0025 0.0000 0.0691 0.0000 0.2207 0.0729 0.0849
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0227 0.0619 0.2034 0.2453 0.3171 0.1687 0.1049 0.1834 0.2944 0.6218 0.1282 0.0860 0.0918 0.0227 0.3171 0.1687 0.1049
303-AH 0.0000 0.0000 0.0175 0.0826 0.1220 0.0372 0.0461 0.0826 0.1220 1.2415 0.0008 0.0000 0.0376 0.0000 0.1220 0.0372 0.0461
304-AH 0.0000 0.0000 0.0000 0.0000 0.0204 0.0020 0.0064 0.0000 0.0204 3.1623 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0000 0.1830 0.0364 0.0767 0.0000 0.1830 2.1082 0.0001 0.0000 0.0582 0.0000 0.0000 0.0000 0.0000
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0091 0.2667 0.4040 0.6667 0.7273 0.4448 0.2405 0.4000 0.7182 0.5406 0.3088 0.0762 0.1970 0.0091 0.7273 0.4448 0.2405
309-AH 0.0150 0.0167 0.0275 0.0437 0.0642 0.0321 0.0162 0.0270 0.0492 0.5037 0.0287 0.0258 0.0132 0.0150 0.0642 0.0321 0.0162
310-AH 0.0000 0.0000 0.0000 0.0000 0.0629 0.0063 0.0199 0.0000 0.0629 3.1623 0.0000 0.0000 0.0113 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0596 0.0795 0.0894 0.0453 0.0411 0.0795 0.0894 0.9073 0.0021 0.0000 0.0371 0.0000 0.0894 0.0453 0.0411
312-AH 0.0000 0.0000 0.0000 0.0000 0.1913 0.0219 0.0602 0.0000 0.1913 2.7500 0.0001 0.0000 0.0350 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0159 0.0374 0.0650 0.0213 0.0241 0.0374 0.0650 1.1302 0.0006 0.0000 0.0213 0.0000 0.0650 0.0213 0.0241
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.1442 0.1609 0.1861 0.1099 0.0773 0.1609 0.1861 0.7033 0.0086 0.0000 0.0660 0.0000 0.1861 0.1099 0.0773
317-AH 0.0000 0.0000 0.0000 0.0000 0.0224 0.0044 0.0092 0.0000 0.0224 2.1089 0.0000 0.0000 0.0070 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0000 0.0137 0.0526 0.0805 0.0252 0.0300 0.0526 0.0805 1.1889 0.0007 0.0000 0.0252 0.0000 0.0805 0.0252 0.0300
319-AH 0.0000 0.0000 0.0000 0.0638 0.0946 0.0283 0.0379 0.0638 0.0946 1.3389 0.0003 0.0000 0.0340 0.0000 0.0946 0.0283 0.0379
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0051 0.0143 0.0870 0.0195 0.0321 0.0143 0.0870 1.6448 0.0005 0.0000 0.0238 0.0000 0.0143 0.0046 0.0065
323-AH 0.0000 0.0000 0.0000 0.0000 0.0365 0.0061 0.0132 0.0000 0.0365 2.1574 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0641 0.0064 0.0203 0.0000 0.0641 3.1623 0.0000 0.0000 0.0115 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0185 0.0469 0.0638 0.0247 0.0269 0.0469 0.0638 1.0876 0.0007 0.0000 0.0247 0.0000 0.0638 0.0247 0.0269
327-AH 0.0000 0.0000 0.0000 0.0000 0.0366 0.0037 0.0116 0.0000 0.0366 3.1623 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.0000 0.1766 0.4615 0.4857 0.2275 0.2155 0.4615 0.4857 0.9471 0.0124 0.0000 0.1920 0.0000 0.4857 0.2275 0.2155
329-AH 0.0337 0.0603 0.2022 0.3871 0.4000 0.2175 0.1701 0.3268 0.3663 0.7820 0.1444 0.0927 0.1598 0.0337 0.4000 0.2175 0.1701
330-AH 0.0000 0.0000 0.1613 0.6909 0.7170 0.3107 0.3460 0.6909 0.7170 1.1137 0.0024 0.0000 0.3107 0.0000 0.7170 0.3107 0.3460
331-AH 0.0000 0.0000 0.0320 0.1237 0.1765 0.0617 0.0703 0.1237 0.1765 1.1392 0.0011 0.0000 0.0617 0.0000 0.1765 0.0617 0.0703
332-AH 0.0000 0.0000 0.0714 0.2727 0.3158 0.1271 0.1409 0.2727 0.3158 1.1089 0.0016 0.0000 0.1271 0.0000 0.3158 0.1271 0.1409
333-AH 0.0000 0.0000 0.0020 0.0058 1.0000 0.1021 0.3155 0.0058 1.0000 3.0892 0.0004 0.0000 0.1796 0.0000 0.0067 0.0024 0.0029
334-AH 0.0000 0.0000 0.0000 0.0000 0.0173 0.0017 0.0055 0.0000 0.0173 3.1623 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0164 0.0016 0.0052 0.0000 0.0164 3.1623 0.0000 0.0000 0.0030 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0166 0.0031 0.0066 0.0000 0.0166 2.1132 0.0000 0.0000 0.0050 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.3889 0.8421 0.9333 0.4252 0.4498 0.8421 0.9333 1.0580 0.0029 0.0000 0.4252 0.0000 0.9333 0.4252 0.4498
338-AH 0.0000 0.0000 0.0327 0.0854 0.5385 0.1313 0.2176 0.0854 0.5385 1.6575 0.0013 0.0000 0.1629 0.0000 0.0854 0.0295 0.0412
339-AH 0.0000 0.0000 0.0512 0.1228 0.3750 0.0845 0.1178 0.1228 0.3750 1.3944 0.0012 0.0000 0.0845 0.0000 0.1296 0.0522 0.0623
340-AH 0.0000 0.0000 0.0000 0.0000 0.0095 0.0009 0.0030 0.0000 0.0095 3.1623 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000
379
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0000 0.0254 0.6250 1.0000 0.3093 0.4229 0.6250 1.0000 1.3676 0.0038 0.0000 0.3609 0.0000 1.0000 0.3093 0.4229
342-AH 0.0000 0.0000 0.1279 0.5192 0.6154 0.2426 0.2656 0.5192 0.6154 1.0948 0.0051 0.0000 0.2399 0.0000 0.6154 0.2426 0.2656
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.1935 0.4444 0.4528 0.2167 0.2291 0.4444 0.4528 1.0573 0.0021 0.0000 0.2167 0.0000 0.4528 0.2167 0.2291
345-AH 0.0000 0.0000 0.0000 0.0000 0.0289 0.0040 0.0095 0.0000 0.0289 2.3418 0.0000 0.0000 0.0065 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0189 0.0559 0.0672 0.0274 0.0299 0.0559 0.0672 1.0905 0.0007 0.0000 0.0274 0.0000 0.0672 0.0274 0.0299
347-AH 0.0000 0.0000 0.0037 0.0206 0.0252 0.0096 0.0112 0.0206 0.0252 1.1600 0.0004 0.0000 0.0101 0.0000 0.0252 0.0096 0.0112
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4000 0.4661 1.0000 1.0000 1.1653 0.0027 0.0000 0.4133 0.0000 1.0000 0.4000 0.4661
349-AH 0.0000 0.0000 0.0641 0.3958 0.4524 0.1700 0.1997 0.3958 0.4524 1.1742 0.0018 0.0000 0.1784 0.0000 0.4524 0.1700 0.1997
350-AH 0.0000 0.0000 0.0307 0.1961 0.2432 0.0940 0.1108 0.1961 0.2432 1.1795 0.0013 0.0000 0.1005 0.0000 0.2432 0.0940 0.1108
380
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0000 0.0000 0.1818 1.0000 1.0000 0.4364 0.4976 1.0000 1.0000 1.1402 0.0029 0.0000 0.4509 0.0000 1.0000 0.4364 0.4976
143-AH 0.0000 0.0000 0.0000 0.0000 0.3810 0.0381 0.1205 0.0000 0.3810 3.1623 0.0000 0.0000 0.0686 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0000 0.0172 0.2308 0.0267 0.0721 0.0172 0.2308 2.6978 0.0001 0.0000 0.0408 0.0000 0.0192 0.0041 0.0081
145-AH 0.0000 0.0000 0.0000 0.0323 0.1488 0.0319 0.0596 0.0323 0.1488 1.8700 0.0002 0.0000 0.0446 0.0000 0.0323 0.0040 0.0114
146-AH 0.0000 0.0000 0.0029 0.0183 0.0323 0.0091 0.0125 0.0183 0.0323 1.3786 0.0004 0.0000 0.0103 0.0000 0.0323 0.0091 0.0125
147-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.0920 0.0092 0.0291 0.0000 0.0920 3.1623 0.0000 0.0000 0.0166 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.1607 0.0161 0.0508 0.0000 0.1607 3.1623 0.0000 0.0000 0.0289 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0107 0.0293 0.0321 0.0142 0.0152 0.0293 0.0321 1.0716 0.0005 0.0000 0.0142 0.0000 0.0321 0.0142 0.0152
155-AH 0.0000 0.0000 0.0000 0.0000 0.0040 0.0004 0.0013 0.0000 0.0040 3.1623 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0109 0.0249 0.0277 0.0122 0.0130 0.0249 0.0277 1.0611 0.0005 0.0000 0.0122 0.0000 0.0277 0.0122 0.0130
157-AH 0.0000 0.0000 0.0651 0.2679 0.2883 0.1230 0.1367 0.2679 0.2883 1.1119 0.0015 0.0000 0.1230 0.0000 0.2883 0.1230 0.1367
158-AH 0.0000 0.0000 0.0000 0.0335 0.0485 0.0119 0.0195 0.0335 0.0485 1.6402 0.0001 0.0000 0.0166 0.0000 0.0485 0.0119 0.0195
159-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
160-AH 0.0023 0.0024 0.0107 0.0513 0.2500 0.0548 0.0851 0.0488 0.2477 1.5529 0.0160 0.0061 0.0614 0.0023 0.0513 0.0164 0.0196
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.0000 0.1225 0.2658 0.6049 0.9074 0.3929 0.3324 0.4824 0.9074 0.8460 0.1161 0.0001 0.2858 0.0000 0.9074 0.3929 0.3324
164-AH 0.0000 0.0000 0.0000 0.0000 0.1019 0.0102 0.0322 0.0000 0.1019 3.1623 0.0000 0.0000 0.0183 0.0000 0.0000 0.0000 0.0000
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0260 0.1290 0.2222 0.0728 0.0917 0.1290 0.2222 1.2593 0.0011 0.0000 0.0770 0.0000 0.2222 0.0728 0.0917
168-AH 0.0000 0.0000 0.0000 0.0000 0.1194 0.0119 0.0378 0.0000 0.1194 3.1623 0.0000 0.0000 0.0215 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.0220 0.0256 0.0085 0.0113 0.0220 0.0256 1.3306 0.0002 0.0000 0.0102 0.0000 0.0256 0.0085 0.0113
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0000 0.0129 0.0356 0.0396 0.0171 0.0183 0.0356 0.0396 1.0735 0.0006 0.0000 0.0171 0.0000 0.0396 0.0171 0.0183
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9333 0.1405 0.0000 0.3333 0.1506 0.9221 0.9091 0.1067 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.0139 0.6667 1.0000 0.3361 0.4422 0.6667 1.0000 1.3157 0.0020 0.0000 0.3978 0.0000 1.0000 0.3361 0.4422
176-AH 0.0000 0.0000 0.2133 0.8049 0.8649 0.3360 0.3832 0.8049 0.8649 1.1407 0.0025 0.0000 0.3360 0.0000 0.8649 0.3360 0.3832
177-AH 0.0000 0.0192 0.0389 0.1429 0.1746 0.0676 0.0659 0.1237 0.1746 0.9744 0.0225 0.0001 0.0557 0.0000 0.1746 0.0676 0.0659
178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0000 0.0000 0.0464 0.0046 0.0147 0.0000 0.0464 3.1623 0.0000 0.0000 0.0084 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0350 0.1768 0.0249 0.0554 0.0350 0.1768 2.2276 0.0001 0.0000 0.0348 0.0000 0.0370 0.0080 0.0159
181-AH 0.0000 0.0000 0.4088 0.6727 0.7327 0.3832 0.2954 0.6727 0.7327 0.7709 0.0202 0.0000 0.2393 0.0000 0.7327 0.3832 0.2954
182-AH 0.0000 0.0000 0.0000 0.0656 0.1667 0.0353 0.0617 0.0656 0.1667 1.7460 0.0002 0.0000 0.0495 0.0000 0.1212 0.0208 0.0435
183-AH 0.0000 0.0000 0.2222 0.2500 0.3333 0.1774 0.1274 0.2500 0.3333 0.7182 0.0120 0.0000 0.1064 0.0000 0.3333 0.1774 0.1274
184-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.5000 0.6000 0.7639 0.8750 1.0000 0.7356 0.1575 0.2750 0.5000 0.2141 0.7201 0.7047 0.1284 0.5000 1.0000 0.7356 0.1575
190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
381
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.1136 0.3333 0.3571 0.1489 0.1621 0.3333 0.3571 1.0882 0.0017 0.0000 0.1489 0.0000 0.3571 0.1489 0.1621
193-AH 0.0000 0.0000 0.0250 0.0761 0.2000 0.0455 0.0635 0.0761 0.2000 1.3957 0.0009 0.0000 0.0455 0.0000 0.0778 0.0283 0.0348
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.0683 0.7636 0.9375 0.3451 0.4249 0.7636 0.9375 1.2312 0.0024 0.0000 0.3868 0.0000 0.9375 0.3451 0.4249
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0110 0.0324 0.3409 0.6667 0.7273 0.3532 0.3166 0.6343 0.7163 0.8964 0.1592 0.0531 0.2922 0.0110 0.7273 0.3532 0.3166
200-AH 0.0000 0.0000 0.0072 0.0261 0.0702 0.0160 0.0228 0.0261 0.0702 1.4245 0.0005 0.0000 0.0167 0.0000 0.0352 0.0100 0.0134
251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
252-AH 0.0000 0.0000 0.0598 0.1655 0.1765 0.0787 0.0728 0.1655 0.1765 0.9256 0.0062 0.0000 0.0623 0.0000 0.1765 0.0787 0.0728
253-AH 0.0000 0.0000 0.0000 0.0000 0.1782 0.0344 0.0725 0.0000 0.1782 2.1100 0.0001 0.0000 0.0550 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0000 0.0040 0.0222 0.8000 0.1644 0.3351 0.0222 0.8000 2.0387 0.0008 0.0000 0.2543 0.0000 0.0222 0.0055 0.0084
256-AH 0.0000 0.0000 0.1069 0.7568 1.0000 0.3611 0.4312 0.7568 1.0000 1.1943 0.0025 0.0000 0.3905 0.0000 1.0000 0.3611 0.4312
257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0035 0.0370 0.0044 0.0116 0.0035 0.0370 2.6174 0.0001 0.0000 0.0065 0.0000 0.0036 0.0008 0.0016
260-AH 0.0000 0.0000 0.0000 0.0637 0.4904 0.1040 0.2035 0.0637 0.4904 1.9561 0.0002 0.0000 0.1537 0.0000 0.0637 0.0080 0.0225
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.0368 0.0529 0.1200 0.0371 0.0364 0.0529 0.1200 0.9830 0.0037 0.0000 0.0255 0.0000 0.1200 0.0371 0.0364
265-AH 0.0000 0.0000 0.0028 0.1786 0.2778 0.0889 0.1193 0.1786 0.2778 1.3431 0.0010 0.0000 0.1055 0.0000 0.2778 0.0889 0.1193
266-AH 0.0000 0.0000 0.0000 0.0348 0.1000 0.0264 0.0401 0.0348 0.1000 1.5204 0.0003 0.0000 0.0316 0.0000 0.0348 0.0085 0.0158
267-AH 0.0000 0.0000 0.0109 0.0322 0.0576 0.0169 0.0203 0.0322 0.0576 1.1963 0.0006 0.0000 0.0169 0.0000 0.0576 0.0169 0.0203
268-AH 0.0000 0.0000 0.0000 0.0000 0.0319 0.0057 0.0120 0.0000 0.0319 2.1302 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.0205 0.0217 0.0063 0.0101 0.0205 0.0217 1.6109 0.0001 0.0000 0.0088 0.0000 0.0217 0.0063 0.0101
270-AH 0.0000 0.0000 0.0695 0.5287 0.5698 0.2292 0.2699 0.5287 0.5698 1.1776 0.0020 0.0000 0.2472 0.0000 0.5698 0.2292 0.2699
271-AH 0.0000 0.0000 0.0109 0.1628 0.2386 0.0740 0.0945 0.1628 0.2386 1.2780 0.0011 0.0000 0.0844 0.0000 0.2386 0.0740 0.0945
272-AH 0.0000 0.0000 0.0000 0.0800 0.1154 0.0343 0.0467 0.0800 0.1154 1.3627 0.0004 0.0000 0.0411 0.0000 0.1154 0.0343 0.0467
273-AH 0.0000 0.0000 0.0000 0.0000 0.2753 0.0275 0.0871 0.0000 0.2753 3.1623 0.0000 0.0000 0.0496 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0000 0.0000 0.0230 0.0045 0.0095 0.0000 0.0230 2.1087 0.0000 0.0000 0.0072 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.1194 0.2358 0.3557 0.1352 0.1390 0.2358 0.3557 1.0277 0.0038 0.0000 0.1240 0.0000 0.3557 0.1352 0.1390
276-AH 0.0000 0.0000 0.0000 0.0000 0.0968 0.0167 0.0358 0.0000 0.0968 2.1408 0.0001 0.0000 0.0267 0.0000 0.0000 0.0000 0.0000
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0207 0.0021 0.0065 0.0000 0.0207 3.1623 0.0000 0.0000 0.0037 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0000 0.0105 0.0124 0.0035 0.0056 0.0105 0.0124 1.6159 0.0001 0.0000 0.0049 0.0000 0.0124 0.0035 0.0056
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0000 0.1921 0.2035 0.0771 0.0997 0.1921 0.2035 1.2933 0.0005 0.0000 0.0925 0.0000 0.2035 0.0771 0.0997
282-AH 0.0000 0.0000 0.0000 0.0470 0.0561 0.0194 0.0254 0.0470 0.0561 1.3122 0.0003 0.0000 0.0232 0.0000 0.0561 0.0194 0.0254
283-AH 0.0000 0.0000 0.0000 0.0419 0.0519 0.0176 0.0231 0.0419 0.0519 1.3147 0.0003 0.0000 0.0211 0.0000 0.0519 0.0176 0.0231
284-AH 0.0000 0.0000 0.0000 0.0000 0.3196 0.0356 0.1004 0.0000 0.3196 2.8191 0.0001 0.0000 0.0570 0.0000 0.0000 0.0000 0.0000
285-AH 0.0000 0.0000 0.0000 0.0000 0.0914 0.0091 0.0289 0.0000 0.0914 3.1623 0.0000 0.0000 0.0164 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.1961 0.2548 0.3388 0.1582 0.1347 0.2548 0.3388 0.8513 0.0103 0.0000 0.1147 0.0000 0.3388 0.1582 0.1347
288-AH 0.0000 0.0000 0.0000 0.0000 0.0814 0.0146 0.0310 0.0000 0.0814 2.1257 0.0001 0.0000 0.0234 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0000 0.0000 0.0414 0.0041 0.0131 0.0000 0.0414 3.1623 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
382
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0000 0.0381 0.0070 0.0148 0.0000 0.0381 2.1192 0.0001 0.0000 0.0112 0.0000 0.0000 0.0000 0.0000
292-AH 0.0092 0.0476 0.1619 0.2667 1.0000 0.3027 0.3776 0.2190 0.9908 1.2475 0.1301 0.0445 0.2789 0.0092 0.2667 0.1284 0.0985
293-AH 0.0000 0.0000 0.0000 0.0645 0.2523 0.0399 0.0807 0.0645 0.2523 2.0234 0.0002 0.0000 0.0558 0.0000 0.0821 0.0163 0.0326
294-AH 0.0000 0.0000 0.0572 0.5682 0.6111 0.2347 0.2824 0.5682 0.6111 1.2034 0.0020 0.0000 0.2588 0.0000 0.6111 0.2347 0.2824
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0010 0.0032 0.0000 0.0100 3.1623 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000
298-AH 0.0000 0.0000 0.0000 0.0000 0.0543 0.0054 0.0172 0.0000 0.0543 3.1623 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0000 0.0851 0.0085 0.0269 0.0000 0.0851 3.1623 0.0000 0.0000 0.0153 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0000 0.0876 0.1977 0.0508 0.0769 0.0876 0.1977 1.5130 0.0004 0.0000 0.0611 0.0000 0.1977 0.0508 0.0769
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0188 0.0456 0.0660 0.1414 0.2692 0.1022 0.0872 0.0958 0.2505 0.8533 0.0730 0.0524 0.0690 0.0188 0.2692 0.1022 0.0872
303-AH 0.0000 0.0000 0.0000 0.0405 0.0625 0.0185 0.0249 0.0405 0.0625 1.3454 0.0003 0.0000 0.0222 0.0000 0.0625 0.0185 0.0249
304-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0000 0.1678 0.0334 0.0705 0.0000 0.1678 2.1082 0.0001 0.0000 0.0535 0.0000 0.0000 0.0000 0.0000
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.1111 0.3467 0.6000 0.6429 0.3456 0.2430 0.4889 0.6429 0.7029 0.1110 0.0001 0.2035 0.0000 0.6429 0.3456 0.2430
309-AH 0.0000 0.0124 0.0156 0.0263 0.0421 0.0183 0.0113 0.0139 0.0421 0.6199 0.0088 0.0001 0.0082 0.0000 0.0421 0.0183 0.0113
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0000 0.0800 0.0155 0.0326 0.0000 0.0800 2.1097 0.0001 0.0000 0.0248 0.0000 0.0000 0.0000 0.0000
312-AH 0.0000 0.0000 0.0000 0.0000 0.1405 0.0141 0.0444 0.0000 0.1405 3.1623 0.0000 0.0000 0.0253 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0201 0.0424 0.0109 0.0155 0.0201 0.0424 1.4187 0.0002 0.0000 0.0131 0.0000 0.0424 0.0109 0.0155
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.1162 0.1190 0.1325 0.0839 0.0582 0.1190 0.1325 0.6929 0.0072 0.0000 0.0504 0.0000 0.1325 0.0839 0.0582
317-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0000 0.0137 0.0346 0.0571 0.0204 0.0235 0.0346 0.0571 1.1500 0.0006 0.0000 0.0204 0.0000 0.0571 0.0204 0.0235
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0254 0.0049 0.0103 0.0000 0.0254 2.1100 0.0000 0.0000 0.0078 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0000 0.0000 0.0266 0.0051 0.0108 0.0000 0.0266 2.1102 0.0000 0.0000 0.0082 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0027 0.0090 0.0223 0.0062 0.0082 0.0090 0.0223 1.3245 0.0003 0.0000 0.0063 0.0000 0.0223 0.0062 0.0082
327-AH 0.0000 0.0000 0.0000 0.0000 0.0238 0.0024 0.0075 0.0000 0.0238 3.1623 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.0000 0.1019 0.4318 0.4634 0.2018 0.2119 0.4318 0.4634 1.0501 0.0103 0.0000 0.1923 0.0000 0.4634 0.2018 0.2119
329-AH 0.0000 0.0172 0.0423 0.2692 0.3256 0.1057 0.1282 0.2520 0.3256 1.2124 0.0129 0.0000 0.1094 0.0000 0.3256 0.1057 0.1282
330-AH 0.0000 0.0000 0.1589 0.6667 0.6774 0.2986 0.3316 0.6667 0.6774 1.1105 0.0024 0.0000 0.2986 0.0000 0.6774 0.2986 0.3316
331-AH 0.0000 0.0000 0.0320 0.1141 0.1573 0.0571 0.0642 0.1141 0.1573 1.1240 0.0010 0.0000 0.0571 0.0000 0.1573 0.0571 0.0642
332-AH 0.0000 0.0000 0.0714 0.2000 0.2800 0.1077 0.1193 0.2000 0.2800 1.1073 0.0014 0.0000 0.1077 0.0000 0.2800 0.1077 0.1193
333-AH 0.0000 0.0000 0.0020 0.0058 1.0000 0.1021 0.3155 0.0058 1.0000 3.0892 0.0004 0.0000 0.1796 0.0000 0.0067 0.0024 0.0029
334-AH 0.0000 0.0000 0.0000 0.0000 0.0173 0.0017 0.0055 0.0000 0.0173 3.1623 0.0000 0.0000 0.0031 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.3077 0.7619 0.8421 0.3749 0.3995 0.7619 0.8421 1.0657 0.0027 0.0000 0.3749 0.0000 0.8421 0.3749 0.3995
338-AH 0.0000 0.0000 0.0131 0.0784 0.5000 0.1144 0.2048 0.0784 0.5000 1.7895 0.0011 0.0000 0.1542 0.0000 0.0784 0.0180 0.0288
339-AH 0.0000 0.0000 0.0512 0.1159 0.2807 0.0725 0.0917 0.1159 0.2807 1.2646 0.0012 0.0000 0.0725 0.0000 0.2807 0.0725 0.0917
340-AH 0.0000 0.0000 0.0000 0.0000 0.0095 0.0009 0.0030 0.0000 0.0095 3.1623 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000
383
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0000 0.0254 0.6250 1.0000 0.3093 0.4229 0.6250 1.0000 1.3676 0.0038 0.0000 0.3609 0.0000 1.0000 0.3093 0.4229
342-AH 0.0000 0.0000 0.0823 0.5192 0.6154 0.2331 0.2719 0.5192 0.6154 1.1662 0.0021 0.0000 0.2469 0.0000 0.6154 0.2331 0.2719
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.1484 0.3699 0.4058 0.1780 0.1900 0.3699 0.4058 1.0678 0.0019 0.0000 0.1780 0.0000 0.4058 0.1780 0.1900
345-AH 0.0000 0.0000 0.0000 0.0000 0.0167 0.0028 0.0060 0.0000 0.0167 2.1678 0.0000 0.0000 0.0044 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0188 0.0417 0.0545 0.0223 0.0241 0.0417 0.0545 1.0801 0.0007 0.0000 0.0223 0.0000 0.0545 0.0223 0.0241
347-AH 0.0000 0.0000 0.0000 0.0191 0.0241 0.0084 0.0109 0.0191 0.0241 1.3052 0.0002 0.0000 0.0101 0.0000 0.0241 0.0084 0.0109
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4000 0.4661 1.0000 1.0000 1.1653 0.0027 0.0000 0.4133 0.0000 1.0000 0.4000 0.4661
349-AH 0.0000 0.0000 0.0470 0.3385 0.4074 0.1478 0.1752 0.3385 0.4074 1.1854 0.0016 0.0000 0.1585 0.0000 0.4074 0.1478 0.1752
350-AH 0.0000 0.0000 0.0098 0.1961 0.2432 0.0898 0.1130 0.1961 0.2432 1.2581 0.0012 0.0000 0.1038 0.0000 0.2432 0.0898 0.1130
384
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0000 0.0000 0.1818 0.8000 1.0000 0.3964 0.4523 0.8000 1.0000 1.1411 0.0027 0.0000 0.4029 0.0000 1.0000 0.3964 0.4523
143-AH 0.0000 0.0000 0.0000 0.0000 0.0992 0.0099 0.0314 0.0000 0.0992 3.1623 0.0000 0.0000 0.0179 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0000 0.0172 0.2308 0.0267 0.0721 0.0172 0.2308 2.6978 0.0001 0.0000 0.0408 0.0000 0.0192 0.0041 0.0081
145-AH 0.0000 0.0000 0.0000 0.0000 0.0997 0.0165 0.0357 0.0000 0.0997 2.1643 0.0001 0.0000 0.0264 0.0000 0.0000 0.0000 0.0000
146-AH 0.0000 0.0000 0.0029 0.0183 0.0323 0.0091 0.0125 0.0183 0.0323 1.3786 0.0004 0.0000 0.0103 0.0000 0.0323 0.0091 0.0125
147-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.0542 0.0054 0.0171 0.0000 0.0542 3.1623 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.0467 0.0047 0.0148 0.0000 0.0467 3.1623 0.0000 0.0000 0.0084 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0000 0.0000 0.0233 0.0047 0.0098 0.0000 0.0233 2.1082 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000
155-AH 0.0000 0.0000 0.0000 0.0000 0.0040 0.0004 0.0013 0.0000 0.0040 3.1623 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
157-AH 0.0000 0.0000 0.0000 0.1481 0.1571 0.0607 0.0784 0.1481 0.1571 1.2923 0.0005 0.0000 0.0728 0.0000 0.1571 0.0607 0.0784
158-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
159-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
160-AH 0.0023 0.0024 0.0107 0.0513 0.2500 0.0548 0.0851 0.0488 0.2477 1.5529 0.0160 0.0061 0.0614 0.0023 0.0513 0.0164 0.0196
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.0000 0.0000 0.0702 0.5000 0.7872 0.2669 0.3309 0.5000 0.7872 1.2399 0.0021 0.0000 0.2922 0.0000 0.7872 0.2669 0.3309
164-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0079 0.0196 0.1000 0.0236 0.0370 0.0196 0.1000 1.5641 0.0006 0.0000 0.0272 0.0000 0.0196 0.0066 0.0092
168-AH 0.0000 0.0000 0.0000 0.0000 0.0966 0.0097 0.0305 0.0000 0.0966 3.1623 0.0000 0.0000 0.0174 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0000 0.0000 0.0000 0.0241 0.0047 0.0099 0.0000 0.0241 2.1091 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9333 0.1405 0.0000 0.3333 0.1506 0.9221 0.9091 0.1067 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.0117 0.0251 0.1458 0.0351 0.0559 0.0251 0.1458 1.5938 0.0007 0.0000 0.0415 0.0000 0.0251 0.0091 0.0126
176-AH 0.0000 0.0000 0.1593 0.4500 0.7347 0.2298 0.2673 0.4500 0.7347 1.1631 0.0021 0.0000 0.2298 0.0000 0.7347 0.2298 0.2673
177-AH 0.0000 0.0000 0.0359 0.0377 0.1121 0.0398 0.0412 0.0377 0.1121 1.0351 0.0038 0.0000 0.0287 0.0000 0.0377 0.0218 0.0184
178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0000 0.0000 0.0237 0.0024 0.0075 0.0000 0.0237 3.1623 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.0878 0.0088 0.0278 0.0000 0.0878 3.1623 0.0000 0.0000 0.0158 0.0000 0.0000 0.0000 0.0000
181-AH 0.0000 0.0000 0.2992 0.4716 0.5724 0.2667 0.2209 0.4716 0.5724 0.8286 0.0151 0.0000 0.1886 0.0000 0.5724 0.2667 0.2209
182-AH 0.0000 0.0000 0.0000 0.0656 0.1667 0.0353 0.0617 0.0656 0.1667 1.7460 0.0002 0.0000 0.0495 0.0000 0.1212 0.0208 0.0435
183-AH 0.0000 0.0000 0.2222 0.2500 0.3333 0.1774 0.1274 0.2500 0.3333 0.7182 0.0120 0.0000 0.1064 0.0000 0.3333 0.1774 0.1274
184-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.2188 0.3684 0.7389 0.8750 1.0000 0.6399 0.2682 0.5066 0.7812 0.4192 0.5787 0.5109 0.2333 0.2188 1.0000 0.6399 0.2682
190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
385
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0000 0.0130 0.3158 0.0401 0.0995 0.0130 0.3158 2.4799 0.0001 0.0000 0.0616 0.0000 0.0130 0.0016 0.0046
193-AH 0.0000 0.0000 0.0205 0.0761 0.1628 0.0405 0.0536 0.0761 0.1628 1.3229 0.0008 0.0000 0.0405 0.0000 0.1628 0.0405 0.0536
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.0615 0.7258 0.9375 0.3313 0.4096 0.7258 0.9375 1.2361 0.0023 0.0000 0.3730 0.0000 0.9375 0.3313 0.4096
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0000 0.0171 0.2707 0.5294 0.5625 0.2776 0.2692 0.5123 0.5625 0.9698 0.0519 0.0001 0.2539 0.0000 0.5625 0.2776 0.2692
200-AH 0.0000 0.0000 0.0000 0.0000 0.0138 0.0027 0.0057 0.0000 0.0138 2.1086 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000
251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
252-AH 0.0000 0.0000 0.0158 0.0918 0.1525 0.0469 0.0578 0.0918 0.1525 1.2315 0.0009 0.0000 0.0500 0.0000 0.1525 0.0469 0.0578
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0000 0.0040 0.0222 0.8000 0.1644 0.3351 0.0222 0.8000 2.0387 0.0008 0.0000 0.2543 0.0000 0.0222 0.0055 0.0084
256-AH 0.0000 0.0000 0.0000 0.5082 0.5439 0.2069 0.2673 0.5082 0.5439 1.2921 0.0008 0.0000 0.2482 0.0000 0.5439 0.2069 0.2673
257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0035 0.0370 0.0044 0.0116 0.0035 0.0370 2.6174 0.0001 0.0000 0.0065 0.0000 0.0036 0.0008 0.0016
260-AH 0.0000 0.0000 0.0000 0.0000 0.4385 0.0838 0.1770 0.0000 0.4385 2.1110 0.0001 0.0000 0.1342 0.0000 0.0000 0.0000 0.0000
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.0000 0.0366 0.0391 0.0143 0.0186 0.0366 0.0391 1.2995 0.0003 0.0000 0.0172 0.0000 0.0391 0.0143 0.0186
265-AH 0.0000 0.0000 0.0000 0.1765 0.2727 0.0853 0.1150 0.1765 0.2727 1.3475 0.0005 0.0000 0.1024 0.0000 0.2727 0.0853 0.1150
266-AH 0.0000 0.0000 0.0000 0.0348 0.1000 0.0264 0.0401 0.0348 0.1000 1.5204 0.0003 0.0000 0.0316 0.0000 0.0348 0.0085 0.0158
267-AH 0.0000 0.0000 0.0108 0.0224 0.0360 0.0125 0.0138 0.0224 0.0360 1.1039 0.0005 0.0000 0.0125 0.0000 0.0360 0.0125 0.0138
268-AH 0.0000 0.0000 0.0000 0.0000 0.0319 0.0057 0.0120 0.0000 0.0319 2.1302 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0290 0.2989 0.4370 0.1503 0.1884 0.2989 0.4370 1.2536 0.0016 0.0000 0.1687 0.0000 0.4370 0.1503 0.1884
271-AH 0.0000 0.0000 0.0000 0.1560 0.1966 0.0648 0.0849 0.1560 0.1966 1.3112 0.0005 0.0000 0.0777 0.0000 0.1966 0.0648 0.0849
272-AH 0.0000 0.0000 0.0000 0.0205 0.0302 0.0088 0.0119 0.0205 0.0302 1.3467 0.0002 0.0000 0.0106 0.0000 0.0302 0.0088 0.0119
273-AH 0.0000 0.0000 0.0000 0.0000 0.1084 0.0108 0.0343 0.0000 0.1084 3.1623 0.0000 0.0000 0.0195 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.0378 0.1183 0.1542 0.0581 0.0640 0.1183 0.1542 1.1018 0.0011 0.0000 0.0581 0.0000 0.1542 0.0581 0.0640
276-AH 0.0000 0.0000 0.0000 0.0000 0.0625 0.0062 0.0198 0.0000 0.0625 3.1623 0.0000 0.0000 0.0113 0.0000 0.0000 0.0000 0.0000
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0000 0.0105 0.0124 0.0035 0.0056 0.0105 0.0124 1.6159 0.0001 0.0000 0.0049 0.0000 0.0124 0.0035 0.0056
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0000 0.1242 0.1479 0.0535 0.0696 0.1242 0.1479 1.3021 0.0004 0.0000 0.0642 0.0000 0.1479 0.0535 0.0696
282-AH 0.0000 0.0000 0.0000 0.0000 0.0320 0.0060 0.0127 0.0000 0.0320 2.1134 0.0000 0.0000 0.0096 0.0000 0.0000 0.0000 0.0000
283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
284-AH 0.0000 0.0000 0.0000 0.0000 0.2160 0.0216 0.0683 0.0000 0.2160 3.1623 0.0000 0.0000 0.0389 0.0000 0.0000 0.0000 0.0000
285-AH 0.0000 0.0000 0.0000 0.0000 0.0782 0.0078 0.0247 0.0000 0.0782 3.1623 0.0000 0.0000 0.0141 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0770 0.1398 0.3125 0.0994 0.1188 0.1398 0.3125 1.1954 0.0030 0.0000 0.0904 0.0000 0.3125 0.0994 0.1188
288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
386
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
292-AH 0.0092 0.0476 0.1619 0.2667 1.0000 0.3027 0.3776 0.2190 0.9908 1.2475 0.1301 0.0445 0.2789 0.0092 0.2667 0.1284 0.0985
293-AH 0.0000 0.0000 0.0000 0.0583 0.1157 0.0233 0.0406 0.0583 0.1157 1.7439 0.0001 0.0000 0.0326 0.0000 0.1157 0.0233 0.0406
294-AH 0.0000 0.0000 0.0327 0.5102 0.5682 0.2175 0.2691 0.5102 0.5682 1.2371 0.0019 0.0000 0.2479 0.0000 0.5682 0.2175 0.2691
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
298-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0000 0.0612 0.1631 0.0405 0.0625 0.0612 0.1631 1.5443 0.0004 0.0000 0.0486 0.0000 0.1397 0.0268 0.0480
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0000 0.0204 0.1032 0.0225 0.0426 0.0204 0.1032 1.8914 0.0001 0.0000 0.0320 0.0000 0.0204 0.0025 0.0072
303-AH 0.0000 0.0000 0.0000 0.0355 0.0570 0.0161 0.0221 0.0355 0.0570 1.3674 0.0003 0.0000 0.0194 0.0000 0.0570 0.0161 0.0221
304-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0000 0.1511 0.0302 0.0636 0.0000 0.1511 2.1082 0.0001 0.0000 0.0483 0.0000 0.0000 0.0000 0.0000
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.0000 0.0298 0.3846 0.5000 0.1744 0.2178 0.3846 0.5000 1.2490 0.0035 0.0000 0.1973 0.0000 0.5000 0.1744 0.2178
309-AH 0.0000 0.0000 0.0123 0.0161 0.0276 0.0119 0.0100 0.0161 0.0276 0.8392 0.0017 0.0000 0.0072 0.0000 0.0276 0.0119 0.0100
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0000 0.0570 0.0057 0.0180 0.0000 0.0570 3.1623 0.0000 0.0000 0.0103 0.0000 0.0000 0.0000 0.0000
312-AH 0.0000 0.0000 0.0000 0.0000 0.1373 0.0137 0.0434 0.0000 0.1373 3.1623 0.0000 0.0000 0.0247 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.0176 0.0018 0.0056 0.0000 0.0176 3.1623 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0000 0.0000 0.0174 0.0448 0.0094 0.0148 0.0174 0.0448 1.5790 0.0002 0.0000 0.0112 0.0000 0.0202 0.0054 0.0085
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0215 0.0040 0.0084 0.0000 0.0215 2.1165 0.0000 0.0000 0.0064 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0027 0.0090 0.0223 0.0062 0.0082 0.0090 0.0223 1.3245 0.0003 0.0000 0.0063 0.0000 0.0223 0.0062 0.0082
327-AH 0.0000 0.0000 0.0000 0.0000 0.0238 0.0024 0.0075 0.0000 0.0238 3.1623 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.0000 0.0567 0.2917 0.3860 0.1396 0.1550 0.2917 0.3860 1.1105 0.0075 0.0000 0.1399 0.0000 0.3860 0.1396 0.1550
329-AH 0.0000 0.0000 0.0000 0.2254 0.2424 0.0707 0.1140 0.2254 0.2424 1.6113 0.0002 0.0000 0.0990 0.0000 0.2424 0.0707 0.1140
330-AH 0.0000 0.0000 0.0804 0.6125 0.6714 0.2705 0.3189 0.6125 0.6714 1.1789 0.0022 0.0000 0.2924 0.0000 0.6714 0.2705 0.3189
331-AH 0.0000 0.0000 0.0290 0.1126 0.1221 0.0517 0.0572 0.1126 0.1221 1.1052 0.0010 0.0000 0.0517 0.0000 0.1221 0.0517 0.0572
332-AH 0.0000 0.0000 0.0260 0.2000 0.2051 0.0857 0.1008 0.2000 0.2051 1.1756 0.0012 0.0000 0.0925 0.0000 0.2051 0.0857 0.1008
333-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1000 0.3162 0.0000 1.0000 3.1623 0.0000 0.0000 0.1800 0.0000 0.0000 0.0000 0.0000
334-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.2308 0.6923 0.7308 0.3247 0.3501 0.6923 0.7308 1.0782 0.0025 0.0000 0.3247 0.0000 0.7308 0.3247 0.3501
338-AH 0.0000 0.0000 0.0131 0.0395 0.3750 0.0830 0.1507 0.0395 0.3750 1.8165 0.0009 0.0000 0.1138 0.0000 0.0395 0.0118 0.0168
339-AH 0.0000 0.0000 0.0223 0.0865 0.0989 0.0407 0.0453 0.0865 0.0989 1.1116 0.0009 0.0000 0.0407 0.0000 0.0989 0.0407 0.0453
340-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
387
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0000 0.0000 0.3529 0.4286 0.1297 0.1798 0.3529 0.4286 1.3868 0.0006 0.0000 0.1556 0.0000 0.4286 0.1297 0.1798
342-AH 0.0000 0.0000 0.0597 0.4807 0.5370 0.2129 0.2525 0.4807 0.5370 1.1862 0.0019 0.0000 0.2316 0.0000 0.5370 0.2129 0.2525
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.0893 0.2913 0.3571 0.1335 0.1486 0.2913 0.3571 1.1132 0.0016 0.0000 0.1335 0.0000 0.3571 0.1335 0.1486
345-AH 0.0000 0.0000 0.0000 0.0000 0.0155 0.0026 0.0057 0.0000 0.0155 2.1499 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0333 0.0379 0.0109 0.0176 0.0333 0.0379 1.6139 0.0001 0.0000 0.0152 0.0000 0.0379 0.0109 0.0176
347-AH 0.0000 0.0000 0.0000 0.0113 0.0154 0.0052 0.0068 0.0113 0.0154 1.3187 0.0002 0.0000 0.0062 0.0000 0.0154 0.0052 0.0068
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4000 0.4661 1.0000 1.0000 1.1653 0.0027 0.0000 0.4133 0.0000 1.0000 0.4000 0.4661
349-AH 0.0000 0.0000 0.0304 0.2500 0.3289 0.1156 0.1408 0.2500 0.3289 1.2179 0.0014 0.0000 0.1266 0.0000 0.3289 0.1156 0.1408
350-AH 0.0000 0.0000 0.0079 0.1961 0.2432 0.0894 0.1132 0.1961 0.2432 1.2664 0.0011 0.0000 0.1041 0.0000 0.2432 0.0894 0.1132
388
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5000 0.5270 1.0000 1.0000 1.0541 0.0032 0.0000 0.5000 0.0000 1.0000 0.5000 0.5270
142-AH 0.0000 0.0000 0.1818 0.8000 1.0000 0.3964 0.4523 0.8000 1.0000 1.1411 0.0027 0.0000 0.4029 0.0000 1.0000 0.3964 0.4523
143-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0000 0.0172 0.2308 0.0267 0.0721 0.0172 0.2308 2.6978 0.0001 0.0000 0.0408 0.0000 0.0192 0.0041 0.0081
145-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
146-AH 0.0000 0.0000 0.0029 0.0183 0.0323 0.0091 0.0125 0.0183 0.0323 1.3786 0.0004 0.0000 0.0103 0.0000 0.0323 0.0091 0.0125
147-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.0161 0.0016 0.0051 0.0000 0.0161 3.1623 0.0000 0.0000 0.0029 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0079 0.1000 0.0116 0.0312 0.0079 0.1000 2.6991 0.0001 0.0000 0.0177 0.0000 0.0079 0.0017 0.0035
154-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
155-AH 0.0000 0.0000 0.0000 0.0000 0.0040 0.0004 0.0013 0.0000 0.0040 3.1623 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
157-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
158-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
159-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
160-AH 0.0023 0.0024 0.0107 0.0513 0.2500 0.0548 0.0851 0.0488 0.2477 1.5529 0.0160 0.0061 0.0614 0.0023 0.0513 0.0164 0.0196
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0022 0.2500 0.0255 0.0789 0.0022 0.2500 3.0907 0.0001 0.0000 0.0449 0.0000 0.0030 0.0006 0.0012
163-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
164-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
165-AH 0.0071 0.0500 0.5000 1.0000 1.0000 0.5571 0.4281 0.9500 0.9929 0.7685 0.2388 0.0410 0.3543 0.0071 1.0000 0.5571 0.4281
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0079 0.0196 0.1000 0.0236 0.0370 0.0196 0.1000 1.5641 0.0006 0.0000 0.0272 0.0000 0.0196 0.0066 0.0092
168-AH 0.0000 0.0000 0.0000 0.0000 0.0641 0.0064 0.0203 0.0000 0.0641 3.1623 0.0000 0.0000 0.0115 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 0.0000 0.0000 0.0025 0.1667 0.0198 0.0524 0.0025 0.1667 2.6495 0.0001 0.0000 0.0311 0.0000 0.0025 0.0003 0.0009
171-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9333 0.1405 0.0000 0.3333 0.1506 0.9221 0.9091 0.1067 1.0000 1.0000 1.0000 0.0000
174-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
175-AH 0.0000 0.0000 0.0117 0.0251 0.1458 0.0351 0.0559 0.0251 0.1458 1.5938 0.0007 0.0000 0.0415 0.0000 0.0251 0.0091 0.0126
176-AH 0.0000 0.0000 0.0000 0.0480 0.4588 0.0620 0.1418 0.0480 0.4588 2.2891 0.0004 0.0000 0.0806 0.0000 0.0681 0.0179 0.0275
177-AH 0.0000 0.0000 0.0300 0.0371 0.0942 0.0335 0.0326 0.0371 0.0942 0.9739 0.0034 0.0000 0.0228 0.0000 0.0828 0.0267 0.0261
178-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
181-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
182-AH 0.0000 0.0000 0.0000 0.0656 0.1667 0.0353 0.0617 0.0656 0.1667 1.7460 0.0002 0.0000 0.0495 0.0000 0.1212 0.0208 0.0435
183-AH 0.0000 0.0000 0.2222 0.2500 0.3333 0.1774 0.1274 0.2500 0.3333 0.7182 0.0120 0.0000 0.1064 0.0000 0.3333 0.1774 0.1274
184-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
185-AH 0.0015 0.0056 0.1042 0.2000 1.0000 0.1960 0.3036 0.1944 0.9985 1.5490 0.0449 0.0079 0.1899 0.0015 0.3333 0.1067 0.1180
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0157 0.0345 0.1000 0.0281 0.0371 0.0345 0.1000 1.3207 0.0025 0.0000 0.0282 0.0000 0.0345 0.0113 0.0122
188-AH 0.0000 0.0000 0.0000 0.0000 0.0312 0.0031 0.0099 0.0000 0.0312 3.1623 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
189-AH 0.2188 0.3684 0.7389 0.8750 1.0000 0.6399 0.2682 0.5066 0.7812 0.4192 0.5787 0.5109 0.2333 0.2188 1.0000 0.6399 0.2682
190-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
389
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.0000 0.0000 0.0130 0.3158 0.0401 0.0995 0.0130 0.3158 2.4799 0.0001 0.0000 0.0616 0.0000 0.0130 0.0016 0.0046
193-AH 0.0000 0.0000 0.0205 0.0761 0.1628 0.0405 0.0536 0.0761 0.1628 1.3229 0.0008 0.0000 0.0405 0.0000 0.1628 0.0405 0.0536
194-AH 0.0000 0.0000 0.0040 0.0137 0.0204 0.0067 0.0083 0.0137 0.0204 1.2396 0.0006 0.0000 0.0069 0.0000 0.0204 0.0067 0.0083
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0714 0.3333 0.5000 1.0000 1.0000 0.6238 0.3474 0.6667 0.9286 0.5568 0.5008 0.3333 0.3010 0.0714 1.0000 0.6238 0.3474
197-AH 0.0000 0.0000 0.0438 0.1873 0.4386 0.1282 0.1707 0.1873 0.4386 1.3318 0.0015 0.0000 0.1363 0.0000 0.4386 0.1282 0.1707
198-AH 0.0000 0.0000 0.0024 0.0238 0.0400 0.0122 0.0155 0.0238 0.0400 1.2683 0.0004 0.0000 0.0137 0.0000 0.0400 0.0122 0.0155
199-AH 0.0000 0.0000 0.0373 0.1075 0.4000 0.0781 0.1233 0.1075 0.4000 1.5778 0.0011 0.0000 0.0788 0.0000 0.1205 0.0424 0.0521
200-AH 0.0000 0.0000 0.0000 0.0000 0.0138 0.0027 0.0057 0.0000 0.0138 2.1086 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000
251-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
252-AH 0.0000 0.0000 0.0000 0.0303 0.0678 0.0141 0.0244 0.0303 0.0678 1.7313 0.0001 0.0000 0.0197 0.0000 0.0678 0.0141 0.0244
253-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
254-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
255-AH 0.0000 0.0000 0.0040 0.0222 0.8000 0.1644 0.3351 0.0222 0.8000 2.0387 0.0008 0.0000 0.2543 0.0000 0.0222 0.0055 0.0084
256-AH 0.0000 0.0000 0.0000 0.0823 0.2166 0.0566 0.0837 0.0823 0.2166 1.4783 0.0004 0.0000 0.0679 0.0000 0.1868 0.0388 0.0657
257-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0035 0.0370 0.0044 0.0116 0.0035 0.0370 2.6174 0.0001 0.0000 0.0065 0.0000 0.0036 0.0008 0.0016
260-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
261-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
262-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
265-AH 0.0000 0.0000 0.0000 0.1765 0.2727 0.0853 0.1150 0.1765 0.2727 1.3475 0.0005 0.0000 0.1024 0.0000 0.2727 0.0853 0.1150
266-AH 0.0000 0.0000 0.0000 0.0348 0.1000 0.0264 0.0401 0.0348 0.1000 1.5204 0.0003 0.0000 0.0316 0.0000 0.0348 0.0085 0.0158
267-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
268-AH 0.0000 0.0000 0.0000 0.0000 0.0319 0.0057 0.0120 0.0000 0.0319 2.1302 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
270-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
271-AH 0.0000 0.0000 0.0000 0.1127 0.1250 0.0471 0.0610 0.1127 0.1250 1.2938 0.0004 0.0000 0.0565 0.0000 0.1250 0.0471 0.0610
272-AH 0.0000 0.0000 0.0000 0.0141 0.0296 0.0064 0.0109 0.0141 0.0296 1.7120 0.0001 0.0000 0.0089 0.0000 0.0296 0.0064 0.0109
273-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
274-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
275-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
276-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
277-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
278-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0000 0.0105 0.0124 0.0035 0.0056 0.0105 0.0124 1.6159 0.0001 0.0000 0.0049 0.0000 0.0124 0.0035 0.0056
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.0000 0.0679 0.1132 0.0341 0.0466 0.0679 0.1132 1.3650 0.0004 0.0000 0.0409 0.0000 0.1132 0.0341 0.0466
282-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
283-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
284-AH 0.0000 0.0000 0.0000 0.0000 0.1743 0.0174 0.0551 0.0000 0.1743 3.1623 0.0000 0.0000 0.0314 0.0000 0.0000 0.0000 0.0000
285-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
288-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
289-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
390
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
292-AH 0.0092 0.0476 0.1619 0.2667 1.0000 0.3027 0.3776 0.2190 0.9908 1.2475 0.1301 0.0445 0.2789 0.0092 0.2667 0.1284 0.0985
293-AH 0.0000 0.0000 0.0000 0.0000 0.0390 0.0076 0.0161 0.0000 0.0390 2.1090 0.0001 0.0000 0.0122 0.0000 0.0000 0.0000 0.0000
294-AH 0.0000 0.0000 0.0000 0.2030 0.2160 0.0750 0.1006 0.2030 0.2160 1.3417 0.0005 0.0000 0.0900 0.0000 0.2160 0.0750 0.1006
295-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
297-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
298-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
300-AH 0.0000 0.0000 0.0000 0.0000 0.0612 0.0061 0.0194 0.0000 0.0612 3.1623 0.0000 0.0000 0.0110 0.0000 0.0000 0.0000 0.0000
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.0000 0.0000 0.0000 0.0919 0.0182 0.0383 0.0000 0.0919 2.1083 0.0001 0.0000 0.0291 0.0000 0.0000 0.0000 0.0000
303-AH 0.0000 0.0000 0.0000 0.0000 0.0271 0.0050 0.0105 0.0000 0.0271 2.1202 0.0000 0.0000 0.0079 0.0000 0.0000 0.0000 0.0000
304-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
305-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
306-AH 0.1111 0.2000 0.4167 1.0000 1.0000 0.4969 0.3726 0.8000 0.8889 0.7498 0.3686 0.2703 0.3031 0.1111 1.0000 0.4969 0.3726
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.0000 0.0000 0.0000 0.2973 0.3333 0.1079 0.1503 0.2973 0.3333 1.3928 0.0006 0.0000 0.1295 0.0000 0.3333 0.1079 0.1503
309-AH 0.0000 0.0000 0.0000 0.0124 0.0177 0.0057 0.0077 0.0124 0.0177 1.3346 0.0002 0.0000 0.0069 0.0000 0.0177 0.0057 0.0077
310-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
311-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
312-AH 0.0000 0.0000 0.0000 0.0000 0.0415 0.0041 0.0131 0.0000 0.0415 3.1623 0.0000 0.0000 0.0075 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
317-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0000 0.0000 0.0174 0.0448 0.0094 0.0148 0.0174 0.0448 1.5790 0.0002 0.0000 0.0112 0.0000 0.0202 0.0054 0.0085
319-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
320-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.0183 0.0034 0.0073 0.0000 0.0183 2.1146 0.0000 0.0000 0.0055 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
324-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
326-AH 0.0000 0.0000 0.0027 0.0090 0.0223 0.0062 0.0082 0.0090 0.0223 1.3245 0.0003 0.0000 0.0063 0.0000 0.0223 0.0062 0.0082
327-AH 0.0000 0.0000 0.0000 0.0000 0.0238 0.0024 0.0075 0.0000 0.0238 3.1623 0.0000 0.0000 0.0043 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.0000 0.0000 0.1411 0.1983 0.0639 0.0843 0.1411 0.1983 1.3192 0.0005 0.0000 0.0766 0.0000 0.1983 0.0639 0.0843
329-AH 0.0000 0.0000 0.0000 0.0497 0.2394 0.0502 0.0942 0.0497 0.2394 1.8770 0.0002 0.0000 0.0703 0.0000 0.0497 0.0062 0.0176
330-AH 0.0000 0.0000 0.0000 0.0879 0.1069 0.0288 0.0465 0.0879 0.1069 1.6183 0.0002 0.0000 0.0403 0.0000 0.1069 0.0288 0.0465
331-AH 0.0000 0.0000 0.0290 0.1126 0.1141 0.0506 0.0558 0.1126 0.1141 1.1014 0.0010 0.0000 0.0506 0.0000 0.1141 0.0506 0.0558
332-AH 0.0000 0.0000 0.0260 0.2000 0.2051 0.0857 0.1008 0.2000 0.2051 1.1756 0.0012 0.0000 0.0925 0.0000 0.2051 0.0857 0.1008
333-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1000 0.3162 0.0000 1.0000 3.1623 0.0000 0.0000 0.1800 0.0000 0.0000 0.0000 0.0000
334-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.0990 0.6061 0.6667 0.2743 0.3180 0.6061 0.6667 1.1591 0.0022 0.0000 0.2896 0.0000 0.6667 0.2743 0.3180
338-AH 0.0000 0.0000 0.0000 0.0264 0.2174 0.0448 0.0879 0.0264 0.2174 1.9628 0.0002 0.0000 0.0664 0.0000 0.0264 0.0033 0.0093
339-AH 0.0000 0.0000 0.0131 0.0728 0.0837 0.0323 0.0371 0.0728 0.0837 1.1503 0.0008 0.0000 0.0335 0.0000 0.0837 0.0323 0.0371
340-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
391
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0000 0.0000 0.0000 0.3529 0.4286 0.1297 0.1798 0.3529 0.4286 1.3868 0.0006 0.0000 0.1556 0.0000 0.4286 0.1297 0.1798
342-AH 0.0000 0.0000 0.0000 0.2767 0.3416 0.1178 0.1547 0.2767 0.3416 1.3136 0.0006 0.0000 0.1413 0.0000 0.3416 0.1178 0.1547
343-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0127 0.0395 0.0000 0.1250 3.1122 0.0000 0.0000 0.0225 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0000 0.0000 0.0730 0.1325 0.0365 0.0502 0.0730 0.1325 1.3762 0.0004 0.0000 0.0438 0.0000 0.1325 0.0365 0.0502
345-AH 0.0000 0.0000 0.0000 0.0000 0.0155 0.0026 0.0057 0.0000 0.0155 2.1499 0.0000 0.0000 0.0042 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0160 0.0333 0.0083 0.0141 0.0160 0.0333 1.7084 0.0001 0.0000 0.0116 0.0000 0.0333 0.0083 0.0141
347-AH 0.0000 0.0000 0.0000 0.0113 0.0154 0.0052 0.0068 0.0113 0.0154 1.3187 0.0002 0.0000 0.0062 0.0000 0.0154 0.0052 0.0068
348-AH 0.0000 0.0000 0.1667 1.0000 1.0000 0.4000 0.4661 1.0000 1.0000 1.1653 0.0027 0.0000 0.4133 0.0000 1.0000 0.4000 0.4661
349-AH 0.0000 0.0000 0.0000 0.1957 0.2195 0.0805 0.1042 0.1957 0.2195 1.2940 0.0005 0.0000 0.0966 0.0000 0.2195 0.0805 0.1042
350-AH 0.0000 0.0000 0.0078 0.1587 0.2041 0.0726 0.0918 0.1587 0.2041 1.2638 0.0010 0.0000 0.0840 0.0000 0.2041 0.0726 0.0918
392
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1054 0.2000 0.2000 1.0541 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1054
142-AH 0.0000 0.0000 0.7000 1.0000 1.0000 0.5800 0.4662 1.0000 1.0000 0.8038 0.0263 0.0000 0.4200 0.0000 1.0000 0.5800 0.4662
143-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1000 0.3162 0.0000 1.0000 3.1623 0.0000 0.0000 0.1800 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.1000 0.4000 0.4000 0.1600 0.1838 0.4000 0.4000 1.1487 0.0017 0.0000 0.1600 0.0000 0.4000 0.1600 0.1838
145-AH 0.0000 0.4000 1.0000 1.0000 1.0000 0.7400 0.3893 0.6000 1.0000 0.5261 0.2402 0.0001 0.3240 0.0000 1.0000 0.7400 0.3893
146-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
147-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0600 0.0966 0.2000 0.2000 1.6102 0.0002 0.0000 0.0840 0.0000 0.2000 0.0600 0.0966
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.8000 0.0800 0.2530 0.0000 0.8000 3.1623 0.0000 0.0000 0.1440 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.2000 0.2000 0.8000 1.0000 0.4200 0.3938 0.6000 1.0000 0.9377 0.0488 0.0000 0.3440 0.0000 1.0000 0.4200 0.3938
155-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0600 0.1350 0.0000 0.4000 2.2498 0.0001 0.0000 0.0960 0.0000 0.0000 0.0000 0.0000
157-AH 0.0000 0.2000 0.3000 0.6000 0.8000 0.3800 0.3048 0.4000 0.8000 0.8020 0.0486 0.0000 0.2600 0.0000 0.8000 0.3800 0.3048
158-AH 0.0000 0.0000 0.0000 0.4000 0.8000 0.1800 0.3048 0.4000 0.8000 1.6932 0.0003 0.0000 0.2520 0.0000 0.8000 0.1800 0.3048
159-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
160-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1600 0.0843 0.0000 0.2000 0.5270 0.0276 0.0000 0.0640 0.2000 0.2000 0.2000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
163-AH 0.8000 0.8000 1.0000 1.0000 1.0000 0.9200 0.1033 0.2000 0.2000 0.1123 0.9146 0.9091 0.0960 0.8000 1.0000 0.9200 0.1033
164-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1400 0.0966 0.2000 0.2000 0.6901 0.0102 0.0000 0.0840 0.0000 0.2000 0.1400 0.0966
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0600 0.0966 0.2000 0.2000 1.6102 0.0002 0.0000 0.0840 0.0000 0.2000 0.0600 0.0966
168-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
170-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
171-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1200 0.1398 0.2000 0.4000 1.1653 0.0015 0.0000 0.1200 0.0000 0.4000 0.1200 0.1398
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
174-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
175-AH 0.0000 0.0000 0.3000 1.0000 1.0000 0.4400 0.4789 1.0000 1.0000 1.0884 0.0029 0.0000 0.4400 0.0000 1.0000 0.4400 0.4789
176-AH 0.2000 0.2000 0.8000 1.0000 1.0000 0.6400 0.3978 0.8000 0.8000 0.6215 0.4991 0.3750 0.3600 0.2000 1.0000 0.6400 0.3978
177-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1400 0.2503 0.2000 0.6000 1.7881 0.0002 0.0000 0.1960 0.0000 0.2000 0.0250 0.0707
178-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0600 0.1350 0.0000 0.4000 2.2498 0.0001 0.0000 0.0960 0.0000 0.0000 0.0000 0.0000
179-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1265 0.0000 0.4000 3.1623 0.0000 0.0000 0.0720 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.8000 0.0800 0.2530 0.0000 0.8000 3.1623 0.0000 0.0000 0.1440 0.0000 0.0000 0.0000 0.0000
181-AH 0.0000 0.4000 0.5000 0.8000 1.0000 0.5600 0.3373 0.4000 1.0000 0.6023 0.1858 0.0001 0.2800 0.0000 1.0000 0.5600 0.3373
182-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
183-AH 0.2000 0.2000 0.2000 0.2000 0.6000 0.2600 0.1350 0.0000 0.4000 0.5192 0.2392 0.2264 0.0960 0.2000 0.2000 0.2000 0.0000
184-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
185-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0800 0.1033 0.2000 0.2000 1.2910 0.0005 0.0000 0.0960 0.0000 0.2000 0.0800 0.1033
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.8000 0.8000 0.9000 1.0000 1.0000 0.9000 0.1054 0.2000 0.2000 0.1171 0.8944 0.8889 0.1000 0.8000 1.0000 0.9000 0.1054
190-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
393
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0000 0.2000 0.4000 0.8000 0.8000 0.4400 0.3098 0.6000 0.8000 0.7042 0.1403 0.0001 0.2800 0.0000 0.8000 0.4400 0.3098
193-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1200 0.1398 0.2000 0.4000 1.1653 0.0015 0.0000 0.1200 0.0000 0.4000 0.1200 0.1398
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1800 0.0632 0.0000 0.2000 0.3514 0.0743 0.0001 0.0360 0.2000 0.2000 0.2000 0.0000
197-AH 0.0000 0.0000 0.3000 1.0000 1.0000 0.4600 0.4993 1.0000 1.0000 1.0855 0.0030 0.0000 0.4600 0.0000 1.0000 0.4600 0.4993
198-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4000 0.3127 0.4000 0.8000 0.7817 0.0506 0.0000 0.2800 0.0000 0.8000 0.4000 0.3127
200-AH 0.0000 0.0000 0.0000 0.0000 0.8000 0.0800 0.2530 0.0000 0.8000 3.1623 0.0000 0.0000 0.1440 0.0000 0.0000 0.0000 0.0000
251-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.9200 0.1398 0.2000 0.4000 0.1520 0.9087 0.8955 0.1120 0.6000 1.0000 0.9200 0.1398
252-AH 0.0000 0.0000 0.1000 0.4000 0.8000 0.2200 0.2898 0.4000 0.8000 1.3174 0.0019 0.0000 0.2280 0.0000 0.8000 0.2200 0.2898
253-AH 0.4000 0.8000 0.9000 1.0000 1.0000 0.8200 0.2394 0.2000 0.6000 0.2920 0.7786 0.7273 0.1800 0.8000 1.0000 0.9250 0.1035
254-AH 0.0000 0.0000 0.1000 0.4000 0.4000 0.1800 0.1989 0.4000 0.4000 1.1049 0.0019 0.0000 0.1800 0.0000 0.4000 0.1800 0.1989
255-AH 0.0000 0.0000 0.1000 0.2000 0.8000 0.2200 0.3190 0.2000 0.8000 1.4501 0.0019 0.0000 0.2320 0.0000 0.2000 0.0750 0.1035
256-AH 0.0000 0.0000 0.7000 1.0000 1.0000 0.5600 0.4789 1.0000 1.0000 0.8552 0.0246 0.0000 0.4400 0.0000 1.0000 0.5600 0.4789
257-AH 0.0000 0.0000 0.2000 0.6000 0.6000 0.2800 0.2530 0.6000 0.6000 0.9035 0.0153 0.0000 0.2160 0.0000 0.6000 0.2800 0.2530
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1265 0.0000 0.4000 3.1623 0.0000 0.0000 0.0720 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.8000 1.0000 1.0000 0.5600 0.4881 1.0000 1.0000 0.8716 0.0096 0.0000 0.4480 0.0000 1.0000 0.5600 0.4881
261-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0800 0.1033 0.2000 0.2000 1.2910 0.0005 0.0000 0.0960 0.0000 0.2000 0.0800 0.1033
262-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1200 0.2150 0.2000 0.6000 1.7916 0.0002 0.0000 0.1680 0.0000 0.4000 0.0667 0.1414
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.2000 0.6000 0.8000 0.2600 0.2989 0.6000 0.8000 1.1496 0.0054 0.0000 0.2440 0.0000 0.8000 0.2600 0.2989
265-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1400 0.2503 0.2000 0.6000 1.7881 0.0002 0.0000 0.1960 0.0000 0.2000 0.0250 0.0707
266-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.2200 0.1751 0.4000 0.4000 0.7960 0.0135 0.0000 0.1440 0.0000 0.4000 0.2200 0.1751
268-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0800 0.1687 0.0000 0.4000 2.1082 0.0001 0.0000 0.1280 0.0000 0.0000 0.0000 0.0000
269-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1200 0.1687 0.2000 0.4000 1.4055 0.0006 0.0000 0.1440 0.0000 0.4000 0.1200 0.1687
270-AH 0.0000 0.0000 0.6000 1.0000 1.0000 0.5400 0.4904 1.0000 1.0000 0.9081 0.0229 0.0000 0.4600 0.0000 1.0000 0.5400 0.4904
271-AH 0.0000 0.2000 0.8000 1.0000 1.0000 0.6600 0.4222 0.8000 1.0000 0.6396 0.0796 0.0000 0.3560 0.0000 1.0000 0.6600 0.4222
272-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
273-AH 0.0000 0.0000 0.0000 0.2000 1.0000 0.1600 0.3098 0.2000 1.0000 1.9365 0.0006 0.0000 0.1920 0.0000 0.2000 0.0667 0.1000
274-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
275-AH 0.2000 0.4000 0.4000 0.6000 0.8000 0.4800 0.1687 0.2000 0.6000 0.3514 0.4517 0.4211 0.1360 0.2000 0.8000 0.4800 0.1687
276-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1800 0.2898 0.2000 0.8000 1.6102 0.0007 0.0000 0.2160 0.0000 0.2000 0.0500 0.0926
277-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1398 0.2000 0.4000 1.7480 0.0002 0.0000 0.1120 0.0000 0.4000 0.0800 0.1398
278-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
279-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.3600 0.4195 0.6000 1.0000 1.1653 0.0026 0.0000 0.3600 0.0000 1.0000 0.3600 0.4195
282-AH 0.2000 0.4000 0.4000 0.6000 0.6000 0.4600 0.1350 0.2000 0.4000 0.2935 0.4389 0.4138 0.1120 0.2000 0.6000 0.4600 0.1350
283-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2800 0.3293 0.4000 0.8000 1.1761 0.0023 0.0000 0.2800 0.0000 0.8000 0.2800 0.3293
284-AH 0.0000 0.0000 0.4000 0.6000 0.6000 0.3400 0.2503 0.6000 0.6000 0.7363 0.0188 0.0000 0.2040 0.0000 0.6000 0.3400 0.2503
285-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.0000 0.6000 0.6000 0.8000 0.4200 0.3048 0.6000 0.8000 0.7257 0.0219 0.0000 0.2560 0.0000 0.8000 0.4200 0.3048
288-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1400 0.2119 0.2000 0.6000 1.5134 0.0006 0.0000 0.1680 0.0000 0.4000 0.0889 0.1453
289-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0600 0.1897 0.0000 0.6000 3.1623 0.0000 0.0000 0.1080 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
394
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0600 0.1350 0.0000 0.4000 2.2498 0.0001 0.0000 0.0960 0.0000 0.0000 0.0000 0.0000
292-AH 0.0000 0.0000 0.0000 0.4000 0.8000 0.2000 0.3399 0.4000 0.8000 1.6997 0.0003 0.0000 0.2800 0.0000 0.8000 0.2000 0.3399
293-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1398 0.2000 0.4000 1.7480 0.0002 0.0000 0.1120 0.0000 0.4000 0.0800 0.1398
294-AH 0.2000 0.6000 0.6000 0.8000 1.0000 0.6400 0.2271 0.2000 0.8000 0.3548 0.5922 0.5286 0.1680 0.4000 1.0000 0.6889 0.1764
295-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0600 0.1897 0.0000 0.6000 3.1623 0.0000 0.0000 0.1080 0.0000 0.0000 0.0000 0.0000
296-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0800 0.1398 0.2000 0.4000 1.7480 0.0002 0.0000 0.1120 0.0000 0.4000 0.0800 0.1398
297-AH 0.0000 0.0000 0.0000 0.4000 0.4000 0.1200 0.1932 0.4000 0.4000 1.6102 0.0002 0.0000 0.1680 0.0000 0.4000 0.1200 0.1932
298-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0600 0.1897 0.0000 0.6000 3.1623 0.0000 0.0000 0.1080 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1200 0.2530 0.2000 0.8000 2.1082 0.0002 0.0000 0.1680 0.0000 0.2000 0.0444 0.0882
300-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1265 0.0000 0.4000 3.1623 0.0000 0.0000 0.0720 0.0000 0.0000 0.0000 0.0000
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.2000 0.6000 0.6000 0.6000 0.4400 0.2271 0.4000 0.6000 0.5160 0.1539 0.0001 0.1920 0.0000 0.6000 0.4400 0.2271
303-AH 0.0000 0.0000 0.3000 0.4000 0.6000 0.2600 0.2119 0.4000 0.6000 0.8149 0.0151 0.0000 0.1800 0.0000 0.6000 0.2600 0.2119
304-AH 0.0000 0.0000 0.1000 0.6000 0.8000 0.2600 0.3406 0.6000 0.8000 1.3100 0.0021 0.0000 0.2840 0.0000 0.8000 0.2600 0.3406
305-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
306-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1600 0.0843 0.0000 0.2000 0.5270 0.0276 0.0000 0.0640 0.2000 0.2000 0.2000 0.0000
307-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
308-AH 0.6000 0.6000 0.8000 0.8000 1.0000 0.7600 0.1265 0.2000 0.4000 0.1664 0.7504 0.7407 0.0960 0.6000 1.0000 0.7600 0.1265
309-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0600 0.1350 0.0000 0.4000 2.2498 0.0001 0.0000 0.0960 0.0000 0.0000 0.0000 0.0000
310-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1000 0.1414 0.2000 0.4000 1.4142 0.0006 0.0000 0.1200 0.0000 0.4000 0.1000 0.1414
311-AH 0.0000 0.0000 0.1000 0.4000 0.8000 0.2600 0.3273 0.4000 0.8000 1.2588 0.0021 0.0000 0.2720 0.0000 0.8000 0.2600 0.3273
312-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1800 0.1476 0.2000 0.4000 0.8198 0.0118 0.0000 0.1080 0.0000 0.4000 0.1800 0.1476
317-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0800 0.1932 0.0000 0.6000 2.4152 0.0001 0.0000 0.1280 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
319-AH 0.4000 0.6000 0.7000 0.8000 0.8000 0.6600 0.1647 0.2000 0.4000 0.2495 0.6389 0.6154 0.1400 0.4000 0.8000 0.6600 0.1647
320-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.1000 0.2160 0.0000 0.6000 2.1602 0.0001 0.0000 0.1600 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1054 0.2000 0.2000 1.0541 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1054
324-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
325-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2400 0.1578 0.2000 0.4000 0.6573 0.0364 0.0000 0.1280 0.0000 0.4000 0.2400 0.1578
326-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
327-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.2000 0.6000 0.8000 0.8000 0.4600 0.3273 0.6000 0.8000 0.7115 0.0582 0.0000 0.2880 0.0000 0.8000 0.4600 0.3273
329-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.5000 0.3559 0.4000 1.0000 0.7118 0.0633 0.0000 0.2800 0.0000 1.0000 0.5000 0.3559
330-AH 0.0000 0.0000 0.4000 0.6000 1.0000 0.3600 0.3627 0.6000 1.0000 1.0075 0.0069 0.0000 0.3200 0.0000 1.0000 0.3600 0.3627
331-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
332-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1200 0.1398 0.2000 0.4000 1.1653 0.0015 0.0000 0.1200 0.0000 0.4000 0.1200 0.1398
333-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.1000 0.3162 0.0000 1.0000 3.1623 0.0000 0.0000 0.1800 0.0000 0.0000 0.0000 0.0000
334-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.4000 1.0000 1.0000 0.4800 0.5095 1.0000 1.0000 1.0614 0.0031 0.0000 0.4800 0.0000 1.0000 0.4800 0.5095
338-AH 0.0000 0.0000 0.1000 0.8000 1.0000 0.3200 0.4022 0.8000 1.0000 1.2569 0.0023 0.0000 0.3440 0.0000 1.0000 0.3200 0.4022
339-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2400 0.2633 0.4000 0.6000 1.0971 0.0022 0.0000 0.2400 0.0000 0.6000 0.2400 0.2633
340-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
395
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.2000 0.2000 0.2000 0.8000 1.0000 0.4800 0.3676 0.6000 0.8000 0.7658 0.3641 0.2899 0.3360 0.2000 1.0000 0.4800 0.3676
342-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7200 0.2348 0.2000 0.8000 0.3261 0.6680 0.5882 0.1760 0.6000 1.0000 0.7778 0.1563
343-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.2000 0.4000 1.0000 1.0000 0.4800 0.4131 0.8000 1.0000 0.8607 0.0557 0.0000 0.3600 0.0000 1.0000 0.4800 0.4131
345-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.0000 0.1000 0.4000 0.4000 0.1800 0.1989 0.4000 0.4000 1.1049 0.0019 0.0000 0.1800 0.0000 0.4000 0.1800 0.1989
349-AH 0.0000 0.0000 0.4000 0.8000 1.0000 0.4400 0.4695 0.8000 1.0000 1.0671 0.0030 0.0000 0.4400 0.0000 1.0000 0.4400 0.4695
350-AH 0.0000 0.4000 0.4000 0.6000 0.6000 0.4000 0.2309 0.2000 0.6000 0.5774 0.0565 0.0000 0.1600 0.4000 0.6000 0.5000 0.1069
396
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0527 0.1000 0.1000 1.0541 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0527
142-AH 0.1000 0.1000 0.4500 0.8000 0.8000 0.4700 0.3199 0.7000 0.7000 0.6806 0.3424 0.2308 0.2900 0.1000 0.8000 0.4700 0.3199
143-AH 0.0000 0.0000 0.0000 0.0000 0.7000 0.0700 0.2214 0.0000 0.7000 3.1623 0.0000 0.0000 0.1260 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0500 0.2000 0.2000 0.0800 0.0919 0.2000 0.2000 1.1487 0.0012 0.0000 0.0800 0.0000 0.2000 0.0800 0.0919
145-AH 0.1000 0.4000 0.6500 0.8000 1.0000 0.6000 0.2981 0.4000 0.9000 0.4969 0.4995 0.3676 0.2400 0.1000 1.0000 0.6000 0.2981
146-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0300 0.0483 0.1000 0.1000 1.6102 0.0002 0.0000 0.0420 0.0000 0.1000 0.0300 0.0483
147-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0700 0.1059 0.1000 0.3000 1.5134 0.0005 0.0000 0.0840 0.0000 0.2000 0.0444 0.0726
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0500 0.1581 0.0000 0.5000 3.1623 0.0000 0.0000 0.0900 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
154-AH 0.0000 0.1000 0.2500 0.4000 0.6000 0.2900 0.2079 0.3000 0.6000 0.7169 0.0964 0.0001 0.1700 0.0000 0.6000 0.2900 0.2079
155-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0600 0.0843 0.1000 0.2000 1.4055 0.0005 0.0000 0.0720 0.0000 0.2000 0.0600 0.0843
157-AH 0.0000 0.1000 0.4500 0.5000 0.6000 0.3400 0.2366 0.4000 0.6000 0.6960 0.1061 0.0001 0.2120 0.0000 0.6000 0.3400 0.2366
158-AH 0.0000 0.0000 0.0000 0.3000 0.6000 0.1200 0.2098 0.3000 0.6000 1.7480 0.0002 0.0000 0.1680 0.0000 0.6000 0.1200 0.2098
159-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
160-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.1000 0.0471 0.0000 0.2000 0.4714 0.0427 0.0001 0.0200 0.1000 0.1000 0.1000 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
163-AH 0.8000 0.8000 0.9000 1.0000 1.0000 0.8900 0.0876 0.2000 0.2000 0.0984 0.8862 0.8824 0.0720 0.8000 1.0000 0.8900 0.0876
164-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0300 0.0949 0.0000 0.3000 3.1623 0.0000 0.0000 0.0540 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0700 0.0483 0.1000 0.1000 0.6901 0.0063 0.0000 0.0420 0.0000 0.1000 0.0700 0.0483
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.1000 0.1333 0.2000 0.3000 1.3333 0.0006 0.0000 0.1200 0.0000 0.3000 0.1000 0.1333
168-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0700 0.0823 0.1000 0.2000 1.1761 0.0011 0.0000 0.0700 0.0000 0.2000 0.0700 0.0823
170-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
171-AH 0.0000 0.0000 0.0500 0.2000 0.2000 0.0800 0.0919 0.2000 0.2000 1.1487 0.0012 0.0000 0.0800 0.0000 0.2000 0.0800 0.0919
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
174-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
175-AH 0.0000 0.0000 0.2000 0.6000 0.6000 0.2800 0.3011 0.6000 0.6000 1.0754 0.0024 0.0000 0.2800 0.0000 0.6000 0.2800 0.3011
176-AH 0.1000 0.3000 0.7500 1.0000 1.0000 0.6400 0.3978 0.7000 0.9000 0.6215 0.4762 0.3046 0.3600 0.1000 1.0000 0.6400 0.3978
177-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1800 0.2348 0.2000 0.6000 1.3042 0.0041 0.0000 0.1760 0.0000 0.2000 0.0750 0.0886
178-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0850 0.1000 0.2000 1.6997 0.0002 0.0000 0.0700 0.0000 0.2000 0.0500 0.0850
179-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0300 0.0949 0.0000 0.3000 3.1623 0.0000 0.0000 0.0540 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.7000 0.0700 0.2214 0.0000 0.7000 3.1623 0.0000 0.0000 0.1260 0.0000 0.0000 0.0000 0.0000
181-AH 0.0000 0.3000 0.7000 0.9000 1.0000 0.6400 0.3406 0.6000 1.0000 0.5322 0.2153 0.0001 0.2720 0.0000 1.0000 0.6400 0.3406
182-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0300 0.0483 0.1000 0.1000 1.6102 0.0002 0.0000 0.0420 0.0000 0.1000 0.0300 0.0483
183-AH 0.1000 0.1000 0.2000 0.2000 0.3000 0.1800 0.0789 0.1000 0.2000 0.4382 0.1644 0.1500 0.0640 0.1000 0.3000 0.1800 0.0789
184-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0850 0.1000 0.2000 1.6997 0.0002 0.0000 0.0700 0.0000 0.2000 0.0500 0.0850
185-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0527 0.1000 0.1000 1.0541 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0527
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.5000 0.6000 0.7000 0.7000 0.7000 0.6500 0.0707 0.1000 0.2000 0.1088 0.6463 0.6422 0.0600 0.5000 0.7000 0.6500 0.0707
190-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0700 0.0949 0.2000 0.2000 1.3553 0.0005 0.0000 0.0840 0.0000 0.2000 0.0700 0.0949
397
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.1000 0.1000 0.3000 0.4000 0.4000 0.2600 0.1506 0.3000 0.3000 0.5791 0.2144 0.1739 0.1400 0.1000 0.4000 0.2600 0.1506
193-AH 0.0000 0.0000 0.0500 0.2000 0.2000 0.0900 0.0994 0.2000 0.2000 1.1049 0.0013 0.0000 0.0900 0.0000 0.2000 0.0900 0.0994
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0900 0.0316 0.0000 0.1000 0.3514 0.0398 0.0001 0.0180 0.1000 0.1000 0.1000 0.0000
197-AH 0.0000 0.0000 0.2500 1.0000 1.0000 0.4500 0.4972 1.0000 1.0000 1.1049 0.0030 0.0000 0.4500 0.0000 1.0000 0.4500 0.4972
198-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.2000 0.4000 0.7000 0.7000 0.4000 0.3055 0.5000 0.7000 0.7638 0.0508 0.0000 0.2800 0.0000 0.7000 0.4000 0.3055
200-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0500 0.1581 0.0000 0.5000 3.1623 0.0000 0.0000 0.0900 0.0000 0.0000 0.0000 0.0000
251-AH 0.7000 0.9000 1.0000 1.0000 1.0000 0.9300 0.1059 0.1000 0.3000 0.1139 0.9240 0.9174 0.0840 0.8000 1.0000 0.9556 0.0726
252-AH 0.0000 0.0000 0.1000 0.5000 0.6000 0.2100 0.2514 0.5000 0.6000 1.1973 0.0106 0.0000 0.2140 0.0000 0.6000 0.2100 0.2514
253-AH 0.4000 0.7000 0.8000 0.9000 1.0000 0.7700 0.1889 0.2000 0.6000 0.2453 0.7444 0.7137 0.1420 0.4000 1.0000 0.7700 0.1889
254-AH 0.0000 0.1000 0.2000 0.2000 0.4000 0.1700 0.1252 0.1000 0.4000 0.7363 0.0268 0.0000 0.0960 0.0000 0.3000 0.1444 0.1014
255-AH 0.0000 0.0000 0.0500 0.2000 0.4000 0.1200 0.1619 0.2000 0.4000 1.3494 0.0014 0.0000 0.1280 0.0000 0.4000 0.1200 0.1619
256-AH 0.0000 0.0000 0.6000 1.0000 1.0000 0.5300 0.4990 1.0000 1.0000 0.9415 0.0214 0.0000 0.4700 0.0000 1.0000 0.5300 0.4990
257-AH 0.0000 0.0000 0.1500 0.5000 0.5000 0.2200 0.2150 0.5000 0.5000 0.9772 0.0122 0.0000 0.1840 0.0000 0.5000 0.2200 0.2150
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.7000 0.9000 1.0000 0.5000 0.4447 0.9000 1.0000 0.8894 0.0089 0.0000 0.4000 0.0000 1.0000 0.5000 0.4447
261-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0800 0.1135 0.2000 0.3000 1.4191 0.0005 0.0000 0.0960 0.0000 0.3000 0.0800 0.1135
262-AH 0.0000 0.0000 0.1000 0.2000 0.6000 0.1300 0.1829 0.2000 0.6000 1.4068 0.0035 0.0000 0.1220 0.0000 0.2000 0.0778 0.0833
263-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0000 0.1000 0.4000 0.7000 0.2100 0.2644 0.4000 0.7000 1.2589 0.0045 0.0000 0.2140 0.0000 0.7000 0.2100 0.2644
265-AH 0.0000 0.0000 0.0000 0.3000 0.4000 0.1300 0.1767 0.3000 0.4000 1.3592 0.0006 0.0000 0.1560 0.0000 0.4000 0.1300 0.1767
266-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0200 0.0422 0.0000 0.1000 2.1082 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
267-AH 0.0000 0.1000 0.1000 0.2000 0.4000 0.1500 0.1269 0.1000 0.4000 0.8462 0.0233 0.0000 0.1000 0.0000 0.3000 0.1222 0.0972
268-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0800 0.1033 0.2000 0.2000 1.2910 0.0005 0.0000 0.0960 0.0000 0.2000 0.0800 0.1033
269-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1100 0.1101 0.2000 0.3000 1.0005 0.0035 0.0000 0.0920 0.0000 0.3000 0.1100 0.1101
270-AH 0.0000 0.0000 0.5000 1.0000 1.0000 0.5200 0.4614 1.0000 1.0000 0.8873 0.0230 0.0000 0.4200 0.0000 1.0000 0.5200 0.4614
271-AH 0.1000 0.2000 0.4500 0.9000 0.9000 0.5200 0.3327 0.7000 0.8000 0.6397 0.3954 0.2733 0.2840 0.1000 0.9000 0.5200 0.3327
272-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0900 0.1197 0.2000 0.3000 1.3302 0.0005 0.0000 0.1080 0.0000 0.3000 0.0900 0.1197
273-AH 0.0000 0.0000 0.1000 0.1000 0.9000 0.1500 0.2718 0.1000 0.9000 1.8122 0.0034 0.0000 0.1600 0.0000 0.2000 0.0667 0.0707
274-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0200 0.0422 0.0000 0.1000 2.1082 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
275-AH 0.2000 0.3000 0.4500 0.6000 0.7000 0.4400 0.1897 0.3000 0.5000 0.4312 0.4004 0.3611 0.1600 0.2000 0.7000 0.4400 0.1897
276-AH 0.0000 0.0000 0.0000 0.3000 0.7000 0.1800 0.2700 0.3000 0.7000 1.4999 0.0007 0.0000 0.2160 0.0000 0.7000 0.1800 0.2700
277-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.1000 0.0943 0.1000 0.3000 0.9428 0.0075 0.0000 0.0600 0.0000 0.2000 0.0778 0.0667
278-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0400 0.0699 0.1000 0.2000 1.7480 0.0002 0.0000 0.0560 0.0000 0.2000 0.0400 0.0699
279-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
281-AH 0.0000 0.2000 0.3500 0.6000 0.7000 0.3700 0.2497 0.4000 0.7000 0.6748 0.1216 0.0001 0.2100 0.0000 0.7000 0.3700 0.2497
282-AH 0.2000 0.4000 0.4500 0.5000 0.5000 0.4200 0.1033 0.1000 0.3000 0.2459 0.4054 0.3871 0.0800 0.3000 0.5000 0.4444 0.0726
283-AH 0.0000 0.0000 0.1500 0.4000 0.6000 0.2200 0.2530 0.4000 0.6000 1.1499 0.0020 0.0000 0.2200 0.0000 0.6000 0.2200 0.2530
284-AH 0.0000 0.0000 0.4000 0.6000 0.6000 0.3500 0.2550 0.6000 0.6000 0.7284 0.0192 0.0000 0.2100 0.0000 0.6000 0.3500 0.2550
285-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0200 0.0422 0.0000 0.1000 2.1082 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0000 0.1000 0.3000 0.6000 0.7000 0.3600 0.2503 0.5000 0.7000 0.6954 0.1151 0.0001 0.2120 0.0000 0.7000 0.3600 0.2503
288-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1400 0.2271 0.2000 0.6000 1.6218 0.0006 0.0000 0.1760 0.0000 0.5000 0.0889 0.1691
289-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0500 0.1581 0.0000 0.5000 3.1623 0.0000 0.0000 0.0900 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0700 0.0675 0.1000 0.2000 0.9642 0.0027 0.0000 0.0560 0.0000 0.2000 0.0700 0.0675
398
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0500 0.2000 0.2000 0.0800 0.0919 0.2000 0.2000 1.1487 0.0012 0.0000 0.0800 0.0000 0.2000 0.0800 0.0919
292-AH 0.0000 0.1000 0.2000 0.2000 0.4000 0.1900 0.1370 0.1000 0.4000 0.7212 0.0296 0.0000 0.0940 0.0000 0.2000 0.1375 0.0916
293-AH 0.0000 0.0000 0.0000 0.1000 0.6000 0.0800 0.1874 0.1000 0.6000 2.3422 0.0002 0.0000 0.1120 0.0000 0.1000 0.0222 0.0441
294-AH 0.3000 0.4000 0.5000 0.7000 0.9000 0.5500 0.1958 0.3000 0.6000 0.3560 0.5179 0.4863 0.1600 0.3000 0.9000 0.5500 0.1958
295-AH 0.0000 0.0000 0.0000 0.1000 0.5000 0.0700 0.1567 0.1000 0.5000 2.2386 0.0002 0.0000 0.0980 0.0000 0.1000 0.0222 0.0441
296-AH 0.0000 0.0000 0.0500 0.2000 0.3000 0.1000 0.1247 0.2000 0.3000 1.2472 0.0013 0.0000 0.1000 0.0000 0.3000 0.1000 0.1247
297-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0600 0.0966 0.2000 0.2000 1.6102 0.0002 0.0000 0.0840 0.0000 0.2000 0.0600 0.0966
298-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1265 0.0000 0.4000 3.1623 0.0000 0.0000 0.0720 0.0000 0.0000 0.0000 0.0000
299-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1300 0.2497 0.2000 0.8000 1.9205 0.0006 0.0000 0.1620 0.0000 0.2000 0.0556 0.0882
300-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0500 0.0972 0.1000 0.3000 1.9437 0.0002 0.0000 0.0700 0.0000 0.1000 0.0222 0.0441
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0000 0.2000 0.4000 0.5000 0.6000 0.3700 0.2058 0.3000 0.6000 0.5561 0.1277 0.0001 0.1620 0.0000 0.6000 0.3700 0.2058
303-AH 0.0000 0.0000 0.2500 0.3000 0.6000 0.2400 0.2066 0.3000 0.6000 0.8607 0.0142 0.0000 0.1600 0.0000 0.6000 0.2400 0.2066
304-AH 0.0000 0.0000 0.0500 0.4000 0.4000 0.1500 0.1841 0.4000 0.4000 1.2273 0.0016 0.0000 0.1600 0.0000 0.4000 0.1500 0.1841
305-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0700 0.1494 0.0000 0.4000 2.1349 0.0001 0.0000 0.1120 0.0000 0.0000 0.0000 0.0000
306-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
307-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
308-AH 0.4000 0.6000 0.6000 0.6000 0.7000 0.5900 0.0876 0.0000 0.3000 0.1484 0.5835 0.5761 0.0560 0.6000 0.6000 0.6000 0.0000
309-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0400 0.0699 0.1000 0.2000 1.7480 0.0002 0.0000 0.0560 0.0000 0.2000 0.0400 0.0699
310-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1200 0.1398 0.2000 0.4000 1.1653 0.0035 0.0000 0.1080 0.0000 0.4000 0.1200 0.1398
311-AH 0.0000 0.0000 0.2000 0.4000 0.9000 0.3000 0.3432 0.4000 0.9000 1.1440 0.0144 0.0000 0.2600 0.0000 0.9000 0.3000 0.3432
312-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0400 0.0966 0.0000 0.3000 2.4152 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
314-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
315-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.2400 0.1647 0.2000 0.5000 0.6861 0.0842 0.0001 0.1280 0.0000 0.5000 0.2400 0.1647
317-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0800 0.1751 0.0000 0.5000 2.1890 0.0001 0.0000 0.1280 0.0000 0.0000 0.0000 0.0000
318-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
319-AH 0.2000 0.4000 0.4500 0.6000 0.6000 0.4600 0.1430 0.2000 0.4000 0.3108 0.4361 0.4082 0.1200 0.2000 0.6000 0.4600 0.1430
320-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0600 0.1265 0.0000 0.3000 2.1082 0.0001 0.0000 0.0960 0.0000 0.0000 0.0000 0.0000
323-AH 0.0000 0.1000 0.1000 0.1000 0.1000 0.0800 0.0422 0.0000 0.1000 0.5270 0.0158 0.0000 0.0320 0.1000 0.1000 0.1000 0.0000
324-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0600 0.0516 0.1000 0.1000 0.8607 0.0025 0.0000 0.0480 0.0000 0.1000 0.0600 0.0516
325-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1700 0.0949 0.1000 0.3000 0.5580 0.0654 0.0001 0.0760 0.0000 0.3000 0.1700 0.0949
326-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0600 0.0843 0.1000 0.2000 1.4055 0.0005 0.0000 0.0720 0.0000 0.2000 0.0600 0.0843
327-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.1000 0.5000 0.5000 0.9000 0.4100 0.2961 0.4000 0.9000 0.7222 0.0524 0.0000 0.2280 0.0000 0.9000 0.4100 0.2961
329-AH 0.1000 0.1000 0.5000 0.7000 0.9000 0.4900 0.3071 0.6000 0.8000 0.6268 0.3655 0.2420 0.2340 0.1000 0.9000 0.4900 0.3071
330-AH 0.0000 0.0000 0.3000 0.7000 0.8000 0.3300 0.3401 0.7000 0.8000 1.0306 0.0063 0.0000 0.3100 0.0000 0.8000 0.3300 0.3401
331-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
332-AH 0.0000 0.0000 0.1000 0.3000 0.3000 0.1300 0.1418 0.3000 0.3000 1.0909 0.0016 0.0000 0.1300 0.0000 0.3000 0.1300 0.1418
333-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0600 0.1578 0.0000 0.5000 2.6294 0.0001 0.0000 0.0960 0.0000 0.0000 0.0000 0.0000
334-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0200 0.0422 0.0000 0.1000 2.1082 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0000 0.5000 0.9000 0.9000 0.4800 0.4290 0.9000 0.9000 0.8937 0.0215 0.0000 0.4000 0.0000 0.9000 0.4800 0.4290
338-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2300 0.2452 0.4000 0.6000 1.0660 0.0051 0.0000 0.2100 0.0000 0.6000 0.2300 0.2452
339-AH 0.0000 0.0000 0.1500 0.3000 0.5000 0.1800 0.1989 0.3000 0.5000 1.1049 0.0019 0.0000 0.1800 0.0000 0.5000 0.1800 0.1989
340-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
399
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.1000 0.1000 0.1500 0.5000 0.5000 0.2600 0.1897 0.4000 0.4000 0.7298 0.1995 0.1575 0.1720 0.1000 0.5000 0.2600 0.1897
342-AH 0.2000 0.6000 0.7000 0.8000 0.9000 0.6700 0.2111 0.2000 0.7000 0.3150 0.6253 0.5583 0.1560 0.5000 0.9000 0.7222 0.1394
343-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.1000 0.3500 0.8000 1.0000 0.4400 0.3950 0.7000 1.0000 0.8977 0.1117 0.0001 0.3600 0.0000 1.0000 0.4400 0.3950
345-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1054 0.2000 0.2000 1.0541 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1054
349-AH 0.0000 0.0000 0.3000 0.6000 0.8000 0.3300 0.3529 0.6000 0.8000 1.0695 0.0026 0.0000 0.3300 0.0000 0.8000 0.3300 0.3529
350-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2300 0.1494 0.2000 0.4000 0.6498 0.0354 0.0000 0.1160 0.0000 0.4000 0.2300 0.1494
400
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0351 0.0667 0.0667 1.0541 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0351
142-AH 0.0667 0.2000 0.3000 0.5333 0.5333 0.3267 0.1999 0.3333 0.4667 0.6119 0.2547 0.1818 0.1800 0.0667 0.5333 0.3267 0.1999
143-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0667 0.2108 0.0000 0.6667 3.1623 0.0000 0.0000 0.1200 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0667 0.0703 0.1333 0.2000 1.0541 0.0025 0.0000 0.0533 0.0000 0.2000 0.0667 0.0703
145-AH 0.1333 0.3333 0.6333 0.7333 0.8667 0.5333 0.2648 0.4000 0.7333 0.4965 0.4478 0.3459 0.2267 0.1333 0.8667 0.5333 0.2648
146-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0200 0.0322 0.0667 0.0667 1.6102 0.0001 0.0000 0.0280 0.0000 0.0667 0.0200 0.0322
147-AH 0.0000 0.0667 0.0667 0.0667 0.2667 0.0800 0.0757 0.0000 0.2667 0.9461 0.0141 0.0000 0.0480 0.0667 0.0667 0.0667 0.0000
148-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0400 0.1265 0.0000 0.4000 3.1623 0.0000 0.0000 0.0720 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
154-AH 0.0667 0.1333 0.2000 0.3333 0.4667 0.2333 0.1515 0.2000 0.4000 0.6494 0.1877 0.1486 0.1267 0.0667 0.4667 0.2333 0.1515
155-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0333 0.1333 0.2000 0.0600 0.0734 0.1333 0.2000 1.2228 0.0010 0.0000 0.0600 0.0000 0.2000 0.0600 0.0734
157-AH 0.0667 0.1333 0.3333 0.4667 0.6000 0.3133 0.1887 0.3333 0.5333 0.6022 0.2519 0.1929 0.1667 0.0667 0.6000 0.3133 0.1887
158-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.0867 0.1372 0.2000 0.4000 1.5827 0.0005 0.0000 0.1080 0.0000 0.4000 0.0867 0.1372
159-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
160-AH 0.0000 0.0667 0.0667 0.0667 0.1333 0.0733 0.0378 0.0000 0.1333 0.5160 0.0317 0.0001 0.0240 0.0667 0.0667 0.0667 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
163-AH 0.6667 0.8000 0.9000 1.0000 1.0000 0.8733 0.1195 0.2000 0.3333 0.1368 0.8656 0.8576 0.1000 0.6667 1.0000 0.8733 0.1195
164-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
165-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0467 0.0322 0.0667 0.0667 0.6901 0.0048 0.0000 0.0280 0.0000 0.0667 0.0467 0.0322
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0333 0.1333 0.2000 0.0733 0.0858 0.1333 0.2000 1.1697 0.0012 0.0000 0.0747 0.0000 0.2000 0.0733 0.0858
168-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0133 0.0422 0.0000 0.1333 3.1623 0.0000 0.0000 0.0240 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0333 0.1333 0.1333 0.0600 0.0663 0.1333 0.1333 1.1049 0.0011 0.0000 0.0600 0.0000 0.1333 0.0600 0.0663
170-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
171-AH 0.0000 0.0000 0.0333 0.1333 0.1333 0.0533 0.0613 0.1333 0.1333 1.1487 0.0010 0.0000 0.0533 0.0000 0.1333 0.0533 0.0613
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
174-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
175-AH 0.0000 0.0000 0.1333 0.4000 0.4000 0.1867 0.2007 0.4000 0.4000 1.0754 0.0019 0.0000 0.1867 0.0000 0.4000 0.1867 0.2007
176-AH 0.0667 0.4000 0.7333 1.0000 1.0000 0.6400 0.4015 0.6000 0.9333 0.6273 0.4488 0.2373 0.3600 0.0667 1.0000 0.6400 0.4015
177-AH 0.0000 0.0667 0.1333 0.2667 0.5333 0.1933 0.1974 0.2000 0.5333 1.0210 0.0256 0.0000 0.1520 0.0000 0.5333 0.1933 0.1974
178-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0567 0.0667 0.1333 1.6997 0.0002 0.0000 0.0467 0.0000 0.1333 0.0333 0.0567
179-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0200 0.0632 0.0000 0.2000 3.1623 0.0000 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0667 0.2108 0.0000 0.6667 3.1623 0.0000 0.0000 0.1200 0.0000 0.0000 0.0000 0.0000
181-AH 0.0667 0.2000 0.7333 0.8667 0.9333 0.6133 0.3293 0.6667 0.8667 0.5369 0.4744 0.2961 0.2747 0.0667 0.9333 0.6133 0.3293
182-AH 0.0000 0.0000 0.0000 0.1333 0.2000 0.0533 0.0757 0.1333 0.2000 1.4191 0.0004 0.0000 0.0640 0.0000 0.2000 0.0533 0.0757
183-AH 0.0667 0.0667 0.2000 0.2000 0.2667 0.1733 0.0783 0.1333 0.2000 0.4515 0.1524 0.1290 0.0640 0.0667 0.2667 0.1733 0.0783
184-AH 0.0000 0.0000 0.0000 0.1333 0.1333 0.0400 0.0644 0.1333 0.1333 1.6102 0.0002 0.0000 0.0560 0.0000 0.1333 0.0400 0.0644
185-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0400 0.0344 0.0667 0.0667 0.8607 0.0020 0.0000 0.0320 0.0000 0.0667 0.0400 0.0344
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0133 0.0281 0.0000 0.0667 2.1082 0.0001 0.0000 0.0213 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.4000 0.4000 0.4667 0.4667 0.4667 0.4400 0.0344 0.0667 0.0667 0.0782 0.4388 0.4375 0.0320 0.4000 0.4667 0.4400 0.0344
190-AH 0.0000 0.0000 0.0333 0.1333 0.1333 0.0533 0.0613 0.1333 0.1333 1.1487 0.0010 0.0000 0.0533 0.0000 0.1333 0.0533 0.0613
401
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0667 0.1333 0.2000 0.3333 0.3333 0.2067 0.1109 0.2000 0.2667 0.5366 0.1755 0.1449 0.1000 0.0667 0.3333 0.2067 0.1109
193-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0733 0.0798 0.1333 0.2000 1.0884 0.0012 0.0000 0.0733 0.0000 0.2000 0.0733 0.0798
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
197-AH 0.0000 0.0000 0.2667 0.9333 1.0000 0.4400 0.4820 0.9333 1.0000 1.0954 0.0029 0.0000 0.4400 0.0000 1.0000 0.4400 0.4820
198-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.1333 0.3333 0.5333 0.5333 0.3133 0.2245 0.4000 0.5333 0.7166 0.0989 0.0001 0.2067 0.0000 0.5333 0.3133 0.2245
200-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0333 0.1054 0.0000 0.3333 3.1623 0.0000 0.0000 0.0600 0.0000 0.0000 0.0000 0.0000
251-AH 0.6667 0.8000 0.8333 0.8667 0.9333 0.8200 0.0773 0.0667 0.2667 0.0943 0.8166 0.8130 0.0600 0.7333 0.9333 0.8370 0.0588
252-AH 0.0667 0.0667 0.1333 0.4000 0.5333 0.2133 0.1800 0.3333 0.4667 0.8437 0.1574 0.1227 0.1520 0.0667 0.5333 0.2133 0.1800
253-AH 0.4667 0.6667 0.8000 0.8667 0.9333 0.7467 0.1501 0.2000 0.4667 0.2010 0.7312 0.7137 0.1173 0.4667 0.9333 0.7467 0.1501
254-AH 0.0000 0.1333 0.2000 0.2000 0.4000 0.1733 0.1184 0.0667 0.4000 0.6832 0.0281 0.0000 0.0853 0.1333 0.2667 0.1905 0.0460
255-AH 0.0000 0.0000 0.0333 0.1333 0.2667 0.0800 0.1080 0.1333 0.2667 1.3494 0.0012 0.0000 0.0853 0.0000 0.2667 0.0800 0.1080
256-AH 0.0000 0.0000 0.5667 1.0000 1.0000 0.5200 0.5075 1.0000 1.0000 0.9760 0.0197 0.0000 0.4800 0.0000 1.0000 0.5200 0.5075
257-AH 0.0000 0.0667 0.1667 0.3333 0.4000 0.1933 0.1522 0.2667 0.4000 0.7872 0.0616 0.0001 0.1400 0.0000 0.4000 0.1933 0.1522
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0133 0.0422 0.0000 0.1333 3.1623 0.0000 0.0000 0.0240 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.4667 0.8000 1.0000 0.4133 0.4022 0.8000 1.0000 0.9731 0.0077 0.0000 0.3307 0.0000 1.0000 0.4133 0.4022
261-AH 0.0000 0.0000 0.0333 0.1333 0.2667 0.0667 0.0889 0.1333 0.2667 1.3333 0.0011 0.0000 0.0667 0.0000 0.2667 0.0667 0.0889
262-AH 0.0000 0.0000 0.1000 0.1333 0.5333 0.1200 0.1565 0.1333 0.5333 1.3042 0.0077 0.0000 0.0933 0.0000 0.1333 0.0741 0.0619
263-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0667 0.1000 0.2667 0.5333 0.1800 0.1887 0.2000 0.5333 1.0483 0.0235 0.0000 0.1493 0.0000 0.5333 0.1800 0.1887
265-AH 0.0000 0.0000 0.0000 0.2667 0.2667 0.1000 0.1305 0.2667 0.2667 1.3053 0.0006 0.0000 0.1200 0.0000 0.2667 0.1000 0.1305
266-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0267 0.0344 0.0667 0.0667 1.2910 0.0003 0.0000 0.0320 0.0000 0.0667 0.0267 0.0344
267-AH 0.0000 0.0667 0.1000 0.2667 0.4000 0.1400 0.1313 0.2000 0.4000 0.9377 0.0208 0.0000 0.1027 0.0000 0.4000 0.1400 0.1313
268-AH 0.0000 0.0000 0.0000 0.1333 0.1333 0.0533 0.0689 0.1333 0.1333 1.2910 0.0004 0.0000 0.0640 0.0000 0.1333 0.0533 0.0689
269-AH 0.0000 0.0000 0.1000 0.1333 0.2000 0.0933 0.0783 0.1333 0.2000 0.8384 0.0073 0.0000 0.0667 0.0000 0.2000 0.0933 0.0783
270-AH 0.0000 0.0667 0.5000 0.9333 1.0000 0.5200 0.4375 0.8667 1.0000 0.8413 0.0560 0.0000 0.4000 0.0000 1.0000 0.5200 0.4375
271-AH 0.0667 0.2667 0.3667 0.7333 0.7333 0.4333 0.2615 0.4667 0.6667 0.6035 0.3424 0.2434 0.2267 0.0667 0.7333 0.4333 0.2615
272-AH 0.0000 0.0000 0.0000 0.2667 0.3333 0.1000 0.1379 0.2667 0.3333 1.3789 0.0006 0.0000 0.1200 0.0000 0.3333 0.1000 0.1379
273-AH 0.0667 0.0667 0.0667 0.1333 0.9333 0.1867 0.2700 0.0667 0.8667 1.4463 0.1145 0.0911 0.1653 0.0667 0.1333 0.0833 0.0309
274-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0133 0.0281 0.0000 0.0667 2.1082 0.0001 0.0000 0.0213 0.0000 0.0000 0.0000 0.0000
275-AH 0.1333 0.2667 0.3667 0.6667 0.7333 0.4267 0.2249 0.4000 0.6000 0.5270 0.3702 0.3164 0.1920 0.1333 0.7333 0.4267 0.2249
276-AH 0.0000 0.0000 0.0333 0.2667 0.6000 0.1800 0.2456 0.2667 0.6000 1.3642 0.0017 0.0000 0.2027 0.0000 0.6000 0.1800 0.2456
277-AH 0.0000 0.0000 0.1000 0.2000 0.2667 0.1133 0.1045 0.2000 0.2667 0.9218 0.0080 0.0000 0.0867 0.0000 0.2667 0.1133 0.1045
278-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0333 0.0648 0.0667 0.2000 1.9437 0.0002 0.0000 0.0467 0.0000 0.0667 0.0148 0.0294
279-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0200 0.0322 0.0667 0.0667 1.6102 0.0001 0.0000 0.0280 0.0000 0.0667 0.0200 0.0322
281-AH 0.0667 0.1333 0.3667 0.4667 0.6667 0.3600 0.2136 0.3333 0.6000 0.5934 0.2891 0.2149 0.1733 0.0667 0.6667 0.3600 0.2136
282-AH 0.2000 0.2667 0.3667 0.4000 0.4667 0.3533 0.0892 0.1333 0.2667 0.2524 0.3422 0.3302 0.0733 0.2000 0.4667 0.3533 0.0892
283-AH 0.0000 0.0000 0.1667 0.3333 0.5333 0.2067 0.2210 0.3333 0.5333 1.0693 0.0047 0.0000 0.1933 0.0000 0.5333 0.2067 0.2210
284-AH 0.0000 0.0000 0.3000 0.4667 0.5333 0.2733 0.2072 0.4667 0.5333 0.7579 0.0160 0.0000 0.1667 0.0000 0.5333 0.2733 0.2072
285-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0133 0.0281 0.0000 0.0667 2.1082 0.0001 0.0000 0.0213 0.0000 0.0000 0.0000 0.0000
286-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
287-AH 0.0667 0.2000 0.3667 0.4667 0.6000 0.3467 0.1958 0.2667 0.5333 0.5647 0.2750 0.1928 0.1600 0.0667 0.6000 0.3467 0.1958
288-AH 0.0000 0.0000 0.0000 0.2000 0.6667 0.1333 0.2200 0.2000 0.6667 1.6499 0.0006 0.0000 0.1600 0.0000 0.3333 0.0741 0.1222
289-AH 0.0000 0.0000 0.0000 0.0000 0.4667 0.0467 0.1476 0.0000 0.4667 3.1623 0.0000 0.0000 0.0840 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0667 0.0667 0.0667 0.2000 0.0667 0.0544 0.0000 0.2000 0.8165 0.0128 0.0000 0.0267 0.0667 0.0667 0.0667 0.0000
402
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0333 0.1333 0.1333 0.0600 0.0663 0.1333 0.1333 1.1049 0.0011 0.0000 0.0600 0.0000 0.1333 0.0600 0.0663
292-AH 0.0000 0.0667 0.1333 0.2667 0.2667 0.1533 0.0945 0.2000 0.2667 0.6166 0.0576 0.0001 0.0773 0.0000 0.2667 0.1533 0.0945
293-AH 0.0000 0.0000 0.0000 0.0667 0.5333 0.0667 0.1663 0.0667 0.5333 2.4944 0.0002 0.0000 0.0933 0.0000 0.0667 0.0148 0.0294
294-AH 0.2000 0.3333 0.4667 0.7333 0.8000 0.5000 0.2160 0.4000 0.6000 0.4320 0.4512 0.3988 0.1733 0.2000 0.8000 0.5000 0.2160
295-AH 0.0000 0.0000 0.0000 0.0667 0.4667 0.0667 0.1474 0.0667 0.4667 2.2111 0.0002 0.0000 0.0933 0.0000 0.1333 0.0222 0.0471
296-AH 0.0000 0.0000 0.0333 0.2000 0.2000 0.0867 0.0996 0.2000 0.2000 1.1496 0.0013 0.0000 0.0907 0.0000 0.2000 0.0867 0.0996
297-AH 0.0000 0.0000 0.0000 0.1333 0.1333 0.0400 0.0644 0.1333 0.1333 1.6102 0.0002 0.0000 0.0560 0.0000 0.1333 0.0400 0.0644
298-AH 0.0000 0.0000 0.0000 0.0667 0.3333 0.0467 0.1045 0.0667 0.3333 2.2386 0.0002 0.0000 0.0653 0.0000 0.0667 0.0148 0.0294
299-AH 0.0000 0.0000 0.0000 0.2000 0.6667 0.1133 0.2109 0.2000 0.6667 1.8612 0.0005 0.0000 0.1453 0.0000 0.2000 0.0519 0.0868
300-AH 0.0000 0.0000 0.0000 0.1333 0.2667 0.0600 0.1016 0.1333 0.2667 1.6932 0.0002 0.0000 0.0840 0.0000 0.2667 0.0600 0.1016
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.1333 0.2000 0.3333 0.4667 0.5333 0.3400 0.1489 0.2667 0.4000 0.4380 0.3051 0.2674 0.1147 0.1333 0.5333 0.3400 0.1489
303-AH 0.0000 0.0000 0.1667 0.3333 0.5333 0.1867 0.1744 0.3333 0.5333 0.9344 0.0115 0.0000 0.1333 0.0000 0.5333 0.1867 0.1744
304-AH 0.0000 0.0000 0.0667 0.2667 0.3333 0.1267 0.1456 0.2667 0.3333 1.1491 0.0015 0.0000 0.1267 0.0000 0.3333 0.1267 0.1456
305-AH 0.0000 0.0000 0.0000 0.0000 0.5333 0.1000 0.2114 0.0000 0.5333 2.1140 0.0001 0.0000 0.1600 0.0000 0.0000 0.0000 0.0000
306-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
307-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
308-AH 0.2667 0.4667 0.4667 0.6000 0.6000 0.4867 0.1045 0.1333 0.3333 0.2147 0.4748 0.4609 0.0773 0.2667 0.6000 0.4867 0.1045
309-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0567 0.0667 0.1333 1.6997 0.0002 0.0000 0.0467 0.0000 0.1333 0.0333 0.0567
310-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1333 0.1042 0.1333 0.3333 0.7817 0.0215 0.0000 0.0800 0.0000 0.3333 0.1333 0.1042
311-AH 0.0000 0.0000 0.2000 0.3333 0.6000 0.2267 0.2292 0.3333 0.6000 1.0113 0.0124 0.0000 0.1787 0.0000 0.6000 0.2267 0.2292
312-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0400 0.1052 0.0000 0.3333 2.6294 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0200 0.0322 0.0667 0.0667 1.6102 0.0001 0.0000 0.0280 0.0000 0.0667 0.0200 0.0322
314-AH 0.0000 0.0000 0.0000 0.1333 0.1333 0.0400 0.0644 0.1333 0.1333 1.6102 0.0002 0.0000 0.0560 0.0000 0.1333 0.0400 0.0644
315-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0200 0.0450 0.0000 0.1333 2.2498 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
316-AH 0.0000 0.1333 0.2333 0.2667 0.4000 0.2067 0.1235 0.1333 0.4000 0.5977 0.0755 0.0001 0.1000 0.0000 0.4000 0.2067 0.1235
317-AH 0.0000 0.0000 0.0000 0.0667 0.3333 0.0667 0.1133 0.0667 0.3333 1.6997 0.0004 0.0000 0.0800 0.0000 0.0667 0.0167 0.0309
318-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0200 0.0450 0.0000 0.1333 2.2498 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
319-AH 0.2000 0.2667 0.3667 0.4000 0.4667 0.3533 0.0892 0.1333 0.2667 0.2524 0.3422 0.3302 0.0733 0.2000 0.4667 0.3533 0.0892
320-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0200 0.0322 0.0667 0.0667 1.6102 0.0001 0.0000 0.0280 0.0000 0.0667 0.0200 0.0322
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0400 0.0843 0.0000 0.2000 2.1082 0.0001 0.0000 0.0640 0.0000 0.0000 0.0000 0.0000
323-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
324-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0400 0.0344 0.0667 0.0667 0.8607 0.0020 0.0000 0.0320 0.0000 0.0667 0.0400 0.0344
325-AH 0.0000 0.1333 0.1333 0.2000 0.2000 0.1333 0.0629 0.0667 0.2000 0.4714 0.0543 0.0001 0.0400 0.0667 0.2000 0.1481 0.0444
326-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0467 0.0549 0.0667 0.1333 1.1761 0.0009 0.0000 0.0467 0.0000 0.1333 0.0467 0.0549
327-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.1333 0.3667 0.4667 0.7333 0.3333 0.2373 0.3333 0.7333 0.7118 0.0458 0.0000 0.1867 0.0000 0.7333 0.3333 0.2373
329-AH 0.0667 0.2000 0.4667 0.4667 0.6667 0.3933 0.2165 0.2667 0.6000 0.5504 0.3072 0.2038 0.1693 0.0667 0.6667 0.3933 0.2165
330-AH 0.0000 0.0000 0.3000 0.8000 0.8667 0.3600 0.3813 0.8000 0.8667 1.0591 0.0063 0.0000 0.3467 0.0000 0.8667 0.3600 0.3813
331-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
332-AH 0.0000 0.0000 0.0667 0.2000 0.2000 0.0933 0.1004 0.2000 0.2000 1.0754 0.0014 0.0000 0.0933 0.0000 0.2000 0.0933 0.1004
333-AH 0.0000 0.0000 0.0000 0.0667 0.3333 0.0467 0.1045 0.0667 0.3333 2.2386 0.0002 0.0000 0.0653 0.0000 0.0667 0.0148 0.0294
334-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0133 0.0422 0.0000 0.1333 3.1623 0.0000 0.0000 0.0240 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0133 0.0422 0.0000 0.1333 3.1623 0.0000 0.0000 0.0240 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0267 0.0562 0.0000 0.1333 2.1082 0.0001 0.0000 0.0427 0.0000 0.0000 0.0000 0.0000
337-AH 0.0000 0.0667 0.4667 0.8667 0.9333 0.4733 0.4175 0.8000 0.9333 0.8820 0.1144 0.0001 0.3933 0.0000 0.9333 0.4733 0.4175
338-AH 0.0000 0.0000 0.1667 0.3333 0.4667 0.2000 0.1937 0.3333 0.4667 0.9686 0.0111 0.0000 0.1733 0.0000 0.4667 0.2000 0.1937
339-AH 0.0000 0.0000 0.1000 0.2667 0.5333 0.1533 0.1834 0.2667 0.5333 1.1960 0.0017 0.0000 0.1533 0.0000 0.5333 0.1533 0.1834
340-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
403
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0667 0.0667 0.1000 0.3333 0.4000 0.1867 0.1433 0.2667 0.3333 0.7678 0.1385 0.1064 0.1307 0.0667 0.4000 0.1867 0.1433
342-AH 0.1333 0.5333 0.6000 0.8667 0.8667 0.6333 0.2399 0.3333 0.7333 0.3787 0.5696 0.4686 0.1867 0.1333 0.8667 0.6333 0.2399
343-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0667 0.3333 0.8000 0.8667 0.4067 0.3816 0.7333 0.8667 0.9384 0.0928 0.0001 0.3533 0.0000 0.8667 0.4067 0.3816
345-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
348-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0667 0.0703 0.1333 0.1333 1.0541 0.0012 0.0000 0.0667 0.0000 0.1333 0.0667 0.0703
349-AH 0.0000 0.0000 0.2333 0.6000 0.6667 0.2933 0.3130 0.6000 0.6667 1.0671 0.0024 0.0000 0.2933 0.0000 0.6667 0.2933 0.3130
350-AH 0.0000 0.1333 0.1667 0.3333 0.3333 0.1933 0.1350 0.2000 0.3333 0.6982 0.0300 0.0000 0.1133 0.0000 0.3333 0.1933 0.1350
404
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0264 0.0500 0.0500 1.0541 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0264
142-AH 0.0500 0.1500 0.2500 0.4000 0.4000 0.2500 0.1528 0.2500 0.3500 0.6110 0.1940 0.1373 0.1400 0.0500 0.4000 0.2500 0.1528
143-AH 0.0000 0.0000 0.0000 0.0000 0.6500 0.0700 0.2044 0.0000 0.6500 2.9199 0.0001 0.0000 0.1160 0.0000 0.0000 0.0000 0.0000
144-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0500 0.0527 0.1000 0.1500 1.0541 0.0021 0.0000 0.0400 0.0000 0.1500 0.0500 0.0527
145-AH 0.1000 0.3500 0.5500 0.6000 0.7000 0.4600 0.2119 0.2500 0.6000 0.4606 0.3941 0.3091 0.1780 0.1000 0.7000 0.4600 0.2119
146-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0150 0.0242 0.0500 0.0500 1.6102 0.0001 0.0000 0.0210 0.0000 0.0500 0.0150 0.0242
147-AH 0.0000 0.0500 0.0750 0.1000 0.2000 0.0850 0.0580 0.0500 0.2000 0.6821 0.0337 0.0001 0.0450 0.0000 0.1500 0.0722 0.0441
148-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.1500 0.0150 0.0474 0.0000 0.1500 3.1623 0.0000 0.0000 0.0270 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0300 0.0949 0.0000 0.3000 3.1623 0.0000 0.0000 0.0540 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
154-AH 0.0500 0.1000 0.1500 0.3000 0.3500 0.1800 0.1183 0.2000 0.3000 0.6573 0.1434 0.1123 0.1000 0.0500 0.3500 0.1800 0.1183
155-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0000 0.0500 0.1000 0.1500 0.0650 0.0580 0.1000 0.1500 0.8919 0.0056 0.0000 0.0480 0.0000 0.1500 0.0650 0.0580
157-AH 0.0500 0.1500 0.3250 0.4500 0.5500 0.3000 0.1810 0.3000 0.5000 0.6035 0.2369 0.1713 0.1600 0.0500 0.5500 0.3000 0.1810
158-AH 0.0000 0.0000 0.0000 0.2000 0.3000 0.0800 0.1206 0.2000 0.3000 1.5081 0.0005 0.0000 0.1020 0.0000 0.3000 0.0800 0.1206
159-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
160-AH 0.0500 0.0500 0.0500 0.0500 0.1000 0.0600 0.0211 0.0000 0.0500 0.3514 0.0574 0.0556 0.0160 0.0500 0.0500 0.0500 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
163-AH 0.6500 0.7500 0.8500 0.9000 1.0000 0.8450 0.1141 0.1500 0.3500 0.1351 0.8379 0.8307 0.0950 0.6500 1.0000 0.8450 0.1141
164-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0250 0.0486 0.0500 0.1500 1.9437 0.0001 0.0000 0.0350 0.0000 0.0500 0.0111 0.0220
165-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0400 0.0211 0.0000 0.0500 0.5270 0.0091 0.0000 0.0160 0.0500 0.0500 0.0500 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0500 0.1500 0.2000 0.0750 0.0858 0.1500 0.2000 1.1440 0.0012 0.0000 0.0750 0.0000 0.2000 0.0750 0.0858
168-AH 0.0000 0.0000 0.0000 0.0000 0.1500 0.0150 0.0474 0.0000 0.1500 3.1623 0.0000 0.0000 0.0270 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0250 0.1000 0.1000 0.0450 0.0497 0.1000 0.1000 1.1049 0.0009 0.0000 0.0450 0.0000 0.1000 0.0450 0.0497
170-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
171-AH 0.0000 0.0000 0.0250 0.1000 0.1500 0.0550 0.0643 0.1000 0.1500 1.1697 0.0010 0.0000 0.0560 0.0000 0.1500 0.0550 0.0643
172-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
173-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
174-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
175-AH 0.0000 0.0000 0.1000 0.3000 0.3000 0.1400 0.1506 0.3000 0.3000 1.0754 0.0017 0.0000 0.1400 0.0000 0.3000 0.1400 0.1506
176-AH 0.0500 0.3500 0.6500 0.9500 1.0000 0.5900 0.3695 0.6000 0.9500 0.6263 0.4221 0.2304 0.3300 0.0500 1.0000 0.5900 0.3695
177-AH 0.0500 0.0500 0.1250 0.2500 0.4500 0.1800 0.1549 0.2000 0.4000 0.8607 0.1304 0.0983 0.1220 0.0500 0.4500 0.1800 0.1549
178-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0425 0.0500 0.1000 1.6997 0.0001 0.0000 0.0350 0.0000 0.1000 0.0250 0.0425
179-AH 0.0000 0.0000 0.0000 0.0000 0.1500 0.0150 0.0474 0.0000 0.1500 3.1623 0.0000 0.0000 0.0270 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0650 0.1886 0.0000 0.6000 2.9021 0.0001 0.0000 0.1070 0.0000 0.0000 0.0000 0.0000
181-AH 0.0500 0.1500 0.7500 0.8000 0.9500 0.6050 0.3444 0.6500 0.9000 0.5692 0.4380 0.2381 0.2930 0.0500 0.9500 0.6050 0.3444
182-AH 0.0000 0.0000 0.0000 0.1000 0.1500 0.0450 0.0643 0.1000 0.1500 1.4296 0.0004 0.0000 0.0540 0.0000 0.1500 0.0450 0.0643
183-AH 0.0500 0.1000 0.2000 0.2000 0.2000 0.1650 0.0580 0.1000 0.1500 0.3514 0.1516 0.1333 0.0490 0.0500 0.2000 0.1650 0.0580
184-AH 0.0000 0.0000 0.0000 0.1000 0.1500 0.0350 0.0580 0.1000 0.1500 1.6564 0.0002 0.0000 0.0490 0.0000 0.1500 0.0350 0.0580
185-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0300 0.0258 0.0500 0.0500 0.8607 0.0017 0.0000 0.0240 0.0000 0.0500 0.0300 0.0258
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0100 0.0211 0.0000 0.0500 2.1082 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.3000 0.3500 0.3500 0.3500 0.3500 0.3450 0.0158 0.0000 0.0500 0.0458 0.3446 0.3443 0.0090 0.3500 0.3500 0.3500 0.0000
190-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0471 0.1000 0.1000 0.9428 0.0022 0.0000 0.0400 0.0000 0.1000 0.0500 0.0471
405
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0500 0.1000 0.1500 0.2500 0.3000 0.1600 0.0907 0.1500 0.2500 0.5667 0.1341 0.1095 0.0800 0.0500 0.3000 0.1600 0.0907
193-AH 0.0000 0.0000 0.0500 0.1000 0.2000 0.0650 0.0747 0.1000 0.2000 1.1496 0.0011 0.0000 0.0650 0.0000 0.2000 0.0650 0.0747
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
197-AH 0.0000 0.0000 0.2750 0.9500 1.0000 0.4350 0.4744 0.9500 1.0000 1.0905 0.0029 0.0000 0.4350 0.0000 1.0000 0.4350 0.4744
198-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
199-AH 0.0000 0.2000 0.3250 0.4500 0.4500 0.2900 0.1807 0.2500 0.4500 0.6232 0.0970 0.0001 0.1600 0.0000 0.4500 0.2900 0.1807
200-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0300 0.0949 0.0000 0.3000 3.1623 0.0000 0.0000 0.0540 0.0000 0.0000 0.0000 0.0000
251-AH 0.5500 0.7500 0.8000 0.8500 0.8500 0.7650 0.1081 0.1000 0.3000 0.1414 0.7573 0.7486 0.0820 0.6000 0.8500 0.7889 0.0821
252-AH 0.0500 0.1000 0.1500 0.3500 0.4000 0.1950 0.1257 0.2500 0.3500 0.6447 0.1600 0.1306 0.1040 0.0500 0.4000 0.1950 0.1257
253-AH 0.5500 0.6500 0.8000 0.8500 0.9000 0.7550 0.1279 0.2000 0.3500 0.1694 0.7443 0.7327 0.1040 0.5500 0.9000 0.7550 0.1279
254-AH 0.0500 0.1000 0.2000 0.2500 0.3500 0.1850 0.0973 0.1500 0.3000 0.5261 0.1554 0.1227 0.0780 0.0500 0.3500 0.1850 0.0973
255-AH 0.0000 0.0000 0.0250 0.1000 0.2000 0.0650 0.0818 0.1000 0.2000 1.2588 0.0011 0.0000 0.0680 0.0000 0.2000 0.0650 0.0818
256-AH 0.0000 0.0000 0.5000 0.9000 1.0000 0.4850 0.4819 0.9000 1.0000 0.9937 0.0180 0.0000 0.4550 0.0000 1.0000 0.4850 0.4819
257-AH 0.0000 0.0500 0.1250 0.2500 0.4500 0.1650 0.1473 0.2000 0.4500 0.8927 0.0504 0.0001 0.1250 0.0000 0.4500 0.1650 0.1473
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.4000 0.7500 0.9500 0.4000 0.3689 0.7500 0.9500 0.9223 0.0187 0.0000 0.3100 0.0000 0.9500 0.4000 0.3689
261-AH 0.0000 0.0000 0.0250 0.1500 0.2500 0.0650 0.0883 0.1500 0.2500 1.3592 0.0010 0.0000 0.0710 0.0000 0.2500 0.0650 0.0883
262-AH 0.0000 0.0000 0.1000 0.1500 0.5000 0.1250 0.1495 0.1500 0.5000 1.1963 0.0080 0.0000 0.1000 0.0000 0.2000 0.0833 0.0750
263-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
264-AH 0.0000 0.0500 0.1250 0.2500 0.5500 0.1750 0.1704 0.2000 0.5500 0.9736 0.0532 0.0001 0.1300 0.0000 0.3500 0.1333 0.1146
265-AH 0.0000 0.0000 0.0000 0.2000 0.2500 0.0850 0.1107 0.2000 0.2500 1.3021 0.0005 0.0000 0.1020 0.0000 0.2500 0.0850 0.1107
266-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0354 0.0500 0.1000 1.4142 0.0003 0.0000 0.0300 0.0000 0.1000 0.0250 0.0354
267-AH 0.0000 0.0500 0.1000 0.2000 0.3000 0.1200 0.1059 0.1500 0.3000 0.8828 0.0183 0.0000 0.0900 0.0000 0.3000 0.1200 0.1059
268-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0400 0.0516 0.1000 0.1000 1.2910 0.0004 0.0000 0.0480 0.0000 0.1000 0.0400 0.0516
269-AH 0.0000 0.0000 0.0750 0.1500 0.1500 0.0750 0.0635 0.1500 0.1500 0.8462 0.0062 0.0000 0.0550 0.0000 0.1500 0.0750 0.0635
270-AH 0.0000 0.1000 0.4000 0.8500 0.9000 0.4650 0.3881 0.7500 0.9000 0.8345 0.1215 0.0001 0.3550 0.0000 0.9000 0.4650 0.3881
271-AH 0.0500 0.2000 0.3250 0.6000 0.7000 0.3700 0.2383 0.4000 0.6500 0.6440 0.2818 0.1900 0.2040 0.0500 0.7000 0.3700 0.2383
272-AH 0.0000 0.0000 0.0000 0.2000 0.2500 0.0800 0.1059 0.2000 0.2500 1.3242 0.0005 0.0000 0.0960 0.0000 0.2500 0.0800 0.1059
273-AH 0.0500 0.0500 0.1000 0.1500 0.9000 0.1900 0.2569 0.1000 0.8500 1.3521 0.1203 0.0922 0.1540 0.0500 0.2500 0.1111 0.0651
274-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0100 0.0211 0.0000 0.0500 2.1082 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000
275-AH 0.1000 0.3500 0.4250 0.6500 0.7000 0.4450 0.1833 0.3000 0.6000 0.4118 0.3984 0.3318 0.1350 0.1000 0.7000 0.4450 0.1833
276-AH 0.0000 0.0000 0.0250 0.2500 0.5000 0.1550 0.2074 0.2500 0.5000 1.3383 0.0015 0.0000 0.1760 0.0000 0.5000 0.1550 0.2074
277-AH 0.0000 0.0500 0.1250 0.2000 0.3000 0.1250 0.1034 0.1500 0.3000 0.8273 0.0196 0.0000 0.0850 0.0000 0.3000 0.1250 0.1034
278-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0250 0.0486 0.0500 0.1500 1.9437 0.0001 0.0000 0.0350 0.0000 0.0500 0.0111 0.0220
279-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0150 0.0242 0.0500 0.0500 1.6102 0.0001 0.0000 0.0210 0.0000 0.0500 0.0150 0.0242
281-AH 0.0500 0.1500 0.3000 0.4000 0.6000 0.3200 0.1889 0.2500 0.5500 0.5902 0.2551 0.1818 0.1440 0.0500 0.6000 0.3200 0.1889
282-AH 0.1500 0.2000 0.3250 0.4000 0.4500 0.3100 0.0994 0.2000 0.3000 0.3208 0.2936 0.2757 0.0800 0.1500 0.4500 0.3100 0.0994
283-AH 0.0000 0.0000 0.1250 0.3500 0.5500 0.2000 0.2261 0.3500 0.5500 1.1304 0.0045 0.0000 0.1900 0.0000 0.5500 0.2000 0.2261
284-AH 0.0000 0.0000 0.2750 0.4000 0.5000 0.2500 0.1972 0.4000 0.5000 0.7888 0.0148 0.0000 0.1700 0.0000 0.5000 0.2500 0.1972
285-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0425 0.0500 0.1000 1.6997 0.0001 0.0000 0.0350 0.0000 0.1000 0.0250 0.0425
286-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
287-AH 0.0500 0.2500 0.3500 0.4000 0.5500 0.3200 0.1531 0.1500 0.5000 0.4785 0.2667 0.1920 0.1160 0.0500 0.5500 0.3200 0.1531
288-AH 0.0000 0.0000 0.0000 0.2500 0.6000 0.1300 0.2071 0.2500 0.6000 1.5930 0.0006 0.0000 0.1620 0.0000 0.6000 0.1300 0.2071
289-AH 0.0000 0.0000 0.0000 0.0000 0.3500 0.0350 0.1107 0.0000 0.3500 3.1623 0.0000 0.0000 0.0630 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0600 0.0459 0.0500 0.1500 0.7658 0.0117 0.0000 0.0340 0.0000 0.1500 0.0600 0.0459
406
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0250 0.1000 0.1000 0.0450 0.0497 0.1000 0.1000 1.1049 0.0009 0.0000 0.0450 0.0000 0.1000 0.0450 0.0497
292-AH 0.0000 0.1000 0.1500 0.2000 0.2000 0.1350 0.0709 0.1000 0.2000 0.5252 0.0532 0.0001 0.0580 0.0000 0.2000 0.1350 0.0709
293-AH 0.0000 0.0000 0.0000 0.1500 0.5000 0.0800 0.1602 0.1500 0.5000 2.0026 0.0002 0.0000 0.1120 0.0000 0.1500 0.0333 0.0661
294-AH 0.1500 0.3000 0.4500 0.6000 0.7000 0.4450 0.1978 0.3000 0.5500 0.4446 0.3937 0.3343 0.1560 0.1500 0.7000 0.4450 0.1978
295-AH 0.0000 0.0000 0.0000 0.1000 0.4500 0.0650 0.1415 0.1000 0.4500 2.1772 0.0002 0.0000 0.0910 0.0000 0.1000 0.0222 0.0441
296-AH 0.0000 0.0000 0.0250 0.1500 0.1500 0.0650 0.0747 0.1500 0.1500 1.1496 0.0011 0.0000 0.0680 0.0000 0.1500 0.0650 0.0747
297-AH 0.0000 0.0000 0.0000 0.1000 0.2500 0.0500 0.0882 0.1000 0.2500 1.7638 0.0002 0.0000 0.0700 0.0000 0.2500 0.0500 0.0882
298-AH 0.0000 0.0000 0.0000 0.0500 0.2500 0.0350 0.0784 0.0500 0.2500 2.2386 0.0002 0.0000 0.0490 0.0000 0.0500 0.0111 0.0220
299-AH 0.0000 0.0000 0.0500 0.2000 0.5500 0.1150 0.1733 0.2000 0.5500 1.5068 0.0014 0.0000 0.1210 0.0000 0.2000 0.0667 0.0866
300-AH 0.0000 0.0000 0.0000 0.1500 0.3000 0.0650 0.1107 0.1500 0.3000 1.7028 0.0002 0.0000 0.0910 0.0000 0.3000 0.0650 0.1107
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.1500 0.2500 0.2750 0.4000 0.4000 0.3000 0.0943 0.1500 0.2500 0.3143 0.2855 0.2703 0.0800 0.1500 0.4000 0.3000 0.0943
303-AH 0.0000 0.0000 0.1500 0.2500 0.4000 0.1500 0.1333 0.2500 0.4000 0.8889 0.0100 0.0000 0.1100 0.0000 0.4000 0.1500 0.1333
304-AH 0.0000 0.0000 0.0500 0.2000 0.2500 0.1000 0.1130 0.2000 0.2500 1.1304 0.0014 0.0000 0.1000 0.0000 0.2500 0.1000 0.1130
305-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.1100 0.2331 0.0000 0.6000 2.1190 0.0001 0.0000 0.1760 0.0000 0.0000 0.0000 0.0000
306-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
307-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
308-AH 0.2500 0.3500 0.3750 0.4500 0.5000 0.3850 0.0784 0.1000 0.2500 0.2035 0.3774 0.3694 0.0650 0.2500 0.5000 0.3850 0.0784
309-AH 0.0000 0.0000 0.0250 0.0500 0.1000 0.0350 0.0412 0.0500 0.1000 1.1761 0.0008 0.0000 0.0350 0.0000 0.1000 0.0350 0.0412
310-AH 0.0000 0.0500 0.1000 0.1500 0.2500 0.1100 0.0907 0.1000 0.2500 0.8243 0.0180 0.0000 0.0720 0.0000 0.2500 0.1100 0.0907
311-AH 0.0000 0.0500 0.2000 0.3500 0.4500 0.2050 0.1707 0.3000 0.4500 0.8327 0.0285 0.0000 0.1360 0.0000 0.4500 0.2050 0.1707
312-AH 0.0000 0.0000 0.0000 0.0000 0.3500 0.0450 0.1117 0.0000 0.3500 2.4818 0.0001 0.0000 0.0720 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0500 0.0500 0.0200 0.0258 0.0500 0.0500 1.2910 0.0003 0.0000 0.0240 0.0000 0.0500 0.0200 0.0258
314-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0300 0.0483 0.1000 0.1000 1.6102 0.0002 0.0000 0.0420 0.0000 0.1000 0.0300 0.0483
315-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0300 0.0483 0.0500 0.1500 1.6102 0.0003 0.0000 0.0360 0.0000 0.0500 0.0167 0.0250
316-AH 0.0000 0.1500 0.2250 0.4000 0.4000 0.2400 0.1370 0.2500 0.4000 0.5710 0.0883 0.0001 0.1100 0.0000 0.4000 0.2400 0.1370
317-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0600 0.0994 0.1000 0.3000 1.6574 0.0004 0.0000 0.0740 0.0000 0.1500 0.0333 0.0559
318-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0150 0.0337 0.0000 0.1000 2.2498 0.0001 0.0000 0.0240 0.0000 0.0000 0.0000 0.0000
319-AH 0.2000 0.3000 0.3500 0.3500 0.4000 0.3200 0.0587 0.0500 0.2000 0.1834 0.3145 0.3081 0.0460 0.2500 0.4000 0.3333 0.0433
320-AH 0.0000 0.0000 0.0250 0.0500 0.1000 0.0300 0.0350 0.0500 0.1000 1.1653 0.0008 0.0000 0.0300 0.0000 0.1000 0.0300 0.0350
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0500 0.2000 0.0450 0.0832 0.0500 0.2000 1.8481 0.0002 0.0000 0.0630 0.0000 0.0500 0.0063 0.0177
323-AH 0.0500 0.0500 0.0500 0.0500 0.1000 0.0600 0.0211 0.0000 0.0500 0.3514 0.0574 0.0556 0.0160 0.0500 0.0500 0.0500 0.0000
324-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0400 0.0394 0.0500 0.1000 0.9860 0.0019 0.0000 0.0320 0.0000 0.1000 0.0400 0.0394
325-AH 0.0000 0.1000 0.1500 0.2000 0.3000 0.1450 0.0896 0.1000 0.3000 0.6179 0.0550 0.0001 0.0660 0.0000 0.3000 0.1450 0.0896
326-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0527 0.1000 0.1000 1.0541 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0527
327-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.1500 0.3250 0.4500 0.6500 0.3100 0.2145 0.3000 0.6500 0.6919 0.0438 0.0000 0.1700 0.0000 0.6500 0.3100 0.2145
329-AH 0.1000 0.1500 0.4000 0.5000 0.5000 0.3400 0.1630 0.3500 0.4000 0.4793 0.2900 0.2324 0.1340 0.1000 0.5000 0.3400 0.1630
330-AH 0.0000 0.0000 0.3000 0.7000 0.8000 0.3450 0.3601 0.7000 0.8000 1.0439 0.0061 0.0000 0.3350 0.0000 0.8000 0.3450 0.3601
331-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
332-AH 0.0000 0.0000 0.0750 0.2000 0.3000 0.1100 0.1220 0.2000 0.3000 1.1093 0.0015 0.0000 0.1100 0.0000 0.3000 0.1100 0.1220
333-AH 0.0000 0.0000 0.0000 0.0500 0.2500 0.0350 0.0784 0.0500 0.2500 2.2386 0.0002 0.0000 0.0490 0.0000 0.0500 0.0111 0.0220
334-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
336-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0425 0.0500 0.1000 1.6997 0.0001 0.0000 0.0350 0.0000 0.1000 0.0250 0.0425
337-AH 0.0000 0.0500 0.4250 0.7500 0.8000 0.4150 0.3575 0.7000 0.8000 0.8614 0.1028 0.0001 0.3350 0.0000 0.8000 0.4150 0.3575
338-AH 0.0000 0.0000 0.1500 0.3000 0.4000 0.1700 0.1670 0.3000 0.4000 0.9824 0.0097 0.0000 0.1500 0.0000 0.4000 0.1700 0.1670
339-AH 0.0000 0.0000 0.1000 0.2000 0.4500 0.1300 0.1549 0.2000 0.4500 1.1917 0.0016 0.0000 0.1300 0.0000 0.4500 0.1300 0.1549
340-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
407
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0500 0.0500 0.1000 0.3000 0.3000 0.1550 0.1165 0.2500 0.2500 0.7519 0.1155 0.0877 0.1060 0.0500 0.3000 0.1550 0.1165
342-AH 0.2000 0.4000 0.6000 0.8000 0.9000 0.6100 0.2295 0.4000 0.7000 0.3762 0.5613 0.5015 0.1820 0.2000 0.9000 0.6100 0.2295
343-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
344-AH 0.0000 0.0500 0.3750 0.6500 0.7500 0.3700 0.3401 0.6000 0.7500 0.9192 0.0848 0.0001 0.3200 0.0000 0.7500 0.3700 0.3401
345-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0050 0.0158 0.0000 0.0500 3.1623 0.0000 0.0000 0.0090 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0354 0.0500 0.1000 1.4142 0.0003 0.0000 0.0300 0.0000 0.1000 0.0250 0.0354
348-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0527 0.1000 0.1000 1.0541 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0527
349-AH 0.0000 0.0000 0.2000 0.5500 0.6500 0.2650 0.2789 0.5500 0.6500 1.0526 0.0053 0.0000 0.2550 0.0000 0.6500 0.2650 0.2789
350-AH 0.0000 0.1000 0.1500 0.2500 0.3000 0.1600 0.1049 0.1500 0.3000 0.6555 0.0263 0.0000 0.0820 0.0000 0.3000 0.1600 0.1049
408
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0176 0.0333 0.0333 1.0541 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0176
142-AH 0.0667 0.1000 0.2000 0.2667 0.2667 0.1867 0.0864 0.1667 0.2000 0.4626 0.1661 0.1455 0.0800 0.0667 0.2667 0.1867 0.0864
143-AH 0.0000 0.0000 0.0000 0.0333 0.6000 0.0667 0.1879 0.0333 0.6000 2.8186 0.0002 0.0000 0.1067 0.0000 0.0333 0.0074 0.0147
144-AH 0.0000 0.0000 0.0333 0.0667 0.1000 0.0333 0.0351 0.0667 0.1000 1.0541 0.0017 0.0000 0.0267 0.0000 0.1000 0.0333 0.0351
145-AH 0.1667 0.3333 0.4000 0.4333 0.5000 0.3633 0.1170 0.1000 0.3333 0.3220 0.3414 0.3145 0.0907 0.3333 0.5000 0.4125 0.0616
146-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0100 0.0161 0.0333 0.0333 1.6102 0.0001 0.0000 0.0140 0.0000 0.0333 0.0100 0.0161
147-AH 0.0000 0.0333 0.0833 0.1333 0.1333 0.0833 0.0503 0.1000 0.1333 0.6037 0.0331 0.0001 0.0433 0.0000 0.1333 0.0833 0.0503
148-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0100 0.0316 0.0000 0.1000 3.1623 0.0000 0.0000 0.0180 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0167 0.0423 0.0000 0.1333 2.5386 0.0001 0.0000 0.0267 0.0000 0.0000 0.0000 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0233 0.0630 0.0000 0.2000 2.6979 0.0001 0.0000 0.0373 0.0000 0.0000 0.0000 0.0000
153-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
154-AH 0.0333 0.0667 0.1000 0.2000 0.2667 0.1300 0.0867 0.1333 0.2333 0.6670 0.1052 0.0851 0.0700 0.0333 0.2667 0.1300 0.0867
155-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
156-AH 0.0000 0.0333 0.0667 0.1000 0.1333 0.0633 0.0457 0.0667 0.1333 0.7212 0.0121 0.0000 0.0373 0.0000 0.1333 0.0633 0.0457
157-AH 0.0333 0.1667 0.2833 0.4667 0.5000 0.2867 0.1800 0.3000 0.4667 0.6279 0.2150 0.1363 0.1600 0.0333 0.5000 0.2867 0.1800
158-AH 0.0000 0.0000 0.0333 0.2000 0.3000 0.0833 0.1147 0.2000 0.3000 1.3760 0.0024 0.0000 0.0967 0.0000 0.3000 0.0833 0.1147
159-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
160-AH 0.0333 0.0333 0.0333 0.0333 0.0667 0.0400 0.0141 0.0000 0.0333 0.3514 0.0383 0.0370 0.0107 0.0333 0.0333 0.0333 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
163-AH 0.5333 0.7667 0.8333 0.9333 0.9667 0.8233 0.1334 0.1667 0.4333 0.1620 0.8123 0.7998 0.1033 0.5333 0.9667 0.8233 0.1334
164-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0497 0.0667 0.1333 1.4907 0.0004 0.0000 0.0400 0.0000 0.1333 0.0333 0.0497
165-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0267 0.0141 0.0000 0.0333 0.5270 0.0066 0.0000 0.0107 0.0333 0.0333 0.0333 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0533 0.0592 0.1000 0.1333 1.1102 0.0010 0.0000 0.0533 0.0000 0.1333 0.0533 0.0592
168-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0233 0.0630 0.0000 0.2000 2.6979 0.0001 0.0000 0.0373 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0167 0.0667 0.0667 0.0300 0.0331 0.0667 0.0667 1.1049 0.0008 0.0000 0.0300 0.0000 0.0667 0.0300 0.0331
170-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
171-AH 0.0000 0.0000 0.0500 0.0667 0.1000 0.0433 0.0417 0.0667 0.1000 0.9628 0.0020 0.0000 0.0367 0.0000 0.1000 0.0433 0.0417
172-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0100 0.0161 0.0333 0.0333 1.6102 0.0001 0.0000 0.0140 0.0000 0.0333 0.0100 0.0161
173-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
174-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
175-AH 0.0000 0.0000 0.0667 0.2000 0.2000 0.0933 0.1004 0.2000 0.2000 1.0754 0.0014 0.0000 0.0933 0.0000 0.2000 0.0933 0.1004
176-AH 0.0667 0.2667 0.5500 0.8333 0.8667 0.5100 0.3281 0.5667 0.8000 0.6434 0.3668 0.2172 0.2967 0.0667 0.8667 0.5100 0.3281
177-AH 0.0333 0.0667 0.1167 0.2000 0.3000 0.1433 0.0969 0.1333 0.2667 0.6762 0.1147 0.0908 0.0787 0.0333 0.3000 0.1433 0.0969
178-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0167 0.0283 0.0333 0.0667 1.6997 0.0001 0.0000 0.0233 0.0000 0.0667 0.0167 0.0283
179-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0200 0.0526 0.0000 0.1667 2.6294 0.0001 0.0000 0.0320 0.0000 0.0000 0.0000 0.0000
180-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0533 0.1573 0.0000 0.5000 2.9492 0.0001 0.0000 0.0893 0.0000 0.0000 0.0000 0.0000
181-AH 0.0667 0.1667 0.7833 0.8000 0.9000 0.6000 0.3333 0.6333 0.8333 0.5556 0.4472 0.2686 0.2867 0.0667 0.9000 0.6000 0.3333
182-AH 0.0000 0.0000 0.0167 0.0667 0.1333 0.0367 0.0483 0.0667 0.1333 1.3174 0.0008 0.0000 0.0380 0.0000 0.1333 0.0367 0.0483
183-AH 0.0333 0.0667 0.1333 0.1333 0.1333 0.1100 0.0387 0.0667 0.1000 0.3514 0.1010 0.0889 0.0327 0.0333 0.1333 0.1100 0.0387
184-AH 0.0000 0.0000 0.0000 0.0667 0.1000 0.0233 0.0387 0.0667 0.1000 1.6564 0.0001 0.0000 0.0327 0.0000 0.1000 0.0233 0.0387
185-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0200 0.0172 0.0333 0.0333 0.8607 0.0013 0.0000 0.0160 0.0000 0.0333 0.0200 0.0172
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0000 0.0333 0.0333 0.0100 0.0161 0.0333 0.0333 1.6102 0.0001 0.0000 0.0140 0.0000 0.0333 0.0100 0.0161
188-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
189-AH 0.2000 0.2333 0.2333 0.2333 0.2333 0.2300 0.0105 0.0000 0.0333 0.0458 0.2298 0.2295 0.0060 0.2333 0.2333 0.2333 0.0000
190-AH 0.0000 0.0000 0.0333 0.0667 0.1667 0.0467 0.0549 0.0667 0.1667 1.1761 0.0020 0.0000 0.0427 0.0000 0.1667 0.0467 0.0549
409
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0333 0.0667 0.1167 0.1667 0.2000 0.1133 0.0652 0.1000 0.1667 0.5750 0.0935 0.0746 0.0600 0.0333 0.2000 0.1133 0.0652
193-AH 0.0000 0.0000 0.0333 0.1000 0.2000 0.0567 0.0686 0.1000 0.2000 1.2103 0.0010 0.0000 0.0567 0.0000 0.2000 0.0567 0.0686
194-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
197-AH 0.0000 0.0000 0.2333 0.9333 0.9667 0.4200 0.4649 0.9333 0.9667 1.1068 0.0028 0.0000 0.4200 0.0000 0.9667 0.4200 0.4649
198-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
199-AH 0.0333 0.1667 0.2500 0.3000 0.3333 0.2200 0.1021 0.1333 0.3000 0.4640 0.1862 0.1364 0.0867 0.0333 0.3333 0.2200 0.1021
200-AH 0.0000 0.0000 0.0000 0.0333 0.2333 0.0300 0.0728 0.0333 0.2333 2.4259 0.0001 0.0000 0.0420 0.0000 0.0333 0.0074 0.0147
251-AH 0.4333 0.6000 0.6500 0.7000 0.8000 0.6400 0.1028 0.1000 0.3667 0.1606 0.6319 0.6231 0.0733 0.5333 0.8000 0.6630 0.0772
252-AH 0.0333 0.1000 0.1333 0.2667 0.3333 0.1767 0.0994 0.1667 0.3000 0.5629 0.1476 0.1151 0.0853 0.0333 0.3333 0.1767 0.0994
253-AH 0.6000 0.6667 0.7833 0.8000 0.8667 0.7500 0.0984 0.1333 0.2667 0.1313 0.7439 0.7375 0.0800 0.6000 0.8667 0.7500 0.0984
254-AH 0.0333 0.0667 0.2333 0.2667 0.3667 0.1900 0.1155 0.2000 0.3333 0.6080 0.1436 0.0952 0.0987 0.0333 0.3667 0.1900 0.1155
255-AH 0.0000 0.0000 0.0167 0.0667 0.1333 0.0433 0.0545 0.0667 0.1333 1.2588 0.0009 0.0000 0.0453 0.0000 0.1333 0.0433 0.0545
256-AH 0.0000 0.0333 0.4500 0.8333 0.9333 0.4533 0.4252 0.8000 0.9333 0.9379 0.0922 0.0001 0.4000 0.0000 0.9333 0.4533 0.4252
257-AH 0.0333 0.0333 0.1167 0.2333 0.4000 0.1467 0.1219 0.2000 0.3667 0.8313 0.1018 0.0704 0.1000 0.0333 0.4000 0.1467 0.1219
258-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0100 0.0225 0.0000 0.0667 2.2498 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000
260-AH 0.0000 0.0000 0.3667 0.5667 0.8333 0.3433 0.3194 0.5667 0.8333 0.9302 0.0170 0.0000 0.2567 0.0000 0.8333 0.3433 0.3194
261-AH 0.0000 0.0000 0.0167 0.1333 0.2000 0.0533 0.0740 0.1333 0.2000 1.3882 0.0009 0.0000 0.0613 0.0000 0.2000 0.0533 0.0740
262-AH 0.0000 0.0000 0.0667 0.2000 0.3333 0.1067 0.1098 0.2000 0.3333 1.0291 0.0075 0.0000 0.0880 0.0000 0.3333 0.1067 0.1098
263-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
264-AH 0.0333 0.1000 0.1333 0.2000 0.4000 0.1567 0.1112 0.1000 0.3667 0.7096 0.1215 0.0891 0.0813 0.0333 0.2667 0.1296 0.0754
265-AH 0.0000 0.0000 0.0000 0.1667 0.2000 0.0700 0.0922 0.1667 0.2000 1.3176 0.0005 0.0000 0.0840 0.0000 0.2000 0.0700 0.0922
266-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0200 0.0281 0.0333 0.0667 1.4055 0.0003 0.0000 0.0240 0.0000 0.0667 0.0200 0.0281
267-AH 0.0000 0.0667 0.1167 0.1667 0.2333 0.1167 0.0707 0.1000 0.2333 0.6061 0.0447 0.0001 0.0567 0.0000 0.2333 0.1167 0.0707
268-AH 0.0000 0.0000 0.0167 0.0667 0.0667 0.0300 0.0331 0.0667 0.0667 1.1049 0.0008 0.0000 0.0300 0.0000 0.0667 0.0300 0.0331
269-AH 0.0000 0.0333 0.0833 0.1000 0.1000 0.0667 0.0416 0.0667 0.1000 0.6236 0.0131 0.0000 0.0333 0.0000 0.1000 0.0667 0.0416
270-AH 0.0000 0.0667 0.3333 0.8000 0.8333 0.4200 0.3666 0.7333 0.8333 0.8728 0.1082 0.0001 0.3333 0.0000 0.8333 0.4200 0.3666
271-AH 0.1333 0.1667 0.2333 0.4667 0.5333 0.3033 0.1681 0.3000 0.4000 0.5542 0.2624 0.2285 0.1507 0.1333 0.5333 0.3033 0.1681
272-AH 0.0000 0.0000 0.0000 0.1667 0.2333 0.0733 0.0979 0.1667 0.2333 1.3347 0.0005 0.0000 0.0880 0.0000 0.2333 0.0733 0.0979
273-AH 0.0333 0.0333 0.1167 0.1333 0.8667 0.1767 0.2505 0.1000 0.8333 1.4177 0.1017 0.0700 0.1493 0.0333 0.2333 0.1000 0.0667
274-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0176 0.0333 0.0333 1.0541 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0176
275-AH 0.0667 0.3333 0.3833 0.5333 0.6333 0.3967 0.1621 0.2000 0.5667 0.4087 0.3488 0.2691 0.1233 0.0667 0.6333 0.3967 0.1621
276-AH 0.0000 0.0000 0.0667 0.2333 0.4667 0.1500 0.1786 0.2333 0.4667 1.1910 0.0080 0.0000 0.1467 0.0000 0.4667 0.1500 0.1786
277-AH 0.0000 0.0333 0.1333 0.2667 0.2667 0.1400 0.1098 0.2333 0.2667 0.7841 0.0454 0.0001 0.1000 0.0000 0.2667 0.1400 0.1098
278-AH 0.0000 0.0000 0.0000 0.0333 0.1667 0.0233 0.0522 0.0333 0.1667 2.2386 0.0001 0.0000 0.0327 0.0000 0.0333 0.0074 0.0147
279-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
280-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0133 0.0233 0.0333 0.0667 1.7480 0.0001 0.0000 0.0187 0.0000 0.0667 0.0133 0.0233
281-AH 0.1000 0.2000 0.2500 0.3333 0.5000 0.2833 0.1308 0.1333 0.4000 0.4615 0.2567 0.2306 0.1000 0.1000 0.5000 0.2833 0.1308
282-AH 0.1333 0.1667 0.2833 0.3333 0.3667 0.2567 0.0903 0.1667 0.2333 0.3520 0.2404 0.2232 0.0787 0.1333 0.3667 0.2567 0.0903
283-AH 0.0000 0.0000 0.1000 0.3000 0.4667 0.1667 0.1879 0.3000 0.4667 1.1274 0.0039 0.0000 0.1600 0.0000 0.4667 0.1667 0.1879
284-AH 0.0000 0.0333 0.2000 0.3667 0.4000 0.2033 0.1614 0.3333 0.4000 0.7936 0.0279 0.0000 0.1433 0.0000 0.4000 0.2033 0.1614
285-AH 0.0000 0.0000 0.0000 0.1333 0.1333 0.0433 0.0630 0.1333 0.1333 1.4527 0.0004 0.0000 0.0540 0.0000 0.1333 0.0433 0.0630
286-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
287-AH 0.0333 0.2000 0.4667 0.4667 0.4667 0.3433 0.1778 0.2667 0.4333 0.5179 0.2621 0.1518 0.1480 0.0333 0.4667 0.3433 0.1778
288-AH 0.0000 0.0000 0.0000 0.2667 0.4333 0.1133 0.1730 0.2667 0.4333 1.5264 0.0006 0.0000 0.1453 0.0000 0.4333 0.1133 0.1730
289-AH 0.0000 0.0000 0.0000 0.0000 0.2333 0.0233 0.0738 0.0000 0.2333 3.1623 0.0000 0.0000 0.0420 0.0000 0.0000 0.0000 0.0000
290-AH 0.0000 0.0333 0.0333 0.0667 0.1333 0.0467 0.0391 0.0333 0.1333 0.8384 0.0093 0.0000 0.0293 0.0000 0.0667 0.0370 0.0261
410
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0000 0.0333 0.1000 0.1333 0.0500 0.0550 0.1000 0.1333 1.0999 0.0021 0.0000 0.0467 0.0000 0.1333 0.0500 0.0550
292-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.1000 0.0497 0.0667 0.1333 0.4969 0.0407 0.0001 0.0400 0.0000 0.1333 0.1000 0.0497
293-AH 0.0000 0.0000 0.0333 0.1000 0.5000 0.0867 0.1533 0.1000 0.5000 1.7690 0.0011 0.0000 0.0947 0.0000 0.1333 0.0407 0.0521
294-AH 0.1000 0.2333 0.4333 0.6000 0.6667 0.4167 0.2196 0.3667 0.5667 0.5270 0.3442 0.2615 0.1800 0.1000 0.6667 0.4167 0.2196
295-AH 0.0000 0.0000 0.0000 0.0667 0.3333 0.0467 0.1045 0.0667 0.3333 2.2386 0.0002 0.0000 0.0653 0.0000 0.0667 0.0148 0.0294
296-AH 0.0000 0.0000 0.0167 0.1000 0.1333 0.0500 0.0593 0.1000 0.1333 1.1863 0.0009 0.0000 0.0533 0.0000 0.1333 0.0500 0.0593
297-AH 0.0000 0.0000 0.0000 0.1000 0.1667 0.0400 0.0663 0.1000 0.1667 1.6574 0.0002 0.0000 0.0560 0.0000 0.1667 0.0400 0.0663
298-AH 0.0000 0.0000 0.0333 0.0667 0.2667 0.0533 0.0789 0.0667 0.2667 1.4790 0.0041 0.0000 0.0480 0.0000 0.0667 0.0296 0.0261
299-AH 0.0000 0.0000 0.0500 0.1667 0.4667 0.1100 0.1483 0.1667 0.4667 1.3480 0.0030 0.0000 0.1120 0.0000 0.2000 0.0704 0.0841
300-AH 0.0000 0.0000 0.0000 0.2333 0.3000 0.0767 0.1248 0.2333 0.3000 1.6275 0.0002 0.0000 0.1073 0.0000 0.3000 0.0767 0.1248
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.1000 0.1667 0.2500 0.3000 0.3333 0.2367 0.0777 0.1333 0.2333 0.3283 0.2232 0.2078 0.0633 0.1000 0.3333 0.2367 0.0777
303-AH 0.0000 0.0333 0.1000 0.2000 0.2667 0.1167 0.0959 0.1667 0.2667 0.8220 0.0183 0.0000 0.0833 0.0000 0.2667 0.1167 0.0959
304-AH 0.0000 0.0000 0.0500 0.1667 0.1667 0.0733 0.0798 0.1667 0.1667 1.0884 0.0012 0.0000 0.0733 0.0000 0.1667 0.0733 0.0798
305-AH 0.0000 0.0000 0.0000 0.0667 0.4333 0.0933 0.1720 0.0667 0.4333 1.8427 0.0005 0.0000 0.1293 0.0000 0.0667 0.0125 0.0248
306-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
307-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
308-AH 0.2000 0.2667 0.3000 0.3333 0.3333 0.2900 0.0417 0.0667 0.1333 0.1439 0.2870 0.2837 0.0320 0.2000 0.3333 0.2900 0.0417
309-AH 0.0000 0.0333 0.0667 0.0667 0.1000 0.0533 0.0281 0.0333 0.1000 0.5270 0.0234 0.0001 0.0227 0.0000 0.1000 0.0533 0.0281
310-AH 0.0000 0.0333 0.0833 0.1333 0.2667 0.0967 0.0922 0.1000 0.2667 0.9541 0.0151 0.0000 0.0700 0.0000 0.2667 0.0967 0.0922
311-AH 0.0000 0.0333 0.1833 0.3333 0.3333 0.1833 0.1317 0.3000 0.3333 0.7184 0.0587 0.0001 0.1100 0.0000 0.3333 0.1833 0.1317
312-AH 0.0000 0.0000 0.0000 0.0000 0.3667 0.0567 0.1258 0.0000 0.3667 2.2192 0.0001 0.0000 0.0907 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0000 0.0333 0.1000 0.0233 0.0353 0.0333 0.1000 1.5134 0.0003 0.0000 0.0280 0.0000 0.0667 0.0148 0.0242
314-AH 0.0000 0.0000 0.0000 0.0667 0.1667 0.0367 0.0637 0.0667 0.1667 1.7381 0.0002 0.0000 0.0513 0.0000 0.1667 0.0367 0.0637
315-AH 0.0000 0.0000 0.0167 0.0667 0.1000 0.0333 0.0385 0.0667 0.1000 1.1547 0.0008 0.0000 0.0333 0.0000 0.1000 0.0333 0.0385
316-AH 0.0000 0.1333 0.3000 0.3333 0.3667 0.2367 0.1300 0.2000 0.3667 0.5493 0.0857 0.0001 0.1093 0.0000 0.3667 0.2367 0.1300
317-AH 0.0000 0.0000 0.0167 0.1000 0.2000 0.0467 0.0670 0.1000 0.2000 1.4365 0.0009 0.0000 0.0520 0.0000 0.2000 0.0467 0.0670
318-AH 0.0000 0.0000 0.0167 0.0667 0.1000 0.0333 0.0416 0.0667 0.1000 1.2472 0.0008 0.0000 0.0333 0.0000 0.1000 0.0333 0.0416
319-AH 0.1333 0.2333 0.2833 0.3000 0.3667 0.2733 0.0644 0.0667 0.2333 0.2356 0.2649 0.2545 0.0467 0.1333 0.3667 0.2733 0.0644
320-AH 0.0000 0.0000 0.0167 0.0333 0.1000 0.0267 0.0344 0.0333 0.1000 1.2910 0.0007 0.0000 0.0267 0.0000 0.0667 0.0185 0.0242
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0000 0.0333 0.1667 0.0400 0.0681 0.0333 0.1667 1.7033 0.0004 0.0000 0.0507 0.0000 0.0333 0.0083 0.0154
323-AH 0.0333 0.0333 0.0333 0.0667 0.0667 0.0467 0.0172 0.0333 0.0333 0.3689 0.0440 0.0417 0.0160 0.0333 0.0667 0.0467 0.0172
324-AH 0.0000 0.0000 0.0333 0.0667 0.1333 0.0433 0.0522 0.0667 0.1333 1.2054 0.0018 0.0000 0.0407 0.0000 0.1333 0.0433 0.0522
325-AH 0.0000 0.0667 0.1333 0.2000 0.3000 0.1300 0.0867 0.1333 0.3000 0.6670 0.0493 0.0001 0.0640 0.0000 0.3000 0.1300 0.0867
326-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0351 0.0667 0.0667 1.0541 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0351
327-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.1333 0.3167 0.4333 0.5000 0.2867 0.1945 0.3000 0.5000 0.6785 0.0411 0.0000 0.1667 0.0000 0.5000 0.2867 0.1945
329-AH 0.1333 0.1333 0.3333 0.3667 0.4000 0.2933 0.1131 0.2333 0.2667 0.3855 0.2677 0.2384 0.0960 0.1333 0.4000 0.2933 0.1131
330-AH 0.0000 0.0000 0.3667 0.7000 0.7667 0.3600 0.3671 0.7000 0.7667 1.0197 0.0064 0.0000 0.3467 0.0000 0.7667 0.3600 0.3671
331-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0100 0.0225 0.0000 0.0667 2.2498 0.0001 0.0000 0.0160 0.0000 0.0000 0.0000 0.0000
332-AH 0.0000 0.0000 0.0667 0.2000 0.2333 0.1000 0.1089 0.2000 0.2333 1.0887 0.0014 0.0000 0.1000 0.0000 0.2333 0.1000 0.1089
333-AH 0.0000 0.0000 0.0000 0.0333 0.1667 0.0233 0.0522 0.0333 0.1667 2.2386 0.0001 0.0000 0.0327 0.0000 0.0333 0.0074 0.0147
334-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0133 0.0233 0.0333 0.0667 1.7480 0.0001 0.0000 0.0187 0.0000 0.0667 0.0133 0.0233
336-AH 0.0000 0.0000 0.0000 0.0333 0.0667 0.0200 0.0281 0.0333 0.0667 1.4055 0.0003 0.0000 0.0240 0.0000 0.0667 0.0200 0.0281
337-AH 0.0000 0.0667 0.3167 0.6333 0.6667 0.3433 0.2953 0.5667 0.6667 0.8600 0.0913 0.0001 0.2767 0.0000 0.6667 0.3433 0.2953
338-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1200 0.1219 0.2000 0.3000 1.0160 0.0075 0.0000 0.1067 0.0000 0.3000 0.1200 0.1219
339-AH 0.0000 0.0000 0.0667 0.1333 0.4333 0.1067 0.1421 0.1333 0.4333 1.3324 0.0014 0.0000 0.1067 0.0000 0.2333 0.0704 0.0889
340-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0067 0.0211 0.0000 0.0667 3.1623 0.0000 0.0000 0.0120 0.0000 0.0000 0.0000 0.0000
411
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0333 0.0333 0.0667 0.2000 0.2000 0.1033 0.0777 0.1667 0.1667 0.7519 0.0770 0.0585 0.0707 0.0333 0.2000 0.1033 0.0777
342-AH 0.2667 0.4333 0.5500 0.7333 0.7667 0.5533 0.1814 0.3000 0.5000 0.3277 0.5223 0.4880 0.1467 0.2667 0.7667 0.5533 0.1814
343-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
344-AH 0.0333 0.0333 0.3000 0.5667 0.6333 0.3067 0.2770 0.5333 0.6000 0.9033 0.1531 0.0720 0.2600 0.0333 0.6333 0.3067 0.2770
345-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0067 0.0141 0.0000 0.0333 2.1082 0.0001 0.0000 0.0107 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0033 0.0105 0.0000 0.0333 3.1623 0.0000 0.0000 0.0060 0.0000 0.0000 0.0000 0.0000
347-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0267 0.0344 0.0667 0.0667 1.2910 0.0003 0.0000 0.0320 0.0000 0.0667 0.0267 0.0344
348-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0351 0.0667 0.0667 1.0541 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0351
349-AH 0.0000 0.0000 0.1667 0.4667 0.5000 0.2233 0.2352 0.4667 0.5000 1.0532 0.0047 0.0000 0.2167 0.0000 0.5000 0.2233 0.2352
350-AH 0.0000 0.0667 0.1000 0.1667 0.2000 0.1100 0.0738 0.1000 0.2000 0.6708 0.0194 0.0000 0.0587 0.0000 0.2000 0.1100 0.0738
412
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0541 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
142-AH 0.0300 0.0400 0.0600 0.0800 0.0800 0.0590 0.0223 0.0400 0.0500 0.3786 0.0550 0.0511 0.0210 0.0300 0.0800 0.0590 0.0223
143-AH 0.0000 0.0000 0.0100 0.0300 0.3300 0.0420 0.1018 0.0300 0.3300 2.4250 0.0011 0.0000 0.0576 0.0000 0.0300 0.0100 0.0122
144-AH 0.0000 0.0000 0.0100 0.0200 0.0300 0.0100 0.0105 0.0200 0.0300 1.0541 0.0008 0.0000 0.0080 0.0000 0.0300 0.0100 0.0105
145-AH 0.0600 0.1400 0.1600 0.1700 0.2800 0.1610 0.0726 0.0300 0.2200 0.4512 0.1444 0.1263 0.0492 0.1400 0.1700 0.1567 0.0137
146-AH 0.0000 0.0000 0.0050 0.0100 0.0200 0.0070 0.0082 0.0100 0.0200 1.1761 0.0004 0.0000 0.0070 0.0000 0.0200 0.0070 0.0082
147-AH 0.0000 0.0200 0.0500 0.0600 0.0700 0.0420 0.0253 0.0400 0.0700 0.6023 0.0179 0.0001 0.0220 0.0000 0.0700 0.0420 0.0253
148-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0030 0.0095 0.0000 0.0300 3.1623 0.0000 0.0000 0.0054 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0000 0.0100 0.0100 0.0100 0.0800 0.0150 0.0232 0.0000 0.0800 1.5476 0.0031 0.0000 0.0130 0.0100 0.0100 0.0100 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0400 0.0040 0.0126 0.0000 0.0400 3.1623 0.0000 0.0000 0.0072 0.0000 0.0000 0.0000 0.0000
152-AH 0.0000 0.0000 0.0000 0.0100 0.0900 0.0110 0.0281 0.0100 0.0900 2.5516 0.0001 0.0000 0.0158 0.0000 0.0100 0.0022 0.0044
153-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0010 0.0032 0.0000 0.0100 3.1623 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000
154-AH 0.0100 0.0200 0.0500 0.1100 0.1200 0.0600 0.0464 0.0900 0.1100 0.7738 0.0418 0.0285 0.0420 0.0100 0.1200 0.0600 0.0464
155-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0020 0.0042 0.0000 0.0100 2.1082 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000
156-AH 0.0100 0.0200 0.0500 0.0600 0.0700 0.0440 0.0237 0.0400 0.0600 0.5378 0.0357 0.0264 0.0200 0.0100 0.0700 0.0440 0.0237
157-AH 0.0300 0.0700 0.2700 0.4300 0.4700 0.2510 0.1992 0.3600 0.4400 0.7936 0.1559 0.0869 0.1870 0.0300 0.4700 0.2510 0.1992
158-AH 0.0000 0.0000 0.0150 0.1200 0.2100 0.0530 0.0736 0.1200 0.2100 1.3895 0.0034 0.0000 0.0602 0.0000 0.2100 0.0530 0.0736
159-AH 0.0000 0.0000 0.0050 0.0100 0.1100 0.0150 0.0337 0.0100 0.1100 2.2498 0.0004 0.0000 0.0190 0.0000 0.0100 0.0044 0.0053
160-AH 0.0100 0.0100 0.0100 0.0200 0.0200 0.0140 0.0052 0.0100 0.0100 0.3689 0.0132 0.0125 0.0048 0.0100 0.0200 0.0140 0.0052
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0010 0.0032 0.0000 0.0100 3.1623 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000
163-AH 0.4000 0.4800 0.5400 0.7300 0.9200 0.6150 0.1940 0.2500 0.5200 0.3154 0.5890 0.5654 0.1640 0.4000 0.9200 0.6150 0.1940
164-AH 0.0000 0.0000 0.0150 0.0600 0.1100 0.0300 0.0374 0.0600 0.1100 1.2472 0.0027 0.0000 0.0300 0.0000 0.1100 0.0300 0.0374
165-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0090 0.0032 0.0000 0.0100 0.3514 0.0050 0.0001 0.0018 0.0100 0.0100 0.0100 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0200 0.0400 0.0500 0.0220 0.0235 0.0400 0.0500 1.0671 0.0007 0.0000 0.0220 0.0000 0.0500 0.0220 0.0235
168-AH 0.0000 0.0000 0.0000 0.0000 0.1300 0.0160 0.0412 0.0000 0.1300 2.5719 0.0001 0.0000 0.0256 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0050 0.0300 0.0400 0.0150 0.0178 0.0300 0.0400 1.1863 0.0005 0.0000 0.0160 0.0000 0.0400 0.0150 0.0178
170-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0020 0.0042 0.0000 0.0100 2.1082 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000
171-AH 0.0100 0.0200 0.0300 0.0700 0.0900 0.0380 0.0282 0.0500 0.0800 0.7423 0.0294 0.0227 0.0232 0.0100 0.0900 0.0380 0.0282
172-AH 0.0000 0.0000 0.0100 0.0100 0.0200 0.0070 0.0067 0.0100 0.0200 0.9642 0.0007 0.0000 0.0056 0.0000 0.0200 0.0070 0.0067
173-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
174-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
175-AH 0.0000 0.0000 0.0250 0.0600 0.0700 0.0310 0.0331 0.0600 0.0700 1.0693 0.0008 0.0000 0.0310 0.0000 0.0700 0.0310 0.0331
176-AH 0.0700 0.1200 0.2350 0.3600 0.3900 0.2340 0.1369 0.2400 0.3200 0.5850 0.1926 0.1554 0.1280 0.0700 0.3900 0.2340 0.1369
177-AH 0.0200 0.0600 0.0800 0.1100 0.1100 0.0750 0.0317 0.0500 0.0900 0.4228 0.0666 0.0558 0.0240 0.0200 0.1100 0.0750 0.0317
178-AH 0.0000 0.0000 0.0000 0.0200 0.0300 0.0090 0.0129 0.0200 0.0300 1.4296 0.0002 0.0000 0.0108 0.0000 0.0300 0.0090 0.0129
179-AH 0.0000 0.0000 0.0000 0.0100 0.1000 0.0120 0.0312 0.0100 0.1000 2.5999 0.0001 0.0000 0.0176 0.0000 0.0100 0.0022 0.0044
180-AH 0.0000 0.0000 0.0000 0.0000 0.2800 0.0290 0.0882 0.0000 0.2800 3.0430 0.0001 0.0000 0.0502 0.0000 0.0000 0.0000 0.0000
181-AH 0.0600 0.1100 0.6000 0.7100 0.7300 0.4800 0.2734 0.6000 0.6700 0.5695 0.3561 0.2183 0.2320 0.0600 0.7300 0.4800 0.2734
182-AH 0.0000 0.0000 0.0100 0.0400 0.0400 0.0160 0.0171 0.0400 0.0400 1.0704 0.0019 0.0000 0.0144 0.0000 0.0400 0.0160 0.0171
183-AH 0.0200 0.0300 0.0400 0.0400 0.0400 0.0360 0.0070 0.0100 0.0200 0.1942 0.0352 0.0343 0.0056 0.0200 0.0400 0.0360 0.0070
184-AH 0.0000 0.0000 0.0050 0.0300 0.0500 0.0140 0.0190 0.0300 0.0500 1.3553 0.0005 0.0000 0.0156 0.0000 0.0500 0.0140 0.0190
185-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0060 0.0052 0.0100 0.0100 0.8607 0.0006 0.0000 0.0048 0.0000 0.0100 0.0060 0.0052
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0060 0.0052 0.0100 0.0100 0.8607 0.0006 0.0000 0.0048 0.0000 0.0100 0.0060 0.0052
188-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0010 0.0032 0.0000 0.0100 3.1623 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000
189-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000
190-AH 0.0000 0.0000 0.0100 0.0300 0.0600 0.0190 0.0213 0.0300 0.0600 1.1220 0.0021 0.0000 0.0168 0.0000 0.0600 0.0190 0.0213
413
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0100 0.0200 0.0400 0.0500 0.0600 0.0360 0.0201 0.0300 0.0500 0.5586 0.0297 0.0234 0.0180 0.0100 0.0600 0.0360 0.0201
193-AH 0.0000 0.0000 0.0250 0.0700 0.0700 0.0310 0.0335 0.0700 0.0700 1.0801 0.0008 0.0000 0.0310 0.0000 0.0700 0.0310 0.0335
194-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0030 0.0048 0.0100 0.0100 1.6102 0.0001 0.0000 0.0042 0.0000 0.0100 0.0030 0.0048
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
197-AH 0.0000 0.0200 0.1500 0.4800 0.4900 0.2290 0.2326 0.4600 0.4900 1.0157 0.0435 0.0001 0.2130 0.0000 0.4900 0.2290 0.2326
198-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0040 0.0052 0.0100 0.0100 1.2910 0.0002 0.0000 0.0048 0.0000 0.0100 0.0040 0.0052
199-AH 0.0500 0.0700 0.0850 0.1000 0.1000 0.0800 0.0194 0.0300 0.0500 0.2430 0.0776 0.0750 0.0160 0.0500 0.1000 0.0800 0.0194
200-AH 0.0000 0.0000 0.0250 0.0300 0.0700 0.0240 0.0217 0.0300 0.0700 0.9044 0.0028 0.0000 0.0160 0.0000 0.0700 0.0240 0.0217
251-AH 0.2000 0.2900 0.3300 0.3500 0.3800 0.3130 0.0546 0.0600 0.1800 0.1744 0.3081 0.3026 0.0424 0.2000 0.3800 0.3130 0.0546
252-AH 0.0300 0.0800 0.1200 0.1400 0.1900 0.1160 0.0477 0.0600 0.1600 0.4108 0.1046 0.0896 0.0380 0.0300 0.1900 0.1160 0.0477
253-AH 0.4700 0.4800 0.5050 0.5700 0.6200 0.5260 0.0544 0.0900 0.1500 0.1034 0.5235 0.5212 0.0472 0.4700 0.6200 0.5260 0.0544
254-AH 0.0200 0.1100 0.1950 0.2400 0.4000 0.1880 0.1150 0.1300 0.3800 0.6115 0.1453 0.0923 0.0900 0.0200 0.4000 0.1880 0.1150
255-AH 0.0000 0.0000 0.0150 0.0300 0.0400 0.0160 0.0165 0.0300 0.0400 1.0291 0.0011 0.0000 0.0140 0.0000 0.0400 0.0160 0.0165
256-AH 0.0100 0.0500 0.1650 0.3100 0.3300 0.1790 0.1383 0.2600 0.3200 0.7725 0.1128 0.0541 0.1290 0.0100 0.3300 0.1790 0.1383
257-AH 0.0200 0.0400 0.1000 0.1600 0.2000 0.0960 0.0652 0.1200 0.1800 0.6790 0.0721 0.0508 0.0560 0.0200 0.2000 0.0960 0.0652
258-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0010 0.0032 0.0000 0.0100 3.1623 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0000 0.0100 0.0300 0.0050 0.0097 0.0100 0.0300 1.9437 0.0001 0.0000 0.0070 0.0000 0.0100 0.0022 0.0044
260-AH 0.0000 0.0200 0.1800 0.3000 0.4900 0.1970 0.1795 0.2800 0.4900 0.9112 0.0497 0.0001 0.1410 0.0000 0.4900 0.1970 0.1795
261-AH 0.0000 0.0100 0.0200 0.0700 0.0700 0.0320 0.0301 0.0600 0.0700 0.9410 0.0059 0.0000 0.0264 0.0000 0.0700 0.0320 0.0301
262-AH 0.0000 0.0400 0.0850 0.1200 0.2400 0.0860 0.0717 0.0800 0.2400 0.8335 0.0150 0.0000 0.0520 0.0000 0.2400 0.0860 0.0717
263-AH 0.0000 0.0000 0.0000 0.0100 0.0300 0.0050 0.0097 0.0100 0.0300 1.9437 0.0001 0.0000 0.0070 0.0000 0.0100 0.0022 0.0044
264-AH 0.0100 0.0800 0.1150 0.1200 0.1500 0.0960 0.0486 0.0400 0.1400 0.5060 0.0710 0.0370 0.0376 0.0800 0.1500 0.1175 0.0198
265-AH 0.0000 0.0000 0.0100 0.0600 0.0600 0.0260 0.0299 0.0600 0.0600 1.1496 0.0007 0.0000 0.0272 0.0000 0.0600 0.0260 0.0299
266-AH 0.0000 0.0000 0.0050 0.0200 0.0400 0.0130 0.0164 0.0200 0.0400 1.2588 0.0005 0.0000 0.0136 0.0000 0.0400 0.0130 0.0164
267-AH 0.0100 0.0600 0.0800 0.0800 0.0900 0.0650 0.0276 0.0200 0.0800 0.4244 0.0549 0.0393 0.0210 0.0600 0.0900 0.0775 0.0089
268-AH 0.0000 0.0000 0.0050 0.0200 0.0300 0.0100 0.0115 0.0200 0.0300 1.1547 0.0004 0.0000 0.0100 0.0000 0.0300 0.0100 0.0115
269-AH 0.0000 0.0300 0.0350 0.0400 0.0600 0.0330 0.0177 0.0100 0.0600 0.5354 0.0148 0.0001 0.0130 0.0300 0.0500 0.0371 0.0076
270-AH 0.0100 0.0600 0.1650 0.4700 0.5000 0.2450 0.2110 0.4100 0.4900 0.8612 0.1393 0.0579 0.1880 0.0100 0.5000 0.2450 0.2110
271-AH 0.0900 0.0900 0.1100 0.1800 0.2100 0.1340 0.0497 0.0900 0.1200 0.3710 0.1261 0.1192 0.0448 0.0900 0.2100 0.1340 0.0497
272-AH 0.0000 0.0000 0.0000 0.0900 0.1100 0.0390 0.0507 0.0900 0.1100 1.2988 0.0004 0.0000 0.0468 0.0000 0.1100 0.0390 0.0507
273-AH 0.0600 0.0700 0.0800 0.1100 0.5700 0.1390 0.1560 0.0400 0.5100 1.1225 0.1035 0.0895 0.0964 0.0600 0.1100 0.0787 0.0155
274-AH 0.0100 0.0100 0.0200 0.0400 0.0400 0.0240 0.0126 0.0300 0.0300 0.5270 0.0208 0.0179 0.0108 0.0100 0.0400 0.0240 0.0126
275-AH 0.0400 0.2000 0.2850 0.3700 0.4500 0.2760 0.1264 0.1700 0.4100 0.4580 0.2344 0.1703 0.1020 0.0400 0.4500 0.2760 0.1264
276-AH 0.0000 0.0000 0.0800 0.1800 0.3100 0.1040 0.1049 0.1800 0.3100 1.0087 0.0071 0.0000 0.0868 0.0000 0.3100 0.1040 0.1049
277-AH 0.0200 0.0500 0.1000 0.1300 0.1500 0.0920 0.0485 0.0800 0.1300 0.5270 0.0774 0.0614 0.0440 0.0200 0.1500 0.0920 0.0485
278-AH 0.0000 0.0000 0.0050 0.0500 0.0700 0.0210 0.0269 0.0500 0.0700 1.2787 0.0006 0.0000 0.0232 0.0000 0.0700 0.0210 0.0269
279-AH 0.0000 0.0000 0.0000 0.0100 0.0300 0.0060 0.0097 0.0100 0.0300 1.6102 0.0002 0.0000 0.0072 0.0000 0.0100 0.0033 0.0050
280-AH 0.0000 0.0100 0.0100 0.0100 0.0300 0.0100 0.0082 0.0000 0.0300 0.8165 0.0028 0.0000 0.0040 0.0100 0.0100 0.0100 0.0000
281-AH 0.0700 0.1200 0.1700 0.2000 0.2900 0.1730 0.0727 0.0800 0.2200 0.4204 0.1592 0.1456 0.0550 0.0700 0.2900 0.1730 0.0727
282-AH 0.0500 0.1300 0.1600 0.1700 0.1800 0.1440 0.0389 0.0400 0.1300 0.2703 0.1367 0.1258 0.0284 0.1100 0.1800 0.1544 0.0219
283-AH 0.0000 0.0100 0.0550 0.1700 0.2300 0.0920 0.0926 0.1600 0.2300 1.0064 0.0123 0.0000 0.0824 0.0000 0.2300 0.0920 0.0926
284-AH 0.0000 0.0300 0.1200 0.1800 0.3100 0.1240 0.0983 0.1500 0.3100 0.7931 0.0408 0.0001 0.0800 0.0000 0.3100 0.1240 0.0983
285-AH 0.0000 0.0000 0.0050 0.0800 0.1400 0.0390 0.0547 0.0800 0.1400 1.4016 0.0007 0.0000 0.0448 0.0000 0.1400 0.0390 0.0547
286-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0040 0.0052 0.0100 0.0100 1.2910 0.0002 0.0000 0.0048 0.0000 0.0100 0.0040 0.0052
287-AH 0.0500 0.1400 0.3000 0.3100 0.3600 0.2440 0.1165 0.1700 0.3100 0.4776 0.2030 0.1506 0.0964 0.0500 0.3600 0.2440 0.1165
288-AH 0.0000 0.0200 0.0450 0.1800 0.2900 0.0980 0.1111 0.1600 0.2900 1.1340 0.0257 0.0001 0.0912 0.0000 0.2900 0.0980 0.1111
289-AH 0.0000 0.0000 0.0000 0.0000 0.1100 0.0110 0.0348 0.0000 0.1100 3.1623 0.0000 0.0000 0.0198 0.0000 0.0000 0.0000 0.0000
290-AH 0.0100 0.0200 0.0300 0.0400 0.1400 0.0420 0.0371 0.0200 0.1300 0.8823 0.0328 0.0268 0.0232 0.0100 0.0600 0.0311 0.0145
414
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0000 0.0100 0.0300 0.0500 0.0800 0.0320 0.0239 0.0400 0.0800 0.7483 0.0131 0.0001 0.0184 0.0000 0.0800 0.0320 0.0239
292-AH 0.0200 0.0400 0.0400 0.0400 0.0400 0.0360 0.0084 0.0000 0.0200 0.2342 0.0348 0.0333 0.0064 0.0400 0.0400 0.0400 0.0000
293-AH 0.0000 0.0000 0.0200 0.0800 0.2600 0.0540 0.0813 0.0800 0.2600 1.5050 0.0009 0.0000 0.0568 0.0000 0.0900 0.0311 0.0392
294-AH 0.0300 0.1400 0.1600 0.2600 0.2600 0.1740 0.0853 0.1200 0.2300 0.4901 0.1461 0.1091 0.0688 0.0300 0.2600 0.1740 0.0853
295-AH 0.0000 0.0000 0.0050 0.0200 0.1400 0.0220 0.0434 0.0200 0.1400 1.9732 0.0005 0.0000 0.0272 0.0000 0.0400 0.0089 0.0136
296-AH 0.0000 0.0000 0.0150 0.0500 0.0600 0.0240 0.0267 0.0500 0.0600 1.1146 0.0007 0.0000 0.0240 0.0000 0.0600 0.0240 0.0267
297-AH 0.0000 0.0000 0.0050 0.0400 0.0500 0.0160 0.0217 0.0400 0.0500 1.3566 0.0005 0.0000 0.0184 0.0000 0.0500 0.0160 0.0217
298-AH 0.0000 0.0200 0.0250 0.0400 0.1700 0.0400 0.0485 0.0200 0.1700 1.2134 0.0140 0.0001 0.0300 0.0000 0.0600 0.0256 0.0174
299-AH 0.0000 0.0100 0.0700 0.2000 0.2700 0.1030 0.1013 0.1900 0.2700 0.9838 0.0137 0.0000 0.0876 0.0000 0.2700 0.1030 0.1013
300-AH 0.0000 0.0000 0.0200 0.2000 0.2400 0.0790 0.1040 0.2000 0.2400 1.3161 0.0044 0.0000 0.0886 0.0000 0.2400 0.0790 0.1040
301-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
302-AH 0.0600 0.0800 0.1300 0.1400 0.1500 0.1150 0.0324 0.0600 0.0900 0.2818 0.1103 0.1050 0.0280 0.0600 0.1500 0.1150 0.0324
303-AH 0.0000 0.0400 0.0450 0.0900 0.1000 0.0550 0.0357 0.0500 0.1000 0.6485 0.0217 0.0001 0.0300 0.0000 0.1000 0.0550 0.0357
304-AH 0.0000 0.0000 0.0250 0.0600 0.0800 0.0320 0.0352 0.0600 0.0800 1.1004 0.0008 0.0000 0.0320 0.0000 0.0800 0.0320 0.0352
305-AH 0.0000 0.0000 0.0150 0.0400 0.2300 0.0560 0.0901 0.0400 0.2300 1.6087 0.0032 0.0000 0.0676 0.0000 0.0400 0.0137 0.0151
306-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
307-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0030 0.0048 0.0100 0.0100 1.6102 0.0001 0.0000 0.0042 0.0000 0.0100 0.0030 0.0048
308-AH 0.0600 0.0900 0.0900 0.1100 0.1100 0.0950 0.0158 0.0200 0.0500 0.1664 0.0936 0.0921 0.0120 0.0900 0.1100 0.0989 0.0105
309-AH 0.0200 0.0300 0.0500 0.0500 0.0600 0.0420 0.0140 0.0200 0.0400 0.3330 0.0394 0.0364 0.0116 0.0200 0.0600 0.0420 0.0140
310-AH 0.0000 0.0200 0.0350 0.1000 0.1800 0.0640 0.0659 0.0800 0.1800 1.0291 0.0196 0.0001 0.0528 0.0000 0.1800 0.0640 0.0659
311-AH 0.0600 0.0900 0.1150 0.1900 0.2100 0.1320 0.0516 0.1000 0.1500 0.3909 0.1228 0.1138 0.0444 0.0600 0.2100 0.1320 0.0516
312-AH 0.0000 0.0000 0.0000 0.0000 0.1900 0.0340 0.0723 0.0000 0.1900 2.1263 0.0001 0.0000 0.0544 0.0000 0.0000 0.0000 0.0000
313-AH 0.0000 0.0000 0.0300 0.0600 0.0700 0.0310 0.0277 0.0600 0.0700 0.8925 0.0032 0.0000 0.0232 0.0000 0.0700 0.0310 0.0277
314-AH 0.0000 0.0000 0.0300 0.0700 0.0900 0.0360 0.0353 0.0700 0.0900 0.9817 0.0033 0.0000 0.0320 0.0000 0.0900 0.0360 0.0353
315-AH 0.0000 0.0100 0.0450 0.0700 0.0700 0.0400 0.0279 0.0600 0.0700 0.6972 0.0082 0.0000 0.0220 0.0000 0.0700 0.0400 0.0279
316-AH 0.0000 0.1800 0.2600 0.3000 0.3500 0.2270 0.1142 0.1200 0.3500 0.5032 0.0849 0.0001 0.0862 0.0000 0.3500 0.2270 0.1142
317-AH 0.0200 0.0400 0.0500 0.0500 0.0900 0.0480 0.0175 0.0100 0.0700 0.3648 0.0453 0.0424 0.0104 0.0400 0.0500 0.0463 0.0052
318-AH 0.0000 0.0000 0.0150 0.0500 0.0700 0.0260 0.0267 0.0500 0.0700 1.0288 0.0026 0.0000 0.0232 0.0000 0.0700 0.0260 0.0267
319-AH 0.0700 0.1000 0.1150 0.1300 0.1300 0.1120 0.0187 0.0300 0.0600 0.1673 0.1104 0.1084 0.0140 0.0700 0.1300 0.1120 0.0187
320-AH 0.0100 0.0200 0.0300 0.0300 0.0400 0.0250 0.0097 0.0100 0.0300 0.3887 0.0229 0.0203 0.0080 0.0100 0.0400 0.0250 0.0097
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0050 0.0300 0.0900 0.0240 0.0363 0.0300 0.0900 1.5113 0.0006 0.0000 0.0276 0.0000 0.0300 0.0075 0.0116
323-AH 0.0100 0.0300 0.0450 0.0700 0.1100 0.0530 0.0327 0.0400 0.1000 0.6165 0.0431 0.0330 0.0256 0.0100 0.1100 0.0530 0.0327
324-AH 0.0000 0.0000 0.0200 0.0500 0.0600 0.0240 0.0255 0.0500 0.0600 1.0614 0.0013 0.0000 0.0220 0.0000 0.0600 0.0240 0.0255
325-AH 0.0300 0.0500 0.0750 0.1600 0.1700 0.0910 0.0536 0.1100 0.1400 0.5894 0.0765 0.0636 0.0434 0.0300 0.1700 0.0910 0.0536
326-AH 0.0000 0.0000 0.0150 0.0300 0.0300 0.0150 0.0158 0.0300 0.0300 1.0541 0.0005 0.0000 0.0150 0.0000 0.0300 0.0150 0.0158
327-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0030 0.0095 0.0000 0.0300 3.1623 0.0000 0.0000 0.0054 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.0400 0.1600 0.2200 0.2200 0.1370 0.0912 0.1800 0.2200 0.6655 0.0224 0.0000 0.0742 0.0000 0.2200 0.1370 0.0912
329-AH 0.0600 0.0900 0.1200 0.1600 0.1700 0.1210 0.0381 0.0700 0.1100 0.3152 0.1151 0.1089 0.0310 0.0600 0.1700 0.1210 0.0381
330-AH 0.0000 0.0000 0.1850 0.5000 0.5000 0.2360 0.2486 0.5000 0.5000 1.0532 0.0046 0.0000 0.2320 0.0000 0.5000 0.2360 0.2486
331-AH 0.0000 0.0000 0.0200 0.1200 0.1500 0.0550 0.0636 0.1200 0.1500 1.1571 0.0019 0.0000 0.0580 0.0000 0.1500 0.0550 0.0636
332-AH 0.0000 0.0000 0.0350 0.0800 0.0800 0.0390 0.0412 0.0800 0.0800 1.0569 0.0009 0.0000 0.0390 0.0000 0.0800 0.0390 0.0412
333-AH 0.0000 0.0000 0.0100 0.0100 0.0500 0.0100 0.0149 0.0100 0.0500 1.4907 0.0007 0.0000 0.0080 0.0000 0.0100 0.0056 0.0053
334-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0040 0.0097 0.0000 0.0300 2.4152 0.0000 0.0000 0.0064 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0000 0.0200 0.0400 0.0090 0.0137 0.0200 0.0400 1.5226 0.0002 0.0000 0.0108 0.0000 0.0400 0.0090 0.0137
336-AH 0.0000 0.0000 0.0100 0.0300 0.0400 0.0150 0.0165 0.0300 0.0400 1.0999 0.0010 0.0000 0.0140 0.0000 0.0400 0.0150 0.0165
337-AH 0.0000 0.0400 0.1300 0.2000 0.2000 0.1210 0.0835 0.1600 0.2000 0.6898 0.0434 0.0001 0.0770 0.0000 0.2000 0.1210 0.0835
338-AH 0.0000 0.0000 0.0350 0.0700 0.1000 0.0420 0.0421 0.0700 0.1000 1.0026 0.0035 0.0000 0.0380 0.0000 0.1000 0.0420 0.0421
339-AH 0.0000 0.0000 0.0500 0.1100 0.1700 0.0620 0.0680 0.1100 0.1700 1.0960 0.0011 0.0000 0.0620 0.0000 0.1700 0.0620 0.0680
340-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0030 0.0095 0.0000 0.0300 3.1623 0.0000 0.0000 0.0054 0.0000 0.0000 0.0000 0.0000
415
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0100 0.0100 0.0350 0.0600 0.0600 0.0360 0.0227 0.0500 0.0500 0.6307 0.0281 0.0211 0.0200 0.0100 0.0600 0.0360 0.0227
342-AH 0.1500 0.2300 0.2300 0.5000 0.5900 0.3400 0.1715 0.2700 0.4400 0.5045 0.3028 0.2715 0.1560 0.1500 0.5900 0.3400 0.1715
343-AH 0.0000 0.0000 0.0000 0.0000 0.0100 0.0010 0.0032 0.0000 0.0100 3.1623 0.0000 0.0000 0.0018 0.0000 0.0000 0.0000 0.0000
344-AH 0.0100 0.0100 0.1600 0.2900 0.3000 0.1530 0.1430 0.2800 0.2900 0.9346 0.0630 0.0229 0.1350 0.0100 0.3000 0.1530 0.1430
345-AH 0.0000 0.0000 0.0000 0.0000 0.0400 0.0060 0.0135 0.0000 0.0400 2.2498 0.0000 0.0000 0.0096 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0150 0.0400 0.0700 0.0250 0.0292 0.0400 0.0700 1.1662 0.0007 0.0000 0.0250 0.0000 0.0700 0.0250 0.0292
347-AH 0.0000 0.0000 0.0150 0.0500 0.0600 0.0240 0.0263 0.0500 0.0600 1.0971 0.0007 0.0000 0.0240 0.0000 0.0600 0.0240 0.0263
348-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0100 0.0105 0.0200 0.0200 1.0541 0.0004 0.0000 0.0100 0.0000 0.0200 0.0100 0.0105
349-AH 0.0000 0.0100 0.0850 0.2400 0.2600 0.1190 0.1202 0.2300 0.2600 1.0103 0.0239 0.0001 0.1110 0.0000 0.2600 0.1190 0.1202
350-AH 0.0000 0.0300 0.0450 0.1000 0.1000 0.0550 0.0422 0.0700 0.1000 0.7678 0.0105 0.0000 0.0370 0.0000 0.1000 0.0550 0.0422
416
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0026 0.0050 0.0050 1.0541 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0026
142-AH 0.0200 0.0200 0.0325 0.0400 0.0400 0.0305 0.0101 0.0200 0.0200 0.3319 0.0289 0.0274 0.0095 0.0200 0.0400 0.0305 0.0101
143-AH 0.0000 0.0050 0.0125 0.0300 0.1700 0.0295 0.0507 0.0250 0.1700 1.7182 0.0076 0.0001 0.0293 0.0000 0.0350 0.0139 0.0122
144-AH 0.0000 0.0050 0.0050 0.0150 0.0150 0.0070 0.0059 0.0100 0.0150 0.8384 0.0020 0.0000 0.0048 0.0000 0.0150 0.0070 0.0059
145-AH 0.0450 0.0850 0.1000 0.1100 0.1500 0.0995 0.0349 0.0250 0.1050 0.3509 0.0932 0.0862 0.0246 0.0500 0.1100 0.0929 0.0208
146-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0041 0.0100 0.0100 0.8165 0.0010 0.0000 0.0030 0.0000 0.0100 0.0050 0.0041
147-AH 0.0050 0.0150 0.0375 0.0500 0.0600 0.0330 0.0203 0.0350 0.0550 0.6153 0.0254 0.0177 0.0180 0.0050 0.0600 0.0330 0.0203
148-AH 0.0000 0.0000 0.0000 0.0000 0.0200 0.0020 0.0063 0.0000 0.0200 3.1623 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0050 0.0050 0.0050 0.0050 0.0450 0.0090 0.0126 0.0000 0.0400 1.4055 0.0062 0.0055 0.0072 0.0050 0.0050 0.0050 0.0000
151-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0035 0.0094 0.0000 0.0300 2.6979 0.0000 0.0000 0.0056 0.0000 0.0000 0.0000 0.0000
152-AH 0.0050 0.0050 0.0050 0.0100 0.0450 0.0100 0.0125 0.0050 0.0400 1.2472 0.0072 0.0062 0.0070 0.0050 0.0100 0.0061 0.0022
153-AH 0.0000 0.0000 0.0000 0.0050 0.0050 0.0015 0.0024 0.0050 0.0050 1.6102 0.0001 0.0000 0.0021 0.0000 0.0050 0.0015 0.0024
154-AH 0.0050 0.0100 0.0350 0.0700 0.0750 0.0375 0.0295 0.0600 0.0700 0.7857 0.0251 0.0158 0.0265 0.0050 0.0750 0.0375 0.0295
155-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0030 0.0048 0.0100 0.0100 1.6102 0.0001 0.0000 0.0042 0.0000 0.0100 0.0030 0.0048
156-AH 0.0150 0.0250 0.0400 0.0550 0.0650 0.0405 0.0177 0.0300 0.0500 0.4373 0.0366 0.0326 0.0145 0.0150 0.0650 0.0405 0.0177
157-AH 0.0250 0.0350 0.2250 0.3850 0.4000 0.2140 0.1759 0.3500 0.3750 0.8220 0.1256 0.0679 0.1640 0.0250 0.4000 0.2140 0.1759
158-AH 0.0050 0.0050 0.0075 0.0800 0.1200 0.0350 0.0459 0.0750 0.1150 1.3128 0.0146 0.0084 0.0390 0.0050 0.1200 0.0350 0.0459
159-AH 0.0000 0.0050 0.0050 0.0200 0.1250 0.0190 0.0379 0.0150 0.1250 1.9957 0.0026 0.0000 0.0216 0.0000 0.0200 0.0072 0.0075
160-AH 0.0050 0.0050 0.0100 0.0100 0.0100 0.0080 0.0026 0.0050 0.0050 0.3227 0.0076 0.0071 0.0024 0.0050 0.0100 0.0080 0.0026
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0005 0.0016 0.0000 0.0050 3.1623 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000
163-AH 0.2700 0.3200 0.4025 0.5350 0.6000 0.4305 0.1258 0.2150 0.3300 0.2923 0.4139 0.3980 0.1105 0.2700 0.6000 0.4305 0.1258
164-AH 0.0000 0.0100 0.0150 0.0400 0.1050 0.0280 0.0312 0.0300 0.1050 1.1142 0.0096 0.0001 0.0226 0.0000 0.0450 0.0194 0.0165
165-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0100 0.0200 0.0250 0.0110 0.0117 0.0200 0.0250 1.0671 0.0005 0.0000 0.0110 0.0000 0.0250 0.0110 0.0117
168-AH 0.0000 0.0000 0.0000 0.0000 0.0850 0.0105 0.0269 0.0000 0.0850 2.5639 0.0001 0.0000 0.0168 0.0000 0.0000 0.0000 0.0000
169-AH 0.0000 0.0000 0.0050 0.0200 0.0250 0.0095 0.0104 0.0200 0.0250 1.0942 0.0007 0.0000 0.0094 0.0000 0.0250 0.0095 0.0104
170-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0010 0.0021 0.0000 0.0050 2.1082 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
171-AH 0.0100 0.0150 0.0250 0.0600 0.0650 0.0320 0.0220 0.0450 0.0550 0.6878 0.0254 0.0202 0.0184 0.0100 0.0650 0.0320 0.0220
172-AH 0.0000 0.0000 0.0100 0.0100 0.0150 0.0070 0.0054 0.0100 0.0150 0.7678 0.0012 0.0000 0.0046 0.0000 0.0150 0.0070 0.0054
173-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
174-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
175-AH 0.0000 0.0000 0.0150 0.0300 0.0350 0.0160 0.0161 0.0300 0.0350 1.0078 0.0010 0.0000 0.0150 0.0000 0.0350 0.0160 0.0161
176-AH 0.0450 0.0700 0.1325 0.1900 0.1950 0.1265 0.0666 0.1200 0.1500 0.5264 0.1089 0.0926 0.0625 0.0450 0.1950 0.1265 0.0666
177-AH 0.0250 0.0300 0.0475 0.0550 0.0650 0.0455 0.0148 0.0250 0.0400 0.3254 0.0431 0.0405 0.0115 0.0250 0.0650 0.0455 0.0148
178-AH 0.0000 0.0000 0.0050 0.0100 0.0150 0.0060 0.0057 0.0100 0.0150 0.9461 0.0010 0.0000 0.0044 0.0000 0.0150 0.0060 0.0057
179-AH 0.0000 0.0000 0.0025 0.0050 0.0600 0.0080 0.0184 0.0050 0.0600 2.3049 0.0003 0.0000 0.0104 0.0000 0.0050 0.0022 0.0026
180-AH 0.0000 0.0000 0.0025 0.0350 0.1600 0.0245 0.0500 0.0350 0.1600 2.0396 0.0005 0.0000 0.0323 0.0000 0.0400 0.0094 0.0161
181-AH 0.0500 0.0900 0.3725 0.4250 0.4400 0.3055 0.1605 0.3350 0.3900 0.5253 0.2421 0.1676 0.1373 0.0500 0.4400 0.3055 0.1605
182-AH 0.0000 0.0050 0.0075 0.0200 0.0200 0.0095 0.0080 0.0150 0.0200 0.8395 0.0025 0.0000 0.0065 0.0000 0.0200 0.0095 0.0080
183-AH 0.0100 0.0150 0.0200 0.0200 0.0200 0.0180 0.0035 0.0050 0.0100 0.1942 0.0176 0.0171 0.0028 0.0100 0.0200 0.0180 0.0035
184-AH 0.0000 0.0050 0.0075 0.0250 0.0300 0.0115 0.0111 0.0200 0.0300 0.9624 0.0027 0.0000 0.0091 0.0000 0.0300 0.0115 0.0111
185-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0040 0.0021 0.0000 0.0050 0.5270 0.0014 0.0000 0.0016 0.0050 0.0050 0.0050 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0035 0.0024 0.0050 0.0050 0.6901 0.0008 0.0000 0.0021 0.0000 0.0050 0.0035 0.0024
188-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0005 0.0016 0.0000 0.0050 3.1623 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000
189-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000
190-AH 0.0000 0.0050 0.0075 0.0150 0.0300 0.0105 0.0101 0.0100 0.0300 0.9642 0.0026 0.0000 0.0077 0.0000 0.0300 0.0105 0.0101
417
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0050 0.0100 0.0200 0.0250 0.0300 0.0180 0.0101 0.0150 0.0250 0.5586 0.0149 0.0117 0.0090 0.0050 0.0300 0.0180 0.0101
193-AH 0.0000 0.0000 0.0175 0.0350 0.0350 0.0175 0.0184 0.0350 0.0350 1.0541 0.0006 0.0000 0.0175 0.0000 0.0350 0.0175 0.0184
194-AH 0.0000 0.0000 0.0000 0.0050 0.0050 0.0015 0.0024 0.0050 0.0050 1.6102 0.0001 0.0000 0.0021 0.0000 0.0050 0.0015 0.0024
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
197-AH 0.0050 0.0300 0.1050 0.2400 0.2500 0.1275 0.1115 0.2100 0.2450 0.8744 0.0667 0.0264 0.1035 0.0050 0.2500 0.1275 0.1115
198-AH 0.0000 0.0000 0.0000 0.0050 0.0050 0.0020 0.0026 0.0050 0.0050 1.2910 0.0001 0.0000 0.0024 0.0000 0.0050 0.0020 0.0026
199-AH 0.0350 0.0350 0.0475 0.0500 0.0500 0.0440 0.0070 0.0150 0.0150 0.1589 0.0435 0.0429 0.0062 0.0350 0.0500 0.0440 0.0070
200-AH 0.0000 0.0200 0.0225 0.0250 0.0400 0.0230 0.0106 0.0050 0.0400 0.4606 0.0113 0.0001 0.0070 0.0200 0.0250 0.0221 0.0027
251-AH 0.1000 0.1650 0.1775 0.1800 0.2150 0.1725 0.0310 0.0150 0.1150 0.1799 0.1695 0.1658 0.0200 0.1550 0.1800 0.1721 0.0095
252-AH 0.0300 0.0450 0.0875 0.1250 0.1400 0.0855 0.0392 0.0800 0.1100 0.4584 0.0763 0.0668 0.0335 0.0300 0.1400 0.0855 0.0392
253-AH 0.3300 0.3400 0.3550 0.4250 0.4500 0.3775 0.0458 0.0850 0.1200 0.1214 0.3751 0.3727 0.0410 0.3300 0.4500 0.3775 0.0458
254-AH 0.0250 0.0900 0.1625 0.2150 0.3550 0.1660 0.1041 0.1250 0.3300 0.6270 0.1290 0.0888 0.0820 0.0250 0.3550 0.1660 0.1041
255-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0095 0.0093 0.0200 0.0200 0.9752 0.0008 0.0000 0.0085 0.0000 0.0200 0.0095 0.0093
256-AH 0.0250 0.0500 0.0975 0.1650 0.1700 0.1030 0.0622 0.1150 0.1450 0.6038 0.0835 0.0660 0.0580 0.0250 0.1700 0.1030 0.0622
257-AH 0.0200 0.0450 0.0625 0.0950 0.1500 0.0680 0.0396 0.0500 0.1300 0.5823 0.0577 0.0480 0.0310 0.0200 0.1500 0.0680 0.0396
258-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0010 0.0021 0.0000 0.0050 2.1082 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
259-AH 0.0000 0.0000 0.0025 0.0050 0.0150 0.0035 0.0047 0.0050 0.0150 1.3553 0.0002 0.0000 0.0035 0.0000 0.0050 0.0022 0.0026
260-AH 0.0100 0.0600 0.1225 0.1950 0.3100 0.1380 0.1045 0.1350 0.3000 0.7572 0.0960 0.0524 0.0806 0.0100 0.3100 0.1380 0.1045
261-AH 0.0000 0.0100 0.0200 0.0450 0.0500 0.0230 0.0183 0.0350 0.0500 0.7951 0.0052 0.0000 0.0146 0.0000 0.0500 0.0230 0.0183
262-AH 0.0000 0.0450 0.0725 0.1000 0.1650 0.0720 0.0507 0.0550 0.1650 0.7046 0.0137 0.0000 0.0390 0.0000 0.1650 0.0720 0.0507
263-AH 0.0000 0.0000 0.0000 0.0050 0.0250 0.0035 0.0078 0.0050 0.0250 2.2386 0.0001 0.0000 0.0049 0.0000 0.0050 0.0011 0.0022
264-AH 0.0050 0.0600 0.0700 0.0750 0.0900 0.0600 0.0277 0.0150 0.0850 0.4615 0.0471 0.0264 0.0200 0.0600 0.0900 0.0725 0.0093
265-AH 0.0000 0.0000 0.0075 0.0300 0.0300 0.0135 0.0149 0.0300 0.0300 1.1049 0.0005 0.0000 0.0135 0.0000 0.0300 0.0135 0.0149
266-AH 0.0000 0.0000 0.0075 0.0200 0.0200 0.0095 0.0101 0.0200 0.0200 1.0657 0.0004 0.0000 0.0095 0.0000 0.0200 0.0095 0.0101
267-AH 0.0150 0.0400 0.0450 0.0550 0.0650 0.0435 0.0151 0.0150 0.0500 0.3472 0.0405 0.0366 0.0108 0.0250 0.0650 0.0467 0.0120
268-AH 0.0000 0.0000 0.0050 0.0100 0.0150 0.0060 0.0061 0.0100 0.0150 1.0244 0.0006 0.0000 0.0052 0.0000 0.0150 0.0060 0.0061
269-AH 0.0050 0.0150 0.0300 0.0300 0.0350 0.0240 0.0115 0.0150 0.0300 0.4791 0.0198 0.0143 0.0094 0.0050 0.0350 0.0240 0.0115
270-AH 0.0350 0.0550 0.1250 0.2600 0.2700 0.1490 0.1091 0.2050 0.2350 0.7324 0.1076 0.0766 0.1010 0.0350 0.2700 0.1490 0.1091
271-AH 0.0550 0.0600 0.0675 0.1150 0.1200 0.0840 0.0293 0.0550 0.0650 0.3491 0.0796 0.0756 0.0268 0.0550 0.1200 0.0840 0.0293
272-AH 0.0000 0.0000 0.0000 0.0600 0.0600 0.0235 0.0304 0.0600 0.0600 1.2925 0.0003 0.0000 0.0282 0.0000 0.0600 0.0235 0.0304
273-AH 0.0400 0.0550 0.0675 0.0850 0.3300 0.0940 0.0851 0.0300 0.2900 0.9051 0.0766 0.0682 0.0494 0.0400 0.1050 0.0678 0.0202
274-AH 0.0050 0.0100 0.0175 0.0300 0.0350 0.0195 0.0107 0.0200 0.0300 0.5466 0.0167 0.0138 0.0085 0.0050 0.0350 0.0195 0.0107
275-AH 0.0350 0.1600 0.2050 0.2450 0.2800 0.1935 0.0749 0.0850 0.2450 0.3871 0.1715 0.1350 0.0585 0.0350 0.2800 0.1935 0.0749
276-AH 0.0000 0.0000 0.0675 0.1250 0.1800 0.0720 0.0664 0.1250 0.1800 0.9226 0.0057 0.0000 0.0554 0.0000 0.1800 0.0720 0.0664
277-AH 0.0200 0.0250 0.0525 0.0650 0.0800 0.0495 0.0228 0.0400 0.0600 0.4603 0.0443 0.0391 0.0205 0.0200 0.0800 0.0495 0.0228
278-AH 0.0000 0.0000 0.0075 0.0350 0.0500 0.0175 0.0211 0.0350 0.0500 1.2066 0.0006 0.0000 0.0180 0.0000 0.0500 0.0175 0.0211
279-AH 0.0000 0.0000 0.0025 0.0150 0.0150 0.0055 0.0069 0.0150 0.0150 1.2457 0.0003 0.0000 0.0057 0.0000 0.0150 0.0055 0.0069
280-AH 0.0050 0.0100 0.0100 0.0150 0.0200 0.0120 0.0042 0.0050 0.0150 0.3514 0.0113 0.0105 0.0034 0.0050 0.0200 0.0120 0.0042
281-AH 0.0550 0.0750 0.1050 0.1700 0.1750 0.1195 0.0484 0.0950 0.1200 0.4049 0.1102 0.1013 0.0424 0.0550 0.1750 0.1195 0.0484
282-AH 0.0600 0.0750 0.0950 0.1050 0.1100 0.0910 0.0161 0.0300 0.0500 0.1772 0.0896 0.0880 0.0128 0.0600 0.1100 0.0910 0.0161
283-AH 0.0150 0.0200 0.0375 0.1000 0.1300 0.0595 0.0481 0.0800 0.1150 0.8084 0.0415 0.0296 0.0424 0.0150 0.1300 0.0595 0.0481
284-AH 0.0100 0.0200 0.0750 0.1150 0.1850 0.0785 0.0559 0.0950 0.1750 0.7118 0.0567 0.0362 0.0435 0.0100 0.1850 0.0785 0.0559
285-AH 0.0000 0.0000 0.0100 0.0700 0.1100 0.0370 0.0449 0.0700 0.1100 1.2140 0.0027 0.0000 0.0394 0.0000 0.1100 0.0370 0.0449
286-AH 0.0000 0.0000 0.0025 0.0100 0.0100 0.0040 0.0046 0.0100 0.0100 1.1487 0.0003 0.0000 0.0040 0.0000 0.0100 0.0040 0.0046
287-AH 0.0450 0.0800 0.1900 0.2100 0.2300 0.1570 0.0723 0.1300 0.1850 0.4606 0.1357 0.1105 0.0606 0.0450 0.2300 0.1570 0.0723
288-AH 0.0050 0.0200 0.0450 0.1350 0.1950 0.0755 0.0730 0.1150 0.1900 0.9670 0.0446 0.0233 0.0597 0.0050 0.1950 0.0755 0.0730
289-AH 0.0000 0.0000 0.0000 0.0000 0.0650 0.0065 0.0206 0.0000 0.0650 3.1623 0.0000 0.0000 0.0117 0.0000 0.0000 0.0000 0.0000
290-AH 0.0150 0.0150 0.0225 0.0300 0.0950 0.0295 0.0240 0.0150 0.0800 0.8127 0.0247 0.0221 0.0143 0.0150 0.0350 0.0222 0.0071
418
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0100 0.0200 0.0300 0.0350 0.0550 0.0295 0.0121 0.0150 0.0450 0.4109 0.0271 0.0244 0.0086 0.0100 0.0550 0.0295 0.0121
292-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0180 0.0042 0.0000 0.0100 0.2342 0.0174 0.0167 0.0032 0.0200 0.0200 0.0200 0.0000
293-AH 0.0000 0.0000 0.0200 0.0850 0.1500 0.0450 0.0557 0.0850 0.1500 1.2373 0.0009 0.0000 0.0460 0.0000 0.1500 0.0450 0.0557
294-AH 0.0350 0.0800 0.1000 0.1350 0.1350 0.0965 0.0393 0.0550 0.1000 0.4073 0.0870 0.0756 0.0325 0.0350 0.1350 0.0965 0.0393
295-AH 0.0000 0.0000 0.0150 0.0250 0.0850 0.0190 0.0258 0.0250 0.0850 1.3578 0.0011 0.0000 0.0168 0.0000 0.0300 0.0117 0.0120
296-AH 0.0000 0.0050 0.0150 0.0300 0.0400 0.0170 0.0148 0.0250 0.0400 0.8681 0.0037 0.0000 0.0130 0.0000 0.0400 0.0170 0.0148
297-AH 0.0000 0.0000 0.0075 0.0200 0.0300 0.0105 0.0114 0.0200 0.0300 1.0870 0.0008 0.0000 0.0096 0.0000 0.0300 0.0105 0.0114
298-AH 0.0050 0.0150 0.0200 0.0300 0.0950 0.0255 0.0259 0.0150 0.0900 1.0144 0.0181 0.0131 0.0157 0.0050 0.0300 0.0178 0.0091
299-AH 0.0000 0.0050 0.0550 0.1350 0.2100 0.0745 0.0735 0.1300 0.2100 0.9861 0.0189 0.0001 0.0625 0.0000 0.2100 0.0745 0.0735
300-AH 0.0000 0.0100 0.0325 0.1350 0.1700 0.0630 0.0681 0.1250 0.1700 1.0806 0.0174 0.0001 0.0572 0.0000 0.1700 0.0630 0.0681
301-AH 0.0000 0.0000 0.0000 0.0050 0.0050 0.0015 0.0024 0.0050 0.0050 1.6102 0.0001 0.0000 0.0021 0.0000 0.0050 0.0015 0.0024
302-AH 0.0350 0.0600 0.0650 0.0750 0.0850 0.0655 0.0148 0.0150 0.0500 0.2260 0.0638 0.0617 0.0106 0.0550 0.0850 0.0689 0.0108
303-AH 0.0000 0.0300 0.0400 0.0500 0.0600 0.0375 0.0174 0.0200 0.0600 0.4629 0.0175 0.0001 0.0130 0.0000 0.0600 0.0375 0.0174
304-AH 0.0000 0.0000 0.0125 0.0300 0.0500 0.0175 0.0196 0.0300 0.0500 1.1208 0.0006 0.0000 0.0175 0.0000 0.0500 0.0175 0.0196
305-AH 0.0000 0.0100 0.0325 0.0400 0.1950 0.0560 0.0734 0.0300 0.1950 1.3101 0.0147 0.0001 0.0546 0.0000 0.0400 0.0219 0.0162
306-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
307-AH 0.0000 0.0000 0.0025 0.0050 0.0150 0.0035 0.0047 0.0050 0.0150 1.3553 0.0002 0.0000 0.0035 0.0000 0.0050 0.0022 0.0026
308-AH 0.0350 0.0450 0.0450 0.0550 0.0550 0.0480 0.0067 0.0100 0.0200 0.1406 0.0476 0.0471 0.0056 0.0350 0.0550 0.0480 0.0067
309-AH 0.0250 0.0250 0.0300 0.0350 0.0400 0.0305 0.0055 0.0100 0.0150 0.1804 0.0301 0.0296 0.0046 0.0250 0.0400 0.0305 0.0055
310-AH 0.0100 0.0100 0.0325 0.0800 0.1350 0.0505 0.0483 0.0700 0.1250 0.9570 0.0311 0.0200 0.0386 0.0100 0.1350 0.0505 0.0483
311-AH 0.0600 0.0650 0.1150 0.1350 0.1400 0.1045 0.0313 0.0700 0.0800 0.2996 0.0997 0.0946 0.0266 0.0600 0.1400 0.1045 0.0313
312-AH 0.0000 0.0000 0.0000 0.0000 0.1300 0.0225 0.0481 0.0000 0.1300 2.1398 0.0001 0.0000 0.0360 0.0000 0.0000 0.0000 0.0000
313-AH 0.0050 0.0150 0.0300 0.0400 0.0450 0.0270 0.0151 0.0250 0.0400 0.5603 0.0213 0.0147 0.0126 0.0050 0.0450 0.0270 0.0151
314-AH 0.0000 0.0000 0.0225 0.0450 0.0650 0.0250 0.0252 0.0450 0.0650 1.0066 0.0024 0.0000 0.0230 0.0000 0.0650 0.0250 0.0252
315-AH 0.0000 0.0200 0.0300 0.0450 0.0500 0.0280 0.0181 0.0250 0.0500 0.6477 0.0065 0.0000 0.0150 0.0000 0.0500 0.0280 0.0181
316-AH 0.0000 0.2150 0.2275 0.2400 0.2850 0.2060 0.0848 0.0250 0.2850 0.4116 0.0822 0.0001 0.0574 0.2150 0.2400 0.2275 0.0094
317-AH 0.0200 0.0250 0.0250 0.0350 0.0650 0.0305 0.0130 0.0100 0.0450 0.4264 0.0288 0.0276 0.0087 0.0200 0.0350 0.0267 0.0050
318-AH 0.0000 0.0000 0.0150 0.0350 0.0400 0.0180 0.0175 0.0350 0.0400 0.9729 0.0020 0.0000 0.0160 0.0000 0.0400 0.0180 0.0175
319-AH 0.0500 0.0550 0.0575 0.0650 0.0700 0.0595 0.0076 0.0100 0.0200 0.1281 0.0591 0.0586 0.0065 0.0500 0.0700 0.0595 0.0076
320-AH 0.0050 0.0150 0.0175 0.0200 0.0300 0.0170 0.0067 0.0050 0.0250 0.3970 0.0155 0.0136 0.0050 0.0100 0.0200 0.0169 0.0037
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0125 0.0250 0.0550 0.0180 0.0210 0.0250 0.0550 1.1653 0.0011 0.0000 0.0170 0.0000 0.0550 0.0180 0.0210
323-AH 0.0050 0.0300 0.0400 0.0500 0.0750 0.0410 0.0226 0.0200 0.0700 0.5508 0.0331 0.0223 0.0170 0.0050 0.0750 0.0410 0.0226
324-AH 0.0000 0.0050 0.0250 0.0450 0.0600 0.0260 0.0218 0.0400 0.0600 0.8397 0.0092 0.0001 0.0182 0.0000 0.0600 0.0260 0.0218
325-AH 0.0200 0.0450 0.0525 0.0950 0.1050 0.0600 0.0296 0.0500 0.0850 0.4938 0.0529 0.0457 0.0240 0.0200 0.1050 0.0600 0.0296
326-AH 0.0000 0.0000 0.0100 0.0150 0.0200 0.0090 0.0077 0.0150 0.0200 0.8607 0.0014 0.0000 0.0070 0.0000 0.0200 0.0090 0.0077
327-AH 0.0000 0.0000 0.0000 0.0000 0.0200 0.0025 0.0063 0.0000 0.0200 2.5386 0.0000 0.0000 0.0040 0.0000 0.0000 0.0000 0.0000
328-AH 0.0000 0.0300 0.0925 0.1150 0.1150 0.0755 0.0476 0.0850 0.1150 0.6309 0.0143 0.0000 0.0393 0.0000 0.1150 0.0755 0.0476
329-AH 0.0400 0.0600 0.0625 0.0800 0.0850 0.0655 0.0142 0.0200 0.0450 0.2173 0.0640 0.0625 0.0107 0.0400 0.0850 0.0655 0.0142
330-AH 0.0000 0.0000 0.1125 0.2500 0.2500 0.1225 0.1275 0.2500 0.2500 1.0407 0.0031 0.0000 0.1205 0.0000 0.2500 0.1225 0.1275
331-AH 0.0000 0.0000 0.0300 0.0850 0.0850 0.0400 0.0415 0.0850 0.0850 1.0375 0.0017 0.0000 0.0380 0.0000 0.0850 0.0400 0.0415
332-AH 0.0000 0.0000 0.0200 0.0400 0.0400 0.0200 0.0211 0.0400 0.0400 1.0541 0.0006 0.0000 0.0200 0.0000 0.0400 0.0200 0.0211
333-AH 0.0000 0.0050 0.0050 0.0100 0.0250 0.0070 0.0071 0.0050 0.0250 1.0213 0.0019 0.0000 0.0048 0.0000 0.0100 0.0050 0.0035
334-AH 0.0000 0.0000 0.0000 0.0000 0.0150 0.0020 0.0048 0.0000 0.0150 2.4152 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000
335-AH 0.0000 0.0000 0.0025 0.0100 0.0300 0.0065 0.0094 0.0100 0.0300 1.4527 0.0003 0.0000 0.0068 0.0000 0.0100 0.0039 0.0049
336-AH 0.0000 0.0000 0.0075 0.0200 0.0250 0.0105 0.0109 0.0200 0.0250 1.0397 0.0008 0.0000 0.0096 0.0000 0.0250 0.0105 0.0109
337-AH 0.0150 0.0250 0.0775 0.1000 0.1000 0.0675 0.0365 0.0750 0.0850 0.5401 0.0556 0.0429 0.0325 0.0150 0.1000 0.0675 0.0365
338-AH 0.0000 0.0050 0.0200 0.0400 0.0500 0.0225 0.0212 0.0350 0.0500 0.9443 0.0042 0.0000 0.0195 0.0000 0.0500 0.0225 0.0212
339-AH 0.0000 0.0000 0.0450 0.0850 0.0900 0.0440 0.0454 0.0850 0.0900 1.0315 0.0017 0.0000 0.0430 0.0000 0.0900 0.0440 0.0454
340-AH 0.0000 0.0000 0.0000 0.0000 0.0150 0.0015 0.0047 0.0000 0.0150 3.1623 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
419
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0050 0.0050 0.0225 0.0300 0.0300 0.0195 0.0112 0.0250 0.0250 0.5727 0.0154 0.0112 0.0096 0.0050 0.0300 0.0195 0.0112
342-AH 0.1000 0.1350 0.2125 0.4450 0.4600 0.2745 0.1563 0.3100 0.3600 0.5693 0.2337 0.1993 0.1404 0.1000 0.4600 0.2745 0.1563
343-AH 0.0000 0.0000 0.0000 0.0000 0.0050 0.0005 0.0016 0.0000 0.0050 3.1623 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000
344-AH 0.0050 0.0050 0.0925 0.1600 0.1600 0.0840 0.0775 0.1550 0.1550 0.9229 0.0340 0.0116 0.0730 0.0050 0.1600 0.0840 0.0775
345-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0050 0.0108 0.0000 0.0300 2.1602 0.0000 0.0000 0.0080 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0175 0.0400 0.0450 0.0205 0.0218 0.0400 0.0450 1.0628 0.0006 0.0000 0.0205 0.0000 0.0450 0.0205 0.0218
347-AH 0.0000 0.0000 0.0075 0.0300 0.0300 0.0135 0.0149 0.0300 0.0300 1.1049 0.0005 0.0000 0.0135 0.0000 0.0300 0.0135 0.0149
348-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0541 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
349-AH 0.0050 0.0050 0.0550 0.1350 0.1350 0.0670 0.0660 0.1300 0.1300 0.9845 0.0253 0.0096 0.0620 0.0050 0.1350 0.0670 0.0660
350-AH 0.0000 0.0200 0.0275 0.0500 0.0500 0.0295 0.0203 0.0300 0.0500 0.6894 0.0067 0.0000 0.0175 0.0000 0.0500 0.0295 0.0203
420
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0011 0.0020 0.0020 1.0541 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0011
142-AH 0.0080 0.0080 0.0130 0.0160 0.0160 0.0124 0.0039 0.0080 0.0080 0.3116 0.0118 0.0113 0.0036 0.0080 0.0160 0.0124 0.0039
143-AH 0.0040 0.0060 0.0100 0.0200 0.0740 0.0170 0.0209 0.0140 0.0700 1.2317 0.0112 0.0087 0.0130 0.0040 0.0220 0.0107 0.0065
144-AH 0.0000 0.0020 0.0020 0.0060 0.0060 0.0028 0.0023 0.0040 0.0060 0.8384 0.0010 0.0000 0.0019 0.0000 0.0060 0.0028 0.0023
145-AH 0.0360 0.0440 0.0480 0.0540 0.0700 0.0496 0.0112 0.0100 0.0340 0.2256 0.0485 0.0475 0.0082 0.0360 0.0660 0.0473 0.0091
146-AH 0.0000 0.0020 0.0030 0.0040 0.0040 0.0026 0.0016 0.0020 0.0040 0.6333 0.0010 0.0000 0.0014 0.0000 0.0040 0.0026 0.0016
147-AH 0.0040 0.0060 0.0240 0.0340 0.0360 0.0218 0.0127 0.0280 0.0320 0.5842 0.0170 0.0119 0.0106 0.0040 0.0360 0.0218 0.0127
148-AH 0.0000 0.0000 0.0000 0.0000 0.0080 0.0008 0.0025 0.0000 0.0080 3.1623 0.0000 0.0000 0.0014 0.0000 0.0000 0.0000 0.0000
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0020 0.0020 0.0080 0.0080 0.0180 0.0072 0.0047 0.0060 0.0160 0.6573 0.0057 0.0043 0.0031 0.0020 0.0080 0.0060 0.0030
151-AH 0.0000 0.0000 0.0000 0.0040 0.0120 0.0026 0.0042 0.0040 0.0120 1.6237 0.0001 0.0000 0.0032 0.0000 0.0080 0.0016 0.0028
152-AH 0.0020 0.0020 0.0040 0.0060 0.0200 0.0062 0.0057 0.0040 0.0180 0.9181 0.0046 0.0037 0.0039 0.0020 0.0060 0.0038 0.0017
153-AH 0.0000 0.0000 0.0000 0.0020 0.0020 0.0006 0.0010 0.0020 0.0020 1.6102 0.0000 0.0000 0.0008 0.0000 0.0020 0.0006 0.0010
154-AH 0.0040 0.0040 0.0190 0.0300 0.0320 0.0178 0.0130 0.0260 0.0280 0.7329 0.0125 0.0084 0.0122 0.0040 0.0320 0.0178 0.0130
155-AH 0.0000 0.0000 0.0010 0.0040 0.0040 0.0016 0.0018 0.0040 0.0040 1.1487 0.0002 0.0000 0.0016 0.0000 0.0040 0.0016 0.0018
156-AH 0.0100 0.0200 0.0270 0.0320 0.0340 0.0248 0.0082 0.0120 0.0240 0.3319 0.0233 0.0214 0.0068 0.0100 0.0340 0.0248 0.0082
157-AH 0.0160 0.0240 0.1310 0.2360 0.2380 0.1302 0.1059 0.2120 0.2220 0.8134 0.0798 0.0459 0.0994 0.0160 0.2380 0.1302 0.1059
158-AH 0.0020 0.0020 0.0070 0.0500 0.0540 0.0188 0.0231 0.0480 0.0520 1.2307 0.0079 0.0040 0.0199 0.0020 0.0540 0.0188 0.0231
159-AH 0.0000 0.0040 0.0060 0.0100 0.0660 0.0126 0.0192 0.0060 0.0660 1.5263 0.0044 0.0001 0.0114 0.0000 0.0160 0.0067 0.0045
160-AH 0.0020 0.0020 0.0040 0.0040 0.0040 0.0034 0.0010 0.0020 0.0020 0.2841 0.0032 0.0031 0.0008 0.0020 0.0040 0.0034 0.0010
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0020 0.0020 0.0006 0.0010 0.0020 0.0020 1.6102 0.0000 0.0000 0.0008 0.0000 0.0020 0.0006 0.0010
163-AH 0.1380 0.1740 0.2040 0.2400 0.2420 0.2032 0.0371 0.0660 0.1040 0.1826 0.2000 0.1966 0.0312 0.1380 0.2420 0.2032 0.0371
164-AH 0.0020 0.0120 0.0150 0.0220 0.0480 0.0190 0.0133 0.0100 0.0460 0.7004 0.0146 0.0095 0.0096 0.0020 0.0340 0.0158 0.0091
165-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0053 0.0100 0.0100 1.0541 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0053
168-AH 0.0000 0.0000 0.0000 0.0040 0.0360 0.0054 0.0116 0.0040 0.0360 2.1529 0.0001 0.0000 0.0078 0.0000 0.0040 0.0005 0.0014
169-AH 0.0000 0.0000 0.0040 0.0100 0.0100 0.0048 0.0048 0.0100 0.0100 1.0054 0.0005 0.0000 0.0044 0.0000 0.0100 0.0048 0.0048
170-AH 0.0000 0.0000 0.0000 0.0020 0.0020 0.0006 0.0010 0.0020 0.0020 1.6102 0.0000 0.0000 0.0008 0.0000 0.0020 0.0006 0.0010
171-AH 0.0040 0.0120 0.0210 0.0340 0.0340 0.0212 0.0122 0.0220 0.0300 0.5768 0.0172 0.0130 0.0112 0.0040 0.0340 0.0212 0.0122
172-AH 0.0000 0.0060 0.0060 0.0060 0.0080 0.0052 0.0029 0.0000 0.0080 0.5499 0.0018 0.0000 0.0021 0.0060 0.0060 0.0060 0.0000
173-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
174-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
175-AH 0.0000 0.0020 0.0080 0.0140 0.0140 0.0076 0.0068 0.0120 0.0140 0.8928 0.0018 0.0000 0.0064 0.0000 0.0140 0.0076 0.0068
176-AH 0.0280 0.0340 0.0550 0.0760 0.0780 0.0544 0.0229 0.0420 0.0500 0.4205 0.0498 0.0456 0.0216 0.0280 0.0780 0.0544 0.0229
177-AH 0.0180 0.0200 0.0260 0.0260 0.0260 0.0240 0.0033 0.0060 0.0080 0.1361 0.0238 0.0235 0.0028 0.0180 0.0260 0.0240 0.0033
178-AH 0.0000 0.0000 0.0030 0.0060 0.0060 0.0030 0.0025 0.0060 0.0060 0.8462 0.0007 0.0000 0.0022 0.0000 0.0060 0.0030 0.0025
179-AH 0.0000 0.0000 0.0030 0.0040 0.0360 0.0056 0.0109 0.0040 0.0360 1.9474 0.0004 0.0000 0.0062 0.0000 0.0060 0.0022 0.0023
180-AH 0.0000 0.0000 0.0010 0.0460 0.0720 0.0178 0.0270 0.0460 0.0720 1.5144 0.0004 0.0000 0.0225 0.0000 0.0720 0.0178 0.0270
181-AH 0.0480 0.0680 0.1740 0.1800 0.1820 0.1416 0.0560 0.1120 0.1340 0.3951 0.1277 0.1110 0.0482 0.0480 0.1820 0.1416 0.0560
182-AH 0.0000 0.0020 0.0060 0.0080 0.0080 0.0050 0.0032 0.0060 0.0080 0.6325 0.0016 0.0000 0.0026 0.0000 0.0080 0.0050 0.0032
183-AH 0.0060 0.0060 0.0080 0.0080 0.0080 0.0074 0.0010 0.0020 0.0020 0.1306 0.0073 0.0073 0.0008 0.0060 0.0080 0.0074 0.0010
184-AH 0.0020 0.0020 0.0040 0.0120 0.0140 0.0062 0.0051 0.0100 0.0120 0.8252 0.0045 0.0035 0.0043 0.0020 0.0140 0.0062 0.0051
185-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3514 0.0012 0.0001 0.0004 0.0020 0.0020 0.0020 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0014 0.0010 0.0020 0.0020 0.6901 0.0004 0.0000 0.0008 0.0000 0.0020 0.0014 0.0010
188-AH 0.0000 0.0000 0.0000 0.0000 0.0020 0.0002 0.0006 0.0000 0.0020 3.1623 0.0000 0.0000 0.0004 0.0000 0.0000 0.0000 0.0000
189-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000
190-AH 0.0000 0.0020 0.0050 0.0120 0.0140 0.0062 0.0051 0.0100 0.0140 0.8252 0.0018 0.0000 0.0042 0.0000 0.0140 0.0062 0.0051
421
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0020 0.0040 0.0080 0.0120 0.0120 0.0078 0.0038 0.0080 0.0100 0.4902 0.0068 0.0056 0.0034 0.0020 0.0120 0.0078 0.0038
193-AH 0.0000 0.0000 0.0080 0.0140 0.0140 0.0074 0.0070 0.0140 0.0140 0.9453 0.0011 0.0000 0.0066 0.0000 0.0140 0.0074 0.0070
194-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0012 0.0010 0.0020 0.0020 0.8607 0.0002 0.0000 0.0010 0.0000 0.0020 0.0012 0.0010
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
197-AH 0.0060 0.0140 0.0640 0.1000 0.1000 0.0576 0.0447 0.0860 0.0940 0.7753 0.0370 0.0215 0.0420 0.0060 0.1000 0.0576 0.0447
198-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0011 0.0020 0.0020 1.0541 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0011
199-AH 0.0140 0.0160 0.0190 0.0200 0.0200 0.0180 0.0023 0.0040 0.0060 0.1283 0.0179 0.0177 0.0020 0.0140 0.0200 0.0180 0.0023
200-AH 0.0000 0.0100 0.0130 0.0160 0.0160 0.0118 0.0048 0.0060 0.0160 0.4109 0.0063 0.0001 0.0034 0.0100 0.0160 0.0131 0.0027
251-AH 0.0500 0.0720 0.0760 0.0880 0.0940 0.0768 0.0121 0.0160 0.0440 0.1578 0.0758 0.0747 0.0082 0.0500 0.0940 0.0768 0.0121
252-AH 0.0140 0.0340 0.0490 0.0560 0.0580 0.0446 0.0143 0.0220 0.0440 0.3206 0.0416 0.0374 0.0113 0.0140 0.0580 0.0446 0.0143
253-AH 0.1900 0.2060 0.2200 0.2520 0.2580 0.2258 0.0255 0.0460 0.0680 0.1131 0.2245 0.2232 0.0218 0.1900 0.2580 0.2258 0.0255
254-AH 0.0200 0.0720 0.1260 0.1700 0.2280 0.1220 0.0687 0.0980 0.2080 0.5632 0.0974 0.0687 0.0572 0.0200 0.2280 0.1220 0.0687
255-AH 0.0000 0.0000 0.0050 0.0080 0.0080 0.0042 0.0040 0.0080 0.0080 0.9642 0.0005 0.0000 0.0038 0.0000 0.0080 0.0042 0.0040
256-AH 0.0200 0.0320 0.0530 0.0680 0.0680 0.0504 0.0183 0.0360 0.0480 0.3636 0.0468 0.0428 0.0160 0.0200 0.0680 0.0504 0.0183
257-AH 0.0100 0.0260 0.0380 0.0620 0.0760 0.0420 0.0224 0.0360 0.0660 0.5331 0.0359 0.0294 0.0196 0.0100 0.0760 0.0420 0.0224
258-AH 0.0000 0.0000 0.0000 0.0040 0.0060 0.0014 0.0023 0.0040 0.0060 1.6564 0.0001 0.0000 0.0020 0.0000 0.0060 0.0014 0.0023
259-AH 0.0000 0.0020 0.0030 0.0040 0.0060 0.0028 0.0019 0.0020 0.0060 0.6901 0.0010 0.0000 0.0016 0.0000 0.0060 0.0028 0.0019
260-AH 0.0160 0.0540 0.0770 0.0900 0.1240 0.0764 0.0329 0.0360 0.1080 0.4310 0.0677 0.0553 0.0248 0.0160 0.1240 0.0764 0.0329
261-AH 0.0020 0.0080 0.0120 0.0220 0.0240 0.0138 0.0079 0.0140 0.0220 0.5694 0.0110 0.0076 0.0066 0.0020 0.0240 0.0138 0.0079
262-AH 0.0000 0.0360 0.0490 0.0760 0.0980 0.0500 0.0324 0.0400 0.0980 0.6477 0.0104 0.0000 0.0244 0.0000 0.0980 0.0500 0.0324
263-AH 0.0000 0.0000 0.0000 0.0040 0.0160 0.0024 0.0051 0.0040 0.0160 2.1082 0.0001 0.0000 0.0034 0.0000 0.0040 0.0009 0.0018
264-AH 0.0140 0.0280 0.0360 0.0380 0.0380 0.0320 0.0083 0.0100 0.0240 0.2585 0.0307 0.0290 0.0064 0.0140 0.0380 0.0320 0.0083
265-AH 0.0000 0.0000 0.0040 0.0120 0.0120 0.0056 0.0060 0.0120 0.0120 1.0754 0.0003 0.0000 0.0056 0.0000 0.0120 0.0056 0.0060
266-AH 0.0000 0.0000 0.0050 0.0080 0.0080 0.0044 0.0036 0.0080 0.0080 0.8243 0.0008 0.0000 0.0032 0.0000 0.0080 0.0044 0.0036
267-AH 0.0160 0.0220 0.0270 0.0320 0.0360 0.0264 0.0070 0.0100 0.0200 0.2644 0.0255 0.0245 0.0056 0.0160 0.0360 0.0264 0.0070
268-AH 0.0000 0.0000 0.0040 0.0040 0.0060 0.0028 0.0025 0.0040 0.0060 0.9035 0.0004 0.0000 0.0022 0.0000 0.0060 0.0028 0.0025
269-AH 0.0020 0.0080 0.0120 0.0160 0.0160 0.0106 0.0053 0.0080 0.0140 0.4956 0.0086 0.0060 0.0041 0.0020 0.0160 0.0106 0.0053
270-AH 0.0200 0.0400 0.0690 0.1120 0.1120 0.0708 0.0411 0.0720 0.0920 0.5803 0.0579 0.0457 0.0380 0.0200 0.1120 0.0708 0.0411
271-AH 0.0280 0.0280 0.0330 0.0480 0.0480 0.0370 0.0098 0.0200 0.0200 0.2639 0.0359 0.0348 0.0088 0.0280 0.0480 0.0370 0.0098
272-AH 0.0000 0.0000 0.0000 0.0240 0.0280 0.0100 0.0130 0.0240 0.0280 1.2961 0.0002 0.0000 0.0120 0.0000 0.0280 0.0100 0.0130
273-AH 0.0280 0.0360 0.0440 0.0540 0.1480 0.0532 0.0346 0.0180 0.1200 0.6507 0.0472 0.0437 0.0197 0.0280 0.0560 0.0427 0.0100
274-AH 0.0020 0.0040 0.0120 0.0220 0.0240 0.0128 0.0085 0.0180 0.0220 0.6637 0.0097 0.0067 0.0072 0.0020 0.0240 0.0128 0.0085
275-AH 0.0220 0.0820 0.1020 0.1180 0.1220 0.0942 0.0315 0.0360 0.1000 0.3347 0.0862 0.0730 0.0238 0.0680 0.1220 0.1022 0.0199
276-AH 0.0000 0.0060 0.0460 0.0800 0.0960 0.0456 0.0384 0.0740 0.0960 0.8416 0.0080 0.0000 0.0328 0.0000 0.0960 0.0456 0.0384
277-AH 0.0160 0.0180 0.0220 0.0300 0.0320 0.0232 0.0067 0.0120 0.0160 0.2879 0.0223 0.0215 0.0060 0.0160 0.0320 0.0232 0.0067
278-AH 0.0000 0.0000 0.0050 0.0220 0.0300 0.0102 0.0119 0.0220 0.0300 1.1708 0.0007 0.0000 0.0102 0.0000 0.0300 0.0102 0.0119
279-AH 0.0000 0.0020 0.0040 0.0080 0.0080 0.0044 0.0028 0.0060 0.0080 0.6356 0.0024 0.0001 0.0022 0.0000 0.0080 0.0044 0.0028
280-AH 0.0060 0.0080 0.0080 0.0100 0.0120 0.0086 0.0016 0.0020 0.0060 0.1915 0.0085 0.0083 0.0012 0.0060 0.0120 0.0086 0.0016
281-AH 0.0320 0.0460 0.0520 0.0820 0.0840 0.0596 0.0212 0.0360 0.0520 0.3558 0.0561 0.0527 0.0187 0.0320 0.0840 0.0596 0.0212
282-AH 0.0360 0.0420 0.0450 0.0480 0.0500 0.0444 0.0045 0.0060 0.0140 0.1014 0.0442 0.0440 0.0036 0.0360 0.0500 0.0444 0.0045
283-AH 0.0100 0.0120 0.0240 0.0560 0.0580 0.0318 0.0222 0.0440 0.0480 0.6975 0.0244 0.0188 0.0198 0.0100 0.0580 0.0318 0.0222
284-AH 0.0040 0.0140 0.0350 0.0580 0.0760 0.0360 0.0238 0.0440 0.0720 0.6599 0.0268 0.0169 0.0196 0.0040 0.0760 0.0360 0.0238
285-AH 0.0020 0.0040 0.0060 0.0520 0.0980 0.0282 0.0354 0.0480 0.0960 1.2547 0.0111 0.0052 0.0290 0.0020 0.0980 0.0282 0.0354
286-AH 0.0000 0.0020 0.0040 0.0060 0.0060 0.0038 0.0024 0.0040 0.0060 0.6301 0.0013 0.0000 0.0019 0.0000 0.0060 0.0038 0.0024
287-AH 0.0420 0.0660 0.0880 0.0920 0.0940 0.0786 0.0176 0.0260 0.0520 0.2238 0.0764 0.0739 0.0145 0.0420 0.0940 0.0786 0.0176
288-AH 0.0100 0.0180 0.0340 0.0800 0.1060 0.0476 0.0371 0.0620 0.0960 0.7800 0.0352 0.0261 0.0307 0.0100 0.1060 0.0476 0.0371
289-AH 0.0000 0.0000 0.0000 0.0000 0.0300 0.0030 0.0095 0.0000 0.0300 3.1623 0.0000 0.0000 0.0054 0.0000 0.0000 0.0000 0.0000
290-AH 0.0080 0.0100 0.0120 0.0160 0.0500 0.0162 0.0126 0.0060 0.0420 0.7774 0.0137 0.0123 0.0079 0.0080 0.0220 0.0124 0.0044
422
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0160 0.0180 0.0300 0.0360 0.0380 0.0276 0.0087 0.0180 0.0220 0.3146 0.0263 0.0249 0.0077 0.0160 0.0380 0.0276 0.0087
292-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
293-AH 0.0000 0.0000 0.0140 0.0580 0.0620 0.0240 0.0276 0.0580 0.0620 1.1500 0.0007 0.0000 0.0240 0.0000 0.0620 0.0240 0.0276
294-AH 0.0200 0.0320 0.0450 0.0540 0.0540 0.0420 0.0132 0.0220 0.0340 0.3143 0.0398 0.0374 0.0116 0.0200 0.0540 0.0420 0.0132
295-AH 0.0020 0.0040 0.0130 0.0180 0.0400 0.0130 0.0115 0.0140 0.0380 0.8860 0.0086 0.0054 0.0082 0.0020 0.0180 0.0100 0.0069
296-AH 0.0020 0.0040 0.0090 0.0140 0.0200 0.0094 0.0067 0.0100 0.0180 0.7096 0.0070 0.0050 0.0058 0.0020 0.0200 0.0094 0.0067
297-AH 0.0000 0.0000 0.0050 0.0140 0.0160 0.0064 0.0068 0.0140 0.0160 1.0603 0.0006 0.0000 0.0057 0.0000 0.0160 0.0064 0.0068
298-AH 0.0060 0.0080 0.0140 0.0160 0.0480 0.0152 0.0123 0.0080 0.0420 0.8068 0.0124 0.0107 0.0070 0.0060 0.0160 0.0116 0.0044
299-AH 0.0000 0.0100 0.0400 0.0720 0.1140 0.0448 0.0378 0.0620 0.1140 0.8434 0.0157 0.0001 0.0324 0.0000 0.1140 0.0448 0.0378
300-AH 0.0020 0.0140 0.0560 0.0700 0.0800 0.0450 0.0306 0.0560 0.0780 0.6806 0.0292 0.0122 0.0272 0.0020 0.0800 0.0450 0.0306
301-AH 0.0000 0.0000 0.0010 0.0040 0.0080 0.0022 0.0029 0.0040 0.0080 1.3174 0.0002 0.0000 0.0023 0.0000 0.0080 0.0022 0.0029
302-AH 0.0220 0.0280 0.0300 0.0300 0.0340 0.0292 0.0036 0.0020 0.0120 0.1217 0.0290 0.0288 0.0026 0.0260 0.0300 0.0289 0.0016
303-AH 0.0000 0.0120 0.0200 0.0260 0.0260 0.0182 0.0087 0.0140 0.0260 0.4789 0.0090 0.0001 0.0070 0.0000 0.0260 0.0182 0.0087
304-AH 0.0000 0.0000 0.0070 0.0160 0.0200 0.0080 0.0084 0.0160 0.0200 1.0475 0.0007 0.0000 0.0076 0.0000 0.0200 0.0080 0.0084
305-AH 0.0000 0.0160 0.0280 0.0400 0.1180 0.0412 0.0419 0.0240 0.1180 1.0160 0.0146 0.0001 0.0303 0.0000 0.0400 0.0222 0.0142
306-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
307-AH 0.0000 0.0000 0.0020 0.0080 0.0140 0.0040 0.0046 0.0080 0.0140 1.1547 0.0007 0.0000 0.0036 0.0000 0.0140 0.0040 0.0046
308-AH 0.0140 0.0180 0.0200 0.0220 0.0220 0.0196 0.0026 0.0040 0.0080 0.1343 0.0194 0.0192 0.0021 0.0140 0.0220 0.0196 0.0026
309-AH 0.0140 0.0140 0.0150 0.0160 0.0180 0.0154 0.0016 0.0020 0.0040 0.1069 0.0153 0.0152 0.0014 0.0140 0.0180 0.0154 0.0016
310-AH 0.0060 0.0080 0.0250 0.0540 0.0800 0.0342 0.0296 0.0460 0.0740 0.8641 0.0219 0.0142 0.0258 0.0060 0.0800 0.0342 0.0296
311-AH 0.0420 0.0460 0.0720 0.0780 0.0820 0.0648 0.0163 0.0320 0.0400 0.2517 0.0627 0.0606 0.0142 0.0420 0.0820 0.0648 0.0163
312-AH 0.0000 0.0000 0.0010 0.0060 0.0560 0.0112 0.0203 0.0060 0.0560 1.8156 0.0003 0.0000 0.0151 0.0000 0.0060 0.0018 0.0027
313-AH 0.0040 0.0080 0.0120 0.0220 0.0240 0.0144 0.0080 0.0140 0.0200 0.5548 0.0120 0.0095 0.0069 0.0040 0.0240 0.0144 0.0080
314-AH 0.0000 0.0000 0.0150 0.0280 0.0300 0.0146 0.0146 0.0280 0.0300 0.9984 0.0015 0.0000 0.0138 0.0000 0.0300 0.0146 0.0146
315-AH 0.0060 0.0120 0.0220 0.0260 0.0380 0.0202 0.0102 0.0140 0.0320 0.5058 0.0173 0.0141 0.0082 0.0060 0.0380 0.0202 0.0102
316-AH 0.0000 0.1420 0.1550 0.1640 0.1660 0.1386 0.0499 0.0220 0.1660 0.3598 0.0586 0.0001 0.0282 0.1360 0.1660 0.1540 0.0114
317-AH 0.0140 0.0160 0.0190 0.0220 0.0360 0.0206 0.0063 0.0060 0.0220 0.3038 0.0199 0.0193 0.0043 0.0140 0.0240 0.0189 0.0033
318-AH 0.0000 0.0020 0.0120 0.0160 0.0180 0.0100 0.0076 0.0140 0.0180 0.7601 0.0026 0.0000 0.0068 0.0000 0.0180 0.0100 0.0076
319-AH 0.0220 0.0220 0.0250 0.0300 0.0300 0.0256 0.0036 0.0080 0.0080 0.1417 0.0254 0.0251 0.0032 0.0220 0.0300 0.0256 0.0036
320-AH 0.0040 0.0080 0.0100 0.0120 0.0160 0.0102 0.0036 0.0040 0.0120 0.3514 0.0095 0.0088 0.0026 0.0040 0.0160 0.0102 0.0036
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0000 0.0090 0.0160 0.0240 0.0098 0.0099 0.0160 0.0240 1.0065 0.0012 0.0000 0.0090 0.0000 0.0240 0.0098 0.0099
323-AH 0.0020 0.0160 0.0210 0.0240 0.0340 0.0210 0.0094 0.0080 0.0320 0.4473 0.0175 0.0109 0.0066 0.0140 0.0340 0.0231 0.0070
324-AH 0.0040 0.0060 0.0210 0.0280 0.0340 0.0186 0.0118 0.0220 0.0300 0.6332 0.0142 0.0100 0.0102 0.0040 0.0340 0.0186 0.0118
325-AH 0.0140 0.0300 0.0340 0.0540 0.0740 0.0390 0.0176 0.0240 0.0600 0.4505 0.0355 0.0320 0.0134 0.0140 0.0740 0.0390 0.0176
326-AH 0.0000 0.0000 0.0040 0.0080 0.0080 0.0040 0.0035 0.0080 0.0080 0.8819 0.0008 0.0000 0.0032 0.0000 0.0080 0.0040 0.0035
327-AH 0.0000 0.0000 0.0000 0.0040 0.0080 0.0018 0.0027 0.0040 0.0080 1.5226 0.0001 0.0000 0.0022 0.0000 0.0080 0.0018 0.0027
328-AH 0.0020 0.0160 0.0400 0.0460 0.0460 0.0322 0.0183 0.0300 0.0440 0.5681 0.0211 0.0082 0.0153 0.0020 0.0460 0.0322 0.0183
329-AH 0.0240 0.0260 0.0290 0.0340 0.0340 0.0292 0.0039 0.0080 0.0100 0.1339 0.0290 0.0287 0.0032 0.0240 0.0340 0.0292 0.0039
330-AH 0.0000 0.0000 0.0560 0.1000 0.1020 0.0514 0.0518 0.1000 0.1020 1.0073 0.0020 0.0000 0.0490 0.0000 0.1020 0.0514 0.0518
331-AH 0.0000 0.0020 0.0210 0.0340 0.0340 0.0182 0.0168 0.0320 0.0340 0.9230 0.0033 0.0000 0.0158 0.0000 0.0340 0.0182 0.0168
332-AH 0.0000 0.0000 0.0080 0.0160 0.0160 0.0080 0.0084 0.0160 0.0160 1.0541 0.0004 0.0000 0.0080 0.0000 0.0160 0.0080 0.0084
333-AH 0.0020 0.0040 0.0050 0.0060 0.0100 0.0052 0.0021 0.0020 0.0080 0.4134 0.0048 0.0044 0.0016 0.0020 0.0060 0.0047 0.0014
334-AH 0.0000 0.0000 0.0000 0.0020 0.0080 0.0014 0.0025 0.0020 0.0080 1.7881 0.0001 0.0000 0.0017 0.0000 0.0020 0.0007 0.0010
335-AH 0.0000 0.0000 0.0010 0.0060 0.0200 0.0042 0.0064 0.0060 0.0200 1.5134 0.0003 0.0000 0.0046 0.0000 0.0080 0.0024 0.0033
336-AH 0.0000 0.0000 0.0050 0.0100 0.0180 0.0066 0.0072 0.0100 0.0180 1.0884 0.0006 0.0000 0.0059 0.0000 0.0180 0.0066 0.0072
337-AH 0.0080 0.0180 0.0310 0.0400 0.0400 0.0284 0.0129 0.0220 0.0320 0.4525 0.0251 0.0214 0.0116 0.0080 0.0400 0.0284 0.0129
338-AH 0.0000 0.0020 0.0110 0.0200 0.0200 0.0106 0.0092 0.0180 0.0200 0.8671 0.0025 0.0000 0.0086 0.0000 0.0200 0.0106 0.0092
339-AH 0.0000 0.0000 0.0190 0.0380 0.0380 0.0190 0.0196 0.0380 0.0380 1.0329 0.0010 0.0000 0.0186 0.0000 0.0380 0.0190 0.0196
340-AH 0.0000 0.0000 0.0000 0.0000 0.0080 0.0010 0.0025 0.0000 0.0080 2.5386 0.0000 0.0000 0.0016 0.0000 0.0000 0.0000 0.0000
423
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0020 0.0040 0.0090 0.0120 0.0120 0.0082 0.0042 0.0080 0.0100 0.5071 0.0068 0.0052 0.0034 0.0020 0.0120 0.0082 0.0042
342-AH 0.0660 0.0900 0.1290 0.1920 0.1920 0.1354 0.0541 0.1020 0.1260 0.3998 0.1251 0.1153 0.0498 0.0660 0.1920 0.1354 0.0541
343-AH 0.0000 0.0000 0.0000 0.0000 0.0020 0.0002 0.0006 0.0000 0.0020 3.1623 0.0000 0.0000 0.0004 0.0000 0.0000 0.0000 0.0000
344-AH 0.0020 0.0140 0.0450 0.0660 0.0660 0.0394 0.0278 0.0520 0.0640 0.7054 0.0261 0.0119 0.0258 0.0020 0.0660 0.0394 0.0278
345-AH 0.0000 0.0000 0.0000 0.0000 0.0160 0.0028 0.0060 0.0000 0.0160 2.1349 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000
346-AH 0.0000 0.0000 0.0140 0.0200 0.0220 0.0110 0.0100 0.0200 0.0220 0.9121 0.0009 0.0000 0.0090 0.0000 0.0220 0.0110 0.0100
347-AH 0.0000 0.0000 0.0060 0.0160 0.0160 0.0076 0.0078 0.0160 0.0160 1.0290 0.0006 0.0000 0.0072 0.0000 0.0160 0.0076 0.0078
348-AH 0.0000 0.0000 0.0020 0.0040 0.0040 0.0020 0.0021 0.0040 0.0040 1.0541 0.0002 0.0000 0.0020 0.0000 0.0040 0.0020 0.0021
349-AH 0.0020 0.0040 0.0270 0.0540 0.0540 0.0284 0.0262 0.0500 0.0520 0.9217 0.0136 0.0063 0.0248 0.0020 0.0540 0.0284 0.0262
350-AH 0.0000 0.0080 0.0130 0.0200 0.0200 0.0122 0.0081 0.0120 0.0200 0.6668 0.0033 0.0000 0.0070 0.0000 0.0200 0.0122 0.0081
424
AH-ROBUST-CLEF2008 Track Overview Results and Graphs AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
141-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 1.0541 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005
142-AH 0.0040 0.0050 0.0070 0.0080 0.0080 0.0064 0.0018 0.0030 0.0040 0.2776 0.0062 0.0059 0.0016 0.0040 0.0080 0.0064 0.0018
143-AH 0.0040 0.0060 0.0080 0.0180 0.0380 0.0127 0.0102 0.0120 0.0340 0.8048 0.0101 0.0085 0.0074 0.0040 0.0190 0.0099 0.0053
144-AH 0.0000 0.0010 0.0015 0.0030 0.0030 0.0016 0.0012 0.0020 0.0030 0.7336 0.0006 0.0000 0.0010 0.0000 0.0030 0.0016 0.0012
145-AH 0.0240 0.0250 0.0280 0.0310 0.0370 0.0289 0.0046 0.0060 0.0130 0.1585 0.0286 0.0283 0.0035 0.0240 0.0370 0.0289 0.0046
146-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0005 0.0010 0.0010 0.3514 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0005
147-AH 0.0040 0.0060 0.0195 0.0230 0.0260 0.0162 0.0085 0.0170 0.0220 0.5220 0.0135 0.0106 0.0074 0.0040 0.0260 0.0162 0.0085
148-AH 0.0000 0.0000 0.0000 0.0010 0.0040 0.0006 0.0013 0.0010 0.0040 2.1082 0.0000 0.0000 0.0008 0.0000 0.0010 0.0002 0.0004
149-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
150-AH 0.0010 0.0020 0.0050 0.0070 0.0100 0.0049 0.0028 0.0050 0.0090 0.5647 0.0040 0.0031 0.0021 0.0010 0.0100 0.0049 0.0028
151-AH 0.0000 0.0010 0.0015 0.0050 0.0070 0.0024 0.0024 0.0040 0.0070 1.0054 0.0008 0.0000 0.0020 0.0000 0.0070 0.0024 0.0024
152-AH 0.0030 0.0030 0.0030 0.0050 0.0100 0.0043 0.0023 0.0020 0.0070 0.5263 0.0039 0.0037 0.0016 0.0030 0.0060 0.0037 0.0011
153-AH 0.0000 0.0000 0.0000 0.0010 0.0010 0.0003 0.0005 0.0010 0.0010 1.6102 0.0000 0.0000 0.0004 0.0000 0.0010 0.0003 0.0005
154-AH 0.0020 0.0020 0.0110 0.0170 0.0190 0.0105 0.0078 0.0150 0.0170 0.7435 0.0072 0.0046 0.0073 0.0020 0.0190 0.0105 0.0078
155-AH 0.0000 0.0000 0.0010 0.0020 0.0030 0.0011 0.0012 0.0020 0.0030 1.0884 0.0001 0.0000 0.0011 0.0000 0.0030 0.0011 0.0012
156-AH 0.0110 0.0150 0.0175 0.0190 0.0190 0.0165 0.0028 0.0040 0.0080 0.1672 0.0163 0.0160 0.0022 0.0110 0.0190 0.0165 0.0028
157-AH 0.0120 0.0250 0.0770 0.1270 0.1300 0.0750 0.0539 0.1020 0.1180 0.7185 0.0535 0.0362 0.0506 0.0120 0.1300 0.0750 0.0539
158-AH 0.0010 0.0010 0.0040 0.0290 0.0300 0.0107 0.0132 0.0280 0.0290 1.2313 0.0046 0.0023 0.0114 0.0010 0.0300 0.0107 0.0132
159-AH 0.0010 0.0030 0.0045 0.0090 0.0390 0.0083 0.0112 0.0060 0.0380 1.3477 0.0050 0.0033 0.0066 0.0010 0.0100 0.0049 0.0031
160-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
161-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162-AH 0.0000 0.0000 0.0000 0.0010 0.0010 0.0003 0.0005 0.0010 0.0010 1.6102 0.0000 0.0000 0.0004 0.0000 0.0010 0.0003 0.0005
163-AH 0.0820 0.1040 0.1095 0.1210 0.1210 0.1095 0.0126 0.0170 0.0390 0.1147 0.1088 0.1080 0.0093 0.0820 0.1210 0.1095 0.0126
164-AH 0.0050 0.0090 0.0120 0.0180 0.0240 0.0131 0.0061 0.0090 0.0190 0.4684 0.0118 0.0104 0.0049 0.0050 0.0240 0.0131 0.0061
165-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
166-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0026 0.0050 0.0050 1.0541 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0026
168-AH 0.0000 0.0000 0.0000 0.0020 0.0180 0.0030 0.0061 0.0020 0.0180 2.0428 0.0001 0.0000 0.0044 0.0000 0.0020 0.0003 0.0007
169-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0024 0.0050 0.0050 0.9475 0.0004 0.0000 0.0021 0.0000 0.0050 0.0025 0.0024
170-AH 0.0000 0.0000 0.0000 0.0010 0.0010 0.0003 0.0005 0.0010 0.0010 1.6102 0.0000 0.0000 0.0004 0.0000 0.0010 0.0003 0.0005
171-AH 0.0020 0.0060 0.0120 0.0170 0.0180 0.0115 0.0062 0.0110 0.0160 0.5411 0.0095 0.0072 0.0057 0.0020 0.0180 0.0115 0.0062
172-AH 0.0000 0.0030 0.0030 0.0040 0.0050 0.0028 0.0016 0.0010 0.0050 0.5783 0.0011 0.0000 0.0011 0.0030 0.0050 0.0035 0.0008
173-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
174-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
175-AH 0.0010 0.0010 0.0040 0.0070 0.0070 0.0040 0.0032 0.0060 0.0060 0.7906 0.0026 0.0018 0.0030 0.0010 0.0070 0.0040 0.0032
176-AH 0.0200 0.0200 0.0305 0.0390 0.0390 0.0299 0.0094 0.0190 0.0190 0.3155 0.0285 0.0272 0.0089 0.0200 0.0390 0.0299 0.0094
177-AH 0.0100 0.0110 0.0130 0.0130 0.0130 0.0123 0.0012 0.0020 0.0030 0.0943 0.0122 0.0122 0.0010 0.0100 0.0130 0.0123 0.0012
178-AH 0.0000 0.0000 0.0015 0.0030 0.0030 0.0015 0.0013 0.0030 0.0030 0.8462 0.0004 0.0000 0.0011 0.0000 0.0030 0.0015 0.0013
179-AH 0.0000 0.0010 0.0020 0.0030 0.0200 0.0035 0.0059 0.0020 0.0200 1.6890 0.0009 0.0000 0.0033 0.0000 0.0030 0.0017 0.0012
180-AH 0.0000 0.0000 0.0115 0.0330 0.0380 0.0144 0.0154 0.0330 0.0380 1.0684 0.0015 0.0000 0.0126 0.0000 0.0380 0.0144 0.0154
181-AH 0.0350 0.0460 0.0895 0.0910 0.0910 0.0753 0.0231 0.0450 0.0560 0.3064 0.0713 0.0665 0.0198 0.0350 0.0910 0.0753 0.0231
182-AH 0.0000 0.0030 0.0030 0.0040 0.0040 0.0027 0.0015 0.0010 0.0040 0.5535 0.0010 0.0000 0.0011 0.0030 0.0040 0.0034 0.0005
183-AH 0.0030 0.0030 0.0040 0.0040 0.0040 0.0037 0.0005 0.0010 0.0010 0.1306 0.0037 0.0036 0.0004 0.0030 0.0040 0.0037 0.0005
184-AH 0.0010 0.0010 0.0025 0.0060 0.0070 0.0035 0.0025 0.0050 0.0060 0.7159 0.0027 0.0020 0.0022 0.0010 0.0070 0.0035 0.0025
185-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
186-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
187-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0007 0.0005 0.0010 0.0010 0.6901 0.0003 0.0000 0.0004 0.0000 0.0010 0.0007 0.0005
188-AH 0.0000 0.0000 0.0000 0.0000 0.0010 0.0001 0.0003 0.0000 0.0010 3.1623 0.0000 0.0000 0.0002 0.0000 0.0000 0.0000 0.0000
189-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000
190-AH 0.0000 0.0020 0.0025 0.0060 0.0070 0.0036 0.0026 0.0040 0.0070 0.7314 0.0018 0.0001 0.0023 0.0000 0.0070 0.0036 0.0026
425
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
191-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192-AH 0.0020 0.0030 0.0040 0.0060 0.0060 0.0042 0.0015 0.0030 0.0040 0.3689 0.0039 0.0037 0.0014 0.0020 0.0060 0.0042 0.0015
193-AH 0.0000 0.0000 0.0045 0.0070 0.0070 0.0038 0.0034 0.0070 0.0070 0.9014 0.0007 0.0000 0.0032 0.0000 0.0070 0.0038 0.0034
194-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0006 0.0005 0.0010 0.0010 0.8607 0.0002 0.0000 0.0005 0.0000 0.0010 0.0006 0.0005
195-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
197-AH 0.0040 0.0080 0.0365 0.0500 0.0500 0.0300 0.0217 0.0420 0.0460 0.7220 0.0205 0.0127 0.0200 0.0040 0.0500 0.0300 0.0217
198-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0005 0.0010 0.0010 1.0541 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0005
199-AH 0.0080 0.0090 0.0095 0.0100 0.0100 0.0094 0.0007 0.0010 0.0020 0.0744 0.0094 0.0094 0.0006 0.0080 0.0100 0.0094 0.0007
200-AH 0.0010 0.0060 0.0070 0.0080 0.0090 0.0067 0.0024 0.0020 0.0080 0.3521 0.0059 0.0044 0.0017 0.0060 0.0090 0.0073 0.0013
251-AH 0.0350 0.0380 0.0405 0.0460 0.0490 0.0413 0.0049 0.0080 0.0140 0.1175 0.0410 0.0408 0.0038 0.0350 0.0490 0.0413 0.0049
252-AH 0.0140 0.0200 0.0265 0.0290 0.0290 0.0246 0.0052 0.0090 0.0150 0.2110 0.0240 0.0233 0.0042 0.0140 0.0290 0.0246 0.0052
253-AH 0.1160 0.1300 0.1395 0.1480 0.1520 0.1378 0.0127 0.0180 0.0360 0.0921 0.1373 0.1367 0.0104 0.1160 0.1520 0.1378 0.0127
254-AH 0.0200 0.0690 0.0850 0.1470 0.1710 0.0946 0.0512 0.0780 0.1510 0.5417 0.0792 0.0618 0.0412 0.0200 0.1710 0.0946 0.0512
255-AH 0.0000 0.0000 0.0025 0.0040 0.0040 0.0021 0.0020 0.0040 0.0040 0.9642 0.0003 0.0000 0.0019 0.0000 0.0040 0.0021 0.0020
256-AH 0.0160 0.0230 0.0285 0.0340 0.0340 0.0280 0.0063 0.0110 0.0180 0.2252 0.0273 0.0265 0.0052 0.0160 0.0340 0.0280 0.0063
257-AH 0.0050 0.0130 0.0275 0.0430 0.0480 0.0275 0.0154 0.0300 0.0430 0.5600 0.0226 0.0172 0.0137 0.0050 0.0480 0.0275 0.0154
258-AH 0.0000 0.0000 0.0005 0.0020 0.0030 0.0010 0.0012 0.0020 0.0030 1.2472 0.0001 0.0000 0.0010 0.0000 0.0030 0.0010 0.0012
259-AH 0.0010 0.0010 0.0020 0.0030 0.0030 0.0019 0.0009 0.0020 0.0020 0.4608 0.0017 0.0015 0.0007 0.0010 0.0030 0.0019 0.0009
260-AH 0.0230 0.0350 0.0460 0.0540 0.0620 0.0450 0.0126 0.0190 0.0390 0.2795 0.0432 0.0413 0.0094 0.0230 0.0620 0.0450 0.0126
261-AH 0.0040 0.0070 0.0095 0.0120 0.0140 0.0093 0.0031 0.0050 0.0100 0.3326 0.0088 0.0082 0.0025 0.0040 0.0140 0.0093 0.0031
262-AH 0.0160 0.0250 0.0415 0.0480 0.0580 0.0376 0.0145 0.0230 0.0420 0.3867 0.0346 0.0314 0.0123 0.0160 0.0580 0.0376 0.0145
263-AH 0.0000 0.0000 0.0005 0.0020 0.0130 0.0019 0.0040 0.0020 0.0130 2.0972 0.0001 0.0000 0.0023 0.0000 0.0020 0.0007 0.0009
264-AH 0.0110 0.0160 0.0190 0.0200 0.0210 0.0178 0.0032 0.0040 0.0100 0.1792 0.0175 0.0171 0.0025 0.0110 0.0210 0.0178 0.0032
265-AH 0.0000 0.0000 0.0025 0.0060 0.0060 0.0029 0.0031 0.0060 0.0060 1.0591 0.0002 0.0000 0.0029 0.0000 0.0060 0.0029 0.0031
266-AH 0.0000 0.0000 0.0025 0.0040 0.0040 0.0022 0.0018 0.0040 0.0040 0.8243 0.0005 0.0000 0.0016 0.0000 0.0040 0.0022 0.0018
267-AH 0.0100 0.0130 0.0175 0.0190 0.0200 0.0162 0.0038 0.0060 0.0100 0.2342 0.0158 0.0153 0.0032 0.0100 0.0200 0.0162 0.0038
268-AH 0.0000 0.0000 0.0020 0.0020 0.0030 0.0014 0.0013 0.0020 0.0030 0.9035 0.0003 0.0000 0.0011 0.0000 0.0030 0.0014 0.0013
269-AH 0.0040 0.0040 0.0065 0.0080 0.0080 0.0062 0.0017 0.0040 0.0040 0.2720 0.0060 0.0057 0.0014 0.0040 0.0080 0.0062 0.0017
270-AH 0.0140 0.0240 0.0400 0.0560 0.0560 0.0386 0.0181 0.0320 0.0420 0.4686 0.0341 0.0296 0.0166 0.0140 0.0560 0.0386 0.0181
271-AH 0.0150 0.0150 0.0185 0.0240 0.0240 0.0194 0.0042 0.0090 0.0090 0.2176 0.0190 0.0186 0.0038 0.0150 0.0240 0.0194 0.0042
272-AH 0.0000 0.0000 0.0000 0.0140 0.0140 0.0055 0.0071 0.0140 0.0140 1.2921 0.0002 0.0000 0.0066 0.0000 0.0140 0.0055 0.0071
273-AH 0.0230 0.0280 0.0305 0.0360 0.0760 0.0351 0.0150 0.0080 0.0530 0.4286 0.0331 0.0318 0.0087 0.0230 0.0370 0.0306 0.0047
274-AH 0.0010 0.0020 0.0070 0.0110 0.0140 0.0073 0.0046 0.0090 0.0130 0.6296 0.0055 0.0036 0.0036 0.0010 0.0140 0.0073 0.0046
275-AH 0.0180 0.0460 0.0565 0.0630 0.0630 0.0521 0.0143 0.0170 0.0450 0.2745 0.0494 0.0454 0.0103 0.0410 0.0630 0.0559 0.0083
276-AH 0.0010 0.0050 0.0310 0.0420 0.0550 0.0266 0.0207 0.0370 0.0540 0.7788 0.0136 0.0041 0.0179 0.0010 0.0550 0.0266 0.0207
277-AH 0.0090 0.0090 0.0115 0.0160 0.0170 0.0122 0.0032 0.0070 0.0080 0.2643 0.0118 0.0115 0.0028 0.0090 0.0170 0.0122 0.0032
278-AH 0.0000 0.0000 0.0025 0.0160 0.0170 0.0066 0.0076 0.0160 0.0170 1.1588 0.0005 0.0000 0.0069 0.0000 0.0170 0.0066 0.0076
279-AH 0.0000 0.0020 0.0030 0.0040 0.0040 0.0027 0.0013 0.0020 0.0040 0.4636 0.0016 0.0001 0.0010 0.0000 0.0040 0.0027 0.0013
280-AH 0.0050 0.0060 0.0065 0.0080 0.0100 0.0072 0.0018 0.0020 0.0050 0.2432 0.0070 0.0069 0.0014 0.0050 0.0100 0.0072 0.0018
281-AH 0.0190 0.0250 0.0280 0.0420 0.0420 0.0319 0.0091 0.0170 0.0230 0.2840 0.0307 0.0296 0.0081 0.0190 0.0420 0.0319 0.0091
282-AH 0.0200 0.0220 0.0240 0.0270 0.0280 0.0245 0.0028 0.0050 0.0080 0.1158 0.0244 0.0242 0.0024 0.0200 0.0280 0.0245 0.0028
283-AH 0.0080 0.0100 0.0135 0.0320 0.0340 0.0194 0.0118 0.0220 0.0260 0.6066 0.0162 0.0137 0.0107 0.0080 0.0340 0.0194 0.0118
284-AH 0.0020 0.0120 0.0215 0.0300 0.0380 0.0206 0.0122 0.0180 0.0360 0.5902 0.0157 0.0096 0.0106 0.0020 0.0380 0.0206 0.0122
285-AH 0.0010 0.0040 0.0080 0.0450 0.0640 0.0214 0.0234 0.0410 0.0630 1.0957 0.0103 0.0047 0.0199 0.0010 0.0640 0.0214 0.0234
286-AH 0.0000 0.0020 0.0035 0.0050 0.0070 0.0033 0.0023 0.0030 0.0070 0.7005 0.0012 0.0000 0.0019 0.0000 0.0070 0.0033 0.0023
287-AH 0.0300 0.0380 0.0450 0.0470 0.0480 0.0429 0.0059 0.0090 0.0180 0.1366 0.0425 0.0420 0.0045 0.0300 0.0480 0.0429 0.0059
288-AH 0.0100 0.0190 0.0360 0.0520 0.0650 0.0350 0.0203 0.0330 0.0550 0.5802 0.0290 0.0234 0.0164 0.0100 0.0650 0.0350 0.0203
289-AH 0.0000 0.0000 0.0000 0.0000 0.0150 0.0015 0.0047 0.0000 0.0150 3.1623 0.0000 0.0000 0.0027 0.0000 0.0000 0.0000 0.0000
290-AH 0.0060 0.0090 0.0100 0.0160 0.0310 0.0129 0.0076 0.0070 0.0250 0.5863 0.0114 0.0104 0.0057 0.0060 0.0200 0.0109 0.0043
426
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
291-AH 0.0160 0.0220 0.0225 0.0230 0.0250 0.0220 0.0027 0.0010 0.0090 0.1231 0.0218 0.0216 0.0018 0.0220 0.0230 0.0225 0.0005
292-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
293-AH 0.0000 0.0000 0.0100 0.0330 0.0340 0.0146 0.0160 0.0330 0.0340 1.0936 0.0005 0.0000 0.0146 0.0000 0.0340 0.0146 0.0160
294-AH 0.0160 0.0190 0.0230 0.0270 0.0270 0.0226 0.0046 0.0080 0.0110 0.2014 0.0222 0.0217 0.0042 0.0160 0.0270 0.0226 0.0046
295-AH 0.0020 0.0030 0.0080 0.0110 0.0200 0.0078 0.0057 0.0080 0.0180 0.7272 0.0059 0.0044 0.0044 0.0020 0.0200 0.0078 0.0057
296-AH 0.0010 0.0020 0.0050 0.0090 0.0120 0.0057 0.0041 0.0070 0.0110 0.7212 0.0041 0.0027 0.0035 0.0010 0.0120 0.0057 0.0041
297-AH 0.0000 0.0000 0.0025 0.0090 0.0100 0.0038 0.0042 0.0090 0.0100 1.0942 0.0004 0.0000 0.0036 0.0000 0.0100 0.0038 0.0042
298-AH 0.0030 0.0050 0.0085 0.0090 0.0250 0.0088 0.0061 0.0040 0.0220 0.6960 0.0075 0.0065 0.0034 0.0030 0.0090 0.0070 0.0024
299-AH 0.0010 0.0100 0.0305 0.0410 0.0620 0.0274 0.0197 0.0310 0.0610 0.7181 0.0175 0.0066 0.0164 0.0010 0.0620 0.0274 0.0197
300-AH 0.0060 0.0130 0.0300 0.0400 0.0420 0.0268 0.0140 0.0270 0.0360 0.5241 0.0222 0.0171 0.0120 0.0060 0.0420 0.0268 0.0140
301-AH 0.0000 0.0000 0.0015 0.0020 0.0050 0.0017 0.0019 0.0020 0.0050 1.1450 0.0003 0.0000 0.0015 0.0000 0.0050 0.0017 0.0019
302-AH 0.0140 0.0150 0.0150 0.0160 0.0170 0.0153 0.0011 0.0010 0.0030 0.0692 0.0153 0.0152 0.0008 0.0140 0.0170 0.0153 0.0011
303-AH 0.0000 0.0090 0.0100 0.0130 0.0140 0.0100 0.0042 0.0040 0.0140 0.4190 0.0054 0.0001 0.0030 0.0080 0.0140 0.0111 0.0024
304-AH 0.0000 0.0010 0.0040 0.0090 0.0110 0.0045 0.0042 0.0080 0.0110 0.9326 0.0012 0.0000 0.0037 0.0000 0.0110 0.0045 0.0042
305-AH 0.0010 0.0150 0.0285 0.0350 0.0600 0.0288 0.0197 0.0200 0.0590 0.6839 0.0193 0.0070 0.0152 0.0010 0.0600 0.0288 0.0197
306-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
307-AH 0.0000 0.0010 0.0015 0.0060 0.0110 0.0035 0.0039 0.0050 0.0110 1.1208 0.0009 0.0000 0.0032 0.0000 0.0110 0.0035 0.0039
308-AH 0.0080 0.0090 0.0100 0.0110 0.0110 0.0099 0.0011 0.0020 0.0030 0.1112 0.0098 0.0098 0.0009 0.0080 0.0110 0.0099 0.0011
309-AH 0.0070 0.0080 0.0090 0.0100 0.0100 0.0090 0.0011 0.0020 0.0030 0.1171 0.0089 0.0089 0.0008 0.0070 0.0100 0.0090 0.0011
310-AH 0.0040 0.0050 0.0165 0.0340 0.0480 0.0208 0.0179 0.0290 0.0440 0.8585 0.0131 0.0084 0.0160 0.0040 0.0480 0.0208 0.0179
311-AH 0.0270 0.0360 0.0395 0.0420 0.0490 0.0392 0.0064 0.0060 0.0220 0.1644 0.0387 0.0382 0.0046 0.0270 0.0490 0.0392 0.0064
312-AH 0.0000 0.0000 0.0010 0.0030 0.0310 0.0061 0.0110 0.0030 0.0310 1.8082 0.0003 0.0000 0.0082 0.0000 0.0030 0.0010 0.0014
313-AH 0.0040 0.0060 0.0070 0.0120 0.0130 0.0083 0.0036 0.0060 0.0090 0.4327 0.0076 0.0069 0.0032 0.0040 0.0130 0.0083 0.0036
314-AH 0.0010 0.0020 0.0090 0.0150 0.0170 0.0088 0.0071 0.0130 0.0160 0.8014 0.0054 0.0029 0.0066 0.0010 0.0170 0.0088 0.0071
315-AH 0.0110 0.0140 0.0175 0.0190 0.0270 0.0173 0.0044 0.0050 0.0160 0.2557 0.0168 0.0164 0.0031 0.0110 0.0200 0.0162 0.0030
316-AH 0.0080 0.0820 0.1020 0.1040 0.1050 0.0893 0.0299 0.0220 0.0970 0.3347 0.0762 0.0460 0.0192 0.0820 0.1050 0.0983 0.0093
317-AH 0.0070 0.0130 0.0160 0.0190 0.0210 0.0156 0.0043 0.0060 0.0140 0.2773 0.0150 0.0142 0.0034 0.0070 0.0210 0.0156 0.0043
318-AH 0.0000 0.0020 0.0060 0.0090 0.0090 0.0054 0.0038 0.0070 0.0090 0.7103 0.0017 0.0000 0.0034 0.0000 0.0090 0.0054 0.0038
319-AH 0.0110 0.0120 0.0125 0.0150 0.0150 0.0130 0.0016 0.0030 0.0040 0.1256 0.0129 0.0128 0.0014 0.0110 0.0150 0.0130 0.0016
320-AH 0.0030 0.0050 0.0065 0.0070 0.0100 0.0064 0.0021 0.0020 0.0070 0.3227 0.0061 0.0057 0.0016 0.0030 0.0100 0.0064 0.0021
321-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
322-AH 0.0000 0.0010 0.0060 0.0100 0.0140 0.0063 0.0058 0.0090 0.0140 0.9227 0.0015 0.0000 0.0053 0.0000 0.0140 0.0063 0.0058
323-AH 0.0010 0.0100 0.0130 0.0160 0.0220 0.0133 0.0060 0.0060 0.0210 0.4498 0.0108 0.0060 0.0043 0.0010 0.0220 0.0133 0.0060
324-AH 0.0030 0.0070 0.0195 0.0220 0.0230 0.0148 0.0084 0.0150 0.0200 0.5696 0.0116 0.0082 0.0076 0.0030 0.0230 0.0148 0.0084
325-AH 0.0130 0.0210 0.0235 0.0340 0.0450 0.0264 0.0100 0.0130 0.0320 0.3789 0.0248 0.0233 0.0078 0.0130 0.0450 0.0264 0.0100
326-AH 0.0000 0.0000 0.0025 0.0040 0.0040 0.0022 0.0019 0.0040 0.0040 0.8783 0.0005 0.0000 0.0018 0.0000 0.0040 0.0022 0.0019
327-AH 0.0000 0.0000 0.0010 0.0020 0.0040 0.0013 0.0013 0.0020 0.0040 0.9628 0.0004 0.0000 0.0010 0.0000 0.0040 0.0013 0.0013
328-AH 0.0010 0.0100 0.0220 0.0230 0.0230 0.0170 0.0091 0.0130 0.0220 0.5334 0.0119 0.0052 0.0076 0.0010 0.0230 0.0170 0.0091
329-AH 0.0130 0.0140 0.0145 0.0170 0.0170 0.0149 0.0016 0.0030 0.0040 0.1071 0.0148 0.0148 0.0013 0.0130 0.0170 0.0149 0.0016
330-AH 0.0000 0.0000 0.0295 0.0510 0.0510 0.0263 0.0258 0.0510 0.0510 0.9791 0.0022 0.0000 0.0243 0.0000 0.0510 0.0263 0.0258
331-AH 0.0000 0.0020 0.0110 0.0170 0.0170 0.0095 0.0080 0.0150 0.0170 0.8425 0.0035 0.0001 0.0075 0.0000 0.0170 0.0095 0.0080
332-AH 0.0000 0.0000 0.0040 0.0080 0.0080 0.0040 0.0042 0.0080 0.0080 1.0541 0.0003 0.0000 0.0040 0.0000 0.0080 0.0040 0.0042
333-AH 0.0010 0.0030 0.0035 0.0040 0.0050 0.0034 0.0011 0.0010 0.0040 0.3162 0.0032 0.0028 0.0008 0.0030 0.0050 0.0037 0.0007
334-AH 0.0000 0.0000 0.0005 0.0010 0.0040 0.0009 0.0013 0.0010 0.0040 1.4296 0.0001 0.0000 0.0009 0.0000 0.0020 0.0006 0.0007
335-AH 0.0000 0.0000 0.0010 0.0050 0.0110 0.0029 0.0036 0.0050 0.0110 1.2428 0.0005 0.0000 0.0029 0.0000 0.0110 0.0029 0.0036
336-AH 0.0000 0.0000 0.0040 0.0070 0.0130 0.0046 0.0049 0.0070 0.0130 1.0709 0.0005 0.0000 0.0039 0.0000 0.0130 0.0046 0.0049
337-AH 0.0050 0.0120 0.0160 0.0200 0.0200 0.0153 0.0054 0.0080 0.0150 0.3514 0.0142 0.0128 0.0047 0.0050 0.0200 0.0153 0.0054
338-AH 0.0000 0.0010 0.0065 0.0100 0.0100 0.0057 0.0043 0.0090 0.0100 0.7627 0.0016 0.0000 0.0039 0.0000 0.0100 0.0057 0.0043
339-AH 0.0000 0.0000 0.0110 0.0190 0.0190 0.0099 0.0096 0.0190 0.0190 0.9729 0.0012 0.0000 0.0091 0.0000 0.0190 0.0099 0.0096
340-AH 0.0000 0.0000 0.0000 0.0010 0.0040 0.0008 0.0013 0.0010 0.0040 1.6457 0.0001 0.0000 0.0010 0.0000 0.0020 0.0004 0.0007
427
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
341-AH 0.0020 0.0030 0.0050 0.0060 0.0060 0.0045 0.0016 0.0030 0.0040 0.3666 0.0042 0.0038 0.0014 0.0020 0.0060 0.0045 0.0016
342-AH 0.0570 0.0590 0.0815 0.0960 0.0960 0.0779 0.0186 0.0370 0.0390 0.2384 0.0758 0.0738 0.0171 0.0570 0.0960 0.0779 0.0186
343-AH 0.0000 0.0000 0.0000 0.0000 0.0010 0.0002 0.0004 0.0000 0.0010 2.1082 0.0000 0.0000 0.0003 0.0000 0.0000 0.0000 0.0000
344-AH 0.0010 0.0070 0.0250 0.0330 0.0330 0.0204 0.0137 0.0260 0.0320 0.6718 0.0137 0.0061 0.0124 0.0010 0.0330 0.0204 0.0137
345-AH 0.0000 0.0000 0.0000 0.0010 0.0090 0.0019 0.0038 0.0010 0.0090 1.9763 0.0001 0.0000 0.0028 0.0000 0.0010 0.0001 0.0004
346-AH 0.0010 0.0020 0.0075 0.0110 0.0110 0.0063 0.0044 0.0090 0.0100 0.6981 0.0044 0.0027 0.0039 0.0010 0.0110 0.0063 0.0044
347-AH 0.0000 0.0000 0.0045 0.0090 0.0090 0.0046 0.0043 0.0090 0.0090 0.9348 0.0008 0.0000 0.0040 0.0000 0.0090 0.0046 0.0043
348-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0011 0.0020 0.0020 1.0541 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0011
349-AH 0.0010 0.0030 0.0155 0.0270 0.0270 0.0148 0.0127 0.0240 0.0260 0.8575 0.0081 0.0039 0.0120 0.0010 0.0270 0.0148 0.0127
350-AH 0.0000 0.0050 0.0075 0.0100 0.0100 0.0066 0.0039 0.0050 0.0100 0.5984 0.0032 0.0001 0.0034 0.0000 0.0100 0.0066 0.0039
428
Individual Experiment Results and Graphs
429
430
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,785 Pooled false
Geometric Mean Average Precision 0.1619 LEM + TD
Binary Preference (BPREF) 0.3474
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 69.58 ISILEMTD
10 60.88 90%
20 54.23
80%
30 46.72
40 41.88 70%
50 38.36
60%
60 31.79
Precision
70 27.11 50%
80 22.08 40%
90 17.06
30%
100 11.47
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
36.94 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1386
Second Quartile 0.3227
Third Quartile 0.5322
Interquartile range 0.3936 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3694
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2833 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.3694 10
Std With No Outliers 0.2833
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
431
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 8.34 251-AH 54.03 281-AH 40.08 311-AH 34.36 341-AH 84.74
142-AH 89.78 172-AH 7.00 252-AH 44.27 282-AH 14.08 312-AH 61.86 342-AH 68.91
143-AH 88.65 173-AH 100.00 253-AH 35.79 283-AH 36.61 313-AH 0.37 343-AH 3.70
144-AH 27.99 174-AH 100.00 254-AH 24.26 284-AH 54.08 314-AH 5.94 344-AH 21.98
145-AH 53.81 175-AH 71.71 255-AH 47.79 285-AH 72.47 315-AH 20.47 345-AH 8.30
146-AH 50.62 176-AH 89.63 256-AH 47.20 286-AH 3.99 316-AH 20.22 346-AH 10.47
147-AH 81.24 177-AH 34.65 257-AH 14.05 287-AH 37.81 317-AH 22.60 347-AH 4.15
148-AH 19.63 178-AH 12.07 258-AH 1.10 288-AH 13.55 318-AH 18.44 348-AH 100.00
149-AH 0.00 179-AH 20.99 259-AH 46.80 289-AH 46.92 319-AH 30.60 349-AH 29.43
150-AH 7.95 180-AH 69.26 260-AH 62.94 290-AH 32.03 320-AH 1.95 350-AH 70.98
151-AH 39.22 181-AH 83.25 261-AH 11.42 291-AH 13.86 321-AH 0.00
152-AH 52.63 182-AH 37.61 262-AH 45.05 292-AH 51.72 322-AH 3.24
153-AH 0.00 183-AH 18.69 263-AH 17.97 293-AH 63.95 323-AH 17.07
154-AH 35.80 184-AH 38.86 264-AH 30.63 294-AH 67.65 324-AH 13.18
155-AH 13.61 185-AH 33.33 265-AH 25.67 295-AH 20.97 325-AH 56.18
156-AH 13.87 186-AH 0.00 266-AH 5.21 296-AH 57.02 326-AH 51.14
157-AH 46.90 187-AH 20.00 267-AH 25.53 297-AH 37.78 327-AH 55.83
158-AH 34.41 188-AH 10.00 268-AH 66.67 298-AH 23.14 328-AH 52.53
159-AH 10.88 189-AH 88.10 269-AH 17.58 299-AH 19.97 329-AH 61.98
160-AH 5.62 190-AH 48.04 270-AH 67.87 300-AH 26.78 330-AH 76.82
161-AH 0.00 191-AH 0.00 271-AH 8.38 301-AH 1.96 331-AH 24.83
162-AH 25.00 192-AH 35.22 272-AH 14.10 302-AH 36.78 332-AH 47.74
163-AH 83.35 193-AH 45.12 273-AH 45.23 303-AH 33.35 333-AH 100.00
164-AH 21.12 194-AH 25.00 274-AH 30.92 304-AH 27.05 334-AH 12.75
165-AH 100.00 195-AH 0.00 275-AH 14.48 305-AH 29.48 335-AH 15.56
166-AH 0.00 196-AH 50.00 276-AH 47.68 306-AH 100.00 336-AH 6.68
167-AH 11.76 197-AH 88.36 277-AH 15.49 307-AH 32.75 337-AH 69.39
168-AH 35.85 198-AH 100.00 278-AH 18.14 308-AH 75.97 338-AH 52.58
169-AH 0.44 199-AH 48.38 279-AH 41.62 309-AH 5.07 339-AH 58.89
170-AH 100.00 200-AH 32.51 280-AH 10.18 310-AH 8.80 340-AH 24.29
432
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 44.00 ISILEMTD
10 docs 37.06 90%
15 docs 33.21
80%
20 docs 30.72
30 docs 27.04 70%
100 docs 15.04
60%
200 docs 9.24
Precision
500 docs 4.37 50%
1000 docs 2.37 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.35
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.3326
Third Quartile 0.5279
Interquartile range 0.3612 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3635
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2780 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3635 15
Std With No Outliers 0.2780 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISILEMTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
433
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTD AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 50.77 281-AH 30.95 311-AH 46.30 341-AH 83.33
142-AH 87.50 172-AH 14.29 252-AH 44.83 282-AH 12.90 312-AH 61.29 342-AH 68.75
143-AH 79.49 173-AH 100.00 253-AH 43.68 283-AH 36.84 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 33.19 284-AH 47.37 314-AH 0.00 344-AH 30.30
145-AH 52.63 175-AH 57.14 255-AH 50.00 285-AH 68.12 315-AH 32.20 345-AH 11.11
146-AH 50.00 176-AH 76.92 256-AH 52.94 286-AH 8.33 316-AH 29.66 346-AH 9.09
147-AH 68.63 177-AH 46.15 257-AH 19.05 287-AH 46.94 317-AH 33.33 347-AH 0.00
148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 26.32 318-AH 22.22 348-AH 100.00
149-AH 0.00 179-AH 27.27 259-AH 33.33 289-AH 50.00 319-AH 31.58 349-AH 33.33
150-AH 20.00 180-AH 60.00 260-AH 57.14 290-AH 38.78 320-AH 0.00 350-AH 70.00
151-AH 33.33 181-AH 78.26 261-AH 17.65 291-AH 16.67 321-AH 0.00
152-AH 54.55 182-AH 25.00 262-AH 49.41 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 67.65 323-AH 19.23
154-AH 33.33 184-AH 44.44 264-AH 27.27 294-AH 66.67 324-AH 20.27
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 27.45 325-AH 57.38
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00
157-AH 51.80 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00
158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17
159-AH 12.96 189-AH 71.43 269-AH 22.22 299-AH 28.95 329-AH 64.71
160-AH 0.00 190-AH 55.56 270-AH 61.40 300-AH 33.33 330-AH 72.55
161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 41.18 332-AH 50.00
163-AH 73.77 193-AH 28.57 273-AH 45.78 303-AH 42.86 333-AH 100.00
164-AH 18.52 194-AH 0.00 274-AH 31.25 304-AH 26.67 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 21.21 305-AH 31.15 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 47.46 306-AH 100.00 336-AH 5.88
167-AH 20.00 197-AH 78.00 277-AH 26.92 307-AH 42.86 337-AH 65.00
168-AH 44.44 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 60.00
169-AH 0.00 199-AH 40.00 279-AH 50.00 309-AH 0.00 339-AH 63.16
170-AH 100.00 200-AH 33.33 280-AH 20.00 310-AH 17.46 340-AH 20.00
434
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTDN AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 3,711 Pooled false
Geometric Mean Average Precision 0.1653 LEM + TDN
Binary Preference (BPREF) 0.3701
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.42 ISILEMTDN
10 65.05 90%
20 58.35
80%
30 49.77
40 44.57 70%
50 40.32
60%
60 33.88
Precision
70 28.34 50%
80 23.15 40%
90 17.92
30%
100 12.30
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.17 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1486
Second Quartile 0.3514
Third Quartile 0.5871
Interquartile range 0.4385 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3917
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2893 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.3917 10
Std With No Outliers 0.2893
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
435
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTDN AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 14.63 251-AH 46.35 281-AH 42.18 311-AH 37.72 341-AH 69.09
142-AH 92.50 172-AH 5.93 252-AH 58.48 282-AH 9.64 312-AH 71.96 342-AH 63.75
143-AH 86.41 173-AH 100.00 253-AH 44.29 283-AH 25.27 313-AH 0.34 343-AH 6.67
144-AH 29.07 174-AH 100.00 254-AH 33.13 284-AH 53.28 314-AH 7.58 344-AH 26.37
145-AH 62.07 175-AH 71.89 255-AH 7.13 285-AH 74.01 315-AH 13.95 345-AH 11.44
146-AH 50.60 176-AH 92.41 256-AH 48.91 286-AH 3.67 316-AH 23.12 346-AH 8.99
147-AH 74.59 177-AH 37.67 257-AH 17.17 287-AH 37.80 317-AH 19.46 347-AH 4.99
148-AH 19.45 178-AH 15.23 258-AH 1.66 288-AH 18.68 318-AH 11.76 348-AH 100.00
149-AH 0.00 179-AH 23.35 259-AH 41.85 289-AH 53.23 319-AH 45.74 349-AH 43.01
150-AH 6.29 180-AH 72.50 260-AH 54.47 290-AH 31.02 320-AH 1.70 350-AH 63.79
151-AH 25.14 181-AH 85.15 261-AH 27.84 291-AH 23.90 321-AH 0.00
152-AH 46.96 182-AH 40.18 262-AH 43.31 292-AH 58.95 322-AH 3.43
153-AH 0.00 183-AH 47.70 263-AH 20.54 293-AH 68.23 323-AH 25.39
154-AH 41.69 184-AH 53.59 264-AH 33.49 294-AH 65.24 324-AH 20.50
155-AH 18.48 185-AH 25.00 265-AH 19.31 295-AH 8.61 325-AH 61.82
156-AH 13.99 186-AH 0.00 266-AH 12.25 296-AH 63.93 326-AH 50.86
157-AH 49.75 187-AH 100.00 267-AH 27.77 297-AH 48.97 327-AH 51.67
158-AH 0.01 188-AH 7.14 268-AH 66.67 298-AH 21.87 328-AH 55.87
159-AH 7.37 189-AH 88.10 269-AH 26.33 299-AH 17.01 329-AH 68.64
160-AH 5.02 190-AH 47.31 270-AH 70.86 300-AH 26.03 330-AH 69.16
161-AH 0.00 191-AH 0.00 271-AH 9.44 301-AH 1.80 331-AH 47.99
162-AH 25.00 192-AH 41.26 272-AH 10.20 302-AH 33.46 332-AH 51.73
163-AH 86.61 193-AH 44.56 273-AH 12.83 303-AH 35.64 333-AH 100.00
164-AH 15.09 194-AH 100.00 274-AH 38.64 304-AH 29.75 334-AH 46.56
165-AH 100.00 195-AH 0.00 275-AH 45.44 305-AH 32.09 335-AH 25.23
166-AH 0.00 196-AH 50.00 276-AH 50.87 306-AH 33.33 336-AH 25.81
167-AH 25.23 197-AH 77.53 277-AH 17.51 307-AH 34.64 337-AH 80.66
168-AH 38.94 198-AH 100.00 278-AH 15.90 308-AH 75.11 338-AH 65.55
169-AH 1.26 199-AH 53.93 279-AH 31.32 309-AH 5.16 339-AH 73.04
170-AH 100.00 200-AH 70.90 280-AH 3.57 310-AH 6.81 340-AH 48.04
436
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTDN AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 46.38 ISILEMTDN
10 docs 38.94 90%
15 docs 34.71
80%
20 docs 31.97
30 docs 27.60 70%
100 docs 14.86
60%
200 docs 9.24
Precision
500 docs 4.33 50%
1000 docs 2.32 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.05
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1640
Second Quartile 0.3401
Third Quartile 0.5556
Interquartile range 0.3916 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3805
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2823 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3805 15
Std With No Outliers 0.2823 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISILEMTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
437
geneva 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.GENEVA.ISILEMTDN AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 26.32 251-AH 47.69 281-AH 40.48 311-AH 46.30 341-AH 66.67
142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 16.13 312-AH 70.97 342-AH 55.21
143-AH 79.49 173-AH 100.00 253-AH 51.05 283-AH 36.84 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 39.30 284-AH 47.37 314-AH 0.00 344-AH 27.27
145-AH 57.89 175-AH 71.43 255-AH 0.00 285-AH 68.12 315-AH 23.73 345-AH 11.11
146-AH 50.00 176-AH 82.05 256-AH 52.94 286-AH 8.33 316-AH 30.51 346-AH 0.00
147-AH 64.71 177-AH 46.15 257-AH 28.57 287-AH 44.90 317-AH 30.00 347-AH 0.00
148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 32.89 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 27.27 259-AH 33.33 289-AH 61.11 319-AH 36.84 349-AH 48.15
150-AH 20.00 180-AH 72.50 260-AH 50.79 290-AH 34.69 320-AH 6.25 350-AH 50.00
151-AH 33.33 181-AH 77.17 261-AH 38.24 291-AH 26.67 321-AH 0.00
152-AH 45.45 182-AH 25.00 262-AH 48.24 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 58.82 323-AH 23.08
154-AH 42.86 184-AH 55.56 264-AH 31.82 294-AH 66.67 324-AH 28.38
155-AH 33.33 185-AH 0.00 265-AH 16.67 295-AH 19.61 325-AH 62.30
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 62.50 326-AH 50.00
157-AH 54.68 187-AH 100.00 267-AH 28.57 297-AH 50.00 327-AH 25.00
158-AH 0.00 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 56.52
159-AH 9.26 189-AH 71.43 269-AH 33.33 299-AH 21.05 329-AH 64.71
160-AH 0.00 190-AH 55.56 270-AH 63.16 300-AH 28.57 330-AH 66.67
161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 41.18
162-AH 0.00 192-AH 33.33 272-AH 21.43 302-AH 47.06 332-AH 50.00
163-AH 77.05 193-AH 28.57 273-AH 13.25 303-AH 50.00 333-AH 100.00
164-AH 11.11 194-AH 100.00 274-AH 43.75 304-AH 26.67 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 51.52 305-AH 37.70 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 47.46 306-AH 0.00 336-AH 29.41
167-AH 20.00 197-AH 70.00 277-AH 26.92 307-AH 48.05 337-AH 75.00
168-AH 38.89 198-AH 100.00 278-AH 23.81 308-AH 72.73 338-AH 60.00
169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 73.68
170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 11.11 340-AH 40.00
438
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEF AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,554 Pooled false
Geometric Mean Average Precision 0.1066
Binary Preference (BPREF) 0.2701
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 57.24 INAOEF
10 48.56 90%
20 42.95
80%
30 36.59
40 32.91 70%
50 28.90
60%
60 24.43
Precision
70 19.97 50%
80 16.09 40%
90 11.58
30%
100 8.20
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
28.46 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0704
Second Quartile 0.1894
Third Quartile 0.4508
Interquartile range 0.3804 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2846
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2651 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.2846 20
15
Std With No Outliers 0.2651
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
439
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEF AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 7.09 251-AH 47.55 281-AH 30.76 311-AH 27.53 341-AH 63.79
142-AH 87.85 172-AH 3.45 252-AH 37.52 282-AH 29.12 312-AH 0.07 342-AH 16.13
143-AH 44.97 173-AH 100.00 253-AH 22.38 283-AH 20.72 313-AH 4.16 343-AH 1.59
144-AH 5.14 174-AH 100.00 254-AH 9.31 284-AH 56.63 314-AH 3.75 344-AH 64.95
145-AH 38.46 175-AH 65.47 255-AH 43.38 285-AH 11.60 315-AH 36.60 345-AH 7.75
146-AH 18.45 176-AH 78.41 256-AH 75.37 286-AH 2.57 316-AH 9.44 346-AH 9.64
147-AH 53.12 177-AH 12.38 257-AH 18.47 287-AH 38.45 317-AH 18.93 347-AH 6.01
148-AH 18.94 178-AH 1.13 258-AH 0.08 288-AH 4.18 318-AH 7.00 348-AH 100.00
149-AH 0.00 179-AH 32.81 259-AH 67.38 289-AH 66.75 319-AH 10.42 349-AH 27.31
150-AH 4.42 180-AH 31.67 260-AH 61.07 290-AH 15.47 320-AH 3.13 350-AH 35.59
151-AH 7.66 181-AH 80.19 261-AH 3.17 291-AH 23.16 321-AH 0.00
152-AH 57.77 182-AH 12.70 262-AH 8.82 292-AH 1.18 322-AH 0.53
153-AH 0.33 183-AH 8.35 263-AH 23.01 293-AH 48.67 323-AH 21.65
154-AH 35.92 184-AH 23.70 264-AH 42.31 294-AH 66.01 324-AH 56.37
155-AH 16.27 185-AH 50.00 265-AH 57.37 295-AH 13.51 325-AH 36.30
156-AH 7.59 186-AH 0.00 266-AH 0.69 296-AH 40.12 326-AH 17.50
157-AH 35.23 187-AH 12.50 267-AH 21.30 297-AH 38.14 327-AH 1.31
158-AH 16.06 188-AH 1.28 268-AH 19.64 298-AH 21.47 328-AH 53.58
159-AH 9.09 189-AH 89.29 269-AH 33.19 299-AH 54.63 329-AH 59.74
160-AH 6.73 190-AH 76.39 270-AH 63.36 300-AH 16.48 330-AH 56.60
161-AH 0.00 191-AH 0.00 271-AH 52.06 301-AH 2.07 331-AH 17.54
162-AH 7.14 192-AH 2.69 272-AH 12.76 302-AH 33.89 332-AH 37.37
163-AH 77.18 193-AH 74.98 273-AH 64.59 303-AH 9.32 333-AH 100.00
164-AH 5.48 194-AH 4.55 274-AH 28.01 304-AH 31.93 334-AH 34.04
165-AH 50.00 195-AH 0.00 275-AH 18.44 305-AH 16.86 335-AH 15.24
166-AH 0.00 196-AH 50.00 276-AH 30.95 306-AH 6.67 336-AH 2.11
167-AH 3.25 197-AH 22.57 277-AH 9.16 307-AH 10.26 337-AH 12.53
168-AH 45.19 198-AH 6.67 278-AH 14.24 308-AH 77.05 338-AH 16.81
169-AH 0.39 199-AH 36.56 279-AH 28.71 309-AH 8.30 339-AH 33.92
170-AH 50.00 200-AH 9.76 280-AH 3.36 310-AH 4.65 340-AH 11.83
440
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEF AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 35.75 INAOEF
10 docs 31.25 90%
15 docs 28.63
80%
20 docs 26.88
30 docs 23.17 70%
100 docs 12.80
60%
200 docs 8.03
Precision
500 docs 3.94 50%
1000 docs 2.22 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.35
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2020
Third Quartile 0.4486
Interquartile range 0.4486 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2735
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2620 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 1.0000
30
Mean With No Outliers 0.2735
20
Std With No Outliers 0.2620
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
INAOEF
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
441
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEF AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 46.15 281-AH 35.71 311-AH 38.89 341-AH 66.67
142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 35.48 312-AH 0.00 342-AH 19.79
143-AH 46.15 173-AH 100.00 253-AH 32.63 283-AH 26.32 313-AH 10.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 18.78 284-AH 55.26 314-AH 0.00 344-AH 63.64
145-AH 39.47 175-AH 57.14 255-AH 25.00 285-AH 18.84 315-AH 33.90 345-AH 0.00
146-AH 0.00 176-AH 69.23 256-AH 67.65 286-AH 0.00 316-AH 12.71 346-AH 9.09
147-AH 56.86 177-AH 15.38 257-AH 28.57 287-AH 42.86 317-AH 23.33 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 13.16 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 36.36 259-AH 66.67 289-AH 61.11 319-AH 10.53 349-AH 40.74
150-AH 0.00 180-AH 35.00 260-AH 50.79 290-AH 20.41 320-AH 6.25 350-AH 40.00
151-AH 8.33 181-AH 77.17 261-AH 8.82 291-AH 23.33 321-AH 0.00
152-AH 45.45 182-AH 0.00 262-AH 14.12 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 50.00 323-AH 23.08
154-AH 38.10 184-AH 33.33 264-AH 50.00 294-AH 62.96 324-AH 62.16
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 19.61 325-AH 44.26
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 25.00
157-AH 43.88 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 26.47 188-AH 0.00 268-AH 0.00 298-AH 26.67 328-AH 56.52
159-AH 14.81 189-AH 71.43 269-AH 33.33 299-AH 52.63 329-AH 58.82
160-AH 0.00 190-AH 77.78 270-AH 56.14 300-AH 9.52 330-AH 54.90
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 12.50 331-AH 17.65
162-AH 0.00 192-AH 0.00 272-AH 21.43 302-AH 35.29 332-AH 37.50
163-AH 68.85 193-AH 57.14 273-AH 60.24 303-AH 7.14 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 43.75 304-AH 33.33 334-AH 20.00
165-AH 0.00 195-AH 0.00 275-AH 25.76 305-AH 24.59 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 0.00 336-AH 5.88
167-AH 0.00 197-AH 28.00 277-AH 15.38 307-AH 18.18 337-AH 20.00
168-AH 50.00 198-AH 0.00 278-AH 14.29 308-AH 72.73 338-AH 20.00
169-AH 0.00 199-AH 20.00 279-AH 25.00 309-AH 20.00 339-AH 36.84
170-AH 0.00 200-AH 11.11 280-AH 4.00 310-AH 11.11 340-AH 0.00
442
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEV AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,550 Pooled false
Geometric Mean Average Precision 0.0924
Binary Preference (BPREF) 0.2495
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 53.40 INAOEV
10 44.50 90%
20 39.71
80%
30 33.77
40 29.39 70%
50 26.24
60%
60 21.43
Precision
70 17.64 50%
80 14.27 40%
90 10.34
30%
100 7.65
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
25.82 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0607
Second Quartile 0.1616
Third Quartile 0.3839
Interquartile range 0.3232 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2582
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2565 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.8403 25
Mean With No Outliers 0.2301 20
15
Std With No Outliers 0.2170
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
443
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEV AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 4.84 251-AH 42.18 281-AH 31.41 311-AH 27.53 341-AH 70.19
142-AH 87.85 172-AH 10.12 252-AH 33.20 282-AH 11.72 312-AH 0.22 342-AH 20.71
143-AH 49.67 173-AH 100.00 253-AH 22.38 283-AH 1.10 313-AH 1.90 343-AH 0.82
144-AH 75.56 174-AH 100.00 254-AH 20.24 284-AH 49.96 314-AH 3.75 344-AH 60.08
145-AH 38.46 175-AH 72.66 255-AH 43.38 285-AH 11.60 315-AH 14.02 345-AH 7.02
146-AH 27.13 176-AH 71.60 256-AH 75.37 286-AH 2.57 316-AH 9.44 346-AH 4.03
147-AH 58.95 177-AH 23.69 257-AH 17.45 287-AH 36.40 317-AH 21.81 347-AH 5.94
148-AH 19.18 178-AH 8.75 258-AH 0.72 288-AH 4.18 318-AH 8.12 348-AH 100.00
149-AH 0.00 179-AH 21.10 259-AH 38.29 289-AH 59.44 319-AH 23.18 349-AH 21.62
150-AH 4.08 180-AH 7.07 260-AH 73.10 290-AH 15.28 320-AH 3.73 350-AH 29.19
151-AH 7.66 181-AH 52.88 261-AH 3.17 291-AH 3.84 321-AH 0.00
152-AH 26.86 182-AH 12.70 262-AH 10.38 292-AH 1.18 322-AH 1.94
153-AH 0.00 183-AH 2.01 263-AH 20.55 293-AH 55.26 323-AH 25.98
154-AH 27.63 184-AH 38.24 264-AH 50.87 294-AH 40.44 324-AH 15.29
155-AH 16.27 185-AH 5.56 265-AH 57.37 295-AH 15.68 325-AH 38.33
156-AH 7.59 186-AH 0.00 266-AH 1.42 296-AH 35.55 326-AH 11.44
157-AH 18.81 187-AH 5.56 267-AH 30.47 297-AH 8.81 327-AH 6.45
158-AH 16.06 188-AH 1.02 268-AH 19.64 298-AH 11.08 328-AH 52.25
159-AH 15.09 189-AH 62.75 269-AH 13.02 299-AH 40.95 329-AH 50.81
160-AH 6.73 190-AH 64.68 270-AH 65.03 300-AH 10.87 330-AH 25.18
161-AH 0.00 191-AH 0.00 271-AH 33.12 301-AH 1.43 331-AH 20.75
162-AH 7.14 192-AH 11.45 272-AH 10.91 302-AH 33.89 332-AH 46.39
163-AH 84.03 193-AH 74.98 273-AH 64.59 303-AH 14.07 333-AH 100.00
164-AH 3.63 194-AH 2.00 274-AH 30.78 304-AH 15.18 334-AH 5.88
165-AH 50.00 195-AH 0.00 275-AH 23.95 305-AH 10.65 335-AH 15.24
166-AH 0.00 196-AH 50.00 276-AH 17.52 306-AH 6.67 336-AH 2.11
167-AH 1.58 197-AH 22.57 277-AH 9.87 307-AH 9.21 337-AH 12.93
168-AH 37.47 198-AH 3.85 278-AH 6.96 308-AH 65.13 338-AH 6.20
169-AH 0.08 199-AH 44.90 279-AH 27.26 309-AH 8.30 339-AH 38.15
170-AH 50.00 200-AH 10.53 280-AH 1.08 310-AH 4.65 340-AH 18.93
444
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEV AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 32.88 INAOEV
10 docs 29.19 90%
15 docs 26.13
80%
20 docs 24.41
30 docs 20.48 70%
100 docs 11.64
60%
200 docs 7.58
Precision
500 docs 3.86 50%
1000 docs 2.22 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
25.53
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2153
Third Quartile 0.3974
Interquartile range 0.3974 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2553
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2524 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.8750
30
Mean With No Outliers 0.2312
20
Std With No Outliers 0.2172
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
INAOEV
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
445
inaoe 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.INAOE.INAOEV AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 0.00 251-AH 41.54 281-AH 30.95 311-AH 38.89 341-AH 66.67
142-AH 87.50 172-AH 14.29 252-AH 34.48 282-AH 12.90 312-AH 0.00 342-AH 22.92
143-AH 48.72 173-AH 100.00 253-AH 32.63 283-AH 2.63 313-AH 5.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 32.31 284-AH 47.37 314-AH 0.00 344-AH 54.55
145-AH 39.47 175-AH 57.14 255-AH 25.00 285-AH 18.84 315-AH 15.25 345-AH 0.00
146-AH 50.00 176-AH 61.54 256-AH 67.65 286-AH 0.00 316-AH 12.71 346-AH 9.09
147-AH 58.82 177-AH 30.77 257-AH 22.22 287-AH 42.86 317-AH 30.00 347-AH 0.00
148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 13.16 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 27.27 259-AH 33.33 289-AH 66.67 319-AH 36.84 349-AH 18.52
150-AH 0.00 180-AH 15.00 260-AH 65.08 290-AH 24.49 320-AH 6.25 350-AH 40.00
151-AH 8.33 181-AH 57.61 261-AH 8.82 291-AH 6.67 321-AH 0.00
152-AH 27.27 182-AH 0.00 262-AH 17.65 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 20.83 293-AH 47.06 323-AH 23.08
154-AH 28.57 184-AH 44.44 264-AH 54.55 294-AH 37.04 324-AH 18.92
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 19.61 325-AH 42.62
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 0.00
157-AH 25.90 187-AH 0.00 267-AH 38.10 297-AH 16.67 327-AH 0.00
158-AH 26.47 188-AH 0.00 268-AH 0.00 298-AH 23.33 328-AH 52.17
159-AH 27.78 189-AH 57.14 269-AH 33.33 299-AH 40.79 329-AH 64.71
160-AH 0.00 190-AH 66.67 270-AH 54.39 300-AH 9.52 330-AH 29.41
161-AH 0.00 191-AH 0.00 271-AH 29.17 301-AH 0.00 331-AH 17.65
162-AH 0.00 192-AH 0.00 272-AH 14.29 302-AH 35.29 332-AH 50.00
163-AH 76.23 193-AH 57.14 273-AH 60.24 303-AH 28.57 333-AH 100.00
164-AH 0.00 194-AH 0.00 274-AH 43.75 304-AH 26.67 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 34.85 305-AH 22.95 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 25.42 306-AH 0.00 336-AH 5.88
167-AH 0.00 197-AH 28.00 277-AH 7.69 307-AH 18.18 337-AH 25.00
168-AH 33.33 198-AH 0.00 278-AH 9.52 308-AH 54.55 338-AH 10.00
169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 20.00 339-AH 36.84
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 11.11 340-AH 0.00
446
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,758 Pooled false
Geometric Mean Average Precision 0.1488 basic title-description monolingual
Binary Preference (BPREF) 0.3311
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 68.05 EN2ENNOWSD
10 57.70 90%
20 50.21
80%
30 43.86
40 39.75 70%
50 36.20
60%
60 31.15
Precision
70 26.10 50%
80 22.21 40%
90 17.44
30%
100 13.28
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
35.34 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1162
Second Quartile 0.2763
Third Quartile 0.5550
Interquartile range 0.4388 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3534
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2833 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.3534 10
Std With No Outliers 0.2833
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
447
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 6.10 251-AH 52.02 281-AH 54.30 311-AH 23.88 341-AH 84.45
142-AH 100.00 172-AH 19.52 252-AH 18.83 282-AH 16.38 312-AH 41.12 342-AH 59.06
143-AH 63.80 173-AH 100.00 253-AH 14.52 283-AH 6.23 313-AH 13.11 343-AH 12.50
144-AH 46.67 174-AH 100.00 254-AH 16.05 284-AH 50.69 314-AH 9.48 344-AH 44.77
145-AH 40.44 175-AH 64.01 255-AH 23.63 285-AH 9.47 315-AH 31.77 345-AH 1.60
146-AH 10.53 176-AH 78.84 256-AH 79.64 286-AH 2.51 316-AH 14.14 346-AH 4.55
147-AH 52.74 177-AH 12.95 257-AH 26.72 287-AH 35.63 317-AH 19.79 347-AH 7.60
148-AH 6.53 178-AH 26.79 258-AH 20.43 288-AH 17.77 318-AH 8.64 348-AH 100.00
149-AH 0.00 179-AH 51.20 259-AH 67.39 289-AH 81.68 319-AH 18.10 349-AH 33.68
150-AH 15.04 180-AH 30.12 260-AH 56.70 290-AH 13.16 320-AH 8.31 350-AH 48.44
151-AH 7.26 181-AH 70.41 261-AH 5.04 291-AH 61.52 321-AH 0.00
152-AH 58.85 182-AH 10.87 262-AH 12.30 292-AH 70.49 322-AH 4.16
153-AH 0.00 183-AH 1.32 263-AH 15.67 293-AH 51.23 323-AH 29.12
154-AH 25.04 184-AH 56.83 264-AH 60.43 294-AH 57.05 324-AH 57.59
155-AH 7.54 185-AH 16.67 265-AH 63.66 295-AH 27.13 325-AH 50.57
156-AH 6.26 186-AH 0.00 266-AH 2.33 296-AH 36.54 326-AH 19.39
157-AH 39.20 187-AH 14.29 267-AH 27.05 297-AH 37.91 327-AH 5.84
158-AH 43.23 188-AH 0.31 268-AH 57.25 298-AH 25.46 328-AH 47.23
159-AH 16.41 189-AH 92.76 269-AH 45.03 299-AH 45.80 329-AH 75.03
160-AH 4.08 190-AH 67.20 270-AH 57.83 300-AH 24.02 330-AH 76.18
161-AH 0.00 191-AH 0.00 271-AH 63.10 301-AH 1.97 331-AH 20.49
162-AH 50.00 192-AH 46.49 272-AH 26.20 302-AH 32.88 332-AH 30.59
163-AH 73.01 193-AH 44.31 273-AH 64.34 303-AH 12.31 333-AH 100.00
164-AH 6.10 194-AH 100.00 274-AH 39.52 304-AH 38.80 334-AH 21.38
165-AH 50.00 195-AH 0.00 275-AH 23.81 305-AH 25.41 335-AH 11.67
166-AH 0.00 196-AH 50.00 276-AH 36.36 306-AH 100.00 336-AH 1.42
167-AH 16.92 197-AH 43.67 277-AH 19.11 307-AH 11.57 337-AH 76.91
168-AH 33.56 198-AH 50.00 278-AH 10.55 308-AH 68.50 338-AH 79.18
169-AH 2.97 199-AH 66.49 279-AH 15.47 309-AH 8.06 339-AH 49.68
170-AH 100.00 200-AH 28.14 280-AH 3.36 310-AH 5.46 340-AH 32.62
448
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 42.13 EN2ENNOWSD
10 docs 36.31 90%
15 docs 31.50
80%
20 docs 28.88
30 docs 25.10 70%
100 docs 14.06
60%
200 docs 8.84
Precision
500 docs 4.33 50%
1000 docs 2.35 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.14
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1053
Second Quartile 0.2826
Third Quartile 0.5044
Interquartile range 0.3991 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3314
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2752 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3314 20
15
Std With No Outliers 0.2752
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENNOWSD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
449
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSD AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 47.69 281-AH 57.14 311-AH 31.48 341-AH 66.67
142-AH 100.00 172-AH 14.29 252-AH 13.79 282-AH 12.90 312-AH 45.16 342-AH 57.29
143-AH 56.41 173-AH 100.00 253-AH 24.74 283-AH 10.53 313-AH 25.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 27.95 284-AH 52.63 314-AH 11.11 344-AH 48.48
145-AH 42.11 175-AH 71.43 255-AH 25.00 285-AH 14.49 315-AH 27.12 345-AH 0.00
146-AH 0.00 176-AH 64.10 256-AH 70.59 286-AH 0.00 316-AH 22.88 346-AH 0.00
147-AH 52.94 177-AH 7.69 257-AH 36.51 287-AH 34.69 317-AH 23.33 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 23.68 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 72.22 319-AH 21.05 349-AH 40.74
150-AH 0.00 180-AH 27.50 260-AH 52.38 290-AH 10.20 320-AH 25.00 350-AH 30.00
151-AH 16.67 181-AH 72.83 261-AH 11.76 291-AH 63.33 321-AH 0.00
152-AH 54.55 182-AH 0.00 262-AH 22.35 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 18.75 293-AH 55.88 323-AH 26.92
154-AH 28.57 184-AH 55.56 264-AH 50.00 294-AH 40.74 324-AH 59.46
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 25.49 325-AH 49.18
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 25.00
157-AH 46.04 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 43.48
159-AH 20.37 189-AH 85.71 269-AH 33.33 299-AH 48.68 329-AH 70.59
160-AH 0.00 190-AH 66.67 270-AH 50.88 300-AH 28.57 330-AH 72.55
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 29.41 332-AH 25.00
163-AH 63.93 193-AH 28.57 273-AH 61.45 303-AH 28.57 333-AH 100.00
164-AH 7.41 194-AH 100.00 274-AH 43.75 304-AH 33.33 334-AH 20.00
165-AH 0.00 195-AH 0.00 275-AH 27.27 305-AH 32.79 335-AH 6.67
166-AH 0.00 196-AH 0.00 276-AH 40.68 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 40.00 277-AH 26.92 307-AH 19.48 337-AH 70.00
168-AH 27.78 198-AH 0.00 278-AH 19.05 308-AH 63.64 338-AH 70.00
169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 0.00 339-AH 42.11
170-AH 100.00 200-AH 33.33 280-AH 8.00 310-AH 12.70 340-AH 40.00
450
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSDPSREL AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,889 Pooled false
Geometric Mean Average Precision 0.1572 basic monolingual with pseudo-relevance feedback
Binary Preference (BPREF) 0.3548
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 68.10 EN2ENNOWSDPSREL
10 58.52 90%
20 52.69
80%
30 47.19
40 42.99 70%
50 39.09
60%
60 34.75
Precision
70 29.30 50%
80 25.22 40%
90 20.47
30%
100 14.97
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.10 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1134
Second Quartile 0.3317
Third Quartile 0.6024
Interquartile range 0.4891 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3810
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3009 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3810
10
Std With No Outliers 0.3009
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
451
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSDPSREL AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 6.96 251-AH 55.35 281-AH 52.85 311-AH 25.40 341-AH 88.33
142-AH 100.00 172-AH 20.58 252-AH 25.62 282-AH 15.12 312-AH 38.92 342-AH 56.76
143-AH 74.59 173-AH 100.00 253-AH 21.90 283-AH 3.50 313-AH 12.48 343-AH 14.29
144-AH 47.92 174-AH 100.00 254-AH 22.16 284-AH 54.00 314-AH 8.42 344-AH 39.75
145-AH 45.70 175-AH 66.53 255-AH 34.83 285-AH 19.74 315-AH 40.04 345-AH 1.55
146-AH 7.67 176-AH 79.71 256-AH 81.18 286-AH 2.80 316-AH 12.97 346-AH 4.63
147-AH 64.99 177-AH 12.80 257-AH 28.26 287-AH 44.46 317-AH 21.03 347-AH 6.57
148-AH 8.02 178-AH 27.19 258-AH 20.94 288-AH 21.89 318-AH 7.64 348-AH 100.00
149-AH 0.00 179-AH 73.69 259-AH 67.24 289-AH 84.52 319-AH 18.83 349-AH 40.62
150-AH 16.50 180-AH 56.72 260-AH 66.96 290-AH 15.93 320-AH 8.79 350-AH 50.40
151-AH 7.67 181-AH 73.49 261-AH 5.16 291-AH 62.87 321-AH 0.00
152-AH 58.81 182-AH 11.01 262-AH 10.30 292-AH 62.15 322-AH 4.25
153-AH 0.00 183-AH 0.87 263-AH 17.10 293-AH 53.58 323-AH 31.17
154-AH 27.94 184-AH 57.73 264-AH 67.55 294-AH 61.68 324-AH 58.25
155-AH 8.65 185-AH 16.67 265-AH 69.44 295-AH 30.70 325-AH 52.65
156-AH 6.78 186-AH 0.00 266-AH 2.95 296-AH 39.54 326-AH 9.03
157-AH 42.72 187-AH 16.67 267-AH 23.90 297-AH 42.80 327-AH 3.03
158-AH 46.29 188-AH 0.33 268-AH 70.24 298-AH 23.89 328-AH 51.74
159-AH 15.89 189-AH 91.29 269-AH 44.41 299-AH 51.50 329-AH 75.42
160-AH 7.31 190-AH 72.53 270-AH 73.70 300-AH 23.59 330-AH 77.01
161-AH 0.00 191-AH 0.00 271-AH 62.75 301-AH 1.90 331-AH 17.84
162-AH 50.00 192-AH 77.92 272-AH 25.69 302-AH 35.70 332-AH 31.40
163-AH 86.03 193-AH 41.45 273-AH 79.70 303-AH 14.21 333-AH 100.00
164-AH 5.06 194-AH 100.00 274-AH 38.34 304-AH 36.31 334-AH 36.39
165-AH 33.33 195-AH 0.00 275-AH 45.32 305-AH 27.86 335-AH 14.50
166-AH 0.00 196-AH 100.00 276-AH 34.79 306-AH 100.00 336-AH 1.11
167-AH 8.31 197-AH 57.85 277-AH 28.83 307-AH 14.91 337-AH 87.93
168-AH 33.00 198-AH 50.00 278-AH 12.28 308-AH 72.95 338-AH 86.91
169-AH 2.95 199-AH 73.15 279-AH 11.67 309-AH 9.52 339-AH 54.14
170-AH 100.00 200-AH 35.30 280-AH 3.08 310-AH 7.32 340-AH 40.27
452
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSDPSREL AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 43.88 EN2ENNOWSDPSREL
10 docs 37.44 90%
15 docs 33.21
80%
20 docs 30.75
30 docs 26.50 70%
100 docs 15.16
60%
200 docs 9.38
Precision
500 docs 4.50 50%
1000 docs 2.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.12
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1082
Second Quartile 0.3333
Third Quartile 0.5572
Interquartile range 0.4490 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3612
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2931 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3612 20
15
Std With No Outliers 0.2931
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
453
ixa 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.IXA.EN2ENNOWSDPSREL AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 49.23 281-AH 54.76 311-AH 31.48 341-AH 83.33
142-AH 100.00 172-AH 14.29 252-AH 17.24 282-AH 12.90 312-AH 41.94 342-AH 56.25
143-AH 61.54 173-AH 100.00 253-AH 30.53 283-AH 7.89 313-AH 25.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 33.62 284-AH 52.63 314-AH 11.11 344-AH 45.45
145-AH 47.37 175-AH 71.43 255-AH 50.00 285-AH 26.09 315-AH 40.68 345-AH 0.00
146-AH 0.00 176-AH 66.67 256-AH 70.59 286-AH 0.00 316-AH 22.03 346-AH 0.00
147-AH 56.86 177-AH 7.69 257-AH 39.68 287-AH 44.90 317-AH 23.33 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 30.26 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 72.22 319-AH 26.32 349-AH 44.44
150-AH 0.00 180-AH 50.00 260-AH 61.90 290-AH 16.33 320-AH 25.00 350-AH 30.00
151-AH 8.33 181-AH 72.83 261-AH 11.76 291-AH 60.00 321-AH 0.00
152-AH 54.55 182-AH 0.00 262-AH 20.00 292-AH 50.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 18.75 293-AH 55.88 323-AH 26.92
154-AH 33.33 184-AH 55.56 264-AH 63.64 294-AH 55.56 324-AH 59.46
155-AH 0.00 185-AH 0.00 265-AH 66.67 295-AH 31.37 325-AH 49.18
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 37.50 326-AH 0.00
157-AH 47.48 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 52.17
159-AH 14.81 189-AH 85.71 269-AH 33.33 299-AH 48.68 329-AH 70.59
160-AH 0.00 190-AH 77.78 270-AH 66.67 300-AH 28.57 330-AH 72.55
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 29.41 332-AH 25.00
163-AH 78.69 193-AH 28.57 273-AH 72.29 303-AH 28.57 333-AH 100.00
164-AH 3.70 194-AH 100.00 274-AH 43.75 304-AH 33.33 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 43.94 305-AH 34.43 335-AH 20.00
166-AH 0.00 196-AH 100.00 276-AH 38.98 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 52.00 277-AH 34.62 307-AH 22.08 337-AH 85.00
168-AH 33.33 198-AH 0.00 278-AH 19.05 308-AH 63.64 338-AH 70.00
169-AH 0.00 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 52.63
170-AH 100.00 200-AH 44.44 280-AH 8.00 310-AH 12.70 340-AH 40.00
454
know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,438 Pooled false
Geometric Mean Average Precision 0.0939 asso
Binary Preference (BPREF) 0.2849
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 56.93 ASSO
10 46.33 90%
20 40.44
80%
30 34.97
40 31.13 70%
50 28.41
60%
60 24.16
Precision
70 20.07 50%
80 16.77 40%
90 12.97
30%
100 9.34
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
27.72 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0514
Second Quartile 0.1796
Third Quartile 0.4234
Interquartile range 0.3720 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2772
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2746 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.9659 25
Mean With No Outliers 0.2491 20
15
Std With No Outliers 0.2389
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
455
know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 9.21 251-AH 44.03 281-AH 43.83 311-AH 26.21 341-AH 76.05
142-AH 96.59 172-AH 2.96 252-AH 23.05 282-AH 10.84 312-AH 20.27 342-AH 66.81
143-AH 70.28 173-AH 100.00 253-AH 1.66 283-AH 14.39 313-AH 7.90 343-AH 0.68
144-AH 40.02 174-AH 100.00 254-AH 16.38 284-AH 46.97 314-AH 4.54 344-AH 20.07
145-AH 41.69 175-AH 78.46 255-AH 26.16 285-AH 25.85 315-AH 28.46 345-AH 3.77
146-AH 5.78 176-AH 71.78 256-AH 61.14 286-AH 2.11 316-AH 3.46 346-AH 12.04
147-AH 30.68 177-AH 7.02 257-AH 21.92 287-AH 20.39 317-AH 12.08 347-AH 13.71
148-AH 13.34 178-AH 1.66 258-AH 0.08 288-AH 3.36 318-AH 2.19 348-AH 83.33
149-AH 0.00 179-AH 28.65 259-AH 66.95 289-AH 40.49 319-AH 18.29 349-AH 3.98
150-AH 2.57 180-AH 58.71 260-AH 50.85 290-AH 23.17 320-AH 2.57 350-AH 64.53
151-AH 6.53 181-AH 39.02 261-AH 4.05 291-AH 14.35 321-AH 0.00
152-AH 68.22 182-AH 17.63 262-AH 5.28 292-AH 4.51 322-AH 7.67
153-AH 0.27 183-AH 7.92 263-AH 14.57 293-AH 54.20 323-AH 8.68
154-AH 33.99 184-AH 15.99 264-AH 41.54 294-AH 64.06 324-AH 4.97
155-AH 26.19 185-AH 100.00 265-AH 7.76 295-AH 16.88 325-AH 32.30
156-AH 3.95 186-AH 0.00 266-AH 2.95 296-AH 12.46 326-AH 9.27
157-AH 23.27 187-AH 9.09 267-AH 6.69 297-AH 3.91 327-AH 0.11
158-AH 30.54 188-AH 0.00 268-AH 30.47 298-AH 22.44 328-AH 57.70
159-AH 2.89 189-AH 79.97 269-AH 9.35 299-AH 26.87 329-AH 59.08
160-AH 5.00 190-AH 47.28 270-AH 57.50 300-AH 20.59 330-AH 36.53
161-AH 0.00 191-AH 0.00 271-AH 34.52 301-AH 17.59 331-AH 25.61
162-AH 16.67 192-AH 40.89 272-AH 25.18 302-AH 15.45 332-AH 15.76
163-AH 78.46 193-AH 43.76 273-AH 65.24 303-AH 16.25 333-AH 100.00
164-AH 8.12 194-AH 25.00 274-AH 8.35 304-AH 30.48 334-AH 9.58
165-AH 100.00 195-AH 0.00 275-AH 42.99 305-AH 22.74 335-AH 2.41
166-AH 0.00 196-AH 50.00 276-AH 21.32 306-AH 7.14 336-AH 0.16
167-AH 15.72 197-AH 81.30 277-AH 4.74 307-AH 1.61 337-AH 47.54
168-AH 34.78 198-AH 14.29 278-AH 1.20 308-AH 73.22 338-AH 59.69
169-AH 10.05 199-AH 61.86 279-AH 76.15 309-AH 4.58 339-AH 40.79
170-AH 0.29 200-AH 27.59 280-AH 0.70 310-AH 5.35 340-AH 22.29
456
know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 33.75 ASSO
10 docs 29.19 90%
15 docs 26.58
80%
20 docs 24.50
30 docs 21.04 70%
100 docs 11.82
60%
200 docs 7.67
Precision
500 docs 3.84 50%
1000 docs 2.15 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.45
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0315
Second Quartile 0.2357
Third Quartile 0.4189
Interquartile range 0.3874 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2745
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2613 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.8750
30
Mean With No Outliers 0.2463
20
Std With No Outliers 0.2225
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ASSO
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
457
know-center 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 15.79 251-AH 46.15 281-AH 50.00 311-AH 37.04 341-AH 66.67
142-AH 87.50 172-AH 0.00 252-AH 24.14 282-AH 6.45 312-AH 29.03 342-AH 60.42
143-AH 61.54 173-AH 100.00 253-AH 7.89 283-AH 21.05 313-AH 5.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 27.07 284-AH 44.74 314-AH 0.00 344-AH 24.24
145-AH 34.21 175-AH 71.43 255-AH 25.00 285-AH 28.99 315-AH 33.90 345-AH 0.00
146-AH 0.00 176-AH 56.41 256-AH 64.71 286-AH 8.33 316-AH 12.71 346-AH 9.09
147-AH 31.37 177-AH 7.69 257-AH 34.92 287-AH 22.45 317-AH 23.33 347-AH 11.11
148-AH 33.33 178-AH 0.00 258-AH 0.00 288-AH 6.58 318-AH 0.00 348-AH 50.00
149-AH 0.00 179-AH 31.82 259-AH 66.67 289-AH 33.33 319-AH 26.32 349-AH 3.70
150-AH 0.00 180-AH 47.50 260-AH 42.86 290-AH 28.57 320-AH 0.00 350-AH 60.00
151-AH 8.33 181-AH 38.04 261-AH 14.71 291-AH 16.67 321-AH 0.00
152-AH 63.64 182-AH 25.00 262-AH 15.29 292-AH 0.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 20.83 293-AH 50.00 323-AH 15.38
154-AH 33.33 184-AH 11.11 264-AH 50.00 294-AH 59.26 324-AH 12.16
155-AH 0.00 185-AH 100.00 265-AH 0.00 295-AH 21.57 325-AH 34.43
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 20.83 326-AH 25.00
157-AH 32.37 187-AH 0.00 267-AH 4.76 297-AH 8.33 327-AH 0.00
158-AH 41.18 188-AH 0.00 268-AH 33.33 298-AH 33.33 328-AH 65.22
159-AH 5.56 189-AH 71.43 269-AH 22.22 299-AH 30.26 329-AH 58.82
160-AH 0.00 190-AH 55.56 270-AH 57.89 300-AH 23.81 330-AH 37.25
161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 31.25 331-AH 29.41
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 17.65 332-AH 25.00
163-AH 71.31 193-AH 42.86 273-AH 57.83 303-AH 14.29 333-AH 100.00
164-AH 11.11 194-AH 0.00 274-AH 18.75 304-AH 26.67 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 43.94 305-AH 22.95 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 30.51 306-AH 0.00 336-AH 0.00
167-AH 20.00 197-AH 76.00 277-AH 15.38 307-AH 2.60 337-AH 50.00
168-AH 38.89 198-AH 0.00 278-AH 4.76 308-AH 63.64 338-AH 50.00
169-AH 0.00 199-AH 40.00 279-AH 75.00 309-AH 0.00 339-AH 42.11
170-AH 0.00 200-AH 33.33 280-AH 0.00 310-AH 14.29 340-AH 0.00
458
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BASELINE AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,880 Pooled false
Geometric Mean Average Precision 0.1553 simple retrieval without Pseudo-relevance feedback
Binary Preference (BPREF) 0.3342 using BM25 as ranking function
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 68.11 BM25_BASELINE
10 58.99 90%
20 52.83
80%
30 45.78
40 41.03 70%
50 36.87
60%
60 32.12
Precision
70 26.94 50%
80 22.13 40%
90 16.53
30%
100 11.39
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
36.14 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1243
Second Quartile 0.2957
Third Quartile 0.5528
Interquartile range 0.4285 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3614
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2828 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.3614 10
Std With No Outliers 0.2828
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
459
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BASELINE AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 12.12 251-AH 54.74 281-AH 29.97 311-AH 21.14 341-AH 69.08
142-AH 90.53 172-AH 12.23 252-AH 49.88 282-AH 21.91 312-AH 43.58 342-AH 44.24
143-AH 67.64 173-AH 100.00 253-AH 31.84 283-AH 6.01 313-AH 8.55 343-AH 5.00
144-AH 42.50 174-AH 100.00 254-AH 20.87 284-AH 54.70 314-AH 8.54 344-AH 51.79
145-AH 48.72 175-AH 81.97 255-AH 61.79 285-AH 47.93 315-AH 29.00 345-AH 15.67
146-AH 26.35 176-AH 90.13 256-AH 87.43 286-AH 2.62 316-AH 18.57 346-AH 5.10
147-AH 58.50 177-AH 12.36 257-AH 26.17 287-AH 39.40 317-AH 26.37 347-AH 5.54
148-AH 18.87 178-AH 2.98 258-AH 1.17 288-AH 16.03 318-AH 11.76 348-AH 100.00
149-AH 0.00 179-AH 35.37 259-AH 66.78 289-AH 71.71 319-AH 19.31 349-AH 33.69
150-AH 8.85 180-AH 21.56 260-AH 65.80 290-AH 19.95 320-AH 4.52 350-AH 65.44
151-AH 6.06 181-AH 78.03 261-AH 13.42 291-AH 44.41 321-AH 0.00
152-AH 67.93 182-AH 32.71 262-AH 14.13 292-AH 55.61 322-AH 4.09
153-AH 0.00 183-AH 1.73 263-AH 24.55 293-AH 62.22 323-AH 24.35
154-AH 35.28 184-AH 64.27 264-AH 52.12 294-AH 66.48 324-AH 38.73
155-AH 8.76 185-AH 16.67 265-AH 54.39 295-AH 14.77 325-AH 57.62
156-AH 9.25 186-AH 0.00 266-AH 1.33 296-AH 29.56 326-AH 15.78
157-AH 43.10 187-AH 12.50 267-AH 29.59 297-AH 37.51 327-AH 7.88
158-AH 40.11 188-AH 0.93 268-AH 39.01 298-AH 21.91 328-AH 48.13
159-AH 18.94 189-AH 87.62 269-AH 20.16 299-AH 44.82 329-AH 72.64
160-AH 5.54 190-AH 72.86 270-AH 71.21 300-AH 22.05 330-AH 67.48
161-AH 0.00 191-AH 0.00 271-AH 58.34 301-AH 2.11 331-AH 22.37
162-AH 50.00 192-AH 47.55 272-AH 27.71 302-AH 34.43 332-AH 38.99
163-AH 82.92 193-AH 48.20 273-AH 73.59 303-AH 20.10 333-AH 100.00
164-AH 5.96 194-AH 20.00 274-AH 18.10 304-AH 29.80 334-AH 30.30
165-AH 50.00 195-AH 0.00 275-AH 28.68 305-AH 27.47 335-AH 22.16
166-AH 0.00 196-AH 50.00 276-AH 35.64 306-AH 100.00 336-AH 3.07
167-AH 20.59 197-AH 56.67 277-AH 14.36 307-AH 19.06 337-AH 70.98
168-AH 41.20 198-AH 100.00 278-AH 20.37 308-AH 72.33 338-AH 73.50
169-AH 4.68 199-AH 67.80 279-AH 6.78 309-AH 5.21 339-AH 54.94
170-AH 100.00 200-AH 26.90 280-AH 3.97 310-AH 10.15 340-AH 32.33
460
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BASELINE AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 43.25 BM25_BASELINE
10 docs 36.63 90%
15 docs 33.58
80%
20 docs 30.53
30 docs 26.58 70%
100 docs 14.59
60%
200 docs 9.14
Precision
500 docs 4.41 50%
1000 docs 2.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.24
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1082
Second Quartile 0.3333
Third Quartile 0.5257
Interquartile range 0.4176 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3524
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2789 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3524 20
15
Std With No Outliers 0.2789
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BASELINE
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
461
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BASELINE AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 53.85 281-AH 35.71 311-AH 33.33 341-AH 66.67
142-AH 87.50 172-AH 28.57 252-AH 48.28 282-AH 29.03 312-AH 48.39 342-AH 46.88
143-AH 58.97 173-AH 100.00 253-AH 37.89 283-AH 10.53 313-AH 20.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 33.19 284-AH 52.63 314-AH 0.00 344-AH 48.48
145-AH 47.37 175-AH 85.71 255-AH 25.00 285-AH 44.93 315-AH 35.59 345-AH 22.22
146-AH 50.00 176-AH 82.05 256-AH 73.53 286-AH 0.00 316-AH 26.27 346-AH 0.00
147-AH 52.94 177-AH 7.69 257-AH 39.68 287-AH 48.98 317-AH 40.00 347-AH 0.00
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 19.74 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 40.91 259-AH 66.67 289-AH 72.22 319-AH 21.05 349-AH 40.74
150-AH 0.00 180-AH 22.50 260-AH 60.32 290-AH 26.53 320-AH 6.25 350-AH 60.00
151-AH 8.33 181-AH 76.09 261-AH 20.59 291-AH 46.67 321-AH 0.00
152-AH 72.73 182-AH 25.00 262-AH 17.65 292-AH 50.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 55.88 323-AH 23.08
154-AH 42.86 184-AH 66.67 264-AH 50.00 294-AH 59.26 324-AH 43.24
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 25.49 325-AH 57.38
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00
157-AH 52.52 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 52.17
159-AH 25.93 189-AH 71.43 269-AH 22.22 299-AH 44.74 329-AH 76.47
160-AH 0.00 190-AH 66.67 270-AH 63.16 300-AH 19.05 330-AH 64.71
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 35.29 332-AH 37.50
163-AH 72.95 193-AH 28.57 273-AH 71.08 303-AH 21.43 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 20.00
165-AH 0.00 195-AH 0.00 275-AH 30.30 305-AH 36.07 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 52.00 277-AH 30.77 307-AH 27.27 337-AH 60.00
168-AH 38.89 198-AH 100.00 278-AH 23.81 308-AH 72.73 338-AH 70.00
169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 42.11
170-AH 100.00 200-AH 44.44 280-AH 8.00 310-AH 17.46 340-AH 40.00
462
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1 AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,898 Pooled false
Geometric Mean Average Precision 0.1528 (See overleaf for description)
Binary Preference (BPREF) 0.3546
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.47 BM25_BO1
10 59.39 90%
20 54.16
80%
30 48.16
40 43.97 70%
50 40.50
60%
60 35.12
Precision
70 29.58 50%
80 24.78 40%
90 18.71
30%
100 12.55
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0969
Second Quartile 0.3356
Third Quartile 0.6312
Interquartile range 0.5343 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3835
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3014 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3835
10
Std With No Outliers 0.3014
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
463
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1 AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 19.95 251-AH 57.02 281-AH 30.10 311-AH 23.85 341-AH 69.05
142-AH 88.64 172-AH 12.48 252-AH 49.34 282-AH 23.75 312-AH 50.29 342-AH 43.75
143-AH 76.07 173-AH 100.00 253-AH 31.39 283-AH 17.20 313-AH 7.26 343-AH 1.64
144-AH 36.11 174-AH 100.00 254-AH 27.05 284-AH 52.63 314-AH 7.93 344-AH 37.93
145-AH 71.98 175-AH 88.57 255-AH 55.16 285-AH 71.23 315-AH 41.22 345-AH 18.28
146-AH 25.66 176-AH 85.98 256-AH 87.42 286-AH 3.02 316-AH 10.31 346-AH 6.19
147-AH 68.26 177-AH 13.14 257-AH 21.09 287-AH 41.70 317-AH 23.76 347-AH 9.47
148-AH 19.71 178-AH 1.50 258-AH 0.50 288-AH 54.07 318-AH 8.39 348-AH 100.00
149-AH 0.00 179-AH 65.05 259-AH 50.93 289-AH 86.92 319-AH 35.30 349-AH 30.90
150-AH 7.56 180-AH 9.55 260-AH 68.28 290-AH 24.16 320-AH 2.40 350-AH 64.67
151-AH 3.17 181-AH 83.94 261-AH 13.07 291-AH 54.43 321-AH 0.00
152-AH 53.66 182-AH 35.21 262-AH 18.62 292-AH 100.00 322-AH 4.99
153-AH 0.00 183-AH 1.21 263-AH 5.02 293-AH 67.01 323-AH 22.01
154-AH 40.77 184-AH 62.52 264-AH 67.01 294-AH 68.98 324-AH 52.66
155-AH 9.82 185-AH 20.00 265-AH 39.10 295-AH 13.49 325-AH 57.17
156-AH 7.80 186-AH 0.00 266-AH 1.76 296-AH 39.93 326-AH 3.87
157-AH 64.79 187-AH 9.09 267-AH 32.45 297-AH 38.84 327-AH 0.63
158-AH 49.27 188-AH 0.67 268-AH 39.23 298-AH 16.78 328-AH 42.31
159-AH 60.83 189-AH 82.82 269-AH 16.79 299-AH 57.28 329-AH 72.57
160-AH 4.39 190-AH 78.02 270-AH 76.07 300-AH 22.67 330-AH 70.58
161-AH 0.00 191-AH 0.00 271-AH 54.51 301-AH 1.67 331-AH 18.46
162-AH 50.00 192-AH 86.56 272-AH 26.45 302-AH 21.59 332-AH 42.55
163-AH 88.60 193-AH 45.23 273-AH 74.66 303-AH 32.06 333-AH 100.00
164-AH 6.67 194-AH 25.00 274-AH 19.07 304-AH 32.87 334-AH 51.73
165-AH 33.33 195-AH 0.00 275-AH 35.31 305-AH 31.93 335-AH 24.43
166-AH 0.00 196-AH 50.00 276-AH 33.78 306-AH 100.00 336-AH 2.01
167-AH 9.35 197-AH 47.98 277-AH 15.96 307-AH 12.75 337-AH 74.03
168-AH 40.13 198-AH 100.00 278-AH 35.42 308-AH 63.71 338-AH 80.15
169-AH 7.82 199-AH 72.71 279-AH 6.23 309-AH 8.73 339-AH 75.68
170-AH 100.00 200-AH 40.28 280-AH 3.02 310-AH 2.74 340-AH 31.63
464
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1 AH-ROBUST-MONO-EN-TEST-CLEF2008
retrieval with Pseudo-relevance feedback using Bose
Einstein statistics as term selection function,
Rocchio for reweigth terms and BM25 as ranking
function
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 46.13 BM25_BO1
10 docs 38.44 90%
15 docs 35.63
80%
20 docs 31.78
30 docs 27.21 70%
100 docs 15.39
60%
200 docs 9.59
Precision
500 docs 4.51 50%
1000 docs 2.44 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.15
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0817
Second Quartile 0.3333
Third Quartile 0.5789
Interquartile range 0.4973 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3615
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2959 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3615 20
15
Std With No Outliers 0.2959
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
465
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1 AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 26.32 251-AH 55.38 281-AH 30.95 311-AH 37.04 341-AH 66.67
142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 29.03 312-AH 45.16 342-AH 46.88
143-AH 66.67 173-AH 100.00 253-AH 38.42 283-AH 21.05 313-AH 15.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 37.99 284-AH 47.37 314-AH 0.00 344-AH 36.36
145-AH 57.89 175-AH 85.71 255-AH 25.00 285-AH 66.67 315-AH 49.15 345-AH 22.22
146-AH 50.00 176-AH 74.36 256-AH 73.53 286-AH 0.00 316-AH 8.47 346-AH 0.00
147-AH 58.82 177-AH 7.69 257-AH 28.57 287-AH 53.06 317-AH 26.67 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 52.63 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 33.33 289-AH 77.78 319-AH 31.58 349-AH 44.44
150-AH 0.00 180-AH 15.00 260-AH 63.49 290-AH 34.69 320-AH 0.00 350-AH 60.00
151-AH 0.00 181-AH 81.52 261-AH 20.59 291-AH 53.33 321-AH 0.00
152-AH 45.45 182-AH 25.00 262-AH 18.82 292-AH 100.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 58.82 323-AH 23.08
154-AH 38.10 184-AH 66.67 264-AH 59.09 294-AH 66.67 324-AH 50.00
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 27.45 325-AH 55.74
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 0.00
157-AH 60.43 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 52.17
159-AH 51.85 189-AH 71.43 269-AH 22.22 299-AH 57.89 329-AH 76.47
160-AH 0.00 190-AH 77.78 270-AH 68.42 300-AH 19.05 330-AH 64.71
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 83.33 272-AH 28.57 302-AH 23.53 332-AH 37.50
163-AH 82.79 193-AH 28.57 273-AH 67.47 303-AH 28.57 333-AH 100.00
164-AH 0.00 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 39.39 305-AH 31.15 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 33.90 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 36.00 277-AH 34.62 307-AH 18.18 337-AH 65.00
168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 54.55 338-AH 70.00
169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 68.42
170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 3.17 340-AH 20.00
466
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_AVICTF AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,884 Pooled false
Geometric Mean Average Precision 0.1518 (See overleaf for description)
Binary Preference (BPREF) 0.3522
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.32 BM25_BO1_AVICTF
10 59.47 90%
20 54.10
80%
30 47.74
40 43.50 70%
50 40.03
60%
60 34.78
Precision
70 29.48 50%
80 24.71 40%
90 18.54
30%
100 12.47
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.11 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0969
Second Quartile 0.3356
Third Quartile 0.6153
Interquartile range 0.5184 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3811
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3004 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3811 15
Std With No Outliers 0.3004 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
467
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_AVICTF AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 19.95 251-AH 57.02 281-AH 30.10 311-AH 23.85 341-AH 69.05
142-AH 90.53 172-AH 12.48 252-AH 49.34 282-AH 23.75 312-AH 50.29 342-AH 43.75
143-AH 76.07 173-AH 100.00 253-AH 31.39 283-AH 17.20 313-AH 8.55 343-AH 1.64
144-AH 36.11 174-AH 100.00 254-AH 20.87 284-AH 52.63 314-AH 7.93 344-AH 37.93
145-AH 71.98 175-AH 88.57 255-AH 55.16 285-AH 71.23 315-AH 41.22 345-AH 18.28
146-AH 25.66 176-AH 90.13 256-AH 87.42 286-AH 3.02 316-AH 10.31 346-AH 6.19
147-AH 68.26 177-AH 13.14 257-AH 21.09 287-AH 41.70 317-AH 23.76 347-AH 9.47
148-AH 19.71 178-AH 1.50 258-AH 0.50 288-AH 54.07 318-AH 8.39 348-AH 100.00
149-AH 0.00 179-AH 65.05 259-AH 50.93 289-AH 86.92 319-AH 35.30 349-AH 30.90
150-AH 7.56 180-AH 9.55 260-AH 68.28 290-AH 24.16 320-AH 2.40 350-AH 64.67
151-AH 3.17 181-AH 83.94 261-AH 13.42 291-AH 54.43 321-AH 0.00
152-AH 53.66 182-AH 35.21 262-AH 18.62 292-AH 100.00 322-AH 4.09
153-AH 0.00 183-AH 1.21 263-AH 5.02 293-AH 62.22 323-AH 22.01
154-AH 40.77 184-AH 62.52 264-AH 67.01 294-AH 68.98 324-AH 52.66
155-AH 9.82 185-AH 20.00 265-AH 39.10 295-AH 13.49 325-AH 57.17
156-AH 7.80 186-AH 0.00 266-AH 1.33 296-AH 39.93 326-AH 3.87
157-AH 64.79 187-AH 9.09 267-AH 32.45 297-AH 38.84 327-AH 0.63
158-AH 49.27 188-AH 0.67 268-AH 39.23 298-AH 16.78 328-AH 42.31
159-AH 60.83 189-AH 82.82 269-AH 16.79 299-AH 57.28 329-AH 72.57
160-AH 4.39 190-AH 78.02 270-AH 76.07 300-AH 22.67 330-AH 70.58
161-AH 0.00 191-AH 0.00 271-AH 54.51 301-AH 2.11 331-AH 18.46
162-AH 50.00 192-AH 86.56 272-AH 26.45 302-AH 21.59 332-AH 38.99
163-AH 82.92 193-AH 45.23 273-AH 74.66 303-AH 32.06 333-AH 100.00
164-AH 6.67 194-AH 25.00 274-AH 19.07 304-AH 32.87 334-AH 51.73
165-AH 33.33 195-AH 0.00 275-AH 35.31 305-AH 31.93 335-AH 24.43
166-AH 0.00 196-AH 50.00 276-AH 33.78 306-AH 100.00 336-AH 2.01
167-AH 9.35 197-AH 47.98 277-AH 14.36 307-AH 12.75 337-AH 74.03
168-AH 40.13 198-AH 100.00 278-AH 35.42 308-AH 63.71 338-AH 80.15
169-AH 4.68 199-AH 72.71 279-AH 6.23 309-AH 8.73 339-AH 54.94
170-AH 100.00 200-AH 40.28 280-AH 3.97 310-AH 2.74 340-AH 31.63
468
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_AVICTF AH-ROBUST-MONO-EN-TEST-CLEF2008
retrieval with Pseudo-relevance feedback using Bose
Einstein statistics as term selection function,
Rocchio for reweigth terms and BM25 as ranking
function. We have also used AvICTF as query
performance predictor
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 45.50 BM25_BO1_AVICTF
10 docs 38.31 90%
15 docs 35.46
80%
20 docs 31.50
30 docs 27.23 70%
100 docs 15.29
60%
200 docs 9.51
Precision
500 docs 4.49 50%
1000 docs 2.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.87
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0817
Second Quartile 0.3333
Third Quartile 0.5581
Interquartile range 0.4764 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3587
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2949 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3587 20
15
Std With No Outliers 0.2949
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_AVICTF
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
469
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_AVICTF AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 26.32 251-AH 55.38 281-AH 30.95 311-AH 37.04 341-AH 66.67
142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 29.03 312-AH 45.16 342-AH 46.88
143-AH 66.67 173-AH 100.00 253-AH 38.42 283-AH 21.05 313-AH 20.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 33.19 284-AH 47.37 314-AH 0.00 344-AH 36.36
145-AH 57.89 175-AH 85.71 255-AH 25.00 285-AH 66.67 315-AH 49.15 345-AH 22.22
146-AH 50.00 176-AH 82.05 256-AH 73.53 286-AH 0.00 316-AH 8.47 346-AH 0.00
147-AH 58.82 177-AH 7.69 257-AH 28.57 287-AH 53.06 317-AH 26.67 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 52.63 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 33.33 289-AH 77.78 319-AH 31.58 349-AH 44.44
150-AH 0.00 180-AH 15.00 260-AH 63.49 290-AH 34.69 320-AH 0.00 350-AH 60.00
151-AH 0.00 181-AH 81.52 261-AH 20.59 291-AH 53.33 321-AH 0.00
152-AH 45.45 182-AH 25.00 262-AH 18.82 292-AH 100.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 55.88 323-AH 23.08
154-AH 38.10 184-AH 66.67 264-AH 59.09 294-AH 66.67 324-AH 50.00
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 27.45 325-AH 55.74
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 0.00
157-AH 60.43 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 52.17
159-AH 51.85 189-AH 71.43 269-AH 22.22 299-AH 57.89 329-AH 76.47
160-AH 0.00 190-AH 77.78 270-AH 68.42 300-AH 19.05 330-AH 64.71
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 83.33 272-AH 28.57 302-AH 23.53 332-AH 37.50
163-AH 72.95 193-AH 28.57 273-AH 67.47 303-AH 28.57 333-AH 100.00
164-AH 0.00 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 39.39 305-AH 31.15 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 33.90 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 36.00 277-AH 30.77 307-AH 18.18 337-AH 65.00
168-AH 38.89 198-AH 100.00 278-AH 33.33 308-AH 54.55 338-AH 70.00
169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 42.11
170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 3.17 340-AH 20.00
470
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_KLD AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,900 Pooled false
Geometric Mean Average Precision 0.1527 (See overleaf for description)
Binary Preference (BPREF) 0.3557
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.53 BM25_KLD
10 59.03 90%
20 54.00
80%
30 48.33
40 44.17 70%
50 40.51
60%
60 35.22
Precision
70 29.45 50%
80 24.48 40%
90 18.66
30%
100 12.53
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.33 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1001
Second Quartile 0.3431
Third Quartile 0.6322
Interquartile range 0.5321 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3833
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3014 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3833
10
Std With No Outliers 0.3014
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
471
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_KLD AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 18.93 251-AH 57.45 281-AH 30.81 311-AH 23.41 341-AH 69.21
142-AH 88.64 172-AH 13.75 252-AH 49.56 282-AH 23.30 312-AH 50.66 342-AH 43.19
143-AH 76.00 173-AH 100.00 253-AH 31.36 283-AH 17.57 313-AH 7.26 343-AH 1.64
144-AH 36.11 174-AH 100.00 254-AH 27.30 284-AH 52.63 314-AH 7.87 344-AH 38.00
145-AH 71.19 175-AH 88.74 255-AH 55.16 285-AH 70.79 315-AH 41.22 345-AH 17.82
146-AH 25.65 176-AH 86.57 256-AH 87.41 286-AH 3.02 316-AH 10.32 346-AH 6.19
147-AH 68.62 177-AH 13.07 257-AH 20.89 287-AH 39.68 317-AH 23.90 347-AH 9.46
148-AH 19.69 178-AH 1.39 258-AH 0.48 288-AH 54.63 318-AH 8.24 348-AH 100.00
149-AH 0.00 179-AH 65.18 259-AH 50.93 289-AH 86.92 319-AH 35.34 349-AH 30.85
150-AH 8.15 180-AH 9.57 260-AH 68.28 290-AH 24.50 320-AH 2.50 350-AH 64.67
151-AH 3.34 181-AH 83.93 261-AH 13.07 291-AH 55.95 321-AH 0.00
152-AH 53.66 182-AH 35.83 262-AH 18.56 292-AH 100.00 322-AH 5.02
153-AH 0.00 183-AH 1.18 263-AH 4.99 293-AH 66.29 323-AH 22.17
154-AH 39.35 184-AH 62.62 264-AH 68.19 294-AH 68.98 324-AH 51.65
155-AH 9.71 185-AH 14.29 265-AH 41.32 295-AH 13.34 325-AH 57.21
156-AH 7.82 186-AH 0.00 266-AH 1.76 296-AH 40.06 326-AH 4.08
157-AH 65.49 187-AH 11.11 267-AH 32.10 297-AH 37.67 327-AH 0.62
158-AH 49.63 188-AH 0.68 268-AH 39.22 298-AH 15.67 328-AH 42.13
159-AH 61.83 189-AH 82.82 269-AH 16.83 299-AH 58.38 329-AH 72.64
160-AH 4.41 190-AH 78.02 270-AH 75.69 300-AH 22.67 330-AH 70.05
161-AH 0.00 191-AH 0.00 271-AH 54.56 301-AH 1.50 331-AH 18.59
162-AH 50.00 192-AH 83.06 272-AH 26.24 302-AH 21.95 332-AH 42.55
163-AH 88.09 193-AH 44.65 273-AH 74.95 303-AH 32.68 333-AH 100.00
164-AH 8.37 194-AH 25.00 274-AH 18.49 304-AH 34.48 334-AH 51.77
165-AH 33.33 195-AH 0.00 275-AH 34.98 305-AH 30.94 335-AH 22.60
166-AH 0.00 196-AH 50.00 276-AH 34.13 306-AH 100.00 336-AH 1.98
167-AH 9.33 197-AH 47.03 277-AH 15.96 307-AH 12.75 337-AH 74.55
168-AH 39.94 198-AH 100.00 278-AH 35.42 308-AH 63.83 338-AH 79.94
169-AH 7.80 199-AH 72.80 279-AH 6.19 309-AH 8.61 339-AH 75.68
170-AH 100.00 200-AH 43.01 280-AH 2.99 310-AH 2.74 340-AH 31.15
472
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_KLD AH-ROBUST-MONO-EN-TEST-CLEF2008
retrieval with Pseudo-relevance feedback using
Kullback-Liebler Divergence as term selection
function, Rocchio for reweigth terms and BM25 as
ranking function
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 45.75 BM25_KLD
10 docs 38.69 90%
15 docs 35.25
80%
20 docs 31.84
30 docs 27.23 70%
100 docs 15.44
60%
200 docs 9.57
Precision
500 docs 4.51 50%
1000 docs 2.44 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.47
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0785
Second Quartile 0.3333
Third Quartile 0.5849
Interquartile range 0.5065 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3647
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2970 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3647 20
15
Std With No Outliers 0.2970
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_KLD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
473
ucm 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UCM.BM25_KLD AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 26.32 251-AH 55.38 281-AH 30.95 311-AH 37.04 341-AH 66.67
142-AH 87.50 172-AH 28.57 252-AH 48.28 282-AH 29.03 312-AH 41.94 342-AH 47.92
143-AH 66.67 173-AH 100.00 253-AH 38.95 283-AH 23.68 313-AH 15.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 37.55 284-AH 47.37 314-AH 0.00 344-AH 36.36
145-AH 57.89 175-AH 85.71 255-AH 25.00 285-AH 65.22 315-AH 50.85 345-AH 11.11
146-AH 50.00 176-AH 76.92 256-AH 73.53 286-AH 0.00 316-AH 7.63 346-AH 0.00
147-AH 60.78 177-AH 7.69 257-AH 28.57 287-AH 53.06 317-AH 26.67 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 53.95 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 33.33 289-AH 77.78 319-AH 31.58 349-AH 44.44
150-AH 0.00 180-AH 12.50 260-AH 65.08 290-AH 36.73 320-AH 0.00 350-AH 60.00
151-AH 0.00 181-AH 81.52 261-AH 20.59 291-AH 53.33 321-AH 0.00
152-AH 45.45 182-AH 50.00 262-AH 18.82 292-AH 100.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 61.76 323-AH 23.08
154-AH 33.33 184-AH 66.67 264-AH 59.09 294-AH 66.67 324-AH 50.00
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 25.49 325-AH 55.74
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 41.67 326-AH 0.00
157-AH 60.43 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 52.94 188-AH 0.00 268-AH 66.67 298-AH 23.33 328-AH 52.17
159-AH 53.70 189-AH 71.43 269-AH 22.22 299-AH 57.89 329-AH 76.47
160-AH 0.00 190-AH 77.78 270-AH 64.91 300-AH 19.05 330-AH 64.71
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 23.53 332-AH 37.50
163-AH 82.79 193-AH 28.57 273-AH 67.47 303-AH 28.57 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 31.25 304-AH 33.33 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 40.91 305-AH 31.15 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 33.90 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 36.00 277-AH 34.62 307-AH 18.18 337-AH 70.00
168-AH 33.33 198-AH 100.00 278-AH 33.33 308-AH 54.55 338-AH 70.00
169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 10.00 339-AH 68.42
170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 3.17 340-AH 20.00
474
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO1_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,219 Pooled false
Geometric Mean Average Precision 0.1098 Baseline No Stem
Binary Preference (BPREF) 0.3091
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.31 UFRGS_R_MONO1_TEST
10 52.41 90%
20 45.71
80%
30 38.44
40 34.30 70%
50 30.47
60%
60 26.87
Precision
70 22.80 50%
80 19.05 40%
90 13.72
30%
100 10.22
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
31.20 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0675
Second Quartile 0.2270
Third Quartile 0.5027
Interquartile range 0.4353 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3120
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2863 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3120 20
15
Std With No Outliers 0.2863
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
475
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO1_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 6.77 251-AH 52.91 281-AH 50.03 311-AH 19.71 341-AH 87.18
142-AH 80.06 172-AH 7.38 252-AH 25.44 282-AH 17.51 312-AH 8.19 342-AH 76.61
143-AH 61.60 173-AH 100.00 253-AH 9.95 283-AH 6.72 313-AH 10.28 343-AH 3.12
144-AH 36.46 174-AH 100.00 254-AH 6.28 284-AH 36.00 314-AH 8.93 344-AH 56.96
145-AH 41.21 175-AH 74.73 255-AH 27.13 285-AH 37.92 315-AH 34.67 345-AH 27.26
146-AH 4.86 176-AH 90.14 256-AH 81.48 286-AH 0.66 316-AH 0.44 346-AH 4.53
147-AH 29.78 177-AH 11.12 257-AH 21.02 287-AH 20.33 317-AH 19.95 347-AH 6.57
148-AH 6.13 178-AH 1.38 258-AH 0.47 288-AH 6.94 318-AH 36.57 348-AH 100.00
149-AH 0.00 179-AH 13.18 259-AH 68.23 289-AH 51.31 319-AH 9.88 349-AH 38.72
150-AH 14.19 180-AH 67.91 260-AH 52.13 290-AH 11.90 320-AH 2.28 350-AH 72.87
151-AH 23.92 181-AH 76.07 261-AH 7.68 291-AH 51.29 321-AH 0.00
152-AH 51.91 182-AH 4.47 262-AH 4.93 292-AH 81.67 322-AH 2.61
153-AH 0.00 183-AH 4.06 263-AH 11.77 293-AH 48.81 323-AH 21.33
154-AH 32.62 184-AH 50.52 264-AH 61.52 294-AH 57.15 324-AH 11.93
155-AH 28.61 185-AH 33.33 265-AH 9.54 295-AH 8.67 325-AH 45.64
156-AH 8.98 186-AH 0.00 266-AH 2.19 296-AH 22.65 326-AH 16.13
157-AH 33.97 187-AH 5.26 267-AH 22.74 297-AH 14.07 327-AH 0.00
158-AH 27.13 188-AH 4.17 268-AH 55.56 298-AH 8.96 328-AH 46.51
159-AH 10.88 189-AH 92.40 269-AH 13.38 299-AH 35.49 329-AH 75.36
160-AH 16.85 190-AH 9.12 270-AH 42.14 300-AH 19.28 330-AH 73.51
161-AH 0.00 191-AH 0.00 271-AH 49.91 301-AH 0.24 331-AH 28.92
162-AH 100.00 192-AH 25.33 272-AH 27.10 302-AH 4.88 332-AH 41.51
163-AH 57.55 193-AH 48.06 273-AH 60.42 303-AH 4.80 333-AH 100.00
164-AH 4.06 194-AH 16.67 274-AH 20.55 304-AH 28.42 334-AH 28.41
165-AH 50.00 195-AH 0.00 275-AH 10.27 305-AH 19.26 335-AH 16.67
166-AH 0.00 196-AH 50.00 276-AH 32.07 306-AH 50.00 336-AH 0.79
167-AH 4.17 197-AH 44.70 277-AH 10.81 307-AH 0.90 337-AH 69.61
168-AH 32.38 198-AH 25.00 278-AH 6.10 308-AH 66.56 338-AH 75.41
169-AH 4.44 199-AH 67.78 279-AH 9.57 309-AH 3.44 339-AH 51.95
170-AH 100.00 200-AH 25.40 280-AH 4.18 310-AH 6.22 340-AH 63.93
476
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO1_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 41.38 UFRGS_R_MONO1_TEST
10 docs 34.00 90%
15 docs 29.58
80%
20 docs 26.47
30 docs 22.90 70%
100 docs 12.26
60%
200 docs 7.69
Precision
500 docs 3.69 50%
1000 docs 2.01 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
30.43
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0607
Second Quartile 0.2500
Third Quartile 0.4564
Interquartile range 0.3958 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3043
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2772 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3043 20
15
Std With No Outliers 0.2772
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
477
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO1_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 52.31 281-AH 50.00 311-AH 27.78 341-AH 83.33
142-AH 75.00 172-AH 0.00 252-AH 37.93 282-AH 25.81 312-AH 16.13 342-AH 77.08
143-AH 56.41 173-AH 100.00 253-AH 20.00 283-AH 10.53 313-AH 30.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 15.72 284-AH 36.84 314-AH 11.11 344-AH 54.55
145-AH 42.11 175-AH 71.43 255-AH 25.00 285-AH 39.13 315-AH 49.15 345-AH 22.22
146-AH 0.00 176-AH 84.62 256-AH 70.59 286-AH 0.00 316-AH 2.54 346-AH 0.00
147-AH 33.33 177-AH 7.69 257-AH 25.40 287-AH 22.45 317-AH 26.67 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 11.84 318-AH 44.44 348-AH 100.00
149-AH 0.00 179-AH 13.64 259-AH 66.67 289-AH 44.44 319-AH 15.79 349-AH 40.74
150-AH 0.00 180-AH 65.00 260-AH 47.62 290-AH 18.37 320-AH 6.25 350-AH 70.00
151-AH 25.00 181-AH 72.83 261-AH 14.71 291-AH 43.33 321-AH 0.00
152-AH 45.45 182-AH 0.00 262-AH 11.76 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 20.83 293-AH 47.06 323-AH 23.08
154-AH 42.86 184-AH 44.44 264-AH 68.18 294-AH 51.85 324-AH 22.97
155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 17.65 325-AH 44.26
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 25.00
157-AH 40.29 187-AH 0.00 267-AH 33.33 297-AH 16.67 327-AH 0.00
158-AH 32.35 188-AH 0.00 268-AH 66.67 298-AH 13.33 328-AH 47.83
159-AH 12.96 189-AH 85.71 269-AH 11.11 299-AH 42.11 329-AH 64.71
160-AH 0.00 190-AH 22.22 270-AH 36.84 300-AH 28.57 330-AH 78.43
161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 0.00 331-AH 41.18
162-AH 100.00 192-AH 16.67 272-AH 35.71 302-AH 5.88 332-AH 37.50
163-AH 53.28 193-AH 42.86 273-AH 59.04 303-AH 14.29 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 20.00
165-AH 0.00 195-AH 0.00 275-AH 16.67 305-AH 22.95 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 30.51 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 42.00 277-AH 19.23 307-AH 6.49 337-AH 60.00
168-AH 38.89 198-AH 0.00 278-AH 19.05 308-AH 54.55 338-AH 80.00
169-AH 16.67 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 42.11
170-AH 100.00 200-AH 33.33 280-AH 4.00 310-AH 9.52 340-AH 60.00
478
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO2_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,592 Pooled false
Geometric Mean Average Precision 0.1396 Baseline Stem
Binary Preference (BPREF) 0.3231
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 65.42 UFRGS_R_MONO2_TEST
10 56.35 90%
20 49.67
80%
30 42.62
40 38.48 70%
50 34.06
60%
60 29.26
Precision
70 24.75 50%
80 21.32 40%
90 16.17
30%
100 11.65
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.95 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0999
Second Quartile 0.2867
Third Quartile 0.5048
Interquartile range 0.4048 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3395
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2797 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3395
10
Std With No Outliers 0.2797
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
479
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO2_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 12.61 251-AH 51.23 281-AH 42.19 311-AH 21.11 341-AH 84.33
142-AH 98.61 172-AH 8.15 252-AH 32.27 282-AH 14.08 312-AH 26.42 342-AH 69.36
143-AH 67.94 173-AH 100.00 253-AH 12.76 283-AH 4.41 313-AH 13.16 343-AH 9.09
144-AH 46.58 174-AH 100.00 254-AH 8.00 284-AH 50.44 314-AH 9.90 344-AH 47.55
145-AH 52.52 175-AH 67.50 255-AH 35.69 285-AH 52.49 315-AH 27.68 345-AH 31.82
146-AH 16.20 176-AH 92.47 256-AH 81.22 286-AH 1.51 316-AH 8.97 346-AH 5.34
147-AH 50.39 177-AH 13.16 257-AH 27.92 287-AH 28.28 317-AH 30.07 347-AH 8.24
148-AH 8.24 178-AH 1.04 258-AH 0.33 288-AH 11.11 318-AH 15.13 348-AH 100.00
149-AH 0.00 179-AH 36.29 259-AH 67.22 289-AH 63.72 319-AH 12.33 349-AH 17.24
150-AH 14.83 180-AH 38.36 260-AH 61.29 290-AH 5.27 320-AH 2.76 350-AH 58.91
151-AH 12.99 181-AH 75.68 261-AH 16.87 291-AH 32.59 321-AH 0.00
152-AH 82.59 182-AH 29.41 262-AH 11.96 292-AH 68.33 322-AH 2.00
153-AH 0.00 183-AH 8.69 263-AH 12.52 293-AH 54.48 323-AH 19.43
154-AH 36.47 184-AH 47.67 264-AH 56.33 294-AH 56.35 324-AH 43.18
155-AH 37.68 185-AH 50.00 265-AH 39.17 295-AH 10.03 325-AH 36.78
156-AH 9.95 186-AH 0.00 266-AH 1.34 296-AH 33.82 326-AH 18.80
157-AH 44.12 187-AH 12.50 267-AH 17.92 297-AH 25.28 327-AH 6.70
158-AH 48.63 188-AH 0.78 268-AH 66.67 298-AH 23.76 328-AH 50.52
159-AH 16.89 189-AH 96.17 269-AH 23.67 299-AH 45.81 329-AH 73.24
160-AH 4.56 190-AH 32.06 270-AH 52.70 300-AH 20.57 330-AH 75.30
161-AH 0.00 191-AH 0.00 271-AH 59.63 301-AH 34.54 331-AH 17.78
162-AH 50.00 192-AH 27.50 272-AH 29.06 302-AH 10.23 332-AH 41.04
163-AH 72.78 193-AH 54.75 273-AH 61.38 303-AH 7.00 333-AH 100.00
164-AH 6.11 194-AH 14.29 274-AH 29.59 304-AH 34.59 334-AH 36.20
165-AH 50.00 195-AH 0.00 275-AH 18.79 305-AH 19.36 335-AH 19.26
166-AH 0.00 196-AH 50.00 276-AH 35.13 306-AH 25.00 336-AH 0.77
167-AH 6.15 197-AH 44.43 277-AH 11.50 307-AH 5.80 337-AH 71.01
168-AH 45.83 198-AH 100.00 278-AH 16.99 308-AH 75.76 338-AH 42.88
169-AH 3.59 199-AH 66.40 279-AH 9.04 309-AH 3.21 339-AH 42.60
170-AH 100.00 200-AH 9.91 280-AH 3.07 310-AH 7.10 340-AH 42.50
480
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO2_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 42.63 UFRGS_R_MONO2_TEST
10 docs 35.44 90%
15 docs 31.38
80%
20 docs 28.53
30 docs 24.29 70%
100 docs 13.68
60%
200 docs 8.55
Precision
500 docs 4.14 50%
1000 docs 2.25 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.81
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0785
Second Quartile 0.2975
Third Quartile 0.5000
Interquartile range 0.4215 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3281
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2755 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3281 20
15
Std With No Outliers 0.2755
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO2_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
481
ufrgs 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UFRGS.UFRGS_R_MONO2_TEST AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 52.31 281-AH 38.10 311-AH 33.33 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 25.81 312-AH 22.58 342-AH 66.67
143-AH 61.54 173-AH 100.00 253-AH 21.05 283-AH 13.16 313-AH 30.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 15.72 284-AH 47.37 314-AH 5.56 344-AH 48.48
145-AH 47.37 175-AH 57.14 255-AH 25.00 285-AH 56.52 315-AH 37.29 345-AH 33.33
146-AH 0.00 176-AH 82.05 256-AH 70.59 286-AH 0.00 316-AH 11.02 346-AH 0.00
147-AH 50.98 177-AH 7.69 257-AH 39.68 287-AH 36.73 317-AH 40.00 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 17.11 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 36.36 259-AH 66.67 289-AH 66.67 319-AH 15.79 349-AH 18.52
150-AH 0.00 180-AH 37.50 260-AH 55.56 290-AH 6.12 320-AH 6.25 350-AH 50.00
151-AH 25.00 181-AH 73.91 261-AH 20.59 291-AH 43.33 321-AH 0.00
152-AH 81.82 182-AH 25.00 262-AH 16.47 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 18.75 293-AH 58.82 323-AH 23.08
154-AH 47.62 184-AH 55.56 264-AH 54.55 294-AH 48.15 324-AH 50.00
155-AH 33.33 185-AH 0.00 265-AH 50.00 295-AH 19.61 325-AH 40.98
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 25.00
157-AH 48.92 187-AH 0.00 267-AH 19.05 297-AH 25.00 327-AH 0.00
158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 52.17
159-AH 22.22 189-AH 85.71 269-AH 22.22 299-AH 44.74 329-AH 58.82
160-AH 0.00 190-AH 33.33 270-AH 47.37 300-AH 19.05 330-AH 76.47
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 31.25 331-AH 11.76
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 17.65 332-AH 37.50
163-AH 65.57 193-AH 42.86 273-AH 60.24 303-AH 7.14 333-AH 100.00
164-AH 3.70 194-AH 0.00 274-AH 37.50 304-AH 40.00 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 30.30 305-AH 29.51 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 44.00 277-AH 26.92 307-AH 14.29 337-AH 55.00
168-AH 50.00 198-AH 100.00 278-AH 23.81 308-AH 72.73 338-AH 40.00
169-AH 16.67 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 36.84
170-AH 100.00 200-AH 22.22 280-AH 8.00 310-AH 17.46 340-AH 60.00
482
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO11NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 2,415 Pooled false
Geometric Mean Average Precision 0.0406 Keyword based search using phrase query
Binary Preference (BPREF) 0.2165
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 51.95 MONO11NUS2F
10 43.54 90%
20 33.78
80%
30 26.46
40 20.99 70%
50 17.36
60%
60 12.23
Precision
70 8.48 50%
80 6.04 40%
90 4.94
30%
100 4.28
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
19.24 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0164
Second Quartile 0.1176
Third Quartile 0.2865
Interquartile range 0.2701 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1924
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2244 60
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 50
Upper Outlier Threshold 0.6869 40
Mean With No Outliers 0.1664 30
Std With No Outliers 0.1735 20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
483
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO11NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 3.73 251-AH 15.72 281-AH 22.77 311-AH 18.06 341-AH 32.33
142-AH 63.83 172-AH 10.33 252-AH 23.40 282-AH 3.09 312-AH 11.82 342-AH 51.26
143-AH 14.48 173-AH 100.00 253-AH 7.44 283-AH 33.93 313-AH 10.86 343-AH 1.39
144-AH 1.86 174-AH 56.25 254-AH 0.26 284-AH 1.67 314-AH 1.61 344-AH 29.68
145-AH 6.80 175-AH 47.26 255-AH 6.33 285-AH 42.81 315-AH 1.31 345-AH 5.19
146-AH 10.00 176-AH 63.93 256-AH 61.41 286-AH 0.91 316-AH 0.59 346-AH 4.35
147-AH 28.54 177-AH 12.66 257-AH 16.88 287-AH 2.28 317-AH 23.40 347-AH 7.58
148-AH 3.06 178-AH 0.03 258-AH 6.40 288-AH 10.07 318-AH 8.66 348-AH 0.99
149-AH 0.00 179-AH 1.23 259-AH 43.11 289-AH 46.96 319-AH 26.38 349-AH 23.10
150-AH 0.00 180-AH 11.28 260-AH 19.74 290-AH 1.47 320-AH 0.80 350-AH 28.75
151-AH 18.38 181-AH 29.52 261-AH 18.66 291-AH 31.60 321-AH 0.00
152-AH 27.79 182-AH 4.84 262-AH 21.02 292-AH 100.00 322-AH 1.98
153-AH 1.69 183-AH 3.12 263-AH 0.86 293-AH 13.45 323-AH 13.76
154-AH 19.85 184-AH 30.32 264-AH 17.98 294-AH 11.71 324-AH 19.34
155-AH 0.00 185-AH 0.28 265-AH 2.64 295-AH 19.51 325-AH 52.31
156-AH 1.23 186-AH 0.00 266-AH 0.00 296-AH 15.67 326-AH 0.03
157-AH 44.95 187-AH 33.33 267-AH 18.59 297-AH 25.16 327-AH 0.25
158-AH 24.38 188-AH 0.00 268-AH 15.84 298-AH 9.81 328-AH 22.05
159-AH 5.04 189-AH 0.00 269-AH 10.52 299-AH 12.53 329-AH 49.66
160-AH 0.29 190-AH 40.61 270-AH 68.69 300-AH 0.45 330-AH 52.99
161-AH 0.00 191-AH 0.00 271-AH 35.41 301-AH 0.37 331-AH 34.06
162-AH 4.76 192-AH 43.80 272-AH 33.43 302-AH 16.51 332-AH 7.07
163-AH 19.74 193-AH 26.87 273-AH 11.16 303-AH 28.43 333-AH 50.00
164-AH 0.13 194-AH 100.00 274-AH 13.44 304-AH 0.04 334-AH 19.30
165-AH 100.00 195-AH 0.00 275-AH 6.81 305-AH 1.42 335-AH 6.28
166-AH 0.00 196-AH 10.00 276-AH 18.25 306-AH 33.33 336-AH 31.42
167-AH 0.12 197-AH 54.44 277-AH 4.13 307-AH 13.31 337-AH 6.99
168-AH 18.73 198-AH 0.00 278-AH 5.60 308-AH 6.14 338-AH 49.66
169-AH 16.67 199-AH 37.79 279-AH 1.57 309-AH 4.85 339-AH 53.96
170-AH 100.00 200-AH 6.09 280-AH 1.60 310-AH 1.49 340-AH 41.04
484
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO11NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 30.13 MONO11NUS2F
10 docs 24.19 90%
15 docs 21.83
80%
20 docs 19.84
30 docs 17.40 70%
100 docs 9.07
60%
200 docs 5.52
Precision
500 docs 2.69 50%
1000 docs 1.51 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
21.20
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1786
Third Quartile 0.3333
Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2120
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2279 60
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 50
Upper Outlier Threshold 0.6491 40
Mean With No Outliers 0.1866 30
Std With No Outliers 0.1812 20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONO11NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
485
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO11NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 5.26 251-AH 20.00 281-AH 23.81 311-AH 25.93 341-AH 50.00
142-AH 62.50 172-AH 0.00 252-AH 24.14 282-AH 9.68 312-AH 22.58 342-AH 51.04
143-AH 30.77 173-AH 100.00 253-AH 15.26 283-AH 36.84 313-AH 10.00 343-AH 0.00
144-AH 0.00 174-AH 50.00 254-AH 3.06 284-AH 7.89 314-AH 5.56 344-AH 30.30
145-AH 13.16 175-AH 42.86 255-AH 0.00 285-AH 52.17 315-AH 6.78 345-AH 0.00
146-AH 0.00 176-AH 58.97 256-AH 58.82 286-AH 0.00 316-AH 4.24 346-AH 9.09
147-AH 43.14 177-AH 23.08 257-AH 25.40 287-AH 4.08 317-AH 33.33 347-AH 11.11
148-AH 0.00 178-AH 0.00 258-AH 25.00 288-AH 21.05 318-AH 11.11 348-AH 0.00
149-AH 0.00 179-AH 4.55 259-AH 33.33 289-AH 38.89 319-AH 26.32 349-AH 22.22
150-AH 0.00 180-AH 17.50 260-AH 36.51 290-AH 6.12 320-AH 0.00 350-AH 20.00
151-AH 33.33 181-AH 38.04 261-AH 32.35 291-AH 40.00 321-AH 0.00
152-AH 27.27 182-AH 0.00 262-AH 35.29 292-AH 100.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 23.53 323-AH 11.54
154-AH 19.05 184-AH 33.33 264-AH 27.27 294-AH 18.52 324-AH 28.38
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 37.25 325-AH 50.82
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 20.83 326-AH 0.00
157-AH 49.64 187-AH 0.00 267-AH 19.05 297-AH 25.00 327-AH 0.00
158-AH 29.41 188-AH 0.00 268-AH 33.33 298-AH 16.67 328-AH 34.78
159-AH 11.11 189-AH 0.00 269-AH 11.11 299-AH 22.37 329-AH 64.71
160-AH 0.00 190-AH 33.33 270-AH 64.91 300-AH 0.00 330-AH 52.94
161-AH 0.00 191-AH 0.00 271-AH 33.33 301-AH 0.00 331-AH 41.18
162-AH 0.00 192-AH 50.00 272-AH 28.57 302-AH 17.65 332-AH 0.00
163-AH 27.05 193-AH 28.57 273-AH 18.07 303-AH 21.43 333-AH 40.00
164-AH 0.00 194-AH 100.00 274-AH 25.00 304-AH 0.00 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 16.67 305-AH 4.92 335-AH 6.67
166-AH 0.00 196-AH 0.00 276-AH 28.81 306-AH 0.00 336-AH 35.29
167-AH 0.00 197-AH 60.00 277-AH 3.85 307-AH 23.38 337-AH 15.00
168-AH 27.78 198-AH 0.00 278-AH 14.29 308-AH 18.18 338-AH 50.00
169-AH 16.67 199-AH 30.00 279-AH 0.00 309-AH 0.00 339-AH 52.63
170-AH 100.00 200-AH 0.00 280-AH 4.00 310-AH 7.94 340-AH 20.00
486
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO12NUS2FOUT AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 2,319 Pooled false
Geometric Mean Average Precision 0.0271 Keyword based search using term proximity
Binary Preference (BPREF) 0.1972
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 42.02 MONO12NUS2FOUT
10 33.01 90%
20 25.64
80%
30 19.83
40 16.32 70%
50 13.38
60%
60 10.31
Precision
70 6.90 50%
80 4.61 40%
90 3.30
30%
100 3.02
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
14.57 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0099
Second Quartile 0.0616
Third Quartile 0.2090
Interquartile range 0.1991 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1457
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1996 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.5000 50
Mean With No Outliers 0.1103 40
30
Std With No Outliers 0.1315
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
487
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO12NUS2FOUT AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.16 251-AH 3.01 281-AH 16.91 311-AH 18.06 341-AH 30.95
142-AH 46.79 172-AH 5.99 252-AH 22.77 282-AH 1.84 312-AH 9.11 342-AH 33.65
143-AH 2.30 173-AH 100.00 253-AH 8.42 283-AH 1.05 313-AH 0.92 343-AH 1.09
144-AH 1.17 174-AH 25.83 254-AH 0.22 284-AH 1.16 314-AH 0.65 344-AH 28.52
145-AH 4.32 175-AH 47.26 255-AH 7.16 285-AH 35.70 315-AH 1.31 345-AH 6.06
146-AH 2.08 176-AH 63.94 256-AH 52.90 286-AH 0.70 316-AH 0.59 346-AH 2.51
147-AH 15.79 177-AH 12.66 257-AH 30.35 287-AH 4.78 317-AH 21.28 347-AH 3.29
148-AH 3.06 178-AH 0.03 258-AH 0.83 288-AH 8.67 318-AH 0.74 348-AH 0.99
149-AH 0.00 179-AH 1.23 259-AH 0.96 289-AH 30.63 319-AH 21.63 349-AH 20.52
150-AH 0.00 180-AH 11.28 260-AH 19.45 290-AH 2.74 320-AH 0.62 350-AH 28.75
151-AH 16.71 181-AH 27.18 261-AH 22.33 291-AH 2.55 321-AH 0.00
152-AH 6.87 182-AH 4.84 262-AH 16.06 292-AH 2.28 322-AH 0.98
153-AH 1.69 183-AH 2.27 263-AH 0.86 293-AH 6.95 323-AH 13.76
154-AH 19.85 184-AH 30.32 264-AH 7.12 294-AH 11.71 324-AH 3.46
155-AH 0.00 185-AH 0.11 265-AH 0.57 295-AH 18.46 325-AH 44.12
156-AH 1.23 186-AH 0.00 266-AH 0.00 296-AH 15.67 326-AH 6.33
157-AH 44.95 187-AH 33.33 267-AH 18.59 297-AH 14.23 327-AH 0.25
158-AH 3.81 188-AH 0.00 268-AH 2.64 298-AH 0.81 328-AH 15.86
159-AH 2.07 189-AH 0.00 269-AH 15.91 299-AH 9.18 329-AH 49.66
160-AH 0.22 190-AH 12.85 270-AH 32.18 300-AH 0.39 330-AH 52.99
161-AH 0.00 191-AH 0.00 271-AH 29.77 301-AH 0.80 331-AH 2.10
162-AH 4.35 192-AH 13.00 272-AH 33.43 302-AH 22.12 332-AH 2.18
163-AH 8.10 193-AH 26.87 273-AH 5.77 303-AH 23.67 333-AH 58.67
164-AH 0.11 194-AH 100.00 274-AH 13.93 304-AH 0.04 334-AH 15.52
165-AH 100.00 195-AH 0.00 275-AH 6.18 305-AH 3.33 335-AH 10.41
166-AH 0.00 196-AH 10.00 276-AH 18.25 306-AH 1.25 336-AH 31.42
167-AH 0.08 197-AH 54.44 277-AH 4.13 307-AH 2.93 337-AH 6.99
168-AH 11.70 198-AH 0.00 278-AH 7.67 308-AH 6.14 338-AH 49.66
169-AH 0.45 199-AH 37.79 279-AH 3.92 309-AH 6.56 339-AH 38.32
170-AH 50.00 200-AH 5.82 280-AH 0.65 310-AH 0.63 340-AH 83.14
488
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO12NUS2FOUT AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 22.50 MONO12NUS2FOUT
10 docs 18.56 90%
15 docs 16.46
80%
20 docs 14.88
30 docs 13.52 70%
100 docs 7.78
60%
200 docs 4.97
Precision
500 docs 2.54 50%
1000 docs 1.45 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
16.43
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0916
Third Quartile 0.2620
Interquartile range 0.2620 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1643
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2099 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.6471 50
Mean With No Outliers 0.1442 40
30
Std With No Outliers 0.1693
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONO12NUS2FOUT
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
489
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO12NUS2FOUT AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 9.23 281-AH 23.81 311-AH 25.93 341-AH 16.67
142-AH 62.50 172-AH 0.00 252-AH 31.03 282-AH 0.00 312-AH 19.35 342-AH 42.71
143-AH 5.13 173-AH 100.00 253-AH 15.26 283-AH 5.26 313-AH 0.00 343-AH 0.00
144-AH 0.00 174-AH 50.00 254-AH 2.62 284-AH 5.26 314-AH 0.00 344-AH 30.30
145-AH 2.63 175-AH 42.86 255-AH 0.00 285-AH 42.03 315-AH 6.78 345-AH 22.22
146-AH 0.00 176-AH 58.97 256-AH 44.12 286-AH 0.00 316-AH 5.08 346-AH 0.00
147-AH 17.65 177-AH 23.08 257-AH 39.68 287-AH 8.16 317-AH 30.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 22.37 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 4.55 259-AH 0.00 289-AH 33.33 319-AH 26.32 349-AH 25.93
150-AH 0.00 180-AH 17.50 260-AH 30.16 290-AH 4.08 320-AH 0.00 350-AH 20.00
151-AH 33.33 181-AH 36.96 261-AH 32.35 291-AH 0.00 321-AH 0.00
152-AH 9.09 182-AH 0.00 262-AH 27.06 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 11.76 323-AH 11.54
154-AH 19.05 184-AH 33.33 264-AH 18.18 294-AH 18.52 324-AH 13.51
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 33.33 325-AH 47.54
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 20.83 326-AH 25.00
157-AH 49.64 187-AH 0.00 267-AH 19.05 297-AH 25.00 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 26.09
159-AH 0.00 189-AH 0.00 269-AH 11.11 299-AH 13.16 329-AH 64.71
160-AH 0.00 190-AH 11.11 270-AH 36.84 300-AH 0.00 330-AH 52.94
161-AH 0.00 191-AH 0.00 271-AH 33.33 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 16.67 272-AH 28.57 302-AH 29.41 332-AH 0.00
163-AH 17.21 193-AH 28.57 273-AH 16.87 303-AH 14.29 333-AH 60.00
164-AH 0.00 194-AH 100.00 274-AH 25.00 304-AH 0.00 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 16.67 305-AH 4.92 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 28.81 306-AH 0.00 336-AH 35.29
167-AH 0.00 197-AH 60.00 277-AH 3.85 307-AH 6.49 337-AH 15.00
168-AH 16.67 198-AH 0.00 278-AH 14.29 308-AH 18.18 338-AH 50.00
169-AH 0.00 199-AH 30.00 279-AH 0.00 309-AH 10.00 339-AH 47.37
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 1.59 340-AH 80.00
490
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO13NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 2,402 Pooled false
Geometric Mean Average Precision 0.0296 Keyword based search using phrase query and term
Binary Preference (BPREF) 0.2038 proximity
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 43.99 MONO13NUS2F
10 34.90 90%
20 27.13
80%
30 20.61
40 17.13 70%
50 14.27
60%
60 10.96
Precision
70 7.01 50%
80 4.76 40%
90 3.79
30%
100 3.12
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
15.48 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0113
Second Quartile 0.0630
Third Quartile 0.2220
Interquartile range 0.2108 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1548
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2010 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.5299 50
Mean With No Outliers 0.1289 40
30
Std With No Outliers 0.1503
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
491
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO13NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.16 251-AH 3.01 281-AH 21.07 311-AH 18.06 341-AH 32.36
142-AH 46.79 172-AH 5.99 252-AH 22.77 282-AH 1.84 312-AH 14.56 342-AH 51.26
143-AH 2.30 173-AH 100.00 253-AH 8.42 283-AH 3.19 313-AH 0.92 343-AH 1.09
144-AH 1.17 174-AH 25.83 254-AH 0.22 284-AH 1.16 314-AH 0.65 344-AH 29.68
145-AH 4.32 175-AH 47.26 255-AH 6.33 285-AH 36.04 315-AH 1.31 345-AH 6.06
146-AH 2.08 176-AH 63.94 256-AH 52.88 286-AH 0.70 316-AH 0.59 346-AH 5.91
147-AH 15.79 177-AH 12.66 257-AH 30.35 287-AH 4.78 317-AH 20.29 347-AH 3.29
148-AH 3.06 178-AH 0.03 258-AH 0.83 288-AH 9.60 318-AH 8.58 348-AH 0.99
149-AH 0.00 179-AH 1.23 259-AH 24.24 289-AH 46.96 319-AH 21.63 349-AH 19.93
150-AH 0.00 180-AH 11.28 260-AH 18.75 290-AH 2.74 320-AH 0.62 350-AH 28.75
151-AH 23.30 181-AH 27.18 261-AH 18.11 291-AH 3.14 321-AH 0.00
152-AH 27.79 182-AH 4.84 262-AH 21.02 292-AH 2.28 322-AH 0.98
153-AH 1.69 183-AH 2.27 263-AH 0.86 293-AH 6.95 323-AH 13.76
154-AH 19.85 184-AH 30.32 264-AH 7.12 294-AH 11.71 324-AH 16.94
155-AH 0.00 185-AH 0.11 265-AH 0.57 295-AH 20.68 325-AH 52.31
156-AH 1.23 186-AH 0.00 266-AH 0.00 296-AH 15.67 326-AH 6.33
157-AH 44.95 187-AH 33.33 267-AH 18.59 297-AH 26.87 327-AH 0.25
158-AH 4.07 188-AH 0.00 268-AH 2.64 298-AH 0.81 328-AH 17.81
159-AH 2.07 189-AH 0.00 269-AH 15.91 299-AH 7.64 329-AH 49.66
160-AH 0.22 190-AH 12.85 270-AH 46.78 300-AH 0.39 330-AH 52.99
161-AH 0.00 191-AH 0.00 271-AH 29.77 301-AH 0.80 331-AH 2.10
162-AH 4.35 192-AH 13.00 272-AH 33.43 302-AH 16.51 332-AH 2.18
163-AH 8.10 193-AH 26.87 273-AH 5.77 303-AH 23.52 333-AH 50.00
164-AH 0.11 194-AH 100.00 274-AH 13.93 304-AH 0.04 334-AH 15.52
165-AH 100.00 195-AH 0.00 275-AH 6.18 305-AH 3.33 335-AH 6.28
166-AH 0.00 196-AH 10.00 276-AH 18.25 306-AH 1.25 336-AH 31.42
167-AH 0.08 197-AH 54.44 277-AH 4.13 307-AH 3.33 337-AH 6.99
168-AH 16.83 198-AH 0.00 278-AH 5.60 308-AH 6.14 338-AH 49.66
169-AH 0.45 199-AH 37.79 279-AH 15.13 309-AH 3.46 339-AH 38.32
170-AH 50.00 200-AH 5.82 280-AH 0.65 310-AH 0.63 340-AH 73.33
492
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO13NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 23.50 MONO13NUS2F
10 docs 19.19 90%
15 docs 17.54
80%
20 docs 15.94
30 docs 14.10 70%
100 docs 8.11
60%
200 docs 5.23
Precision
500 docs 2.67 50%
1000 docs 1.50 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
17.01
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1111
Third Quartile 0.2753
Interquartile range 0.2753 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1701
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2060 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.6471 50
Mean With No Outliers 0.1543 40
30
Std With No Outliers 0.1725
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONO13NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
493
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO13NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 9.23 281-AH 26.19 311-AH 25.93 341-AH 16.67
142-AH 62.50 172-AH 0.00 252-AH 31.03 282-AH 0.00 312-AH 22.58 342-AH 51.04
143-AH 5.13 173-AH 100.00 253-AH 15.26 283-AH 10.53 313-AH 0.00 343-AH 0.00
144-AH 0.00 174-AH 50.00 254-AH 2.62 284-AH 5.26 314-AH 0.00 344-AH 30.30
145-AH 2.63 175-AH 42.86 255-AH 0.00 285-AH 42.03 315-AH 6.78 345-AH 22.22
146-AH 0.00 176-AH 58.97 256-AH 44.12 286-AH 0.00 316-AH 5.08 346-AH 9.09
147-AH 17.65 177-AH 23.08 257-AH 39.68 287-AH 8.16 317-AH 30.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 19.74 318-AH 11.11 348-AH 0.00
149-AH 0.00 179-AH 4.55 259-AH 33.33 289-AH 38.89 319-AH 26.32 349-AH 22.22
150-AH 0.00 180-AH 17.50 260-AH 31.75 290-AH 4.08 320-AH 0.00 350-AH 20.00
151-AH 33.33 181-AH 36.96 261-AH 32.35 291-AH 3.33 321-AH 0.00
152-AH 27.27 182-AH 0.00 262-AH 35.29 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 11.76 323-AH 11.54
154-AH 19.05 184-AH 33.33 264-AH 18.18 294-AH 18.52 324-AH 24.32
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 39.22 325-AH 50.82
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 20.83 326-AH 25.00
157-AH 49.64 187-AH 0.00 267-AH 19.05 297-AH 25.00 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 26.09
159-AH 0.00 189-AH 0.00 269-AH 11.11 299-AH 13.16 329-AH 64.71
160-AH 0.00 190-AH 11.11 270-AH 36.84 300-AH 0.00 330-AH 52.94
161-AH 0.00 191-AH 0.00 271-AH 33.33 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 16.67 272-AH 28.57 302-AH 17.65 332-AH 0.00
163-AH 17.21 193-AH 28.57 273-AH 16.87 303-AH 21.43 333-AH 40.00
164-AH 0.00 194-AH 100.00 274-AH 25.00 304-AH 0.00 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 16.67 305-AH 4.92 335-AH 6.67
166-AH 0.00 196-AH 0.00 276-AH 28.81 306-AH 0.00 336-AH 35.29
167-AH 0.00 197-AH 60.00 277-AH 3.85 307-AH 7.79 337-AH 15.00
168-AH 27.78 198-AH 0.00 278-AH 14.29 308-AH 18.18 338-AH 50.00
169-AH 0.00 199-AH 30.00 279-AH 25.00 309-AH 0.00 339-AH 47.37
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 1.59 340-AH 60.00
494
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO14NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 1,578 Pooled false
Geometric Mean Average Precision 0.0063 Keyword based search using query expansion
Binary Preference (BPREF) 0.1197
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 28.27 MONO14NUS2F
10 18.18 90%
20 12.41
80%
30 9.33
40 6.79 70%
50 5.13
60%
60 2.66
Precision
70 1.77 50%
80 1.36 40%
90 1.15
30%
100 1.15
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
6.87 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0019
Second Quartile 0.0109
Third Quartile 0.0714
Interquartile range 0.0695 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0687
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1309 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.1728 100
Mean With No Outliers 0.0272
Std With No Outliers 0.0408 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
495
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO14NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.82 251-AH 4.39 281-AH 3.51 311-AH 3.91 341-AH 35.02
142-AH 26.61 172-AH 2.56 252-AH 13.58 282-AH 1.87 312-AH 0.26 342-AH 19.73
143-AH 0.51 173-AH 100.00 253-AH 13.76 283-AH 1.12 313-AH 11.51 343-AH 0.10
144-AH 0.11 174-AH 50.16 254-AH 0.75 284-AH 0.00 314-AH 0.47 344-AH 28.51
145-AH 1.79 175-AH 35.42 255-AH 3.64 285-AH 5.52 315-AH 0.35 345-AH 4.14
146-AH 0.72 176-AH 49.59 256-AH 0.07 286-AH 0.02 316-AH 0.01 346-AH 2.24
147-AH 8.30 177-AH 5.76 257-AH 10.76 287-AH 0.05 317-AH 7.15 347-AH 1.61
148-AH 0.93 178-AH 0.00 258-AH 0.39 288-AH 0.95 318-AH 0.19 348-AH 0.00
149-AH 0.00 179-AH 0.19 259-AH 33.47 289-AH 0.30 319-AH 17.28 349-AH 27.46
150-AH 0.33 180-AH 0.73 260-AH 0.69 290-AH 0.49 320-AH 0.67 350-AH 2.02
151-AH 0.02 181-AH 0.23 261-AH 2.13 291-AH 4.51 321-AH 0.00
152-AH 0.30 182-AH 6.98 262-AH 0.50 292-AH 64.64 322-AH 0.45
153-AH 2.27 183-AH 0.20 263-AH 0.37 293-AH 7.78 323-AH 0.96
154-AH 9.62 184-AH 0.36 264-AH 3.02 294-AH 0.01 324-AH 0.15
155-AH 0.00 185-AH 0.00 265-AH 0.52 295-AH 7.12 325-AH 19.21
156-AH 0.74 186-AH 0.00 266-AH 0.00 296-AH 0.01 326-AH 0.00
157-AH 13.88 187-AH 0.00 267-AH 1.33 297-AH 12.78 327-AH 0.00
158-AH 10.86 188-AH 0.00 268-AH 13.00 298-AH 9.18 328-AH 20.61
159-AH 0.21 189-AH 0.00 269-AH 2.58 299-AH 1.94 329-AH 22.67
160-AH 0.17 190-AH 3.81 270-AH 2.32 300-AH 0.16 330-AH 1.42
161-AH 0.00 191-AH 0.00 271-AH 4.82 301-AH 0.01 331-AH 18.99
162-AH 0.80 192-AH 4.98 272-AH 0.51 302-AH 6.86 332-AH 0.03
163-AH 6.81 193-AH 26.12 273-AH 19.07 303-AH 15.48 333-AH 0.39
164-AH 0.06 194-AH 0.31 274-AH 0.74 304-AH 0.03 334-AH 12.05
165-AH 0.65 195-AH 0.00 275-AH 1.68 305-AH 0.66 335-AH 2.36
166-AH 0.00 196-AH 0.33 276-AH 11.82 306-AH 33.33 336-AH 1.05
167-AH 0.00 197-AH 0.02 277-AH 3.87 307-AH 1.49 337-AH 3.34
168-AH 3.89 198-AH 0.00 278-AH 0.41 308-AH 19.02 338-AH 27.28
169-AH 6.74 199-AH 1.64 279-AH 0.00 309-AH 15.14 339-AH 17.66
170-AH 1.19 200-AH 5.69 280-AH 0.50 310-AH 0.76 340-AH 28.84
496
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO14NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 11.50 MONO14NUS2F
10 docs 9.56 90%
15 docs 8.83
80%
20 docs 7.78
30 docs 6.60 70%
100 docs 4.04
60%
200 docs 2.84
Precision
500 docs 1.57 50%
1000 docs 0.99 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
8.57
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0110
Third Quartile 0.1401
Interquartile range 0.1401 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0857
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1409 100
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 80
Upper Outlier Threshold 0.3478
60
Mean With No Outliers 0.0632
40
Std With No Outliers 0.0933
20
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONO14NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
497
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO14NUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 10.77 281-AH 7.14 311-AH 5.56 341-AH 33.33
142-AH 37.50 172-AH 0.00 252-AH 17.24 282-AH 6.45 312-AH 0.00 342-AH 27.08
143-AH 0.00 173-AH 100.00 253-AH 22.63 283-AH 5.26 313-AH 15.00 343-AH 0.00
144-AH 0.00 174-AH 50.00 254-AH 2.62 284-AH 0.00 314-AH 5.56 344-AH 33.33
145-AH 5.26 175-AH 28.57 255-AH 0.00 285-AH 15.94 315-AH 1.69 345-AH 0.00
146-AH 0.00 176-AH 53.85 256-AH 0.00 286-AH 0.00 316-AH 0.85 346-AH 0.00
147-AH 19.61 177-AH 23.08 257-AH 19.05 287-AH 0.00 317-AH 13.33 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 2.63 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 33.33 289-AH 0.00 319-AH 26.32 349-AH 37.04
150-AH 0.00 180-AH 0.00 260-AH 3.17 290-AH 0.00 320-AH 6.25 350-AH 0.00
151-AH 0.00 181-AH 0.00 261-AH 8.82 291-AH 3.33 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 2.35 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 4.17 293-AH 14.71 323-AH 3.85
154-AH 14.29 184-AH 0.00 264-AH 4.55 294-AH 0.00 324-AH 1.35
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 13.73 325-AH 29.51
156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 23.74 187-AH 0.00 267-AH 0.00 297-AH 16.67 327-AH 0.00
158-AH 11.76 188-AH 0.00 268-AH 0.00 298-AH 20.00 328-AH 34.78
159-AH 0.00 189-AH 0.00 269-AH 0.00 299-AH 6.58 329-AH 29.41
160-AH 0.00 190-AH 0.00 270-AH 10.53 300-AH 2.38 330-AH 1.96
161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 17.65
162-AH 0.00 192-AH 0.00 272-AH 7.14 302-AH 11.76 332-AH 0.00
163-AH 14.75 193-AH 42.86 273-AH 27.71 303-AH 28.57 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 0.00 334-AH 20.00
165-AH 0.00 195-AH 0.00 275-AH 6.06 305-AH 3.28 335-AH 6.67
166-AH 0.00 196-AH 0.00 276-AH 18.64 306-AH 0.00 336-AH 5.88
167-AH 0.00 197-AH 0.00 277-AH 3.85 307-AH 2.60 337-AH 5.00
168-AH 5.56 198-AH 0.00 278-AH 0.00 308-AH 18.18 338-AH 40.00
169-AH 16.67 199-AH 0.00 279-AH 0.00 309-AH 20.00 339-AH 15.79
170-AH 0.00 200-AH 11.11 280-AH 0.00 310-AH 4.76 340-AH 20.00
498
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO1TDNUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 158,299 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,202 Pooled false
Geometric Mean Average Precision 0.0276 Keyword based search
Binary Preference (BPREF) 0.1921
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 47.22 MONO1TDNUS2F
10 37.35 90%
20 31.11
80%
30 23.62
40 18.33 70%
50 15.02
60%
60 10.81
Precision
70 7.37 50%
80 4.86 40%
90 3.31
30%
100 2.99
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
16.81 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0117
Second Quartile 0.0751
Third Quartile 0.2588
Interquartile range 0.2471 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1681
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2128 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.6274 50
Mean With No Outliers 0.1386 40
30
Std With No Outliers 0.1614
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
499
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO1TDNUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 3.88 251-AH 17.00 281-AH 18.40 311-AH 19.11 341-AH 30.72
142-AH 65.47 172-AH 10.24 252-AH 15.23 282-AH 4.02 312-AH 13.94 342-AH 38.32
143-AH 15.29 173-AH 100.00 253-AH 0.27 283-AH 16.55 313-AH 1.64 343-AH 0.65
144-AH 3.90 174-AH 55.26 254-AH 0.03 284-AH 5.87 314-AH 1.43 344-AH 35.15
145-AH 6.48 175-AH 30.38 255-AH 13.35 285-AH 48.41 315-AH 3.07 345-AH 3.45
146-AH 16.67 176-AH 62.74 256-AH 73.26 286-AH 0.38 316-AH 0.04 346-AH 5.53
147-AH 38.87 177-AH 12.94 257-AH 11.37 287-AH 2.12 317-AH 21.06 347-AH 3.71
148-AH 5.10 178-AH 0.00 258-AH 0.37 288-AH 9.17 318-AH 6.80 348-AH 0.61
149-AH 0.00 179-AH 3.62 259-AH 35.19 289-AH 33.21 319-AH 21.33 349-AH 32.47
150-AH 0.00 180-AH 3.42 260-AH 30.88 290-AH 1.23 320-AH 0.53 350-AH 27.13
151-AH 1.20 181-AH 11.91 261-AH 5.97 291-AH 41.35 321-AH 0.00
152-AH 37.17 182-AH 4.27 262-AH 9.54 292-AH 60.83 322-AH 3.41
153-AH 0.21 183-AH 0.14 263-AH 0.54 293-AH 17.89 323-AH 12.17
154-AH 28.39 184-AH 40.78 264-AH 25.74 294-AH 6.44 324-AH 14.75
155-AH 0.00 185-AH 3.85 265-AH 2.86 295-AH 22.95 325-AH 48.58
156-AH 1.15 186-AH 0.00 266-AH 0.00 296-AH 18.37 326-AH 0.09
157-AH 40.45 187-AH 0.00 267-AH 23.97 297-AH 29.38 327-AH 0.18
158-AH 10.24 188-AH 0.00 268-AH 7.72 298-AH 9.84 328-AH 19.65
159-AH 6.80 189-AH 0.00 269-AH 12.39 299-AH 15.42 329-AH 55.26
160-AH 0.30 190-AH 44.12 270-AH 64.10 300-AH 1.74 330-AH 66.86
161-AH 0.00 191-AH 0.00 271-AH 20.26 301-AH 1.26 331-AH 1.65
162-AH 4.00 192-AH 43.65 272-AH 26.03 302-AH 27.68 332-AH 7.31
163-AH 16.85 193-AH 32.86 273-AH 6.03 303-AH 33.57 333-AH 53.13
164-AH 0.11 194-AH 5.88 274-AH 7.62 304-AH 0.02 334-AH 5.81
165-AH 16.67 195-AH 0.00 275-AH 6.50 305-AH 2.72 335-AH 8.95
166-AH 0.00 196-AH 100.00 276-AH 19.63 306-AH 100.00 336-AH 2.82
167-AH 0.15 197-AH 60.79 277-AH 0.08 307-AH 15.68 337-AH 1.14
168-AH 21.37 198-AH 0.00 278-AH 8.44 308-AH 0.76 338-AH 32.93
169-AH 0.08 199-AH 7.25 279-AH 0.06 309-AH 8.81 339-AH 44.22
170-AH 4.00 200-AH 7.39 280-AH 1.05 310-AH 1.42 340-AH 57.00
500
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO1TDNUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 28.50 MONO1TDNUS2F
10 docs 22.63 90%
15 docs 20.54
80%
20 docs 19.06
30 docs 16.27 70%
100 docs 8.21
60%
200 docs 5.06
Precision
500 docs 2.46 50%
1000 docs 1.38 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
19.00
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1345
Third Quartile 0.3113
Interquartile range 0.3113 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1900
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2154 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.7059 50
Mean With No Outliers 0.1745 40
30
Std With No Outliers 0.1855
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONO1TDNUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
501
uniba 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNIBA.MONO1TDNUS2F AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 23.08 281-AH 19.05 311-AH 33.33 341-AH 33.33
142-AH 62.50 172-AH 0.00 252-AH 20.69 282-AH 9.68 312-AH 25.81 342-AH 47.92
143-AH 28.21 173-AH 100.00 253-AH 3.68 283-AH 26.32 313-AH 10.00 343-AH 0.00
144-AH 0.00 174-AH 50.00 254-AH 0.87 284-AH 13.16 314-AH 5.56 344-AH 42.42
145-AH 15.79 175-AH 28.57 255-AH 25.00 285-AH 53.62 315-AH 13.56 345-AH 0.00
146-AH 0.00 176-AH 51.28 256-AH 67.65 286-AH 0.00 316-AH 0.85 346-AH 9.09
147-AH 50.98 177-AH 23.08 257-AH 22.22 287-AH 4.08 317-AH 30.00 347-AH 11.11
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 23.68 318-AH 11.11 348-AH 0.00
149-AH 0.00 179-AH 13.64 259-AH 33.33 289-AH 38.89 319-AH 21.05 349-AH 40.74
150-AH 0.00 180-AH 15.00 260-AH 47.62 290-AH 4.08 320-AH 0.00 350-AH 20.00
151-AH 0.00 181-AH 19.57 261-AH 17.65 291-AH 40.00 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 23.53 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 32.35 323-AH 15.38
154-AH 23.81 184-AH 33.33 264-AH 31.82 294-AH 7.41 324-AH 17.57
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 33.33 325-AH 45.90
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 20.83 326-AH 0.00
157-AH 48.20 187-AH 0.00 267-AH 23.81 297-AH 33.33 327-AH 0.00
158-AH 17.65 188-AH 0.00 268-AH 0.00 298-AH 13.33 328-AH 30.43
159-AH 9.26 189-AH 0.00 269-AH 11.11 299-AH 23.68 329-AH 58.82
160-AH 0.00 190-AH 44.44 270-AH 64.91 300-AH 7.14 330-AH 70.59
161-AH 0.00 191-AH 0.00 271-AH 25.00 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 35.29 332-AH 0.00
163-AH 27.05 193-AH 28.57 273-AH 14.46 303-AH 35.71 333-AH 40.00
164-AH 0.00 194-AH 0.00 274-AH 18.75 304-AH 0.00 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 15.15 305-AH 4.92 335-AH 13.33
166-AH 0.00 196-AH 100.00 276-AH 32.20 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 58.00 277-AH 0.00 307-AH 25.97 337-AH 10.00
168-AH 38.89 198-AH 0.00 278-AH 14.29 308-AH 0.00 338-AH 30.00
169-AH 0.00 199-AH 10.00 279-AH 0.00 309-AH 20.00 339-AH 42.11
170-AH 0.00 200-AH 11.11 280-AH 0.00 310-AH 6.35 340-AH 60.00
502
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST1 AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,016 Pooled false
Geometric Mean Average Precision 0.2026 Fusion of two runs
Binary Preference (BPREF) 0.4021
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 70.79 UNINEROBUST1
10 65.28 90%
20 60.17
80%
30 54.55
40 49.97 70%
50 46.38
60%
60 40.18
Precision
70 34.26 50%
80 28.62 40%
90 22.38
30%
100 15.56
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
43.17 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1847
Second Quartile 0.4198
Third Quartile 0.6613
Interquartile range 0.4766 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4317
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2984 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.4317
Std With No Outliers 0.2984 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
503
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST1 AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 6.75 251-AH 60.13 281-AH 49.51 311-AH 29.80 341-AH 86.36
142-AH 93.08 172-AH 8.98 252-AH 47.56 282-AH 18.11 312-AH 66.10 342-AH 73.44
143-AH 81.68 173-AH 100.00 253-AH 44.30 283-AH 67.92 313-AH 1.92 343-AH 2.17
144-AH 61.11 174-AH 100.00 254-AH 21.75 284-AH 55.84 314-AH 5.08 344-AH 56.37
145-AH 62.84 175-AH 80.41 255-AH 27.30 285-AH 82.61 315-AH 43.27 345-AH 8.09
146-AH 50.26 176-AH 94.70 256-AH 90.97 286-AH 2.86 316-AH 5.36 346-AH 11.57
147-AH 83.22 177-AH 61.92 257-AH 24.03 287-AH 43.81 317-AH 26.29 347-AH 18.83
148-AH 9.91 178-AH 6.15 258-AH 16.17 288-AH 22.76 318-AH 10.37 348-AH 100.00
149-AH 0.00 179-AH 68.94 259-AH 46.77 289-AH 73.44 319-AH 44.34 349-AH 25.96
150-AH 15.34 180-AH 71.00 260-AH 75.14 290-AH 34.96 320-AH 2.76 350-AH 73.34
151-AH 5.52 181-AH 85.55 261-AH 14.78 291-AH 54.01 321-AH 0.00
152-AH 25.92 182-AH 50.95 262-AH 45.28 292-AH 52.38 322-AH 6.03
153-AH 0.20 183-AH 19.48 263-AH 24.83 293-AH 72.28 323-AH 17.31
154-AH 28.85 184-AH 24.33 264-AH 33.17 294-AH 75.40 324-AH 26.35
155-AH 6.80 185-AH 50.00 265-AH 28.26 295-AH 36.39 325-AH 56.21
156-AH 10.12 186-AH 0.00 266-AH 3.44 296-AH 63.56 326-AH 51.37
157-AH 70.63 187-AH 33.33 267-AH 45.69 297-AH 43.57 327-AH 60.71
158-AH 41.90 188-AH 9.09 268-AH 67.06 298-AH 35.65 328-AH 52.14
159-AH 65.80 189-AH 90.48 269-AH 28.43 299-AH 33.83 329-AH 61.46
160-AH 17.69 190-AH 49.57 270-AH 77.59 300-AH 29.50 330-AH 82.07
161-AH 0.00 191-AH 0.00 271-AH 60.13 301-AH 51.70 331-AH 23.13
162-AH 33.33 192-AH 66.15 272-AH 21.68 302-AH 35.99 332-AH 45.35
163-AH 89.15 193-AH 46.56 273-AH 82.18 303-AH 43.97 333-AH 100.00
164-AH 26.57 194-AH 100.00 274-AH 28.70 304-AH 36.90 334-AH 16.42
165-AH 100.00 195-AH 0.00 275-AH 46.83 305-AH 42.06 335-AH 10.13
166-AH 0.00 196-AH 100.00 276-AH 47.97 306-AH 20.00 336-AH 5.09
167-AH 28.28 197-AH 76.93 277-AH 23.87 307-AH 36.40 337-AH 81.51
168-AH 36.84 198-AH 100.00 278-AH 23.34 308-AH 82.10 338-AH 20.91
169-AH 0.92 199-AH 64.70 279-AH 36.04 309-AH 11.08 339-AH 75.48
170-AH 100.00 200-AH 55.98 280-AH 3.77 310-AH 11.30 340-AH 39.49
504
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST1 AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 48.75 UNINEROBUST1
10 docs 42.13 90%
15 docs 38.33
80%
20 docs 34.94
30 docs 30.88 70%
100 docs 16.87
60%
200 docs 10.14
Precision
500 docs 4.72 50%
1000 docs 2.51 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
41.70
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.4142
Third Quartile 0.6550
Interquartile range 0.4550 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4170
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2927 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.4170 15
Std With No Outliers 0.2927 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST1
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
505
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST1 AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 58.46 281-AH 42.86 311-AH 35.19 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 29.03 312-AH 64.52 342-AH 71.88
143-AH 69.23 173-AH 100.00 253-AH 49.47 283-AH 63.16 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 33.19 284-AH 55.26 314-AH 0.00 344-AH 51.52
145-AH 55.26 175-AH 71.43 255-AH 25.00 285-AH 73.91 315-AH 52.54 345-AH 11.11
146-AH 50.00 176-AH 84.62 256-AH 76.47 286-AH 8.33 316-AH 4.24 346-AH 9.09
147-AH 82.35 177-AH 53.85 257-AH 30.16 287-AH 53.06 317-AH 36.67 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 25.00 288-AH 35.53 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 59.09 259-AH 33.33 289-AH 66.67 319-AH 42.11 349-AH 29.63
150-AH 20.00 180-AH 65.00 260-AH 68.25 290-AH 46.94 320-AH 6.25 350-AH 70.00
151-AH 0.00 181-AH 78.26 261-AH 23.53 291-AH 50.00 321-AH 0.00
152-AH 36.36 182-AH 75.00 262-AH 45.88 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 70.59 323-AH 23.08
154-AH 28.57 184-AH 33.33 264-AH 40.91 294-AH 70.37 324-AH 35.14
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 41.18 325-AH 54.10
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00
157-AH 66.19 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 50.00
158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 43.33 328-AH 56.52
159-AH 61.11 189-AH 71.43 269-AH 22.22 299-AH 42.11 329-AH 58.82
160-AH 0.00 190-AH 44.44 270-AH 70.18 300-AH 33.33 330-AH 74.51
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 50.00 331-AH 29.41
162-AH 0.00 192-AH 66.67 272-AH 28.57 302-AH 41.18 332-AH 37.50
163-AH 81.15 193-AH 28.57 273-AH 74.70 303-AH 50.00 333-AH 100.00
164-AH 37.04 194-AH 100.00 274-AH 25.00 304-AH 26.67 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 50.00 305-AH 42.62 335-AH 6.67
166-AH 0.00 196-AH 100.00 276-AH 50.85 306-AH 0.00 336-AH 5.88
167-AH 40.00 197-AH 66.00 277-AH 30.77 307-AH 45.45 337-AH 80.00
168-AH 38.89 198-AH 100.00 278-AH 23.81 308-AH 81.82 338-AH 30.00
169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 20.00 339-AH 73.68
170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 15.87 340-AH 40.00
506
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST4 AH-ROBUST-MONO-EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,040 Pooled false
Geometric Mean Average Precision 0.2118 fusion of three runs for AdHoch Robust Monolingual
Binary Preference (BPREF) 0.4201 English Task
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 71.04 UNINEROBUST4
10 66.11 90%
20 61.78
80%
30 56.17
40 52.59 70%
50 48.92
60%
60 42.67
Precision
70 36.48 50%
80 31.22 40%
90 24.51
30%
100 16.57
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
45.15 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2116
Second Quartile 0.4445
Third Quartile 0.6668
Interquartile range 0.4552 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4515
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2976 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.4515 10
Std With No Outliers 0.2976
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
507
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST4 AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 7.52 251-AH 60.87 281-AH 58.91 311-AH 34.41 341-AH 85.09
142-AH 94.64 172-AH 10.11 252-AH 52.59 282-AH 28.70 312-AH 62.56 342-AH 71.74
143-AH 88.04 173-AH 100.00 253-AH 47.26 283-AH 63.35 313-AH 2.51 343-AH 2.27
144-AH 70.11 174-AH 100.00 254-AH 21.89 284-AH 59.19 314-AH 4.55 344-AH 53.69
145-AH 61.92 175-AH 84.42 255-AH 23.92 285-AH 83.39 315-AH 53.32 345-AH 15.68
146-AH 50.39 176-AH 91.67 256-AH 90.97 286-AH 2.68 316-AH 6.76 346-AH 12.67
147-AH 83.99 177-AH 59.50 257-AH 26.56 287-AH 46.51 317-AH 25.62 347-AH 19.55
148-AH 13.46 178-AH 44.05 258-AH 14.21 288-AH 34.44 318-AH 6.02 348-AH 100.00
149-AH 0.00 179-AH 88.81 259-AH 39.04 289-AH 75.16 319-AH 51.08 349-AH 57.10
150-AH 14.78 180-AH 72.85 260-AH 72.43 290-AH 40.92 320-AH 2.49 350-AH 72.94
151-AH 3.94 181-AH 87.62 261-AH 15.34 291-AH 48.41 321-AH 0.00
152-AH 42.81 182-AH 44.23 262-AH 42.21 292-AH 66.59 322-AH 4.10
153-AH 0.26 183-AH 20.60 263-AH 26.23 293-AH 72.13 323-AH 28.31
154-AH 38.16 184-AH 52.74 264-AH 56.53 294-AH 71.95 324-AH 27.76
155-AH 2.45 185-AH 50.00 265-AH 46.17 295-AH 41.90 325-AH 66.77
156-AH 16.79 186-AH 0.00 266-AH 2.97 296-AH 57.62 326-AH 22.87
157-AH 63.60 187-AH 25.00 267-AH 45.89 297-AH 44.30 327-AH 43.33
158-AH 63.00 188-AH 5.88 268-AH 71.01 298-AH 28.07 328-AH 54.50
159-AH 51.80 189-AH 96.17 269-AH 30.65 299-AH 45.81 329-AH 74.77
160-AH 17.42 190-AH 69.26 270-AH 81.40 300-AH 26.61 330-AH 82.05
161-AH 0.00 191-AH 0.00 271-AH 58.77 301-AH 44.60 331-AH 25.48
162-AH 50.00 192-AH 37.14 272-AH 21.72 302-AH 44.01 332-AH 48.30
163-AH 90.24 193-AH 45.82 273-AH 87.91 303-AH 31.19 333-AH 100.00
164-AH 36.67 194-AH 20.00 274-AH 22.79 304-AH 37.95 334-AH 28.47
165-AH 50.00 195-AH 0.00 275-AH 51.97 305-AH 48.18 335-AH 10.68
166-AH 0.00 196-AH 100.00 276-AH 47.81 306-AH 100.00 336-AH 0.51
167-AH 13.04 197-AH 66.41 277-AH 35.38 307-AH 40.41 337-AH 80.97
168-AH 38.51 198-AH 100.00 278-AH 26.49 308-AH 83.95 338-AH 84.50
169-AH 2.74 199-AH 64.80 279-AH 31.22 309-AH 13.26 339-AH 88.05
170-AH 100.00 200-AH 61.23 280-AH 3.27 310-AH 11.67 340-AH 39.96
508
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST4 AH-ROBUST-MONO-EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 51.75 UNINEROBUST4
10 docs 44.56 90%
15 docs 39.96
80%
20 docs 37.31
30 docs 32.02 70%
100 docs 17.47
60%
200 docs 10.51
Precision
500 docs 4.80 50%
1000 docs 2.53 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
42.99
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1938
Second Quartile 0.4525
Third Quartile 0.6464
Interquartile range 0.4527 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4299
Ad−Hoc Robust Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2950 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.4299 15
Std With No Outliers 0.2950 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST4
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
509
unine 10.2415/AH-ROBUST-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST4 AH-ROBUST-MONO-EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 58.46 281-AH 54.76 311-AH 35.19 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 48.28 282-AH 32.26 312-AH 64.52 342-AH 64.58
143-AH 76.92 173-AH 100.00 253-AH 50.53 283-AH 55.26 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 29.69 284-AH 50.00 314-AH 5.56 344-AH 51.52
145-AH 57.89 175-AH 85.71 255-AH 50.00 285-AH 73.91 315-AH 59.32 345-AH 11.11
146-AH 50.00 176-AH 82.05 256-AH 76.47 286-AH 8.33 316-AH 11.02 346-AH 9.09
147-AH 74.51 177-AH 61.54 257-AH 31.75 287-AH 57.14 317-AH 33.33 347-AH 11.11
148-AH 16.67 178-AH 50.00 258-AH 0.00 288-AH 44.74 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 81.82 259-AH 66.67 289-AH 66.67 319-AH 47.37 349-AH 55.56
150-AH 20.00 180-AH 67.50 260-AH 68.25 290-AH 51.02 320-AH 6.25 350-AH 60.00
151-AH 0.00 181-AH 81.52 261-AH 23.53 291-AH 53.33 321-AH 0.00
152-AH 36.36 182-AH 50.00 262-AH 43.53 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 35.42 293-AH 64.71 323-AH 26.92
154-AH 38.10 184-AH 44.44 264-AH 50.00 294-AH 66.67 324-AH 33.78
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 49.02 325-AH 60.66
156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00
157-AH 63.31 187-AH 0.00 267-AH 42.86 297-AH 41.67 327-AH 25.00
158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 36.67 328-AH 56.52
159-AH 51.85 189-AH 85.71 269-AH 22.22 299-AH 46.05 329-AH 70.59
160-AH 0.00 190-AH 66.67 270-AH 73.68 300-AH 28.57 330-AH 72.55
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 50.00 331-AH 23.53
162-AH 0.00 192-AH 33.33 272-AH 14.29 302-AH 41.18 332-AH 37.50
163-AH 81.97 193-AH 28.57 273-AH 84.34 303-AH 42.86 333-AH 100.00
164-AH 37.04 194-AH 0.00 274-AH 18.75 304-AH 33.33 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 57.58 305-AH 44.26 335-AH 13.33
166-AH 0.00 196-AH 100.00 276-AH 45.76 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 54.00 277-AH 38.46 307-AH 48.05 337-AH 80.00
168-AH 44.44 198-AH 100.00 278-AH 38.10 308-AH 81.82 338-AH 80.00
169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 30.00 339-AH 78.95
170-AH 100.00 200-AH 77.78 280-AH 4.00 310-AH 22.22 340-AH 40.00
510
geneva 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESENTD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 159,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,588 Pooled false
Geometric Mean Average Precision 0.1097 ESP traduction google -> EN + TD
Binary Preference (BPREF) 0.2988
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 61.31 ISIESENTD
10 50.76 90%
20 45.64
80%
30 38.71
40 33.75 70%
50 30.41
60%
60 25.94
Precision
70 21.68 50%
80 17.73 40%
90 13.63
30%
100 9.49
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
30.36 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0709
Second Quartile 0.2102
Third Quartile 0.4753
Interquartile range 0.4044 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3036
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2821 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3036 15
Std With No Outliers 0.2821 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
511
geneva 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESENTD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 6.09 251-AH 50.11 281-AH 43.48 311-AH 26.20 341-AH 53.19
142-AH 81.68 172-AH 6.08 252-AH 37.50 282-AH 11.81 312-AH 5.64 342-AH 66.68
143-AH 90.85 173-AH 100.00 253-AH 31.99 283-AH 27.49 313-AH 0.56 343-AH 3.85
144-AH 13.17 174-AH 100.00 254-AH 24.13 284-AH 36.85 314-AH 9.21 344-AH 6.25
145-AH 49.64 175-AH 73.33 255-AH 33.16 285-AH 69.70 315-AH 24.17 345-AH 19.19
146-AH 10.88 176-AH 89.59 256-AH 80.52 286-AH 0.07 316-AH 14.18 346-AH 8.34
147-AH 54.35 177-AH 37.29 257-AH 19.11 287-AH 30.00 317-AH 11.77 347-AH 3.88
148-AH 19.12 178-AH 3.33 258-AH 0.76 288-AH 10.51 318-AH 31.48 348-AH 100.00
149-AH 0.00 179-AH 21.45 259-AH 37.95 289-AH 51.48 319-AH 35.42 349-AH 47.61
150-AH 9.35 180-AH 70.85 260-AH 47.45 290-AH 13.35 320-AH 1.01 350-AH 69.65
151-AH 30.28 181-AH 82.02 261-AH 6.61 291-AH 8.39 321-AH 0.00
152-AH 51.06 182-AH 7.15 262-AH 3.15 292-AH 7.32 322-AH 10.22
153-AH 0.00 183-AH 23.68 263-AH 11.67 293-AH 62.87 323-AH 4.36
154-AH 22.36 184-AH 46.50 264-AH 30.15 294-AH 30.26 324-AH 6.54
155-AH 53.45 185-AH 33.33 265-AH 20.59 295-AH 18.02 325-AH 38.61
156-AH 35.70 186-AH 0.00 266-AH 4.92 296-AH 56.31 326-AH 30.23
157-AH 43.61 187-AH 4.55 267-AH 20.26 297-AH 22.19 327-AH 4.16
158-AH 1.49 188-AH 0.00 268-AH 55.56 298-AH 11.50 328-AH 59.02
159-AH 11.04 189-AH 84.01 269-AH 1.61 299-AH 15.45 329-AH 64.23
160-AH 6.19 190-AH 6.06 270-AH 64.27 300-AH 8.74 330-AH 61.76
161-AH 0.00 191-AH 0.00 271-AH 64.53 301-AH 35.78 331-AH 25.65
162-AH 25.00 192-AH 16.84 272-AH 8.60 302-AH 15.40 332-AH 47.36
163-AH 40.42 193-AH 44.44 273-AH 75.36 303-AH 9.21 333-AH 100.00
164-AH 1.94 194-AH 6.25 274-AH 4.73 304-AH 25.24 334-AH 11.99
165-AH 100.00 195-AH 0.00 275-AH 12.78 305-AH 18.87 335-AH 16.02
166-AH 0.00 196-AH 50.00 276-AH 44.60 306-AH 14.29 336-AH 12.21
167-AH 24.23 197-AH 87.54 277-AH 6.38 307-AH 17.78 337-AH 83.48
168-AH 35.06 198-AH 5.56 278-AH 15.01 308-AH 73.42 338-AH 24.46
169-AH 1.28 199-AH 42.27 279-AH 3.09 309-AH 3.46 339-AH 47.83
170-AH 100.00 200-AH 9.02 280-AH 7.03 310-AH 10.85 340-AH 18.27
512
geneva 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESENTD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 38.13 ISIESENTD
10 docs 33.25 90%
15 docs 29.58
80%
20 docs 27.31
30 docs 23.48 70%
100 docs 13.00
60%
200 docs 8.23
Precision
500 docs 4.04 50%
1000 docs 2.24 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
29.72
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0572
Second Quartile 0.2353
Third Quartile 0.4676
Interquartile range 0.4104 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2972
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2732 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.2972 20
15
Std With No Outliers 0.2732
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISIESENTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
513
geneva 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESENTD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 15.79 251-AH 53.85 281-AH 35.71 311-AH 35.19 341-AH 50.00
142-AH 75.00 172-AH 0.00 252-AH 34.48 282-AH 12.90 312-AH 12.90 342-AH 63.54
143-AH 82.05 173-AH 100.00 253-AH 37.89 283-AH 26.32 313-AH 0.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 32.75 284-AH 39.47 314-AH 5.56 344-AH 6.06
145-AH 42.11 175-AH 57.14 255-AH 25.00 285-AH 66.67 315-AH 33.90 345-AH 22.22
146-AH 0.00 176-AH 74.36 256-AH 70.59 286-AH 0.00 316-AH 14.41 346-AH 9.09
147-AH 56.86 177-AH 46.15 257-AH 25.40 287-AH 38.78 317-AH 13.33 347-AH 0.00
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 18.42 318-AH 33.33 348-AH 100.00
149-AH 0.00 179-AH 22.73 259-AH 33.33 289-AH 50.00 319-AH 36.84 349-AH 44.44
150-AH 20.00 180-AH 65.00 260-AH 49.21 290-AH 22.45 320-AH 0.00 350-AH 60.00
151-AH 41.67 181-AH 75.00 261-AH 11.76 291-AH 16.67 321-AH 0.00
152-AH 45.45 182-AH 0.00 262-AH 5.88 292-AH 0.00 322-AH 21.43
153-AH 0.00 183-AH 0.00 263-AH 22.92 293-AH 58.82 323-AH 3.85
154-AH 28.57 184-AH 44.44 264-AH 31.82 294-AH 40.74 324-AH 13.51
155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 29.41 325-AH 45.90
156-AH 36.36 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 50.00
157-AH 47.48 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 66.67 298-AH 13.33 328-AH 52.17
159-AH 14.81 189-AH 71.43 269-AH 0.00 299-AH 21.05 329-AH 58.82
160-AH 0.00 190-AH 11.11 270-AH 61.40 300-AH 7.14 330-AH 54.90
161-AH 0.00 191-AH 0.00 271-AH 62.50 301-AH 37.50 331-AH 29.41
162-AH 0.00 192-AH 16.67 272-AH 14.29 302-AH 23.53 332-AH 50.00
163-AH 42.62 193-AH 28.57 273-AH 73.49 303-AH 7.14 333-AH 100.00
164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 26.67 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 13.64 305-AH 21.31 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 50.85 306-AH 0.00 336-AH 23.53
167-AH 20.00 197-AH 82.00 277-AH 19.23 307-AH 27.27 337-AH 75.00
168-AH 44.44 198-AH 0.00 278-AH 28.57 308-AH 63.64 338-AH 10.00
169-AH 0.00 199-AH 40.00 279-AH 0.00 309-AH 0.00 339-AH 47.37
170-AH 100.00 200-AH 11.11 280-AH 12.00 310-AH 14.29 340-AH 20.00
514
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 155,719 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,442 Pooled false
Geometric Mean Average Precision 0.0164 basic title-description
Binary Preference (BPREF) 0.2164
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 37.47 ES2ENNOWSD
10 31.33 90%
20 26.61
80%
30 23.80
40 20.11 70%
50 18.00
60%
60 15.51
Precision
70 12.89 50%
80 10.80 40%
90 9.18
30%
100 7.10
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
18.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0038
Second Quartile 0.0567
Third Quartile 0.2066
Interquartile range 0.2029 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1835
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2703 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.5020 50
Mean With No Outliers 0.0935 40
30
Std With No Outliers 0.1295
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
515
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 7.92 251-AH 38.45 281-AH 16.09 311-AH 4.19 341-AH 68.42
142-AH 100.00 172-AH 0.90 252-AH 9.52 282-AH 10.37 312-AH 0.07 342-AH 59.80
143-AH 0.55 173-AH 100.00 253-AH 18.56 283-AH 21.04 313-AH 2.73 343-AH 0.00
144-AH 50.00 174-AH 100.00 254-AH 0.08 284-AH 1.54 314-AH 5.92 344-AH 49.93
145-AH 5.60 175-AH 47.59 255-AH 26.40 285-AH 3.02 315-AH 0.05 345-AH 1.64
146-AH 25.00 176-AH 68.88 256-AH 60.88 286-AH 0.00 316-AH 19.74 346-AH 6.05
147-AH 0.35 177-AH 19.80 257-AH 4.73 287-AH 4.94 317-AH 0.79 347-AH 3.79
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 8.88 318-AH 10.83 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.05 289-AH 0.00 319-AH 20.26 349-AH 45.01
150-AH 0.76 180-AH 1.69 260-AH 2.94 290-AH 1.49 320-AH 3.55 350-AH 50.20
151-AH 1.01 181-AH 64.53 261-AH 3.08 291-AH 0.35 321-AH 0.00
152-AH 0.02 182-AH 7.84 262-AH 4.77 292-AH 15.92 322-AH 14.86
153-AH 0.00 183-AH 29.99 263-AH 0.33 293-AH 0.36 323-AH 8.55
154-AH 40.54 184-AH 5.96 264-AH 8.22 294-AH 10.51 324-AH 0.58
155-AH 0.43 185-AH 50.00 265-AH 11.71 295-AH 0.01 325-AH 2.84
156-AH 8.35 186-AH 0.00 266-AH 7.82 296-AH 5.54 326-AH 18.12
157-AH 36.79 187-AH 8.33 267-AH 3.45 297-AH 0.00 327-AH 0.39
158-AH 20.28 188-AH 0.00 268-AH 0.00 298-AH 2.27 328-AH 55.87
159-AH 0.03 189-AH 93.25 269-AH 1.08 299-AH 3.01 329-AH 30.65
160-AH 10.83 190-AH 0.01 270-AH 41.45 300-AH 0.54 330-AH 70.20
161-AH 0.00 191-AH 0.00 271-AH 55.54 301-AH 0.00 331-AH 18.11
162-AH 14.29 192-AH 25.89 272-AH 5.90 302-AH 11.56 332-AH 31.98
163-AH 56.62 193-AH 30.69 273-AH 1.13 303-AH 10.52 333-AH 0.19
164-AH 0.53 194-AH 0.91 274-AH 2.61 304-AH 18.98 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 16.75 305-AH 8.53 335-AH 0.06
166-AH 0.00 196-AH 33.33 276-AH 14.40 306-AH 100.00 336-AH 1.50
167-AH 17.16 197-AH 94.77 277-AH 2.30 307-AH 0.11 337-AH 64.88
168-AH 0.00 198-AH 8.33 278-AH 0.00 308-AH 65.81 338-AH 19.68
169-AH 16.02 199-AH 57.94 279-AH 0.91 309-AH 3.21 339-AH 4.76
170-AH 0.00 200-AH 2.76 280-AH 0.26 310-AH 5.74 340-AH 0.07
516
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 21.00 ES2ENNOWSD
10 docs 18.75 90%
15 docs 16.58
80%
20 docs 15.25
30 docs 13.08 70%
100 docs 7.41
60%
200 docs 4.78
Precision
500 docs 2.56 50%
1000 docs 1.53 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.79
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0747
Third Quartile 0.2500
Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1879
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2632 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.6196 50
Mean With No Outliers 0.1276 40
30
Std With No Outliers 0.1681
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENNOWSD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
517
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSD AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 15.79 251-AH 41.54 281-AH 23.81 311-AH 12.96 341-AH 66.67
142-AH 100.00 172-AH 0.00 252-AH 13.79 282-AH 22.58 312-AH 0.00 342-AH 66.67
143-AH 0.00 173-AH 100.00 253-AH 28.95 283-AH 23.68 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 1.31 284-AH 7.89 314-AH 22.22 344-AH 51.52
145-AH 13.16 175-AH 42.86 255-AH 25.00 285-AH 7.25 315-AH 0.00 345-AH 0.00
146-AH 50.00 176-AH 69.23 256-AH 52.94 286-AH 0.00 316-AH 25.42 346-AH 0.00
147-AH 3.92 177-AH 23.08 257-AH 11.11 287-AH 6.12 317-AH 0.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 15.79 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 21.05 349-AH 37.04
150-AH 0.00 180-AH 0.00 260-AH 0.00 290-AH 4.08 320-AH 12.50 350-AH 50.00
151-AH 8.33 181-AH 61.96 261-AH 8.82 291-AH 0.00 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 8.24 292-AH 0.00 322-AH 21.43
153-AH 0.00 183-AH 25.00 263-AH 2.08 293-AH 0.00 323-AH 7.69
154-AH 38.10 184-AH 11.11 264-AH 4.55 294-AH 11.11 324-AH 2.70
155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 0.00 325-AH 6.56
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 12.50 326-AH 25.00
157-AH 44.60 187-AH 0.00 267-AH 9.52 297-AH 0.00 327-AH 0.00
158-AH 23.53 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 56.52
159-AH 0.00 189-AH 71.43 269-AH 0.00 299-AH 11.84 329-AH 41.18
160-AH 0.00 190-AH 0.00 270-AH 47.37 300-AH 0.00 330-AH 64.71
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 33.33 272-AH 7.14 302-AH 17.65 332-AH 25.00
163-AH 56.56 193-AH 42.86 273-AH 8.43 303-AH 14.29 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 33.33 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 22.73 305-AH 19.67 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 20.34 306-AH 100.00 336-AH 5.88
167-AH 20.00 197-AH 92.00 277-AH 7.69 307-AH 1.30 337-AH 60.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 45.45 338-AH 30.00
169-AH 33.33 199-AH 50.00 279-AH 0.00 309-AH 0.00 339-AH 5.26
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 14.29 340-AH 0.00
518
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSDPSREL AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 157,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,489 Pooled false
Geometric Mean Average Precision 0.0162 basic bilingual with pseudo-relevance feedback
Binary Preference (BPREF) 0.2215
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 38.55 ES2ENNOWSDPSREL
10 32.12 90%
20 28.02
80%
30 24.62
40 21.69 70%
50 19.45
60%
60 17.09
Precision
70 14.02 50%
80 12.49 40%
90 10.47
30%
100 7.62
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
19.57 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0035
Second Quartile 0.0583
Third Quartile 0.2463
Interquartile range 0.2429 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1957
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2830 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.5586 50
Mean With No Outliers 0.1047 40
30
Std With No Outliers 0.1475
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
519
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSDPSREL AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 8.39 251-AH 37.62 281-AH 18.37 311-AH 4.10 341-AH 68.34
142-AH 100.00 172-AH 1.87 252-AH 9.99 282-AH 11.32 312-AH 0.10 342-AH 66.91
143-AH 0.51 173-AH 100.00 253-AH 14.74 283-AH 24.11 313-AH 2.75 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 0.03 284-AH 0.34 314-AH 7.45 344-AH 51.58
145-AH 6.67 175-AH 55.44 255-AH 9.41 285-AH 4.44 315-AH 0.20 345-AH 1.82
146-AH 25.16 176-AH 71.01 256-AH 71.52 286-AH 0.00 316-AH 20.36 346-AH 4.91
147-AH 0.04 177-AH 27.57 257-AH 5.83 287-AH 5.82 317-AH 0.97 347-AH 3.75
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 16.76 318-AH 14.53 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.05 289-AH 0.00 319-AH 16.87 349-AH 48.31
150-AH 0.79 180-AH 2.18 260-AH 3.37 290-AH 2.20 320-AH 2.66 350-AH 49.78
151-AH 1.39 181-AH 76.60 261-AH 2.81 291-AH 0.18 321-AH 0.00
152-AH 0.02 182-AH 10.55 262-AH 4.23 292-AH 7.03 322-AH 20.51
153-AH 0.00 183-AH 38.54 263-AH 0.59 293-AH 0.23 323-AH 7.18
154-AH 41.33 184-AH 5.07 264-AH 7.92 294-AH 12.69 324-AH 0.87
155-AH 0.44 185-AH 33.33 265-AH 10.78 295-AH 0.01 325-AH 2.71
156-AH 6.07 186-AH 0.00 266-AH 12.19 296-AH 5.57 326-AH 22.57
157-AH 38.73 187-AH 5.88 267-AH 6.77 297-AH 0.00 327-AH 0.62
158-AH 23.10 188-AH 0.00 268-AH 0.00 298-AH 3.93 328-AH 54.89
159-AH 0.03 189-AH 96.83 269-AH 0.69 299-AH 2.59 329-AH 44.18
160-AH 7.83 190-AH 0.00 270-AH 48.81 300-AH 0.02 330-AH 70.81
161-AH 0.00 191-AH 0.00 271-AH 55.86 301-AH 0.00 331-AH 16.92
162-AH 20.00 192-AH 36.11 272-AH 13.21 302-AH 11.17 332-AH 36.53
163-AH 70.75 193-AH 31.02 273-AH 1.92 303-AH 15.21 333-AH 0.18
164-AH 0.81 194-AH 0.74 274-AH 3.62 304-AH 12.57 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 23.96 305-AH 9.90 335-AH 0.13
166-AH 0.00 196-AH 50.00 276-AH 12.96 306-AH 100.00 336-AH 1.76
167-AH 16.58 197-AH 96.68 277-AH 2.86 307-AH 0.16 337-AH 78.61
168-AH 0.00 198-AH 2.86 278-AH 0.00 308-AH 68.42 338-AH 20.70
169-AH 37.00 199-AH 61.73 279-AH 0.36 309-AH 3.06 339-AH 2.46
170-AH 0.00 200-AH 0.95 280-AH 0.42 310-AH 8.30 340-AH 0.07
520
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSDPSREL AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 23.13 ES2ENNOWSDPSREL
10 docs 19.13 90%
15 docs 16.83
80%
20 docs 15.66
30 docs 13.81 70%
100 docs 7.82
60%
200 docs 5.14
Precision
500 docs 2.65 50%
1000 docs 1.56 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
19.53
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0769
Third Quartile 0.2817
Interquartile range 0.2817 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1953
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2745 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.7000 50
Mean With No Outliers 0.1488 40
30
Std With No Outliers 0.2026
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENNOWSDPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
521
ixa 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNOWSDPSREL AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 41.54 281-AH 21.43 311-AH 9.26 341-AH 66.67
142-AH 100.00 172-AH 0.00 252-AH 10.34 282-AH 25.81 312-AH 0.00 342-AH 64.58
143-AH 0.00 173-AH 100.00 253-AH 24.74 283-AH 28.95 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 0.44 284-AH 2.63 314-AH 27.78 344-AH 48.48
145-AH 13.16 175-AH 42.86 255-AH 25.00 285-AH 8.70 315-AH 0.00 345-AH 0.00
146-AH 50.00 176-AH 69.23 256-AH 61.76 286-AH 0.00 316-AH 25.42 346-AH 0.00
147-AH 0.00 177-AH 30.77 257-AH 11.11 287-AH 8.16 317-AH 0.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 30.26 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 21.05 349-AH 40.74
150-AH 0.00 180-AH 0.00 260-AH 0.00 290-AH 6.12 320-AH 6.25 350-AH 50.00
151-AH 8.33 181-AH 68.48 261-AH 8.82 291-AH 0.00 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 9.41 292-AH 0.00 322-AH 14.29
153-AH 0.00 183-AH 25.00 263-AH 2.08 293-AH 0.00 323-AH 7.69
154-AH 38.10 184-AH 11.11 264-AH 4.55 294-AH 11.11 324-AH 4.05
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 0.00 325-AH 8.20
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 12.50 326-AH 50.00
157-AH 42.45 187-AH 0.00 267-AH 4.76 297-AH 0.00 327-AH 0.00
158-AH 26.47 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 52.17
159-AH 0.00 189-AH 85.71 269-AH 0.00 299-AH 11.84 329-AH 52.94
160-AH 0.00 190-AH 0.00 270-AH 50.88 300-AH 0.00 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 33.33 272-AH 14.29 302-AH 17.65 332-AH 25.00
163-AH 64.75 193-AH 28.57 273-AH 10.84 303-AH 21.43 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 12.50 304-AH 20.00 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 28.79 305-AH 21.31 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 23.73 306-AH 100.00 336-AH 5.88
167-AH 20.00 197-AH 92.00 277-AH 7.69 307-AH 1.30 337-AH 70.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 63.64 338-AH 20.00
169-AH 33.33 199-AH 50.00 279-AH 0.00 309-AH 0.00 339-AH 5.26
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 15.87 340-AH 0.00
522
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI1_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 159,249 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,817 Pooled false
Geometric Mean Average Precision 0.0654 Association rules
Binary Preference (BPREF) 0.2749
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 58.38 UFRGS_R_BI1_TEST
10 46.22 90%
20 39.15
80%
30 31.76
40 27.32 70%
50 24.71
60%
60 20.97
Precision
70 17.32 50%
80 13.50 40%
90 10.47
30%
100 8.12
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
25.60 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0283
Second Quartile 0.1485
Third Quartile 0.4340
Interquartile range 0.4057 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2560
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2685 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 1.0000
30
Mean With No Outliers 0.2560
20
Std With No Outliers 0.2685
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
523
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI1_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 14.29 171-AH 3.47 251-AH 52.17 281-AH 45.53 311-AH 12.69 341-AH 39.50
142-AH 83.68 172-AH 4.14 252-AH 14.62 282-AH 15.08 312-AH 2.58 342-AH 66.82
143-AH 29.95 173-AH 100.00 253-AH 0.22 283-AH 7.85 313-AH 1.39 343-AH 2.78
144-AH 34.74 174-AH 100.00 254-AH 3.79 284-AH 13.56 314-AH 7.50 344-AH 43.24
145-AH 37.04 175-AH 70.70 255-AH 26.74 285-AH 32.22 315-AH 45.03 345-AH 0.82
146-AH 29.00 176-AH 90.90 256-AH 76.12 286-AH 0.04 316-AH 7.85 346-AH 5.75
147-AH 18.37 177-AH 27.62 257-AH 13.79 287-AH 19.49 317-AH 2.78 347-AH 0.79
148-AH 2.88 178-AH 2.14 258-AH 0.00 288-AH 10.93 318-AH 13.28 348-AH 58.33
149-AH 0.00 179-AH 11.49 259-AH 34.92 289-AH 62.44 319-AH 15.35 349-AH 16.21
150-AH 11.39 180-AH 46.65 260-AH 43.57 290-AH 2.60 320-AH 3.69 350-AH 58.44
151-AH 8.89 181-AH 77.06 261-AH 9.08 291-AH 26.04 321-AH 0.00
152-AH 20.19 182-AH 26.34 262-AH 0.79 292-AH 65.15 322-AH 12.45
153-AH 0.00 183-AH 33.94 263-AH 12.14 293-AH 43.67 323-AH 1.01
154-AH 11.69 184-AH 0.22 264-AH 56.71 294-AH 31.00 324-AH 11.83
155-AH 39.22 185-AH 100.00 265-AH 35.70 295-AH 9.72 325-AH 5.77
156-AH 7.91 186-AH 0.00 266-AH 1.52 296-AH 22.91 326-AH 45.24
157-AH 30.92 187-AH 0.51 267-AH 17.07 297-AH 13.98 327-AH 0.00
158-AH 33.12 188-AH 6.25 268-AH 20.63 298-AH 1.98 328-AH 43.56
159-AH 8.23 189-AH 93.67 269-AH 0.79 299-AH 8.12 329-AH 61.50
160-AH 0.20 190-AH 13.12 270-AH 35.58 300-AH 3.54 330-AH 73.37
161-AH 0.00 191-AH 0.00 271-AH 51.38 301-AH 11.98 331-AH 18.02
162-AH 25.00 192-AH 5.97 272-AH 29.77 302-AH 9.39 332-AH 41.13
163-AH 51.66 193-AH 45.91 273-AH 49.08 303-AH 0.05 333-AH 100.00
164-AH 0.71 194-AH 0.75 274-AH 1.25 304-AH 26.79 334-AH 30.24
165-AH 50.00 195-AH 0.00 275-AH 0.88 305-AH 15.27 335-AH 15.50
166-AH 0.00 196-AH 50.00 276-AH 32.51 306-AH 50.00 336-AH 0.81
167-AH 6.62 197-AH 46.48 277-AH 6.43 307-AH 0.18 337-AH 75.83
168-AH 25.53 198-AH 0.49 278-AH 1.02 308-AH 75.66 338-AH 70.62
169-AH 0.39 199-AH 55.67 279-AH 6.31 309-AH 2.31 339-AH 29.53
170-AH 100.00 200-AH 64.49 280-AH 0.29 310-AH 4.30 340-AH 28.72
524
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI1_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 34.38 UFRGS_R_BI1_TEST
10 docs 28.38 90%
15 docs 24.08
80%
20 docs 21.84
30 docs 19.13 70%
100 docs 10.28
60%
200 docs 6.43
Precision
500 docs 3.10 50%
1000 docs 1.76 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
26.12
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0237
Second Quartile 0.2000
Third Quartile 0.4043
Interquartile range 0.3807 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2612
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2596 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.8571
30
Mean With No Outliers 0.2374
20
Std With No Outliers 0.2265
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
525
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI1_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 5.26 251-AH 52.31 281-AH 47.62 311-AH 25.93 341-AH 33.33
142-AH 75.00 172-AH 0.00 252-AH 10.34 282-AH 25.81 312-AH 9.68 342-AH 62.50
143-AH 35.90 173-AH 100.00 253-AH 2.11 283-AH 15.79 313-AH 10.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 13.54 284-AH 21.05 314-AH 16.67 344-AH 45.45
145-AH 39.47 175-AH 71.43 255-AH 25.00 285-AH 40.58 315-AH 54.24 345-AH 0.00
146-AH 50.00 176-AH 84.62 256-AH 64.71 286-AH 0.00 316-AH 16.95 346-AH 9.09
147-AH 27.45 177-AH 30.77 257-AH 17.46 287-AH 32.65 317-AH 6.67 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 19.74 318-AH 22.22 348-AH 50.00
149-AH 0.00 179-AH 18.18 259-AH 33.33 289-AH 61.11 319-AH 21.05 349-AH 22.22
150-AH 20.00 180-AH 52.50 260-AH 47.62 290-AH 0.00 320-AH 6.25 350-AH 50.00
151-AH 8.33 181-AH 73.91 261-AH 11.76 291-AH 30.00 321-AH 0.00
152-AH 18.18 182-AH 25.00 262-AH 2.35 292-AH 50.00 322-AH 14.29
153-AH 0.00 183-AH 25.00 263-AH 22.92 293-AH 50.00 323-AH 3.85
154-AH 23.81 184-AH 0.00 264-AH 59.09 294-AH 40.74 324-AH 21.62
155-AH 33.33 185-AH 100.00 265-AH 33.33 295-AH 13.73 325-AH 11.48
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 50.00
157-AH 40.29 187-AH 0.00 267-AH 28.57 297-AH 8.33 327-AH 0.00
158-AH 35.29 188-AH 0.00 268-AH 33.33 298-AH 6.67 328-AH 52.17
159-AH 7.41 189-AH 85.71 269-AH 0.00 299-AH 19.74 329-AH 58.82
160-AH 0.00 190-AH 22.22 270-AH 38.60 300-AH 2.38 330-AH 66.67
161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 6.25 331-AH 17.65
162-AH 0.00 192-AH 16.67 272-AH 35.71 302-AH 11.76 332-AH 37.50
163-AH 50.00 193-AH 28.57 273-AH 54.22 303-AH 0.00 333-AH 100.00
164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 26.67 334-AH 20.00
165-AH 0.00 195-AH 0.00 275-AH 3.03 305-AH 21.31 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 37.29 306-AH 0.00 336-AH 0.00
167-AH 20.00 197-AH 46.00 277-AH 15.38 307-AH 1.30 337-AH 75.00
168-AH 33.33 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 70.00
169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 31.58
170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 9.52 340-AH 40.00
526
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI2_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 159,486 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,041 Pooled false
Geometric Mean Average Precision 0.0811 AR + Stemming + Stopword Removal
Binary Preference (BPREF) 0.2897
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 59.41 UFRGS_R_BI2_TEST
10 48.35 90%
20 42.65
80%
30 35.38
40 30.77 70%
50 27.83
60%
60 23.85
Precision
70 19.69 50%
80 16.15 40%
90 12.18
30%
100 9.26
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
28.06 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0402
Second Quartile 0.1756
Third Quartile 0.4822
Interquartile range 0.4419 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2806
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2881 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 1.0000
30
Mean With No Outliers 0.2806
20
Std With No Outliers 0.2881
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
527
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI2_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 9.09 171-AH 5.00 251-AH 55.13 281-AH 46.14 311-AH 14.99 341-AH 41.18
142-AH 90.48 172-AH 5.85 252-AH 15.44 282-AH 18.67 312-AH 2.88 342-AH 74.87
143-AH 41.23 173-AH 100.00 253-AH 0.38 283-AH 9.72 313-AH 1.19 343-AH 3.57
144-AH 52.63 174-AH 100.00 254-AH 6.35 284-AH 13.20 314-AH 6.56 344-AH 58.32
145-AH 47.96 175-AH 72.16 255-AH 26.34 285-AH 4.29 315-AH 48.47 345-AH 0.94
146-AH 28.23 176-AH 84.54 256-AH 77.07 286-AH 0.14 316-AH 8.58 346-AH 5.56
147-AH 18.70 177-AH 27.51 257-AH 14.38 287-AH 23.94 317-AH 3.45 347-AH 1.27
148-AH 3.41 178-AH 5.16 258-AH 0.04 288-AH 11.65 318-AH 9.70 348-AH 58.33
149-AH 0.00 179-AH 10.49 259-AH 12.22 289-AH 65.88 319-AH 14.13 349-AH 40.49
150-AH 9.78 180-AH 41.67 260-AH 47.62 290-AH 3.05 320-AH 6.06 350-AH 59.39
151-AH 1.51 181-AH 75.51 261-AH 9.61 291-AH 55.01 321-AH 0.00
152-AH 33.99 182-AH 11.25 262-AH 0.90 292-AH 70.49 322-AH 17.73
153-AH 0.00 183-AH 24.33 263-AH 19.38 293-AH 48.57 323-AH 3.28
154-AH 19.45 184-AH 0.77 264-AH 58.14 294-AH 26.19 324-AH 12.52
155-AH 23.67 185-AH 100.00 265-AH 31.41 295-AH 10.45 325-AH 9.58
156-AH 4.57 186-AH 0.00 266-AH 1.75 296-AH 22.42 326-AH 53.12
157-AH 36.72 187-AH 0.97 267-AH 17.61 297-AH 14.13 327-AH 0.28
158-AH 29.72 188-AH 7.69 268-AH 55.56 298-AH 6.66 328-AH 42.15
159-AH 10.86 189-AH 91.96 269-AH 2.44 299-AH 20.26 329-AH 64.62
160-AH 0.23 190-AH 22.75 270-AH 41.90 300-AH 4.29 330-AH 76.82
161-AH 0.00 191-AH 0.00 271-AH 54.11 301-AH 12.11 331-AH 17.66
162-AH 100.00 192-AH 12.32 272-AH 27.26 302-AH 14.10 332-AH 42.31
163-AH 56.79 193-AH 46.13 273-AH 59.21 303-AH 0.13 333-AH 100.00
164-AH 1.01 194-AH 1.49 274-AH 1.15 304-AH 27.62 334-AH 31.08
165-AH 50.00 195-AH 0.00 275-AH 1.74 305-AH 18.27 335-AH 17.51
166-AH 0.00 196-AH 50.00 276-AH 34.60 306-AH 100.00 336-AH 3.98
167-AH 11.58 197-AH 65.25 277-AH 5.05 307-AH 0.18 337-AH 75.55
168-AH 25.27 198-AH 1.09 278-AH 0.79 308-AH 73.89 338-AH 79.74
169-AH 0.46 199-AH 58.90 279-AH 13.99 309-AH 3.64 339-AH 28.68
170-AH 100.00 200-AH 64.91 280-AH 0.48 310-AH 4.07 340-AH 37.33
528
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI2_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 34.75 UFRGS_R_BI2_TEST
10 docs 28.88 90%
15 docs 25.71
80%
20 docs 23.25
30 docs 20.23 70%
100 docs 11.14
60%
200 docs 6.95
Precision
500 docs 3.36 50%
1000 docs 1.90 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
28.19
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0343
Second Quartile 0.1875
Third Quartile 0.4852
Interquartile range 0.4508 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2819
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2812 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 1.0000
30
Mean With No Outliers 0.2819
20
Std With No Outliers 0.2812
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI2_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
529
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI2_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 5.26 251-AH 55.38 281-AH 40.48 311-AH 18.52 341-AH 33.33
142-AH 87.50 172-AH 0.00 252-AH 13.79 282-AH 32.26 312-AH 9.68 342-AH 76.04
143-AH 38.46 173-AH 100.00 253-AH 4.74 283-AH 15.79 313-AH 5.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 16.16 284-AH 21.05 314-AH 11.11 344-AH 51.52
145-AH 47.37 175-AH 71.43 255-AH 25.00 285-AH 10.14 315-AH 59.32 345-AH 0.00
146-AH 50.00 176-AH 71.79 256-AH 67.65 286-AH 0.00 316-AH 16.10 346-AH 9.09
147-AH 23.53 177-AH 30.77 257-AH 17.46 287-AH 28.57 317-AH 3.33 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 18.42 318-AH 11.11 348-AH 50.00
149-AH 0.00 179-AH 13.64 259-AH 0.00 289-AH 66.67 319-AH 15.79 349-AH 37.04
150-AH 0.00 180-AH 50.00 260-AH 49.21 290-AH 0.00 320-AH 18.75 350-AH 60.00
151-AH 0.00 181-AH 75.00 261-AH 11.76 291-AH 50.00 321-AH 0.00
152-AH 27.27 182-AH 25.00 262-AH 3.53 292-AH 50.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 50.00 323-AH 7.69
154-AH 28.57 184-AH 0.00 264-AH 59.09 294-AH 37.04 324-AH 22.97
155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 15.69 325-AH 18.03
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 50.00
157-AH 43.17 187-AH 0.00 267-AH 28.57 297-AH 8.33 327-AH 0.00
158-AH 35.29 188-AH 0.00 268-AH 66.67 298-AH 10.00 328-AH 47.83
159-AH 11.11 189-AH 85.71 269-AH 0.00 299-AH 26.32 329-AH 58.82
160-AH 0.00 190-AH 33.33 270-AH 40.35 300-AH 7.14 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 18.75 331-AH 11.76
162-AH 100.00 192-AH 16.67 272-AH 35.71 302-AH 23.53 332-AH 37.50
163-AH 54.10 193-AH 42.86 273-AH 60.24 303-AH 0.00 333-AH 100.00
164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 26.67 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 7.58 305-AH 24.59 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 38.98 306-AH 100.00 336-AH 11.76
167-AH 20.00 197-AH 72.00 277-AH 11.54 307-AH 1.30 337-AH 75.00
168-AH 33.33 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 80.00
169-AH 0.00 199-AH 60.00 279-AH 25.00 309-AH 0.00 339-AH 36.84
170-AH 100.00 200-AH 55.56 280-AH 4.00 310-AH 7.94 340-AH 40.00
530
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI3_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 159,999 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,701 Pooled false
Geometric Mean Average Precision 0.1300 AR + Optimization
Binary Preference (BPREF) 0.3649
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.26 UFRGS_R_BI3_TEST
10 57.41 90%
20 51.47
80%
30 44.55
40 41.45 70%
50 37.96
60%
60 33.58
Precision
70 27.95 50%
80 22.50 40%
90 17.35
30%
100 12.14
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
36.39 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0918
Second Quartile 0.2754
Third Quartile 0.5894
Interquartile range 0.4976 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3639
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3074 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3639 15
Std With No Outliers 0.3074 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
531
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI3_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 7.24 251-AH 52.04 281-AH 48.69 311-AH 25.31 341-AH 60.44
142-AH 94.64 172-AH 6.70 252-AH 45.28 282-AH 31.25 312-AH 56.03 342-AH 58.87
143-AH 80.00 173-AH 100.00 253-AH 7.21 283-AH 32.47 313-AH 3.45 343-AH 2.04
144-AH 43.89 174-AH 100.00 254-AH 24.50 284-AH 32.22 314-AH 9.82 344-AH 74.64
145-AH 66.57 175-AH 74.88 255-AH 60.78 285-AH 19.92 315-AH 7.66 345-AH 8.89
146-AH 7.30 176-AH 75.01 256-AH 82.47 286-AH 3.87 316-AH 17.81 346-AH 13.62
147-AH 54.22 177-AH 27.89 257-AH 20.68 287-AH 43.22 317-AH 18.10 347-AH 0.58
148-AH 5.86 178-AH 25.46 258-AH 0.04 288-AH 5.14 318-AH 43.00 348-AH 100.00
149-AH 0.00 179-AH 71.72 259-AH 55.56 289-AH 71.79 319-AH 30.62 349-AH 40.70
150-AH 1.59 180-AH 9.48 260-AH 49.50 290-AH 12.12 320-AH 2.10 350-AH 64.22
151-AH 0.14 181-AH 82.90 261-AH 12.55 291-AH 77.28 321-AH 0.00
152-AH 16.32 182-AH 25.67 262-AH 3.55 292-AH 88.75 322-AH 12.12
153-AH 0.00 183-AH 13.86 263-AH 4.22 293-AH 72.99 323-AH 9.79
154-AH 37.70 184-AH 13.60 264-AH 34.22 294-AH 62.60 324-AH 28.24
155-AH 2.10 185-AH 100.00 265-AH 27.00 295-AH 9.89 325-AH 18.79
156-AH 7.83 186-AH 0.00 266-AH 14.38 296-AH 54.81 326-AH 43.52
157-AH 45.96 187-AH 16.67 267-AH 21.82 297-AH 34.76 327-AH 38.48
158-AH 54.71 188-AH 0.00 268-AH 66.67 298-AH 29.77 328-AH 59.01
159-AH 20.61 189-AH 96.17 269-AH 16.16 299-AH 30.84 329-AH 62.63
160-AH 6.25 190-AH 8.01 270-AH 53.10 300-AH 15.33 330-AH 72.68
161-AH 0.00 191-AH 0.00 271-AH 23.81 301-AH 50.92 331-AH 21.12
162-AH 50.00 192-AH 83.33 272-AH 16.14 302-AH 33.96 332-AH 44.61
163-AH 71.99 193-AH 67.48 273-AH 61.96 303-AH 1.00 333-AH 100.00
164-AH 14.93 194-AH 1.75 274-AH 4.13 304-AH 22.54 334-AH 29.89
165-AH 100.00 195-AH 0.00 275-AH 25.86 305-AH 19.72 335-AH 17.49
166-AH 0.00 196-AH 50.00 276-AH 48.63 306-AH 100.00 336-AH 28.33
167-AH 24.09 197-AH 94.34 277-AH 15.61 307-AH 3.60 337-AH 79.59
168-AH 50.85 198-AH 100.00 278-AH 5.05 308-AH 72.39 338-AH 56.27
169-AH 1.71 199-AH 56.75 279-AH 20.59 309-AH 4.12 339-AH 27.18
170-AH 100.00 200-AH 74.73 280-AH 2.85 310-AH 7.81 340-AH 21.30
532
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI3_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 43.13 UFRGS_R_BI3_TEST
10 docs 35.75 90%
15 docs 32.46
80%
20 docs 29.41
30 docs 24.96 70%
100 docs 13.33
60%
200 docs 8.43
Precision
500 docs 4.17 50%
1000 docs 2.31 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.30
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1180
Second Quartile 0.3020
Third Quartile 0.6056
Interquartile range 0.4875 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3630
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2951 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3630 20
15
Std With No Outliers 0.2951
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI3_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
533
ufrgs 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI3_TEST AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 15.79 251-AH 52.31 281-AH 52.38 311-AH 29.63 341-AH 66.67
142-AH 87.50 172-AH 0.00 252-AH 41.38 282-AH 45.16 312-AH 61.29 342-AH 64.58
143-AH 69.23 173-AH 100.00 253-AH 15.79 283-AH 39.47 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 34.93 284-AH 34.21 314-AH 11.11 344-AH 66.67
145-AH 63.16 175-AH 71.43 255-AH 75.00 285-AH 24.64 315-AH 13.56 345-AH 0.00
146-AH 0.00 176-AH 64.10 256-AH 76.47 286-AH 16.67 316-AH 17.80 346-AH 18.18
147-AH 49.02 177-AH 38.46 257-AH 28.57 287-AH 46.94 317-AH 20.00 347-AH 0.00
148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 11.84 318-AH 44.44 348-AH 100.00
149-AH 0.00 179-AH 68.18 259-AH 66.67 289-AH 61.11 319-AH 42.11 349-AH 40.74
150-AH 0.00 180-AH 7.50 260-AH 50.79 290-AH 22.45 320-AH 6.25 350-AH 60.00
151-AH 0.00 181-AH 78.26 261-AH 17.65 291-AH 73.33 321-AH 0.00
152-AH 18.18 182-AH 25.00 262-AH 7.06 292-AH 75.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 61.76 323-AH 15.38
154-AH 38.10 184-AH 33.33 264-AH 40.91 294-AH 62.96 324-AH 35.14
155-AH 0.00 185-AH 100.00 265-AH 16.67 295-AH 11.76 325-AH 24.59
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00
157-AH 45.32 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00
158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 52.17
159-AH 31.48 189-AH 85.71 269-AH 22.22 299-AH 32.89 329-AH 58.82
160-AH 0.00 190-AH 22.22 270-AH 47.37 300-AH 14.29 330-AH 64.71
161-AH 0.00 191-AH 0.00 271-AH 33.33 301-AH 56.25 331-AH 23.53
162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 29.41 332-AH 37.50
163-AH 68.85 193-AH 57.14 273-AH 57.83 303-AH 0.00 333-AH 100.00
164-AH 22.22 194-AH 0.00 274-AH 6.25 304-AH 20.00 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 28.79 305-AH 21.31 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 50.85 306-AH 100.00 336-AH 29.41
167-AH 20.00 197-AH 90.00 277-AH 30.77 307-AH 10.39 337-AH 75.00
168-AH 61.11 198-AH 100.00 278-AH 9.52 308-AH 63.64 338-AH 50.00
169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 26.32
170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 11.11 340-AH 40.00
534
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1NUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 807 Pooled false
Geometric Mean Average Precision 0.0005 Keyword expansion
Binary Preference (BPREF) 0.0567
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 9.07 CROSS1NUS2F
10 5.01 90%
20 3.26
80%
30 2.17
40 1.51 70%
50 1.23
60%
60 0.21
Precision
70 0.14 50%
80 0.11 40%
90 0.11
30%
100 0.11
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
1.58 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0007
Third Quartile 0.0077
Interquartile range 0.0077 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0158
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.0500 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.0166 100
Mean With No Outliers 0.0020
Std With No Outliers 0.0036 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
535
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1NUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 1.11 251-AH 0.16 281-AH 0.01 311-AH 6.90 341-AH 0.78
142-AH 0.79 172-AH 0.14 252-AH 0.11 282-AH 0.40 312-AH 0.03 342-AH 8.69
143-AH 0.00 173-AH 11.75 253-AH 4.09 283-AH 0.05 313-AH 0.83 343-AH 0.00
144-AH 0.05 174-AH 50.00 254-AH 0.13 284-AH 0.00 314-AH 0.01 344-AH 0.28
145-AH 0.37 175-AH 0.00 255-AH 0.76 285-AH 4.21 315-AH 1.13 345-AH 0.00
146-AH 0.00 176-AH 14.29 256-AH 0.00 286-AH 0.00 316-AH 0.00 346-AH 0.50
147-AH 2.05 177-AH 0.76 257-AH 0.43 287-AH 0.09 317-AH 1.42 347-AH 0.06
148-AH 0.00 178-AH 0.00 258-AH 0.08 288-AH 0.18 318-AH 0.04 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 11.85 349-AH 0.44
150-AH 0.34 180-AH 0.05 260-AH 0.10 290-AH 0.01 320-AH 0.48 350-AH 4.70
151-AH 0.00 181-AH 0.29 261-AH 7.83 291-AH 3.55 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 0.02 292-AH 1.66 322-AH 0.11
153-AH 1.41 183-AH 2.78 263-AH 0.00 293-AH 0.00 323-AH 0.00
154-AH 0.17 184-AH 1.09 264-AH 23.87 294-AH 0.13 324-AH 0.04
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 0.20 325-AH 0.99
156-AH 0.34 186-AH 0.00 266-AH 0.10 296-AH 0.10 326-AH 0.00
157-AH 2.42 187-AH 0.00 267-AH 0.00 297-AH 2.15 327-AH 0.00
158-AH 0.07 188-AH 0.00 268-AH 0.94 298-AH 0.06 328-AH 5.13
159-AH 0.00 189-AH 0.00 269-AH 0.75 299-AH 0.17 329-AH 0.11
160-AH 0.00 190-AH 0.00 270-AH 1.09 300-AH 0.00 330-AH 0.76
161-AH 0.00 191-AH 0.00 271-AH 1.48 301-AH 0.05 331-AH 0.49
162-AH 0.00 192-AH 3.12 272-AH 0.00 302-AH 5.79 332-AH 0.00
163-AH 6.29 193-AH 0.00 273-AH 0.29 303-AH 12.37 333-AH 0.06
164-AH 0.00 194-AH 0.20 274-AH 0.01 304-AH 0.06 334-AH 0.09
165-AH 0.00 195-AH 0.00 275-AH 0.40 305-AH 0.00 335-AH 0.09
166-AH 0.00 196-AH 0.00 276-AH 3.86 306-AH 11.11 336-AH 0.00
167-AH 0.00 197-AH 0.00 277-AH 2.04 307-AH 0.03 337-AH 0.00
168-AH 0.05 198-AH 0.00 278-AH 0.00 308-AH 2.59 338-AH 0.05
169-AH 2.18 199-AH 0.32 279-AH 0.00 309-AH 10.68 339-AH 0.01
170-AH 0.00 200-AH 0.00 280-AH 0.11 310-AH 0.21 340-AH 0.11
536
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1NUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 3.00 CROSS1NUS2F
10 docs 3.25 90%
15 docs 2.67
80%
20 docs 2.53
30 docs 2.31 70%
100 docs 1.49
60%
200 docs 1.13
Precision
500 docs 0.71 50%
1000 docs 0.50 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
2.45
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0044
Interquartile range 0.0044 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0245
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.0648 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.0109 100
Mean With No Outliers 0.0002
Std With No Outliers 0.0013 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
CROSS1NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
537
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1NUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 0.00 281-AH 0.00 311-AH 12.96 341-AH 0.00
142-AH 0.00 172-AH 0.00 252-AH 0.00 282-AH 3.23 312-AH 0.00 342-AH 16.67
143-AH 0.00 173-AH 0.00 253-AH 11.58 283-AH 0.00 313-AH 5.00 343-AH 0.00
144-AH 0.00 174-AH 50.00 254-AH 0.87 284-AH 0.00 314-AH 0.00 344-AH 3.03
145-AH 2.63 175-AH 0.00 255-AH 0.00 285-AH 13.04 315-AH 5.08 345-AH 0.00
146-AH 0.00 176-AH 17.95 256-AH 0.00 286-AH 0.00 316-AH 0.00 346-AH 0.00
147-AH 3.92 177-AH 0.00 257-AH 1.59 287-AH 0.00 317-AH 3.33 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 0.00 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 10.53 349-AH 3.70
150-AH 0.00 180-AH 0.00 260-AH 0.00 290-AH 0.00 320-AH 6.25 350-AH 20.00
151-AH 0.00 181-AH 1.09 261-AH 17.65 291-AH 3.33 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 0.00 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 0.00 323-AH 0.00
154-AH 0.00 184-AH 0.00 264-AH 31.82 294-AH 0.00 324-AH 0.00
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 1.96 325-AH 3.28
156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 9.35 187-AH 0.00 267-AH 0.00 297-AH 8.33 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 17.39
159-AH 0.00 189-AH 0.00 269-AH 0.00 299-AH 1.32 329-AH 0.00
160-AH 0.00 190-AH 0.00 270-AH 5.26 300-AH 0.00 330-AH 3.92
161-AH 0.00 191-AH 0.00 271-AH 0.00 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 0.00 272-AH 0.00 302-AH 11.76 332-AH 0.00
163-AH 18.85 193-AH 0.00 273-AH 1.20 303-AH 21.43 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 3.03 305-AH 0.00 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 11.86 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 0.00 277-AH 3.85 307-AH 0.00 337-AH 0.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 0.00 338-AH 0.00
169-AH 0.00 199-AH 0.00 279-AH 0.00 309-AH 20.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 3.17 340-AH 0.00
538
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1TDNUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 151,703 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 895 Pooled false
Geometric Mean Average Precision 0.0004 Keyword based search (Title+Description)
Binary Preference (BPREF) 0.0708
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 10.17 CROSS1TDNUS2F
10 6.46 90%
20 4.52
80%
30 3.59
40 2.45 70%
50 1.99
60%
60 1.27
Precision
70 0.94 50%
80 0.72 40%
90 0.69
30%
100 0.69
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
2.57 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0005
Third Quartile 0.0083
Interquartile range 0.0083 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0257
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.0918 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.0204 100
Mean With No Outliers 0.0025
Std With No Outliers 0.0047 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
539
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1TDNUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 1.51 251-AH 0.16 281-AH 0.00 311-AH 26.82 341-AH 9.36
142-AH 2.00 172-AH 0.41 252-AH 0.14 282-AH 0.74 312-AH 0.02 342-AH 17.32
143-AH 0.00 173-AH 12.86 253-AH 17.91 283-AH 0.05 313-AH 6.27 343-AH 0.00
144-AH 0.55 174-AH 26.10 254-AH 0.06 284-AH 0.00 314-AH 0.00 344-AH 2.48
145-AH 0.14 175-AH 0.00 255-AH 0.53 285-AH 3.44 315-AH 3.45 345-AH 0.00
146-AH 0.00 176-AH 15.66 256-AH 0.00 286-AH 0.01 316-AH 0.00 346-AH 0.34
147-AH 1.27 177-AH 4.75 257-AH 0.04 287-AH 0.35 317-AH 1.78 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 0.31 318-AH 1.09 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.06 289-AH 0.00 319-AH 5.41 349-AH 0.10
150-AH 0.61 180-AH 0.00 260-AH 0.28 290-AH 0.00 320-AH 0.05 350-AH 2.04
151-AH 0.00 181-AH 1.54 261-AH 4.89 291-AH 4.33 321-AH 0.00
152-AH 0.03 182-AH 0.05 262-AH 0.05 292-AH 2.19 322-AH 0.80
153-AH 0.16 183-AH 0.63 263-AH 0.00 293-AH 0.00 323-AH 0.00
154-AH 0.98 184-AH 4.04 264-AH 12.79 294-AH 0.06 324-AH 0.56
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 0.17 325-AH 0.71
156-AH 1.04 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 1.80 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 0.00
158-AH 0.80 188-AH 0.00 268-AH 0.37 298-AH 0.50 328-AH 0.79
159-AH 0.00 189-AH 0.00 269-AH 0.58 299-AH 0.07 329-AH 0.06
160-AH 0.00 190-AH 0.00 270-AH 0.67 300-AH 0.00 330-AH 1.69
161-AH 0.00 191-AH 0.00 271-AH 1.62 301-AH 0.12 331-AH 0.00
162-AH 0.00 192-AH 3.07 272-AH 0.00 302-AH 23.90 332-AH 0.00
163-AH 18.97 193-AH 0.00 273-AH 0.56 303-AH 17.31 333-AH 0.00
164-AH 0.03 194-AH 0.00 274-AH 0.01 304-AH 0.01 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 0.02 305-AH 0.01 335-AH 0.00
166-AH 0.00 196-AH 0.14 276-AH 11.55 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 0.00 277-AH 0.43 307-AH 0.00 337-AH 0.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 0.85 338-AH 0.02
169-AH 9.29 199-AH 6.10 279-AH 0.00 309-AH 7.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 0.57 340-AH 0.40
540
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1TDNUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 4.00 CROSS1TDNUS2F
10 docs 3.88 90%
15 docs 4.00
80%
20 docs 3.88
30 docs 3.46 70%
100 docs 2.12
60%
200 docs 1.54
Precision
500 docs 0.88 50%
1000 docs 0.56 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
3.90
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0154
Interquartile range 0.0154 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0390
Ad−Hoc Robust Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1119 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.0361 100
Mean With No Outliers 0.0019
Std With No Outliers 0.0070 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
CROSS1TDNUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
541
uniba 10.2415/AH-ROBUST-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSS1TDNUS2F AH-ROBUST-BILI-X2EN-TEST-CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 0.00 281-AH 0.00 311-AH 35.19 341-AH 16.67
142-AH 0.00 172-AH 0.00 252-AH 0.00 282-AH 6.45 312-AH 0.00 342-AH 31.25
143-AH 0.00 173-AH 0.00 253-AH 24.74 283-AH 0.00 313-AH 20.00 343-AH 0.00
144-AH 0.00 174-AH 50.00 254-AH 0.87 284-AH 0.00 314-AH 0.00 344-AH 3.03
145-AH 0.00 175-AH 0.00 255-AH 0.00 285-AH 10.14 315-AH 8.47 345-AH 0.00
146-AH 0.00 176-AH 33.33 256-AH 0.00 286-AH 0.00 316-AH 0.00 346-AH 0.00
147-AH 3.92 177-AH 15.38 257-AH 0.00 287-AH 0.00 317-AH 3.33 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 0.00 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 10.53 349-AH 0.00
150-AH 0.00 180-AH 0.00 260-AH 0.00 290-AH 0.00 320-AH 0.00 350-AH 0.00
151-AH 0.00 181-AH 7.61 261-AH 11.76 291-AH 6.67 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 1.18 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 0.00 293-AH 0.00 323-AH 0.00
154-AH 4.76 184-AH 0.00 264-AH 31.82 294-AH 0.00 324-AH 4.05
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 1.96 325-AH 3.28
156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 7.91 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 0.00
158-AH 5.88 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 4.35
159-AH 0.00 189-AH 0.00 269-AH 0.00 299-AH 1.32 329-AH 0.00
160-AH 0.00 190-AH 0.00 270-AH 1.75 300-AH 0.00 330-AH 3.92
161-AH 0.00 191-AH 0.00 271-AH 0.00 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 0.00 272-AH 0.00 302-AH 29.41 332-AH 0.00
163-AH 31.15 193-AH 0.00 273-AH 3.61 303-AH 21.43 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 0.00 305-AH 0.00 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 18.64 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 0.00 277-AH 3.85 307-AH 0.00 337-AH 0.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 0.00 338-AH 0.00
169-AH 16.67 199-AH 10.00 279-AH 0.00 309-AH 10.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 4.76 340-AH 0.00
542
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 3,694 Pooled false
Geometric Mean Average Precision 0.1625 NUS synset + LEM + TDN
Binary Preference (BPREF) 0.3603
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.15 ISINUSLWTDN
10 63.37 90%
20 57.32
80%
30 49.50
40 44.59 70%
50 39.80
60%
60 32.12
Precision
70 26.49 50%
80 22.20 40%
90 16.47
30%
100 11.21
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.14 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1359
Second Quartile 0.3572
Third Quartile 0.5505
Interquartile range 0.4146 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3814
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2795 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.3814 10
Std With No Outliers 0.2795
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
543
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.51 251-AH 45.77 281-AH 46.52 311-AH 32.47 341-AH 72.52
142-AH 88.23 172-AH 7.89 252-AH 54.77 282-AH 8.52 312-AH 67.64 342-AH 56.07
143-AH 88.09 173-AH 100.00 253-AH 46.87 283-AH 24.80 313-AH 0.33 343-AH 5.00
144-AH 28.10 174-AH 100.00 254-AH 34.80 284-AH 52.08 314-AH 8.30 344-AH 10.89
145-AH 61.72 175-AH 72.33 255-AH 7.66 285-AH 72.93 315-AH 13.75 345-AH 17.53
146-AH 50.65 176-AH 92.00 256-AH 45.14 286-AH 7.15 316-AH 24.05 346-AH 9.02
147-AH 75.03 177-AH 40.54 257-AH 18.68 287-AH 36.46 317-AH 19.29 347-AH 5.53
148-AH 19.28 178-AH 47.86 258-AH 1.14 288-AH 23.20 318-AH 11.02 348-AH 100.00
149-AH 0.00 179-AH 21.34 259-AH 41.88 289-AH 53.58 319-AH 39.49 349-AH 45.03
150-AH 9.67 180-AH 73.96 260-AH 56.98 290-AH 30.21 320-AH 1.46 350-AH 62.72
151-AH 31.84 181-AH 82.55 261-AH 25.79 291-AH 75.86 321-AH 0.00
152-AH 50.02 182-AH 36.29 262-AH 38.68 292-AH 62.02 322-AH 15.33
153-AH 0.00 183-AH 26.01 263-AH 18.64 293-AH 34.34 323-AH 25.94
154-AH 38.72 184-AH 58.24 264-AH 30.67 294-AH 65.95 324-AH 8.84
155-AH 51.35 185-AH 7.14 265-AH 16.52 295-AH 8.57 325-AH 61.10
156-AH 18.58 186-AH 0.00 266-AH 13.39 296-AH 39.02 326-AH 50.33
157-AH 35.15 187-AH 50.00 267-AH 29.86 297-AH 46.80 327-AH 53.47
158-AH 0.01 188-AH 3.70 268-AH 66.79 298-AH 21.62 328-AH 58.23
159-AH 9.96 189-AH 92.40 269-AH 25.40 299-AH 26.70 329-AH 66.46
160-AH 6.82 190-AH 58.25 270-AH 55.53 300-AH 27.52 330-AH 54.41
161-AH 0.00 191-AH 0.00 271-AH 4.21 301-AH 1.66 331-AH 55.32
162-AH 25.00 192-AH 47.62 272-AH 5.73 302-AH 24.69 332-AH 48.28
163-AH 86.32 193-AH 47.23 273-AH 13.42 303-AH 38.55 333-AH 100.00
164-AH 17.06 194-AH 100.00 274-AH 47.20 304-AH 29.89 334-AH 47.36
165-AH 100.00 195-AH 0.00 275-AH 43.37 305-AH 32.09 335-AH 34.90
166-AH 0.00 196-AH 50.00 276-AH 47.04 306-AH 20.00 336-AH 10.48
167-AH 24.27 197-AH 61.44 277-AH 17.11 307-AH 37.64 337-AH 85.63
168-AH 37.70 198-AH 50.00 278-AH 18.42 308-AH 75.35 338-AH 53.17
169-AH 4.01 199-AH 45.42 279-AH 27.67 309-AH 5.17 339-AH 76.40
170-AH 100.00 200-AH 75.23 280-AH 3.19 310-AH 6.17 340-AH 41.06
544
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 45.63 ISINUSLWTDN
10 docs 38.50 90%
15 docs 34.21
80%
20 docs 31.69
30 docs 27.00 70%
100 docs 14.67
60%
200 docs 9.03
Precision
500 docs 4.31 50%
1000 docs 2.31 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.72
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1499
Second Quartile 0.3568
Third Quartile 0.5214
Interquartile range 0.3715 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3672
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2757 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3672 20
15
Std With No Outliers 0.2757
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISINUSLWTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
545
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSLWTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 44.62 281-AH 47.62 311-AH 40.74 341-AH 66.67
142-AH 87.50 172-AH 14.29 252-AH 48.28 282-AH 16.13 312-AH 64.52 342-AH 51.04
143-AH 79.49 173-AH 100.00 253-AH 52.11 283-AH 28.95 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 39.74 284-AH 42.11 314-AH 0.00 344-AH 3.03
145-AH 60.53 175-AH 71.43 255-AH 0.00 285-AH 72.46 315-AH 22.03 345-AH 22.22
146-AH 50.00 176-AH 82.05 256-AH 44.12 286-AH 8.33 316-AH 30.51 346-AH 9.09
147-AH 66.67 177-AH 46.15 257-AH 31.75 287-AH 44.90 317-AH 33.33 347-AH 0.00
148-AH 16.67 178-AH 50.00 258-AH 0.00 288-AH 36.84 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 22.73 259-AH 33.33 289-AH 55.56 319-AH 42.11 349-AH 44.44
150-AH 10.00 180-AH 75.00 260-AH 55.56 290-AH 36.73 320-AH 0.00 350-AH 50.00
151-AH 33.33 181-AH 78.26 261-AH 35.29 291-AH 73.33 321-AH 0.00
152-AH 45.45 182-AH 25.00 262-AH 40.00 292-AH 50.00 322-AH 14.29
153-AH 0.00 183-AH 25.00 263-AH 25.00 293-AH 41.18 323-AH 23.08
154-AH 38.10 184-AH 55.56 264-AH 31.82 294-AH 66.67 324-AH 21.62
155-AH 33.33 185-AH 0.00 265-AH 33.33 295-AH 15.69 325-AH 57.38
156-AH 31.82 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00
157-AH 42.45 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 25.00
158-AH 0.00 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 52.17
159-AH 11.11 189-AH 85.71 269-AH 33.33 299-AH 27.63 329-AH 52.94
160-AH 0.00 190-AH 55.56 270-AH 49.12 300-AH 30.95 330-AH 54.90
161-AH 0.00 191-AH 0.00 271-AH 12.50 301-AH 0.00 331-AH 52.94
162-AH 0.00 192-AH 50.00 272-AH 21.43 302-AH 29.41 332-AH 50.00
163-AH 77.05 193-AH 42.86 273-AH 16.87 303-AH 57.14 333-AH 100.00
164-AH 18.52 194-AH 100.00 274-AH 50.00 304-AH 26.67 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 50.00 305-AH 36.07 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 52.54 306-AH 0.00 336-AH 17.65
167-AH 20.00 197-AH 60.00 277-AH 26.92 307-AH 46.75 337-AH 80.00
168-AH 38.89 198-AH 0.00 278-AH 23.81 308-AH 72.73 338-AH 50.00
169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 73.68
170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 6.35 340-AH 40.00
546
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,527 Pooled false
Geometric Mean Average Precision 0.1021 NUS synset + TD
Binary Preference (BPREF) 0.2966
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 62.30 ISINUSWDTD
10 54.33 90%
20 45.48
80%
30 38.14
40 33.73 70%
50 29.83
60%
60 22.87
Precision
70 19.28 50%
80 15.41 40%
90 11.38
30%
100 7.70
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.34 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0761
Second Quartile 0.2425
Third Quartile 0.4143
Interquartile range 0.3382 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2934
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2587 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.8917 25
Mean With No Outliers 0.2658 20
15
Std With No Outliers 0.2218
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
547
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 6.67 171-AH 0.05 251-AH 49.28 281-AH 37.18 311-AH 23.79 341-AH 84.90
142-AH 40.67 172-AH 13.04 252-AH 31.70 282-AH 11.80 312-AH 60.11 342-AH 35.97
143-AH 89.17 173-AH 100.00 253-AH 32.84 283-AH 33.37 313-AH 5.00 343-AH 2.22
144-AH 26.11 174-AH 100.00 254-AH 25.16 284-AH 50.22 314-AH 7.79 344-AH 54.62
145-AH 54.79 175-AH 73.08 255-AH 32.99 285-AH 58.82 315-AH 24.10 345-AH 5.91
146-AH 50.21 176-AH 87.32 256-AH 25.13 286-AH 4.81 316-AH 17.20 346-AH 10.03
147-AH 76.47 177-AH 36.28 257-AH 14.68 287-AH 31.29 317-AH 20.66 347-AH 4.51
148-AH 17.02 178-AH 24.40 258-AH 13.99 288-AH 16.13 318-AH 16.41 348-AH 0.00
149-AH 0.00 179-AH 23.24 259-AH 40.91 289-AH 1.37 319-AH 25.45 349-AH 33.02
150-AH 13.13 180-AH 65.44 260-AH 54.36 290-AH 19.91 320-AH 1.33 350-AH 58.00
151-AH 35.51 181-AH 72.63 261-AH 7.00 291-AH 26.91 321-AH 0.00
152-AH 38.93 182-AH 3.55 262-AH 15.96 292-AH 14.29 322-AH 14.53
153-AH 0.00 183-AH 18.53 263-AH 18.75 293-AH 64.00 323-AH 16.83
154-AH 26.29 184-AH 57.07 264-AH 23.49 294-AH 67.46 324-AH 3.25
155-AH 28.89 185-AH 0.46 265-AH 2.34 295-AH 21.86 325-AH 54.98
156-AH 10.25 186-AH 0.00 266-AH 7.11 296-AH 0.27 326-AH 50.14
157-AH 4.77 187-AH 20.00 267-AH 29.75 297-AH 36.51 327-AH 41.94
158-AH 35.91 188-AH 0.56 268-AH 7.43 298-AH 18.99 328-AH 44.40
159-AH 15.11 189-AH 72.54 269-AH 11.15 299-AH 47.51 329-AH 59.53
160-AH 12.13 190-AH 57.05 270-AH 1.14 300-AH 28.32 330-AH 20.14
161-AH 0.00 191-AH 0.00 271-AH 42.49 301-AH 1.08 331-AH 4.49
162-AH 20.00 192-AH 32.36 272-AH 1.48 302-AH 28.92 332-AH 12.60
163-AH 80.06 193-AH 57.02 273-AH 57.39 303-AH 39.82 333-AH 14.66
164-AH 32.49 194-AH 6.25 274-AH 38.93 304-AH 26.92 334-AH 8.99
165-AH 100.00 195-AH 0.00 275-AH 8.42 305-AH 25.42 335-AH 25.78
166-AH 0.00 196-AH 100.00 276-AH 37.24 306-AH 100.00 336-AH 0.00
167-AH 21.61 197-AH 26.02 277-AH 15.33 307-AH 29.24 337-AH 53.35
168-AH 1.04 198-AH 12.50 278-AH 15.62 308-AH 59.66 338-AH 3.83
169-AH 3.39 199-AH 35.75 279-AH 26.40 309-AH 4.66 339-AH 40.61
170-AH 100.00 200-AH 61.07 280-AH 7.32 310-AH 5.16 340-AH 28.26
548
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 39.50 ISINUSWDTD
10 docs 32.50 90%
15 docs 29.29
80%
20 docs 26.75
30 docs 23.02 70%
100 docs 13.07
60%
200 docs 8.13
Precision
500 docs 4.00 50%
1000 docs 2.20 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
29.47
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0551
Second Quartile 0.2667
Third Quartile 0.4753
Interquartile range 0.4202 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2947
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2582 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.2947 20
15
Std With No Outliers 0.2582
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISINUSWDTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
549
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 47.69 281-AH 40.48 311-AH 35.19 341-AH 83.33
142-AH 50.00 172-AH 14.29 252-AH 37.93 282-AH 16.13 312-AH 51.61 342-AH 35.42
143-AH 79.49 173-AH 100.00 253-AH 41.05 283-AH 42.11 313-AH 15.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 33.19 284-AH 42.11 314-AH 0.00 344-AH 51.52
145-AH 50.00 175-AH 57.14 255-AH 25.00 285-AH 56.52 315-AH 35.59 345-AH 11.11
146-AH 50.00 176-AH 74.36 256-AH 23.53 286-AH 8.33 316-AH 25.42 346-AH 9.09
147-AH 68.63 177-AH 53.85 257-AH 25.40 287-AH 36.73 317-AH 23.33 347-AH 0.00
148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 28.95 318-AH 11.11 348-AH 0.00
149-AH 0.00 179-AH 36.36 259-AH 33.33 289-AH 0.00 319-AH 26.32 349-AH 37.04
150-AH 30.00 180-AH 55.00 260-AH 52.38 290-AH 30.61 320-AH 0.00 350-AH 50.00
151-AH 41.67 181-AH 71.74 261-AH 11.76 291-AH 30.00 321-AH 0.00
152-AH 27.27 182-AH 0.00 262-AH 24.71 292-AH 0.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 55.88 323-AH 15.38
154-AH 23.81 184-AH 66.67 264-AH 22.73 294-AH 66.67 324-AH 10.81
155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 23.53 325-AH 55.74
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 50.00
157-AH 13.67 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00
158-AH 41.18 188-AH 0.00 268-AH 0.00 298-AH 30.00 328-AH 47.83
159-AH 22.22 189-AH 71.43 269-AH 11.11 299-AH 47.37 329-AH 58.82
160-AH 0.00 190-AH 55.56 270-AH 7.02 300-AH 38.10 330-AH 29.41
161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 6.25 331-AH 11.76
162-AH 0.00 192-AH 33.33 272-AH 0.00 302-AH 29.41 332-AH 12.50
163-AH 75.41 193-AH 57.14 273-AH 50.60 303-AH 50.00 333-AH 20.00
164-AH 25.93 194-AH 0.00 274-AH 43.75 304-AH 26.67 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 15.15 305-AH 29.51 335-AH 26.67
166-AH 0.00 196-AH 100.00 276-AH 42.37 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 32.00 277-AH 26.92 307-AH 42.86 337-AH 60.00
168-AH 0.00 198-AH 0.00 278-AH 19.05 308-AH 54.55 338-AH 0.00
169-AH 0.00 199-AH 50.00 279-AH 25.00 309-AH 0.00 339-AH 31.58
170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 40.00
550
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 3,632 Pooled false
Geometric Mean Average Precision 0.1212 NUS synset + TDN
Binary Preference (BPREF) 0.3184
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.37 ISINUSWDTDN
10 59.04 90%
20 50.67
80%
30 42.98
40 37.86 70%
50 34.15
60%
60 26.04
Precision
70 21.27 50%
80 17.45 40%
90 12.18
30%
100 8.02
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.69 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1113
Second Quartile 0.2692
Third Quartile 0.5000
Interquartile range 0.3887 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3269
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2587 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3269
10
Std With No Outliers 0.2587
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
551
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 33.33 171-AH 0.20 251-AH 39.48 281-AH 34.60 311-AH 22.81 341-AH 72.83
142-AH 52.92 172-AH 8.61 252-AH 50.90 282-AH 5.47 312-AH 54.36 342-AH 41.09
143-AH 87.68 173-AH 100.00 253-AH 41.72 283-AH 22.64 313-AH 11.38 343-AH 3.57
144-AH 24.71 174-AH 100.00 254-AH 30.06 284-AH 50.04 314-AH 8.05 344-AH 45.27
145-AH 61.18 175-AH 78.87 255-AH 6.76 285-AH 67.49 315-AH 14.41 345-AH 12.81
146-AH 50.57 176-AH 90.42 256-AH 26.75 286-AH 5.76 316-AH 23.26 346-AH 8.30
147-AH 71.24 177-AH 41.19 257-AH 21.63 287-AH 34.38 317-AH 24.12 347-AH 6.16
148-AH 17.30 178-AH 53.00 258-AH 14.65 288-AH 19.68 318-AH 10.32 348-AH 0.00
149-AH 0.00 179-AH 19.97 259-AH 35.79 289-AH 2.11 319-AH 34.04 349-AH 45.03
150-AH 11.45 180-AH 73.58 260-AH 49.13 290-AH 27.71 320-AH 0.96 350-AH 51.99
151-AH 29.16 181-AH 76.00 261-AH 26.33 291-AH 76.19 321-AH 0.00
152-AH 39.96 182-AH 8.25 262-AH 20.14 292-AH 66.59 322-AH 13.79
153-AH 0.00 183-AH 26.36 263-AH 23.26 293-AH 64.97 323-AH 22.81
154-AH 34.52 184-AH 58.89 264-AH 27.08 294-AH 66.46 324-AH 0.42
155-AH 52.00 185-AH 0.00 265-AH 0.88 295-AH 20.91 325-AH 59.82
156-AH 15.97 186-AH 0.00 266-AH 10.88 296-AH 0.71 326-AH 50.00
157-AH 9.82 187-AH 25.00 267-AH 29.98 297-AH 44.47 327-AH 38.08
158-AH 38.15 188-AH 0.35 268-AH 55.73 298-AH 17.99 328-AH 50.57
159-AH 10.86 189-AH 72.54 269-AH 22.03 299-AH 34.78 329-AH 63.69
160-AH 7.22 190-AH 59.02 270-AH 5.11 300-AH 27.54 330-AH 18.37
161-AH 0.00 191-AH 0.00 271-AH 43.68 301-AH 1.16 331-AH 42.20
162-AH 25.00 192-AH 38.97 272-AH 1.76 302-AH 22.55 332-AH 12.50
163-AH 82.77 193-AH 53.73 273-AH 65.81 303-AH 38.26 333-AH 88.50
164-AH 18.85 194-AH 50.00 274-AH 49.66 304-AH 29.45 334-AH 35.51
165-AH 100.00 195-AH 0.00 275-AH 37.65 305-AH 30.07 335-AH 36.66
166-AH 0.00 196-AH 50.00 276-AH 36.26 306-AH 14.29 336-AH 5.15
167-AH 22.72 197-AH 22.33 277-AH 15.78 307-AH 35.04 337-AH 84.06
168-AH 22.62 198-AH 6.25 278-AH 13.90 308-AH 73.08 338-AH 15.89
169-AH 4.36 199-AH 24.64 279-AH 26.76 309-AH 5.26 339-AH 47.75
170-AH 100.00 200-AH 72.86 280-AH 2.71 310-AH 4.39 340-AH 41.40
552
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 42.63 ISINUSWDTDN
10 docs 35.94 90%
15 docs 32.04
80%
20 docs 29.13
30 docs 24.94 70%
100 docs 13.68
60%
200 docs 8.48
Precision
500 docs 4.15 50%
1000 docs 2.27 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
31.20
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0335
Second Quartile 0.3178
Third Quartile 0.4919
Interquartile range 0.4584 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3120
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2581 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 1.0000
30
Mean With No Outliers 0.3120
20
Std With No Outliers 0.2581
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISINUSWDTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
553
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISINUSWDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 40.00 281-AH 40.48 311-AH 35.19 341-AH 66.67
142-AH 50.00 172-AH 0.00 252-AH 51.72 282-AH 12.90 312-AH 54.84 342-AH 41.67
143-AH 74.36 173-AH 100.00 253-AH 44.74 283-AH 26.32 313-AH 15.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 36.68 284-AH 44.74 314-AH 0.00 344-AH 42.42
145-AH 55.26 175-AH 71.43 255-AH 0.00 285-AH 68.12 315-AH 22.03 345-AH 11.11
146-AH 50.00 176-AH 82.05 256-AH 23.53 286-AH 0.00 316-AH 30.51 346-AH 0.00
147-AH 64.71 177-AH 53.85 257-AH 31.75 287-AH 34.69 317-AH 33.33 347-AH 0.00
148-AH 16.67 178-AH 50.00 258-AH 25.00 288-AH 35.53 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 36.36 259-AH 33.33 289-AH 5.56 319-AH 36.84 349-AH 37.04
150-AH 20.00 180-AH 70.00 260-AH 49.21 290-AH 34.69 320-AH 0.00 350-AH 50.00
151-AH 33.33 181-AH 76.09 261-AH 35.29 291-AH 73.33 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 28.24 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 29.17 293-AH 55.88 323-AH 23.08
154-AH 38.10 184-AH 55.56 264-AH 31.82 294-AH 62.96 324-AH 2.70
155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 25.49 325-AH 49.18
156-AH 22.73 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 50.00
157-AH 16.55 187-AH 0.00 267-AH 33.33 297-AH 33.33 327-AH 25.00
158-AH 38.24 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 47.83
159-AH 12.96 189-AH 71.43 269-AH 33.33 299-AH 42.11 329-AH 52.94
160-AH 0.00 190-AH 55.56 270-AH 8.77 300-AH 28.57 330-AH 23.53
161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 0.00 331-AH 41.18
162-AH 0.00 192-AH 50.00 272-AH 0.00 302-AH 23.53 332-AH 12.50
163-AH 77.87 193-AH 57.14 273-AH 65.06 303-AH 50.00 333-AH 80.00
164-AH 25.93 194-AH 0.00 274-AH 43.75 304-AH 26.67 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 45.45 305-AH 34.43 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 38.98 306-AH 0.00 336-AH 11.76
167-AH 20.00 197-AH 32.00 277-AH 26.92 307-AH 42.86 337-AH 80.00
168-AH 27.78 198-AH 0.00 278-AH 23.81 308-AH 72.73 338-AH 10.00
169-AH 0.00 199-AH 30.00 279-AH 25.00 309-AH 0.00 339-AH 42.11
170-AH 100.00 200-AH 66.67 280-AH 4.00 310-AH 4.76 340-AH 40.00
554
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISIUBCWSDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 3,481 Pooled false
Geometric Mean Average Precision 0.0920 UBC synset + TDN
Binary Preference (BPREF) 0.2981
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 62.01 ISIUBCWSDTDN
10 53.69 90%
20 47.00
80%
30 39.26
40 33.43 70%
50 30.29
60%
60 23.52
Precision
70 19.30 50%
80 15.42 40%
90 10.97
30%
100 7.36
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.62 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0817
Second Quartile 0.2318
Third Quartile 0.4690
Interquartile range 0.3873 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2962
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2596 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.2962 20
15
Std With No Outliers 0.2596
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
555
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISIUBCWSDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 0.07 251-AH 37.64 281-AH 33.47 311-AH 22.56 341-AH 67.72
142-AH 54.42 172-AH 6.13 252-AH 46.46 282-AH 3.80 312-AH 47.33 342-AH 25.46
143-AH 90.76 173-AH 100.00 253-AH 41.40 283-AH 1.33 313-AH 16.13 343-AH 2.94
144-AH 28.10 174-AH 100.00 254-AH 31.96 284-AH 40.67 314-AH 8.87 344-AH 1.77
145-AH 65.06 175-AH 67.80 255-AH 6.95 285-AH 61.50 315-AH 14.53 345-AH 14.25
146-AH 50.15 176-AH 83.11 256-AH 14.11 286-AH 0.51 316-AH 22.24 346-AH 8.30
147-AH 66.45 177-AH 41.19 257-AH 14.81 287-AH 29.68 317-AH 10.11 347-AH 5.65
148-AH 17.30 178-AH 53.41 258-AH 0.80 288-AH 19.19 318-AH 22.25 348-AH 0.00
149-AH 0.00 179-AH 23.43 259-AH 38.66 289-AH 1.55 319-AH 29.60 349-AH 44.56
150-AH 11.45 180-AH 66.96 260-AH 29.54 290-AH 3.96 320-AH 0.96 350-AH 54.91
151-AH 23.25 181-AH 75.56 261-AH 28.63 291-AH 76.35 321-AH 0.00
152-AH 43.82 182-AH 17.09 262-AH 19.36 292-AH 43.90 322-AH 12.99
153-AH 0.00 183-AH 26.72 263-AH 21.08 293-AH 66.98 323-AH 15.77
154-AH 36.04 184-AH 58.82 264-AH 15.79 294-AH 70.59 324-AH 0.05
155-AH 51.85 185-AH 0.00 265-AH 0.99 295-AH 18.69 325-AH 53.98
156-AH 13.13 186-AH 0.00 266-AH 9.79 296-AH 0.10 326-AH 50.00
157-AH 9.82 187-AH 25.00 267-AH 26.88 297-AH 46.12 327-AH 45.83
158-AH 45.60 188-AH 0.26 268-AH 1.11 298-AH 17.48 328-AH 68.24
159-AH 23.11 189-AH 72.54 269-AH 11.68 299-AH 35.56 329-AH 63.69
160-AH 10.06 190-AH 49.41 270-AH 3.27 300-AH 27.60 330-AH 18.90
161-AH 0.00 191-AH 0.00 271-AH 53.19 301-AH 1.14 331-AH 6.13
162-AH 50.00 192-AH 25.21 272-AH 1.60 302-AH 23.11 332-AH 12.50
163-AH 79.18 193-AH 38.27 273-AH 61.53 303-AH 28.98 333-AH 75.44
164-AH 10.69 194-AH 12.50 274-AH 55.35 304-AH 30.19 334-AH 38.70
165-AH 33.33 195-AH 0.00 275-AH 37.67 305-AH 0.02 335-AH 37.67
166-AH 0.00 196-AH 50.00 276-AH 28.87 306-AH 20.00 336-AH 4.77
167-AH 24.07 197-AH 22.96 277-AH 16.54 307-AH 35.31 337-AH 78.74
168-AH 14.06 198-AH 12.50 278-AH 13.57 308-AH 74.34 338-AH 8.04
169-AH 1.04 199-AH 24.85 279-AH 15.40 309-AH 4.57 339-AH 50.61
170-AH 100.00 200-AH 59.80 280-AH 2.61 310-AH 5.26 340-AH 2.15
556
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISIUBCWSDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 38.13 ISIUBCWSDTDN
10 docs 32.94 90%
15 docs 29.04
80%
20 docs 26.28
30 docs 22.73 70%
100 docs 12.44
60%
200 docs 7.81
Precision
500 docs 3.89 50%
1000 docs 2.18 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
28.94
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2700
Third Quartile 0.4531
Interquartile range 0.4531 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2894
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2548 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 1.0000
30
Mean With No Outliers 0.2894
20
Std With No Outliers 0.2548
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISIUBCWSDTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
557
geneva 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.GENEVA.ISIUBCWSDTDN AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 0.00 251-AH 35.38 281-AH 38.10 311-AH 37.04 341-AH 66.67
142-AH 37.50 172-AH 0.00 252-AH 48.28 282-AH 9.68 312-AH 45.16 342-AH 27.08
143-AH 84.62 173-AH 100.00 253-AH 43.68 283-AH 5.26 313-AH 25.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 36.68 284-AH 34.21 314-AH 5.56 344-AH 0.00
145-AH 57.89 175-AH 71.43 255-AH 0.00 285-AH 59.42 315-AH 22.03 345-AH 22.22
146-AH 50.00 176-AH 76.92 256-AH 26.47 286-AH 0.00 316-AH 29.66 346-AH 0.00
147-AH 58.82 177-AH 53.85 257-AH 20.63 287-AH 40.82 317-AH 10.00 347-AH 0.00
148-AH 16.67 178-AH 50.00 258-AH 0.00 288-AH 27.63 318-AH 22.22 348-AH 0.00
149-AH 0.00 179-AH 31.82 259-AH 33.33 289-AH 5.56 319-AH 36.84 349-AH 40.74
150-AH 20.00 180-AH 65.00 260-AH 33.33 290-AH 10.20 320-AH 0.00 350-AH 50.00
151-AH 33.33 181-AH 77.17 261-AH 35.29 291-AH 73.33 321-AH 0.00
152-AH 45.45 182-AH 25.00 262-AH 25.88 292-AH 25.00 322-AH 14.29
153-AH 0.00 183-AH 25.00 263-AH 27.08 293-AH 58.82 323-AH 15.38
154-AH 38.10 184-AH 55.56 264-AH 22.73 294-AH 62.96 324-AH 0.00
155-AH 33.33 185-AH 0.00 265-AH 0.00 295-AH 25.49 325-AH 54.10
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 50.00
157-AH 16.55 187-AH 0.00 267-AH 28.57 297-AH 33.33 327-AH 50.00
158-AH 47.06 188-AH 0.00 268-AH 0.00 298-AH 30.00 328-AH 56.52
159-AH 27.78 189-AH 71.43 269-AH 22.22 299-AH 40.79 329-AH 52.94
160-AH 0.00 190-AH 55.56 270-AH 8.77 300-AH 28.57 330-AH 27.45
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 33.33 272-AH 0.00 302-AH 29.41 332-AH 12.50
163-AH 72.95 193-AH 28.57 273-AH 61.45 303-AH 35.71 333-AH 80.00
164-AH 11.11 194-AH 0.00 274-AH 50.00 304-AH 26.67 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 45.45 305-AH 0.00 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 33.90 306-AH 0.00 336-AH 11.76
167-AH 20.00 197-AH 32.00 277-AH 26.92 307-AH 41.56 337-AH 75.00
168-AH 22.22 198-AH 0.00 278-AH 19.05 308-AH 72.73 338-AH 10.00
169-AH 0.00 199-AH 40.00 279-AH 25.00 309-AH 0.00 339-AH 36.84
170-AH 100.00 200-AH 55.56 280-AH 4.00 310-AH 4.76 340-AH 0.00
558
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.IXA.EN2ENFULLSTRUCTOPSNUSDOCSPSREL CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,904 Pooled false
Geometric Mean Average Precision 0.1532 monolingual full expansion of topics, NUS docs best
Binary Preference (BPREF) 0.3662 expansion, PRF
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.99 EN2ENFULLSTRUCTOPSNUSDOCSPSREL
10 59.97 90%
20 53.76
80%
30 48.07
40 44.48 70%
50 39.87
60%
60 35.24
Precision
70 30.56 50%
80 27.15 40%
90 20.86
30%
100 14.12
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.90 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1108
Second Quartile 0.3412
Third Quartile 0.6066
Interquartile range 0.4958 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3890
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2991 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.3890 10
Std With No Outliers 0.2991
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
559
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.IXA.EN2ENFULLSTRUCTOPSNUSDOCSPSREL CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 14.76 251-AH 56.81 281-AH 51.20 311-AH 9.75 341-AH 100.00
142-AH 96.59 172-AH 20.20 252-AH 39.86 282-AH 14.50 312-AH 40.47 342-AH 56.81
143-AH 87.22 173-AH 100.00 253-AH 39.24 283-AH 4.12 313-AH 23.32 343-AH 20.00
144-AH 52.70 174-AH 100.00 254-AH 26.41 284-AH 56.75 314-AH 6.34 344-AH 61.56
145-AH 40.93 175-AH 78.51 255-AH 34.23 285-AH 63.34 315-AH 9.83 345-AH 2.36
146-AH 5.37 176-AH 88.37 256-AH 81.03 286-AH 3.79 316-AH 13.96 346-AH 5.10
147-AH 71.32 177-AH 5.47 257-AH 26.68 287-AH 44.88 317-AH 25.26 347-AH 8.06
148-AH 10.18 178-AH 8.78 258-AH 30.43 288-AH 26.17 318-AH 12.08 348-AH 10.80
149-AH 0.00 179-AH 62.26 259-AH 10.80 289-AH 82.43 319-AH 2.03 349-AH 42.11
150-AH 14.09 180-AH 67.65 260-AH 66.30 290-AH 20.22 320-AH 2.66 350-AH 38.25
151-AH 7.46 181-AH 80.49 261-AH 11.05 291-AH 65.80 321-AH 0.00
152-AH 66.44 182-AH 6.22 262-AH 19.84 292-AH 100.00 322-AH 11.44
153-AH 0.00 183-AH 0.03 263-AH 22.35 293-AH 58.50 323-AH 33.53
154-AH 51.94 184-AH 56.12 264-AH 72.00 294-AH 65.29 324-AH 37.36
155-AH 11.03 185-AH 16.67 265-AH 50.32 295-AH 40.66 325-AH 58.90
156-AH 3.76 186-AH 0.00 266-AH 10.72 296-AH 22.73 326-AH 15.41
157-AH 32.19 187-AH 33.33 267-AH 25.49 297-AH 43.47 327-AH 32.74
158-AH 59.28 188-AH 0.00 268-AH 67.02 298-AH 34.31 328-AH 51.25
159-AH 8.53 189-AH 98.21 269-AH 33.69 299-AH 59.76 329-AH 71.58
160-AH 8.76 190-AH 51.56 270-AH 63.62 300-AH 23.52 330-AH 63.76
161-AH 0.00 191-AH 0.00 271-AH 64.05 301-AH 20.18 331-AH 8.19
162-AH 50.00 192-AH 84.33 272-AH 15.64 302-AH 40.61 332-AH 43.59
163-AH 89.39 193-AH 50.03 273-AH 87.53 303-AH 18.21 333-AH 100.00
164-AH 9.87 194-AH 16.67 274-AH 31.48 304-AH 36.71 334-AH 34.01
165-AH 50.00 195-AH 0.00 275-AH 48.34 305-AH 23.95 335-AH 34.53
166-AH 0.00 196-AH 50.00 276-AH 46.77 306-AH 100.00 336-AH 3.18
167-AH 15.42 197-AH 67.58 277-AH 23.07 307-AH 11.12 337-AH 88.35
168-AH 26.13 198-AH 100.00 278-AH 33.56 308-AH 69.04 338-AH 90.42
169-AH 0.06 199-AH 67.24 279-AH 43.33 309-AH 9.11 339-AH 49.89
170-AH 100.00 200-AH 59.35 280-AH 6.44 310-AH 12.92 340-AH 41.96
560
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.IXA.EN2ENFULLSTRUCTOPSNUSDOCSPSREL CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 46.13 EN2ENFULLSTRUCTOPSNUSDOCSPSREL
10 docs 40.06 90%
15 docs 35.33
80%
20 docs 32.25
30 docs 27.79 70%
100 docs 15.51
60%
200 docs 9.51
Precision
500 docs 4.49 50%
1000 docs 2.44 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.91
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1082
Second Quartile 0.3477
Third Quartile 0.5743
Interquartile range 0.4661 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3691
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2930 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3691 15
Std With No Outliers 0.2930 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENFULLSTRUCTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
561
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.IXA.EN2ENFULLSTRUCTOPSNUSDOCSPSREL CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 21.05 251-AH 58.46 281-AH 52.38 311-AH 14.81 341-AH 100.00
142-AH 87.50 172-AH 28.57 252-AH 44.83 282-AH 16.13 312-AH 41.94 342-AH 57.29
143-AH 84.62 173-AH 100.00 253-AH 43.16 283-AH 10.53 313-AH 25.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 34.93 284-AH 50.00 314-AH 5.56 344-AH 57.58
145-AH 36.84 175-AH 71.43 255-AH 25.00 285-AH 63.77 315-AH 11.86 345-AH 0.00
146-AH 0.00 176-AH 71.79 256-AH 73.53 286-AH 8.33 316-AH 18.64 346-AH 0.00
147-AH 60.78 177-AH 7.69 257-AH 38.10 287-AH 44.90 317-AH 26.67 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 28.95 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 54.55 259-AH 0.00 289-AH 72.22 319-AH 5.26 349-AH 48.15
150-AH 10.00 180-AH 67.50 260-AH 60.32 290-AH 26.53 320-AH 0.00 350-AH 30.00
151-AH 16.67 181-AH 75.00 261-AH 26.47 291-AH 60.00 321-AH 0.00
152-AH 54.55 182-AH 0.00 262-AH 34.12 292-AH 100.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 25.00 293-AH 47.06 323-AH 34.62
154-AH 47.62 184-AH 55.56 264-AH 63.64 294-AH 66.67 324-AH 45.95
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 43.14 325-AH 55.74
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 29.17 326-AH 25.00
157-AH 35.97 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 25.00
158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 52.17
159-AH 7.41 189-AH 85.71 269-AH 22.22 299-AH 52.63 329-AH 70.59
160-AH 0.00 190-AH 44.44 270-AH 56.14 300-AH 28.57 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 18.75 331-AH 5.88
162-AH 0.00 192-AH 83.33 272-AH 14.29 302-AH 41.18 332-AH 37.50
163-AH 83.61 193-AH 42.86 273-AH 78.31 303-AH 35.71 333-AH 100.00
164-AH 11.11 194-AH 0.00 274-AH 37.50 304-AH 40.00 334-AH 20.00
165-AH 0.00 195-AH 0.00 275-AH 57.58 305-AH 26.23 335-AH 40.00
166-AH 0.00 196-AH 0.00 276-AH 42.37 306-AH 100.00 336-AH 5.88
167-AH 20.00 197-AH 62.00 277-AH 46.15 307-AH 16.88 337-AH 80.00
168-AH 27.78 198-AH 100.00 278-AH 38.10 308-AH 72.73 338-AH 80.00
169-AH 0.00 199-AH 70.00 279-AH 50.00 309-AH 10.00 339-AH 47.37
170-AH 100.00 200-AH 55.56 280-AH 12.00 310-AH 14.29 340-AH 60.00
562
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENNUSDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,853 Pooled false
Geometric Mean Average Precision 0.1541 monolingual NUS docs best expansion, PRF
Binary Preference (BPREF) 0.3667
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.75 EN2ENNUSDOCSPSREL
10 60.01 90%
20 53.30
80%
30 46.59
40 43.14 70%
50 39.24
60%
60 35.44
Precision
70 30.32 50%
80 26.74 40%
90 21.39
30%
100 14.94
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.62 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1158
Second Quartile 0.3201
Third Quartile 0.6101
Interquartile range 0.4943 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3862
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3080 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3862
10
Std With No Outliers 0.3080
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
563
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENNUSDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 11.06 251-AH 54.14 281-AH 53.43 311-AH 21.03 341-AH 92.42
142-AH 100.00 172-AH 19.94 252-AH 40.14 282-AH 15.98 312-AH 41.11 342-AH 57.53
143-AH 83.03 173-AH 100.00 253-AH 19.20 283-AH 2.46 313-AH 18.19 343-AH 14.29
144-AH 37.07 174-AH 100.00 254-AH 18.29 284-AH 57.25 314-AH 8.38 344-AH 43.98
145-AH 53.19 175-AH 72.00 255-AH 47.91 285-AH 6.44 315-AH 7.96 345-AH 2.22
146-AH 3.43 176-AH 78.80 256-AH 81.26 286-AH 5.55 316-AH 15.23 346-AH 4.62
147-AH 57.07 177-AH 13.94 257-AH 28.75 287-AH 42.38 317-AH 20.34 347-AH 8.15
148-AH 6.99 178-AH 7.48 258-AH 16.19 288-AH 23.84 318-AH 9.83 348-AH 100.00
149-AH 0.00 179-AH 76.42 259-AH 27.78 289-AH 86.49 319-AH 18.41 349-AH 28.25
150-AH 19.27 180-AH 5.03 260-AH 65.65 290-AH 25.02 320-AH 2.80 350-AH 50.50
151-AH 18.85 181-AH 72.52 261-AH 7.67 291-AH 67.57 321-AH 0.00
152-AH 58.14 182-AH 4.79 262-AH 12.49 292-AH 100.00 322-AH 11.12
153-AH 0.00 183-AH 0.92 263-AH 19.55 293-AH 58.46 323-AH 33.09
154-AH 34.16 184-AH 58.87 264-AH 71.71 294-AH 70.28 324-AH 56.54
155-AH 11.26 185-AH 16.67 265-AH 61.08 295-AH 40.33 325-AH 53.78
156-AH 5.71 186-AH 0.00 266-AH 5.77 296-AH 39.65 326-AH 18.16
157-AH 39.68 187-AH 16.67 267-AH 22.41 297-AH 41.95 327-AH 12.50
158-AH 62.54 188-AH 0.00 268-AH 67.23 298-AH 31.24 328-AH 60.94
159-AH 8.49 189-AH 100.00 269-AH 31.81 299-AH 54.88 329-AH 66.92
160-AH 1.58 190-AH 70.78 270-AH 71.11 300-AH 25.45 330-AH 73.07
161-AH 0.00 191-AH 0.00 271-AH 65.87 301-AH 1.62 331-AH 20.26
162-AH 50.00 192-AH 82.12 272-AH 22.32 302-AH 33.45 332-AH 34.81
163-AH 87.59 193-AH 41.88 273-AH 83.87 303-AH 22.46 333-AH 100.00
164-AH 6.95 194-AH 20.00 274-AH 34.39 304-AH 32.95 334-AH 38.10
165-AH 100.00 195-AH 0.00 275-AH 44.19 305-AH 42.85 335-AH 32.09
166-AH 0.00 196-AH 50.00 276-AH 31.94 306-AH 100.00 336-AH 3.04
167-AH 21.36 197-AH 79.56 277-AH 19.46 307-AH 20.63 337-AH 88.08
168-AH 30.84 198-AH 100.00 278-AH 11.64 308-AH 76.62 338-AH 90.24
169-AH 3.39 199-AH 67.49 279-AH 24.77 309-AH 9.16 339-AH 51.96
170-AH 100.00 200-AH 51.09 280-AH 4.32 310-AH 11.53 340-AH 37.56
564
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENNUSDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 43.88 EN2ENNUSDOCSPSREL
10 docs 38.38 90%
15 docs 34.00
80%
20 docs 30.72
30 docs 26.73 70%
100 docs 14.91
60%
200 docs 9.28
Precision
500 docs 4.44 50%
1000 docs 2.41 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.63
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1082
Second Quartile 0.3161
Third Quartile 0.5774
Interquartile range 0.4692 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3663
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2992 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3663 15
Std With No Outliers 0.2992 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
565
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENNUSDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 53.85 281-AH 54.76 311-AH 29.63 341-AH 83.33
142-AH 100.00 172-AH 14.29 252-AH 44.83 282-AH 16.13 312-AH 35.48 342-AH 58.33
143-AH 79.49 173-AH 100.00 253-AH 28.95 283-AH 7.89 313-AH 15.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 30.57 284-AH 52.63 314-AH 11.11 344-AH 39.39
145-AH 50.00 175-AH 71.43 255-AH 25.00 285-AH 11.59 315-AH 11.86 345-AH 0.00
146-AH 0.00 176-AH 61.54 256-AH 70.59 286-AH 8.33 316-AH 22.03 346-AH 0.00
147-AH 49.02 177-AH 7.69 257-AH 34.92 287-AH 42.86 317-AH 23.33 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 26.32 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 72.73 259-AH 33.33 289-AH 72.22 319-AH 21.05 349-AH 29.63
150-AH 0.00 180-AH 2.50 260-AH 57.14 290-AH 32.65 320-AH 0.00 350-AH 40.00
151-AH 25.00 181-AH 72.83 261-AH 11.76 291-AH 63.33 321-AH 0.00
152-AH 45.45 182-AH 0.00 262-AH 23.53 292-AH 100.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 22.92 293-AH 52.94 323-AH 26.92
154-AH 42.86 184-AH 55.56 264-AH 63.64 294-AH 70.37 324-AH 60.81
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 43.14 325-AH 50.82
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00
157-AH 42.45 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 55.88 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 60.87
159-AH 7.41 189-AH 100.00 269-AH 33.33 299-AH 52.63 329-AH 64.71
160-AH 0.00 190-AH 66.67 270-AH 59.65 300-AH 26.19 330-AH 72.55
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 83.33 272-AH 21.43 302-AH 29.41 332-AH 25.00
163-AH 82.79 193-AH 28.57 273-AH 77.11 303-AH 42.86 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 43.75 304-AH 26.67 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 46.97 305-AH 47.54 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 5.88
167-AH 20.00 197-AH 68.00 277-AH 38.46 307-AH 27.27 337-AH 75.00
168-AH 27.78 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 70.00
169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 10.00 339-AH 47.37
170-AH 100.00 200-AH 44.44 280-AH 8.00 310-AH 15.87 340-AH 40.00
566
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENUBCDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,831 Pooled false
Geometric Mean Average Precision 0.1552 monolingual UBC docs best expansion, PRF
Binary Preference (BPREF) 0.3718
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.81 EN2ENUBCDOCSPSREL
10 59.96 90%
20 53.39
80%
30 47.32
40 43.47 70%
50 39.54
60%
60 36.05
Precision
70 30.75 50%
80 27.52 40%
90 21.64
30%
100 15.38
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.99 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1144
Second Quartile 0.3236
Third Quartile 0.6322
Interquartile range 0.5178 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3899
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3115 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3899
10
Std With No Outliers 0.3115
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
567
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENUBCDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 11.43 251-AH 54.23 281-AH 55.39 311-AH 23.39 341-AH 91.03
142-AH 100.00 172-AH 15.39 252-AH 39.64 282-AH 14.75 312-AH 42.80 342-AH 60.17
143-AH 83.20 173-AH 100.00 253-AH 20.43 283-AH 2.08 313-AH 18.05 343-AH 16.67
144-AH 37.93 174-AH 100.00 254-AH 20.81 284-AH 54.87 314-AH 9.76 344-AH 45.08
145-AH 51.65 175-AH 67.05 255-AH 47.91 285-AH 3.17 315-AH 7.82 345-AH 2.20
146-AH 6.20 176-AH 78.62 256-AH 81.45 286-AH 4.58 316-AH 12.65 346-AH 5.01
147-AH 59.11 177-AH 13.01 257-AH 29.06 287-AH 41.68 317-AH 19.23 347-AH 8.19
148-AH 8.40 178-AH 9.52 258-AH 16.83 288-AH 28.19 318-AH 9.56 348-AH 100.00
149-AH 0.00 179-AH 75.79 259-AH 27.78 289-AH 86.11 319-AH 14.13 349-AH 23.66
150-AH 19.67 180-AH 4.82 260-AH 64.15 290-AH 23.08 320-AH 3.22 350-AH 49.99
151-AH 11.44 181-AH 74.26 261-AH 6.86 291-AH 64.94 321-AH 0.00
152-AH 58.64 182-AH 4.34 262-AH 10.73 292-AH 100.00 322-AH 8.69
153-AH 0.00 183-AH 0.78 263-AH 21.11 293-AH 59.23 323-AH 32.41
154-AH 30.94 184-AH 57.92 264-AH 72.77 294-AH 66.29 324-AH 53.47
155-AH 11.59 185-AH 16.67 265-AH 65.67 295-AH 37.80 325-AH 50.93
156-AH 4.55 186-AH 0.00 266-AH 5.50 296-AH 39.78 326-AH 18.77
157-AH 39.91 187-AH 16.67 267-AH 19.64 297-AH 41.95 327-AH 13.09
158-AH 62.29 188-AH 0.00 268-AH 67.08 298-AH 30.47 328-AH 56.45
159-AH 11.35 189-AH 100.00 269-AH 35.45 299-AH 56.21 329-AH 70.97
160-AH 2.68 190-AH 70.01 270-AH 70.38 300-AH 26.26 330-AH 73.59
161-AH 0.00 191-AH 0.00 271-AH 67.95 301-AH 1.67 331-AH 20.61
162-AH 50.00 192-AH 85.15 272-AH 21.71 302-AH 32.31 332-AH 34.76
163-AH 87.24 193-AH 41.53 273-AH 83.75 303-AH 24.60 333-AH 100.00
164-AH 7.56 194-AH 100.00 274-AH 38.60 304-AH 32.07 334-AH 34.81
165-AH 100.00 195-AH 0.00 275-AH 44.80 305-AH 42.82 335-AH 30.17
166-AH 0.00 196-AH 50.00 276-AH 32.66 306-AH 100.00 336-AH 4.97
167-AH 23.03 197-AH 78.43 277-AH 19.11 307-AH 17.79 337-AH 89.54
168-AH 33.00 198-AH 100.00 278-AH 13.73 308-AH 73.61 338-AH 90.24
169-AH 2.68 199-AH 68.27 279-AH 22.24 309-AH 11.11 339-AH 51.10
170-AH 100.00 200-AH 51.23 280-AH 4.77 310-AH 11.34 340-AH 36.43
568
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENUBCDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 44.13 EN2ENUBCDOCSPSREL
10 docs 37.44 90%
15 docs 33.46
80%
20 docs 30.84
30 docs 26.75 70%
100 docs 14.91
60%
200 docs 9.30
Precision
500 docs 4.44 50%
1000 docs 2.39 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.46
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1144
Second Quartile 0.3333
Third Quartile 0.5858
Interquartile range 0.4714 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3746
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3028 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3746 15
Std With No Outliers 0.3028 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
EN2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
569
ixa 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.IXA.EN2ENUBCDOCSPSREL AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 52.31 281-AH 57.14 311-AH 31.48 341-AH 83.33
142-AH 100.00 172-AH 14.29 252-AH 44.83 282-AH 16.13 312-AH 45.16 342-AH 59.38
143-AH 79.49 173-AH 100.00 253-AH 28.42 283-AH 10.53 313-AH 15.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 31.88 284-AH 55.26 314-AH 11.11 344-AH 42.42
145-AH 42.11 175-AH 71.43 255-AH 25.00 285-AH 10.14 315-AH 11.86 345-AH 0.00
146-AH 0.00 176-AH 61.54 256-AH 70.59 286-AH 16.67 316-AH 15.25 346-AH 0.00
147-AH 52.94 177-AH 7.69 257-AH 38.10 287-AH 38.78 317-AH 20.00 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 30.26 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 72.73 259-AH 33.33 289-AH 72.22 319-AH 15.79 349-AH 25.93
150-AH 0.00 180-AH 2.50 260-AH 57.14 290-AH 28.57 320-AH 0.00 350-AH 40.00
151-AH 25.00 181-AH 75.00 261-AH 11.76 291-AH 60.00 321-AH 0.00
152-AH 45.45 182-AH 0.00 262-AH 18.82 292-AH 100.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 22.92 293-AH 55.88 323-AH 26.92
154-AH 38.10 184-AH 55.56 264-AH 63.64 294-AH 66.67 324-AH 58.11
155-AH 0.00 185-AH 0.00 265-AH 66.67 295-AH 37.25 325-AH 50.82
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00
157-AH 43.17 187-AH 0.00 267-AH 33.33 297-AH 41.67 327-AH 0.00
158-AH 58.82 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 56.52
159-AH 12.96 189-AH 100.00 269-AH 33.33 299-AH 56.58 329-AH 64.71
160-AH 0.00 190-AH 66.67 270-AH 61.40 300-AH 28.57 330-AH 74.51
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 83.33 272-AH 14.29 302-AH 29.41 332-AH 25.00
163-AH 79.51 193-AH 28.57 273-AH 74.70 303-AH 42.86 333-AH 100.00
164-AH 11.11 194-AH 100.00 274-AH 43.75 304-AH 26.67 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 46.97 305-AH 47.54 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 11.76
167-AH 40.00 197-AH 66.00 277-AH 38.46 307-AH 25.97 337-AH 80.00
168-AH 27.78 198-AH 100.00 278-AH 23.81 308-AH 72.73 338-AH 70.00
169-AH 0.00 199-AH 70.00 279-AH 25.00 309-AH 10.00 339-AH 52.63
170-AH 100.00 200-AH 44.44 280-AH 8.00 310-AH 14.29 340-AH 40.00
570
know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO_WSD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,393 Pooled false
Geometric Mean Average Precision 0.0801 asso_wsd
Binary Preference (BPREF) 0.2675
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 52.91 ASSO_WSD
10 45.17 90%
20 38.62
80%
30 32.46
40 28.82 70%
50 25.63
60%
60 22.03
Precision
70 18.22 50%
80 15.73 40%
90 11.41
30%
100 8.11
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
25.73 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0584
Second Quartile 0.1743
Third Quartile 0.3906
Interquartile range 0.3322 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2573
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2558 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.8557 25
Mean With No Outliers 0.2291 20
15
Std With No Outliers 0.2157
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
571
know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO_WSD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 9.05 251-AH 44.30 281-AH 32.97 311-AH 20.26 341-AH 69.02
142-AH 89.41 172-AH 2.49 252-AH 14.54 282-AH 5.93 312-AH 20.76 342-AH 61.73
143-AH 64.53 173-AH 100.00 253-AH 2.21 283-AH 9.48 313-AH 9.87 343-AH 0.49
144-AH 49.37 174-AH 100.00 254-AH 16.46 284-AH 47.33 314-AH 5.06 344-AH 39.61
145-AH 37.37 175-AH 69.92 255-AH 6.96 285-AH 27.44 315-AH 23.77 345-AH 3.81
146-AH 16.80 176-AH 74.52 256-AH 60.14 286-AH 1.51 316-AH 1.15 346-AH 3.99
147-AH 27.63 177-AH 14.08 257-AH 16.16 287-AH 23.12 317-AH 12.92 347-AH 19.86
148-AH 13.78 178-AH 7.77 258-AH 0.00 288-AH 7.91 318-AH 3.88 348-AH 22.22
149-AH 0.00 179-AH 25.77 259-AH 40.74 289-AH 27.24 319-AH 23.81 349-AH 15.38
150-AH 3.08 180-AH 41.56 260-AH 51.58 290-AH 16.09 320-AH 1.15 350-AH 61.36
151-AH 6.56 181-AH 27.48 261-AH 11.70 291-AH 14.02 321-AH 0.00
152-AH 60.50 182-AH 6.34 262-AH 5.23 292-AH 4.11 322-AH 11.01
153-AH 0.00 183-AH 12.11 263-AH 10.03 293-AH 35.03 323-AH 7.91
154-AH 18.29 184-AH 7.43 264-AH 33.25 294-AH 67.03 324-AH 1.55
155-AH 20.74 185-AH 20.00 265-AH 5.19 295-AH 15.88 325-AH 25.84
156-AH 1.02 186-AH 0.00 266-AH 1.93 296-AH 7.69 326-AH 9.00
157-AH 19.12 187-AH 33.33 267-AH 7.20 297-AH 10.38 327-AH 0.00
158-AH 57.56 188-AH 0.00 268-AH 21.02 298-AH 15.83 328-AH 58.92
159-AH 2.41 189-AH 66.98 269-AH 5.75 299-AH 33.70 329-AH 52.69
160-AH 2.00 190-AH 23.56 270-AH 53.59 300-AH 19.52 330-AH 38.52
161-AH 0.00 191-AH 0.00 271-AH 35.69 301-AH 16.61 331-AH 20.25
162-AH 12.50 192-AH 45.10 272-AH 21.31 302-AH 7.43 332-AH 25.32
163-AH 85.57 193-AH 46.34 273-AH 72.08 303-AH 20.86 333-AH 100.00
164-AH 7.27 194-AH 20.00 274-AH 15.41 304-AH 35.98 334-AH 11.65
165-AH 100.00 195-AH 0.00 275-AH 41.49 305-AH 18.05 335-AH 4.14
166-AH 0.00 196-AH 50.00 276-AH 23.73 306-AH 7.14 336-AH 0.11
167-AH 28.97 197-AH 75.67 277-AH 12.42 307-AH 1.04 337-AH 45.98
168-AH 27.67 198-AH 1.52 278-AH 2.27 308-AH 77.05 338-AH 49.47
169-AH 13.39 199-AH 75.32 279-AH 46.67 309-AH 4.63 339-AH 35.66
170-AH 0.46 200-AH 47.78 280-AH 0.63 310-AH 5.37 340-AH 33.19
572
know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO_WSD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 31.75 ASSO_WSD
10 docs 28.06 90%
15 docs 25.21
80%
20 docs 23.34
30 docs 20.38 70%
100 docs 11.81
60%
200 docs 7.60
Precision
500 docs 3.83 50%
1000 docs 2.12 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
25.68
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0398
Second Quartile 0.2087
Third Quartile 0.3834
Interquartile range 0.3437 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2568
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2478 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.8750
30
Mean With No Outliers 0.2329
20
Std With No Outliers 0.2118
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ASSO_WSD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
573
know-center 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.KNOW-CENTER.ASSO_WSD AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 49.23 281-AH 45.24 311-AH 25.93 341-AH 66.67
142-AH 87.50 172-AH 0.00 252-AH 20.69 282-AH 9.68 312-AH 19.35 342-AH 59.38
143-AH 61.54 173-AH 100.00 253-AH 11.05 283-AH 15.79 313-AH 15.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 26.20 284-AH 50.00 314-AH 0.00 344-AH 39.39
145-AH 42.11 175-AH 57.14 255-AH 25.00 285-AH 28.99 315-AH 37.29 345-AH 0.00
146-AH 0.00 176-AH 56.41 256-AH 61.76 286-AH 8.33 316-AH 5.93 346-AH 9.09
147-AH 33.33 177-AH 23.08 257-AH 23.81 287-AH 22.45 317-AH 16.67 347-AH 22.22
148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 17.11 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 31.82 259-AH 33.33 289-AH 33.33 319-AH 21.05 349-AH 14.81
150-AH 10.00 180-AH 45.00 260-AH 50.79 290-AH 22.45 320-AH 0.00 350-AH 50.00
151-AH 8.33 181-AH 32.61 261-AH 20.59 291-AH 23.33 321-AH 0.00
152-AH 54.55 182-AH 0.00 262-AH 14.12 292-AH 0.00 322-AH 14.29
153-AH 0.00 183-AH 25.00 263-AH 10.42 293-AH 41.18 323-AH 11.54
154-AH 23.81 184-AH 11.11 264-AH 36.36 294-AH 59.26 324-AH 4.05
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 23.53 325-AH 34.43
156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 16.67 326-AH 25.00
157-AH 23.02 187-AH 0.00 267-AH 9.52 297-AH 8.33 327-AH 0.00
158-AH 58.82 188-AH 0.00 268-AH 33.33 298-AH 26.67 328-AH 69.57
159-AH 1.85 189-AH 57.14 269-AH 11.11 299-AH 34.21 329-AH 47.06
160-AH 0.00 190-AH 33.33 270-AH 50.88 300-AH 23.81 330-AH 37.25
161-AH 0.00 191-AH 0.00 271-AH 41.67 301-AH 18.75 331-AH 23.53
162-AH 0.00 192-AH 16.67 272-AH 21.43 302-AH 17.65 332-AH 12.50
163-AH 73.77 193-AH 42.86 273-AH 66.27 303-AH 28.57 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 25.00 304-AH 33.33 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 43.94 305-AH 19.67 335-AH 6.67
166-AH 0.00 196-AH 0.00 276-AH 30.51 306-AH 0.00 336-AH 0.00
167-AH 20.00 197-AH 70.00 277-AH 19.23 307-AH 3.90 337-AH 50.00
168-AH 27.78 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 60.00
169-AH 0.00 199-AH 70.00 279-AH 50.00 309-AH 0.00 339-AH 26.32
170-AH 0.00 200-AH 44.44 280-AH 0.00 310-AH 12.70 340-AH 20.00
574
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_00 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,007 Pooled false
Geometric Mean Average Precision 0.1620 (See overleaf for description)
Binary Preference (BPREF) 0.3649
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.20 BM25_BO1_CLAUSES_00
10 60.40 90%
20 54.99
80%
30 48.85
40 44.90 70%
50 41.53
60%
60 36.37
Precision
70 31.10 50%
80 25.97 40%
90 20.16
30%
100 13.40
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.37 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1192
Second Quartile 0.3555
Third Quartile 0.6359
Interquartile range 0.5167 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3937
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3020 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3937
10
Std With No Outliers 0.3020
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
575
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_00 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 23.43 251-AH 57.42 281-AH 41.10 311-AH 32.29 341-AH 75.91
142-AH 92.60 172-AH 7.13 252-AH 45.22 282-AH 22.32 312-AH 62.84 342-AH 56.35
143-AH 86.45 173-AH 100.00 253-AH 40.44 283-AH 46.63 313-AH 5.57 343-AH 1.82
144-AH 36.11 174-AH 100.00 254-AH 33.90 284-AH 50.17 314-AH 7.36 344-AH 32.69
145-AH 77.85 175-AH 91.96 255-AH 44.40 285-AH 79.57 315-AH 35.64 345-AH 14.63
146-AH 25.57 176-AH 85.36 256-AH 90.82 286-AH 4.00 316-AH 12.13 346-AH 7.33
147-AH 71.99 177-AH 40.34 257-AH 16.63 287-AH 42.90 317-AH 28.06 347-AH 5.05
148-AH 20.45 178-AH 3.83 258-AH 1.25 288-AH 49.61 318-AH 9.00 348-AH 100.00
149-AH 0.00 179-AH 65.11 259-AH 54.55 289-AH 85.03 319-AH 40.16 349-AH 26.48
150-AH 2.41 180-AH 7.35 260-AH 67.98 290-AH 27.06 320-AH 1.17 350-AH 69.04
151-AH 3.25 181-AH 85.49 261-AH 14.03 291-AH 61.68 321-AH 0.00
152-AH 39.96 182-AH 23.46 262-AH 33.99 292-AH 100.00 322-AH 5.69
153-AH 0.00 183-AH 10.45 263-AH 3.86 293-AH 65.78 323-AH 24.31
154-AH 34.80 184-AH 66.63 264-AH 60.12 294-AH 70.31 324-AH 49.86
155-AH 8.76 185-AH 7.69 265-AH 46.38 295-AH 22.21 325-AH 67.49
156-AH 7.45 186-AH 0.00 266-AH 6.24 296-AH 60.28 326-AH 4.59
157-AH 64.34 187-AH 9.09 267-AH 41.27 297-AH 25.67 327-AH 0.86
158-AH 38.91 188-AH 0.46 268-AH 39.19 298-AH 20.34 328-AH 35.47
159-AH 74.79 189-AH 83.12 269-AH 18.15 299-AH 49.40 329-AH 66.12
160-AH 4.42 190-AH 75.54 270-AH 76.62 300-AH 23.22 330-AH 78.79
161-AH 0.00 191-AH 0.00 271-AH 51.60 301-AH 1.62 331-AH 20.96
162-AH 50.00 192-AH 74.51 272-AH 16.60 302-AH 29.09 332-AH 43.85
163-AH 86.54 193-AH 43.95 273-AH 72.67 303-AH 39.18 333-AH 100.00
164-AH 17.02 194-AH 25.00 274-AH 16.39 304-AH 31.56 334-AH 42.94
165-AH 33.33 195-AH 0.00 275-AH 43.17 305-AH 27.97 335-AH 16.64
166-AH 0.00 196-AH 50.00 276-AH 56.82 306-AH 100.00 336-AH 3.86
167-AH 14.81 197-AH 50.24 277-AH 15.45 307-AH 19.35 337-AH 61.94
168-AH 24.24 198-AH 100.00 278-AH 37.55 308-AH 62.34 338-AH 75.43
169-AH 13.57 199-AH 75.32 279-AH 11.71 309-AH 11.22 339-AH 77.55
170-AH 100.00 200-AH 41.40 280-AH 4.65 310-AH 2.75 340-AH 31.61
576
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_00 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
retrieval with Pseudo-relevance feedback using Bose
Einstein statistics as term selection function,
Rocchio for reweigth terms and BM25 as ranking
function. Clauses 0.0 similarity
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 46.00 BM25_BO1_CLAUSES_00
10 docs 38.69 90%
15 docs 35.21
80%
20 docs 33.28
30 docs 28.25 70%
100 docs 16.06
60%
200 docs 9.99
Precision
500 docs 4.71 50%
1000 docs 2.50 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.35
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0833
Second Quartile 0.3452
Third Quartile 0.6048
Interquartile range 0.5215 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3735
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2963 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3735 20
15
Std With No Outliers 0.2963
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_00
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
577
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_00 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 31.58 251-AH 56.92 281-AH 35.71 311-AH 40.74 341-AH 66.67
142-AH 87.50 172-AH 0.00 252-AH 41.38 282-AH 32.26 312-AH 58.06 342-AH 51.04
143-AH 79.49 173-AH 100.00 253-AH 45.79 283-AH 52.63 313-AH 5.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 40.61 284-AH 50.00 314-AH 0.00 344-AH 36.36
145-AH 68.42 175-AH 85.71 255-AH 25.00 285-AH 69.57 315-AH 38.98 345-AH 11.11
146-AH 50.00 176-AH 69.23 256-AH 73.53 286-AH 8.33 316-AH 17.80 346-AH 0.00
147-AH 58.82 177-AH 38.46 257-AH 23.81 287-AH 55.10 317-AH 30.00 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 48.68 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 59.09 259-AH 33.33 289-AH 77.78 319-AH 42.11 349-AH 40.74
150-AH 0.00 180-AH 2.50 260-AH 65.08 290-AH 36.73 320-AH 0.00 350-AH 70.00
151-AH 0.00 181-AH 81.52 261-AH 20.59 291-AH 56.67 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 38.82 292-AH 100.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 55.88 323-AH 23.08
154-AH 33.33 184-AH 66.67 264-AH 54.55 294-AH 62.96 324-AH 48.65
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 29.41 325-AH 65.57
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 62.50 326-AH 0.00
157-AH 61.87 187-AH 0.00 267-AH 38.10 297-AH 25.00 327-AH 0.00
158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 47.83
159-AH 68.52 189-AH 71.43 269-AH 22.22 299-AH 51.32 329-AH 70.59
160-AH 0.00 190-AH 77.78 270-AH 64.91 300-AH 21.43 330-AH 70.59
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 29.41
162-AH 0.00 192-AH 66.67 272-AH 14.29 302-AH 29.41 332-AH 37.50
163-AH 80.33 193-AH 28.57 273-AH 68.67 303-AH 28.57 333-AH 100.00
164-AH 22.22 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 40.91 305-AH 31.15 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 54.24 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 50.00 277-AH 30.77 307-AH 28.57 337-AH 65.00
168-AH 33.33 198-AH 100.00 278-AH 38.10 308-AH 54.55 338-AH 70.00
169-AH 16.67 199-AH 70.00 279-AH 25.00 309-AH 20.00 339-AH 73.68
170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 20.00
578
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_03 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,004 Pooled false
Geometric Mean Average Precision 0.1613 (See overleaf for description)
Binary Preference (BPREF) 0.3651
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.04 BM25_BO1_CLAUSES_03
10 60.12 90%
20 54.66
80%
30 48.70
40 44.93 70%
50 41.58
60%
60 36.50
Precision
70 31.29 50%
80 26.12 40%
90 20.25
30%
100 13.45
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1146
Second Quartile 0.3540
Third Quartile 0.6359
Interquartile range 0.5213 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3935
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3021 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3935
10
Std With No Outliers 0.3021
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
579
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_03 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 23.64 251-AH 58.14 281-AH 41.10 311-AH 32.29 341-AH 75.91
142-AH 92.60 172-AH 7.27 252-AH 45.22 282-AH 22.32 312-AH 62.84 342-AH 56.35
143-AH 85.86 173-AH 100.00 253-AH 40.44 283-AH 46.63 313-AH 5.40 343-AH 1.82
144-AH 36.11 174-AH 100.00 254-AH 33.90 284-AH 48.61 314-AH 7.35 344-AH 32.69
145-AH 77.85 175-AH 91.96 255-AH 45.20 285-AH 79.57 315-AH 35.33 345-AH 14.63
146-AH 25.57 176-AH 85.36 256-AH 90.82 286-AH 4.00 316-AH 10.04 346-AH 7.33
147-AH 71.67 177-AH 39.64 257-AH 16.63 287-AH 42.90 317-AH 28.06 347-AH 5.69
148-AH 20.45 178-AH 3.83 258-AH 1.25 288-AH 52.55 318-AH 9.00 348-AH 100.00
149-AH 0.00 179-AH 66.39 259-AH 54.55 289-AH 85.03 319-AH 40.79 349-AH 26.48
150-AH 2.41 180-AH 7.27 260-AH 67.98 290-AH 27.06 320-AH 1.17 350-AH 69.04
151-AH 3.25 181-AH 85.49 261-AH 14.38 291-AH 61.68 321-AH 0.00
152-AH 39.96 182-AH 23.46 262-AH 27.89 292-AH 100.00 322-AH 5.69
153-AH 0.00 183-AH 7.14 263-AH 3.82 293-AH 65.78 323-AH 24.30
154-AH 34.80 184-AH 67.52 264-AH 60.12 294-AH 65.75 324-AH 49.35
155-AH 8.76 185-AH 7.69 265-AH 46.38 295-AH 22.21 325-AH 68.94
156-AH 7.45 186-AH 0.00 266-AH 6.24 296-AH 60.28 326-AH 4.59
157-AH 64.34 187-AH 9.09 267-AH 41.27 297-AH 29.50 327-AH 0.86
158-AH 40.00 188-AH 0.46 268-AH 39.19 298-AH 20.34 328-AH 35.47
159-AH 74.81 189-AH 84.76 269-AH 18.15 299-AH 48.14 329-AH 67.20
160-AH 4.42 190-AH 75.54 270-AH 76.38 300-AH 24.18 330-AH 78.79
161-AH 0.00 191-AH 0.00 271-AH 51.60 301-AH 1.62 331-AH 20.53
162-AH 50.00 192-AH 74.51 272-AH 16.60 302-AH 21.84 332-AH 43.85
163-AH 86.39 193-AH 43.95 273-AH 72.66 303-AH 39.18 333-AH 100.00
164-AH 17.02 194-AH 33.33 274-AH 16.39 304-AH 31.56 334-AH 42.94
165-AH 33.33 195-AH 0.00 275-AH 43.17 305-AH 30.20 335-AH 16.64
166-AH 0.00 196-AH 50.00 276-AH 56.82 306-AH 100.00 336-AH 2.97
167-AH 14.81 197-AH 50.24 277-AH 15.45 307-AH 19.35 337-AH 61.94
168-AH 24.24 198-AH 100.00 278-AH 37.55 308-AH 62.07 338-AH 75.36
169-AH 13.57 199-AH 70.42 279-AH 11.71 309-AH 11.22 339-AH 77.68
170-AH 100.00 200-AH 44.52 280-AH 4.65 310-AH 2.56 340-AH 31.61
580
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_03 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
retrieval with Pseudo-relevance feedback using Bose
Einstein statistics as term selection function,
Rocchio for reweigth terms and BM25 as ranking
function. Clauses 0.3 similarity
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 45.63 BM25_BO1_CLAUSES_03
10 docs 38.69 90%
15 docs 35.21
80%
20 docs 33.16
30 docs 28.08 70%
100 docs 15.99
60%
200 docs 9.97
Precision
500 docs 4.71 50%
1000 docs 2.50 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.26
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0833
Second Quartile 0.3333
Third Quartile 0.5896
Interquartile range 0.5062 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3726
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2964 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3726 20
15
Std With No Outliers 0.2964
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_03
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
581
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_03 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 31.58 251-AH 58.46 281-AH 35.71 311-AH 40.74 341-AH 66.67
142-AH 87.50 172-AH 0.00 252-AH 41.38 282-AH 32.26 312-AH 58.06 342-AH 51.04
143-AH 79.49 173-AH 100.00 253-AH 45.79 283-AH 52.63 313-AH 5.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 40.61 284-AH 50.00 314-AH 0.00 344-AH 36.36
145-AH 68.42 175-AH 85.71 255-AH 25.00 285-AH 69.57 315-AH 40.68 345-AH 11.11
146-AH 50.00 176-AH 69.23 256-AH 73.53 286-AH 8.33 316-AH 8.47 346-AH 0.00
147-AH 58.82 177-AH 38.46 257-AH 23.81 287-AH 55.10 317-AH 30.00 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 51.32 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 59.09 259-AH 33.33 289-AH 77.78 319-AH 42.11 349-AH 40.74
150-AH 0.00 180-AH 2.50 260-AH 65.08 290-AH 36.73 320-AH 0.00 350-AH 70.00
151-AH 0.00 181-AH 81.52 261-AH 23.53 291-AH 56.67 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 31.76 292-AH 100.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 55.88 323-AH 23.08
154-AH 33.33 184-AH 66.67 264-AH 54.55 294-AH 55.56 324-AH 48.65
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 29.41 325-AH 63.93
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 62.50 326-AH 0.00
157-AH 61.87 187-AH 0.00 267-AH 38.10 297-AH 33.33 327-AH 0.00
158-AH 41.18 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 47.83
159-AH 68.52 189-AH 71.43 269-AH 22.22 299-AH 51.32 329-AH 70.59
160-AH 0.00 190-AH 77.78 270-AH 64.91 300-AH 26.19 330-AH 70.59
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 66.67 272-AH 14.29 302-AH 23.53 332-AH 37.50
163-AH 79.51 193-AH 28.57 273-AH 68.67 303-AH 28.57 333-AH 100.00
164-AH 22.22 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 40.91 305-AH 32.79 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 54.24 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 50.00 277-AH 30.77 307-AH 28.57 337-AH 65.00
168-AH 33.33 198-AH 100.00 278-AH 38.10 308-AH 54.55 338-AH 70.00
169-AH 16.67 199-AH 70.00 279-AH 25.00 309-AH 20.00 339-AH 73.68
170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 20.00
582
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_06 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,004 Pooled false
Geometric Mean Average Precision 0.1606 (See overleaf for description)
Binary Preference (BPREF) 0.3647
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.87 BM25_BO1_CLAUSES_06
10 59.94 90%
20 54.71
80%
30 48.24
40 44.66 70%
50 41.59
60%
60 36.39
Precision
70 31.24 50%
80 26.02 40%
90 20.11
30%
100 13.45
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.26 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1247
Second Quartile 0.3368
Third Quartile 0.6410
Interquartile range 0.5163 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3926
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3025 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3926 15
Std With No Outliers 0.3025 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
583
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_06 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 23.16 251-AH 57.99 281-AH 41.01 311-AH 33.06 341-AH 75.54
142-AH 93.63 172-AH 9.17 252-AH 46.94 282-AH 22.32 312-AH 61.95 342-AH 56.26
143-AH 85.64 173-AH 100.00 253-AH 40.08 283-AH 47.34 313-AH 5.34 343-AH 1.72
144-AH 35.47 174-AH 100.00 254-AH 33.47 284-AH 46.84 314-AH 7.55 344-AH 32.35
145-AH 76.06 175-AH 90.71 255-AH 43.81 285-AH 80.37 315-AH 34.32 345-AH 18.38
146-AH 25.54 176-AH 87.36 256-AH 90.82 286-AH 3.92 316-AH 9.86 346-AH 7.22
147-AH 72.53 177-AH 33.56 257-AH 16.68 287-AH 43.32 317-AH 30.75 347-AH 5.46
148-AH 20.38 178-AH 2.80 258-AH 1.21 288-AH 52.37 318-AH 8.41 348-AH 100.00
149-AH 0.00 179-AH 66.70 259-AH 54.76 289-AH 86.31 319-AH 45.78 349-AH 25.57
150-AH 2.49 180-AH 6.96 260-AH 68.35 290-AH 26.75 320-AH 1.10 350-AH 68.04
151-AH 4.64 181-AH 86.69 261-AH 14.29 291-AH 63.49 321-AH 0.00
152-AH 42.92 182-AH 27.61 262-AH 27.93 292-AH 100.00 322-AH 4.98
153-AH 0.00 183-AH 4.42 263-AH 4.07 293-AH 65.55 323-AH 24.30
154-AH 33.79 184-AH 67.61 264-AH 60.12 294-AH 65.61 324-AH 48.80
155-AH 8.95 185-AH 9.09 265-AH 46.27 295-AH 22.20 325-AH 68.25
156-AH 7.62 186-AH 0.00 266-AH 6.09 296-AH 56.60 326-AH 4.15
157-AH 64.70 187-AH 8.33 267-AH 40.07 297-AH 30.97 327-AH 1.10
158-AH 47.25 188-AH 0.49 268-AH 39.21 298-AH 19.50 328-AH 32.75
159-AH 76.12 189-AH 89.23 269-AH 18.13 299-AH 47.66 329-AH 69.31
160-AH 4.31 190-AH 75.11 270-AH 76.58 300-AH 24.81 330-AH 77.05
161-AH 0.00 191-AH 0.00 271-AH 50.72 301-AH 1.57 331-AH 22.69
162-AH 50.00 192-AH 64.80 272-AH 17.27 302-AH 20.11 332-AH 44.25
163-AH 86.11 193-AH 43.75 273-AH 72.86 303-AH 39.41 333-AH 100.00
164-AH 16.74 194-AH 25.00 274-AH 16.13 304-AH 33.09 334-AH 39.90
165-AH 33.33 195-AH 0.00 275-AH 44.81 305-AH 29.08 335-AH 16.78
166-AH 0.00 196-AH 50.00 276-AH 55.94 306-AH 100.00 336-AH 2.64
167-AH 13.54 197-AH 39.14 277-AH 15.20 307-AH 20.12 337-AH 62.55
168-AH 22.60 198-AH 100.00 278-AH 37.87 308-AH 61.81 338-AH 75.35
169-AH 13.34 199-AH 71.42 279-AH 11.59 309-AH 13.36 339-AH 80.17
170-AH 100.00 200-AH 42.69 280-AH 4.56 310-AH 2.51 340-AH 32.67
584
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_06 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
retrieval with Pseudo-relevance feedback using Bose
Einstein statistics as term selection function,
Rocchio for reweigth terms and BM25 as ranking
function. Clauses 0.6 similarity
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 46.00 BM25_BO1_CLAUSES_06
10 docs 39.06 90%
15 docs 35.38
80%
20 docs 32.69
30 docs 28.04 70%
100 docs 15.97
60%
200 docs 9.98
Precision
500 docs 4.71 50%
1000 docs 2.50 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.37
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0833
Second Quartile 0.3333
Third Quartile 0.5896
Interquartile range 0.5062 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3737
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2970 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3737 20
15
Std With No Outliers 0.2970
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_06
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
585
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_06 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 26.32 251-AH 58.46 281-AH 35.71 311-AH 40.74 341-AH 66.67
142-AH 87.50 172-AH 14.29 252-AH 41.38 282-AH 29.03 312-AH 51.61 342-AH 51.04
143-AH 76.92 173-AH 100.00 253-AH 44.21 283-AH 52.63 313-AH 5.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 41.48 284-AH 47.37 314-AH 5.56 344-AH 36.36
145-AH 71.05 175-AH 85.71 255-AH 25.00 285-AH 71.01 315-AH 40.68 345-AH 11.11
146-AH 50.00 176-AH 71.79 256-AH 73.53 286-AH 8.33 316-AH 8.47 346-AH 0.00
147-AH 58.82 177-AH 30.77 257-AH 23.81 287-AH 55.10 317-AH 33.33 347-AH 0.00
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 50.00 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 59.09 259-AH 33.33 289-AH 77.78 319-AH 47.37 349-AH 33.33
150-AH 0.00 180-AH 2.50 260-AH 66.67 290-AH 34.69 320-AH 0.00 350-AH 70.00
151-AH 0.00 181-AH 83.70 261-AH 23.53 291-AH 56.67 321-AH 0.00
152-AH 36.36 182-AH 25.00 262-AH 32.94 292-AH 100.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 55.88 323-AH 23.08
154-AH 33.33 184-AH 66.67 264-AH 54.55 294-AH 59.26 324-AH 50.00
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 31.37 325-AH 63.93
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 0.00
157-AH 61.87 187-AH 0.00 267-AH 38.10 297-AH 33.33 327-AH 0.00
158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 43.48
159-AH 70.37 189-AH 85.71 269-AH 22.22 299-AH 50.00 329-AH 76.47
160-AH 0.00 190-AH 77.78 270-AH 63.16 300-AH 23.81 330-AH 70.59
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 66.67 272-AH 14.29 302-AH 23.53 332-AH 50.00
163-AH 78.69 193-AH 28.57 273-AH 68.67 303-AH 35.71 333-AH 100.00
164-AH 22.22 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 42.42 305-AH 32.79 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 50.85 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 40.00 277-AH 30.77 307-AH 28.57 337-AH 65.00
168-AH 27.78 198-AH 100.00 278-AH 38.10 308-AH 54.55 338-AH 70.00
169-AH 16.67 199-AH 70.00 279-AH 25.00 309-AH 20.00 339-AH 73.68
170-AH 100.00 200-AH 55.56 280-AH 8.00 310-AH 4.76 340-AH 20.00
586
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_09 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,006 Pooled false
Geometric Mean Average Precision 0.1618 (See overleaf for description)
Binary Preference (BPREF) 0.3664
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.08 BM25_BO1_CLAUSES_09
10 60.53 90%
20 54.75
80%
30 48.93
40 45.27 70%
50 41.86
60%
60 36.96
Precision
70 31.40 50%
80 25.83 40%
90 20.20
30%
100 13.44
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.57 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1217
Second Quartile 0.3350
Third Quartile 0.6559
Interquartile range 0.5342 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3957
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3036 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3957
10
Std With No Outliers 0.3036
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
587
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_09 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 23.21 251-AH 57.95 281-AH 41.13 311-AH 32.60 341-AH 73.21
142-AH 93.63 172-AH 10.31 252-AH 46.94 282-AH 22.31 312-AH 59.29 342-AH 56.26
143-AH 85.64 173-AH 100.00 253-AH 40.08 283-AH 47.75 313-AH 5.26 343-AH 1.59
144-AH 34.03 174-AH 100.00 254-AH 33.45 284-AH 48.14 314-AH 7.58 344-AH 32.81
145-AH 76.06 175-AH 90.71 255-AH 43.58 285-AH 80.91 315-AH 34.39 345-AH 17.91
146-AH 25.49 176-AH 87.38 256-AH 90.82 286-AH 3.79 316-AH 9.86 346-AH 7.13
147-AH 73.33 177-AH 33.55 257-AH 19.44 287-AH 44.26 317-AH 29.64 347-AH 6.59
148-AH 20.16 178-AH 2.80 258-AH 1.21 288-AH 52.43 318-AH 8.17 348-AH 100.00
149-AH 0.00 179-AH 66.54 259-AH 54.76 289-AH 86.31 319-AH 53.50 349-AH 25.58
150-AH 2.49 180-AH 6.96 260-AH 67.91 290-AH 26.75 320-AH 1.10 350-AH 66.73
151-AH 5.89 181-AH 86.69 261-AH 14.29 291-AH 62.78 321-AH 0.00
152-AH 42.80 182-AH 27.61 262-AH 27.95 292-AH 100.00 322-AH 5.76
153-AH 0.00 183-AH 3.69 263-AH 4.07 293-AH 66.98 323-AH 24.26
154-AH 33.00 184-AH 67.60 264-AH 60.12 294-AH 66.46 324-AH 48.80
155-AH 8.96 185-AH 9.09 265-AH 45.96 295-AH 22.17 325-AH 68.25
156-AH 8.61 186-AH 0.00 266-AH 6.09 296-AH 56.61 326-AH 3.94
157-AH 65.50 187-AH 7.14 267-AH 38.69 297-AH 32.54 327-AH 1.11
158-AH 46.81 188-AH 0.49 268-AH 39.22 298-AH 19.52 328-AH 33.07
159-AH 76.32 189-AH 89.23 269-AH 18.13 299-AH 52.43 329-AH 68.66
160-AH 4.54 190-AH 78.11 270-AH 77.34 300-AH 24.80 330-AH 77.05
161-AH 0.00 191-AH 0.00 271-AH 52.07 301-AH 1.53 331-AH 20.29
162-AH 50.00 192-AH 65.67 272-AH 17.95 302-AH 20.18 332-AH 44.18
163-AH 85.96 193-AH 42.97 273-AH 74.67 303-AH 40.97 333-AH 100.00
164-AH 14.32 194-AH 25.00 274-AH 16.20 304-AH 33.16 334-AH 50.09
165-AH 33.33 195-AH 0.00 275-AH 45.81 305-AH 28.83 335-AH 16.98
166-AH 0.00 196-AH 50.00 276-AH 55.94 306-AH 100.00 336-AH 2.57
167-AH 13.54 197-AH 42.51 277-AH 15.19 307-AH 21.43 337-AH 72.29
168-AH 25.70 198-AH 100.00 278-AH 44.33 308-AH 59.76 338-AH 75.65
169-AH 12.75 199-AH 71.42 279-AH 11.59 309-AH 13.04 339-AH 80.87
170-AH 100.00 200-AH 42.76 280-AH 4.56 310-AH 2.51 340-AH 32.38
588
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_09 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
retrieval with Pseudo-relevance feedback using Bose
Einstein statistics as term selection function,
Rocchio for reweigth terms and BM25 as ranking
function. Clauses 0.9 similarity
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 46.25 BM25_BO1_CLAUSES_09
10 docs 39.75 90%
15 docs 35.58
80%
20 docs 33.09
30 docs 28.38 70%
100 docs 16.15
60%
200 docs 9.96
Precision
500 docs 4.71 50%
1000 docs 2.50 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.72
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0878
Second Quartile 0.3333
Third Quartile 0.6170
Interquartile range 0.5291 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3772
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2974 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3772 20
15
Std With No Outliers 0.2974
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
BM25_BO1_CLAUSES_09
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
589
ucm 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UCM.BM25_BO1_CLAUSES_09 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 26.32 251-AH 58.46 281-AH 35.71 311-AH 40.74 341-AH 66.67
142-AH 87.50 172-AH 14.29 252-AH 41.38 282-AH 29.03 312-AH 48.39 342-AH 51.04
143-AH 76.92 173-AH 100.00 253-AH 44.21 283-AH 52.63 313-AH 5.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 41.48 284-AH 50.00 314-AH 5.56 344-AH 36.36
145-AH 71.05 175-AH 85.71 255-AH 25.00 285-AH 72.46 315-AH 40.68 345-AH 11.11
146-AH 50.00 176-AH 71.79 256-AH 73.53 286-AH 8.33 316-AH 8.47 346-AH 0.00
147-AH 58.82 177-AH 30.77 257-AH 23.81 287-AH 53.06 317-AH 36.67 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 51.32 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 59.09 259-AH 33.33 289-AH 77.78 319-AH 63.16 349-AH 33.33
150-AH 0.00 180-AH 0.00 260-AH 66.67 290-AH 34.69 320-AH 0.00 350-AH 70.00
151-AH 0.00 181-AH 83.70 261-AH 23.53 291-AH 56.67 321-AH 0.00
152-AH 36.36 182-AH 25.00 262-AH 32.94 292-AH 100.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 8.33 293-AH 58.82 323-AH 23.08
154-AH 33.33 184-AH 66.67 264-AH 54.55 294-AH 62.96 324-AH 50.00
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 31.37 325-AH 63.93
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 58.33 326-AH 0.00
157-AH 60.43 187-AH 0.00 267-AH 38.10 297-AH 33.33 327-AH 0.00
158-AH 44.12 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 43.48
159-AH 68.52 189-AH 85.71 269-AH 22.22 299-AH 51.32 329-AH 70.59
160-AH 0.00 190-AH 77.78 270-AH 63.16 300-AH 23.81 330-AH 70.59
161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 0.00 331-AH 23.53
162-AH 0.00 192-AH 66.67 272-AH 14.29 302-AH 23.53 332-AH 50.00
163-AH 78.69 193-AH 28.57 273-AH 68.67 303-AH 42.86 333-AH 100.00
164-AH 18.52 194-AH 0.00 274-AH 25.00 304-AH 26.67 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 43.94 305-AH 31.15 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 50.85 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 42.00 277-AH 30.77 307-AH 31.17 337-AH 70.00
168-AH 33.33 198-AH 100.00 278-AH 38.10 308-AH 54.55 338-AH 70.00
169-AH 16.67 199-AH 70.00 279-AH 25.00 309-AH 20.00 339-AH 73.68
170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 4.76 340-AH 20.00
590
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD1_TEST CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,352 Pooled false
Geometric Mean Average Precision 0.1328 Lemmas No Stem
Binary Preference (BPREF) 0.3434
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 69.11 UFRGS_R_MONO_WSD1_TEST
10 57.79 90%
20 49.83
80%
30 42.26
40 36.86 70%
50 33.83
60%
60 28.75
Precision
70 24.67 50%
80 21.20 40%
90 16.51
30%
100 12.28
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.24 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0813
Second Quartile 0.2502
Third Quartile 0.5369
Interquartile range 0.4556 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3424
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2981 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3424
10
Std With No Outliers 0.2981
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
591
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD1_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.38 251-AH 46.36 281-AH 58.74 311-AH 18.35 341-AH 86.27
142-AH 98.61 172-AH 24.90 252-AH 7.13 282-AH 21.66 312-AH 31.90 342-AH 73.33
143-AH 66.75 173-AH 100.00 253-AH 8.03 283-AH 5.62 313-AH 14.45 343-AH 0.70
144-AH 49.11 174-AH 100.00 254-AH 5.02 284-AH 50.79 314-AH 5.62 344-AH 42.01
145-AH 49.33 175-AH 65.25 255-AH 47.62 285-AH 52.14 315-AH 23.02 345-AH 10.93
146-AH 7.41 176-AH 91.30 256-AH 80.46 286-AH 1.75 316-AH 7.15 346-AH 5.10
147-AH 49.86 177-AH 16.00 257-AH 15.87 287-AH 28.65 317-AH 24.57 347-AH 12.61
148-AH 2.50 178-AH 3.35 258-AH 1.98 288-AH 14.37 318-AH 24.39 348-AH 100.00
149-AH 0.00 179-AH 55.86 259-AH 66.98 289-AH 50.34 319-AH 9.74 349-AH 39.93
150-AH 14.05 180-AH 62.43 260-AH 65.79 290-AH 6.63 320-AH 6.66 350-AH 66.83
151-AH 11.32 181-AH 74.43 261-AH 10.43 291-AH 49.23 321-AH 0.00
152-AH 54.80 182-AH 30.85 262-AH 9.56 292-AH 68.45 322-AH 2.71
153-AH 0.00 183-AH 3.36 263-AH 13.42 293-AH 43.74 323-AH 24.46
154-AH 31.02 184-AH 31.07 264-AH 55.85 294-AH 62.70 324-AH 16.22
155-AH 33.87 185-AH 100.00 265-AH 59.96 295-AH 25.56 325-AH 30.48
156-AH 8.22 186-AH 0.00 266-AH 1.35 296-AH 30.04 326-AH 23.13
157-AH 41.48 187-AH 7.69 267-AH 20.84 297-AH 28.64 327-AH 17.26
158-AH 32.08 188-AH 0.82 268-AH 46.67 298-AH 20.07 328-AH 46.16
159-AH 10.07 189-AH 92.14 269-AH 24.64 299-AH 35.69 329-AH 73.62
160-AH 3.10 190-AH 13.63 270-AH 50.99 300-AH 21.12 330-AH 72.23
161-AH 0.00 191-AH 0.00 271-AH 58.43 301-AH 1.37 331-AH 19.29
162-AH 25.00 192-AH 15.81 272-AH 28.55 302-AH 13.03 332-AH 44.00
163-AH 68.01 193-AH 41.50 273-AH 35.83 303-AH 6.11 333-AH 100.00
164-AH 6.19 194-AH 100.00 274-AH 53.88 304-AH 30.45 334-AH 20.76
165-AH 100.00 195-AH 0.00 275-AH 12.49 305-AH 19.54 335-AH 13.27
166-AH 0.00 196-AH 50.00 276-AH 31.49 306-AH 100.00 336-AH 0.34
167-AH 7.09 197-AH 53.04 277-AH 19.95 307-AH 4.16 337-AH 56.72
168-AH 32.44 198-AH 100.00 278-AH 12.10 308-AH 57.18 338-AH 72.10
169-AH 2.42 199-AH 66.13 279-AH 11.15 309-AH 2.94 339-AH 53.49
170-AH 100.00 200-AH 25.05 280-AH 2.05 310-AH 5.42 340-AH 32.68
592
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD1_TEST CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 42.88 UFRGS_R_MONO_WSD1_TEST
10 docs 35.50 90%
15 docs 31.00
80%
20 docs 28.00
30 docs 24.35 70%
100 docs 13.11
60%
200 docs 8.07
Precision
500 docs 3.84 50%
1000 docs 2.10 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.16
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1140
Second Quartile 0.3033
Third Quartile 0.5000
Interquartile range 0.3860 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3416
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2824 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3416 15
Std With No Outliers 0.2824 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
593
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD1_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 43.08 281-AH 57.14 311-AH 27.78 341-AH 83.33
142-AH 87.50 172-AH 14.29 252-AH 13.79 282-AH 19.35 312-AH 32.26 342-AH 71.88
143-AH 53.85 173-AH 100.00 253-AH 15.26 283-AH 13.16 313-AH 35.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 12.66 284-AH 50.00 314-AH 5.56 344-AH 42.42
145-AH 50.00 175-AH 57.14 255-AH 50.00 285-AH 59.42 315-AH 33.90 345-AH 22.22
146-AH 0.00 176-AH 84.62 256-AH 70.59 286-AH 0.00 316-AH 9.32 346-AH 9.09
147-AH 47.06 177-AH 7.69 257-AH 25.40 287-AH 32.65 317-AH 40.00 347-AH 11.11
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 26.32 318-AH 22.22 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 44.44 319-AH 15.79 349-AH 48.15
150-AH 20.00 180-AH 57.50 260-AH 60.32 290-AH 8.16 320-AH 18.75 350-AH 70.00
151-AH 8.33 181-AH 71.74 261-AH 17.65 291-AH 56.67 321-AH 0.00
152-AH 45.45 182-AH 25.00 262-AH 20.00 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 25.00 293-AH 50.00 323-AH 23.08
154-AH 42.86 184-AH 33.33 264-AH 59.09 294-AH 59.26 324-AH 24.32
155-AH 33.33 185-AH 100.00 265-AH 50.00 295-AH 33.33 325-AH 31.15
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00
157-AH 47.48 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00
158-AH 32.35 188-AH 0.00 268-AH 33.33 298-AH 26.67 328-AH 43.48
159-AH 14.81 189-AH 71.43 269-AH 22.22 299-AH 42.11 329-AH 58.82
160-AH 0.00 190-AH 11.11 270-AH 45.61 300-AH 33.33 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 17.65 332-AH 37.50
163-AH 64.75 193-AH 42.86 273-AH 38.55 303-AH 14.29 333-AH 100.00
164-AH 7.41 194-AH 100.00 274-AH 50.00 304-AH 33.33 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 19.70 305-AH 29.51 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 33.90 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 46.00 277-AH 23.08 307-AH 11.69 337-AH 60.00
168-AH 44.44 198-AH 100.00 278-AH 19.05 308-AH 54.55 338-AH 60.00
169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 42.11
170-AH 100.00 200-AH 22.22 280-AH 8.00 310-AH 11.11 340-AH 20.00
594
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD2_TEST CLEF2008
Overall statistics for 160 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,368 Pooled false
Geometric Mean Average Precision 0.1309 Multiwords Expressions No Stem
Binary Preference (BPREF) 0.3332
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 68.40 UFRGS_R_MONO_WSD2_TEST
10 57.07 90%
20 49.52
80%
30 42.21
40 37.30 70%
50 33.77
60%
60 28.59
Precision
70 24.32 50%
80 20.62 40%
90 15.98
30%
100 11.57
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.91 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0814
Second Quartile 0.2846
Third Quartile 0.5289
Interquartile range 0.4475 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3391
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2882 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3391 15
Std With No Outliers 0.2882 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
595
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD2_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 8.25 251-AH 46.53 281-AH 58.80 311-AH 18.34 341-AH 86.46
142-AH 98.61 172-AH 24.97 252-AH 7.10 282-AH 21.77 312-AH 30.63 342-AH 64.34
143-AH 67.03 173-AH 100.00 253-AH 8.04 283-AH 6.21 313-AH 14.57 343-AH 0.71
144-AH 49.52 174-AH 100.00 254-AH 4.74 284-AH 50.95 314-AH 5.66 344-AH 36.82
145-AH 49.35 175-AH 64.26 255-AH 47.62 285-AH 52.56 315-AH 9.97 345-AH 10.90
146-AH 7.41 176-AH 91.23 256-AH 80.38 286-AH 0.54 316-AH 7.20 346-AH 5.31
147-AH 57.27 177-AH 15.99 257-AH 15.90 287-AH 28.81 317-AH 24.72 347-AH 10.78
148-AH 2.35 178-AH 3.35 258-AH 1.95 288-AH 14.87 318-AH 24.44 348-AH 100.00
149-AH 0.00 179-AH 55.85 259-AH 66.98 289-AH 50.56 319-AH 9.86 349-AH 39.37
150-AH 13.97 180-AH 62.48 260-AH 65.93 290-AH 29.61 320-AH 21.09 350-AH 66.83
151-AH 11.39 181-AH 74.50 261-AH 10.44 291-AH 52.88 321-AH 0.00
152-AH 54.77 182-AH 30.85 262-AH 9.66 292-AH 48.21 322-AH 2.67
153-AH 0.00 183-AH 3.38 263-AH 6.45 293-AH 46.02 323-AH 24.51
154-AH 30.90 184-AH 31.63 264-AH 55.95 294-AH 62.62 324-AH 16.22
155-AH 33.89 185-AH 50.00 265-AH 58.92 295-AH 25.46 325-AH 52.91
156-AH 8.36 186-AH 0.00 266-AH 1.35 296-AH 30.12 326-AH 22.99
157-AH 24.54 187-AH 7.69 267-AH 31.80 297-AH 28.34 327-AH 17.74
158-AH 21.52 188-AH 0.81 268-AH 46.67 298-AH 13.10 328-AH 46.16
159-AH 10.10 189-AH 92.14 269-AH 24.62 299-AH 35.59 329-AH 66.92
160-AH 3.06 190-AH 42.74 270-AH 50.56 300-AH 24.48 330-AH 72.00
161-AH 0.00 191-AH 0.00 271-AH 55.99 301-AH 1.30 331-AH 26.88
162-AH 50.00 192-AH 5.48 272-AH 28.58 302-AH 12.93 332-AH 44.00
163-AH 68.17 193-AH 47.29 273-AH 35.74 303-AH 6.23 333-AH 100.00
164-AH 3.90 194-AH 100.00 274-AH 55.73 304-AH 30.47 334-AH 20.76
165-AH 100.00 195-AH 0.00 275-AH 12.47 305-AH 29.51 335-AH 13.27
166-AH 0.00 196-AH 50.00 276-AH 31.56 306-AH 100.00 336-AH 0.34
167-AH 5.14 197-AH 52.31 277-AH 19.95 307-AH 4.05 337-AH 56.80
168-AH 32.06 198-AH 50.00 278-AH 3.01 308-AH 57.12 338-AH 72.10
169-AH 2.41 199-AH 66.13 279-AH 11.13 309-AH 2.91 339-AH 53.68
170-AH 100.00 200-AH 25.12 280-AH 2.09 310-AH 5.80 340-AH 35.24
596
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD2_TEST CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 43.25 UFRGS_R_MONO_WSD2_TEST
10 docs 35.88 90%
15 docs 31.29
80%
20 docs 28.03
30 docs 24.15 70%
100 docs 12.87
60%
200 docs 8.00
Precision
500 docs 3.86 50%
1000 docs 2.11 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.67
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0921
Second Quartile 0.2899
Third Quartile 0.5000
Interquartile range 0.4079 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3267
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2770 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3267 20
15
Std With No Outliers 0.2770
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD2_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
597
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD2_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 43.08 281-AH 57.14 311-AH 27.78 341-AH 83.33
142-AH 87.50 172-AH 14.29 252-AH 13.79 282-AH 19.35 312-AH 32.26 342-AH 65.62
143-AH 53.85 173-AH 100.00 253-AH 15.79 283-AH 13.16 313-AH 35.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 12.66 284-AH 50.00 314-AH 5.56 344-AH 36.36
145-AH 50.00 175-AH 57.14 255-AH 50.00 285-AH 57.97 315-AH 15.25 345-AH 22.22
146-AH 0.00 176-AH 82.05 256-AH 70.59 286-AH 0.00 316-AH 9.32 346-AH 9.09
147-AH 50.98 177-AH 7.69 257-AH 25.40 287-AH 34.69 317-AH 40.00 347-AH 11.11
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 27.63 318-AH 33.33 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 44.44 319-AH 10.53 349-AH 44.44
150-AH 20.00 180-AH 57.50 260-AH 60.32 290-AH 40.82 320-AH 25.00 350-AH 70.00
151-AH 8.33 181-AH 71.74 261-AH 17.65 291-AH 53.33 321-AH 0.00
152-AH 45.45 182-AH 25.00 262-AH 20.00 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 47.06 323-AH 23.08
154-AH 38.10 184-AH 33.33 264-AH 54.55 294-AH 59.26 324-AH 24.32
155-AH 33.33 185-AH 0.00 265-AH 50.00 295-AH 33.33 325-AH 52.46
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00
157-AH 28.06 187-AH 0.00 267-AH 23.81 297-AH 41.67 327-AH 25.00
158-AH 26.47 188-AH 0.00 268-AH 33.33 298-AH 13.33 328-AH 43.48
159-AH 14.81 189-AH 71.43 269-AH 22.22 299-AH 42.11 329-AH 58.82
160-AH 0.00 190-AH 44.44 270-AH 45.61 300-AH 30.95 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 29.41
162-AH 0.00 192-AH 0.00 272-AH 28.57 302-AH 17.65 332-AH 37.50
163-AH 65.57 193-AH 42.86 273-AH 38.55 303-AH 14.29 333-AH 100.00
164-AH 0.00 194-AH 100.00 274-AH 56.25 304-AH 33.33 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 19.70 305-AH 36.07 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 33.90 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 46.00 277-AH 23.08 307-AH 11.69 337-AH 60.00
168-AH 44.44 198-AH 0.00 278-AH 4.76 308-AH 54.55 338-AH 60.00
169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 42.11
170-AH 100.00 200-AH 22.22 280-AH 8.00 310-AH 11.11 340-AH 40.00
598
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD3_TEST CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,462 Pooled false
Geometric Mean Average Precision 0.1325 Multiwords Expressions Stem
Binary Preference (BPREF) 0.3383
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 69.16 UFRGS_R_MONO_WSD3_TEST
10 57.74 90%
20 50.09
80%
30 42.71
40 38.05 70%
50 33.79
60%
60 28.35
Precision
70 24.58 50%
80 21.46 40%
90 17.11
30%
100 12.76
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.34 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0995
Second Quartile 0.2773
Third Quartile 0.5295
Interquartile range 0.4300 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3434
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2885 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3434
10
Std With No Outliers 0.2885
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
599
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD3_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 8.00 251-AH 47.52 281-AH 56.81 311-AH 18.27 341-AH 85.61
142-AH 98.61 172-AH 28.17 252-AH 7.98 282-AH 16.23 312-AH 32.49 342-AH 59.93
143-AH 66.20 173-AH 100.00 253-AH 9.83 283-AH 5.33 313-AH 13.86 343-AH 0.54
144-AH 56.25 174-AH 100.00 254-AH 6.57 284-AH 52.64 314-AH 9.46 344-AH 37.60
145-AH 53.27 175-AH 63.17 255-AH 46.01 285-AH 53.45 315-AH 20.73 345-AH 11.14
146-AH 14.39 176-AH 92.75 256-AH 80.67 286-AH 0.29 316-AH 6.81 346-AH 5.29
147-AH 52.52 177-AH 15.81 257-AH 27.42 287-AH 29.60 317-AH 28.41 347-AH 10.61
148-AH 2.02 178-AH 5.33 258-AH 1.89 288-AH 11.02 318-AH 24.36 348-AH 100.00
149-AH 0.00 179-AH 54.01 259-AH 66.95 289-AH 63.56 319-AH 13.23 349-AH 19.37
150-AH 14.43 180-AH 33.47 260-AH 63.30 290-AH 28.04 320-AH 20.98 350-AH 41.01
151-AH 14.99 181-AH 73.46 261-AH 16.46 291-AH 34.74 321-AH 0.00
152-AH 48.18 182-AH 46.29 262-AH 9.43 292-AH 53.33 322-AH 2.63
153-AH 0.00 183-AH 5.66 263-AH 6.70 293-AH 46.97 323-AH 20.49
154-AH 36.01 184-AH 32.35 264-AH 56.44 294-AH 59.83 324-AH 45.04
155-AH 32.78 185-AH 50.00 265-AH 41.82 295-AH 24.92 325-AH 54.60
156-AH 9.68 186-AH 0.00 266-AH 1.68 296-AH 34.76 326-AH 18.79
157-AH 24.61 187-AH 12.50 267-AH 29.56 297-AH 26.65 327-AH 13.37
158-AH 26.42 188-AH 0.14 268-AH 24.41 298-AH 22.55 328-AH 50.07
159-AH 15.21 189-AH 100.00 269-AH 23.99 299-AH 44.44 329-AH 70.52
160-AH 4.19 190-AH 46.42 270-AH 54.09 300-AH 25.00 330-AH 19.20
161-AH 0.00 191-AH 0.00 271-AH 57.10 301-AH 34.18 331-AH 20.55
162-AH 50.00 192-AH 4.94 272-AH 29.47 302-AH 3.16 332-AH 41.74
163-AH 74.13 193-AH 56.55 273-AH 35.51 303-AH 7.97 333-AH 100.00
164-AH 0.17 194-AH 100.00 274-AH 52.60 304-AH 35.62 334-AH 23.35
165-AH 100.00 195-AH 0.00 275-AH 14.72 305-AH 28.61 335-AH 11.67
166-AH 0.00 196-AH 50.00 276-AH 32.97 306-AH 100.00 336-AH 0.34
167-AH 6.45 197-AH 52.50 277-AH 20.82 307-AH 4.82 337-AH 59.93
168-AH 45.40 198-AH 100.00 278-AH 10.08 308-AH 57.23 338-AH 84.15
169-AH 1.95 199-AH 62.76 279-AH 10.26 309-AH 1.62 339-AH 44.99
170-AH 100.00 200-AH 25.67 280-AH 2.13 310-AH 6.57 340-AH 26.93
600
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD3_TEST CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 43.38 UFRGS_R_MONO_WSD3_TEST
10 docs 35.31 90%
15 docs 31.25
80%
20 docs 28.69
30 docs 24.04 70%
100 docs 13.05
60%
200 docs 8.18
Precision
500 docs 3.97 50%
1000 docs 2.16 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.33
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0976
Second Quartile 0.3069
Third Quartile 0.5000
Interquartile range 0.4024 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3333
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2814 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 1.0000 25
Mean With No Outliers 0.3333 20
15
Std With No Outliers 0.2814
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD3_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
601
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD3_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 46.15 281-AH 57.14 311-AH 27.78 341-AH 83.33
142-AH 87.50 172-AH 14.29 252-AH 13.79 282-AH 19.35 312-AH 35.48 342-AH 63.54
143-AH 58.97 173-AH 100.00 253-AH 20.00 283-AH 13.16 313-AH 35.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 17.90 284-AH 50.00 314-AH 5.56 344-AH 33.33
145-AH 47.37 175-AH 57.14 255-AH 25.00 285-AH 56.52 315-AH 23.73 345-AH 22.22
146-AH 0.00 176-AH 82.05 256-AH 70.59 286-AH 0.00 316-AH 11.02 346-AH 9.09
147-AH 47.06 177-AH 7.69 257-AH 33.33 287-AH 38.78 317-AH 36.67 347-AH 11.11
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 15.79 318-AH 33.33 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 61.11 319-AH 15.79 349-AH 14.81
150-AH 10.00 180-AH 30.00 260-AH 58.73 290-AH 40.82 320-AH 25.00 350-AH 30.00
151-AH 25.00 181-AH 71.74 261-AH 20.59 291-AH 40.00 321-AH 0.00
152-AH 45.45 182-AH 50.00 262-AH 17.65 292-AH 25.00 322-AH 0.00
153-AH 0.00 183-AH 0.00 263-AH 2.08 293-AH 52.94 323-AH 23.08
154-AH 42.86 184-AH 33.33 264-AH 54.55 294-AH 55.56 324-AH 51.35
155-AH 33.33 185-AH 0.00 265-AH 50.00 295-AH 31.37 325-AH 54.10
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00
157-AH 26.62 187-AH 0.00 267-AH 33.33 297-AH 33.33 327-AH 25.00
158-AH 32.35 188-AH 0.00 268-AH 33.33 298-AH 26.67 328-AH 47.83
159-AH 18.52 189-AH 100.00 269-AH 22.22 299-AH 40.79 329-AH 58.82
160-AH 0.00 190-AH 44.44 270-AH 47.37 300-AH 23.81 330-AH 21.57
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 37.50 331-AH 5.88
162-AH 0.00 192-AH 0.00 272-AH 35.71 302-AH 5.88 332-AH 37.50
163-AH 68.85 193-AH 57.14 273-AH 40.96 303-AH 7.14 333-AH 100.00
164-AH 0.00 194-AH 100.00 274-AH 56.25 304-AH 40.00 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 25.76 305-AH 32.79 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 50.00 277-AH 26.92 307-AH 12.99 337-AH 55.00
168-AH 50.00 198-AH 100.00 278-AH 9.52 308-AH 54.55 338-AH 70.00
169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 36.84
170-AH 100.00 200-AH 22.22 280-AH 8.00 310-AH 12.70 340-AH 40.00
602
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD4_TEST CLEF2008
Overall statistics for 160 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,458 Pooled false
Geometric Mean Average Precision 0.1357 No Compound No Stem
Binary Preference (BPREF) 0.3394
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.25 UFRGS_R_MONO_WSD4_TEST
10 55.87 90%
20 49.75
80%
30 42.43
40 37.93 70%
50 34.52
60%
60 30.00
Precision
70 25.19 50%
80 21.43 40%
90 16.42
30%
100 12.17
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.32 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0953
Second Quartile 0.2748
Third Quartile 0.5329
Interquartile range 0.4376 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3432
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2948 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 1.0000
15
Mean With No Outliers 0.3432
10
Std With No Outliers 0.2948
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
603
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD4_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 14.51 251-AH 50.69 281-AH 46.77 311-AH 19.46 341-AH 86.04
142-AH 98.61 172-AH 6.86 252-AH 29.34 282-AH 20.29 312-AH 27.28 342-AH 72.15
143-AH 68.29 173-AH 100.00 253-AH 10.19 283-AH 2.32 313-AH 13.92 343-AH 9.09
144-AH 53.33 174-AH 100.00 254-AH 5.58 284-AH 51.16 314-AH 5.60 344-AH 40.75
145-AH 48.42 175-AH 63.89 255-AH 46.62 285-AH 51.79 315-AH 22.74 345-AH 12.70
146-AH 11.54 176-AH 90.94 256-AH 81.08 286-AH 1.37 316-AH 7.53 346-AH 6.18
147-AH 47.92 177-AH 13.86 257-AH 16.20 287-AH 28.49 317-AH 27.50 347-AH 10.31
148-AH 8.99 178-AH 0.78 258-AH 0.20 288-AH 16.53 318-AH 19.77 348-AH 100.00
149-AH 0.00 179-AH 35.66 259-AH 66.95 289-AH 49.95 319-AH 9.99 349-AH 38.84
150-AH 14.26 180-AH 62.04 260-AH 65.28 290-AH 5.32 320-AH 6.99 350-AH 64.92
151-AH 11.01 181-AH 74.87 261-AH 10.42 291-AH 53.29 321-AH 0.00
152-AH 60.12 182-AH 30.40 262-AH 14.20 292-AH 73.21 322-AH 2.96
153-AH 0.00 183-AH 3.17 263-AH 13.04 293-AH 38.82 323-AH 25.05
154-AH 35.59 184-AH 36.34 264-AH 56.10 294-AH 58.16 324-AH 16.04
155-AH 34.54 185-AH 100.00 265-AH 59.17 295-AH 24.03 325-AH 29.66
156-AH 6.30 186-AH 0.00 266-AH 1.18 296-AH 30.28 326-AH 23.06
157-AH 42.31 187-AH 8.33 267-AH 20.61 297-AH 30.35 327-AH 9.97
158-AH 41.05 188-AH 5.00 268-AH 66.67 298-AH 19.93 328-AH 45.58
159-AH 10.30 189-AH 91.29 269-AH 24.13 299-AH 35.02 329-AH 73.37
160-AH 3.82 190-AH 12.65 270-AH 50.21 300-AH 21.49 330-AH 74.04
161-AH 0.00 191-AH 0.00 271-AH 56.56 301-AH 1.25 331-AH 29.43
162-AH 50.00 192-AH 27.45 272-AH 28.50 302-AH 12.55 332-AH 43.25
163-AH 67.27 193-AH 43.74 273-AH 61.86 303-AH 5.35 333-AH 100.00
164-AH 5.90 194-AH 14.29 274-AH 31.74 304-AH 30.30 334-AH 24.71
165-AH 100.00 195-AH 0.00 275-AH 16.69 305-AH 19.10 335-AH 16.14
166-AH 0.00 196-AH 50.00 276-AH 31.73 306-AH 100.00 336-AH 0.33
167-AH 7.23 197-AH 42.23 277-AH 9.03 307-AH 5.07 337-AH 68.32
168-AH 32.40 198-AH 100.00 278-AH 11.55 308-AH 75.61 338-AH 71.99
169-AH 5.85 199-AH 69.03 279-AH 9.09 309-AH 4.36 339-AH 53.28
170-AH 100.00 200-AH 21.22 280-AH 3.52 310-AH 5.43 340-AH 33.61
604
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD4_TEST CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 41.88 UFRGS_R_MONO_WSD4_TEST
10 docs 35.31 90%
15 docs 31.21
80%
20 docs 28.13
30 docs 24.29 70%
100 docs 13.19
60%
200 docs 8.22
Precision
500 docs 3.94 50%
1000 docs 2.16 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.32
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1035
Second Quartile 0.3333
Third Quartile 0.5000
Interquartile range 0.3965 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3432
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2809 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3432 15
Std With No Outliers 0.2809 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD4_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
605
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD4_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 15.79 251-AH 50.77 281-AH 45.24 311-AH 27.78 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 34.48 282-AH 29.03 312-AH 25.81 342-AH 71.88
143-AH 56.41 173-AH 100.00 253-AH 16.84 283-AH 7.89 313-AH 30.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 13.10 284-AH 47.37 314-AH 5.56 344-AH 45.45
145-AH 47.37 175-AH 57.14 255-AH 50.00 285-AH 59.42 315-AH 33.90 345-AH 11.11
146-AH 0.00 176-AH 82.05 256-AH 70.59 286-AH 0.00 316-AH 10.17 346-AH 9.09
147-AH 43.14 177-AH 7.69 257-AH 25.40 287-AH 34.69 317-AH 33.33 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 27.63 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 36.36 259-AH 66.67 289-AH 50.00 319-AH 10.53 349-AH 48.15
150-AH 0.00 180-AH 55.00 260-AH 61.90 290-AH 4.08 320-AH 12.50 350-AH 70.00
151-AH 8.33 181-AH 75.00 261-AH 17.65 291-AH 50.00 321-AH 0.00
152-AH 54.55 182-AH 25.00 262-AH 20.00 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 22.92 293-AH 44.12 323-AH 23.08
154-AH 42.86 184-AH 33.33 264-AH 54.55 294-AH 51.85 324-AH 24.32
155-AH 33.33 185-AH 100.00 265-AH 50.00 295-AH 33.33 325-AH 31.15
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 25.00
157-AH 46.04 187-AH 0.00 267-AH 28.57 297-AH 41.67 327-AH 25.00
158-AH 35.29 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 47.83
159-AH 16.67 189-AH 85.71 269-AH 22.22 299-AH 39.47 329-AH 58.82
160-AH 0.00 190-AH 11.11 270-AH 45.61 300-AH 28.57 330-AH 72.55
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 41.18
162-AH 0.00 192-AH 33.33 272-AH 35.71 302-AH 17.65 332-AH 37.50
163-AH 63.93 193-AH 42.86 273-AH 61.45 303-AH 14.29 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 43.75 304-AH 33.33 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 24.24 305-AH 31.15 335-AH 26.67
166-AH 0.00 196-AH 0.00 276-AH 37.29 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 40.00 277-AH 23.08 307-AH 12.99 337-AH 60.00
168-AH 44.44 198-AH 100.00 278-AH 14.29 308-AH 72.73 338-AH 60.00
169-AH 16.67 199-AH 60.00 279-AH 0.00 309-AH 10.00 339-AH 42.11
170-AH 100.00 200-AH 33.33 280-AH 8.00 310-AH 9.52 340-AH 40.00
606
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD5_TEST CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,577 Pooled false
Geometric Mean Average Precision 0.1418 No Compound Stem
Binary Preference (BPREF) 0.3340
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.19 UFRGS_R_MONO_WSD5_TEST
10 57.31 90%
20 49.95
80%
30 42.79
40 38.81 70%
50 34.02
60%
60 29.68
Precision
70 25.44 50%
80 22.15 40%
90 17.53
30%
100 12.89
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.65 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1059
Second Quartile 0.2841
Third Quartile 0.5235
Interquartile range 0.4176 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3465
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2879 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.3465 10
Std With No Outliers 0.2879
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
607
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD5_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 12.25 251-AH 51.08 281-AH 41.57 311-AH 22.25 341-AH 85.29
142-AH 98.61 172-AH 7.53 252-AH 31.23 282-AH 13.36 312-AH 28.90 342-AH 69.71
143-AH 65.34 173-AH 100.00 253-AH 12.04 283-AH 5.43 313-AH 13.52 343-AH 5.56
144-AH 58.89 174-AH 100.00 254-AH 7.67 284-AH 53.14 314-AH 9.16 344-AH 41.45
145-AH 52.01 175-AH 67.72 255-AH 42.87 285-AH 52.70 315-AH 32.39 345-AH 33.20
146-AH 17.50 176-AH 92.71 256-AH 80.83 286-AH 1.53 316-AH 7.15 346-AH 5.94
147-AH 51.67 177-AH 13.17 257-AH 26.98 287-AH 30.56 317-AH 30.18 347-AH 10.03
148-AH 8.17 178-AH 0.70 258-AH 0.30 288-AH 12.29 318-AH 16.33 348-AH 100.00
149-AH 0.00 179-AH 33.83 259-AH 66.91 289-AH 62.86 319-AH 13.55 349-AH 18.30
150-AH 15.39 180-AH 33.19 260-AH 62.60 290-AH 5.27 320-AH 6.72 350-AH 58.32
151-AH 13.92 181-AH 76.01 261-AH 17.06 291-AH 33.67 321-AH 0.00
152-AH 46.08 182-AH 29.50 262-AH 13.24 292-AH 73.21 322-AH 2.34
153-AH 0.00 183-AH 5.99 263-AH 13.64 293-AH 48.87 323-AH 20.31
154-AH 39.26 184-AH 37.37 264-AH 56.22 294-AH 55.63 324-AH 44.96
155-AH 41.03 185-AH 33.33 265-AH 40.49 295-AH 11.56 325-AH 37.49
156-AH 9.59 186-AH 0.00 266-AH 1.36 296-AH 34.84 326-AH 21.32
157-AH 42.30 187-AH 12.50 267-AH 19.32 297-AH 26.05 327-AH 8.47
158-AH 49.56 188-AH 0.93 268-AH 66.67 298-AH 22.64 328-AH 49.78
159-AH 15.88 189-AH 96.17 269-AH 23.30 299-AH 43.37 329-AH 70.82
160-AH 4.98 190-AH 13.95 270-AH 53.76 300-AH 21.41 330-AH 73.37
161-AH 0.00 191-AH 0.00 271-AH 60.56 301-AH 34.26 331-AH 25.40
162-AH 50.00 192-AH 26.36 272-AH 29.25 302-AH 10.44 332-AH 41.29
163-AH 73.78 193-AH 54.58 273-AH 61.68 303-AH 8.86 333-AH 100.00
164-AH 8.14 194-AH 12.50 274-AH 27.93 304-AH 34.34 334-AH 26.48
165-AH 100.00 195-AH 0.00 275-AH 18.37 305-AH 21.18 335-AH 20.72
166-AH 0.00 196-AH 50.00 276-AH 33.80 306-AH 100.00 336-AH 0.39
167-AH 6.27 197-AH 42.79 277-AH 10.75 307-AH 6.00 337-AH 69.71
168-AH 45.34 198-AH 100.00 278-AH 16.76 308-AH 75.81 338-AH 84.15
169-AH 2.34 199-AH 64.45 279-AH 8.49 309-AH 3.85 339-AH 45.07
170-AH 100.00 200-AH 26.70 280-AH 3.80 310-AH 7.16 340-AH 22.74
608
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD5_TEST CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 41.75 UFRGS_R_MONO_WSD5_TEST
10 docs 35.38 90%
15 docs 31.58
80%
20 docs 29.09
30 docs 24.60 70%
100 docs 13.79
60%
200 docs 8.52
Precision
500 docs 4.11 50%
1000 docs 2.24 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.97
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1111
Second Quartile 0.3109
Third Quartile 0.5000
Interquartile range 0.3889 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3397
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2783 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3397 15
Std With No Outliers 0.2783 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_MONO_WSD5_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
609
ufrgs 10.2415/AH-ROBUST-WSD-MONO-EN-TEST- AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008.UFRGS.UFRGS_R_MONO_WSD5_TEST CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 52.31 281-AH 35.71 311-AH 33.33 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 31.03 282-AH 25.81 312-AH 29.03 342-AH 70.83
143-AH 58.97 173-AH 100.00 253-AH 20.53 283-AH 13.16 313-AH 30.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 17.90 284-AH 47.37 314-AH 5.56 344-AH 42.42
145-AH 47.37 175-AH 57.14 255-AH 25.00 285-AH 56.52 315-AH 37.29 345-AH 44.44
146-AH 0.00 176-AH 82.05 256-AH 70.59 286-AH 0.00 316-AH 11.86 346-AH 9.09
147-AH 49.02 177-AH 7.69 257-AH 39.68 287-AH 36.73 317-AH 36.67 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 15.79 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 36.36 259-AH 66.67 289-AH 61.11 319-AH 15.79 349-AH 22.22
150-AH 0.00 180-AH 30.00 260-AH 57.14 290-AH 8.16 320-AH 12.50 350-AH 50.00
151-AH 25.00 181-AH 73.91 261-AH 23.53 291-AH 40.00 321-AH 0.00
152-AH 36.36 182-AH 25.00 262-AH 18.82 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 20.83 293-AH 55.88 323-AH 23.08
154-AH 47.62 184-AH 33.33 264-AH 54.55 294-AH 48.15 324-AH 50.00
155-AH 33.33 185-AH 0.00 265-AH 50.00 295-AH 17.65 325-AH 42.62
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 33.33 326-AH 50.00
157-AH 46.76 187-AH 0.00 267-AH 23.81 297-AH 33.33 327-AH 0.00
158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 56.52
159-AH 18.52 189-AH 85.71 269-AH 22.22 299-AH 39.47 329-AH 58.82
160-AH 0.00 190-AH 11.11 270-AH 47.37 300-AH 23.81 330-AH 70.59
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 37.50 331-AH 23.53
162-AH 0.00 192-AH 16.67 272-AH 35.71 302-AH 17.65 332-AH 37.50
163-AH 67.21 193-AH 42.86 273-AH 61.45 303-AH 7.14 333-AH 100.00
164-AH 7.41 194-AH 0.00 274-AH 37.50 304-AH 40.00 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 27.27 305-AH 31.15 335-AH 20.00
166-AH 0.00 196-AH 0.00 276-AH 35.59 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 42.00 277-AH 30.77 307-AH 15.58 337-AH 55.00
168-AH 50.00 198-AH 100.00 278-AH 23.81 308-AH 72.73 338-AH 70.00
169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 0.00 339-AH 36.84
170-AH 100.00 200-AH 44.44 280-AH 8.00 310-AH 17.46 340-AH 20.00
610
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD11NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,657 Pooled false
Geometric Mean Average Precision 0.0347 Synset based search using query expansion
Binary Preference (BPREF) 0.2140 (Hyperonymy, Hyponymy and ZIPF distribution)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 51.20 MONOWSD11NUS2F
10 38.75 90%
20 30.77
80%
30 24.63
40 20.71 70%
50 16.82
60%
60 12.50
Precision
70 9.60 50%
80 7.40 40%
90 5.43
30%
100 4.97
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
18.61 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0179
Second Quartile 0.1002
Third Quartile 0.2611
Interquartile range 0.2432 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1861
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2364 60
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 50
Upper Outlier Threshold 0.6024 40
Mean With No Outliers 0.1399 30
Std With No Outliers 0.1540 20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
611
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD11NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.45 251-AH 44.08 281-AH 2.49 311-AH 32.20 341-AH 73.61
142-AH 35.79 172-AH 10.96 252-AH 12.77 282-AH 5.68 312-AH 4.16 342-AH 27.07
143-AH 17.04 173-AH 100.00 253-AH 36.23 283-AH 14.99 313-AH 4.07 343-AH 6.67
144-AH 26.34 174-AH 100.00 254-AH 30.41 284-AH 35.27 314-AH 0.69 344-AH 22.24
145-AH 43.12 175-AH 40.54 255-AH 25.88 285-AH 3.64 315-AH 12.15 345-AH 0.62
146-AH 50.11 176-AH 70.51 256-AH 4.14 286-AH 4.76 316-AH 10.04 346-AH 5.17
147-AH 65.65 177-AH 20.45 257-AH 22.39 287-AH 14.20 317-AH 15.32 347-AH 1.08
148-AH 5.61 178-AH 0.00 258-AH 0.13 288-AH 6.25 318-AH 11.29 348-AH 0.00
149-AH 0.00 179-AH 3.02 259-AH 2.36 289-AH 1.16 319-AH 14.83 349-AH 45.84
150-AH 0.03 180-AH 9.01 260-AH 28.55 290-AH 19.90 320-AH 2.97 350-AH 31.60
151-AH 2.10 181-AH 10.68 261-AH 8.56 291-AH 13.02 321-AH 0.00
152-AH 38.57 182-AH 9.30 262-AH 5.97 292-AH 12.27 322-AH 20.02
153-AH 16.67 183-AH 1.47 263-AH 5.73 293-AH 21.92 323-AH 14.09
154-AH 22.05 184-AH 69.44 264-AH 10.13 294-AH 6.92 324-AH 1.35
155-AH 0.00 185-AH 0.00 265-AH 1.41 295-AH 4.61 325-AH 45.04
156-AH 3.18 186-AH 0.00 266-AH 0.08 296-AH 0.01 326-AH 4.26
157-AH 0.86 187-AH 10.00 267-AH 21.88 297-AH 33.63 327-AH 1.39
158-AH 20.65 188-AH 0.00 268-AH 9.22 298-AH 14.64 328-AH 10.09
159-AH 9.67 189-AH 56.75 269-AH 19.49 299-AH 13.29 329-AH 52.32
160-AH 11.67 190-AH 43.94 270-AH 6.90 300-AH 15.39 330-AH 8.60
161-AH 0.00 191-AH 0.00 271-AH 42.74 301-AH 0.29 331-AH 5.61
162-AH 25.00 192-AH 3.88 272-AH 0.13 302-AH 19.60 332-AH 0.01
163-AH 50.86 193-AH 42.98 273-AH 30.40 303-AH 1.33 333-AH 5.57
164-AH 3.88 194-AH 0.59 274-AH 10.23 304-AH 29.78 334-AH 5.15
165-AH 100.00 195-AH 0.00 275-AH 2.95 305-AH 20.08 335-AH 22.84
166-AH 0.00 196-AH 100.00 276-AH 27.37 306-AH 100.00 336-AH 0.00
167-AH 1.45 197-AH 10.75 277-AH 2.48 307-AH 1.38 337-AH 2.29
168-AH 0.05 198-AH 0.00 278-AH 0.15 308-AH 55.04 338-AH 11.83
169-AH 3.09 199-AH 50.22 279-AH 0.79 309-AH 16.33 339-AH 8.01
170-AH 100.00 200-AH 47.35 280-AH 0.51 310-AH 9.01 340-AH 60.24
612
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD11NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 29.50 MONOWSD11NUS2F
10 docs 23.00 90%
15 docs 20.38
80%
20 docs 18.25
30 docs 15.25 70%
100 docs 8.47
60%
200 docs 5.47
Precision
500 docs 2.86 50%
1000 docs 1.66 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
20.49
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1386
Third Quartile 0.3333
Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2049
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2387 60
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 50
Upper Outlier Threshold 0.7143 40
Mean With No Outliers 0.1739 30
Std With No Outliers 0.1829 20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD11NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
613
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD11NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 5.26 251-AH 41.54 281-AH 9.52 311-AH 35.19 341-AH 66.67
142-AH 50.00 172-AH 28.57 252-AH 24.14 282-AH 9.68 312-AH 6.45 342-AH 35.42
143-AH 23.08 173-AH 100.00 253-AH 41.05 283-AH 21.05 313-AH 10.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 36.68 284-AH 39.47 314-AH 0.00 344-AH 36.36
145-AH 42.11 175-AH 57.14 255-AH 50.00 285-AH 8.70 315-AH 18.64 345-AH 0.00
146-AH 50.00 176-AH 58.97 256-AH 5.88 286-AH 8.33 316-AH 20.34 346-AH 9.09
147-AH 60.78 177-AH 38.46 257-AH 33.33 287-AH 14.29 317-AH 13.33 347-AH 0.00
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 17.11 318-AH 22.22 348-AH 0.00
149-AH 0.00 179-AH 4.55 259-AH 0.00 289-AH 0.00 319-AH 15.79 349-AH 33.33
150-AH 0.00 180-AH 15.00 260-AH 31.75 290-AH 26.53 320-AH 0.00 350-AH 20.00
151-AH 0.00 181-AH 18.48 261-AH 14.71 291-AH 20.00 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 12.94 292-AH 0.00 322-AH 21.43
153-AH 0.00 183-AH 0.00 263-AH 10.42 293-AH 29.41 323-AH 15.38
154-AH 33.33 184-AH 66.67 264-AH 9.09 294-AH 7.41 324-AH 2.70
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 13.73 325-AH 50.82
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 3.60 187-AH 0.00 267-AH 19.05 297-AH 41.67 327-AH 0.00
158-AH 23.53 188-AH 0.00 268-AH 0.00 298-AH 20.00 328-AH 17.39
159-AH 11.11 189-AH 71.43 269-AH 22.22 299-AH 22.37 329-AH 47.06
160-AH 0.00 190-AH 44.44 270-AH 10.53 300-AH 28.57 330-AH 15.69
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 29.41 332-AH 0.00
163-AH 48.36 193-AH 42.86 273-AH 36.14 303-AH 0.00 333-AH 20.00
164-AH 7.41 194-AH 0.00 274-AH 18.75 304-AH 26.67 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 7.58 305-AH 29.51 335-AH 20.00
166-AH 0.00 196-AH 100.00 276-AH 30.51 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 14.00 277-AH 7.69 307-AH 2.60 337-AH 10.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 10.00
169-AH 0.00 199-AH 40.00 279-AH 0.00 309-AH 20.00 339-AH 10.53
170-AH 100.00 200-AH 55.56 280-AH 0.00 310-AH 11.11 340-AH 40.00
614
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD12NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 2,962 Pooled false
Geometric Mean Average Precision 0.0568 NLevels search using synset expansion
Binary Preference (BPREF) 0.2454
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 54.96 MONOWSD12NUS2F
10 46.57 90%
20 38.32
80%
30 30.78
40 25.06 70%
50 20.55
60%
60 15.37
Precision
70 11.44 50%
80 8.48 40%
90 6.30
30%
100 5.38
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
22.05 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0419
Second Quartile 0.1597
Third Quartile 0.3298
Interquartile range 0.2879 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2205
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2272 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.7357
30
Mean With No Outliers 0.1954
20
Std With No Outliers 0.1815
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
615
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD12NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.21 251-AH 39.08 281-AH 26.94 311-AH 30.80 341-AH 48.95
142-AH 60.60 172-AH 7.57 252-AH 26.58 282-AH 3.20 312-AH 11.89 342-AH 41.77
143-AH 9.57 173-AH 100.00 253-AH 35.34 283-AH 6.20 313-AH 10.76 343-AH 2.13
144-AH 22.97 174-AH 100.00 254-AH 20.92 284-AH 25.07 314-AH 1.42 344-AH 32.03
145-AH 23.44 175-AH 48.18 255-AH 10.40 285-AH 21.42 315-AH 6.84 345-AH 5.37
146-AH 50.00 176-AH 69.17 256-AH 42.21 286-AH 1.44 316-AH 9.20 346-AH 6.72
147-AH 44.32 177-AH 18.79 257-AH 21.53 287-AH 10.21 317-AH 26.37 347-AH 4.04
148-AH 3.66 178-AH 0.00 258-AH 6.25 288-AH 9.41 318-AH 10.34 348-AH 0.50
149-AH 0.00 179-AH 3.53 259-AH 23.33 289-AH 41.29 319-AH 17.84 349-AH 27.36
150-AH 0.00 180-AH 28.45 260-AH 15.51 290-AH 6.28 320-AH 3.19 350-AH 31.00
151-AH 18.60 181-AH 7.00 261-AH 10.64 291-AH 29.76 321-AH 0.00
152-AH 33.80 182-AH 6.19 262-AH 15.82 292-AH 50.00 322-AH 11.98
153-AH 33.33 183-AH 1.00 263-AH 3.57 293-AH 23.81 323-AH 8.00
154-AH 22.33 184-AH 61.52 264-AH 26.60 294-AH 16.85 324-AH 16.13
155-AH 0.00 185-AH 0.00 265-AH 1.37 295-AH 18.18 325-AH 57.93
156-AH 2.91 186-AH 0.00 266-AH 0.05 296-AH 13.08 326-AH 0.25
157-AH 38.69 187-AH 33.33 267-AH 28.51 297-AH 31.45 327-AH 0.33
158-AH 24.25 188-AH 0.00 268-AH 4.40 298-AH 13.78 328-AH 20.72
159-AH 8.95 189-AH 57.00 269-AH 5.74 299-AH 13.70 329-AH 59.85
160-AH 10.90 190-AH 24.60 270-AH 41.75 300-AH 5.04 330-AH 48.10
161-AH 0.00 191-AH 0.00 271-AH 56.04 301-AH 0.91 331-AH 36.37
162-AH 14.29 192-AH 38.61 272-AH 29.99 302-AH 17.19 332-AH 0.21
163-AH 32.90 193-AH 34.60 273-AH 20.92 303-AH 26.22 333-AH 40.88
164-AH 1.35 194-AH 50.00 274-AH 17.41 304-AH 12.07 334-AH 21.53
165-AH 100.00 195-AH 0.00 275-AH 1.57 305-AH 8.67 335-AH 9.08
166-AH 0.00 196-AH 33.33 276-AH 26.83 306-AH 100.00 336-AH 19.53
167-AH 0.49 197-AH 59.43 277-AH 4.06 307-AH 3.23 337-AH 4.55
168-AH 13.24 198-AH 0.00 278-AH 4.32 308-AH 42.64 338-AH 33.07
169-AH 8.89 199-AH 58.97 279-AH 1.73 309-AH 9.11 339-AH 56.25
170-AH 100.00 200-AH 24.15 280-AH 2.46 310-AH 4.63 340-AH 73.57
616
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD12NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 33.25 MONOWSD12NUS2F
10 docs 27.75 90%
15 docs 24.21
80%
20 docs 21.84
30 docs 18.92 70%
100 docs 10.08
60%
200 docs 6.44
Precision
500 docs 3.27 50%
1000 docs 1.85 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.07
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2124
Third Quartile 0.3636
Interquartile range 0.3636 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2407
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2312 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.7143
30
Mean With No Outliers 0.2162
20
Std With No Outliers 0.1894
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD12NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
617
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD12NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 38.46 281-AH 30.95 311-AH 35.19 341-AH 50.00
142-AH 62.50 172-AH 0.00 252-AH 24.14 282-AH 6.45 312-AH 22.58 342-AH 51.04
143-AH 15.38 173-AH 100.00 253-AH 41.58 283-AH 15.79 313-AH 10.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 32.31 284-AH 34.21 314-AH 0.00 344-AH 39.39
145-AH 28.95 175-AH 57.14 255-AH 25.00 285-AH 24.64 315-AH 8.47 345-AH 22.22
146-AH 50.00 176-AH 58.97 256-AH 38.24 286-AH 0.00 316-AH 17.80 346-AH 9.09
147-AH 50.98 177-AH 23.08 257-AH 31.75 287-AH 16.33 317-AH 36.67 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 25.00 288-AH 22.37 318-AH 11.11 348-AH 0.00
149-AH 0.00 179-AH 9.09 259-AH 33.33 289-AH 38.89 319-AH 21.05 349-AH 29.63
150-AH 0.00 180-AH 37.50 260-AH 30.16 290-AH 12.24 320-AH 0.00 350-AH 20.00
151-AH 33.33 181-AH 17.39 261-AH 26.47 291-AH 36.67 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 24.71 292-AH 50.00 322-AH 21.43
153-AH 0.00 183-AH 0.00 263-AH 10.42 293-AH 35.29 323-AH 15.38
154-AH 23.81 184-AH 55.56 264-AH 36.36 294-AH 29.63 324-AH 20.27
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 33.33 325-AH 54.10
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 16.67 326-AH 0.00
157-AH 46.04 187-AH 0.00 267-AH 23.81 297-AH 33.33 327-AH 0.00
158-AH 23.53 188-AH 0.00 268-AH 0.00 298-AH 20.00 328-AH 39.13
159-AH 11.11 189-AH 71.43 269-AH 0.00 299-AH 17.11 329-AH 58.82
160-AH 0.00 190-AH 33.33 270-AH 42.11 300-AH 11.90 330-AH 50.98
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 41.18
162-AH 0.00 192-AH 50.00 272-AH 28.57 302-AH 17.65 332-AH 0.00
163-AH 39.34 193-AH 42.86 273-AH 30.12 303-AH 21.43 333-AH 20.00
164-AH 0.00 194-AH 0.00 274-AH 25.00 304-AH 20.00 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 7.58 305-AH 9.84 335-AH 6.67
166-AH 0.00 196-AH 0.00 276-AH 32.20 306-AH 100.00 336-AH 35.29
167-AH 0.00 197-AH 60.00 277-AH 3.85 307-AH 7.79 337-AH 10.00
168-AH 27.78 198-AH 0.00 278-AH 9.52 308-AH 54.55 338-AH 30.00
169-AH 16.67 199-AH 60.00 279-AH 0.00 309-AH 10.00 339-AH 57.89
170-AH 100.00 200-AH 33.33 280-AH 0.00 310-AH 9.52 340-AH 60.00
618
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD13NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 2,999 Pooled false
Geometric Mean Average Precision 0.0620 NLeves search using hyponymy, hyperonymy and ZIPF
Binary Preference (BPREF) 0.2495 expansion
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 56.47 MONOWSD13NUS2F
10 47.87 90%
20 40.38
80%
30 31.80
40 25.77 70%
50 20.96
60%
60 15.45
Precision
70 11.81 50%
80 8.82 40%
90 6.37
30%
100 5.41
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
22.78 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0449
Second Quartile 0.1663
Third Quartile 0.3333
Interquartile range 0.2884 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2278
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2270 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.7603
30
Mean With No Outliers 0.2029
20
Std With No Outliers 0.1822
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
619
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD13NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.21 251-AH 40.13 281-AH 27.31 311-AH 31.02 341-AH 48.93
142-AH 57.09 172-AH 7.87 252-AH 25.97 282-AH 3.92 312-AH 11.88 342-AH 40.17
143-AH 13.01 173-AH 100.00 253-AH 37.60 283-AH 6.23 313-AH 10.84 343-AH 2.38
144-AH 23.25 174-AH 100.00 254-AH 24.51 284-AH 25.78 314-AH 1.63 344-AH 32.65
145-AH 29.30 175-AH 47.99 255-AH 17.21 285-AH 22.04 315-AH 10.08 345-AH 4.80
146-AH 50.00 176-AH 71.35 256-AH 38.52 286-AH 2.34 316-AH 12.55 346-AH 6.79
147-AH 50.84 177-AH 19.97 257-AH 21.68 287-AH 10.58 317-AH 26.62 347-AH 4.15
148-AH 3.77 178-AH 0.00 258-AH 5.00 288-AH 9.56 318-AH 10.75 348-AH 0.18
149-AH 0.00 179-AH 4.02 259-AH 40.00 289-AH 37.87 319-AH 17.84 349-AH 29.00
150-AH 0.04 180-AH 30.91 260-AH 15.83 290-AH 7.54 320-AH 3.38 350-AH 31.88
151-AH 18.67 181-AH 7.82 261-AH 10.24 291-AH 29.45 321-AH 0.00
152-AH 34.21 182-AH 7.64 262-AH 16.07 292-AH 50.00 322-AH 15.82
153-AH 33.33 183-AH 1.31 263-AH 3.89 293-AH 26.87 323-AH 15.19
154-AH 23.66 184-AH 66.61 264-AH 28.80 294-AH 17.83 324-AH 15.46
155-AH 0.00 185-AH 0.00 265-AH 1.52 295-AH 18.49 325-AH 59.19
156-AH 3.22 186-AH 0.00 266-AH 0.08 296-AH 12.05 326-AH 0.39
157-AH 33.71 187-AH 33.33 267-AH 28.26 297-AH 35.46 327-AH 0.49
158-AH 24.26 188-AH 0.00 268-AH 6.15 298-AH 14.79 328-AH 20.87
159-AH 10.51 189-AH 57.22 269-AH 16.15 299-AH 15.48 329-AH 59.30
160-AH 11.19 190-AH 33.24 270-AH 39.95 300-AH 13.08 330-AH 36.79
161-AH 0.00 191-AH 0.00 271-AH 58.15 301-AH 0.89 331-AH 37.47
162-AH 14.29 192-AH 37.50 272-AH 30.07 302-AH 17.32 332-AH 0.16
163-AH 37.18 193-AH 39.37 273-AH 23.14 303-AH 26.17 333-AH 36.31
164-AH 2.72 194-AH 50.00 274-AH 17.60 304-AH 18.79 334-AH 17.11
165-AH 100.00 195-AH 0.00 275-AH 2.22 305-AH 9.94 335-AH 10.13
166-AH 0.00 196-AH 33.33 276-AH 27.15 306-AH 100.00 336-AH 8.19
167-AH 0.61 197-AH 55.62 277-AH 5.02 307-AH 3.35 337-AH 5.93
168-AH 11.63 198-AH 0.00 278-AH 4.19 308-AH 56.68 338-AH 27.51
169-AH 7.36 199-AH 60.32 279-AH 1.09 309-AH 9.64 339-AH 49.42
170-AH 100.00 200-AH 31.94 280-AH 2.54 310-AH 5.71 340-AH 76.03
620
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD13NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 35.38 MONOWSD13NUS2F
10 docs 28.25 90%
15 docs 25.00
80%
20 docs 22.28
30 docs 19.29 70%
100 docs 10.47
60%
200 docs 6.65
Precision
500 docs 3.36 50%
1000 docs 1.87 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.23
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2124
Third Quartile 0.3684
Interquartile range 0.3684 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2423
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2317 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.7143
30
Mean With No Outliers 0.2178
20
Std With No Outliers 0.1902
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD13NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
621
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD13NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 38.46 281-AH 28.57 311-AH 35.19 341-AH 50.00
142-AH 62.50 172-AH 0.00 252-AH 24.14 282-AH 9.68 312-AH 22.58 342-AH 50.00
143-AH 17.95 173-AH 100.00 253-AH 42.63 283-AH 15.79 313-AH 10.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 34.50 284-AH 36.84 314-AH 0.00 344-AH 39.39
145-AH 36.84 175-AH 57.14 255-AH 25.00 285-AH 26.09 315-AH 15.25 345-AH 11.11
146-AH 50.00 176-AH 61.54 256-AH 35.29 286-AH 0.00 316-AH 23.73 346-AH 9.09
147-AH 54.90 177-AH 30.77 257-AH 31.75 287-AH 14.29 317-AH 36.67 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 22.37 318-AH 11.11 348-AH 0.00
149-AH 0.00 179-AH 9.09 259-AH 33.33 289-AH 38.89 319-AH 21.05 349-AH 37.04
150-AH 0.00 180-AH 42.50 260-AH 30.16 290-AH 10.20 320-AH 0.00 350-AH 20.00
151-AH 33.33 181-AH 17.39 261-AH 26.47 291-AH 36.67 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 24.71 292-AH 50.00 322-AH 21.43
153-AH 0.00 183-AH 0.00 263-AH 10.42 293-AH 38.24 323-AH 15.38
154-AH 28.57 184-AH 55.56 264-AH 36.36 294-AH 29.63 324-AH 18.92
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 33.33 325-AH 55.74
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 8.33 326-AH 0.00
157-AH 43.88 187-AH 0.00 267-AH 19.05 297-AH 41.67 327-AH 0.00
158-AH 26.47 188-AH 0.00 268-AH 0.00 298-AH 20.00 328-AH 34.78
159-AH 12.96 189-AH 71.43 269-AH 22.22 299-AH 23.68 329-AH 58.82
160-AH 0.00 190-AH 33.33 270-AH 42.11 300-AH 23.81 330-AH 43.14
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 0.00 331-AH 41.18
162-AH 0.00 192-AH 50.00 272-AH 28.57 302-AH 17.65 332-AH 0.00
163-AH 41.80 193-AH 42.86 273-AH 33.73 303-AH 21.43 333-AH 20.00
164-AH 0.00 194-AH 0.00 274-AH 25.00 304-AH 20.00 334-AH 20.00
165-AH 100.00 195-AH 0.00 275-AH 9.09 305-AH 9.84 335-AH 6.67
166-AH 0.00 196-AH 0.00 276-AH 30.51 306-AH 100.00 336-AH 17.65
167-AH 0.00 197-AH 54.00 277-AH 11.54 307-AH 7.79 337-AH 10.00
168-AH 27.78 198-AH 0.00 278-AH 9.52 308-AH 54.55 338-AH 30.00
169-AH 0.00 199-AH 50.00 279-AH 0.00 309-AH 10.00 339-AH 52.63
170-AH 100.00 200-AH 44.44 280-AH 0.00 310-AH 9.52 340-AH 60.00
622
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD1NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,589 Pooled false
Geometric Mean Average Precision 0.0314 Synset based search using query expansion
Binary Preference (BPREF) 0.2096 (hyperonymy and hyponymy)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 49.59 MONOWSD1NUS2F
10 37.52 90%
20 29.78
80%
30 23.78
40 20.05 70%
50 16.20
60%
60 12.14
Precision
70 9.41 50%
80 7.19 40%
90 5.34
30%
100 4.90
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
18.02 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0136
Second Quartile 0.0937
Third Quartile 0.2601
Interquartile range 0.2465 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1802
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2344 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.5622 50
Mean With No Outliers 0.1336 40
30
Std With No Outliers 0.1488
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
623
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD1NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.44 251-AH 42.71 281-AH 1.77 311-AH 31.68 341-AH 73.61
142-AH 29.58 172-AH 12.03 252-AH 9.96 282-AH 5.58 312-AH 3.88 342-AH 27.12
143-AH 15.17 173-AH 100.00 253-AH 34.12 283-AH 14.83 313-AH 3.37 343-AH 5.56
144-AH 25.28 174-AH 100.00 254-AH 29.76 284-AH 34.35 314-AH 0.56 344-AH 20.23
145-AH 40.87 175-AH 36.15 255-AH 37.42 285-AH 3.12 315-AH 12.09 345-AH 0.61
146-AH 50.10 176-AH 69.74 256-AH 4.02 286-AH 5.00 316-AH 9.63 346-AH 5.60
147-AH 66.09 177-AH 21.22 257-AH 21.72 287-AH 13.27 317-AH 13.13 347-AH 0.86
148-AH 4.21 178-AH 0.00 258-AH 0.10 288-AH 6.02 318-AH 12.17 348-AH 0.00
149-AH 0.00 179-AH 2.76 259-AH 1.13 289-AH 1.19 319-AH 13.29 349-AH 47.23
150-AH 0.01 180-AH 7.05 260-AH 28.46 290-AH 20.04 320-AH 2.88 350-AH 30.70
151-AH 2.04 181-AH 9.91 261-AH 6.94 291-AH 12.13 321-AH 0.00
152-AH 35.68 182-AH 9.14 262-AH 4.94 292-AH 11.58 322-AH 19.75
153-AH 16.67 183-AH 1.09 263-AH 5.51 293-AH 19.89 323-AH 13.91
154-AH 20.89 184-AH 69.97 264-AH 10.24 294-AH 6.56 324-AH 1.34
155-AH 0.00 185-AH 0.00 265-AH 1.37 295-AH 3.73 325-AH 42.65
156-AH 3.06 186-AH 0.00 266-AH 0.07 296-AH 0.02 326-AH 4.27
157-AH 0.52 187-AH 9.09 267-AH 20.44 297-AH 33.24 327-AH 1.39
158-AH 21.32 188-AH 0.00 268-AH 9.29 298-AH 13.97 328-AH 9.11
159-AH 9.45 189-AH 56.22 269-AH 19.45 299-AH 13.77 329-AH 52.57
160-AH 11.46 190-AH 42.68 270-AH 4.75 300-AH 15.48 330-AH 7.94
161-AH 0.00 191-AH 0.00 271-AH 41.14 301-AH 0.28 331-AH 3.75
162-AH 25.00 192-AH 2.37 272-AH 0.12 302-AH 18.28 332-AH 0.00
163-AH 44.55 193-AH 39.41 273-AH 26.74 303-AH 1.25 333-AH 4.18
164-AH 3.96 194-AH 0.42 274-AH 10.17 304-AH 29.33 334-AH 4.87
165-AH 100.00 195-AH 0.00 275-AH 1.91 305-AH 20.44 335-AH 22.07
166-AH 0.00 196-AH 100.00 276-AH 27.67 306-AH 100.00 336-AH 0.00
167-AH 1.35 197-AH 10.58 277-AH 1.63 307-AH 1.25 337-AH 0.69
168-AH 0.04 198-AH 0.00 278-AH 0.08 308-AH 54.82 338-AH 11.49
169-AH 2.87 199-AH 47.78 279-AH 0.84 309-AH 15.36 339-AH 7.03
170-AH 100.00 200-AH 45.48 280-AH 0.43 310-AH 8.87 340-AH 50.24
624
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD1NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 28.13 MONOWSD1NUS2F
10 docs 22.38 90%
15 docs 19.75
80%
20 docs 17.78
30 docs 14.85 70%
100 docs 8.17
60%
200 docs 5.33
Precision
500 docs 2.76 50%
1000 docs 1.62 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
19.74
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1144
Third Quartile 0.3095
Interquartile range 0.3095 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1974
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2382 60
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 50
Upper Outlier Threshold 0.7143 40
Mean With No Outliers 0.1661 30
Std With No Outliers 0.1809 20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
MONOWSD1NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
625
uniba 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNIBA.MONOWSD1NUS2F AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 5.26 251-AH 43.08 281-AH 7.14 311-AH 35.19 341-AH 66.67
142-AH 50.00 172-AH 28.57 252-AH 20.69 282-AH 9.68 312-AH 6.45 342-AH 35.42
143-AH 17.95 173-AH 100.00 253-AH 40.53 283-AH 21.05 313-AH 10.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 35.81 284-AH 39.47 314-AH 0.00 344-AH 33.33
145-AH 42.11 175-AH 42.86 255-AH 50.00 285-AH 8.70 315-AH 16.95 345-AH 0.00
146-AH 50.00 176-AH 58.97 256-AH 5.88 286-AH 8.33 316-AH 20.34 346-AH 9.09
147-AH 62.75 177-AH 38.46 257-AH 31.75 287-AH 18.37 317-AH 13.33 347-AH 0.00
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 15.79 318-AH 22.22 348-AH 0.00
149-AH 0.00 179-AH 4.55 259-AH 0.00 289-AH 0.00 319-AH 15.79 349-AH 33.33
150-AH 0.00 180-AH 12.50 260-AH 30.16 290-AH 28.57 320-AH 0.00 350-AH 20.00
151-AH 0.00 181-AH 18.48 261-AH 11.76 291-AH 20.00 321-AH 0.00
152-AH 36.36 182-AH 0.00 262-AH 12.94 292-AH 0.00 322-AH 21.43
153-AH 0.00 183-AH 0.00 263-AH 10.42 293-AH 23.53 323-AH 15.38
154-AH 28.57 184-AH 66.67 264-AH 9.09 294-AH 7.41 324-AH 2.70
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 9.80 325-AH 45.90
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 3.60 187-AH 0.00 267-AH 19.05 297-AH 41.67 327-AH 0.00
158-AH 23.53 188-AH 0.00 268-AH 0.00 298-AH 20.00 328-AH 17.39
159-AH 11.11 189-AH 71.43 269-AH 22.22 299-AH 23.68 329-AH 47.06
160-AH 0.00 190-AH 44.44 270-AH 8.77 300-AH 28.57 330-AH 15.69
161-AH 0.00 191-AH 0.00 271-AH 45.83 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 0.00 272-AH 0.00 302-AH 29.41 332-AH 0.00
163-AH 43.44 193-AH 42.86 273-AH 34.94 303-AH 0.00 333-AH 0.00
164-AH 7.41 194-AH 0.00 274-AH 18.75 304-AH 26.67 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 6.06 305-AH 27.87 335-AH 20.00
166-AH 0.00 196-AH 100.00 276-AH 28.81 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 12.00 277-AH 3.85 307-AH 2.60 337-AH 0.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 10.00
169-AH 0.00 199-AH 40.00 279-AH 0.00 309-AH 20.00 339-AH 10.53
170-AH 100.00 200-AH 55.56 280-AH 0.00 310-AH 11.11 340-AH 40.00
626
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST2 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 3,889 Pooled false
Geometric Mean Average Precision 0.1849 Fusion of two runs using WSD (POS and Synset)
Binary Preference (BPREF) 0.3690
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 70.84 UNINEROBUST2
10 63.61 90%
20 57.47
80%
30 50.70
40 46.48 70%
50 42.45
60%
60 35.15
Precision
70 30.03 50%
80 24.94 40%
90 19.10
30%
100 13.15
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
40.00 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1543
Second Quartile 0.3603
Third Quartile 0.6095
Interquartile range 0.4552 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4000
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2890 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.4000 10
Std With No Outliers 0.2890
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
627
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST2 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 8.91 251-AH 58.03 281-AH 46.00 311-AH 42.44 341-AH 85.66
142-AH 89.07 172-AH 10.30 252-AH 17.65 282-AH 16.93 312-AH 57.41 342-AH 75.20
143-AH 86.84 173-AH 100.00 253-AH 40.86 283-AH 57.43 313-AH 2.21 343-AH 3.45
144-AH 51.67 174-AH 100.00 254-AH 23.68 284-AH 53.24 314-AH 4.41 344-AH 58.42
145-AH 57.13 175-AH 78.93 255-AH 31.90 285-AH 69.11 315-AH 34.73 345-AH 10.05
146-AH 50.58 176-AH 93.36 256-AH 90.87 286-AH 2.46 316-AH 10.97 346-AH 10.48
147-AH 81.32 177-AH 45.13 257-AH 18.69 287-AH 43.65 317-AH 21.83 347-AH 6.08
148-AH 9.58 178-AH 0.80 258-AH 10.07 288-AH 14.11 318-AH 14.53 348-AH 100.00
149-AH 0.00 179-AH 65.16 259-AH 66.78 289-AH 60.40 319-AH 24.67 349-AH 33.81
150-AH 16.14 180-AH 73.33 260-AH 66.38 290-AH 35.88 320-AH 2.83 350-AH 73.17
151-AH 36.27 181-AH 76.64 261-AH 14.73 291-AH 42.99 321-AH 0.00
152-AH 65.17 182-AH 39.52 262-AH 30.07 292-AH 54.79 322-AH 8.46
153-AH 0.34 183-AH 23.83 263-AH 22.79 293-AH 72.83 323-AH 17.36
154-AH 33.54 184-AH 66.66 264-AH 36.17 294-AH 68.21 324-AH 10.84
155-AH 13.68 185-AH 33.33 265-AH 38.47 295-AH 32.13 325-AH 51.32
156-AH 8.68 186-AH 0.00 266-AH 2.30 296-AH 49.23 326-AH 42.38
157-AH 47.79 187-AH 25.00 267-AH 48.97 297-AH 41.97 327-AH 19.10
158-AH 35.80 188-AH 1.69 268-AH 66.85 298-AH 22.94 328-AH 52.51
159-AH 10.00 189-AH 89.84 269-AH 23.93 299-AH 36.71 329-AH 63.15
160-AH 19.61 190-AH 54.44 270-AH 75.04 300-AH 21.76 330-AH 80.29
161-AH 0.00 191-AH 0.00 271-AH 65.15 301-AH 46.44 331-AH 25.52
162-AH 20.00 192-AH 34.02 272-AH 18.89 302-AH 36.29 332-AH 50.98
163-AH 86.09 193-AH 45.61 273-AH 77.37 303-AH 22.93 333-AH 100.00
164-AH 26.94 194-AH 25.00 274-AH 35.03 304-AH 36.20 334-AH 16.38
165-AH 100.00 195-AH 0.00 275-AH 23.19 305-AH 43.38 335-AH 11.40
166-AH 0.00 196-AH 50.00 276-AH 42.36 306-AH 25.00 336-AH 2.19
167-AH 36.99 197-AH 80.52 277-AH 21.61 307-AH 8.89 337-AH 75.94
168-AH 52.17 198-AH 100.00 278-AH 14.10 308-AH 83.36 338-AH 34.56
169-AH 3.70 199-AH 61.50 279-AH 33.21 309-AH 5.04 339-AH 76.69
170-AH 100.00 200-AH 54.17 280-AH 2.89 310-AH 9.30 340-AH 34.89
628
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST2 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 48.00 UNINEROBUST2
10 docs 40.44 90%
15 docs 35.79
80%
20 docs 32.94
30 docs 28.73 70%
100 docs 15.87
60%
200 docs 9.65
Precision
500 docs 4.52 50%
1000 docs 2.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.69
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1356
Second Quartile 0.3727
Third Quartile 0.5556
Interquartile range 0.4199 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3769
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2823 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.3769 15
Std With No Outliers 0.2823 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST2
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
629
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST2 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 56.92 281-AH 40.48 311-AH 44.44 341-AH 83.33
142-AH 75.00 172-AH 0.00 252-AH 13.79 282-AH 22.58 312-AH 54.84 342-AH 72.92
143-AH 79.49 173-AH 100.00 253-AH 49.47 283-AH 52.63 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 34.50 284-AH 42.11 314-AH 0.00 344-AH 48.48
145-AH 50.00 175-AH 57.14 255-AH 25.00 285-AH 69.57 315-AH 47.46 345-AH 11.11
146-AH 50.00 176-AH 84.62 256-AH 76.47 286-AH 8.33 316-AH 26.27 346-AH 9.09
147-AH 74.51 177-AH 53.85 257-AH 20.63 287-AH 48.98 317-AH 33.33 347-AH 11.11
148-AH 16.67 178-AH 0.00 258-AH 0.00 288-AH 31.58 318-AH 11.11 348-AH 100.00
149-AH 0.00 179-AH 54.55 259-AH 66.67 289-AH 55.56 319-AH 21.05 349-AH 37.04
150-AH 20.00 180-AH 70.00 260-AH 63.49 290-AH 48.98 320-AH 0.00 350-AH 70.00
151-AH 33.33 181-AH 75.00 261-AH 20.59 291-AH 40.00 321-AH 0.00
152-AH 63.64 182-AH 50.00 262-AH 29.41 292-AH 50.00 322-AH 14.29
153-AH 0.00 183-AH 0.00 263-AH 27.08 293-AH 64.71 323-AH 23.08
154-AH 33.33 184-AH 55.56 264-AH 45.45 294-AH 66.67 324-AH 16.22
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 41.18 325-AH 52.46
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 45.83 326-AH 50.00
157-AH 50.36 187-AH 0.00 267-AH 42.86 297-AH 41.67 327-AH 25.00
158-AH 32.35 188-AH 0.00 268-AH 66.67 298-AH 30.00 328-AH 56.52
159-AH 9.26 189-AH 71.43 269-AH 22.22 299-AH 40.79 329-AH 58.82
160-AH 0.00 190-AH 44.44 270-AH 64.91 300-AH 23.81 330-AH 76.47
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 43.75 331-AH 29.41
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 35.29 332-AH 37.50
163-AH 77.87 193-AH 28.57 273-AH 72.29 303-AH 28.57 333-AH 100.00
164-AH 29.63 194-AH 0.00 274-AH 43.75 304-AH 40.00 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 25.76 305-AH 40.98 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 49.15 306-AH 0.00 336-AH 5.88
167-AH 40.00 197-AH 72.00 277-AH 23.08 307-AH 14.29 337-AH 70.00
168-AH 61.11 198-AH 100.00 278-AH 19.05 308-AH 72.73 338-AH 40.00
169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 0.00 339-AH 68.42
170-AH 100.00 200-AH 55.56 280-AH 4.00 310-AH 15.87 340-AH 20.00
630
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST3 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,009 Pooled false
Geometric Mean Average Precision 0.2057 Fusion of three runs, two using WSD and one using
Binary Preference (BPREF) 0.4044 no WSD
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.04 UNINEROBUST3
10 65.88 90%
20 60.41
80%
30 55.02
40 50.60 70%
50 46.45
60%
60 39.71
Precision
70 34.19 50%
80 29.30 40%
90 22.39
30%
100 15.48
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
43.47 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1995
Second Quartile 0.4232
Third Quartile 0.6724
Interquartile range 0.4729 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4347
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2876 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.4347 10
Std With No Outliers 0.2876
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
631
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST3 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 7.83 251-AH 63.36 281-AH 59.11 311-AH 35.40 341-AH 84.72
142-AH 92.60 172-AH 9.81 252-AH 28.60 282-AH 19.45 312-AH 67.76 342-AH 64.96
143-AH 79.87 173-AH 100.00 253-AH 40.25 283-AH 72.90 313-AH 3.01 343-AH 1.16
144-AH 69.89 174-AH 100.00 254-AH 13.00 284-AH 53.26 314-AH 4.44 344-AH 49.75
145-AH 61.49 175-AH 82.23 255-AH 27.66 285-AH 84.30 315-AH 63.19 345-AH 16.64
146-AH 50.44 176-AH 85.07 256-AH 89.53 286-AH 1.53 316-AH 15.36 346-AH 12.73
147-AH 74.73 177-AH 59.07 257-AH 25.94 287-AH 45.13 317-AH 26.10 347-AH 19.90
148-AH 9.26 178-AH 34.99 258-AH 17.48 288-AH 26.97 318-AH 5.27 348-AH 58.33
149-AH 0.00 179-AH 84.36 259-AH 50.27 289-AH 71.76 319-AH 44.52 349-AH 43.52
150-AH 28.00 180-AH 70.42 260-AH 70.29 290-AH 36.51 320-AH 1.46 350-AH 75.31
151-AH 8.52 181-AH 87.30 261-AH 21.18 291-AH 50.72 321-AH 0.00
152-AH 55.83 182-AH 50.83 262-AH 24.75 292-AH 73.21 322-AH 4.66
153-AH 0.19 183-AH 27.35 263-AH 23.86 293-AH 72.92 323-AH 19.22
154-AH 31.61 184-AH 57.31 264-AH 43.84 294-AH 71.76 324-AH 23.28
155-AH 6.60 185-AH 50.00 265-AH 42.33 295-AH 42.61 325-AH 54.41
156-AH 9.71 186-AH 0.00 266-AH 4.05 296-AH 53.45 326-AH 31.04
157-AH 71.03 187-AH 33.33 267-AH 49.67 297-AH 45.76 327-AH 34.90
158-AH 56.58 188-AH 5.26 268-AH 74.36 298-AH 28.20 328-AH 64.02
159-AH 13.37 189-AH 86.01 269-AH 27.18 299-AH 45.33 329-AH 67.71
160-AH 18.06 190-AH 80.63 270-AH 74.69 300-AH 21.40 330-AH 83.62
161-AH 0.00 191-AH 0.00 271-AH 59.29 301-AH 41.67 331-AH 19.41
162-AH 50.00 192-AH 41.90 272-AH 22.55 302-AH 38.51 332-AH 54.07
163-AH 89.77 193-AH 39.95 273-AH 91.01 303-AH 39.67 333-AH 100.00
164-AH 33.11 194-AH 20.00 274-AH 24.99 304-AH 42.31 334-AH 25.86
165-AH 50.00 195-AH 0.00 275-AH 53.39 305-AH 47.93 335-AH 12.31
166-AH 0.00 196-AH 100.00 276-AH 44.92 306-AH 50.00 336-AH 1.45
167-AH 27.30 197-AH 47.75 277-AH 35.95 307-AH 25.73 337-AH 82.53
168-AH 38.28 198-AH 100.00 278-AH 30.09 308-AH 83.46 338-AH 46.93
169-AH 3.87 199-AH 66.77 279-AH 40.55 309-AH 8.24 339-AH 85.56
170-AH 100.00 200-AH 70.17 280-AH 1.76 310-AH 10.14 340-AH 42.04
632
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST3 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 51.25 UNINEROBUST3
10 docs 42.69 90%
15 docs 39.04
80%
20 docs 35.72
30 docs 31.13 70%
100 docs 16.71
60%
200 docs 10.13
Precision
500 docs 4.70 50%
1000 docs 2.51 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
40.81
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1716
Second Quartile 0.4286
Third Quartile 0.6153
Interquartile range 0.4437 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4081
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2826 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.4081 15
Std With No Outliers 0.2826 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST3
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
633
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST3 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 58.46 281-AH 61.90 311-AH 40.74 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 37.93 282-AH 25.81 312-AH 61.29 342-AH 57.29
143-AH 69.23 173-AH 100.00 253-AH 43.16 283-AH 71.05 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 23.14 284-AH 47.37 314-AH 0.00 344-AH 48.48
145-AH 52.63 175-AH 71.43 255-AH 50.00 285-AH 72.46 315-AH 62.71 345-AH 22.22
146-AH 50.00 176-AH 71.79 256-AH 73.53 286-AH 0.00 316-AH 25.42 346-AH 18.18
147-AH 66.67 177-AH 53.85 257-AH 28.57 287-AH 55.10 317-AH 36.67 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 38.16 318-AH 0.00 348-AH 50.00
149-AH 0.00 179-AH 81.82 259-AH 33.33 289-AH 66.67 319-AH 47.37 349-AH 44.44
150-AH 30.00 180-AH 67.50 260-AH 66.67 290-AH 42.86 320-AH 0.00 350-AH 70.00
151-AH 16.67 181-AH 79.35 261-AH 20.59 291-AH 50.00 321-AH 0.00
152-AH 45.45 182-AH 50.00 262-AH 28.24 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 61.76 323-AH 26.92
154-AH 33.33 184-AH 55.56 264-AH 50.00 294-AH 62.96 324-AH 31.08
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 45.10 325-AH 52.46
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00
157-AH 68.35 187-AH 0.00 267-AH 47.62 297-AH 41.67 327-AH 50.00
158-AH 47.06 188-AH 0.00 268-AH 66.67 298-AH 36.67 328-AH 60.87
159-AH 9.26 189-AH 71.43 269-AH 22.22 299-AH 47.37 329-AH 64.71
160-AH 0.00 190-AH 77.78 270-AH 64.91 300-AH 21.43 330-AH 78.43
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 43.75 331-AH 17.65
162-AH 0.00 192-AH 50.00 272-AH 14.29 302-AH 35.29 332-AH 50.00
163-AH 82.79 193-AH 28.57 273-AH 87.95 303-AH 42.86 333-AH 100.00
164-AH 37.04 194-AH 0.00 274-AH 25.00 304-AH 40.00 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 57.58 305-AH 42.62 335-AH 13.33
166-AH 0.00 196-AH 100.00 276-AH 47.46 306-AH 0.00 336-AH 5.88
167-AH 40.00 197-AH 44.00 277-AH 38.46 307-AH 32.47 337-AH 80.00
168-AH 50.00 198-AH 100.00 278-AH 33.33 308-AH 81.82 338-AH 40.00
169-AH 0.00 199-AH 60.00 279-AH 50.00 309-AH 10.00 339-AH 78.95
170-AH 100.00 200-AH 77.78 280-AH 4.00 310-AH 15.87 340-AH 40.00
634
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST5 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,074 Pooled false
Geometric Mean Average Precision 0.2108 Fusion of three runs, all of them using WSD
Binary Preference (BPREF) 0.4021
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 71.30 UNINEROBUST5
10 66.29 90%
20 60.68
80%
30 54.70
40 50.61 70%
50 47.70
60%
60 41.45
Precision
70 35.74 50%
80 30.08 40%
90 23.44
30%
100 15.86
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
44.10 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2073
Second Quartile 0.4388
Third Quartile 0.6671
Interquartile range 0.4599 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4410
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2917 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.4410 10
Std With No Outliers 0.2917
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
635
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST5 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 7.23 251-AH 59.83 281-AH 53.46 311-AH 38.07 341-AH 86.19
142-AH 92.60 172-AH 11.39 252-AH 35.60 282-AH 25.68 312-AH 49.79 342-AH 80.42
143-AH 89.16 173-AH 100.00 253-AH 46.01 283-AH 70.85 313-AH 1.51 343-AH 2.13
144-AH 59.26 174-AH 100.00 254-AH 25.29 284-AH 53.35 314-AH 4.46 344-AH 66.46
145-AH 59.46 175-AH 76.67 255-AH 34.73 285-AH 84.33 315-AH 50.18 345-AH 15.86
146-AH 50.48 176-AH 92.39 256-AH 91.07 286-AH 1.45 316-AH 18.00 346-AH 15.27
147-AH 82.64 177-AH 52.67 257-AH 24.51 287-AH 46.17 317-AH 22.30 347-AH 17.56
148-AH 10.41 178-AH 37.43 258-AH 8.26 288-AH 32.40 318-AH 6.59 348-AH 100.00
149-AH 0.00 179-AH 89.61 259-AH 39.03 289-AH 66.61 319-AH 38.76 349-AH 48.92
150-AH 28.09 180-AH 73.67 260-AH 71.15 290-AH 41.68 320-AH 2.16 350-AH 74.70
151-AH 7.08 181-AH 87.81 261-AH 15.53 291-AH 58.52 321-AH 0.00
152-AH 56.59 182-AH 45.44 262-AH 50.66 292-AH 65.15 322-AH 3.31
153-AH 0.18 183-AH 23.80 263-AH 20.72 293-AH 71.20 323-AH 26.55
154-AH 36.61 184-AH 59.84 264-AH 69.01 294-AH 76.86 324-AH 23.57
155-AH 5.89 185-AH 33.33 265-AH 45.45 295-AH 38.73 325-AH 67.85
156-AH 13.41 186-AH 0.00 266-AH 4.39 296-AH 58.91 326-AH 22.20
157-AH 66.81 187-AH 25.00 267-AH 47.21 297-AH 47.41 327-AH 52.63
158-AH 58.01 188-AH 3.57 268-AH 69.52 298-AH 26.34 328-AH 55.36
159-AH 19.19 189-AH 92.14 269-AH 32.68 299-AH 45.93 329-AH 68.76
160-AH 19.64 190-AH 77.67 270-AH 78.63 300-AH 19.68 330-AH 83.60
161-AH 0.00 191-AH 0.00 271-AH 62.92 301-AH 46.53 331-AH 21.30
162-AH 25.00 192-AH 51.89 272-AH 20.73 302-AH 42.32 332-AH 40.43
163-AH 90.15 193-AH 46.23 273-AH 90.67 303-AH 41.82 333-AH 100.00
164-AH 22.81 194-AH 20.00 274-AH 25.79 304-AH 40.22 334-AH 27.35
165-AH 50.00 195-AH 0.00 275-AH 45.98 305-AH 48.78 335-AH 12.17
166-AH 0.00 196-AH 100.00 276-AH 47.87 306-AH 33.33 336-AH 10.98
167-AH 22.88 197-AH 69.10 277-AH 34.24 307-AH 35.79 337-AH 81.53
168-AH 46.58 198-AH 50.00 278-AH 25.64 308-AH 84.28 338-AH 89.05
169-AH 1.93 199-AH 59.15 279-AH 38.17 309-AH 10.67 339-AH 88.88
170-AH 100.00 200-AH 60.13 280-AH 5.09 310-AH 10.75 340-AH 35.21
636
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST5 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 51.25 UNINEROBUST5
10 docs 43.56 90%
15 docs 39.08
80%
20 docs 36.31
30 docs 31.56 70%
100 docs 17.49
60%
200 docs 10.54
Precision
500 docs 4.83 50%
1000 docs 2.55 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
40.95
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1818
Second Quartile 0.4380
Third Quartile 0.6297
Interquartile range 0.4478 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4095
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2920 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.4095 15
Std With No Outliers 0.2920 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST5
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
637
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST5 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 56.92 281-AH 52.38 311-AH 38.89 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 37.93 282-AH 32.26 312-AH 48.39 342-AH 73.96
143-AH 79.49 173-AH 100.00 253-AH 52.11 283-AH 60.53 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 34.06 284-AH 52.63 314-AH 5.56 344-AH 60.61
145-AH 55.26 175-AH 71.43 255-AH 50.00 285-AH 75.36 315-AH 55.93 345-AH 11.11
146-AH 50.00 176-AH 82.05 256-AH 76.47 286-AH 0.00 316-AH 19.49 346-AH 18.18
147-AH 76.47 177-AH 46.15 257-AH 28.57 287-AH 53.06 317-AH 30.00 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 0.00 288-AH 42.11 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 77.27 259-AH 66.67 289-AH 66.67 319-AH 31.58 349-AH 48.15
150-AH 20.00 180-AH 67.50 260-AH 68.25 290-AH 55.10 320-AH 0.00 350-AH 70.00
151-AH 0.00 181-AH 80.43 261-AH 17.65 291-AH 53.33 321-AH 0.00
152-AH 54.55 182-AH 50.00 262-AH 50.59 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 61.76 323-AH 23.08
154-AH 33.33 184-AH 55.56 264-AH 63.64 294-AH 66.67 324-AH 31.08
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 47.06 325-AH 62.30
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 50.00 326-AH 50.00
157-AH 64.75 187-AH 0.00 267-AH 38.10 297-AH 41.67 327-AH 25.00
158-AH 55.88 188-AH 0.00 268-AH 66.67 298-AH 33.33 328-AH 56.52
159-AH 18.52 189-AH 71.43 269-AH 22.22 299-AH 44.74 329-AH 70.59
160-AH 0.00 190-AH 77.78 270-AH 70.18 300-AH 21.43 330-AH 74.51
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 56.25 331-AH 23.53
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 35.29 332-AH 25.00
163-AH 83.61 193-AH 28.57 273-AH 89.16 303-AH 42.86 333-AH 100.00
164-AH 29.63 194-AH 0.00 274-AH 25.00 304-AH 33.33 334-AH 40.00
165-AH 0.00 195-AH 0.00 275-AH 50.00 305-AH 45.90 335-AH 13.33
166-AH 0.00 196-AH 100.00 276-AH 49.15 306-AH 0.00 336-AH 11.76
167-AH 20.00 197-AH 58.00 277-AH 34.62 307-AH 46.75 337-AH 80.00
168-AH 50.00 198-AH 0.00 278-AH 28.57 308-AH 81.82 338-AH 80.00
169-AH 0.00 199-AH 50.00 279-AH 50.00 309-AH 20.00 339-AH 84.21
170-AH 100.00 200-AH 66.67 280-AH 8.00 310-AH 20.63 340-AH 20.00
638
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST6 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language English
Relevant 4,327 Topic Fields title, description
Relevant retrieved 4,043 Pooled false
Geometric Mean Average Precision 0.2154 Fusion of three runs, on with WSD 2 without
Binary Preference (BPREF) 0.4211
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.95 UNINEROBUST6
10 67.60 90%
20 62.53
80%
30 56.01
40 51.91 70%
50 48.48
60%
60 41.34
Precision
70 35.66 50%
80 30.17 40%
90 23.81
30%
100 16.56
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
44.99 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2304
Second Quartile 0.4326
Third Quartile 0.6932
Interquartile range 0.4628 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4499
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2958 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 1.0000
Mean With No Outliers 0.4499 10
Std With No Outliers 0.2958
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
639
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST6 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 6.45 251-AH 63.94 281-AH 56.18 311-AH 39.07 341-AH 88.89
142-AH 95.19 172-AH 9.64 252-AH 35.23 282-AH 23.47 312-AH 63.98 342-AH 76.48
143-AH 83.03 173-AH 100.00 253-AH 43.25 283-AH 73.60 313-AH 2.09 343-AH 1.59
144-AH 70.51 174-AH 100.00 254-AH 21.66 284-AH 55.45 314-AH 4.76 344-AH 65.64
145-AH 63.44 175-AH 81.51 255-AH 34.13 285-AH 84.21 315-AH 48.77 345-AH 13.67
146-AH 50.33 176-AH 94.09 256-AH 90.32 286-AH 2.04 316-AH 8.17 346-AH 18.07
147-AH 81.07 177-AH 57.84 257-AH 25.44 287-AH 44.81 317-AH 24.27 347-AH 18.76
148-AH 8.59 178-AH 32.23 258-AH 12.86 288-AH 24.78 318-AH 8.96 348-AH 100.00
149-AH 0.00 179-AH 89.90 259-AH 55.73 289-AH 70.67 319-AH 43.84 349-AH 41.06
150-AH 27.61 180-AH 72.54 260-AH 74.19 290-AH 37.35 320-AH 2.56 350-AH 74.15
151-AH 5.79 181-AH 87.20 261-AH 16.38 291-AH 58.05 321-AH 0.00
152-AH 37.40 182-AH 48.51 262-AH 49.20 292-AH 81.67 322-AH 4.69
153-AH 0.21 183-AH 23.12 263-AH 23.02 293-AH 75.09 323-AH 24.28
154-AH 38.64 184-AH 39.08 264-AH 55.13 294-AH 77.60 324-AH 28.39
155-AH 6.23 185-AH 25.00 265-AH 34.30 295-AH 39.32 325-AH 57.31
156-AH 12.89 186-AH 0.00 266-AH 6.60 296-AH 61.12 326-AH 51.65
157-AH 73.93 187-AH 25.00 267-AH 49.78 297-AH 43.28 327-AH 70.49
158-AH 50.74 188-AH 8.33 268-AH 69.23 298-AH 31.35 328-AH 58.50
159-AH 48.80 189-AH 89.09 269-AH 33.43 299-AH 38.82 329-AH 62.65
160-AH 18.75 190-AH 69.41 270-AH 77.88 300-AH 27.04 330-AH 83.04
161-AH 0.00 191-AH 0.00 271-AH 60.33 301-AH 51.35 331-AH 19.14
162-AH 33.33 192-AH 54.72 272-AH 23.06 302-AH 40.45 332-AH 44.49
163-AH 90.26 193-AH 46.47 273-AH 88.23 303-AH 38.75 333-AH 100.00
164-AH 24.28 194-AH 20.00 274-AH 26.08 304-AH 42.20 334-AH 23.77
165-AH 100.00 195-AH 0.00 275-AH 46.91 305-AH 46.86 335-AH 10.12
166-AH 0.00 196-AH 100.00 276-AH 48.46 306-AH 33.33 336-AH 8.08
167-AH 34.92 197-AH 68.65 277-AH 31.50 307-AH 38.37 337-AH 80.86
168-AH 50.23 198-AH 100.00 278-AH 25.02 308-AH 84.16 338-AH 59.13
169-AH 1.13 199-AH 61.18 279-AH 44.91 309-AH 10.44 339-AH 81.36
170-AH 100.00 200-AH 58.65 280-AH 3.78 310-AH 10.38 340-AH 36.83
640
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST6 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 51.63 UNINEROBUST6
10 docs 43.75 90%
15 docs 39.75
80%
20 docs 36.81
30 docs 31.85 70%
100 docs 17.30
60%
200 docs 10.47
Precision
500 docs 4.79 50%
1000 docs 2.53 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
42.78
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.4464
Third Quartile 0.6535
Interquartile range 0.4535 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4278
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2880 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 1.0000 20
Mean With No Outliers 0.4278 15
Std With No Outliers 0.2880 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Monolingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UNINEROBUST6
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
641
unine 10.2415/AH-ROBUST-WSD-MONO-EN-TEST-CLEF2008.UNINE.UNINEROBUST6 AH-ROBUST-WSD-MONO-EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 63.08 281-AH 52.38 311-AH 40.74 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 44.83 282-AH 22.58 312-AH 67.74 342-AH 72.92
143-AH 74.36 173-AH 100.00 253-AH 47.37 283-AH 65.79 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 34.06 284-AH 50.00 314-AH 0.00 344-AH 60.61
145-AH 55.26 175-AH 71.43 255-AH 50.00 285-AH 73.91 315-AH 55.93 345-AH 11.11
146-AH 50.00 176-AH 82.05 256-AH 73.53 286-AH 0.00 316-AH 10.17 346-AH 36.36
147-AH 76.47 177-AH 53.85 257-AH 30.16 287-AH 55.10 317-AH 33.33 347-AH 11.11
148-AH 16.67 178-AH 25.00 258-AH 25.00 288-AH 40.79 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 81.82 259-AH 66.67 289-AH 66.67 319-AH 47.37 349-AH 44.44
150-AH 20.00 180-AH 70.00 260-AH 66.67 290-AH 46.94 320-AH 6.25 350-AH 70.00
151-AH 0.00 181-AH 79.35 261-AH 20.59 291-AH 53.33 321-AH 0.00
152-AH 36.36 182-AH 50.00 262-AH 50.59 292-AH 50.00 322-AH 7.14
153-AH 0.00 183-AH 0.00 263-AH 31.25 293-AH 64.71 323-AH 23.08
154-AH 42.86 184-AH 44.44 264-AH 50.00 294-AH 66.67 324-AH 33.78
155-AH 0.00 185-AH 0.00 265-AH 33.33 295-AH 45.10 325-AH 57.38
156-AH 18.18 186-AH 0.00 266-AH 0.00 296-AH 54.17 326-AH 50.00
157-AH 68.35 187-AH 0.00 267-AH 42.86 297-AH 41.67 327-AH 50.00
158-AH 50.00 188-AH 0.00 268-AH 66.67 298-AH 40.00 328-AH 56.52
159-AH 46.30 189-AH 71.43 269-AH 33.33 299-AH 42.11 329-AH 64.71
160-AH 0.00 190-AH 66.67 270-AH 64.91 300-AH 28.57 330-AH 74.51
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 56.25 331-AH 11.76
162-AH 0.00 192-AH 33.33 272-AH 28.57 302-AH 35.29 332-AH 37.50
163-AH 82.79 193-AH 28.57 273-AH 85.54 303-AH 42.86 333-AH 100.00
164-AH 33.33 194-AH 0.00 274-AH 25.00 304-AH 40.00 334-AH 40.00
165-AH 100.00 195-AH 0.00 275-AH 46.97 305-AH 44.26 335-AH 13.33
166-AH 0.00 196-AH 100.00 276-AH 52.54 306-AH 0.00 336-AH 17.65
167-AH 20.00 197-AH 58.00 277-AH 34.62 307-AH 46.75 337-AH 75.00
168-AH 50.00 198-AH 100.00 278-AH 33.33 308-AH 81.82 338-AH 50.00
169-AH 0.00 199-AH 60.00 279-AH 50.00 309-AH 20.00 339-AH 73.68
170-AH 100.00 200-AH 77.78 280-AH 8.00 310-AH 17.46 340-AH 40.00
642
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 158,177 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 1,810 Pooled false
Geometric Mean Average Precision 0.0023 ES synset + TD
Binary Preference (BPREF) 0.1250
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 21.29 ISIESPWSDTD
10 16.87 90%
20 13.71
80%
30 10.90
40 8.60 70%
50 7.68
60%
60 6.03
Precision
70 4.96 50%
80 4.30 40%
90 3.50
30%
100 2.92
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
8.46 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0044
Third Quartile 0.0655
Interquartile range 0.0655 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0846
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1824 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.1511 100
Mean With No Outliers 0.0195
Std With No Outliers 0.0351 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
643
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.24 251-AH 36.58 281-AH 22.11 311-AH 6.58 341-AH 21.69
142-AH 7.35 172-AH 0.00 252-AH 9.74 282-AH 12.63 312-AH 0.00 342-AH 26.95
143-AH 0.30 173-AH 83.33 253-AH 25.35 283-AH 0.67 313-AH 1.53 343-AH 0.00
144-AH 0.24 174-AH 100.00 254-AH 3.33 284-AH 0.47 314-AH 0.08 344-AH 2.60
145-AH 34.80 175-AH 0.02 255-AH 0.00 285-AH 0.04 315-AH 1.83 345-AH 0.00
146-AH 0.26 176-AH 12.13 256-AH 6.93 286-AH 0.21 316-AH 19.92 346-AH 0.04
147-AH 4.54 177-AH 10.14 257-AH 0.18 287-AH 36.00 317-AH 2.93 347-AH 0.00
148-AH 0.00 178-AH 5.26 258-AH 0.00 288-AH 0.34 318-AH 1.23 348-AH 0.00
149-AH 0.00 179-AH 0.18 259-AH 0.94 289-AH 0.00 319-AH 31.01 349-AH 0.04
150-AH 0.42 180-AH 0.00 260-AH 38.87 290-AH 0.51 320-AH 0.79 350-AH 0.02
151-AH 0.03 181-AH 58.51 261-AH 0.42 291-AH 2.95 321-AH 0.00
152-AH 0.33 182-AH 0.00 262-AH 2.63 292-AH 5.17 322-AH 1.43
153-AH 0.00 183-AH 40.46 263-AH 0.00 293-AH 0.00 323-AH 2.07
154-AH 1.37 184-AH 0.14 264-AH 9.24 294-AH 66.30 324-AH 0.02
155-AH 0.63 185-AH 8.33 265-AH 0.00 295-AH 1.04 325-AH 2.33
156-AH 3.70 186-AH 0.00 266-AH 0.00 296-AH 0.04 326-AH 0.21
157-AH 0.65 187-AH 1.41 267-AH 10.79 297-AH 0.34 327-AH 0.03
158-AH 0.02 188-AH 0.00 268-AH 1.35 298-AH 0.09 328-AH 29.78
159-AH 0.11 189-AH 72.54 269-AH 11.16 299-AH 0.14 329-AH 36.73
160-AH 12.62 190-AH 13.29 270-AH 1.19 300-AH 6.53 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 15.11 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 3.11 272-AH 0.00 302-AH 32.34 332-AH 0.00
163-AH 40.08 193-AH 0.04 273-AH 1.93 303-AH 27.60 333-AH 0.35
164-AH 1.31 194-AH 0.00 274-AH 1.36 304-AH 0.00 334-AH 0.00
165-AH 50.00 195-AH 0.00 275-AH 10.17 305-AH 1.10 335-AH 0.00
166-AH 0.00 196-AH 100.00 276-AH 0.41 306-AH 12.50 336-AH 0.00
167-AH 0.00 197-AH 0.06 277-AH 2.26 307-AH 0.00 337-AH 6.16
168-AH 0.00 198-AH 0.00 278-AH 1.23 308-AH 57.35 338-AH 1.27
169-AH 0.00 199-AH 5.96 279-AH 0.22 309-AH 2.38 339-AH 0.00
170-AH 0.25 200-AH 1.47 280-AH 0.18 310-AH 0.06 340-AH 0.00
644
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 11.63 ISIESPWSDTD
10 docs 10.63 90%
15 docs 9.29
80%
20 docs 8.69
30 docs 7.77 70%
100 docs 4.36
60%
200 docs 3.10
Precision
500 docs 1.80 50%
1000 docs 1.13 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
8.92
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0891
Interquartile range 0.0891 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0892
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1795 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.2222 100
Mean With No Outliers 0.0244
Std With No Outliers 0.0516 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISIESPWSDTD
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
645
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTD AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 40.00 281-AH 23.81 311-AH 14.81 341-AH 16.67
142-AH 12.50 172-AH 0.00 252-AH 24.14 282-AH 16.13 312-AH 0.00 342-AH 22.92
143-AH 2.56 173-AH 50.00 253-AH 35.26 283-AH 2.63 313-AH 0.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 8.73 284-AH 2.63 314-AH 0.00 344-AH 9.09
145-AH 34.21 175-AH 0.00 255-AH 0.00 285-AH 0.00 315-AH 8.47 345-AH 0.00
146-AH 0.00 176-AH 25.64 256-AH 5.88 286-AH 0.00 316-AH 26.27 346-AH 0.00
147-AH 9.80 177-AH 0.00 257-AH 1.59 287-AH 44.90 317-AH 10.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 0.00 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 42.11 349-AH 0.00
150-AH 0.00 180-AH 0.00 260-AH 36.51 290-AH 4.08 320-AH 0.00 350-AH 0.00
151-AH 0.00 181-AH 56.52 261-AH 0.00 291-AH 3.33 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 4.71 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 0.00 323-AH 7.69
154-AH 4.76 184-AH 0.00 264-AH 13.64 294-AH 66.67 324-AH 0.00
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 5.88 325-AH 6.56
156-AH 4.55 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 2.16 187-AH 0.00 267-AH 19.05 297-AH 0.00 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 26.09
159-AH 0.00 189-AH 71.43 269-AH 22.22 299-AH 1.32 329-AH 47.06
160-AH 0.00 190-AH 22.22 270-AH 5.26 300-AH 0.00 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 25.00 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 35.29 332-AH 0.00
163-AH 38.52 193-AH 0.00 273-AH 7.23 303-AH 35.71 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 21.21 305-AH 1.64 335-AH 0.00
166-AH 0.00 196-AH 100.00 276-AH 1.69 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 0.00 277-AH 7.69 307-AH 0.00 337-AH 15.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 63.64 338-AH 10.00
169-AH 0.00 199-AH 0.00 279-AH 0.00 309-AH 0.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 0.00 340-AH 0.00
646
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 1,923 Pooled false
Geometric Mean Average Precision 0.0038 ES synset + TDN
Binary Preference (BPREF) 0.1463
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 22.60 ISIESPWSDTDN
10 18.15 90%
20 14.69
80%
30 12.40
40 10.62 70%
50 9.57
60%
60 7.17
Precision
70 6.07 50%
80 5.13 40%
90 4.23
30%
100 3.37
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
9.70 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0005
Second Quartile 0.0057
Third Quartile 0.0707
Interquartile range 0.0702 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0970
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2066 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.1698 100
Mean With No Outliers 0.0226
Std With No Outliers 0.0427 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
647
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.53 251-AH 30.34 281-AH 23.58 311-AH 2.74 341-AH 7.68
142-AH 6.43 172-AH 0.00 252-AH 35.44 282-AH 8.37 312-AH 26.53 342-AH 16.98
143-AH 0.16 173-AH 100.00 253-AH 23.27 283-AH 0.62 313-AH 0.57 343-AH 0.18
144-AH 0.32 174-AH 100.00 254-AH 12.88 284-AH 0.05 314-AH 0.15 344-AH 0.14
145-AH 30.93 175-AH 0.09 255-AH 0.00 285-AH 0.02 315-AH 2.17 345-AH 0.01
146-AH 0.31 176-AH 16.95 256-AH 5.63 286-AH 0.34 316-AH 16.97 346-AH 0.04
147-AH 2.71 177-AH 9.71 257-AH 2.03 287-AH 36.85 317-AH 16.73 347-AH 0.02
148-AH 0.00 178-AH 0.35 258-AH 0.05 288-AH 2.74 318-AH 0.52 348-AH 0.00
149-AH 0.00 179-AH 0.21 259-AH 1.85 289-AH 0.00 319-AH 35.39 349-AH 0.10
150-AH 0.45 180-AH 0.18 260-AH 0.76 290-AH 0.55 320-AH 0.22 350-AH 0.00
151-AH 0.04 181-AH 61.53 261-AH 1.94 291-AH 2.81 321-AH 0.00
152-AH 0.99 182-AH 0.00 262-AH 5.06 292-AH 1.49 322-AH 0.06
153-AH 0.00 183-AH 62.92 263-AH 0.00 293-AH 0.00 323-AH 5.43
154-AH 0.58 184-AH 0.43 264-AH 20.07 294-AH 72.50 324-AH 0.02
155-AH 0.72 185-AH 0.56 265-AH 0.00 295-AH 0.67 325-AH 0.42
156-AH 6.05 186-AH 0.00 266-AH 0.24 296-AH 0.08 326-AH 0.21
157-AH 0.28 187-AH 0.63 267-AH 11.50 297-AH 0.53 327-AH 0.20
158-AH 0.15 188-AH 0.00 268-AH 15.08 298-AH 0.37 328-AH 41.40
159-AH 0.02 189-AH 71.43 269-AH 7.46 299-AH 0.00 329-AH 42.21
160-AH 16.78 190-AH 10.36 270-AH 0.72 300-AH 0.86 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 6.67 301-AH 0.00 331-AH 0.01
162-AH 0.00 192-AH 4.21 272-AH 0.00 302-AH 25.76 332-AH 0.00
163-AH 56.24 193-AH 0.11 273-AH 3.94 303-AH 38.05 333-AH 0.63
164-AH 0.77 194-AH 0.38 274-AH 3.14 304-AH 0.00 334-AH 0.59
165-AH 100.00 195-AH 0.00 275-AH 38.76 305-AH 1.98 335-AH 0.39
166-AH 0.00 196-AH 100.00 276-AH 0.05 306-AH 11.11 336-AH 0.16
167-AH 0.00 197-AH 1.41 277-AH 16.21 307-AH 0.03 337-AH 5.90
168-AH 1.62 198-AH 0.00 278-AH 0.26 308-AH 55.81 338-AH 1.05
169-AH 0.00 199-AH 18.93 279-AH 0.63 309-AH 6.50 339-AH 0.06
170-AH 2.86 200-AH 1.52 280-AH 0.23 310-AH 0.09 340-AH 0.00
648
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 13.63 ISIESPWSDTDN
10 docs 11.88 90%
15 docs 9.96
80%
20 docs 8.81
30 docs 8.04 70%
100 docs 4.71
60%
200 docs 3.36
Precision
500 docs 1.90 50%
1000 docs 1.20 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
10.79
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.1144
Interquartile range 0.1144 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1079
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2106 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.2857 100
Mean With No Outliers 0.0323
Std With No Outliers 0.0636 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ISIESPWSDTDN
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
649
geneva 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.GENEVA.ISIESPWSDTDN AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 33.85 281-AH 28.57 311-AH 3.70 341-AH 16.67
142-AH 12.50 172-AH 0.00 252-AH 34.48 282-AH 12.90 312-AH 35.48 342-AH 19.79
143-AH 0.00 173-AH 100.00 253-AH 34.21 283-AH 5.26 313-AH 0.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 18.34 284-AH 0.00 314-AH 0.00 344-AH 3.03
145-AH 31.58 175-AH 0.00 255-AH 0.00 285-AH 0.00 315-AH 6.78 345-AH 0.00
146-AH 0.00 176-AH 30.77 256-AH 11.76 286-AH 0.00 316-AH 20.34 346-AH 0.00
147-AH 7.84 177-AH 7.69 257-AH 7.94 287-AH 46.94 317-AH 20.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 6.58 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 36.84 349-AH 0.00
150-AH 0.00 180-AH 0.00 260-AH 0.00 290-AH 2.04 320-AH 0.00 350-AH 0.00
151-AH 0.00 181-AH 57.61 261-AH 5.88 291-AH 0.00 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 10.59 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 50.00 263-AH 0.00 293-AH 0.00 323-AH 7.69
154-AH 4.76 184-AH 0.00 264-AH 22.73 294-AH 59.26 324-AH 0.00
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 3.92 325-AH 1.64
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 2.88 187-AH 0.00 267-AH 23.81 297-AH 0.00 327-AH 0.00
158-AH 2.94 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 47.83
159-AH 0.00 189-AH 71.43 269-AH 11.11 299-AH 0.00 329-AH 47.06
160-AH 0.00 190-AH 22.22 270-AH 1.75 300-AH 0.00 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 16.67 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 29.41 332-AH 0.00
163-AH 59.02 193-AH 0.00 273-AH 9.64 303-AH 57.14 333-AH 0.00
164-AH 3.70 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 39.39 305-AH 3.28 335-AH 0.00
166-AH 0.00 196-AH 100.00 276-AH 0.00 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 0.00 277-AH 30.77 307-AH 1.30 337-AH 15.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 0.00
169-AH 0.00 199-AH 20.00 279-AH 0.00 309-AH 10.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 0.00 340-AH 0.00
650
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSNUSDOCSPSREL CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 159,000 Source Language Portuguese
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,856 Pooled false
Geometric Mean Average Precision 0.0176 bilingual 1st sense expansion of topics, NUS docs
Binary Preference (BPREF) 0.2527 best expansion, PRF
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 39.16 ES2EN1STTOPSNUSDOCSPSREL
10 35.43 90%
20 31.30
80%
30 28.26
40 25.87 70%
50 24.37
60%
60 21.93
Precision
70 19.34 50%
80 17.46 40%
90 13.78
30%
100 9.40
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
23.50 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0039
Second Quartile 0.0495
Third Quartile 0.4066
Interquartile range 0.4027 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2350
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3215 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 1.0000 50
Mean With No Outliers 0.2350 40
30
Std With No Outliers 0.3215
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
651
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSNUSDOCSPSREL CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.71 251-AH 46.99 281-AH 44.49 311-AH 8.62 341-AH 89.22
142-AH 97.50 172-AH 1.06 252-AH 4.61 282-AH 18.55 312-AH 0.00 342-AH 60.61
143-AH 0.09 173-AH 100.00 253-AH 41.26 283-AH 32.81 313-AH 3.99 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 21.94 284-AH 21.78 314-AH 4.13 344-AH 52.05
145-AH 47.18 175-AH 87.60 255-AH 88.75 285-AH 0.00 315-AH 1.85 345-AH 0.00
146-AH 2.51 176-AH 87.16 256-AH 88.94 286-AH 0.48 316-AH 23.59 346-AH 4.50
147-AH 0.52 177-AH 7.99 257-AH 14.77 287-AH 47.27 317-AH 2.11 347-AH 4.74
148-AH 0.00 178-AH 0.22 258-AH 0.00 288-AH 3.91 318-AH 5.15 348-AH 100.00
149-AH 0.00 179-AH 0.01 259-AH 0.03 289-AH 0.00 319-AH 36.18 349-AH 52.49
150-AH 0.50 180-AH 3.50 260-AH 69.05 290-AH 0.51 320-AH 1.54 350-AH 51.18
151-AH 0.01 181-AH 68.64 261-AH 0.08 291-AH 1.49 321-AH 0.00
152-AH 0.14 182-AH 2.31 262-AH 0.24 292-AH 100.00 322-AH 1.62
153-AH 0.00 183-AH 33.90 263-AH 0.00 293-AH 10.28 323-AH 3.03
154-AH 21.66 184-AH 0.08 264-AH 12.35 294-AH 69.30 324-AH 2.01
155-AH 0.00 185-AH 20.00 265-AH 69.62 295-AH 0.02 325-AH 11.79
156-AH 5.85 186-AH 0.00 266-AH 4.53 296-AH 4.09 326-AH 8.56
157-AH 34.06 187-AH 1.72 267-AH 10.56 297-AH 15.45 327-AH 0.03
158-AH 0.48 188-AH 0.00 268-AH 13.91 298-AH 1.50 328-AH 47.35
159-AH 0.30 189-AH 100.00 269-AH 21.54 299-AH 0.35 329-AH 63.80
160-AH 12.56 190-AH 5.21 270-AH 72.85 300-AH 21.54 330-AH 65.62
161-AH 0.00 191-AH 0.00 271-AH 58.79 301-AH 0.21 331-AH 11.03
162-AH 0.00 192-AH 73.82 272-AH 17.21 302-AH 40.06 332-AH 34.04
163-AH 91.04 193-AH 16.96 273-AH 7.01 303-AH 1.16 333-AH 0.51
164-AH 2.43 194-AH 2.04 274-AH 0.61 304-AH 24.92 334-AH 0.05
165-AH 100.00 195-AH 0.00 275-AH 47.52 305-AH 0.56 335-AH 0.00
166-AH 0.00 196-AH 100.00 276-AH 11.46 306-AH 20.00 336-AH 0.73
167-AH 15.33 197-AH 92.03 277-AH 13.38 307-AH 0.00 337-AH 87.47
168-AH 0.00 198-AH 2.33 278-AH 3.49 308-AH 72.62 338-AH 76.31
169-AH 5.45 199-AH 66.00 279-AH 1.32 309-AH 2.29 339-AH 23.52
170-AH 0.00 200-AH 2.72 280-AH 0.43 310-AH 2.42 340-AH 0.00
652
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSNUSDOCSPSREL CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 26.00 ES2EN1STTOPSNUSDOCSPSREL
10 docs 21.94 90%
15 docs 19.75
80%
20 docs 18.16
30 docs 16.19 70%
100 docs 9.64
60%
200 docs 6.27
Precision
500 docs 3.09 50%
1000 docs 1.79 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
22.96
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0435
Third Quartile 0.4086
Interquartile range 0.4086 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2296
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3133 100
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 80
Upper Outlier Threshold 1.0000
60
Mean With No Outliers 0.2296
40
Std With No Outliers 0.3133
20
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ES2EN1STTOPSNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
653
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSNUSDOCSPSREL CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 52.31 281-AH 52.38 311-AH 7.41 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 10.34 282-AH 25.81 312-AH 0.00 342-AH 52.08
143-AH 0.00 173-AH 100.00 253-AH 43.68 283-AH 36.84 313-AH 5.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 33.62 284-AH 34.21 314-AH 0.00 344-AH 51.52
145-AH 39.47 175-AH 85.71 255-AH 75.00 285-AH 0.00 315-AH 6.78 345-AH 0.00
146-AH 0.00 176-AH 82.05 256-AH 82.35 286-AH 0.00 316-AH 33.90 346-AH 0.00
147-AH 1.96 177-AH 0.00 257-AH 20.63 287-AH 53.06 317-AH 0.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 9.21 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 31.58 349-AH 44.44
150-AH 0.00 180-AH 0.00 260-AH 60.32 290-AH 2.04 320-AH 6.25 350-AH 40.00
151-AH 0.00 181-AH 71.74 261-AH 0.00 291-AH 0.00 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 0.00 292-AH 100.00 322-AH 0.00
153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 11.76 323-AH 3.85
154-AH 19.05 184-AH 0.00 264-AH 22.73 294-AH 66.67 324-AH 5.41
155-AH 0.00 185-AH 0.00 265-AH 66.67 295-AH 0.00 325-AH 22.95
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 12.50 326-AH 0.00
157-AH 41.73 187-AH 0.00 267-AH 14.29 297-AH 16.67 327-AH 0.00
158-AH 2.94 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 47.83
159-AH 0.00 189-AH 100.00 269-AH 22.22 299-AH 3.95 329-AH 58.82
160-AH 0.00 190-AH 11.11 270-AH 63.16 300-AH 23.81 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 50.00 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 66.67 272-AH 35.71 302-AH 47.06 332-AH 25.00
163-AH 86.07 193-AH 28.57 273-AH 21.69 303-AH 0.00 333-AH 0.00
164-AH 7.41 194-AH 0.00 274-AH 0.00 304-AH 33.33 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 53.03 305-AH 0.00 335-AH 0.00
166-AH 0.00 196-AH 100.00 276-AH 16.95 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 90.00 277-AH 19.23 307-AH 0.00 337-AH 80.00
168-AH 0.00 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 60.00
169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 21.05
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 6.35 340-AH 0.00
654
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSUBCDOCSPSREL CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 159,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,827 Pooled false
Geometric Mean Average Precision 0.0172 bilingual 1st sense expansion of topics, UBC docs
Binary Preference (BPREF) 0.2487 best expansion, PRF
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.02 ES2EN1STTOPSUBCDOCSPSREL
10 35.44 90%
20 31.08
80%
30 28.09
40 25.65 70%
50 24.37
60%
60 22.03
Precision
70 19.39 50%
80 17.40 40%
90 13.99
30%
100 9.36
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
23.56 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0029
Second Quartile 0.0443
Third Quartile 0.3897
Interquartile range 0.3867 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2356
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3217 100
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 80
Upper Outlier Threshold 0.9617
60
Mean With No Outliers 0.1955
40
Std With No Outliers 0.2768
20
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
655
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSUBCDOCSPSREL CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 4.45 251-AH 45.49 281-AH 43.83 311-AH 9.01 341-AH 90.48
142-AH 97.50 172-AH 0.64 252-AH 4.28 282-AH 19.88 312-AH 0.00 342-AH 59.33
143-AH 0.35 173-AH 100.00 253-AH 40.48 283-AH 36.06 313-AH 3.68 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 16.84 284-AH 23.56 314-AH 3.89 344-AH 50.49
145-AH 54.51 175-AH 87.80 255-AH 88.75 285-AH 0.04 315-AH 1.33 345-AH 0.00
146-AH 2.45 176-AH 86.38 256-AH 89.14 286-AH 0.26 316-AH 23.12 346-AH 4.64
147-AH 0.08 177-AH 6.86 257-AH 13.38 287-AH 47.73 317-AH 2.26 347-AH 4.59
148-AH 0.00 178-AH 0.19 258-AH 0.00 288-AH 1.38 318-AH 6.51 348-AH 100.00
149-AH 0.00 179-AH 0.01 259-AH 0.04 289-AH 0.00 319-AH 36.12 349-AH 58.07
150-AH 0.45 180-AH 3.53 260-AH 69.33 290-AH 0.44 320-AH 1.68 350-AH 46.69
151-AH 0.01 181-AH 70.44 261-AH 0.04 291-AH 1.53 321-AH 0.00
152-AH 0.12 182-AH 1.82 262-AH 0.17 292-AH 100.00 322-AH 1.97
153-AH 0.00 183-AH 30.83 263-AH 0.00 293-AH 8.83 323-AH 2.45
154-AH 20.51 184-AH 0.06 264-AH 13.49 294-AH 69.98 324-AH 1.91
155-AH 0.00 185-AH 20.00 265-AH 68.32 295-AH 0.01 325-AH 9.27
156-AH 5.50 186-AH 0.00 266-AH 4.40 296-AH 4.16 326-AH 8.85
157-AH 35.01 187-AH 1.82 267-AH 8.84 297-AH 18.61 327-AH 0.03
158-AH 0.30 188-AH 0.00 268-AH 28.84 298-AH 1.15 328-AH 44.42
159-AH 0.29 189-AH 96.17 269-AH 21.03 299-AH 1.16 329-AH 64.11
160-AH 12.17 190-AH 3.02 270-AH 73.62 300-AH 20.28 330-AH 65.28
161-AH 0.00 191-AH 0.00 271-AH 61.11 301-AH 0.23 331-AH 11.59
162-AH 0.00 192-AH 77.49 272-AH 18.00 302-AH 37.46 332-AH 33.85
163-AH 90.57 193-AH 23.78 273-AH 3.53 303-AH 3.03 333-AH 0.59
164-AH 2.92 194-AH 2.04 274-AH 0.69 304-AH 26.85 334-AH 0.07
165-AH 100.00 195-AH 0.00 275-AH 43.78 305-AH 0.36 335-AH 0.00
166-AH 0.00 196-AH 100.00 276-AH 11.57 306-AH 20.00 336-AH 0.36
167-AH 17.31 197-AH 91.64 277-AH 14.29 307-AH 0.00 337-AH 88.03
168-AH 0.00 198-AH 0.47 278-AH 3.58 308-AH 72.64 338-AH 72.93
169-AH 7.04 199-AH 67.29 279-AH 1.47 309-AH 2.38 339-AH 23.57
170-AH 0.00 200-AH 3.57 280-AH 0.49 310-AH 4.27 340-AH 0.00
656
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSUBCDOCSPSREL CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 25.50 ES2EN1STTOPSUBCDOCSPSREL
10 docs 21.50 90%
15 docs 19.17
80%
20 docs 18.06
30 docs 15.81 70%
100 docs 9.57
60%
200 docs 6.18
Precision
500 docs 3.07 50%
1000 docs 1.77 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
22.63
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0504
Third Quartile 0.4060
Interquartile range 0.4060 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2263
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3079 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 1.0000 50
Mean With No Outliers 0.2263 40
30
Std With No Outliers 0.3079
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ES2EN1STTOPSUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
657
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST- AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008.IXA.ES2EN1STTOPSUBCDOCSPSREL CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 52.31 281-AH 52.38 311-AH 7.41 341-AH 83.33
142-AH 87.50 172-AH 0.00 252-AH 13.79 282-AH 22.58 312-AH 0.00 342-AH 50.00
143-AH 0.00 173-AH 100.00 253-AH 42.11 283-AH 39.47 313-AH 5.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 27.51 284-AH 34.21 314-AH 0.00 344-AH 48.48
145-AH 44.74 175-AH 85.71 255-AH 75.00 285-AH 0.00 315-AH 5.08 345-AH 0.00
146-AH 0.00 176-AH 79.49 256-AH 82.35 286-AH 0.00 316-AH 33.05 346-AH 0.00
147-AH 0.00 177-AH 0.00 257-AH 19.05 287-AH 53.06 317-AH 3.33 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 1.32 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 31.58 349-AH 55.56
150-AH 0.00 180-AH 2.50 260-AH 58.73 290-AH 2.04 320-AH 6.25 350-AH 30.00
151-AH 0.00 181-AH 71.74 261-AH 0.00 291-AH 0.00 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 0.00 292-AH 100.00 322-AH 0.00
153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 8.82 323-AH 3.85
154-AH 19.05 184-AH 0.00 264-AH 9.09 294-AH 62.96 324-AH 8.11
155-AH 0.00 185-AH 0.00 265-AH 50.00 295-AH 0.00 325-AH 19.67
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 16.67 326-AH 0.00
157-AH 41.73 187-AH 0.00 267-AH 14.29 297-AH 16.67 327-AH 0.00
158-AH 2.94 188-AH 0.00 268-AH 33.33 298-AH 3.33 328-AH 39.13
159-AH 1.85 189-AH 85.71 269-AH 22.22 299-AH 5.26 329-AH 58.82
160-AH 0.00 190-AH 11.11 270-AH 63.16 300-AH 23.81 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 54.17 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 66.67 272-AH 21.43 302-AH 47.06 332-AH 12.50
163-AH 84.43 193-AH 28.57 273-AH 13.25 303-AH 0.00 333-AH 0.00
164-AH 7.41 194-AH 0.00 274-AH 0.00 304-AH 33.33 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 48.48 305-AH 0.00 335-AH 0.00
166-AH 0.00 196-AH 100.00 276-AH 20.34 306-AH 0.00 336-AH 0.00
167-AH 20.00 197-AH 88.00 277-AH 23.08 307-AH 0.00 337-AH 80.00
168-AH 0.00 198-AH 0.00 278-AH 4.76 308-AH 72.73 338-AH 60.00
169-AH 0.00 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 21.05
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 7.94 340-AH 0.00
658
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNUSDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 157,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,756 Pooled false
Geometric Mean Average Precision 0.0205 bilingual, original topics, NUS docs best
Binary Preference (BPREF) 0.2301 expansion, PRF
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.65 ES2ENNUSDOCSPSREL
10 35.36 90%
20 29.92
80%
30 26.16
40 23.41 70%
50 21.67
60%
60 18.85
Precision
70 16.10 50%
80 14.22 40%
90 11.54
30%
100 8.41
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.38 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0034
Second Quartile 0.0760
Third Quartile 0.2885
Interquartile range 0.2852 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2138
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2908 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.7141 50
Mean With No Outliers 0.1389 40
30
Std With No Outliers 0.1906
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
659
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNUSDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 14.26 251-AH 43.38 281-AH 19.52 311-AH 6.38 341-AH 76.31
142-AH 100.00 172-AH 0.56 252-AH 23.96 282-AH 26.05 312-AH 0.06 342-AH 63.53
143-AH 1.33 173-AH 100.00 253-AH 32.60 283-AH 16.83 313-AH 4.11 343-AH 0.00
144-AH 56.20 174-AH 100.00 254-AH 0.22 284-AH 26.01 314-AH 6.97 344-AH 67.03
145-AH 4.37 175-AH 77.21 255-AH 26.43 285-AH 10.35 315-AH 0.32 345-AH 4.32
146-AH 8.62 176-AH 73.53 256-AH 85.51 286-AH 0.00 316-AH 16.24 346-AH 3.67
147-AH 0.35 177-AH 54.89 257-AH 9.16 287-AH 4.79 317-AH 1.48 347-AH 4.49
148-AH 0.00 178-AH 22.15 258-AH 0.30 288-AH 24.23 318-AH 2.70 348-AH 83.33
149-AH 0.00 179-AH 0.00 259-AH 0.09 289-AH 0.00 319-AH 31.60 349-AH 60.60
150-AH 0.56 180-AH 0.36 260-AH 4.29 290-AH 0.93 320-AH 1.21 350-AH 50.78
151-AH 0.23 181-AH 79.93 261-AH 6.37 291-AH 1.18 321-AH 0.00
152-AH 0.11 182-AH 16.85 262-AH 8.19 292-AH 13.72 322-AH 17.66
153-AH 0.00 183-AH 43.96 263-AH 0.03 293-AH 3.84 323-AH 8.59
154-AH 38.52 184-AH 6.20 264-AH 9.23 294-AH 10.27 324-AH 0.88
155-AH 0.19 185-AH 12.50 265-AH 22.07 295-AH 0.01 325-AH 1.65
156-AH 5.72 186-AH 0.00 266-AH 9.37 296-AH 5.28 326-AH 15.45
157-AH 37.70 187-AH 9.09 267-AH 7.01 297-AH 0.00 327-AH 0.21
158-AH 13.30 188-AH 0.00 268-AH 0.00 298-AH 0.62 328-AH 49.28
159-AH 0.07 189-AH 96.17 269-AH 0.24 299-AH 0.06 329-AH 45.82
160-AH 19.64 190-AH 0.01 270-AH 72.51 300-AH 0.52 330-AH 71.27
161-AH 0.00 191-AH 0.00 271-AH 67.62 301-AH 0.05 331-AH 9.91
162-AH 0.30 192-AH 55.36 272-AH 15.60 302-AH 11.17 332-AH 34.77
163-AH 71.41 193-AH 23.90 273-AH 2.57 303-AH 17.74 333-AH 0.27
164-AH 0.53 194-AH 0.45 274-AH 2.98 304-AH 8.27 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 29.91 305-AH 25.28 335-AH 0.68
166-AH 0.00 196-AH 50.00 276-AH 22.05 306-AH 100.00 336-AH 2.26
167-AH 25.07 197-AH 89.45 277-AH 11.55 307-AH 0.07 337-AH 86.79
168-AH 0.00 198-AH 3.03 278-AH 0.00 308-AH 70.04 338-AH 30.77
169-AH 21.16 199-AH 64.19 279-AH 0.48 309-AH 5.33 339-AH 27.80
170-AH 0.00 200-AH 1.58 280-AH 0.97 310-AH 13.40 340-AH 0.02
660
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNUSDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 24.13 ES2ENNUSDOCSPSREL
10 docs 20.94 90%
15 docs 18.96
80%
20 docs 17.28
30 docs 15.40 70%
100 docs 8.67
60%
200 docs 5.69
Precision
500 docs 2.99 50%
1000 docs 1.72 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
20.62
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0746
Third Quartile 0.3104
Interquartile range 0.3104 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2062
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2770 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.7174 50
Mean With No Outliers 0.1627 40
30
Std With No Outliers 0.2166
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENNUSDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
661
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENNUSDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 52.31 281-AH 23.81 311-AH 12.96 341-AH 66.67
142-AH 100.00 172-AH 0.00 252-AH 27.59 282-AH 35.48 312-AH 0.00 342-AH 57.29
143-AH 2.56 173-AH 100.00 253-AH 34.74 283-AH 26.32 313-AH 5.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 3.49 284-AH 34.21 314-AH 11.11 344-AH 57.58
145-AH 15.79 175-AH 71.43 255-AH 25.00 285-AH 14.49 315-AH 0.00 345-AH 11.11
146-AH 0.00 176-AH 64.10 256-AH 79.41 286-AH 0.00 316-AH 23.73 346-AH 0.00
147-AH 3.92 177-AH 53.85 257-AH 15.87 287-AH 4.08 317-AH 0.00 347-AH 0.00
148-AH 0.00 178-AH 50.00 258-AH 0.00 288-AH 31.58 318-AH 0.00 348-AH 50.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 31.58 349-AH 51.85
150-AH 0.00 180-AH 0.00 260-AH 0.00 290-AH 4.08 320-AH 0.00 350-AH 40.00
151-AH 0.00 181-AH 71.74 261-AH 14.71 291-AH 0.00 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 16.47 292-AH 0.00 322-AH 21.43
153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 8.82 323-AH 7.69
154-AH 33.33 184-AH 11.11 264-AH 4.55 294-AH 11.11 324-AH 2.70
155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 0.00 325-AH 4.92
156-AH 9.09 186-AH 0.00 266-AH 0.00 296-AH 12.50 326-AH 25.00
157-AH 43.88 187-AH 0.00 267-AH 4.76 297-AH 0.00 327-AH 0.00
158-AH 17.65 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 43.48
159-AH 0.00 189-AH 85.71 269-AH 0.00 299-AH 0.00 329-AH 41.18
160-AH 0.00 190-AH 0.00 270-AH 63.16 300-AH 0.00 330-AH 70.59
161-AH 0.00 191-AH 0.00 271-AH 62.50 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 66.67 272-AH 28.57 302-AH 23.53 332-AH 25.00
163-AH 68.85 193-AH 14.29 273-AH 7.23 303-AH 21.43 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 20.00 334-AH 0.00
165-AH 100.00 195-AH 0.00 275-AH 34.85 305-AH 27.87 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 30.51 306-AH 100.00 336-AH 0.00
167-AH 20.00 197-AH 78.00 277-AH 23.08 307-AH 0.00 337-AH 70.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 63.64 338-AH 30.00
169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 26.32
170-AH 0.00 200-AH 0.00 280-AH 8.00 310-AH 22.22 340-AH 0.00
662
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENUBCDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 157,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,813 Pooled false
Geometric Mean Average Precision 0.0212 bilingual, original topics, UBC docs best
Binary Preference (BPREF) 0.2249 expansion, PRF
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 41.17 ES2ENUBCDOCSPSREL
10 34.68 90%
20 28.71
80%
30 25.49
40 22.86 70%
50 21.21
60%
60 18.56
Precision
70 16.12 50%
80 13.92 40%
90 11.27
30%
100 8.38
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.00 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0037
Second Quartile 0.0673
Third Quartile 0.2696
Interquartile range 0.2659 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2100
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2865 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.6662 50
Mean With No Outliers 0.1236 40
30
Std With No Outliers 0.1674
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
663
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENUBCDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 12.10 251-AH 43.22 281-AH 17.72 311-AH 5.65 341-AH 82.97
142-AH 100.00 172-AH 0.20 252-AH 26.10 282-AH 23.59 312-AH 0.06 342-AH 65.10
143-AH 1.23 173-AH 100.00 253-AH 31.64 283-AH 17.35 313-AH 1.93 343-AH 0.00
144-AH 50.57 174-AH 100.00 254-AH 0.52 284-AH 21.65 314-AH 8.24 344-AH 66.19
145-AH 5.29 175-AH 81.30 255-AH 14.87 285-AH 3.64 315-AH 0.38 345-AH 1.98
146-AH 8.66 176-AH 73.47 256-AH 85.29 286-AH 0.00 316-AH 16.80 346-AH 4.11
147-AH 0.30 177-AH 53.96 257-AH 6.17 287-AH 4.84 317-AH 1.30 347-AH 4.65
148-AH 0.00 178-AH 15.60 258-AH 0.51 288-AH 21.70 318-AH 6.35 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.24 289-AH 0.00 319-AH 25.80 349-AH 49.08
150-AH 0.56 180-AH 0.37 260-AH 4.41 290-AH 1.76 320-AH 1.30 350-AH 44.96
151-AH 0.30 181-AH 73.58 261-AH 6.30 291-AH 2.77 321-AH 0.00
152-AH 0.16 182-AH 15.39 262-AH 8.62 292-AH 16.14 322-AH 25.35
153-AH 0.00 183-AH 41.88 263-AH 0.06 293-AH 2.05 323-AH 8.45
154-AH 38.41 184-AH 6.54 264-AH 9.13 294-AH 13.37 324-AH 0.96
155-AH 0.18 185-AH 33.33 265-AH 22.12 295-AH 0.02 325-AH 10.99
156-AH 12.22 186-AH 0.00 266-AH 9.21 296-AH 6.56 326-AH 6.23
157-AH 37.63 187-AH 10.00 267-AH 6.89 297-AH 0.00 327-AH 0.24
158-AH 12.16 188-AH 0.00 268-AH 0.00 298-AH 0.12 328-AH 68.47
159-AH 0.04 189-AH 93.25 269-AH 0.55 299-AH 7.15 329-AH 46.04
160-AH 20.83 190-AH 0.00 270-AH 70.40 300-AH 0.19 330-AH 73.23
161-AH 0.00 191-AH 0.00 271-AH 64.85 301-AH 0.05 331-AH 12.59
162-AH 0.22 192-AH 48.23 272-AH 11.30 302-AH 12.76 332-AH 33.67
163-AH 72.95 193-AH 23.62 273-AH 2.30 303-AH 26.60 333-AH 0.21
164-AH 2.61 194-AH 1.37 274-AH 1.79 304-AH 5.40 334-AH 0.00
165-AH 50.00 195-AH 0.00 275-AH 35.31 305-AH 27.31 335-AH 0.63
166-AH 0.00 196-AH 50.00 276-AH 4.09 306-AH 100.00 336-AH 3.99
167-AH 23.96 197-AH 84.11 277-AH 8.91 307-AH 0.34 337-AH 86.22
168-AH 0.00 198-AH 2.38 278-AH 0.00 308-AH 72.21 338-AH 23.86
169-AH 22.70 199-AH 66.62 279-AH 0.39 309-AH 5.08 339-AH 24.96
170-AH 0.00 200-AH 1.56 280-AH 0.67 310-AH 11.46 340-AH 0.09
664
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENUBCDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 22.88 ES2ENUBCDOCSPSREL
10 docs 21.06 90%
15 docs 18.54
80%
20 docs 16.91
30 docs 14.98 70%
100 docs 8.67
60%
200 docs 5.74
Precision
500 docs 3.01 50%
1000 docs 1.76 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
19.31
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0595
Third Quartile 0.2841
Interquartile range 0.2841 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1931
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2673 80
Number of Topics of the Experiment
70
Lower Outlier Threshold 0.0000
60
Upper Outlier Threshold 0.7000 50
Mean With No Outliers 0.1421 40
30
Std With No Outliers 0.1937
20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
ES2ENUBCDOCSPSREL
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
665
ixa 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.IXA.ES2ENUBCDOCSPSREL AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 10.53 251-AH 49.23 281-AH 21.43 311-AH 11.11 341-AH 66.67
142-AH 100.00 172-AH 0.00 252-AH 31.03 282-AH 35.48 312-AH 0.00 342-AH 57.29
143-AH 2.56 173-AH 100.00 253-AH 35.79 283-AH 26.32 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 3.49 284-AH 28.95 314-AH 11.11 344-AH 54.55
145-AH 15.79 175-AH 71.43 255-AH 25.00 285-AH 4.35 315-AH 0.00 345-AH 0.00
146-AH 0.00 176-AH 64.10 256-AH 79.41 286-AH 0.00 316-AH 22.03 346-AH 0.00
147-AH 3.92 177-AH 46.15 257-AH 14.29 287-AH 4.08 317-AH 0.00 347-AH 0.00
148-AH 0.00 178-AH 25.00 258-AH 0.00 288-AH 28.95 318-AH 0.00 348-AH 100.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 26.32 349-AH 44.44
150-AH 0.00 180-AH 0.00 260-AH 0.00 290-AH 6.12 320-AH 6.25 350-AH 40.00
151-AH 0.00 181-AH 67.39 261-AH 11.76 291-AH 3.33 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 14.12 292-AH 0.00 322-AH 21.43
153-AH 0.00 183-AH 25.00 263-AH 2.08 293-AH 5.88 323-AH 7.69
154-AH 33.33 184-AH 22.22 264-AH 0.00 294-AH 11.11 324-AH 4.05
155-AH 0.00 185-AH 0.00 265-AH 16.67 295-AH 0.00 325-AH 19.67
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 12.50 326-AH 0.00
157-AH 43.88 187-AH 0.00 267-AH 4.76 297-AH 0.00 327-AH 0.00
158-AH 20.59 188-AH 0.00 268-AH 0.00 298-AH 0.00 328-AH 60.87
159-AH 0.00 189-AH 71.43 269-AH 0.00 299-AH 17.11 329-AH 41.18
160-AH 0.00 190-AH 0.00 270-AH 61.40 300-AH 0.00 330-AH 68.63
161-AH 0.00 191-AH 0.00 271-AH 58.33 301-AH 0.00 331-AH 5.88
162-AH 0.00 192-AH 50.00 272-AH 14.29 302-AH 23.53 332-AH 25.00
163-AH 67.21 193-AH 14.29 273-AH 6.02 303-AH 35.71 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 13.33 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 39.39 305-AH 27.87 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 10.17 306-AH 100.00 336-AH 11.76
167-AH 20.00 197-AH 74.00 277-AH 15.38 307-AH 1.30 337-AH 75.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 30.00
169-AH 16.67 199-AH 70.00 279-AH 0.00 309-AH 0.00 339-AH 21.05
170-AH 0.00 200-AH 0.00 280-AH 4.00 310-AH 15.87 340-AH 0.00
666
ufrgs 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI_WSD1_TEST AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 159,999 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 2,850 Pooled false
Geometric Mean Average Precision 0.0514 AR + Lemmas
Binary Preference (BPREF) 0.2382
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 49.99 UFRGS_R_BI_WSD1_TEST
10 40.20 90%
20 33.56
80%
30 27.51
40 24.52 70%
50 21.80
60%
60 18.13
Precision
70 14.22 50%
80 11.03 40%
90 8.06
30%
100 6.63
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.77 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0294
Second Quartile 0.1170
Third Quartile 0.3420
Interquartile range 0.3126 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2177
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2494 60
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 50
Upper Outlier Threshold 0.7709 40
Mean With No Outliers 0.1803 30
Std With No Outliers 0.1923 20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
667
ufrgs 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI_WSD1_TEST AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 11.90 251-AH 35.87 281-AH 11.03 311-AH 16.67 341-AH 9.53
142-AH 83.92 172-AH 1.04 252-AH 1.26 282-AH 21.08 312-AH 9.73 342-AH 10.89
143-AH 54.23 173-AH 83.33 253-AH 25.51 283-AH 9.07 313-AH 1.17 343-AH 12.50
144-AH 46.58 174-AH 100.00 254-AH 4.55 284-AH 38.26 314-AH 7.39 344-AH 57.65
145-AH 16.35 175-AH 50.91 255-AH 8.87 285-AH 7.54 315-AH 0.84 345-AH 0.00
146-AH 17.58 176-AH 91.43 256-AH 71.90 286-AH 0.23 316-AH 11.46 346-AH 5.29
147-AH 1.69 177-AH 20.30 257-AH 19.81 287-AH 7.86 317-AH 3.76 347-AH 1.90
148-AH 4.22 178-AH 0.54 258-AH 0.61 288-AH 10.46 318-AH 6.87 348-AH 29.17
149-AH 0.00 179-AH 15.97 259-AH 34.57 289-AH 23.04 319-AH 15.24 349-AH 37.13
150-AH 10.77 180-AH 43.00 260-AH 16.70 290-AH 8.10 320-AH 4.02 350-AH 26.15
151-AH 2.07 181-AH 54.52 261-AH 1.10 291-AH 6.79 321-AH 0.00
152-AH 46.72 182-AH 19.40 262-AH 19.62 292-AH 22.93 322-AH 0.01
153-AH 0.00 183-AH 38.54 263-AH 0.75 293-AH 37.54 323-AH 0.26
154-AH 18.53 184-AH 15.76 264-AH 46.31 294-AH 22.16 324-AH 0.06
155-AH 6.34 185-AH 100.00 265-AH 1.71 295-AH 14.84 325-AH 3.43
156-AH 4.50 186-AH 0.00 266-AH 1.19 296-AH 1.55 326-AH 34.39
157-AH 31.48 187-AH 3.45 267-AH 21.81 297-AH 15.24 327-AH 2.75
158-AH 26.59 188-AH 3.12 268-AH 66.67 298-AH 20.55 328-AH 21.93
159-AH 7.91 189-AH 84.82 269-AH 9.01 299-AH 28.81 329-AH 38.21
160-AH 3.25 190-AH 0.22 270-AH 36.39 300-AH 18.03 330-AH 54.55
161-AH 0.00 191-AH 0.00 271-AH 29.54 301-AH 0.03 331-AH 4.77
162-AH 25.00 192-AH 72.44 272-AH 0.00 302-AH 4.99 332-AH 19.27
163-AH 44.45 193-AH 38.20 273-AH 65.43 303-AH 0.00 333-AH 100.00
164-AH 13.21 194-AH 0.43 274-AH 1.37 304-AH 23.30 334-AH 7.38
165-AH 50.00 195-AH 0.00 275-AH 1.78 305-AH 0.13 335-AH 6.64
166-AH 0.00 196-AH 50.00 276-AH 32.21 306-AH 33.33 336-AH 7.59
167-AH 6.14 197-AH 34.01 277-AH 1.11 307-AH 0.16 337-AH 77.09
168-AH 15.07 198-AH 4.00 278-AH 11.51 308-AH 62.27 338-AH 41.28
169-AH 0.37 199-AH 61.40 279-AH 3.66 309-AH 6.69 339-AH 45.87
170-AH 16.67 200-AH 58.29 280-AH 0.77 310-AH 4.78 340-AH 7.84
668
ufrgs 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI_WSD1_TEST AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 30.63 UFRGS_R_BI_WSD1_TEST
10 docs 24.69 90%
15 docs 22.33
80%
20 docs 19.97
30 docs 16.98 70%
100 docs 9.44
60%
200 docs 6.08
Precision
500 docs 3.12 50%
1000 docs 1.78 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
21.56
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1364
Third Quartile 0.3325
Interquartile range 0.3325 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2156
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2446 60
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 50
Upper Outlier Threshold 0.8205 40
Mean With No Outliers 0.1955 30
Std With No Outliers 0.2124 20
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
UFRGS_R_BI_WSD1_TEST
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
669
ufrgs 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UFRGS.UFRGS_R_BI_WSD1_TEST AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 100.00 171-AH 5.26 251-AH 43.08 281-AH 16.67 311-AH 25.93 341-AH 16.67
142-AH 75.00 172-AH 0.00 252-AH 3.45 282-AH 32.26 312-AH 19.35 342-AH 15.62
143-AH 48.72 173-AH 50.00 253-AH 33.16 283-AH 15.79 313-AH 0.00 343-AH 0.00
144-AH 66.67 174-AH 100.00 254-AH 13.10 284-AH 34.21 314-AH 11.11 344-AH 54.55
145-AH 28.95 175-AH 42.86 255-AH 0.00 285-AH 11.59 315-AH 5.08 345-AH 0.00
146-AH 0.00 176-AH 82.05 256-AH 70.59 286-AH 0.00 316-AH 5.93 346-AH 9.09
147-AH 5.88 177-AH 30.77 257-AH 26.98 287-AH 20.41 317-AH 10.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 22.37 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 13.64 259-AH 33.33 289-AH 38.89 319-AH 15.79 349-AH 33.33
150-AH 0.00 180-AH 40.00 260-AH 22.22 290-AH 20.41 320-AH 6.25 350-AH 20.00
151-AH 0.00 181-AH 61.96 261-AH 2.94 291-AH 10.00 321-AH 0.00
152-AH 54.55 182-AH 25.00 262-AH 25.88 292-AH 50.00 322-AH 0.00
153-AH 0.00 183-AH 50.00 263-AH 2.08 293-AH 47.06 323-AH 3.85
154-AH 28.57 184-AH 22.22 264-AH 50.00 294-AH 25.93 324-AH 0.00
155-AH 0.00 185-AH 100.00 265-AH 0.00 295-AH 25.49 325-AH 11.48
156-AH 13.64 186-AH 0.00 266-AH 0.00 296-AH 4.17 326-AH 25.00
157-AH 38.85 187-AH 0.00 267-AH 28.57 297-AH 16.67 327-AH 0.00
158-AH 29.41 188-AH 0.00 268-AH 66.67 298-AH 26.67 328-AH 21.74
159-AH 7.41 189-AH 71.43 269-AH 11.11 299-AH 31.58 329-AH 35.29
160-AH 0.00 190-AH 0.00 270-AH 35.09 300-AH 21.43 330-AH 58.82
161-AH 0.00 191-AH 0.00 271-AH 29.17 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 66.67 272-AH 0.00 302-AH 11.76 332-AH 25.00
163-AH 46.72 193-AH 28.57 273-AH 65.06 303-AH 0.00 333-AH 100.00
164-AH 11.11 194-AH 0.00 274-AH 0.00 304-AH 26.67 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 4.55 305-AH 0.00 335-AH 13.33
166-AH 0.00 196-AH 0.00 276-AH 30.51 306-AH 0.00 336-AH 11.76
167-AH 0.00 197-AH 42.00 277-AH 3.85 307-AH 0.00 337-AH 70.00
168-AH 16.67 198-AH 0.00 278-AH 14.29 308-AH 54.55 338-AH 40.00
169-AH 0.00 199-AH 60.00 279-AH 0.00 309-AH 10.00 339-AH 42.11
170-AH 0.00 200-AH 55.56 280-AH 4.00 310-AH 7.94 340-AH 20.00
670
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD11NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 160,000 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 1,513 Pooled false
Geometric Mean Average Precision 0.0021 Crosslanguage using NLevels (Keyword Expansion)
Binary Preference (BPREF) 0.1155
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 20.09 CROSSWSD11NUS2F
10 13.90 90%
20 10.80
80%
30 7.21
40 5.30 70%
50 4.58
60%
60 3.56
Precision
70 2.96 50%
80 2.61 40%
90 2.29
30%
100 2.23
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
6.09 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0002
Second Quartile 0.0037
Third Quartile 0.0341
Interquartile range 0.0339 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0609
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1577 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.0714 100
Mean With No Outliers 0.0081
Std With No Outliers 0.0139 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
671
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD11NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 1.14 251-AH 17.36 281-AH 3.19 311-AH 15.61 341-AH 16.71
142-AH 3.93 172-AH 0.47 252-AH 13.77 282-AH 12.36 312-AH 0.02 342-AH 11.24
143-AH 0.08 173-AH 100.00 253-AH 31.72 283-AH 0.26 313-AH 0.78 343-AH 0.00
144-AH 3.13 174-AH 100.00 254-AH 3.31 284-AH 0.71 314-AH 0.04 344-AH 0.96
145-AH 22.45 175-AH 0.03 255-AH 0.68 285-AH 2.30 315-AH 1.15 345-AH 0.00
146-AH 0.06 176-AH 12.37 256-AH 1.00 286-AH 0.06 316-AH 0.04 346-AH 0.44
147-AH 3.45 177-AH 3.30 257-AH 1.27 287-AH 23.71 317-AH 1.68 347-AH 0.06
148-AH 0.00 178-AH 0.00 258-AH 0.04 288-AH 0.55 318-AH 0.05 348-AH 0.00
149-AH 0.00 179-AH 0.02 259-AH 0.16 289-AH 0.00 319-AH 29.86 349-AH 0.32
150-AH 0.33 180-AH 0.02 260-AH 4.32 290-AH 0.35 320-AH 0.54 350-AH 20.93
151-AH 0.00 181-AH 2.18 261-AH 6.70 291-AH 5.11 321-AH 0.00
152-AH 0.18 182-AH 0.39 262-AH 1.35 292-AH 15.76 322-AH 0.06
153-AH 10.00 183-AH 26.15 263-AH 0.00 293-AH 0.00 323-AH 1.32
154-AH 1.56 184-AH 0.46 264-AH 26.63 294-AH 29.28 324-AH 0.11
155-AH 0.00 185-AH 0.15 265-AH 0.00 295-AH 0.38 325-AH 2.47
156-AH 0.91 186-AH 0.00 266-AH 0.07 296-AH 0.13 326-AH 0.00
157-AH 3.72 187-AH 0.00 267-AH 0.81 297-AH 0.11 327-AH 0.00
158-AH 0.07 188-AH 0.00 268-AH 0.40 298-AH 0.33 328-AH 4.11
159-AH 0.00 189-AH 62.41 269-AH 1.45 299-AH 3.37 329-AH 8.89
160-AH 10.39 190-AH 0.16 270-AH 2.31 300-AH 0.07 330-AH 0.76
161-AH 0.00 191-AH 0.00 271-AH 8.79 301-AH 0.02 331-AH 0.42
162-AH 0.00 192-AH 12.53 272-AH 0.00 302-AH 24.42 332-AH 0.00
163-AH 27.64 193-AH 0.00 273-AH 1.48 303-AH 12.22 333-AH 0.29
164-AH 0.08 194-AH 0.00 274-AH 0.19 304-AH 0.04 334-AH 0.07
165-AH 0.71 195-AH 0.00 275-AH 18.36 305-AH 0.00 335-AH 0.04
166-AH 0.00 196-AH 7.14 276-AH 2.77 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 0.36 277-AH 1.60 307-AH 0.03 337-AH 0.34
168-AH 0.05 198-AH 0.00 278-AH 0.00 308-AH 37.06 338-AH 0.05
169-AH 1.73 199-AH 4.19 279-AH 0.00 309-AH 12.58 339-AH 0.01
170-AH 0.00 200-AH 0.01 280-AH 0.28 310-AH 0.49 340-AH 0.08
672
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD11NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 8.63 CROSSWSD11NUS2F
10 docs 7.75 90%
15 docs 6.96
80%
20 docs 6.25
30 docs 5.50 70%
100 docs 3.42
60%
200 docs 2.51
Precision
500 docs 1.46 50%
1000 docs 0.95 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
7.44
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0672
Interquartile range 0.0672 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0744
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1680 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.1667 100
Mean With No Outliers 0.0198
Std With No Outliers 0.0395 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
CROSSWSD11NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
673
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD11NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 23.08 281-AH 9.52 311-AH 22.22 341-AH 16.67
142-AH 0.00 172-AH 0.00 252-AH 10.34 282-AH 12.90 312-AH 0.00 342-AH 22.92
143-AH 0.00 173-AH 100.00 253-AH 37.89 283-AH 0.00 313-AH 5.00 343-AH 0.00
144-AH 0.00 174-AH 100.00 254-AH 11.79 284-AH 2.63 314-AH 0.00 344-AH 3.03
145-AH 28.95 175-AH 0.00 255-AH 0.00 285-AH 7.25 315-AH 5.08 345-AH 0.00
146-AH 0.00 176-AH 25.64 256-AH 0.00 286-AH 0.00 316-AH 0.00 346-AH 0.00
147-AH 9.80 177-AH 7.69 257-AH 3.17 287-AH 32.65 317-AH 3.33 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 2.63 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 36.84 349-AH 3.70
150-AH 0.00 180-AH 0.00 260-AH 12.70 290-AH 2.04 320-AH 0.00 350-AH 20.00
151-AH 0.00 181-AH 5.43 261-AH 20.59 291-AH 6.67 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 4.71 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 0.00 323-AH 3.85
154-AH 9.52 184-AH 0.00 264-AH 31.82 294-AH 37.04 324-AH 0.00
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 1.96 325-AH 6.56
156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 11.51 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 3.33 328-AH 13.04
159-AH 0.00 189-AH 71.43 269-AH 0.00 299-AH 10.53 329-AH 17.65
160-AH 0.00 190-AH 0.00 270-AH 5.26 300-AH 0.00 330-AH 3.92
161-AH 0.00 191-AH 0.00 271-AH 16.67 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 29.41 332-AH 0.00
163-AH 36.07 193-AH 0.00 273-AH 6.02 303-AH 21.43 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 0.00 304-AH 0.00 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 24.24 305-AH 0.00 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 6.78 306-AH 100.00 336-AH 0.00
167-AH 0.00 197-AH 0.00 277-AH 3.85 307-AH 0.00 337-AH 0.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 36.36 338-AH 0.00
169-AH 0.00 199-AH 0.00 279-AH 0.00 309-AH 20.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 3.17 340-AH 0.00
674
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD12NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 155,440 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description, narrative
Relevant retrieved 1,717 Pooled false
Geometric Mean Average Precision 0.0016 Crosslanguage using NLevels (Synset Expansion)
Binary Preference (BPREF) 0.1154
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 20.47 CROSSWSD12NUS2F
10 15.81 90%
20 11.63
80%
30 9.49
40 7.48 70%
50 6.34
60%
60 4.77
Precision
70 3.93 50%
80 2.87 40%
90 2.39
30%
100 2.25
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
7.23 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0039
Third Quartile 0.0516
Interquartile range 0.0516 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0723
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1594 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.1113 100
Mean With No Outliers 0.0136
Std With No Outliers 0.0244 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
675
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD12NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.64 251-AH 40.51 281-AH 11.13 311-AH 22.40 341-AH 8.39
142-AH 19.37 172-AH 0.88 252-AH 15.75 282-AH 25.29 312-AH 0.00 342-AH 16.76
143-AH 0.35 173-AH 100.00 253-AH 43.49 283-AH 0.38 313-AH 0.10 343-AH 0.00
144-AH 16.67 174-AH 100.00 254-AH 9.53 284-AH 5.74 314-AH 0.02 344-AH 3.28
145-AH 33.41 175-AH 0.03 255-AH 0.00 285-AH 0.07 315-AH 0.52 345-AH 0.00
146-AH 0.08 176-AH 5.99 256-AH 3.28 286-AH 0.36 316-AH 17.29 346-AH 0.02
147-AH 2.65 177-AH 4.50 257-AH 1.09 287-AH 36.53 317-AH 0.97 347-AH 0.00
148-AH 0.02 178-AH 0.00 258-AH 0.00 288-AH 0.39 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.10 259-AH 0.39 289-AH 0.00 319-AH 35.12 349-AH 0.06
150-AH 0.09 180-AH 0.00 260-AH 24.35 290-AH 0.74 320-AH 0.99 350-AH 8.53
151-AH 0.00 181-AH 5.33 261-AH 0.32 291-AH 4.45 321-AH 0.00
152-AH 0.25 182-AH 1.03 262-AH 3.39 292-AH 22.74 322-AH 0.00
153-AH 0.79 183-AH 28.92 263-AH 0.00 293-AH 0.00 323-AH 2.99
154-AH 2.14 184-AH 0.08 264-AH 0.79 294-AH 33.81 324-AH 0.89
155-AH 0.00 185-AH 0.75 265-AH 0.00 295-AH 0.39 325-AH 5.35
156-AH 1.42 186-AH 0.00 266-AH 0.00 296-AH 0.02 326-AH 0.00
157-AH 1.25 187-AH 0.00 267-AH 1.15 297-AH 0.00 327-AH 0.00
158-AH 0.02 188-AH 0.00 268-AH 0.00 298-AH 1.17 328-AH 0.03
159-AH 0.06 189-AH 64.55 269-AH 4.21 299-AH 8.72 329-AH 8.36
160-AH 17.22 190-AH 1.13 270-AH 4.53 300-AH 3.45 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 14.91 301-AH 0.00 331-AH 0.03
162-AH 0.00 192-AH 10.61 272-AH 0.00 302-AH 32.96 332-AH 0.00
163-AH 40.11 193-AH 0.00 273-AH 2.56 303-AH 5.91 333-AH 2.52
164-AH 0.37 194-AH 0.00 274-AH 2.25 304-AH 0.01 334-AH 0.00
165-AH 5.00 195-AH 0.00 275-AH 21.01 305-AH 2.07 335-AH 0.01
166-AH 0.00 196-AH 33.33 276-AH 0.00 306-AH 50.00 336-AH 0.00
167-AH 0.00 197-AH 0.49 277-AH 2.84 307-AH 0.00 337-AH 2.39
168-AH 0.00 198-AH 0.00 278-AH 0.01 308-AH 56.59 338-AH 0.00
169-AH 0.00 199-AH 14.10 279-AH 0.17 309-AH 4.43 339-AH 0.00
170-AH 0.00 200-AH 1.94 280-AH 0.35 310-AH 0.21 340-AH 0.00
676
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD12NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 11.88 CROSSWSD12NUS2F
10 docs 10.50 90%
15 docs 8.88
80%
20 docs 8.16
30 docs 6.85 70%
100 docs 4.29
60%
200 docs 3.02
Precision
500 docs 1.75 50%
1000 docs 1.07 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
8.20
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0851
Interquartile range 0.0851 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0820
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1695 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.2105 100
Mean With No Outliers 0.0268
Std With No Outliers 0.0538 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
CROSSWSD12NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
677
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD12NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 47.69 281-AH 23.81 311-AH 20.37 341-AH 16.67
142-AH 37.50 172-AH 0.00 252-AH 13.79 282-AH 35.48 312-AH 0.00 342-AH 23.96
143-AH 0.00 173-AH 100.00 253-AH 45.26 283-AH 0.00 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 20.96 284-AH 10.53 314-AH 0.00 344-AH 3.03
145-AH 36.84 175-AH 0.00 255-AH 0.00 285-AH 0.00 315-AH 1.69 345-AH 0.00
146-AH 0.00 176-AH 7.69 256-AH 8.82 286-AH 0.00 316-AH 26.27 346-AH 0.00
147-AH 7.84 177-AH 15.38 257-AH 6.35 287-AH 40.82 317-AH 0.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 2.63 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 36.84 349-AH 0.00
150-AH 0.00 180-AH 0.00 260-AH 31.75 290-AH 4.08 320-AH 0.00 350-AH 20.00
151-AH 0.00 181-AH 11.96 261-AH 0.00 291-AH 13.33 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 9.41 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 0.00 323-AH 3.85
154-AH 9.52 184-AH 0.00 264-AH 4.55 294-AH 48.15 324-AH 1.35
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 0.00 325-AH 8.20
156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 5.04 187-AH 0.00 267-AH 0.00 297-AH 0.00 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 6.67 328-AH 0.00
159-AH 0.00 189-AH 71.43 269-AH 0.00 299-AH 21.05 329-AH 5.88
160-AH 0.00 190-AH 0.00 270-AH 10.53 300-AH 0.00 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 16.67 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 47.06 332-AH 0.00
163-AH 45.08 193-AH 0.00 273-AH 10.84 303-AH 14.29 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 0.00 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 28.79 305-AH 0.00 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 0.00 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 4.00 277-AH 3.85 307-AH 0.00 337-AH 5.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 0.00
169-AH 0.00 199-AH 20.00 279-AH 0.00 309-AH 0.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 3.17 340-AH 0.00
678
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD1NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Overall statistics for 160 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 155,440 Source Language Spanish; Castilian
Relevant 4,327 Topic Fields title, description
Relevant retrieved 1,689 Pooled false
Geometric Mean Average Precision 0.0016 Crosslanguage using synset expansion
Binary Preference (BPREF) 0.1142
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 20.93 CROSSWSD1NUS2F
10 16.28 90%
20 11.67
80%
30 9.30
40 7.24 70%
50 6.15
60%
60 4.55
Precision
70 3.76 50%
80 2.83 40%
90 2.32
30%
100 2.18
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
7.18 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0033
Third Quartile 0.0502
Interquartile range 0.0502 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0718
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1589 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.1111 100
Mean With No Outliers 0.0124
Std With No Outliers 0.0226 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 141−AH to 165−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 166−AH to 190−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 191−AH to 265−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 266−AH to 290−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 291−AH to 315−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 316−AH to 340−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median Average Precision by Topic (Topics 341−AH to 350−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
679
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD1NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.65 251-AH 39.14 281-AH 7.45 311-AH 22.40 341-AH 16.87
142-AH 20.67 172-AH 0.92 252-AH 14.04 282-AH 24.37 312-AH 0.00 342-AH 16.77
143-AH 0.16 173-AH 100.00 253-AH 40.86 283-AH 0.28 313-AH 0.10 343-AH 0.00
144-AH 11.11 174-AH 100.00 254-AH 7.58 284-AH 6.23 314-AH 0.01 344-AH 3.29
145-AH 34.01 175-AH 0.04 255-AH 0.00 285-AH 0.11 315-AH 0.25 345-AH 0.00
146-AH 0.12 176-AH 5.02 256-AH 2.99 286-AH 0.53 316-AH 17.48 346-AH 0.02
147-AH 2.50 177-AH 4.57 257-AH 1.09 287-AH 36.81 317-AH 1.09 347-AH 0.00
148-AH 0.03 178-AH 0.00 258-AH 0.00 288-AH 0.25 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.07 259-AH 0.42 289-AH 0.00 319-AH 36.33 349-AH 0.07
150-AH 0.12 180-AH 0.00 260-AH 21.67 290-AH 0.89 320-AH 0.88 350-AH 10.34
151-AH 0.01 181-AH 5.21 261-AH 0.30 291-AH 4.40 321-AH 0.00
152-AH 0.28 182-AH 1.26 262-AH 2.17 292-AH 19.43 322-AH 0.00
153-AH 0.79 183-AH 28.56 263-AH 0.00 293-AH 0.00 323-AH 2.69
154-AH 2.14 184-AH 0.06 264-AH 1.78 294-AH 32.87 324-AH 1.27
155-AH 0.00 185-AH 0.37 265-AH 0.00 295-AH 0.34 325-AH 6.01
156-AH 0.95 186-AH 0.00 266-AH 0.00 296-AH 0.02 326-AH 0.00
157-AH 1.27 187-AH 0.00 267-AH 4.02 297-AH 0.00 327-AH 0.00
158-AH 0.02 188-AH 0.00 268-AH 0.00 298-AH 1.15 328-AH 0.02
159-AH 0.06 189-AH 64.55 269-AH 3.51 299-AH 9.11 329-AH 7.81
160-AH 17.18 190-AH 0.63 270-AH 5.02 300-AH 3.23 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 15.45 301-AH 0.00 331-AH 0.03
162-AH 0.00 192-AH 20.89 272-AH 0.00 302-AH 32.72 332-AH 0.00
163-AH 39.10 193-AH 0.00 273-AH 1.64 303-AH 5.90 333-AH 2.29
164-AH 0.20 194-AH 0.00 274-AH 2.24 304-AH 0.01 334-AH 0.00
165-AH 1.35 195-AH 0.00 275-AH 20.47 305-AH 2.09 335-AH 0.01
166-AH 0.00 196-AH 33.33 276-AH 0.00 306-AH 50.00 336-AH 0.00
167-AH 0.00 197-AH 0.46 277-AH 1.59 307-AH 0.00 337-AH 2.29
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 56.59 338-AH 0.00
169-AH 0.00 199-AH 14.07 279-AH 0.17 309-AH 4.35 339-AH 0.00
170-AH 0.00 200-AH 2.21 280-AH 0.31 310-AH 0.21 340-AH 0.00
680
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD1NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Retrieved documents vs Mean Precision
100%
5 docs 12.25 CROSSWSD1NUS2F
10 docs 10.44 90%
15 docs 8.79
80%
20 docs 8.13
30 docs 6.90 70%
100 docs 4.15
60%
200 docs 2.91
Precision
500 docs 1.70 50%
1000 docs 1.06 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
7.92
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0832
Interquartile range 0.0832 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0792
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1665 150
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.2037 100
Mean With No Outliers 0.0267
Std With No Outliers 0.0537 50
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 141−AH to 165−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
141−AH 142−AH 143−AH 144−AH 145−AH 146−AH 147−AH 148−AH 149−AH 150−AH 151−AH 152−AH 153−AH 154−AH 155−AH 156−AH 157−AH 158−AH 159−AH 160−AH 161−AH 162−AH 163−AH 164−AH 165−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 166−AH to 190−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
166−AH 167−AH 168−AH 169−AH 170−AH 171−AH 172−AH 173−AH 174−AH 175−AH 176−AH 177−AH 178−AH 179−AH 180−AH 181−AH 182−AH 183−AH 184−AH 185−AH 186−AH 187−AH 188−AH 189−AH 190−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 191−AH to 265−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
191−AH 192−AH 193−AH 194−AH 195−AH 196−AH 197−AH 198−AH 199−AH 200−AH 251−AH 252−AH 253−AH 254−AH 255−AH 256−AH 257−AH 258−AH 259−AH 260−AH 261−AH 262−AH 263−AH 264−AH 265−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 266−AH to 290−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
266−AH 267−AH 268−AH 269−AH 270−AH 271−AH 272−AH 273−AH 274−AH 275−AH 276−AH 277−AH 278−AH 279−AH 280−AH 281−AH 282−AH 283−AH 284−AH 285−AH 286−AH 287−AH 288−AH 289−AH 290−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 291−AH to 315−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
291−AH 292−AH 293−AH 294−AH 295−AH 296−AH 297−AH 298−AH 299−AH 300−AH 301−AH 302−AH 303−AH 304−AH 305−AH 306−AH 307−AH 308−AH 309−AH 310−AH 311−AH 312−AH 313−AH 314−AH 315−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 316−AH to 340−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
316−AH 317−AH 318−AH 319−AH 320−AH 321−AH 322−AH 323−AH 324−AH 325−AH 326−AH 327−AH 328−AH 329−AH 330−AH 331−AH 332−AH 333−AH 334−AH 335−AH 336−AH 337−AH 338−AH 339−AH 340−AH
Topic Identifier
Ad−Hoc Robust Word Sense Disambiguation Bilingual English Test Task − Comparison to Median R−Precision by Topic (Topics 341−AH to 350−AH)
1
CROSSWSD1NUS2F
0.5
Difference
0
−0.5
−1
341−AH 342−AH 343−AH 344−AH 345−AH 346−AH 347−AH 348−AH 349−AH 350−AH
Topic Identifier
681
uniba 10.2415/AH-ROBUST-WSD-BILI-X2EN-TEST-CLEF2008.UNIBA.CROSSWSD1NUS2F AH-ROBUST-WSD-BILI-X2EN-TEST-
CLEF2008
Precision averages (%) for individual queries
141-AH 0.00 171-AH 0.00 251-AH 41.54 281-AH 14.29 311-AH 20.37 341-AH 16.67
142-AH 37.50 172-AH 0.00 252-AH 13.79 282-AH 32.26 312-AH 0.00 342-AH 23.96
143-AH 0.00 173-AH 100.00 253-AH 43.16 283-AH 0.00 313-AH 0.00 343-AH 0.00
144-AH 33.33 174-AH 100.00 254-AH 18.78 284-AH 10.53 314-AH 0.00 344-AH 3.03
145-AH 36.84 175-AH 0.00 255-AH 0.00 285-AH 0.00 315-AH 0.00 345-AH 0.00
146-AH 0.00 176-AH 5.13 256-AH 5.88 286-AH 0.00 316-AH 27.12 346-AH 0.00
147-AH 9.80 177-AH 15.38 257-AH 6.35 287-AH 40.82 317-AH 0.00 347-AH 0.00
148-AH 0.00 178-AH 0.00 258-AH 0.00 288-AH 0.00 318-AH 0.00 348-AH 0.00
149-AH 0.00 179-AH 0.00 259-AH 0.00 289-AH 0.00 319-AH 36.84 349-AH 0.00
150-AH 0.00 180-AH 0.00 260-AH 28.57 290-AH 4.08 320-AH 0.00 350-AH 20.00
151-AH 0.00 181-AH 11.96 261-AH 0.00 291-AH 13.33 321-AH 0.00
152-AH 0.00 182-AH 0.00 262-AH 9.41 292-AH 0.00 322-AH 0.00
153-AH 0.00 183-AH 25.00 263-AH 0.00 293-AH 0.00 323-AH 3.85
154-AH 9.52 184-AH 0.00 264-AH 4.55 294-AH 44.44 324-AH 1.35
155-AH 0.00 185-AH 0.00 265-AH 0.00 295-AH 0.00 325-AH 9.84
156-AH 0.00 186-AH 0.00 266-AH 0.00 296-AH 0.00 326-AH 0.00
157-AH 5.04 187-AH 0.00 267-AH 4.76 297-AH 0.00 327-AH 0.00
158-AH 0.00 188-AH 0.00 268-AH 0.00 298-AH 6.67 328-AH 0.00
159-AH 0.00 189-AH 71.43 269-AH 0.00 299-AH 19.74 329-AH 5.88
160-AH 0.00 190-AH 0.00 270-AH 12.28 300-AH 0.00 330-AH 0.00
161-AH 0.00 191-AH 0.00 271-AH 16.67 301-AH 0.00 331-AH 0.00
162-AH 0.00 192-AH 16.67 272-AH 0.00 302-AH 47.06 332-AH 0.00
163-AH 42.62 193-AH 0.00 273-AH 7.23 303-AH 14.29 333-AH 0.00
164-AH 0.00 194-AH 0.00 274-AH 6.25 304-AH 0.00 334-AH 0.00
165-AH 0.00 195-AH 0.00 275-AH 27.27 305-AH 0.00 335-AH 0.00
166-AH 0.00 196-AH 0.00 276-AH 0.00 306-AH 0.00 336-AH 0.00
167-AH 0.00 197-AH 2.00 277-AH 0.00 307-AH 0.00 337-AH 5.00
168-AH 0.00 198-AH 0.00 278-AH 0.00 308-AH 54.55 338-AH 0.00
169-AH 0.00 199-AH 20.00 279-AH 0.00 309-AH 0.00 339-AH 0.00
170-AH 0.00 200-AH 0.00 280-AH 0.00 310-AH 3.17 340-AH 0.00
682